DS4에 관한 몇 마디

antirez 138일 전. 조회수 245159회. DwarfStar 4(https://github.com/antirez/ds4)가 이렇게 빠르게 인기를 얻게 될 줄은 예상하지 못했습니다. 단일 모델 통합에 초점을 맞춘 로컬 AI 경험에 대한 수요가 있었다는 점은 분명하며, 몇 가지 일이 동시에 일어났습니다. 로컬 추론의 판도를 바꿀 만큼 크고 빠른 준 최전선 모델이 출시되었고, 2/8비트의 극도로 비대칭적인 양자화 방식과 매우 잘 작동해서 96GB 또는 128GB RAM만으로도 실행할 수 있게 되었습니다. 그리고 물론 지난 몇 년간 로컬 AI 운동이 쌓아 온 모든 경험도 있습니다. GPT 5.5 덕분에 이를 더 신속하게 활용할 수 있습니다. 그렇지 않았다면 일주일 만에 DS4를 만들 수 없었을 것입니다. 이 모든 도움을 받더라도 LLM과 부드럽게 대화하는 법은 알아야 합니다.

지난주는 재미있기도 했고 피곤하기도 했습니다. 하루 평균 14시간씩 일했습니다. Redis 초기부터 제 평소 평균은 4/6시간이지만, Redis의 첫 몇 달은 그랬습니다.

그렇다면 다음은 무엇일까요? 이 프로젝트는 DeepSeek v4 Flash로 시작해서 끝나는 프로젝트일까요? 아닙니다. 모델은 시간이 흐르며 바뀔 수 있습니다. 제 구상에서 이 자리는 고사양 Mac이나 “상자 속 GPU” 장비(DGX Spark 및 기타 유사한 구성)에서 실제로 빠르게 실행되는 현재 최고의 오픈 웨이트 모델이 차지하게 될 것입니다. 다음 경쟁자는 새 체크포인트로 출시될 DeepSeek v4 Flash 자체일 것이며, 바라건대 코딩에 특화해 조정된 버전, 그리고 어쩌면 다른 전문가 변형 모델들도 있을 것입니다. MoE 전문가라는 의미는 아닙니다. 결국 로컬 추론에서는 ds4-coding, ds4-legal, ds4-medical 모델을 갖는 것이 매우 타당합니다. 질문에 따라 필요한 것을 불러오면 됩니다.

로컬 추론을 가지고 놀기 시작한 이래로, 저는 처음으로 평소 Claude / GPT에 물어봤을 진지한 작업에 로컬 모델을 사용하고 있습니다. 저는 이것이 정말 큰 일이라고 생각합니다. 또한 벡터 스티어링을 사용하면서 LLM을 더 자유롭게 활용할 수 있는 경험을 즐길 수 있었던 것도 처음입니다. DeepSeek v4 Flash는 정말 인상적인 모델입니다. 의심의 여지가 없습니다. 머릿속에서 작고 괜찮은 로컬 모델 경험을 A로, 온라인에서 사용하는 최전선 모델을 B로 상상할 수 있다면, DS4는 A보다 훨씬 B에 가깝습니다. 솔직히 새 출시가 기다려지지 않습니다. 그러고 보니, 고마워요 DeepSeek.

그래서 그 혼란스러운 첫날들이 지난 뒤에는, 프로젝트가 다음 사항에 집중하기를 바랍니다. 품질 벤치마크, 프로젝트의 일부이기도 한 코딩 에이전트의 추가 가능성, 장기적인 품질을 보장하기 위해 CI 테스트를 실행할 수 있는 제 집의 하드웨어 구성, 더 많은 포팅, 그리고 마지막이지만 매우 중요한 항목으로 분산 추론(직렬과 병렬 모두)입니다.

지금은 모든 지원에 감사드립니다. 정말 감사했습니다 :) AI는 단지 제공되는 서비스여서는 너무나 중요합니다.