PrismML이 Qwen3.6-27B의 구조를 유지한 채 1비트 및 삼진 가중치로 압축한 Bonsai 27B를 공개했다. 5.9GB 삼진 모델과 3.9GB 1비트 모델, 메모리 제약, 처리량, KV 캐시, 실행 방법, 활용 사례를 정리한다.
당사 웹사이트에서는 사용자의 선호와 재방문을 기억하여 가장 관련성 높은 경험을 제공하기 위해 쿠키를 사용합니다. “Accept”를 클릭하면 모든 쿠키 사용에 동의하게 됩니다. .
쿠키 설정 ACCEPT
필수 항상 활성화
필수 쿠키는 웹사이트가 제대로 작동하는 데 절대적으로 필요합니다. 이 범주에는 기본 기능과 보안 기능을 보장하는 쿠키만 포함됩니다. 이 쿠키는 어떠한 개인정보도 저장하지 않습니다.
쿠키 __cf_bm
기간 1시간
설명 Cloudflare가 설정하는 이 쿠키는 Cloudflare Bot Management를 지원하는 데 사용됩니다.
쿠키 _pxvid
기간 1년
설명 PerimeterX는 사기 및 봇 활동을 감지하기 위해 이 쿠키를 설정합니다.
쿠키 _px3
기간 6분
설명 이 쿠키는 Bloomberg가 사이트를 BOT 공격으로부터 보호하기 위해 설정합니다.
쿠키 CookieLawInfoConsent
기간 1년
설명 CookieYes는 이 쿠키를 사용해 해당 범주의 기본 버튼 상태와 CCPA 상태를 기록합니다. 이 쿠키는 기본 쿠키와 함께 동작할 때만 작동합니다.
쿠키 cookielawinfo-checkbox-necessary
기간 11개월
설명 이 쿠키는 GDPR Cookie Consent 플러그인에 의해 설정됩니다. 이 쿠키는 "Necessary" 범주의 쿠키에 대한 사용자 동의를 저장하는 데 사용됩니다.
쿠키 cookielawinfo-checkbox-others
기간 1년
설명 GDPR Cookie Consent 플러그인이 설정하며, "Others" 범주의 쿠키에 대한 사용자 동의를 저장합니다.
쿠키 cookielawinfo-checkbox-non-necessary
기간 11개월
설명 이 쿠키는 GDPR Cookie Consent 플러그인에 의해 설정됩니다. 이 쿠키는 "Non Necessary" 범주의 쿠키에 대한 사용자 동의를 저장하는 데 사용됩니다.
쿠키 cookielawinfo-checkbox-analytics
기간 1년
설명 GDPR Cookie Consent 플러그인이 설정하며, "Analytics" 범주의 쿠키에 대한 사용자 동의를 기록합니다.
쿠키 cookielawinfo-checkbox-performance
기간 1년
설명 GDPR Cookie Consent 플러그인이 설정하며, "Performance" 범주의 쿠키에 대한 사용자 동의를 저장합니다.
쿠키 cookielawinfo-checkbox-uncategorized
기간 1년
설명 이 쿠키는 GDPR Cookie Consent 플러그인이 설정하며, "Uncategorized" 범주의 쿠키에 대한 사용자 동의를 기록합니다.
쿠키 cookielawinfo-checkbox-functional
기간 1년
설명 GDPR Cookie Consent 플러그인이 이 쿠키를 설정하여 "Functional" 범주의 쿠키에 대한 사용자 동의를 기록합니다.
쿠키 cookielawinfo-checkbox-advertisement
기간 1년
설명 GDPR Cookie Consent 플러그인이 설정하며, "Advertisement" 범주의 쿠키에 대한 사용자 동의를 기록합니다.
쿠키 wpEmojiSettingsSupports
기간 세션
설명 WordPress는 사용자가 WordPress 사이트에서 이모지와 상호작용할 때 이 쿠키를 설정합니다. 사용자의 브라우저가 이모지를 제대로 표시할 수 있는지 판단하는 데 도움이 됩니다.
쿠키 VISITOR_PRIVACY_METADATA
기간 6개월
설명 YouTube는 현재 도메인에 대한 사용자의 쿠키 동의 상태를 저장하기 위해 이 쿠키를 설정합니다.
쿠키 viewed_cookie_policy
기간 11개월
설명 이 쿠키는 GDPR Cookie Consent 플러그인에 의해 설정되며, 사용자가 쿠키 사용에 동의했는지 여부를 저장하는 데 사용됩니다. 개인정보는 저장하지 않습니다.
쿠키 PHPSESSID
기간
설명 이 쿠키는 PHP 애플리케이션에 기본 제공됩니다. 웹사이트에서 사용자 세션을 관리하기 위해 고유한 세션 ID를 저장하고 식별하는 데 사용됩니다. 이 쿠키는 세션 쿠키이며 브라우저 창이 모두 닫히면 삭제됩니다.
쿠키 __cfduid
기간 4주
설명 이 쿠키는 CloudFare에 의해 설정됩니다. 공유 IP 주소 뒤에 있는 개별 클라이언트를 식별하고 클라이언트별로 보안 설정을 적용하는 데 사용됩니다. 웹 애플리케이션의 사용자 ID와는 대응하지 않으며 개인 식별 정보를 저장하지 않습니다.
기능
기능 쿠키는 소셜 미디어 플랫폼에서 웹사이트 콘텐츠를 공유하고, 피드백을 수집하며, 기타 제3자 기능을 수행하는 데 도움을 줍니다.
쿠키 yt-remote-connected-devices
기간 없음
설명 YouTube는 삽입된 YouTube 동영상을 사용해 사용자의 동영상 선호를 저장하기 위해 이 쿠키를 설정합니다.
쿠키 ytidb::LAST_RESULT_ENTRY_KEY
기간 없음
설명 ytidb::LAST_RESULT_ENTRY_KEY 쿠키는 사용자가 마지막으로 클릭한 검색 결과 항목을 저장하기 위해 YouTube에서 사용합니다. 이 정보는 향후 더 관련성 높은 검색 결과를 제공하여 사용자 경험을 향상하는 데 사용됩니다.
쿠키 yt-remote-device-id
기간 없음
설명 YouTube는 삽입된 YouTube 동영상을 사용해 사용자의 동영상 선호를 저장하기 위해 이 쿠키를 설정합니다.
쿠키 yt-remote-session-name
기간 세션
설명 yt-remote-session-name 쿠키는 삽입된 YouTube 동영상을 사용할 때 사용자의 동영상 플레이어 선호를 저장하기 위해 YouTube에서 사용합니다.
쿠키 yt-remote-fast-check-period
기간 세션
설명 yt-remote-fast-check-period 쿠키는 삽입된 YouTube 동영상에 대한 사용자의 동영상 플레이어 선호를 저장하기 위해 YouTube에서 사용합니다.
쿠키 yt-remote-session-app
기간 세션
설명 yt-remote-session-app 쿠키는 삽입된 YouTube 동영상 플레이어의 인터페이스에 대한 사용자 선호 및 정보를 저장하기 위해 YouTube에서 사용합니다.
쿠키 yt-remote-cast-available
기간 세션
설명 yt-remote-cast-available 쿠키는 사용자의 YouTube 동영상 플레이어에서 캐스팅 사용 가능 여부에 대한 선호를 저장하는 데 사용됩니다.
쿠키 yt-remote-cast-installed
기간 세션
설명 yt-remote-cast-installed 쿠키는 삽입된 YouTube 동영상을 사용해 사용자의 동영상 플레이어 선호를 저장하기 위해 사용됩니다.
쿠키 na_id
기간 1년
설명 이 쿠키는 Addthis.com이 Facebook 및 Twitter 같은 소셜 미디어 플랫폼에서 링크 공유를 가능하게 하기 위해 설정합니다
쿠키 vc
기간 1년
설명 이 쿠키는 소셜 미디어 공유를 허용하는 사이트에서 addthis.com이 설정합니다.
쿠키 __atuvc
기간 1년
설명 Addthis는 페이지를 공유한 뒤 공유 수 캐시가 갱신되기 전에 다시 방문했을 때 최신 카운트를 볼 수 있도록 이 쿠키를 설정합니다.
쿠키 __atuvs
기간 30분
설명 Addthis는 페이지를 공유한 뒤 공유 수 캐시가 갱신되기 전에 다시 방문했을 때 최신 카운트를 볼 수 있도록 이 쿠키를 설정합니다.
쿠키 ouid
기간 1년
설명 이 쿠키는 Addthis가 설정하며, 웹사이트 콘텐츠를 다양한 네트워킹 및 소셜 공유 사이트 전반에 걸쳐 공유할 수 있게 합니다.
분석
분석 쿠키는 방문자가 웹사이트와 어떻게 상호작용하는지 이해하는 데 사용됩니다. 이 쿠키는 방문자 수, 이탈률, 트래픽 출처 등과 같은 지표에 대한 정보를 제공하는 데 도움을 줍니다.
쿠키 ga*
기간 1년 1개월 4일
설명 Google Analytics는 페이지 조회를 저장하고 계산하기 위해 이 쿠키를 설정합니다.
쿠키 _ga
기간 2년
설명 이 쿠키는 Google Analytics에 의해 설치됩니다. 방문자, 세션, 캠페인 데이터를 계산하고 사이트 사용 현황을 분석 보고서용으로 추적하는 데 사용됩니다. 쿠키는 정보를 익명으로 저장하고 고유 방문자를 식별하기 위해 무작위로 생성된 번호를 할당합니다.
쿠키 sbjs_migrations
기간 세션
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 sbjs_current_add
기간 세션
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 sbjs_first_add
기간 세션
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 sbjs_current
기간 세션
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 sbjs_first
기간 세션
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 sbjs_udata
기간 세션
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 sbjs_session
기간 1시간
설명 Sourcebuster는 방문의 출처를 식별하고 사용자 행동 정보를 쿠키에 저장하기 위해 이 쿠키를 설정합니다. 이 분석 및 행동 쿠키는 웹사이트 방문자 경험을 향상하는 데 사용됩니다.
쿠키 tk_or
기간 1년 1개월 4일
설명 JetPack 플러그인은 WooCommerce를 사용하는 사이트에서 이 추천 쿠키를 설정하며, Jetpack용 추천자 행동을 분석합니다.
쿠키 tk_r3d
기간 3일
설명 JetPack는 사용자 활동에 대한 내부 지표를 수집하고 사용자 경험을 개선하기 위해 이 쿠키를 설치합니다.
쿠키 tk_lr
기간 1년
설명 JetPack 플러그인은 WooCommerce를 사용하는 사이트에서 이 추천 쿠키를 설정하며, Jetpack용 추천자 행동을 분석합니다.
쿠키 tk_ai
기간 1년
설명 JetPack는 관리 영역 내부 및 일반 분석 추적에만 사용되는 무작위 생성 익명 ID를 저장하기 위해 이 쿠키를 설정합니다.
쿠키 tk_tc
기간 세션
설명 JetPack는 사용자가 웹사이트를 사용하는 방식을 기록하기 위해 이 쿠키를 설정합니다.
쿠키 _gat_gtag_UA_5784146_31
기간 1분
설명 Google 사용자를 구별하는 데 사용됩니다.
쿠키 GPS
기간 30분
설명 이 쿠키는 Youtube에 의해 설정되며, 지리적 위치를 기반으로 사용자를 추적하기 위한 고유 ID를 등록합니다
쿠키 __gads
기간 2년
설명 이 쿠키는 Google이 설정하고 dounleclick.com이라는 이름으로 저장됩니다. 사용자가 특정 광고를 몇 번 보았는지 추적하여 캠페인 성공 여부를 측정하고 발생 수익을 계산하는 데 사용됩니다. 이 쿠키는 설정된 도메인에서만 읽을 수 있으므로 다른 사이트를 탐색하는 동안에는 데이터를 추적하지 않습니다.
쿠키 uvc
기간 1년
설명 이 쿠키는 addthis.com 서비스 사용량을 판단하기 위해 addthis.com이 설정합니다.
쿠키 ad-id
기간 7개월
설명 amazon-adsystem.com이 타깃 콘텐츠 제공을 위해 다른 웹사이트에서의 사용자 행동을 추적하도록 제공합니다
쿠키 _gat_gtag_UA_116563943_1
기간 1분
설명 Google은 사용자를 구별하기 위해 이 쿠키를 사용합니다.
쿠키 _gid
기간 1일
설명 이 쿠키는 Google Analytics에 의해 설치됩니다. 방문자가 웹사이트를 어떻게 사용하는지에 대한 정보를 저장하며, 웹사이트의 성과에 대한 분석 보고서를 만드는 데 도움을 줍니다. 수집되는 데이터에는 방문자 수, 유입 출처, 방문한 페이지 등이 익명 형태로 포함됩니다.
성능
성능 쿠키는 웹사이트의 핵심 성능 지표를 이해하고 분석하는 데 사용되며, 이를 통해 방문자에게 더 나은 사용자 경험을 제공합니다.
쿠키 YSC
기간
설명 이 쿠키는 Youtube에 의해 설정되며 삽입된 동영상의 조회수를 추적하는 데 사용됩니다.
쿠키 _gat
기간 1분
설명 이 쿠키는 Google Universal Analytics가 높은 트래픽 사이트에서 수집 요청 비율을 제한하기 위해 설치합니다.
광고
광고 쿠키는 방문자에게 관련 광고 및 마케팅 캠페인을 제공하는 데 사용됩니다. 이 쿠키는 웹사이트 전반에서 방문자를 추적하고 맞춤형 광고를 제공하기 위한 정보를 수집합니다.
쿠키 COMPASS
기간 1시간
설명 COMPASS 쿠키는 Yahoo가 사용자의 온라인 행동을 기반으로 타깃 광고를 제공하는 데 사용합니다.
쿠키 NID
기간 5개월
설명 이 쿠키는 사용자의 관심사를 기반으로 프로필을 만들고 개인화된 광고를 표시하는 데 사용됩니다.
쿠키 __Secure-YNID
기간 6개월
설명 로그인 과정 등에서 사용자 보안을 보호하고 사기를 방지하기 위해 사용되는 Google 쿠키입니다.
쿠키 __Secure-ROLLOUT_TOKEN
기간 6개월
설명 YouTube는 기능 롤아웃과 실험을 관리하기 위해 이 쿠키를 설정합니다. Google이 테스트와 단계적 배포의 일환으로 어떤 새 기능이나 인터페이스 변경을 사용자에게 보여줄지 제어하여, 실험 동안 특정 사용자에게 일관된 경험을 제공하는 데 도움을 줍니다.
쿠키 yt.innertube::nextId
기간 없음
설명 YouTube는 사용자가 본 YouTube 동영상에 대한 데이터를 저장하기 위해 고유 ID를 등록하는 이 쿠키를 설정합니다.
쿠키 yt.innertube::requests
기간 없음
설명 YouTube는 사용자가 본 YouTube 동영상에 대한 데이터를 저장하기 위해 고유 ID를 등록하는 이 쿠키를 설정합니다.
쿠키 VISITOR_INFO1_LIVE
기간 5개월
설명 이 쿠키는 Youtube에 의해 설정됩니다. 웹사이트에 삽입된 YouTube 동영상의 정보를 추적하는 데 사용됩니다.
쿠키 TapAd_TS
기간 1개월
설명 이 쿠키는 Tapad.com에 의해 설정됩니다. 여러 기기에서 사용자를 추적해 타깃 광고를 가능하게 하는 것이 목적입니다.
쿠키 TapAd_DID
기간 1개월
설명 이 쿠키는 tapad.com에 의해 설정됩니다. 여러 기기에서 사용자를 추적해 타깃 광고를 가능하게 하는 것이 목적입니다
쿠키 personalization_id
기간 2년
설명 이 쿠키는 twitter.com에 의해 설정됩니다. 소셜 미디어 공유 기능을 통합하는 데 사용됩니다. 또한 추적 및 타기팅을 위해 사용자가 웹사이트를 사용하는 방식에 대한 정보도 저장합니다.
쿠키 uid
기간 1년
설명 이 쿠키는 웹사이트 방문자 수와 행동을 익명으로 측정하는 데 사용됩니다. 더 나은 사용자 선호 이해와 타깃 광고를 위해 방문 횟수, 평균 방문 시간, 방문 페이지 등의 데이터가 포함됩니다.
쿠키 loc
기간 1년
설명 이 쿠키는 Addthis가 설정합니다. 정보를 공유하는 사용자가 어디에 위치해 있는지 파악하기 위한 지리 위치 쿠키입니다.
쿠키 IDE
기간 2년
설명 Google DoubleClick에서 사용하며, 사용자가 웹사이트를 사용하는 방식과 방문 전 본 광고에 대한 정보를 저장합니다. 사용자 프로필에 따라 관련성이 높은 광고를 제공하는 데 사용됩니다.
쿠키 di2
기간 1년
설명 이 쿠키는 소셜 미디어 공유를 허용하는 사이트에서 addthis.com이 설정합니다. 서비스 및 광고의 관련성을 높이기 위해 사용 동향을 생성할 목적으로 사용자 행동을 익명으로 추적합니다.
기타
기타 미분류 쿠키는 현재 분석 중이며 아직 범주로 분류되지 않은 쿠키입니다.
쿠키 pxcts
기간 세션
설명 현재 설명을 사용할 수 없습니다.
쿠키 _pxttld
기간 세션
설명 현재 설명을 사용할 수 없습니다.
쿠키 SGPBShowingLimitationDomain77659
기간 2일
설명 현재 설명을 사용할 수 없습니다.
쿠키 __Secure-YEC
기간 과거
설명 YouTube는 삽입된 YouTube 동영상을 사용할 때 사용자의 동영상 플레이어 선호를 저장하기 위해 이 쿠키를 설정합니다
쿠키 S
기간 1시간
설명 Yahoo가 광고, 콘텐츠 또는 분석을 제공하는 데 사용합니다.
쿠키 test_cookie
기간 11개월
설명 이 쿠키는 doubleclick.net에 의해 설정됩니다. 사용자의 브라우저가 쿠키를 지원하는지 판단하는 것이 목적입니다.
쿠키 sc_at
기간 1년
설명 Snapchat은 사용자의 이동을 기반으로 관련 광고를 표시하기 위해 이 쿠키를 설정합니다.
쿠키 TapAd_3WAY_SYNCS
기간 1개월
설명 TapAd는 광고 네트워크와의 데이터 동기화를 위해 이 쿠키를 설정합니다.
쿠키 _pin_unauth
기간 1년
설명 Pinterest는 식별할 수 없는 사용자들의 행동을 그룹화하기 위해 이 쿠키를 설정합니다.
쿠키 sc_anonymous_id
기간 9년
설명 Soundcloud는 방문자가 웹사이트에 콘텐츠나 파일을 삽입할 수 있도록 하기 위해 이 쿠키를 설정합니다.
쿠키 um
기간 1년
설명 addthis.com에 의해 설정됩니다. (목적 미상)
쿠키 DCRP_Categories
기간 4주
설명 현재 설명을 사용할 수 없습니다.
쿠키 vuid
기간 2년
설명 Vimeo는 웹사이트에 동영상을 삽입하기 위해 고유 ID를 설정하여 추적 정보를 수집하는 이 쿠키를 설치합니다.
쿠키 X-AB
기간 1일
설명 Adobe Analytics는 다변량 테스트와 관련하여 이 쿠키를 설정합니다. 이는 웹사이트의 콘텐츠를 결합하거나 변경하는 도구입니다. 이를 통해 웹사이트는 가장 적합한 변형 또는 버전을 찾을 수 있습니다.
쿠키 YTC
기간 10분
설명 YouTube는 웹사이트에서 동영상의 삽입 및 시청을 관리하기 위해 YTC 쿠키를 설정합니다.
쿠키 sp_t
기간 1개월
설명 sp_t 쿠키는 Spotify가 웹사이트에서 Spotify 오디오 콘텐츠를 구현하고 오디오 콘텐츠와 관련된 사용자 상호작용 정보를 기록하기 위해 설정합니다.
쿠키 sp_landing
기간 1일
설명 sp_landing은 Spotify가 웹사이트에서 Spotify 오디오 콘텐츠를 구현하고 오디오 콘텐츠와 관련된 사용자 상호작용 정보를 기록하기 위해 설정합니다.
쿠키 __asc
기간 30분
설명 Alexa Metrics는 Alexa 분석 서비스에 정보를 추적 및 보고하기 위해 이 쿠키를 설정합니다.
쿠키 __auc
기간 1년
설명 Alexa Metrics는 Alexa 분석 서비스에 정보를 추적 및 보고하기 위해 이 쿠키를 설정합니다.
쿠키 AWSESS
기간
설명 Awin은 동일한 종류의 광고가 사용자에게 반복 노출되지 않도록 하기 위해 이 쿠키를 설정합니다.
쿠키 nevercache-b39818
기간 세션
설명 현재 설명을 사용할 수 없습니다.
REJECT Save My Preferences ACCEPT
검색
HomeEditors PickAgentic AIPrismML, Bonsai 27B 출시: 노트북과 휴대폰에서 실행되는 Qwen3.6-27B의 1비트 및 삼진 빌드...
작성자
2026년 7월 14일
Bonsai 27B
PrismML이 방금 **Bonsai 27B**를 공개했다. 이것은 새로운 사전학습 모델이 아니라 Qwen3.6-27B의 저비트 표현이다. 아키텍처는 변경되지 않았다.
두 가지 변형이 Apache 2.0으로 제공된다. Ternary Bonsai 27B는 진짜 1.71 bits per weight에서 {−1, 0, +1} 가중치를 사용한다. 이상적인 크기는 5.9GB다. 1-bit Bonsai 27B는 1.125 bits per weight에서 이진 {−1, +1} 가중치를 사용하며, 크기는 3.9GB다.
두 모델 모두 멀티모달이다. 구성은 약 24.8B 언어 가중치, 0.46B 비전 타워, 그리고 임베딩 및 LM head의 2.5B로 나뉜다. 비전 타워는 4-bit(HQQ)로 별도 유지된다. 컨텍스트는 262K 토큰이며, Qwen3.6-27B attention의 약 75%가 linear이기 때문에 실용적으로 유지된다.
이 아키텍처가 아래의 압축 방식을 결정한다.
각 가중치는 하나의 코드이며, 128개 그룹마다 하나의 공유 FP16 스케일이 있다. 유효 가중치는 다음과 같다.
w_i = s_g · t_i
.
삼진 값 하나는 다음을 담는다.
log2(3) ≈ 1.585
비트. 128개 가중치당 하나의 FP16 스케일은 다음을 더한다.
16/128
, 따라서 가중치당 약 1.71비트가 된다. 이는 FP16 대비 약 9.4× 축소다. 이진은 다음 비용이 든다.
1 + 16/128 = 1.125
비트이며, 약 14.2× 축소다.
이 표현은 행렬 비중이 큰 구성요소 전체에 종단 간으로 적용된다. 여기에는 임베딩, attention projection, MLP projection, 그리고 LM head가 포함된다. 정규화 및 스케일 파라미터의 극히 미미한 꼬리 부분만 더 높은 정밀도로 남는다.
실제 평균값으로 측정하면, Qwen3.6-27B의 “4-bit” 빌드(Q4_K_XL)는 가중치당 5.2비트다. “2-bit” 빌드(IQ2_XXS)는 2.8이다. Bonsai는 또한 처음부터 사전학습해야만 붕괴를 피하는 BitNet과도 다르다.
자연스럽게 떠오르는 질문은 이런 압축이 정확도에 어떤 비용을 치르게 하느냐다.
PrismML은 H100 GPU에서 vLLM과 함께 EvalScope를 사용해 thinking mode로 15개 벤치마크를 평가했다. Ternary Bonsai 27B는 FP16 기준선의 94.6%를 유지하고, 1-bit Bonsai 27B는 89.5%를 유지한다.
| 변형 | 실제 bpw | 메모리 사용량 | Thinking 평균 | 밀도 (1/GB) |
|---|---|---|---|---|
| Qwen3.6-27B FP16 | 16.0 | 54GB | 85.07 | 0.051 |
| Qwen3.6-27B Q4_K_XL (“4-bit”) | 5.2 | 17.6GB | 84.99 | 0.155 |
| Qwen3.6-27B IQ2_XXS (“2-bit”) | 2.8 | 9.4GB | 72.73 | 0.199 |
| Ternary Bonsai 27B | 1.71 | 5.9GB | 80.49 | 0.400 |
| 1-bit Bonsai 27B | 1.125 | 3.9GB | 76.11 | 0.530 |
| 범주 | FP16 | Ternary | 1-bit |
|---|---|---|---|
| 수학 | 95.33 | 93.40 | 91.66 |
| 코딩 | 88.74 | 85.96 | 81.88 |
| 지식 및 추론 | 83.15 | 76.96 | 73.39 |
| 에이전트 및 도구 호출 | 80.00 | 74.01 | 66.03 |
| 지시 따르기 | 78.47 | 71.77 | 65.74 |
| 비전 | 72.61 | 65.19 | 59.57 |
기존의 4비트 미만 빌드는 다른 방식으로 실패한다. IQ2_XXS는 AIME26에서 57.5, LiveCodeBench에서 56.4까지 떨어진다. 그럼에도 MMLU-Redux에서는 88.93을 기록하므로, 짧은 형식의 벤치마크는 이런 붕괴를 가릴 수 있다. Gemma-4-31B Q2_K_XL도 두 번째 기반 모델에서 같은 패턴을 반복한다.
하지만 점수만으로는 이번 공개를 설명할 수 없다. 핵심은 메모리다.
휴대폰에 맞추는 것은 저장 용량 수치가 시사하는 것보다 더 엄격하다. iOS는 단일 앱을 물리 메모리의 대략 절반으로 제한한다. 따라서 12GB iPhone은 약 6GB 정도만 노출한다.
KV 캐시는 두 번째 예산 항목이다. 64개 레이어 중 16개만 증가하는 full-attention 캐시를 가지므로 FP16 비용은 토큰당 약 64 KiB다. 262K 윈도우는 약 17.2GB가 들며, 4-bit KV 캐시는 이를 약 4.3GB로 줄인다.
허용 오차도 측정된다. 자체 FP16-KV 기준선과 비교했을 때, Ternary Bonsai는 MATH-500에서 출력 forward-KL 0.0011 nats를 보인다. Q4_K_XL은 0.0146을 보인다.
피크 메모리도 뒤따른다. FP16 캐시에서 100K 토큰일 때, 1-bit의 피크는 11.6GB, ternary는 14.7GB다. 도출된 Q4_K_XL 행은 약 25.6GB가 필요하다.
모델이 일단 맞춰 들어가면, 다음 질문은 처리량이다.
| 플랫폼 | 변형 | tg128 | pp512 |
|---|---|---|---|
| M5 Max | Binary | 66.4 | 874 |
| M5 Pro | Ternary | 26.2 | 393 |
| iPhone 17 Pro Max | Binary | 11.0 | 111 |
| H100 (CUDA) | Binary | 104.8 | 2755 |
생성은 메모리 대역폭에 의해 제한되므로, 단계당 바이트 수가 적을수록 초당 더 많은 토큰을 처리할 수 있다. Prefill은 연산량에 더 크게 묶이므로 이득이 더 적다.
PrismML은 또한 Bonsai 27B 타깃에 맞춰 학습된 DSpark drafter도 함께 제공한다. H100에서 draft depth 일 때, binary 타깃은 accepted length 에 도달한다. 이는 143.8 tok/s이며, 1.37× 속도 향상이다. 검증은 무손실이므로 출력은 분포적으로 완전히 동일하게 유지된다. Apple Silicon에서는 배치 크기 1일 때 drafter가 기본적으로 꺼져 있다.
Ternary 27B는 데모 저장소의 기본값이다. 서버를 시작하거나 직접 생성할 수 있다:
Copy Code Copied Use a different Browser
./scripts/start_llama_server.sh # OpenAI 호환 API + :8080의 chat/vision UI
./llama-cli -m ./Ternary-Bonsai-27B-gguf/Ternary-Bonsai-27B-Q2_0.gguf \
--mmproj ./Ternary-Bonsai-27B-gguf/mmproj.gguf -c 0 \
-p "Explain KV cache growth."
mlx_lm.generate --model prism-ml/Ternary-Bonsai-27B-mlx-2bit \
--prompt "Explain KV cache growth."
도구 호출은 표준 OpenAI 스타일의
tools
배열을 사용한다:
Copy Code Copied Use a different Browser
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [{"role": "user", "content": "What is the weather in Lisbon?"}],
"tools": [{
"type": "function",
"function": {
"name": "get_weather",
"parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}
}
}]
}'
호출 결과는
choices[0].message.tool_calls
에 반환된다. Thinking mode는 기본적으로 켜져 있으며,
thinking_budget_tokens
가 요청별로 이를 전환한다.
이것은 네 가지 배포 패턴으로 이어진다.
노트북 로컬 에이전트는 262K 토큰 전반에 걸친 전체 저장소 코드 작업을 위해 ternary 빌드를 실행한다. 휴대폰 로컬 추론은 1-bit 빌드를 실행하며, 백서는 iPhone 배터리 1%당 672토큰을 측정했다. 개인정보 민감 워크플로와 오프라인 워크플로는 구조적으로 프롬프트를 온디바이스에 유지한다. 4-bit KV 캐시와 결합하면, 단일 GPU 서빙으로도 24GB 카드에서 27B급 품질을 맞출 수 있다.
기술 세부사항, GitHub Repo, **Model Weight**를 확인해보자. 또한 **Twitter**에서 팔로우하고, **150k+ML SubReddit**에 참여하고, **our Newsletter**도 구독해보자. 잠깐, telegram을 사용하고 있는가? 이제 telegram에서도 우리와 함께할 수 있다.
GitHub Repo 또는 Hugging Face Page 또는 Product Release 또는 Webinar 등의 홍보를 위해 파트너십이 필요한가? 여기서 문의하자
Asif Razzaq는 Marktechpost Media Inc.의 CEO다. 비전을 가진 기업가이자 엔지니어로서 Asif는 사회적 선을 위해 Artificial Intelligence의 잠재력을 활용하는 데 전념하고 있다. 그의 가장 최근의 시도는 Artificial Intelligence 미디어 플랫폼인 Marktechpost의 출범이며, 이 플랫폼은 기술적으로 탄탄하면서도 폭넓은 독자가 쉽게 이해할 수 있는 machine learning 및 deep learning 뉴스에 대한 심층 보도로 두드러진다. 이 플랫폼은 월 200만 회가 넘는 조회수를 기록하며, 대중 사이에서의 인기를 보여준다.
Michal Sutter-2026년 7월 15일
Asif Razzaq-2026년 7월 14일
Michal Sutter-2026년 7월 14일
Asif Razzaq-2026년 7월 14일
Asif Razzaq-2026년 7월 14일
Asif Razzaq-2026년 7월 13일
/scale_b2b_pipeline
100만+
활성 AI 빌더
개발자의 관심을 검증된 엔터프라이즈 파이프라인으로 전환하도록 설계된 고수익 채널.
최상위 성장 팀들이 여기서 확장한다
NVIDIA • DeepMind • Meta AI • Anthropic
개발자에게 도달하기 GitHub 출시 웨비나 기능 논문 홍보 파이프라인 구축
소개
Marktechpost는 California에 기반을 둔 AI 뉴스 플랫폼으로, machine learning, deep learning, data science 연구에 대한 이해하기 쉬운 바이트 크기 업데이트를 제공한다.
팔로우
© 저작권 보유 @2025 Marktechpost AI Media Inc | 기사 내 제품 홍보를 통한 제휴/추천으로 소액의 수익을 얻을 수 있음을 알려드립니다

![]()