GLM 5.2가 어떻게 고성능 오픈 가중치 모델로서 추론 비용과 AI 산업의 마진 구조를 흔들 수 있는지 살펴본다.
이 글은 제가 AI 경제학에서 아마도 가장 덜 이해되고 있는 다가올 변화라고 믿는 주제에 초점을 맞춘 2부작 시리즈입니다. 이 글이 마음에 들었고 두 번째 글이 올라오면 알림을 받고 싶다면, 제 뉴스레터를 자유롭게 구독해 주세요.
이제는 몇십 년 전처럼 느껴질 만큼 오래전에, 시장은 DeepSeek의 R1 모델에 움찔했습니다. 논리는, 기반이 되는 V3 모델의 학습 비용이 600만 달러 미만이었다고 알려졌으니, 시장은 따라서 모델 학습을 위한 막대한 자본적 지출(capex) 투자가 끝났다고 생각했고, 그래서 Nvidia 등을 비롯한 주가가 하룻밤 사이에 폭락했다는 것이었습니다.
물론 이것은 AI에서 비용이 실제로 어디에 있는지에 대한 매우 잘못된 해석이었습니다. 학습은 의심할 여지 없이 자본 집약적이긴 하지만, 고정된 선행 비용입니다. 수억 달러를 써서 모델을 학습시키면, 그다음에는 “끝”입니다.[1]
반면 추론은 수요에 비례해 확장됩니다. 여기는 진짜 한계비용이 있습니다. 저는 지난 1년 정도 동안 이것에 대해 여러차례 길게 써 왔습니다. 다시 말해, 이에 대한 주류의 이해, 즉 제공업체가 청구하는 API 비용이 그들의 _실제 비용_이라는 생각은 틀렸습니다.
실제로 Anthropic/OpenAI가 추론에 대해 $25/MTok를 청구할 때, 제 대충 해 본 계산으로는 이것이 랙 레이트 대비 컴퓨트 비용 기준으로 아마도 약 90%의 매출총이익률일 가능성이 큽니다. 조금 더 높을 수도, 조금 더 낮을 수도 있습니다(OpenAI의 유출된 재무 자료는 매출 기준 약 60%의 매출총이익률을 시사하지만, 여기에는 지원, 결제 처리, 기타 제공 서비스 같은 많은 다른 비용이 포함되어 있을 것입니다). 하지만 최전선 AI 연구소의 전체 비즈니스 모델은 요컨대 컴퓨트와 급여에 큰돈을 써서 모델을 _학습_시키고, 그 비용을 매우 수익성 높은 대량의 추론 위에 상각하는 것입니다. 그 비용을 충분한 추론에 걸쳐 상각할 수 있다면, 매출원가 기준 흑자에서… 실제 흑자로 전환됩니다.
저는 지난 몇 주 동안 Z.ai의 GLM5.2를 이것저것 써 보았습니다. 제 생각에 GLM5.2는 Opus와 GPT에 맞서는 진정한 오픈 가중치 경쟁자라는 “기준점”에 처음 도달한 모델입니다(이 글을 쓰는 시점에서 GPT의 최신 버전은 5.5였고, 앞으로 나올 모델들은 의심할 여지 없이 이를 넘어설 것입니다).
정말로 아주 훌륭하고, 제가 매일 쓰는 주력 모델인 Opus와 이것의 차이를 구분하기가 어렵습니다.
제가 느끼기에는 이 모델은 생각을 많이 하는 경향 때문에 느립니다. 시간에 민감하지 않은 비대화형 에이전트 작업(예를 들어 백그라운드에서 PR 검토하기)에서는 이것이 문제가 아니지만, 대화형 사용에서는 제 집중을 붙잡아 두기엔 확실히 약간 너무 느립니다. 이 점은 비용 효율성도 어느 정도 떨어뜨립니다(생각을 더 많이 할수록 토큰이 더 많아지고, 이는 비용 증가로 이어집니다).
또한 비전 지원이 없습니다. 비전을 거의 쓰고 싶어 하지 않던 때가 얼마나 빨리 지나갔는지 우스울 정도입니다(당시에는 부정확해서, 비전을 사용하는 것을 발견하면 종종 세션을 멈추곤 했습니다). 그런데 Opus 4.7이 훨씬 더 높은 해상도의 비전 기능을 도입한 뒤로는 항상 사용하게 되었습니다. 이미지 기반 PDF, 스크린샷, 디자인 파일을 읽지 못한다는 점은 정말로 답답합니다. 더 멀티모달한 모델을 준비 중일 거라고 확신하지만, 이것은 최전선 연구소들에 비해 분명한 약점입니다.
둘째로, 그리고 제가 정말로 병목이 될 거라고 예상하지 못했던 점은, 웹 검색 기능이 없거나 형편없다는 것입니다. 알고 보니 거의 모든 에이전트 세션은 항목을 찾아보기 위해 웹 검색을 매우 많이 합니다. Z.ai는 웹 검색용 대체 MCP를 제공하지만, 꽤 형편없고 느립니다. Fireworks는 아무것도 제공하지 않지만, 제품 개선을 위해 항상 노력하고 있다는 매우 모호한 답변을 제게 주었습니다. 개인적으로는 계획이 없다는 뜻으로 받아들이지만, 두고 봅시다.
저는 에이전트에게 ddgr 같은 CLI 기반 웹 검색을 사용하라고 지시함으로써 어느 정도 우회할 수 있었습니다. 하지만 지금 시점에서는 이것이 실제 약점입니다. 저는 제3자 웹 검색 API의 잠재력에 매우 낙관적입니다. 이것은 사실 오픈 가중치 모델 제공업체들이 제공할 수 있는 것에서 엄청난 공백이며, 훌륭한 웹 검색 능력이 많은 에이전트 작업에 _필수적_이라는 사실이 드러났습니다. 어쨌든 이것은 시간이 지나면 분명 해결될 것입니다. 웹 검색 인덱스를 구축하는 사람들이 많고, 올바른 파트너십과 연결 구조만 갖추면 되기 때문입니다.
최전선 연구소들에 정말 무서운 지점은 오픈 가중치 모델로 이전하기가 얼마나 쉬운가 입니다. Z.ai와 Fireworks는 둘 다 OpenAI 호환 엔드포인트와 Anthropic 호환 엔드포인트를 제공합니다. 그래서 Claude Code와 Codex에서 사용하는 것이 아주 간단합니다. 그저 베이스 URL을 추론 제공업체로 향하게 설정하고, API 키를 넣고, GLM5.2를 쓰라고 하면 됩니다.
Anthropic이 최근 claude -p 비대화형 에이전트 사용에 대해 API 요금을 부과하겠다고 발표했다가 (이후 철회한) 점을 감안하면, 많은 혹은 대부분의 그런 사용 사례에서 GLM을 그냥 대체 투입할 수 있다는 것을 알게 될 것입니다. 그리고 대화형 사용에서는 비전 부재와 느린 속도[2]를 제외하면, Claude Code에서 Opus가 아니라는 사실을 알아차리기가 정말 거의 불가능했습니다.
이것은 Microsoft나 Salesforce 같은 종류의 락인이 아닙니다. 그런 경우에는 이전을 계획하는 데 수년 을 써야 합니다. 전환 비용은 믿기 어려울 정도로 낮으며, 저는 오히려 최전선 연구소 모델들이 우왕좌왕하며 바꾸는 모든 정책과 약관 변화를 따라가려는 비용보다 훨씬 작다고 주장하겠습니다. Claude Code가 제3자 제공업체 사용을 더 어렵게 만들 가능성은 있지만, 좋은 오픈 소스 대안은 많습니다(Codex 자체와 OpenCode를 비롯해 수십 가지가 있습니다).
기업에서 실제로 듣는 우려 중 하나는 데이터 프라이버시와 보안입니다. Z.ai의 공식 API와 구독을 사용하는 것은 그 약관이 좋게 말해도 허술하고 중국 본토와의 깊은 연결 때문에 거의 확실히 시작조차 어려운 선택지라는 점은 분명합니다. 하지만 물론 오픈 가중치는 열려 있기 때문에 시장에는 다른 제공업체가 많이 있고, 그중 다수는 적절한 계약 조항을 갖추고 있습니다. 그리고 그것만으로도 충분하지 않다면, 당연히 온프레미스로 직접 호스팅할 수도 있습니다. 그러면 원래는 어떤 제3자에게도 보낼 수 없었던 더욱 민감한 데이터까지도 Opus급 에이전트 워크플로에 투입할 수 있게 됩니다.
GLM5.2의 시세는 대략 $4.40/MTok 수준인 듯합니다. 이것은 Opus 소매 가격의 20% 미만이며 GPT5.5 비용의 약 15%입니다. 물론 이 모델은 주어진 작업에 대해 더 많은 토큰을 사용하므로, 이것이 완전히 같은 조건의 비교는 아닙니다. 하지만 거의 모든 워크플로에서 매우 비슷한 품질 수준으로 50% 이상 더 저렴하지 않다면 저는 매우 놀랄 것입니다.
구독 측면에서 Z.ai는 Anthropic과 OpenAI에서 볼 수 있는 플랜과 유사하지만 더 높은 사용 한도를 주장하는 “coding plan” 구독을 제공합니다. 학습 및 데이터 보존에 관한 매우 느슨한 약관 때문에 대부분의 전문적 사용에서는 이것을 팔기 어려울 것이라 예상하지만, 만약 최전선 연구소들이 가격을 크게 올리려 한다면 예산에 민감한 사용자들에게는 충분히 설득력 있는 선택지가 될 수 있다고 봅니다.
저는 앞으로 몇 달 동안 GLM5.2의 이런 비용이 훨씬 더 내려갈 것이라고 예상합니다. 서빙 스택에 대한 최적화가 더 많이 이뤄질 것이기 때문입니다. Wafer는 AMD 하드웨어에서 이를 구동하려는 노력에 대한 흥미로운 글을 작성했습니다. 그들은 AMD에서 추론을 실행하는 것이 Nvidia Blackwell 대비 토큰당 2.75배 더 저렴하다고 제안합니다.
2부에서 이 이야기가 흥미로워집니다. 추론 마진의 붕괴가 실제로 산업에 어떤 영향을 미치는지, 그리고 누가 이기고 누가 질 가능성이 높은지 말입니다. Bezos의 유명한 말인 “your margin is my opportunity”를 떠올려 둘 만합니다. 글이 나오자마자 받은편지함으로 보내 드리길 원하신다면 뉴스레터를 구독하세요. 아니면 그쪽이 더 취향이라면 RSS 피드를 받아보셔도 됩니다.
공개 - Fireworks는 제가 이 글을 쓰는 데 도움이 되도록 GLM을 실험해 볼 수 있는 무료 크레딧을 친절하게 제공해 주었습니다.
이것은 단순화한 설명입니다. 최전선 연구소들은 경쟁력을 유지하기 위해 사실상 끊임없이 새 모델을 학습시키고 있으므로, 이것은 진정한 일회성 비용이라기보다 순환하는 비용에 가깝습니다. 그래도 핵심적인 구분은 여전히 유효합니다. 추론과 달리, 그 비용은 고객이 실제로 제품을 얼마나 사용하는지에 따라 확장되지 않습니다. ↩︎
공정하게 말하자면, 느린 점은 대부분 서빙 자체보다 모델이 생각을 많이 하기 때문입니다. Fireworks는 GLM5.2를 정말 빠른 tokens/sec로 출시했고, 이는 엄청난 개선이었으며 계속 주목할 가치가 충분했습니다. 다만 실제로는 제가 체감한 속도가 얼마나 빨랐는지에 대해서는 약간 들쭉날쭉했습니다. ↩︎
