TileRT가 NVIDIA GPU에서 지속형 엔진으로 초고상호작용성 추론을 구현하는 방식과 성능, 트레이드오프를 살펴봅니다.
프리미엄 가격의 ‘고속 모드’는 사용자가 더 낮은 지연 시간과 더 빠른 토큰을 위해 더 많은 비용을 지불할 의향이 있음을 입증하고 있으며, 이는 더 높은 매출총이익률로 이어질 가능성이 있습니다. 따라서 OpenAI 같은 최전선 AI 연구소는 최대 배치 처리량보다 초고상호작용성을 우선하는 Cerebras 및 NVIDIA Groq LPU를 포함한 목적 특화 추론 시스템을 평가하고 있습니다. 초저지연은 실시간 어시스턴트와 전이중 음성을 포함한 대화형 워크로드에서 가장 중요합니다. 예를 들어 OpenAI GPT‑Live는 동시에 듣고 말할 수 있어 응답 지연이 사용자에게 즉시 감지되며, Ironman JARVIS 같은 느낌으로 묘사됩니다.
GPU는 높은 처리량과 낮음~중간 수준의 상호작용성에서 탁월한 성능을 보이지만, 그 아키텍처는 초저지연 추론에 덜 적합합니다. 8-GPU HGX B200 서버는 이론적으로 총 64 TB/s의 HBM 메모리 대역폭을 제공합니다. 배치 크기 1에서 NVFP4의 GLM-5는 생성 토큰당 약 21 GB의 활성 파라미터 트래픽만 필요로 합니다. 따라서 B200 HBM 대역폭 루프라인은 추측 디코딩 없이 사용자당 최대 3,047 tokens/s를 시사합니다. 실제로 GPU는 이 한계에 전혀 근접하지 못합니다.
이 격차는 대역폭이 아니라 지연 시간에서 비롯됩니다. 전통적인 GPU 프로그래밍 모델은 수많은 개별 커널을 실행하고 동기화하며, 이들의 설정 및 종료 오버헤드는 초고상호작용성 수준에서 상당해집니다. 이러한 지연 비용은 CUDA 그래프를 사용하더라도 일반적인 서빙 속도에서는 덜 드러나지만, 토큰 지연 시간이 서브밀리초 Time Per Output Token(TPOT) 범위에 접근하면 지배적이 됩니다. 더욱이 GPU 메모리 대역폭은 세대마다 약 2–3× 증가하지만, 메모리 지연 시간은 전혀 개선되지 않았습니다.
대체 하드웨어를 사용하는 방법이 널리 알려져 있지만, GPU로도 이를 달성할 방법은 있습니다. 이 지점에서 TileRT의 지속형 엔진이 등장합니다. TileRT는 NVIDIA GPU에서 전체 디코드 그래프를 하나의 지속형 커널로 정적 컴파일하여 연산, 메모리 로드 및 저장, 통신 간의 중첩을 극대화합니다. 단일 B200 디코드 서버에서 실시한 InferenceX GLM5 FP8 744B 벤치마크에서, TileRT는 사용자당 최대 500 tokens/s에 도달한 것으로 검증되었으며, 이는 전통적 추론 엔진을 실행하는 GB300 NVL72보다 약 3× 빠릅니다. 출력 토큰당 등비용 기준으로 TileRT는 전통적 엔진보다 최대 2x 빠른 상호작용성을 달성할 수 있습니다.
TileRT InferenceX 벤치마크에서 협력해 주신 TileRT 유지관리자분들께 감사드리며, V1 커넥터의 훌륭한 설계를 이룬 vLLM 커뮤니티에도 전반적으로 감사드립니다. TileRT는 널리 인기 있는 TileLang DSL을 구축한 동일한 커뮤니티 유지관리 조직에서 나왔습니다.
PD 분리형 추론 기법에서 초전문화된 TileRT 엔진은 지연 시간에 민감한 디코드를 처리하고, vLLM 및 SGLang 같은 처리량 최적화 엔진은 계속 프리필을 서빙합니다. TileRT 디코드 엔진은 이미 Xiaomi의 MiMo V2.5 Pro UltraSpeed와 ZAI의 GLM 5.1 HighSpeed에서 프로덕션에 배포되고 있습니다.
이 글에서는 TileRT InferenceX 결과, TileRT의 정체, 기존 추론 생태계와의 결합 방식, 그리고 TileRT의 트레이드오프와 과제를 심층적으로 살펴보겠습니다.
또한 NVIDIA Groq LPU, Cerebras, Sambanova 같은 초저지연 특화 칩과 표준 GPU에서 TileRT를 사용하는 것의 트레이드오프를 자세히 설명하고, GPU에서 실행되는 TileRT 소프트웨어가 이들 전문 칩의 TAM을 교란할 가능성이 있는지 검토하겠습니다. SemiAnalysis Accelerator Model은 Nvidia LPU30, LPU40, Cerebras WSE-3 및 WSE-4 출하량 등의 분기별 추정치를 제공합니다.
InferenceX는 오픈소스, 벤더 중립, 지속 업데이트형 AI 추론 벤치마킹 및 연구 플랫폼입니다. 지연 시간-처리량 파레토 프런티어 전반에서 선도 모델, 추론 프레임워크, 하드웨어를 측정하며, 실제 추론 성능과 경제성이 시간에 따라 어떻게 개선되는지 추적합니다.
SemiAnalysis를 읽어주셔서 감사합니다! 이 게시물은 공개되어 있으니 자유롭게 공유해 주세요.
당사의 벤치마크는 컴퓨팅의 거의 모든 주요 구매자로부터 광범위하게 재현, 검증 및/또는 지원받았습니다. 여기에는 Google Cloud, Microsoft Azure, Oracle, Meta 등이 포함됩니다. 또한 vLLM, LMCache, SGLang, PyTorch, Huggingface를 포함한 ML 커뮤니티의 지원과 OpenAI, MiniMax, ZAI, Qwen, Moonshot Kimi 등 주요 연구소의 지원을 받고 있습니다.
오픈소스 벤치마크와 데이터가 유용하다면 InferenceX GitHub 저장소에 스타를 눌러 주세요! 앞서 언급했듯이, Nvidia는 검증 가능한 Vera Rubin 수치를 InferenceX에 제출하겠다고 약속했습니다. 곧 Google TPUv7 결과도 제공할 예정이며, AMD 역시 올해 MI455X UALoE72를 제출하기로 약속했습니다.
모든 추론 시스템은 서로 경쟁하는 두 가지 목표의 균형을 맞춰야 합니다.
**상호작용성(tok/s/user)**은 단일 사용자가 토큰을 받는 속도, 즉 출력 토큰당 시간(TPOT)의 역수를 측정합니다. 응답이 즉각적으로 느껴질지 느리게 느껴질지를 결정합니다.
**처리량(tok/s/GPU)**은 모든 사용자에 걸쳐 시스템이 총생산하는 토큰 수를 측정합니다. 이는 토큰당 비용을 대체로 결정합니다.
배칭은 더 많은 요청을 함께 처리하여 총처리량을 높이지만, 각 사용자는 일반적으로 토큰 하나당 더 오래 기다립니다. 작은 배치는 반대입니다. 사용자당 속도는 개선하지만 각 GPU가 전체적으로 완료하는 유용한 작업량은 줄입니다.
버스는 많은 승객에게 비용을 분산하지만, 각 승객이 공동 정류장을 기다리게 합니다. 경주용 자동차는 한두 명만 태우고 더 빠르게 목적지에 도달하지만 승객당 비용은 훨씬 높습니다. 추론도 같은 트레이드오프를 가집니다. 배칭은 총처리량과 토큰당 비용을 개선하고, 작은 배치는 사용자당 응답성을 개선합니다. 모든 상황에 맞는 단일 운영점은 없습니다.
아래 구성에서 상호작용성을 약 25에서 260 tokens/s/user로 높이면 GPU당 처리량은 약 5,900에서 200 tokens/s/GPU로 감소합니다. 이는 사용자당 속도가 10× 증가하는 대가로 총처리량이 약 30× 줄어드는 것입니다.
다음 섹션에서 설명하듯, GPU는 이미 고처리량 시나리오에서는 우수하지만 고상호작용성 시나리오에서는 어려움을 겪습니다. 이 약점은 데이터플로 칩을 위한 완전한 시장 부문을 만들었습니다. TileRT는 같은 약점을 겨냥하므로 고상호작용성 운영점에만 집중합니다.
B200의 TileRT는 독보적인 수준입니다. 8k/1k 입력/출력 토큰 시나리오에서 TileRT는 8-GPU B200 노드에서 340 tokens/s/user에 도달했습니다. 현 데이터세트의 기존 최고 결과는 NVFP4와 MTP를 사용한 GB300 NVL72의 181.4 tokens/s/user였으므로, 이 지표에서 TileRT는 1.9× 빠릅니다. 물론 이는 배치 크기 1에서의 결과이며, GB300 NVL72의 복잡한 구리 백플레인을 구성하는 모든 추가 노력은 상호작용성을 높이는 데 전혀 작용하지 않습니다.
한편, 가장 빠른 FP8 결과는 MTP를 적용한 B300에서의 113.6 tokens/s/user로, TileRT는 동일 정밀도에서 3.0× 빠릅니다.
출처: InferenceX
1k/1k 입력/출력에서 TileRT FP8은 494.2 tokens/s/user에 도달했습니다. 이는 FP4를 사용한 기존 최고 결과인 256.3 tokens/s/user보다 1.9×, 기존 FP8 최고 결과인 136.3 tokens/s/user보다 3.6× 빠릅니다. TileRT는 아직 FP4를 지원하지 않지만, 이미 TileRT가 아닌 FP4 구현을 이기고 있습니다! 또한 이 결과는 GB200 또는 GB300 NVL72의 72-GPU NVLink 스케일업 도메인이 아니라 8-GPU B200 노드에서 나온 것이어서 주목할 만합니다. 이 비교는 총처리량이나 비용이 아니라 사용자당 상호작용성에 관한 것입니다.
출처: InferenceX
출처: InferenceX
하지만 추론에는 언제나 트레이드오프가 있습니다! TileRT의 상호작용성 우위에는 더 낮은 총처리량이 따릅니다. 기존 엔진은 동시성이 높아질수록 더 많은 사용자에게 가중치 로드와 고정 커널 비용을 분산할 수 있습니다. 8K/1K 입력/출력에서 동시성 12의 GB300 FP4+MTP 지점은 154 tokens/s/user를 유지하면서 약 240 total tokens/s/GPU를 제공합니다. TileRT는 340 tokens/s/user에 도달하면서 160.4 total tokens/s/GPU를 제공합니다.
따라서 트레이드오프는 이렇습니다. TileRT는 훨씬 높은 사용자당 속도를 제공하지만, 기존 GB300 지점은 GPU당 더 많은 총작업을 완료합니다. 게시 시점의 TileRT는 디코드 노드당 하나의 진행 중 요청만 처리하므로, 이는 범용 처리량 구성이 아니라 의도적으로 특화된 운영점입니다. 따라서 배치 크기 1 사용자만 지원하는 TileRT는 단순한 경주용 자동차가 아니라, 승객 한 명만 탈 수 있는 개인 로켓선에 가깝습니다. TileRT를 더 많은 승객을 지원하도록 엔지니어링하는 것은 가능할 수 있지만 야심 찬 목표입니다.
종단간 지연 시간에서 FP8 TileRT는 1k/1k에서 기존에 기록된 최고의 GLM-5.1 결과를 4.5×, 8k/1k에서 3.0× 능가합니다. 예상대로 TileRT의 첫 토큰까지 시간(TTFT)은 우수하지만 예외적이지는 않습니다. 결정적 우위는 디코드 테일에서 나옵니다. 3.01초로, 최고의 NVFP4 + MTP 경쟁자의 6.54초 및 MI355X의 18.18초와 비교됩니다.
출처: InferenceX
TileRT의 기능을 간단히 소개하고 일부 벤치마크 결과를 보였지만, 잠시 멈춰 TileRT가 무엇이고 어떻게 작동하는지 더 깊이 설명하겠습니다. 전통적 서빙 엔진은 차례로 실행되는 수천 개의 별도 GPU 프로그램 커널로 동작합니다. 이 모든 설정과 종료 때문에 GPU는 놀랄 만큼 많은 시간을 대기하며, 이 시간은 낮음~중간 상호작용성 추론에는 중요하지 않을 수 있지만 초고상호작용성 추론, 즉 저지연 추론에서는 확실히 중요합니다. 더 나쁜 점은 각 커널이 완료되지 않은 작업을 HBM에 기록한다는 것입니다. 작은 배치 크기에서는 커널이 실행 지연, 동기화, 스케줄링 오버헤드를 분산할 만큼 크지 않으므로 문제가 더 커집니다.
앞서 언급했듯이 배치 크기 1에서 TileRT를 실행할 때, 단일 HGX H200 서버만으로도(총 HBM 메모리 대역폭 38.4TB/s) MXFP8에서 활성 파라미터 메모리 대역폭은 토큰당 42GB입니다. 이론상 메모리 대역폭에만 구속된다면 추측 디코딩 없이도 추론은 최대 1,000 tok/s/user 상호작용성에 도달할 수 있어야 합니다. 현실에서는 분명 그렇지 않습니다! 장애물은 GPU의 프로그래밍 및 아키텍처 모델이 전통적으로 저지연을 위해 만들어지지 않았다는 점입니다. GPU당 메모리 대역폭은 세대마다 2-3x 증가하고 HBM 가격이 계속 상승하는데도, 메모리 지연 시간은 전혀 개선되지 않았습니다!
TileRT는 계속해서 커널을 실행하는 대신 GPU가 지속형 파이프라인을 계속 실행하도록 합니다. 전체 모델을 사전에 지속형 Engine Kernel로 정적 컴파일합니다. 호스트는 한 번만 실행하고, 실행은 전체 디코드 수명 주기 동안 GPU에 상주하며, 대부분의 런타임 오케스트레이션은 컴파일 시간으로 이동합니다.
이는 커널 실행과 메모리 복사의 DAG(방향 비순환 그래프)를 한 번 캡처한 뒤 단일 cudaGraphLaunch로 재생하는 CUDA 그래프와 다릅니다. 커널 자체는 여전히 별도 커널이고, 이 커널 간 경계는 디바이스 측 비용을 수반하며 온칩 상태는 매 경계에서 지워집니다. CUDA 그래프는 커널 실행을 최적화하지만, TileRT는 실행 단위로서의 커널을 없앱니다.
출처: SemiAnalysis
또한 워프 및 블록 특수화를 통해 작업을 타일 수준 작업으로 분해함으로써 런타임은 연산, I/O, 통신을 크게 중첩하는 방식으로 동적으로 재스케줄링합니다. Engine Kernel 내부에서 서로 다른 워프 그룹은 비동기 데이터 이동, 텐서 연산, 통신이라는 서로 다른 작업을 맡으며 서로 중첩됩니다. 과거에는 로드 → 배리어 → 연산 → 배리어로 직렬 실행되던 단계가 이제 타일 단위로 중첩되고, 중간 결과는 반복적으로 전역 메모리로 흘러나가는 대신 레지스터, 공유 메모리, L2를 통해 다음 단계로 전달됩니다. 실질적으로 각 CTA(Cooperative Thread Array)는 균일한 SIMT(Single Instruction Multiple Threads) 작업자가 아니라 작은 이기종 공장이 됩니다.
TileRT가 도입하는 다음 최적화는 전체 GPU까지 확장된 특수화입니다. 대부분의 TP 프레임워크는 모든 랭크가 동일한 로직을 동기적으로 실행한다고 가정하지만, 희소 라우팅, Top-K 선택, 동적 인덱싱, 장문맥 어텐션, MTP는 균질적인 스케일아웃에 잘 맞지 않습니다. 이들은 연산 집약적이지 않지만 전역 정보에 의존하므로, 모든 랭크에 이를 강제하면 중복 작업과 동기화 증폭이 추가됩니다. 따라서 워프가 특수화될 수 있다면 GPU도 특수화될 수 있습니다. GLM-5.1의 어텐션 레이어에서 GPU 0은 Top-K 선택, 희소 인덱스 구성, 라우팅을 처리하는 Sparse Indexer 작업자가 되고, GPU 1~7은 RMSNorm, GEMM, 플래시 희소 어텐션, AllReduce를 수행하는 MLA 작업자가 됩니다.
마지막으로, 통신을 외부 단계로 취급하는 대신 브로드캐스트, 리덕션, 동기화가 타일 수준 흐름 내부에서 직접 실행됩니다. TileRT에서는 전체 어텐션 레이어가 호스트에서의 단일 커널 실행에 대응하며, 실행은 연산 → 동기화 → 연산에서 지속적으로 중첩되는 연산 ↔ 통신 ↔ 연산 파이프라인으로 이동합니다.
LLM 추론은 프리필과 디코드라는 두 가지 뚜렷한 단계로 구성됩니다. 프리필은 입력 프롬프트를 병렬 처리하고 주로 연산 집약적이므로, 총처리량이 핵심 성능 지표입니다. 디코드는 토큰을 순차적으로 생성하고 커지는 KV 캐시에 반복적으로 접근하므로, 메모리 집약적이며 토큰당 지연 시간에 매우 민감합니다.
TileRT는 vLLM을 대체하지 않습니다. vLLM은 스케줄러, 청크형 프리필, 프리픽스 캐싱, OpenAI 호환 API, 운영 도구를 포함한 주변 서빙 계층이자 고처리량 프리필 엔진으로 남습니다. 지연 시간에 결정적으로 민감한 디코드 트래픽만 TileRT로 이동합니다. TileRT가 1인승 로켓선으로 설계되었다면, vLLM은 비행기, 자동차, 버스, 기차로 남습니다.
프리필과 디코드 단계는 별도 노드로 분리될 수 있습니다. 분리를 사용하면 하나의 공유 vLLM 프리필 풀이 완전히 다른 두 디코드 풀에 공급할 수 있습니다.
풀 A: TileRT를 이용한 초고상호작용성 디코드
풀 B: vLLM 디코드를 이용한 범용 낮음~중간 상호작용성 디코드
이는 TileRTConnector를 네이티브 커넥터와 조합하는 vLLM의 MultiConnector API를 통해 이뤄집니다. TileRT 커넥터는 표시된 고상호작용성 트래픽 클래스 요청만 처리하고 그 밖의 모든 요청에서는 아무 작업도 하지 않으므로, 두 트래픽 클래스는 같은 프리필 서버를 공유할 수 있습니다. 프리필과 디코드 사이에서 TileRT는 Mooncake Transfer Engine 및 NIXL Transfer Engine을 사용해 KVCache를 이동합니다. TileRT v0.1.5에서는 각 디코드 노드가 한 번에 하나의 진행 중 요청을 처리합니다. 라우터는 디스패치를 제어하고 노드가 점유되면 백프레셔를 적용합니다.
SemiAnalysis를 읽어주셔서 감사합니다! 이 게시물은 공개되어 있으니 자유롭게 공유해 주세요.
목적 특화 추론 벤더들은 수년 전 동일한 실행 병목을 식별했지만, 솔루션의 더 많은 부분을 하드웨어에 인코딩했습니다. SemiAnalysis Accelerator Model에는 NVIDIA LPU30, LPU40, Cerebras WSE-3 및 WSE-4 출하량에 대한 분기별 추정치가 있습니다.
Groq는 결정론적 컴파일러 오케스트레이션 실행과 대규모 온칩 SRAM 계층을 사용합니다. Cerebras는 웨이퍼 스케일 프로세서 전반에 연산을 공간적으로 매핑합니다. CS‑3는 약 900,000개 코어, 44 GB 온칩 SRAM, 21 PB/s 메모리 대역폭을 제공합니다. SambaNova는 계층형 SRAM, HBM, DDR 메모리 시스템으로 뒷받침되는 재구성 가능 데이터플로 유닛에 모델 그래프를 매핑합니다.
실리콘은 다르지만 시스템은 동일한 아이디어를 공유합니다. 지연 시간에 민감한 추론은 런타임 스케줄링, 연산자 경계, 동기화, 외부 메모리를 통한 불필요한 이동을 줄이는 이점을 얻습니다. 큰 배치 크기에서는 이러한 비용을 더 쉽게 분산할 수 있습니다. 배치 크기 1에서는 각 토큰 지연 시간에서 훨씬 큰 비중을 차지합니다.
출처: SemiAnalysis
TileRT는 AoT 스케줄링, 지속형 실행, 특수화된 작업자, 통신과 연산 간의 긴밀한 중첩 등 여러 데이터플로 아이디어의 소프트웨어 유사체를 도입합니다. 이 유사성은 문자 그대로가 아니라 아키텍처적입니다. TileRT는 여전히 동적 하드웨어 스케줄링, HBM, 모델 특화 컴파일 스케줄을 갖춘 SIMT GPU에서 실행됩니다.
그러나 TileRT는 여전히 소프트웨어일 뿐입니다. 데이터플로는 이를 위해 특화 설계되지 않았던 기계에 부과됩니다. GPU에는 동적 워프 스케줄러, SIMT 모델, HBM 계층이 있으며, TileRT는 정적으로 확장된 지속형 커널, 수작업으로 분할한 워프 특수화, 고정된 드라이버 스택에 맞춘 모델별 컴파일을 통해 이 장치가 공간 파이프라인을 흉내 내도록 설득하는 막대한 컴파일러 노력을 들여 성능 수치를 얻습니다. 네이티브 데이터플로 실리콘은 자기 기반과 싸울 필요가 없습니다. 목적 특화 가속기는 실행 모델의 더 많은 부분을 하드웨어에 인코딩하며 TileRT가 소프트웨어로 숨겨야 하는 일부 오버헤드를 피할 수 있습니다. 이들의 우위는 여전히 모델, 정밀도, 메모리 계층, 컴파일러 품질, 시스템 규모, 서빙 구성에 따라 달라집니다. 그래서 Cerebras는 어떤 스케줄링을 사용해도 8-GPU 노드가 도달할 수 없는 속도로 밀집형 70B를 서빙합니다. 소프트웨어는 HBM 루프라인에 접근할 수는 있어도 이를 높일 수는 없습니다.
출처: SemiAnalysis
시장의 초기 답은 순수성이 협상 가능하다는 것입니다. TileRT의 디코드 엔진은 이미 Xiaomi의 MiMo V2.5 Pro UltraSpeed와 Z.ai의 GLM-5.1 HighSpeed 뒤에서 프로덕션으로 운용되고 있으며, 배포 패턴이 이를 말해 줍니다. 두 회사 모두 새 데이터플로 칩을 조달하지 않았습니다. 대신 이미 운영 중인 가속기 클러스터에서 속도 등급을 분리해 냈고, vLLM이 프리필, 스케줄링, API를 유지하는 동안 TileRT가 동일한 엔드포인트 뒤에서 디코드를 넘겨받습니다. 이미 보유한 하드웨어에서의 충분히 좋은 성능은 구매해야 하는 하드웨어에서의 아키텍처적으로 순수한 성능을 이기는 경향이 있습니다.
이는 더 깊은 구조적 문제, 즉 프리필-디코드(PD) 비율에서의 대체 가능성과 유연성을 가리킵니다.
GPU 풀은 하나의 유동적 자원입니다. 프리필에 탁월하고, 높음~중간 배치 디코드에 탁월하며, 이제는 초대화형 디코드에서도 어느 정도 설득력 있게 강력합니다. 수요를 시간 단위로 따를 수 있는 소프트웨어 스케줄러 결정에 따라 이 역할들 사이에서 용량을 이동할 수 있습니다. ASIC 플릿은 반대입니다. 속도 등급 용량과 다른 모든 용량의 비율은 구매 주문서에 서명하는 날 하드웨어로 고정됩니다. 물리적 플릿의 비율을 바꾸려면 물리적으로 재랙 및 재배선하는 데 수개월이 걸립니다. 워크로드 구성이 안정적이고 알려져 있다면 문제가 없을 것입니다. 하지만 일반적인 대화 지연 시간을 필요로 하는 사용자와 극단적 상호작용성 SLO에 돈을 지불할 사용자, 점점 더 많은 에이전트 사이의 분할을 추정할 때는 다양한 변수가 작용합니다. GPU에서 예측이 틀리면 소프트웨어에서 재균형을 맞추면 됩니다. 전용 실리콘에서 예측이 틀리면 유휴 속도 장비에 자본을 묶어두거나, 바로 그것을 위해 구매한 프리미엄 트래픽을 거절해야 합니다. 게다가 요구사항은 시간이 지나면서 바뀔 수 있으므로, 맞는 예측도 제한된 기간에만 맞습니다.
앞서 언급한 공유 프리필 풀로 돌아가면, 제공업체는 모든 트래픽에 TileRT 프리미엄을 지불할 필요가 없습니다. 일반 요청은 처리량 최적화 vLLM 또는 SGLang 디코드 풀에 남고, 지연 시간에 결정적으로 민감한 요청만 TileRT 디코드 풀로 라우팅할 수 있습니다.
출처: SemiAnalysis
이 중 어느 것도 속도 시장의 최상단을 없애지는 않습니다. SRAM 루프라인은 여전히 더 우수하고, 특정 모델 크기는 여전히 이를 선호하며, 일부 워크로드는 어떤 비용을 치르더라도 초당 최대 토큰을 원할 것입니다. 그러나 TileRT는 대부분의 구매자에게 필요한 것을 재구성합니다. 속도 장비가 아니라, 어차피 보유할 플릿에서 동적으로 프로비저닝되는 속도 등급입니다. Cerebras, Groq, SambaNova는 더 이상 서투른 커널 실행기와 경쟁하지 않습니다. 이들은 대체 가능한 하드웨어에서 실행되고 구성 파일로 재할당되는 자기 자신의 실행 모델과 경쟁합니다. TileRT는 1인승 로켓선일 수 있지만, 제공업체가 완전히 새로운 발사체를 설계하는 대신 Metro Bus에 고체 로켓 부스터를 달 수 있게 합니다.
GLM5.1은 한 세대 뒤처져 있으며 메인라인 InferenceX에서 이미 지원 중단되었습니다. TileRT의 모델 카탈로그는 매우 제한적이며, 현재 GLM-5/5.1, DeepSeek-V3.2를 지원합니다. MiMo-V2.5-Pro-UltraSpeed는 공동 설계 파트너십의 결과이며 아직 오픈소스화되지 않았습니다.
TileRT는 ASIC 벤더의 가장 큰 약점을 물려받습니다. 정적 사전 컴파일은 작은 모델 카탈로그(현재 GLM-5/5.1 및 DeepSeek-V3.2), 강하게 고정된 종속성, 새 아키텍처마다 필요한 실질적 엔지니어링 노력을 의미합니다. 완전히 범용적인 경로는 없습니다. 지속형 엔진 커널은 모델을 하나의 상주 프로그램으로 사전에 정적 확장한다는 뜻이므로, 타일 형태, 파이프라인 깊이, 레지스터/공유 메모리/L2 전반의 버퍼 상주, 로드·연산·통신 간 워프 그룹 분할 방식, 타일 흐름에 집합 연산을 융합할 위치, GLM-5.1의 전용 희소 인덱서 랭크와 같은 특수 역할을 맡을 GPU를 결정해야 합니다. 어텐션 메커니즘이나 라우팅 체계를 바꾸면 그 스케줄의 많은 부분이 무효화됩니다. 데이터플로 칩도 같은 문제에 직면하며, 좋은 컴파일러를 만드는 일은 악명 높게 어렵습니다.
특히 AI를 통해 소프트웨어 개발을 가속할 수 있게 되면서 이를 단순화하는 작업이 진행되고 있습니다. TileOPs는 이 부담을 줄이기 위한 것입니다. 각 연산자는 시그니처, 워크로드, 루프라인 모델을 지정하는 기계 판독 가능 매니페스트에 선언됩니다. 이 매니페스트는 이전 구현과의 비교뿐 아니라 하드웨어 한계에 대한 코드 생성, 테스트, 벤치마킹을 이끕니다.
AI 코딩 에이전트는 알려진 템플릿 내에서의 튜닝을 가속하지만, 새로운 변환에는 여전히 전문가의 판단이 필요합니다. 모놀리식 지속형 커널은 기존 커널별 프로파일러 타임라인의 유용성도 낮춰 자동화된 피드백 루프를 더 어렵게 만듭니다.
현재 TileRT 벤치마킹을 InferenceX의 단일 턴 8k/1k와 AgentX라고 부르는 새로운 에이전트형 코딩 벤치마크로 옮기는 작업을 적극적으로 진행하고 있습니다. 이 시나리오는 긴 문맥, 다중 턴 요청, 현실적인 하위 에이전트 활동, 동적 도구 사용 지연을 포함한 실제 Claude Code 및 Codex 트레이스를 재생합니다. 중앙 입력 길이는 140k 토큰이며, 이론적 중앙 캐시 적중률 루프라인은 99.2%에 도달합니다.
이 워크로드는 디코드 속도만이 아니라 증분 KV 전송, 프리픽스 캐시 재사용, 캐시 보존 및 오프로딩, 라우팅, 스케줄링을 포함한 전체 TileRT<> vLLM 시스템을 시험할 것입니다. 핵심 질문은 TileRT가 턴 사이에 새로 도입된 문맥만 전송하면서 초고상호작용성 우위를 보존할 수 있는지입니다.
두 번째 단계는 배치 크기 1을 넘어서는 것입니다. 또한 배치 크기 2, 4, 8에서 TileRT를 벤치마크할 예정입니다. 목표는 처리량–상호작용성 파레토 프런티어를 매핑하고 지속형 Engine Kernel의 지연 시간 우위가 평탄해지기 시작하는 지점을 식별하는 것입니다.
다음으로, 일반적인 더 낮은 상호작용성 운영점의 디코드와 비교하여 초고상호작용성에서 TileRT의 출력 토큰 100만 개당 비용을 심층 분석합니다. 전통적 엔진과 등비용일 때 TileRT가 최대 1.9x 더 빠른 상호작용성을 높인다는 점에서 결과는 매우 흥미롭습니다. 각 칩 SKU의 자본 지출 및 운영 지출 기준선으로 AI TCO Model을 사용합니다.
