Google은 Coral 프로젝트를 바탕으로 초저전력 상시동작 엣지 AI를 가능하게 하는 오픈·표준 기반 NPU 아키텍처와 통합 툴체인을 공개했다. RISC‑V 기반 스칼라/벡터/매트릭스 유닛, IREE/MLIR 기반 컴파일러, 웨어러블·IoT 대상의 하드웨어 보안 및 Synaptics와의 생태계 협력 등을 소개한다.
생성형 AI는 기술에 대한 우리의 기대를 근본적으로 바꾸어 놓았습니다. 우리는 대규모 클라우드 기반 모델이 놀라운 방식으로 생성하고, 추론하고, 도울 수 있는 힘을 보아 왔습니다. 그러나 다음의 거대한 기술 도약은 단지 클라우드 모델을 더 크게 만드는 것이 아니라, 그 지능을 우리의 즉각적이고 개인적인 환경 속에 직접 심는 것입니다. AI가 진정으로 보조적이 되려면 — 하루를 능동적으로 안내하고, 대화를 실시간으로 번역하고, 물리적 맥락을 이해하도록 하려면 — 우리가 착용하고 휴대하는 기기에서 실행되어야 합니다. 이는 핵심 과제를 제기합니다. 배터리 제약이 있는 엣지 기기에 주변형(ambient) AI를 탑재해 클라우드로부터 해방하고, 진정으로 사적인, 하루 종일 지속되는 보조 경험을 가능하게 하는 것입니다.
클라우드에서 개인 기기로 옮기려면 다음의 세 가지 중대한 문제를 해결해야 합니다.
오늘 우리는 Coral NPU를 소개합니다. 이는 우리의 초기 Coral 작업을 기반으로 하여 하드웨어 설계자와 ML 개발자에게 다음 세대의 사적이고 효율적인 엣지 AI 기기를 만드는 데 필요한 도구를 제공하는 풀스택 플랫폼입니다. Google Research와 Google DeepMind와의 공동 설계를 통해 탄생한 Coral NPU는 초저전력, 상시동작 엣지 AI의 다음 세대를 가능하게 하기 위해 구축된 AI-우선 하드웨어 아키텍처입니다. 이 플랫폼은 개발자 경험을 통합하여 앰비언트 센싱 같은 애플리케이션을 더 쉽게 배포할 수 있게 합니다. 특히 웨어러블 기기에서 배터리 사용을 최소화하면서 하루 종일 AI를 실행하도록 설계되었으며, 더 높은 성능이 필요한 사용 사례를 위해 구성 가능하도록 만들어졌습니다. 우리는 문서와 도구를 공개하여 개발자와 디자이너가 지금 바로 빌드를 시작할 수 있도록 했습니다.
저전력 엣지 기기를 위한 개발자들은 범용 CPU와 특수 가속기 사이에서 근본적인 트레이드오프에 직면합니다. 범용 CPU는 중요한 유연성과 폭넓은 소프트웨어 지원을 제공하지만, 까다로운 ML 워크로드에 필요한 도메인 특화 아키텍처가 부족해 성능이 떨어지고 전력 효율이 낮습니다. 반대로 특수 가속기는 높은 ML 효율을 제공하지만, 유연성이 낮고 프로그래밍이 어렵고, 일반 작업에는 적합하지 않습니다.
이 하드웨어 문제는 극도로 파편화된 소프트웨어 생태계로 인해 더욱 확대됩니다. CPU와 ML 블록의 프로그래밍 모델이 현저히 다른 탓에, 개발자들은 종종 독점 컴파일러와 복잡한 커맨드 버퍼를 사용할 수밖에 없습니다. 이는 가파른 학습 곡선을 만들고 서로 다른 연산 유닛의 고유한 장점을 결합하기 어렵게 만듭니다. 그 결과, 업계에는 여러 ML 개발 프레임워크를 손쉽고 효과적으로 지원할 수 있는 성숙한 저전력 아키텍처가 부족합니다.
Coral NPU 아키텍처는 전통적인 칩 설계를 뒤집음으로써 이를 직접 해결합니다. 스칼라 연산보다 ML 매트릭스 엔진을 우선시하여, 실리콘 단계부터 AI에 맞게 아키텍처를 최적화하고, 보다 효율적인 온디바이스 추론을 위해 목적에 맞게 구축된 플랫폼을 만듭니다.
완전한 레퍼런스 신경처리장치 (NPU) 아키텍처로서 Coral NPU는 에너지 효율적이고 ML에 최적화된 다음 세대 시스템온칩 (SoC)을 위한 구성 요소를 제공합니다. 이 아키텍처는 RISC-V ISA 규격을 준수하는 아키텍처 IP 블록 집합을 기반으로 하며, 전력 소비를 최소화하도록 설계되어 상시동작 앰비언트 센싱에 이상적입니다. 기본 설계는 수 밀리와트만 소비하면서 512 기가 연산/초 (GOPS)급 성능을 제공합니다. 이를 통해 엣지 기기, 히어러블, AR 글래스, 스마트워치에서 강력한 온디바이스 AI를 구현할 수 있습니다.
RISC-V 기반의 개방형·확장형 아키텍처는 SoC 설계자에게 기본 설계를 수정하거나 사전 구성된 NPU로 사용할 수 있는 유연성을 제공합니다. Coral NPU 아키텍처에는 다음 구성 요소가 포함됩니다.
Coral NPU 아키텍처는 IREE와 TFLM 같은 최신 컴파일러와 매끄럽게 통합되는, 단순한 C 프로그래머블 타깃입니다. 이를 통해 TensorFlow, JAX, PyTorch와 같은 ML 프레임워크 지원이 용이해집니다.
Coral NPU는 TensorFlow용 TFLM 컴파일러 같은 특화 솔루션과 함께 범용 MLIR 컴파일러, C 컴파일러, 커스텀 커널, 시뮬레이터를 포함하는 포괄적인 소프트웨어 툴체인을 내장합니다. 이를 통해 개발자에게 다양한 경로가 제공됩니다. 예를 들어 JAX 같은 프레임워크의 모델은 먼저 StableHLO 변형을 사용해 MLIR 형식으로 가져옵니다. 그 중간 파일은 IREE 컴파일러로 전달되며, 여기서 Coral NPU의 아키텍처를 인식하는 하드웨어 특화 플러그인이 적용됩니다. 이후 컴파일러는 점진적 로워링(progressive lowering)을 수행합니다. 이는 코드가 일련의 변형을 거치며 기계의 네이티브 언어에 점점 가까워지도록 체계적으로 번역되는 핵심 최적화 단계입니다. 최적화가 끝나면 툴체인은 엣지 기기에서 효율적으로 실행할 준비가 된 최종, 소형 바이너리 파일을 생성합니다. 이 업계 표준 개발 도구 모음은 ML 모델 프로그래밍을 단순화하고, 다양한 하드웨어 타깃에서 일관된 경험을 가능하게 합니다.
Coral NPU의 공동 설계 과정은 두 가지 핵심 영역에 집중합니다. 첫째, 오늘날 온디바이스 비전과 오디오 애플리케이션에 사용되는 선도적 인코더 기반 아키텍처를 효율적으로 가속합니다. 둘째, 우리는 Gemma 팀과 긴밀히 협업하여 Coral NPU를 소형 트랜스포머 모델에 최적화하고 있으며, 이를 통해 엣지에서의 차세대 생성형 AI를 지원하도록 가속기 아키텍처를 보장하고자 합니다.
이중 초점 덕분에 Coral NPU는 웨어러블에 LLM을 가져오기 위해 설계된, 개방형·표준 기반·저전력 NPU로는 최초의 궤도에 올라 있습니다. 개발자에게 이는 현재와 미래의 모델을 단일하고 검증된 경로를 통해 최소 전력으로 최대 성능으로 배포할 수 있음을 의미합니다.
Coral NPU는 특히 앰비언트 센싱 시스템에 초점을 맞춘 초저전력, 상시동작 엣지 AI 애플리케이션을 가능하게 하도록 설계되었습니다. 그 주된 목표는 배터리 사용을 최소화하면서 웨어러블, 모바일폰, 사물인터넷 (IoT) 기기에서 하루 종일 AI 경험을 구현하는 것입니다.
가능한 사용 사례는 다음과 같습니다.
Coral NPU의 핵심 원칙은 하드웨어로 보장되는 보안을 통해 사용자 신뢰를 구축하는 것입니다. 우리 아키텍처는 미세한 메모리 수준의 안전성과 확장 가능한 소프트웨어 구획화를 제공하는 CHERI와 같은 최신 기술을 지원하도록 설계되고 있습니다. 이 접근을 통해 민감한 AI 모델과 개인 데이터를 하드웨어로 보장되는 샌드박스에 격리해, 메모리 기반 공격을 완화할 수 있기를 기대합니다.
오픈 하드웨어 프로젝트의 성공은 강력한 파트너십에 달려 있습니다. 이를 위해 우리는 임베디드 컴퓨팅, 무선 연결성, IoT를 위한 멀티모달 센싱 분야의 선도 기업이자 우리의 첫 전략적 실리콘 파트너인 Synaptics와 협력하고 있습니다. 오늘 그들의 Tech Day에서 Synaptics는 새로운 Astra™ SL2610 AI-Native IoT Processor 제품군을 발표했습니다. 이 제품군에는 업계 최초로 Coral NPU 아키텍처를 제품에 구현한 Torq™ NPU 서브시스템이 탑재됩니다. 이 NPU 설계는 트랜스포머를 처리할 수 있으며 동적 연산자도 지원하여, 개발자가 소비자 및 산업용 IoT를 위한 미래 지향적 엣지 AI 시스템을 구축할 수 있게 합니다.
이 파트너십은 통합된 개발자 경험에 대한 우리의 약속을 뒷받침합니다. Synaptics Torq™ 엣지 AI 플랫폼은 IREE와 MLIR을 기반으로 한 오픈소스 컴파일러와 런타임 위에 구축되었습니다. 이 협업은 지능형 컨텍스트 인지형 기기를 위한 공유 오픈 표준을 구축하는 데 있어 중요한 발걸음입니다.
Coral NPU로 우리는 개인 AI의 미래를 위한 토대 층을 구축하고 있습니다. 우리의 목표는 업계가 공통의, 오픈소스이며 안전한 플랫폼 위에서 구축할 수 있도록 함으로써 활기찬 생태계를 조성하는 것입니다. 이는 개발자와 실리콘 벤더가 오늘날의 파편화된 환경을 넘어, 엣지 컴퓨팅을 위한 공유 표준에 협력해 더 빠른 혁신을 가능하게 하도록 돕습니다. Coral NPU에 대해 더 알아보고 지금 바로 빌드를 시작해 보세요.
이 작업의 핵심 기여자와 리더십 팀, 특히 Billy Rutledge, Ben Laurie, Derek Chow, Michael Hoang, Naveen Dodda, Murali Vijayaraghavan, Gregory Kielian, Matthew Wilson, Bill Luan, Divya Pandya, Preeti Singh, Akib Uddin, Stefan Hall, Alex Van Damme, David Gao, Lun Dong, Julian Mullings-Black, Roman Lewkow, Shaked Flur, Yenkai Wang, Reid Tatge, Tim Harvey, Tor Jeremiassen, Isha Mishra, Kai Yick, Cindy Liu, Bangfei Pan, Ian Field, Srikanth Muroor, Jay Yagnik, Avinatan Hassidim, 그리고 Yossi Matias께 감사드립니다.
