로봇을 훈련시키는 방법

지난 몇 년간 AI 역량이 엄청나게 발전한 데에는 방대한 양의 훈련 데이터를 활용할 수 있었다는 점이 큰 몫을 했습니다. GPT-3가 공개된 뒤 작성된 Gwern의 영향력 있는 2020년 에세이 “스케일링 가설”은 최근 AI의 발전이 규모의 산물, 즉 더 큰 모델, 더 큰 데이터셋, 그리고 훈련에 투입되는 더 많은 연산이라고 주장합니다. Gwern은 다음과 같이 썼습니다.

스케일링 가설은 규모가 주는 혜택을 AGI의 비결로 봅니다. 지능은 (현재로서는) 도달할 수 없는 규모에서 다양한 경험에 적용되는 단순한 신경 단위와 학습 알고리즘 ‘일 뿐’입니다. 계산 자원이 늘어나 그러한 알고리즘을 필요한 규모로 실행할 수 있게 되면, 신경망은 계속해서 더 지능적으로 변할 것입니다.

마찬가지로 익명의 AI 연구자 Nostalgebraist는 2024년에 쓴 글에서 “현재의 모든 지형은 ML 모델이 더 많은 데이터로 훈련할수록 꾸준하고 예측 가능하게 개선된다는 사실의 발견에서 시작됐다. 그 뒤의 모든 것은 수년에 걸친 빠른 하드웨어 개선으로 가능해진, 더 큰 데이터셋으로 더 큰 모델을 훈련하는 일이었다”고 했습니다. Epoch AI는 2010년대 초반 이후 AI 언어 모델 훈련 데이터셋의 크기가 약 6개월마다 두 배가 되었다고 밝혔습니다. 오늘날 가장 큰 AI 모델은 수십조 개의 토큰으로 훈련됩니다.

현대 AI를 로보틱스에 적용하려는 노력이 점점 더 커지면서 중요한 질문이 하나 생깁니다. “훈련 데이터는 어디서 나올까?” 언어 모델은 이미 존재하는 거대한 텍스트 말뭉치로 훈련할 수 있었습니다. 예를 들어 GPT-3는 인터넷에서 수집한 약 3,000억 토큰 분량의 데이터로 훈련되었습니다. Epoch AI는 2024년에 이용 가능한 고품질 텍스트 데이터의 총량이 약 300조 토큰이라고 추정했습니다. 하지만 이에 상응하는 양질의 공개 로봇 훈련 데이터는 없습니다. 로보틱스용 데이터가 어디서 나오며 얼마나 필요한지를 파악하는 일은 이 분야의 핵심 문제가 되었습니다.

LLM이든 로봇 제어용 모델이든 AI 모델을 훈련하려면 본질적으로 무언가가 올바르게 수행된 수많은 사례가 필요합니다. 또는 올바른 행동이 어떤 모습인지를 충분히 알아야 시도를 평가할 수 있습니다. 모델에 어떤 입력 집합을 넣고, 모델의 출력을 실제 정답 출력과 비교한 뒤, 둘의 차이를 사용해 일종의 경사 하강법으로 그 차이를 줄이도록 모델의 매개변수를 수정합니다. (이 과정은 이달 초에 꽤 자세히 다뤘습니다.)

텍스트의 경우 훈련 사례는 기존 텍스트 조각 하나면 될 수 있습니다. 조각을 վերց어 일부를 모델에 입력하고, 모델이 그 시퀀스에서 다음에 올 내용을 예측하게 합니다. 따라서 텍스트 조각 하나는 서로 다른 부분을 모델에 입력함으로써 많은 훈련 사례를 만들어 낼 수 있습니다.

Opus 5.5 제공

로봇을 훈련할 때 사례란 보통 과업이 완료되거나 시도되는 과정을 녹화한 것입니다. 이 녹화를 만들고 훈련 데이터로 전환하는 데는 다양한 방법이 사용됩니다.

역사적으로 이런 녹화를 만드는 가장 흔한 방법 중 하나는 “원격 조작”이라 불립니다. 원격 조작에서는 사람이 로봇에 직접 연결된 조작 장치를 다루어, 로봇이 특정 과업을 수행하도록 움직입니다. 예를 들어 셔츠를 접거나 물체를 집어 옮기는 일 등이 있습니다. 아래 이미지는 한 사람이 한 쌍의 로봇 팔을 원격 조작하여, 주전자에서 유리잔으로 물을 따르는 모습을 보여 줍니다.

사람이 과업을 수행하는 동안 로봇의 상태 데이터와 과업을 촬영하는 카메라 이미지가 기록됩니다. 카메라는 종종 로봇 자체에 장착됩니다. 이들을 결합해 훈련 사례를 만듭니다. 사례 하나는 시퀀스의 특정 시점에서 로봇 상태와 카메라가 보는 것에 관한 데이터를 모델에 입력하는 방식일 수 있습니다. 모델은 다음 로봇 행동이 무엇인지, 예컨대 관절 각도 같은 형태로 예측한 뒤 실제 행동과 비교합니다. 전문가인 인간이 만들어 낸 사례를 사용하고 모델이 이를 모방하도록 훈련하는 이런 전략은 행동 복제로 알려져 있으며, 더 넓은 범주의 “모방 학습”에 속합니다.

Opus 5.5 제공.

이 방법의 가장 큰 장점은 실제 훈련하려는 로봇이 데이터를 생성하므로, 생성되는 데이터가 로봇의 실제 움직임 역량과 매우 잘 맞는다는 점입니다. 그래서 오늘날에도 널리 사용됩니다. 여러 과업을 완수하기 위해 로봇을 원격 조작하는 일만 하는 사람들로 가득 찬 거대한 데이터 수집 공장의 영상이나 사진을 가끔 볼 수 있습니다. 또 사람이 자신이 로봇을 제어한다는 사실을 잊고 로봇이 감당할 수 없는 방식으로 갑자기 움직일 때 발생하는 원격 조작 사고도 가끔 보게 됩니다.

하지만 원격 조작에는 단점이 있습니다. 가장 큰 단점은 아마 비용일 것입니다. 데이터를 얻으려면 실제 로봇과 그 앞에 앉아 조작할 사람이 필요하므로, 이 방법을 확장해 매우 많은 데이터를 생산하기 어렵습니다. 또 다른 단점은 사람이 이런 방식으로 로봇을 제어하는 일이 다소 불편하다는 것입니다. 조작하는 물체에서 동작을 안내할 촉각 피드백을 전혀 받지 못하는 경우가 많으므로, 정교한 조작에 관한 정말 좋은 데이터를 반드시 만들어 내는 것은 아닙니다. 이런 불편함 때문에 양질의 원격 조작 데이터를 수집하기도 어렵고, 제가 이해하기로 수집된 전체 원격 조작 데이터 가운데 훈련에 유용하게 쓰이는 것은 일부에 그칩니다.

기존 로봇이 스스로 움직이게 하고 행동을 기록한 뒤, 어떤 체계로 이 행동 시퀀스를 성공 여부에 따라 분류하여 훈련 데이터를 만들 수도 있습니다. 로봇이 자율적으로 움직이고 그 행동을 어떤 방식으로 평가하는 이런 전략은 “강화 학습”으로 알려져 있습니다. Google은 2016년 무렵 “로봇 팔 농장”을 이용해 이와 비슷한 일을 했습니다. 즉, 자율적으로 움직이는 일련의 로봇 팔을 두고, 팔이 물체를 집거나 잡았는지 여부로 성공을 평가했습니다.

이런 로봇 팔 농장은 오늘날 널리 쓰이지 않는 듯하지만, 실제 세계에 배치된 로봇을 사용하는 방식은 결국 로봇 훈련 데이터의 가장 큰 원천이 될 가능성이 큽니다. 로보틱스 분야 사람들은 실제 세계에 로봇을 배치하고, 그 데이터로 더 나은 모델을 훈련하며, 그 결과 더 많은 로봇이 배치되고, 다시 더 나은 모델이 만들어지는 “데이터 플라이휠”의 필요성을 자주 말합니다.

예를 들어 로봇 AI 기업 Physical Intelligence는 사무실 근처의 초콜릿 공장에서 “로봇을 배치해 실제 일을 하게 하고, 모델을 개선할 데이터를 수집하게 한다”는 종류의 초기 플라이휠을 실험하고 있습니다. 하지만 언젠가는 가능할지 몰라도, 지금은 실제 일과 비슷한 일을 하는 AI 제어 로봇의 수가 매우 적습니다. 실제 세계 데이터는 같은 과업을 매우 비슷한 조건에서 반복하는 로봇처럼 극도로 반복적인 경향도 있어 훈련에는 훨씬 덜 유용합니다. 따라서 현재로서는 대부분의 데이터가 다른 원천에서 나와야 합니다.

로봇 훈련 데이터를 만드는 또 다른 매우 흔한 전략은 시뮬레이션입니다. 실제 세계에서 물리적 로봇을 작동시키는 대신, 모의 세계에서 디지털 로봇을 작동시키는 것입니다. 이는 강화 학습과도 흔히 결합되며, 로봇이 어떤 모의 공간을 탐색하게 한 뒤 얼마나 잘했는지 평가합니다. 또 다른 방식은 교사/학생 패러다임입니다. 모의 환경 안의 모든 데이터에 완전하게 접근할 수 있는 “교사” 모델과, 실제 로봇이 볼 수 있는 것, 즉 카메라 이미지와 자신의 내부 상태만 볼 수 있는 “학생” 모델을 두고 학생이 교사를 모방하게 합니다.

시뮬레이션의 장점은 실제 세계에 로봇을 배치하는 것보다 훨씬 저렴하고 빠르며, 수천 대 로봇의 행동을 시뮬레이션해 매우 많은 데이터를 얻을 수 있다는 점입니다. Figure AI는 수천 대의 모의 로봇을 대상으로 한 강화 학습을 통해 인간형 로봇에 걷는 법을 가르쳤습니다. OpenAI는 로봇 손에 13,000년의 모의 경험에 해당하는 훈련을 통해 루빅스 큐브를 푸는 법을 가르쳤습니다. Waymo는 2019년까지 실제 세계에서 1,000만 마일을 주행했지만, 시뮬레이션에서는 100억 마일을 주행했습니다.

Figure 제공.

하지만 시뮬레이션에도 단점이 있습니다. 가장 큰 문제는 생성하는 데이터의 품질이 시뮬레이션 정확도에 좌우된다는 점입니다. 이동, 즉 로봇이 물리적 공간을 통과해 움직이는 것 같은 일부 작업에서는 행동 특성이 대부분 충분히 잘 규명되어 디지털로 표현할 수 있으므로 시뮬레이션이 꽤 정확합니다. 따라서 네 발 로봇이 어떤 지형을 탐색하거나, 두 발 로봇이 춤추거나, 드론이 어떤 경로를 따라 비행하도록 시뮬레이션에서 훈련할 수 있으며, 모의 환경은 실제 세계를 상당히 잘 근사합니다. 그러나 물체 조작, 특히 부드럽거나 변형 가능한 물체의 경우 실제 세계 행동을 정확히 포착하는 시뮬레이션을 구축하기가 훨씬 어렵고, 이를 훈련 데이터 원천으로 사용하기도 훨씬 어렵습니다. 이를 일반적으로 “시뮬레이션-현실 격차”라고 합니다.

시뮬레이션의 부정확성 때문에 인기 있는 시뮬레이션 기법 중 하나는 “도메인 무작위화”입니다. 실제 세계에서 마찰 같은 다양한 매개변수가 어떨지 알 수 없으므로, 시뮬레이션을 실행할 때 매개변수를 무작위로 변화시킵니다. 이렇게 하면 실제 세계에서 마주칠 매개변수를 포괄하는 훈련 범위를 만들 수 있기를 기대합니다. 예를 들어 OpenAI가 로봇 손을 훈련해 루빅스 큐브를 풀게 했을 때, 시험하는 매개변수의 범위를 계속 확장하여 모델이 점점 더 어려운 환경에서 큐브를 풀도록 했고, 실제 세계에도 일반화될 역량을 부여하려 했습니다. 해당 로보틱스 팀은 정확한 물리 모델링이 너무 어려웠기 때문에 이 전략을 특별히 사용했습니다.

우리가 맞닥뜨린 가장 큰 과제는 실제 세계의 물리를 포착할 만큼 다양한 시뮬레이션 환경을 만드는 것이었습니다. 마찰, 탄성, 동역학 같은 요인은 루빅스 큐브나 로봇 손처럼 복잡한 물체에서는 측정하고 모델링하기가 믿기 어려울 정도로 어렵습니다. 그리고 도메인 무작위화만으로는 충분하지 않다는 사실을 발견했습니다.

이를 극복하기 위해, 시뮬레이션에서 점진적으로 더 어려운 환경을 끝없이 생성하는 자동 도메인 무작위화(ADR)라는 새 방법을 개발했습니다. 이 방법은 실제 세계의 정확한 모델로부터 우리를 자유롭게 하며, 시뮬레이션에서 학습된 신경망을 실제 세계에 적용할 수 있게 합니다.

그러나 이 기법과 정말 많은 시뮬레이션, 즉 13,000년의 모의 경험에도 성능은 그저 괜찮은 수준이었습니다. 가장 어려운 시작 배열에서는 성공률이 20%에 불과했습니다. 아마 이것이 이 기법이 현재 조작 훈련에 널리 쓰이지 않는 이유일 수 있습니다. 다만 환경 매개변수 무작위화는 이동 훈련에서는 꽤 표준적인 것으로 보이며, 예를 들어 이동하는 표면의 마찰 계수를 무작위로 변화시키는 용도로 쓰입니다.

시뮬레이션을 쓰는 또 다른 방법은 합성 훈련 데이터를 만드는 것입니다. 실제 훈련 데이터를 입력으로 받아 이와 유사한 훈련 사례를 많이 만드는 방식입니다. 예를 들어 Nvidia는 원격 조작 데이터를 입력으로 사용해 Isaac GR00T 로봇 시뮬레이션 플랫폼에서 합성 로봇 훈련 데이터를 생성하는 방법을 보여 주는 페이지를 제공하고 있습니다. 합성 데이터 생성은 자율주행차 훈련에도 널리 사용되는 것으로 보입니다.

사람이 과업을 수행하는 모습을 기록하고, 기록된 과업 데이터를 로봇에 대응시키는 어떤 매핑을 만들어 로봇 훈련 데이터를 생성할 수도 있습니다. 이는 사람에게 머리 장착형 카메라를 씌워, 이른바 “자아중심 영상”을 만들고 사람이 손으로 여러 과업을 하는 모습을 기록하는 것처럼 단순할 수 있습니다. 이후 영상은 사람의 동작이 로봇의 동작으로 해석되도록 처리되며, 훈련 사례를 만드는 데 사용됩니다. (이는 로보틱스에서 인간형 폼팩터가 인기 있는 한 이유입니다. 사람이 과업을 하는 모습은 상당히 좋은 훈련 데이터 원천이 될 수 있습니다.) 예를 들어 Figure AI는 사람들이 여러 과업을 수행하는 모습을 직접 기록하도록 머리 장착형 카메라를 보내 훈련 데이터를 모으는 프로그램인 Index를 최근 발표했습니다. 또는 Figure가 이런 카메라를 장착한 팀을 여러분의 집이나 사업장에 보내 집안일을 해 주기도 합니다. Shift 같은 기업도 모자 장착형 카메라를 쓴 사람들을 다른 이들의 집으로 보내 집안일하는 모습을 기록하는 방식으로 이 일을 하고 있습니다.

Figure가 수집하는 자아중심 영상 데이터, Figure 제공.

더 많은 센서를 추가해 더 정교한 인간 과업 데이터를 수집할 수도 있습니다. 현재는 사라진 스타트업 Eidon AI는 로봇 팔 훈련을 위한 관절 위치 데이터를 수집하고자 사람들의 팔에 센서를 부착했습니다. Neocambrian AI는 최근 “로봇용 고정밀 촉각 데이터를 포착하는 최첨단 촉각 장갑”이라고 설명하는 “Mitts”를 발표했습니다.

X 제공.

X 제공.

이 전략의 또 다른 변형은 범용 조작 인터페이스 또는 UMI를 사용하는 것입니다. UMI에서는 사람이 특별히 설계된 한 쌍의 조작기를 잡는데, 보통 끝에 간단한 집게형 그립이 달려 있습니다. 다만 여러 손가락을 가진 것도 있습니다. 조작기에는 조작기가 정확히 무엇을 하는지 기록하는 카메라가 장착되어 있고, 사람은 이를 사용해 여러 과업을 수행합니다. 이 영상은 이후 유사한 조작기를 가진 로봇의 훈련 사례를 만드는 데 사용됩니다. 예를 들어 로봇 모델 스타트업 Generalist AI와 Sunday Robotics는 훈련 데이터 수집에 주로 이 전략을 쓰는 것으로 보입니다.

사람이 수집한 과업 데이터를 사용하는 장점은 원격 조작 데이터보다 수집 비용이 훨씬 낮다는 것입니다. 로봇 전체가 아니라 카메라나 카메라가 장착된 조작기만 있으면 됩니다. 또한 로봇을 계속 다시 배치하는 대신 사람이 돌아다니며 서로 다른 일을 하게 하면, 다양한 과업 기록을 훨씬 쉽게 얻을 수 있을 것입니다. 그리고 사람이 실제 물체를 조작하는 실제 세계에서 데이터가 수집되므로 시뮬레이션보다 정확합니다. 단점은 이 데이터가 로봇이 아니라 사람에게서 나오므로 로봇의 역량에 완벽히 대응하지는 않는다는 점입니다. 사람이 일종의 로봇 조작기로 과업을 수행하게 해 인간과 로봇의 차이를 최소화하는 UMI조차 완벽하게 대응하지는 않을 수 있습니다. 다만 차이는 작으며, 지금까지 본 가장 인상적인 로보틱스 시연 가운데 다수, 예를 들어 Generalist AI의 시연은 UMI 데이터로 훈련되었습니다.

하나의 로봇 모델에 여러 훈련 전략을 사용할 수도 있습니다. 예를 들어 Agility Robotics의 Digit는 시뮬레이션에서 강화 학습으로 훈련된 매개변수 100만 개의 작은 신경망을 사용해 걷고, 물체 조작은 행동 복제로 훈련된 것으로 보입니다. Dyna Robotics도 훈련 데이터에 시뮬레이션 강화 학습과 인간 영상을 결합해 사용한 것으로 보입니다.

과업 완료 데이터 이외의 데이터로 로봇 모델을 훈련하는 것도 흔히 유용합니다. 앞서 언급했듯, 시각-언어-행동 모델은 텍스트와 이미지로 훈련된 시각-언어 모델을 기반으로 구축됩니다. 또한 YouTube나 TikTok 같은 곳에 일반 영상 데이터가 널리 존재하기 때문에, 일반적인 웹 영상을 훈련 데이터 원천으로 활용할 방법을 찾는 데 큰 관심이 쏠립니다. 예를 들어 Nvidia의 Cosmos는 로봇 정책 모델의 기반으로 사용할 수 있는 영상 데이터 훈련 기반 모델입니다.

지금까지 이런 행동 관련 훈련 데이터를 얼마나 수집했으며, 얼마나 더 필요할까요?

AI 모델 전반의 경우와 마찬가지로 로봇 훈련 데이터셋도 커지고 있는 것으로 보입니다. 당시에는 대형으로 여겨졌던 초기 데이터셋으로는 Google DeepMind가 2023년에 수십 개 기존 데이터셋을 이어 붙여 만든 Open X-Embodiment(OXE) 데이터셋이 있습니다. OXE는 16만 개가 넘는 서로 다른 과업에 걸친 100만 개 이상의 로봇 행동 궤적으로 구성되었고, 총 약 4,000시간의 과업 데이터에 해당했습니다. 2024년 10월 출시된 Physical Intelligence의 Pi 0 모델은 1만 시간의 로봇 과업 데이터로 훈련되었습니다. 올해 초 발표된 Generalist AI의 GEN 1 모델은 약 50만 시간의 UMI 데이터로 훈련되었습니다. Figure AI의 Index 발표에 따르면 이 회사는 매초 30분 분량의 영상 데이터, 즉 하루 4만 3,000시간을 수집하고 있습니다. Dyna Robotics와 Nature Will은 둘 다 최신 모델이 100만 시간이 넘는 인간 자아중심 영상 데이터로 훈련되었다고 주장합니다. 로봇 데이터 수집 업계 전체가 한 달에 약 50만 시간의 훈련 데이터를 생산한다는 추정치도 보았습니다.

이 데이터셋들을 LLM 훈련에 사용되는 텍스트 데이터셋과 비교하는 일은 그리 쉽지 않습니다. 우선 로봇 훈련 세트마다 품질 수준이 다릅니다. 원격 조작이나 UMI 데이터는 훈련 목적상 순수한 인간 자아중심 영상 데이터보다 품질이 더 높을 가능성이 큽니다. 또 아주 다양한 과업이 포함된 변동성 높은 데이터셋은 극도로 반복적인 데이터셋보다 훨씬 유용합니다. 로보틱스 훈련용 영상 데이터는 정보 측면에서도 텍스트 데이터와 다릅니다. 영상 데이터는 높은 상관관계를 갖는 경향이 있습니다. 짧은 시간 척도에서는 한 프레임이 다른 프레임과 상당히 비슷합니다. 따라서 영상 녹화물에는 많은 데이터가 담겨 있지만, 훈련 목적에서는 텍스트 데이터보다 정보 밀도가 낮을 가능성이 큽니다. 로보틱스 연구자 Chris Paxton이 지적하듯, “머신러닝은 독립 동일 분포(iid) 데이터셋에 가까울수록 가장 잘 작동한다. 웹 데이터도 로봇 데이터도 iid는 아니지만, 로봇 데이터는 웹 데이터보다 훨씬 덜 iid다.”

그래도 시도해 볼 수는 있습니다. Physical Intelligence 연구자 Kevin Black이 이 발표에서, 로보틱스 교수 Ken Goldberg가 이 발표에서 사용한 매우 거친 데이터셋 크기 비교 방법은 텍스트 토큰 데이터셋을 사람이 읽는 데 걸리는 시간을 추정하고, 이를 보유한 로봇 훈련 데이터 시간과 비교하는 것입니다. 이 기준에 따르면 GPT-2는 약 47만 5,000시간에 해당하는 데이터로 훈련되었고, GPT-3는 2,600만 시간, GPT-4는 6억 8,500만 시간의 데이터로 훈련되었습니다. 이 다소 의심스러운 기준을 사용하면, 수년 전 AI 모델조차 현재 로봇 모델이 훈련되는 데이터보다 약 1,000배 많은 데이터로 훈련되었습니다. Goldberg는 이를 “10만 년 데이터 격차”라고 부릅니다.

Paxton은 자신의 Substack “It Can Think!”에서 반대 방향의 추정을 시도하여 로봇 데이터 시간을 토큰으로 변환했고, 상당히 유사한 추정치에 도달했습니다. 그는 초당 10프레임으로 실행되는 영상에서 각 프레임에 유용한 훈련 토큰 하나에 해당하는 정보가 들어 있다고 가정합니다. 그러면 영상 1시간마다 약 10 × 60 × 60 = 36,000개의 훈련 토큰이 들어 있습니다. 이어 영상 데이터의 매초가 실제로 유용하리라고 기대할 수는 없다는 가정 아래 이를 10으로 나누어, 영상 1시간당 약 3,600개의 훈련 토큰을 얻습니다. 이에 따르면 Dyna Robotics의 100만 시간 훈련은 약 36억 토큰에 해당하며, 최근 AI 모델을 훈련하는 데 사용된 데이터셋보다 대략 5,000배 작습니다.

실제 보유한 양보다 약 1,000배 많은 실제 세계 로봇 훈련 데이터, 즉 약 10억 시간 분량의 데이터가 필요하다고 가정하면, 이를 만드는 데 얼마나 들까요? Eidon AI는 로봇 데이터 가격이 시간당 60달러에서 100달러라고 보고합니다. Pantheon도 비슷하게 UMI 데이터 비용이 시간당 60달러에서 150달러이지만, 자사 엔지니어들이 시간당 10달러에 데이터를 생성할 수 있는 파이프라인을 개발했다고 보고합니다. Shift는 자아중심 영상 데이터를 녹화해 판매하면 시간당 최대 20달러를 벌 수 있다고 주장합니다. 따라서 순진한 추정으로는 최근 AI 모델과 비슷한 역량 수준까지 로봇 모델을 끌어올릴 만큼의 데이터를 얻는 데 약 100억 달러에서 1,000억 달러가 들 수 있습니다.

하지만 실제로 얼마나 많은 데이터가 필요한지는 다소 열린 질문으로 보입니다. 일반화에 관심이 없고, 로봇 모델이 다양한 특정 과업만 수행하도록 훈련하려 한다면 데이터 요구량은 상당히 적을 수 있습니다. 또는 Fable이나 Astra 같은 최전선 범용 AI 모델이 비교적 적은 양의 로봇 훈련 데이터를 받은 뒤에도 매우 유능한 로봇 제어기가 될 수 있습니다. 일부 사람들은 특수 목적의 로봇 AI 모델이 더 일반적인 AI 모델로 대체될 수 있다고 이미 예측합니다. 마찬가지로 우리는 현재 모델보다 훨씬 더 표본 효율적인, 즉 각 훈련 사례에서 훨씬 더 많이 학습하는 로봇 AI 모델 아키텍처를 발견할 수도 있습니다.

반면 실제 세계에서 움직이고 물체를 조작하는 일이 컴퓨터에서 텍스트를 조작하는 것보다 근본적으로 훨씬 어려운 과업일 수 있으며, 모델이 이 실제 세계 행동에 능숙해지려면 훨씬 더 많은 훈련이 필요할 수도 있습니다. 예를 들어 생성된 텍스트의 작은 오류, 맞춤법 실수나 조금 부정확한 단어 선택은 반드시 텍스트 전체를 망치지 않습니다. 하지만 물체를 조작할 때는 아주 작은 위치 오류 하나가 성공과 완전한 실패를 가를 수 있습니다. Ken Goldberg도 주장하듯, 로봇 움직임은 텍스트 생성보다 훨씬 고차원적인 문제입니다. 다만 저는 그 발표에서 그가 제시한 논증의 형태에는 완전히 동의하지 않지만, 다른 로보틱스 연구자들도 이런 견해를 되풀이하는 것을 보았습니다.

LLM은 AI 모델 훈련에서 규모의 이점, 즉 더 큰 모델, 더 많은 데이터, 훨씬 더 많은 연산을 사용한 훈련을 보여 주었습니다. 이제 우리는 이 스케일링이 로보틱스에서 얼마나 잘 작동하는지 확인하는 과정에 있습니다. 로보틱스 연구자들은 AI 전반에서 본 것과 같은 로봇 역량의 추세를 보기를 바라며, 막대한 양의 로봇 과업 훈련 데이터를 수집하기 위해 노력하고 있습니다.