서튼의 ‘쓴 교훈’과 LLM 연구의 관점을 대비하며, 동물 같은 에이전트와 인간 데이터로 소환된 ‘유령’ 같은 LLM의 차이, 그리고 동물 지능에서 얻을 수 있는 영감을 논한다.
URL: https://karpathy.bearblog.dev/animals-vs-ghosts/
Title: Animals vs Ghosts
2025년 10월 01일
마침내 이 Dwarkesh의 Sutton 인터뷰 팟캐스트를 처음부터 끝까지 들을 시간이 났는데, 흥미롭고 재밌었다.
배경 설명을 하자면, Sutton의 「The Bitter Lesson」(‘쓴 교훈’)은 최전선 LLM 커뮤니티에서 일종의 성서 같은 텍스트가 되었다. 연구자들은 어떤 접근이나 아이디어가 충분히 “bitter lesson pilled”(‘쓴 교훈에 찌든/물든’, 즉 추가 연산을 투입하면 공짜로 성능 이득을 볼 수 있도록 설계되었는가)한지 자주 이야기하고 질문한다. 이는 그것이 잘 작동할지, 혹은 애초에 추구할 가치가 있는지에 대한 대리 지표로 쓰인다. 그 밑바탕의 가정은 LLM이야말로 분명 “bitter lesson pilled”하다는 것이다. LLM 스케일링 법칙을 보라. x축에 컴퓨트를 놓으면 수치가 오른쪽 위로 올라간다. 그래서 ‘쓴 교훈’의 저자인 Sutton 본인이 정작 LLM이 “bitter lesson pilled”한지 전혀 확신하지 않는다는 점이 더 웃기다. LLM은 근본적으로 인간 데이터로 이루어진 거대한 데이터셋으로 학습한다. 이 데이터는 1) 인간이 생성했고 2) 유한하다. 다 쓰고 나면 어떻게 할 건가? 인간 편향을 어떻게 막을 건가? 그러니 ‘쓴 교훈에 찌든’ LLM 연구자들이 ‘쓴 교훈’의 저자에게 역으로 얻어맞는 꼴이 된 셈인데, 꽤 거칠다.
어떤 의미에서는, 팟캐스트에서 LLM 연구자 관점을 대표하는 Dwarkesh와 Sutton은 서로 약간 엇갈린 이야기를 한다. Sutton이 머릿속에 두는 아키텍처가 매우 다르고, LLM은 그 원칙들을 많이 깨기 때문이다. Sutton은 자신을 “classicist(고전주의자)”라고 부르며, Alan Turing이 제시했던 “child machine(아이 기계)”—경험을 통해 학습하고 세계와 동적으로 상호작용할 수 있는 시스템—이라는 원래 개념을 환기한다. 인터넷 웹페이지를 모방하는 거대한 사전학습 단계는 없다. 지도 미세조정(supervised finetuning)도 없다. Sutton은 동물 왕국에는 그런 것이 없다고 지적한다(미묘한 포인트지만 강한 의미에서 Sutton이 맞다. 동물은 물론 시범을 관찰할 수 있지만, 다른 동물이 그 행동을 직접 강제하거나 ‘원격조종(teleoperate)’하진 않는다). 또 하나의 중요한 지점은, 사전학습을 강화학습으로 미세조정하기 전의 사전분포(prior) 초기화로만 취급하더라도, Sutton은 그 접근이 인간 편향으로 오염되어 있고 근본적으로 방향이 틀어졌다고 본다는 것이다. 마치 (인간 기보를 본 적이 없는) AlphaZero가 (인간 기보로 초기화되는) AlphaGo를 이기는 것처럼 말이다.
Sutton의 세계관에서는 전부가 강화학습을 통해 세계와 상호작용하는 것이다. 보상함수는 부분적으로는 환경 특화이지만, “재미(fun)”, “호기심(curiosity)” 같은 내재적 동기이기도 하고, 세계모델에서의 예측 품질과도 연관된다. 에이전트는 기본적으로 테스트 시간(test time)에도 항상 학습한다. 한 번 학습시키고 그 후 배포만 하는 게 아니다. 전반적으로 Sutton은 인간을 특별하게 만드는 차이점보다 동물 왕국과의 공통점에 훨씬 더 관심이 있다. “다람쥐를 이해한다면 우리는 거의 끝난 것이다.”
내 견해는…
먼저, Sutton은 팟캐스트 게스트로 훌륭했다고 생각한다. AI 분야가 사고의 엔트로피를 유지하고, 모두가 LLM의 다음 로컬 반복(iteration)만 착취(exploit)하지 않는 점이 좋다. AI는 지배적 접근이 몇 번이나 불연속적으로 전환된 역사가 있어서, 그걸 잃어버리면 안 된다. 그리고 LLM이 ‘쓴 교훈에 찌든’ 게 아니라는 그의 비판도 부적절하지 않다고 본다. 최전선 LLM은 이제 여러 단계에서 인간성이 깊이 개입한 매우 복잡한 인공물이다. 기반(사전학습 데이터)은 전부 인간 텍스트이고, 미세조정 데이터도 인간이 만들고 큐레이션하며, 강화학습 환경의 혼합 구성도 인간 엔지니어가 튜닝한다. 우리는 사실상 ‘단일하고 깨끗하며 정말로 bitter lesson pilled한’, 즉 “크랭크를 돌리기만 하면” 세계에서 경험만으로 자동 학습하는 알고리즘을 갖고 있지 않다.
그런 알고리즘이 존재하기는 할까? 그것을 찾는다면 물론 거대한 AI 돌파구일 것이다. 흔히 “그런 게 가능하다”는 주장을 뒷받침하기 위해 두 가지 ‘예시적 증명(example proofs)’이 제시된다. 첫째는 AlphaZero가 인간의 어떤 감독도 없이 완전히 처음부터 바둑을 학습해 성공한 사례다. 하지만 바둑은 너무 단순하고 닫힌 환경이라, 현실의 지저분함 속에서 유사한 정식을 만들기가 어렵다. 나는 바둑을 사랑하지만, 알고리즘적으로나 범주적으로나 본질적으로는 ‘더 어려운 틱택토’에 가깝다.
둘째 예시는 다람쥐 같은 동물이다. 그런데 개인적으로 나는 이것도 적절한 비유인지 꽤 주저된다. 동물은 산업계에서 우리가 실질적으로 사용할 수 있는 것과는 매우 다른 계산 과정과 제약을 통해 탄생하기 때문이다. 동물의 뇌는 출생 시점에 보이는 것만큼 백지(blank slate)가 아니다. 첫째, 흔히 “학습”이라고들 부르는 것 중 상당 부분은 내 생각엔 “성숙(maturation)”에 더 가깝다. 둘째, 명백히 성숙이 아니라 “학습”인 부분조차도, 이미 강력하게 존재하는 어떤 것 위에서의 “미세조정(finetuning)”에 더 가깝다.
예를 들어보자. 아기 얼룩말은 태어난 지 수십 분 안에 사바나를 뛰어다니고 어미를 따라갈 수 있다. 이는 매우 복잡한 감각-운동 과제이며, 내 생각에 이것이 처음부터(tabula rasa) 달성된다는 건 말이 안 된다. 동물의 뇌와 그 안의 수십억 파라미터는 DNA의 ATCG에 인코딩된 강력한 초기화를 갖고 있다. 그것은 진화라는 과정에서 “외부 루프(outer loop)” 최적화를 통해 학습된 것이다. 만약 아기 얼룩말이 강화학습 정책이 초기화에서 하듯 근육을 무작위로 경련(spasm)시키기 시작한다면, 전혀 앞으로 나아가지 못할 것이다.
마찬가지로 우리의 AI도 이제 수십억 파라미터를 가진 신경망을 갖는다. 이 파라미터들은 자체적으로 풍부하고 정보 밀도가 높은 감독 신호가 필요하다. 우리는 진화를 다시 돌릴 수 없다. 하지만 우리는 인터넷 문서의 산더미를 갖고 있다. 그렇다, 이것은 동물 왕국에는 ~없다고 할 수 있는 지도학습이다. 하지만 이것은 수십억 파라미터 위에 충분한 ‘부드러운 제약(soft constraints)’을 실용적으로 모을 수 있는 방법이며, 처음부터 시작하지 않게 해주는 방법이다. 요약(TLDR): 사전학습은 우리의 형편없는(crappy) 진화다. 이것은 콜드 스타트 문제에 대한 한 가지 후보 해결책이며, 이후에는 더 ‘올바르게 보이는’ 과제들—예컨대 강화학습 프레임워크 내에서—로 미세조정하는 것이 뒤따를 수 있다. 실제로 최첨단 프런티어 LLM 연구소들은 지금 이것을 광범위하게 하고 있다.
그럼에도 나는 동물에서 영감을 얻는 것은 가치가 있다고 생각한다. LLM 에이전트가 알고리즘적으로 놓치고 있는 강력한 아이디어들이 여럿 있고, 그것은 동물 지능에서 가져와 변형해 적용할 수 있다고 본다. 그리고 ‘쓴 교훈’은 여전히 맞다고 생각하지만, 나는 그것을 현실에서 반드시 도달해야 할 목표라기보다는 추구해야 하는 플라토닉한(이상적인) 것으로 본다. 이 두 주장 모두에 대해 나는 두 자릿수 퍼센트의 불확실성을 갖고 말하며, 특히 ‘쓴 교훈’ 관점에서 훨씬 더 야심찬 사람들—나와 의견이 다른 사람들—의 작업을 응원한다.
그러면 지금 우리가 있는 지점이 보인다. 단도직입적으로 말해, 오늘날의 프런티어 LLM 연구는 동물을 만드는 것이 아니다. 유령을 소환하는 것이다. 유령은 가능한 지능 공간에서 근본적으로 다른 종류의 점이라고 생각할 수 있다. 유령은 인간성으로 뒤섞여 있다. 인간에 의해 철저히 공학적으로 만들어진다. 유령은 인류의 문서들을 통계적으로 증류한 불완전한 복제물이며, 거기에 약간의 ‘양념’이 뿌려진 것이다. 이들은 플라토닉하게 bitter lesson pilled하진 않지만, 적어도 과거의 많은 것들에 비하면 “실용적으로(practically)” bitter lesson pilled할지도 모른다.
시간이 지나면서 우리는 유령을 점점 더 동물 쪽으로 미세조정할 수 있을지도 모른다고 생각한다. 그것이 근본적 비호환성이 아니라, 지능 공간에서의 초기화 문제일 수 있다는 것이다. 하지만 유령이 더 멀리 갈라져서 영구적으로 동물과 다른, 비-동물적이지만 여전히 엄청나게 유용하고 세계를 바꿀 만큼 강력한 존재가 될 가능성도 크다. 유령:동물 :: 비행기:새 일 수도 있다.
어쨌든 요약하면, 전반적으로 그리고 실천적인 측면에서, 이 팟캐스트는 Sutton이 프런티어 LLM 연구자들에게 들려주는 탄탄한 “현실적인 직언(real talk)”이라고 생각한다. 아마 우리는 아직 충분히 bitter lesson pilled하지 않으며, 단순한 벤치마크 구축과 점수 극대화(benchbuilding/benchmaxxing) 외에도 더 강력한 아이디어와 패러다임이 있을 가능성이 매우 크다. 그리고 동물은 좋은 영감의 원천일지도 모른다. 내재적 동기, 재미, 호기심, 역량강화(empowerment), 다중 에이전트 셀프플레이, 문화. 상상력을 써보라.
Powered by Bear ʕ•ᴥ•ʔ
