Andrej Karpathy가 강화학습의 한계, 모델 붕괴가 LLM의 인간식 학습을 가로막는 이유, AGI가 연 2% GDP 성장의 연장선으로 스며드는 이유, 자율주행이 오래 걸린 까닭, 그리고 교육의 미래에 대해 이야기합니다.
Andrej Karpathy 에피소드.
Andrej는 왜 강화학습이 형편없지만(그렇다고 다른 대안이 더 낫지는 않다), 왜 모델 붕괴가 LLM이 인간처럼 학습하는 것을 막는지, 왜 AGI는 지난 약 2.5세기의 연 2% GDP 성장 속에 자연스럽게 스며들 것인지, 왜 자율주행은 돌파하는 데 오래 걸렸는지, 그리고 그가 보는 교육의 미래에 대해 설명합니다.
YouTube에서 시청: YouTube; 오디오로 듣기: Apple Podcasts 또는 Spotify.
Labelbox는 도메인이나 학습 패러다임에 상관없이, 기본으로 얻을 수 있는 것보다 더 세밀하고 더 정확하며 더 높은 신호의 데이터를 확보하도록 도와드립니다. 오늘 labelbox.com/dwarkesh에서 문의하세요.
Mercury는 비즈니스를 더 잘 운영하도록 돕습니다. 우리가 팟캐스트에서 사용하는 뱅킹 플랫폼으로, 계정, 현금 흐름, 매출채권(AR), 매입채무(AP)를 한 곳에서 볼 수 있다는 점을 좋아합니다. mercury.com에서 몇 분 만에 온라인으로 신청하세요.
Google의 Veo 3.1 업데이트는 이미 훌륭한 모델을 유의미하게 개선했습니다. Veo 3.1의 생성물은 더 일관되고 오디오는 더 높은 품질을 제공합니다. Google AI Pro 또는 Ultra 플랜이 있다면 오늘 https://gemini.google에 방문해 Gemini에서 바로 사용해 보세요.
(01:06:25) – AGI는 2% GDP 성장에 스며든다
Dwarkesh Patel00:00:00
오늘은 Andrej Karpathy와 이야기합니다. Andrej, 왜 올해가 아니라 에이전트의 “10년”이 될 거라고 말하나요?
Andrej Karpathy00:00:07
먼저 초대해 주셔서 감사합니다. 오게 되어 기쁩니다.
방금 언급하신 “에이전트의 10년이다”라는 말은 사실 기존 발언에 대한 반응입니다. 누가 처음 말했는지는 잘 모르겠지만, LLM과 그 진화를 두고 올해가 에이전트의 해가 될 거라고들 하더군요. 저는 그 과한 예측에 자극을 받았어요. 제 생각에 더 정확한 표현은 에이전트의 “10년”입니다.
우리는 놀라울 만큼 인상적인 초기 에이전트들을 이미 갖고 있어요. 저는 매일 Claude나 Codex 등을 씁니다. 하지만 여전히 해야 할 일이 많다고 느낍니다. 제 반응은, 우리는 앞으로 10년 동안 이런 것들을 다듬게 될 거라는 겁니다. 점점 더 좋아질 것이고, 멋진 일이죠. 저는 그 암시가 담고 있던 일정(타임라인)에 반응했을 뿐입니다.
Dwarkesh Patel00:00:58
10년이 걸릴 일은 무엇인가요? 병목은요?
Andrej Karpathy00:01:02
정말 “작동”하게 만드는 일 전반입니다. 에이전트라 하면, 랩들이 상상하는 것—저도 아마 비슷하게 떠올리는 것—은 당신이 고용할 직원이나 인턴에 가까운 존재예요. 예컨대 당신도 여기서 직원들과 함께 일하죠. 언제쯤 Claude나 Codex 같은 에이전트에게 그 일을 맡기고 싶을까요?
현재로선 당연히 불가하죠. 그들이 그 일을 할 수 있으려면 무엇이 필요할까요? 왜 지금은 못할까요? 충분히 똑똑하지도, 멀티모달하지도 않고, 컴퓨터 사용도 제대로 못하고… 이런 것들 때문입니다.
또, 앞서 언급하신 여러 능력이 부족합니다. 지속 학습도 없죠. 무언가 알려주면 기억해야 하는데 그렇지 않습니다. 인지적으로 부족해서 아직 “안 돌아갑니다.” 이런 이슈들을 풀어내는 데 약 10년이 걸릴 겁니다.
Dwarkesh Patel00:01:44
흥미롭군요. 전문 진행자이자 멀찍이서 AI를 지켜보는 입장에서 부족한 점을 꼽기는 쉬워요. 지속 학습이 없다, 멀티모달이 부족하다, 같은 식으로요. 하지만 여기에 타임라인을 붙이기는 어렵습니다. 누군가 “지속 학습은 얼마나 걸릴까?” 묻는다면, 5년짜리인지 10년짜리인지 50년짜리인지 가늠할 근거가 없어요. 왜 10년인가요? 왜 1년도 50년도 아닌가요?
Andrej Karpathy00:02:16
여기에는 제 직관과, 그동안의 경험을 바탕으로 한 외삽이 섞여 있습니다. 저는 거의 20년 동안 AI에 몸담았습니다. 정확히는 15년쯤이니 아주 길지는 않죠. 당신은 Richard Sutton도 모셨는데, 그는 훨씬 오래 있었죠. 어쨌든 저는 사람들이 예측하고 그게 어떻게 빗나갔는지를 15년치 지켜봤습니다. 연구와 산업 모두 경험했고요. 그로부터 남은 일반적 직관이 있습니다.
제 느낌에 이 문제들은 “풀 수 있는” 문제들입니다. 그렇지만 여전히 어렵죠. 평균적으로 보자면, 제게는 10년이란 숫자가 가장 그럴듯하게 느껴집니다.
Dwarkesh Patel00:02:57
흥미롭습니다. 역사뿐 아니라, 각 돌파의 순간들에 방 안의 사람들이 무엇이 일어나려 한다고 느꼈는지도 듣고 싶습니다. 그때의 감각은 과도하게 낙관적이거나 비관적이었나요? 하나씩 짚어볼까요?
Andrej Karpathy00:03:16
질문이 엄청 크네요. 15년 동안 정말 많은 일이 있었습니다. AI의 멋진 점은, 온 분야의 시선이 단번에 바뀌는 거대한 지각변동이 여러 번 있었다는 겁니다. 저는 그중 두세 번을 겪은 것 같아요. 앞으로도 꽤 규칙적으로 그런 일들이 있을 거라 생각합니다.
제가 커리어를 시작했을 때, 딥러닝에 관심을 갖게 된 건 토론토대에서 Geoff Hinton 옆에 있었기 때문이었습니다. 그는 AI의 대부죠. 각종 신경망을 훈련하고 있었고, 저는 놀랍고 흥미롭다고 느꼈죠. 하지만 그게 AI 전체의 메인스트림은 전혀 아니었습니다. 변두리 주제였어요. 그게 알렉스넷으로 이어진 첫 번째 대지진이었죠.
알렉스넷 이후 모두가 신경망을 학습하기 시작했지만, 여전히 작업별로, 특정 태스크별로 나뉘어 있었습니다. 이미지 분류기, 신경기계번역기 같은 식이었죠. 그러다 사람들이 서서히 에이전트에 관심을 갖기 시작합니다. “시각 피질 같은 부분은 대강 체크한 것 같은데, 그 외의 뇌 영역은? 세상과 상호작용하는 온전한 에이전트를 만들려면?” 같은 생각이죠.
2013년 Atari 딥 강화학습은 제게 초기 에이전트 시도의 일부였습니다. 그건 지각만 하는 게 아니라, 행동하고, 보상을 받고, 환경과 상호작용하는 에이전트를 만들려는 시도였죠. 그 당시 대상은 아타리 게임이었습니다.
저는 그게 “잘못 디딘 발걸음”이었다고 봅니다. 제가 몸담았던 OpenAI 초기에도 그 오판을 따랐죠. 당시의 시대정신이 강화학습(RL) 환경과 게임, 게임 플레이, 게임 정복이었거든요. 다양한 게임을 많이 풀자는 분위기였고 OpenAI도 그런 걸 많이 했죠. 그건 2~4년 정도 온 분야가 게임에 RL을 적용하던 국면이었는데, 결과적으로는 약간의 삽질이었습니다.
저는 게임이 AGI로 이어질 수 있는가에 늘 회의적이었습니다. 제 머릿속의 AGI는 실제 세계와 상호작용하는 회계사 같은 존재였거든요. 게임이 그걸로 이어진다는 그림이 안 보였죠. 그래서 OpenAI에서 제가 했던 프로젝트는 Universe라는 프로젝트 안에서, 키보드와 마우스를 써서 웹페이지를 조작하는 에이전트였습니다. 실제 디지털 세계와 상호작용하며 지식 노동을 할 수 있는 걸 원했어요.
하지만 너무 이르렀습니다. 너무너무 이른 시도였죠. 그걸 해서는 안 될 만큼요. 키보드를 두드리고 마우스를 클릭하며 보상을 얻으려다 보면, 보상이 너무 희소해서 학습이 안 됩니다. 산더미 같은 컴퓨팅을 태워도 출발선을 못 벗어나요. 신경망 표현력의 힘이 부족한 겁니다.
오늘날은 컴퓨터를 사용하는 에이전트를 훈련하지만, 그 위에 대형 언어 모델을 얹습니다. 먼저 LLM을 얻고, 표현을 얻고, 사전학습으로 그 표현을 확보한 다음, 그 위에 이것저것을 붙여야 해요.
대강 말하자면, 사람들은 전체 에이전트를 너무 일찍 만들려 했습니다. 아타리, Universe, 제 경험까지 모두요. 에이전트를 만들기 전에 먼저 해야 할 일들이 있었던 거죠. 이제 에이전트는 훨씬 유능해졌지만, 여전히 스택의 몇몇 부분이 부족할지 모릅니다.
요약하면, 사람들이 해온 세 가지 큰 흐름이 있습니다. 태스크별 신경망 학습, 에이전트의 1차 시도, 그리고 LLM—신경망의 표현력을 먼저 확보한 다음 그 위에 나머지를 얹는 단계 말이죠.
Dwarkesh Patel00:07:02
흥미롭습니다. Sutton의 관점을 스틸맨해보면, 인간도—아니면 언어라는 비계(스캐폴드)가 없는 동물은 더더욱—한꺼번에 다 받아들입니다. 동물은 세상에 던져지고, 라벨 없이 모든 걸 이해해야 하죠.
AGI의 비전은 감각 데이터를 보고, 화면을 보고, 맨바닥에서 무슨 일이 벌어지는지 알아내는 시스템이어야 한다는 겁니다. 만약 인간을 비슷한 상황에 놓고 처음부터 훈련한다면… 인간이나 동물이 성장하는 과정과 같겠죠. 왜 AI도 그렇게 해서는 안 되나요? 우리가 지금처럼 수백만 년에 해당하는 훈련을 하는 대신에요.
Andrej Karpathy00:07:41
좋은 질문입니다. Sutton은 당신 팟캐스트에 나왔고, 저도 그 방송을 봤습니다. 그리고 제 생각을 정리한 글도 썼죠. 저는 동물에 대한 비유를 매우 조심합니다. 동물은 전혀 다른 최적화 과정, 즉 진화로 만들어진 존재이기 때문입니다. 동물은 엄청난 양의 하드웨어(본능과 회로)를 내장하고 태어납니다.
제 예시는 얼룩말이었습니다. 얼룩말은 태어나고 몇 분 만에 뛰어다니며 엄마를 따라갑니다. 엄청 복잡한 능력이죠. 그건 강화학습이 아닙니다. 내장된 겁니다. 진화는 ATCG라는 염기서열로 신경망의 가중치를 somehow 인코딩하는 것 같은데, 저는 그 메커니즘을 모르겠어요. 하지만 분명 작동합니다.
뇌는 전혀 다른 과정을 통해 만들어졌습니다. 우리는 그 과정을 직접 돌리지 않습니다. 제 글에서 “우리는 동물이 아니라 유령(ghost)이나 정령(spirit) 같은 것을 만들고 있다”고 표현했죠. 우리가 하는 훈련은 진화가 아니라, 인간과 인터넷 데이터의 모방입니다.
결국 우리는 완전히 디지털이고 인간을 흉내 내는 이런 “영혼 같은” 지능을 만들고 있습니다. 지능의 공간이 있다고 상상해보면, 우리는 다른 출발점에서 시작하는 셈입니다. 한편, 시간이 지나며 더 동물스럽게 만드는 것도 가능하고, 그렇게 해야 한다고 봅니다.
한 가지 더. Sutton의 프레임은 “우리는 동물을 만들고 싶다”입니다. 그게 된다면 대단하겠죠. 하나의 알고리즘만 돌리면 인터넷에서 모든 걸 배우는 시스템이라니! 하지만 그런 단일 알고리즘이 있다는 확신은 없습니다. 그리고 동물도 그렇게 배우지 않아요. 동물은 바깥 고리로서 진화가 있고, 많은 “학습처럼 보이는 것”은 사실 뇌의 성숙에 가깝습니다. 동물의 강화학습은 매우 적고, 대부분은 운동 제어 같은 데 쓰이는 것 같습니다. 저는 인간이 지능적 문제 해결에 RL을 거의 안 쓴다고 봅니다.
Dwarkesh Patel00:09:52
방금 마지막 문장을 다시 말해줄 수 있나요? 많은 지능이 모터 태스크가 아니라… 뭐라고요?
Andrej Karpathy00:09:54
제 시각에서 강화학습은 보다 운동 제어에 가까운 간단한 과제—예컨대 링 던지기 같은 것—에 해당합니다. 인간은 수학 문제 풀이 같은 지적 과제에는 강화학습을 쓰지 않는다고 봐요. 그렇다고 연구에 해당 접근을 쓰면 안 된다는 뜻은 아니지만요. 다만 동물이 하는 것과 인간 지능에 관한 건 다르다고 느낍니다.
Dwarkesh Patel00:10:17
아이디어가 많아서 잠깐 정리하고 싶네요. 당신의 관점을 이해하려고 명확화 질문을 하나 하겠습니다. 당신은 진화가 사전학습과 유사하게, 세상을 이해할 수 있는 무언가를 만드는 역할을 한다고 말했습니다.
차이는, 인간의 경우 진화는 3GB의 DNA라는 병목을 거쳐야 한다는 겁니다. 모델의 가중치와는 다르죠. 모델의 가중치는 곧 뇌 자체인데, 정자와 난자에는 뇌가 없고 자라나야 하니까요. 또 뇌의 모든 시냅스 정보가 DNA 3GB 안에 들어갈 수 없죠.
진화는 평생 학습을 수행하는 알고리즘을 찾는 것에 더 가깝습니다. 물론 그 평생 학습이 RL과 상응하지 않을 수 있다는 당신의 지적도요. 당신의 말과 모순되지 않나요, 아니면 호환되나요?
Andrej Karpathy00:11:17
동의합니다. 분명 엄청난 압축이 일어나고 있어요. 신경망의 가중치가 ATCG에 그대로 저장되는 건 아니죠. 강력한 압축과 더불어, 온라인으로 학습을 수행하는 학습 알고리즘이 어디엔가 인코딩되어 있다고 봐야 합니다. 저도 그 점에는 동의합니다.
다만 저는 현실적 관점에서 접근합니다. “동물을 만들자”가 아니라 “유용한 걸 만들자”는 엔지니어의 관점이죠. 우리는 진화를 할 수 없습니다. 그 방법을 모르거든요.
하지만 우리는 인터넷 문서를 모방해 이런 유령/정령 같은 존재를 만들 수 있습니다. 이게 작동합니다. 진화가 했던 것과 비슷하게 지식과 지능을 내장한 시작점을 만드는 실용적 방법이죠. 그래서 저는 사전학습을 “형편없는 진화(crappy evolution)”라고 부릅니다. 지금 기술과 데이터로 실용적으로 가능한 버전인 거죠. 그런 출발점을 만든 다음 강화학습 같은 걸 얹을 수 있습니다.
Dwarkesh Patel00:12:15
다른 관점을 스틸맨하자면, Sutton 인터뷰를 하고 생각해보니, 그의 지적에는 요점이 있어 보입니다. 진화는 지식을 주는 게 아니라 지식을 찾는 알고리즘을 줍니다. 그건 사전학습과 다르죠.
물론 반론으로, 사전학습이 더 잘 배우는 존재를 만드는 데 도움을 준다—메타러닝을 가르친다—고도 말할 수 있습니다. 그래서 알고리즘을 찾는 것과 유사하다. 하지만 “진화는 지식을 준다, 사전학습은 지식을 준다”는 식의 비유는 어긋납니다.
Andrej Karpathy00:12:42
미묘합니다. 당신이 지적하는 건 타당해요. 하지만 사전학습이 하는 일은, 인터넷 상의 다음 토큰 예측기를 신경망에 학습시키는 겁니다. 이때 두 가지가 동시에 일어납니다. 첫째, 제가 “지식”이라 부르는 것을 잔뜩 흡수합니다. 둘째, 실제로 “똑똑해집니다.”
인터넷의 알고리즘적 패턴을 관찰하면서, 신경망 내부에 온갖 회로와 알고리즘이 부팅됩니다. 문맥 내 학습 같은 것도요. 사실 지식은 원치 않을 수도 있습니다. 오히려 신경망을 지식에 지나치게 의존하게 만들어 발목을 잡는 측면이 있어요.
예컨대 에이전트는 인터넷 데이터 매니폴드에서 벗어나는 데 서툽니다. 지식이나 기억이 덜했다면 더 잘했을지도 모르죠. 그래서 앞으로의 연구는 “지식”은 제거하고 제가 인지 코어(cognitive core)라고 부르는 것—지식은 벗겨냈지만 알고리즘과 문제해결의 마법, 전략 등은 담겨 있는 지능—을 남기는 방향을 모색할 필요가 있습니다.
Dwarkesh Patel00:13:50
정말 흥미로운 지점이 많네요. [문맥 내 학습]부터 시작하죠. 자명하지만, 명시적으로 말하고 곱씹을 가치가 있습니다. 모델이 가장 똑똑해 보이는 순간—“저기엔 정말 무언가가 있고 내 말에 반응해 생각하고 있다”는 느낌을 줄 때—를 보면, 실수했을 때 “아, 그 생각은 틀렸네요. 되돌리겠습니다.”라고 하죠. 이 모든 게 문맥 내에서 벌어집니다. 거기서 진짜 지능을 눈으로 확인합니다.
그 문맥 내 학습 과정은 사전학습 시 경사하강법으로 생겨난 메타학습 결과입니다. 다만 문맥 내 학습 자체는 경사하강법이 아닙니다. 인간의 평생 학습이 진화에 의해 조절되지만, 평생 동안의 학습은 다른 과정을 통해 일어나는 것과 유사하죠.
Andrej Karpathy00:14:42
전적으로 동의하진 않습니다만, 계속 말씀해 보세요.
Dwarkesh Patel00:14:44
그 비유가 어디서 어긋나는지 매우 궁금합니다.
Andrej Karpathy00:14:48
문맥 내 학습이 경사하강법을 “하지 않는다”고 단정하기는 조심스럽습니다. 명시적 GD는 아니죠. 문맥 내 학습은 토큰 창 안에서 패턴을 완성하는 겁니다. 인터넷에는 패턴이 아주 많고, 모델은 그 패턴을 완성하는 법을 배우며, 그 능력은 가중치에 새겨집니다. 신경망의 가중치는 패턴을 발견하고 완성하려고 하죠. 내부에서 일어나는 일종의 적응이 있는데, 인터넷에 패턴이 워낙 많아 저절로 생겨나는 마법 같은 현상입니다.
문맥 내 학습의 메커니즘을 분석한 흥미로운 논문들도 있습니다. 저는 문맥 내 학습이 신경망 레이어 내부에서 작은 GD 루프를 돌릴 가능성이 있다고 봅니다. 기억나는 논문 하나는 문맥 내 학습으로 선형회귀를 수행합니다. 입력은 선 위의 X, Y 쌍들입니다. X를 주면 Y를 예측하죠. 이런 방식으로 훈련하면 신경망은 선형회귀를 합니다.
통상 선형회귀는 작은 경사하강 최적화기를 돌려, XY를 보고 오차를 계산하고 가중치의 기울기를 구해 몇 번 업데이트하죠. 그런데 문맥 내 학습 알고리즘의 가중치를 살펴보니, GD의 메커니즘과 유사한 구조가 발견됐습니다. 실제로 논문에서는 어텐션과 내부 연산으로 GD를 수행하도록 신경망의 가중치를 하드코딩까지 했던 걸로 기억합니다.
요지는, 문맥 내 학습이 내부적으로 뭔가 그럴듯한 GD를 하고 있을 가능성이 크다는 겁니다. 무엇을 하는지는 모릅니다. 하지만 그럴듯한 걸 하고 있을지 몰라요. 당신이 “GD는 아니다”라고 한 부분만 살짝 반박하고 싶었어요.
Dwarkesh Patel00:16:39
그렇다면 생각해볼 가치가 있습니다. 문맥 내 학습과 사전학습이 둘 다 GD와 같은 것을 구현한다면, 왜 문맥 내 학습에서는 연속 학습과 “진짜 지능” 같은 느낌이 나고, 사전학습만으로는 그렇지 않을까요? 같은 알고리즘이라면 차이는 무엇일까요?
한 가지 생각은, 모델이 입력당 저장하는 정보량 차이입니다. 사전학습을 보면, 예를 들어 Llama 3는 15조 토큰으로 학습됩니다. 70B 모델이면, 가중치 정보량 대비 입력 토큰당 약 0.07비트입니다. 반면 문맥 내 학습에서 KV 캐시는 토큰 하나당 320KB씩 커지죠. 입력 토큰당 동화되는 정보량에서 3,500만 배 차이가 납니다. 이게 관련이 있을까요?
Andrej Karpathy00:17:46
동의합니다. 저는 보통 이렇게 표현합니다. 신경망 학습 중에 일어난 일은 학습 당시의 “희미한 회상(hazy recollection)”만 가중치에 남습니다. 15조 토큰을 몇십억 개 파라미터의 최종 신경망으로 압축하거든요. 압축이 엄청나다는 뜻입니다. 그래서 저는 그걸 “인터넷 문서에 대한 희미한 기억”이라고 부릅니다.
반면, 모델의 컨텍스트 윈도 안에서 일어나는 일—KV 캐시에 쌓이는 표현—은 신경망에 매우 직접적으로 접근 가능합니다. 그래서 KV 캐시와 테스트 시 일어나는 일을 “작업 기억(working memory)”로 비유합니다. 컨텍스트 윈도 안의 모든 것은 모델이 바로 꺼내 쓸 수 있죠.
LLM과 인간 사이에는 놀라울 정도로 유사한 비유가 자주 등장합니다. 그 유사성이 놀라운 건, 우리는 인간 뇌를 직접 모사하려고 한 게 아니라 작동하는 걸 발견해 따라한 것이기 때문이에요. 아무튼, 가중치에 담긴 것은 오래전에 읽은 걸 희미하게 기억하는 정도고, 테스트 시 컨텍스트로 준 것은 작업 기억에 바로 올라온 것입니다. 생각할 때 유용한 비유죠.
예컨대 LLM에게 어떤 책—Nick Lane의 책—의 내용을 묻는다면, 대략 맞는 얘기를 하긴 합니다. 하지만 챕터 전체를 주고 질문하면 훨씬 좋아집니다. 작업 기억에 로드됐으니까요. 요컨대, 동의합니다. 그래서 그런 차이가 납니다.
Dwarkesh Patel00:19:11
한 걸음 물러서서, 인간 지능 중 우리가 아직 복제하지 못한 부분은 무엇일까요?
Andrej Karpathy00:19:20
아직 아주 많습니다. 완벽한 비유는 아니지만, 우리가 발견한 트랜스포머 신경망은 놀라울 만큼 강력하고 일반적입니다. 오디오, 비디오, 텍스트 등 무엇에나 학습시켜 패턴을 배우게 할 수 있어요. 잘 작동합니다. 이건 마치 어떤 피질 조직과 같습니다. 대뇌피질은 유명하게 가소성이 크죠. 조금 섬뜩한 실험도 있었는데, 시각 피질을 청각 피질에 재배선해도 동물이 학습을 해내곤 했죠.
저는 트랜스포머를 피질 조직으로 봅니다. 추론과 계획을 모델 내부에서 생각 흔적(리스닝)로 할 때는 전전두피질과 유사하다고도 할 수 있죠. 그건 일종의 체크 마크입니다. 하지만 아직 탐색되지 않은 뇌 부위와 핵들이 많아요. 예컨대 기저핵은 RL 미세조정 때 약간 쓰입니다. 그럼 해마는? 명확하지 않죠. 일부는 중요하지 않을 수도 있습니다. 소뇌는 인지에 덜 중요하니 건너뛸 수도 있겠죠. 하지만 편도체 같은 감정과 본능, 그 밖의 아주 오래된 뇌핵들은 우리가 복제하지 않았습니다.
인간 뇌 아날로그를 그대로 만들 필요는 없습니다. 저는 기본적으로 엔지니어예요. 또 다른 방식으로 답하자면, 지금 이걸 인턴으로 고용하진 못합니다. 모델과 이야기해보면 “인지 결손”이 있는 건 누구나 직감하죠. 아직 한참 모자랍니다. 뇌의 모든 부위를 체크하지 못했다고도 볼 수 있습니다.
Dwarkesh Patel00:21:16
이건 타임라인과도 관련이 있을 텐데요. 어떤 이는 이렇게 말하죠. “연속 학습은 간단히 복제할 수 있다. 문맥 내 학습이 사전학습의 부산물로 자연 발생했듯이, 세션을 넘어서는 더 긴 지평선에서 모델이 정보를 회수하도록 유도하면, 자체 미세조정하거나 외부 메모리에 쓰는 ‘진짜’ 연속 학습도 자연히 생길 것이다.” 즉, 바깥 고리의 RL이 여러 세션을 포함하면 자연히 그런 게 나온다는 겁니다. 얼마나 그럴듯하다고 보나요? 전혀 감이 없습니다.
Andrej Karpathy00:22:07
완전히 공감하진 못합니다. 모델은 부팅될 때 윈도에 토큰이 0개면 항상 같은 지점에서 시작합니다. 그 관점에선 그림이 잘 안 떠오르네요. 인간 비유를—조심스럽지만—들자면, 저는 깨어 있는 동안 하루의 컨텍스트 윈도를 쌓아가는 느낌입니다. 하지만 자러 가면 마법 같은 일이 일어나요. 그 컨텍스트가 유지되진 않는 듯합니다. 그 대신 어떤 “가중치로의 증류” 과정이 있죠. 수면 동안 일어나는 일들 말예요.
LLM에는 그 등가가 없습니다. 이게 연속 학습의 부재와 인접한 지점이죠. 이런 모델에는 “그날의 일”을 집요하게 분석하고, 생각을 늘리고, 합성 데이터를 만들어 가중치에 다시 증류하는 단계가 없습니다. 개인별로 모델을 만드는 것도요. 아마 LoRA 같은 방식, 전체 가중치가 아니라 드문 일부 가중치만 바꾸는 식일 겁니다.
우리는 이런 “매우 긴 컨텍스트를 가진 개인”을 만드는 방법이 필요합니다. 단지 컨텍스트 윈도에만 머무는 게 아니라, 아주 긴 컨텍스트를 희소 어텐션으로 다루는 등도 필요하죠. 인간은 분명 일부 지식을 가중치로 증류하는 과정을 갖고 있습니다. 우리는 그걸 아직 못합니다. 또 인간은 매우 정교한 희소 어텐션 체계를 가진 듯합니다. 최근 DeepSeek v3.2가 나왔고, 거기서 희소 어텐션 초기가 보입니다. 아주 긴 컨텍스트 윈도를 가능케 하는 한 방법이죠. 저는 진화가 고안한 많은 인지적 기법들을, 다른 과정을 통해 재발명하고 있으며, 결국 유사한 인지 아키텍처로 수렴할 거라 봅니다.
Dwarkesh Patel00:24:02
10년 뒤에도 트랜스포머에 기반하되, 더 수정된 어텐션, 더 희소한 MLP 같은 형태일까요?
Andrej Karpathy00:24:10
저는 시간에 대한 병진 불변성 비유를 좋아합니다. 10년 전, 2015년을 보죠. 그때는 CNN이 주류였고, ResNet이 막 나왔습니다. 놀라울 만큼 비슷하면서도 꽤 달랐죠. 트랜스포머는 없었고요. 지금의 트랜스포머 트윅도 없었습니다. 10년 후에 대한 베팅을 하자면, 여전히 순전파/역전파와 GD로 거대한 신경망을 훈련하고 있겠지만, 모양은 좀 다를 거고, 모든 게 훨씬 커져 있을 겁니다.
최근 재미로 Yann LeCun의 1989년 CNN을 재현해 봤습니다. 최초의 현대적 NN이죠. 알고리즘과 데이터, 컴퓨트와 시스템—무엇이 성능을 좌우했는지—를 보고 싶었어요. 33년을 “알고리즘 시간여행” 했더니, 금방 에러를 절반으로 줄일 수 있었습니다.
하지만 그 이상 이득을 얻으려면 데이터가 더 필요했고, 훈련셋을 10배 늘렸고, 계산 최적화를 추가해야 했습니다. 더 오래 훈련하고 드롭아웃이나 정규화도 써야 했죠.
즉 모든 게 동시에 개선되어야 합니다. 데이터도, 하드웨어도, 커널과 소프트웨어도, 알고리즘도—모두가 놀랍도록 비슷한 기여를 해왔죠. 이건 오랜 경향입니다.
그래서, 알고리즘적으로는 지금과 다를 걸 예상하지만, 오래 버틴 것들은 계속 있을 겁니다. 아마 여전히 GD로 훈련되는 거대한 신경망일 겁니다.
Dwarkesh Patel00:26:16
그 모든 걸 합쳐도 에러를 절반으로 줄였다는 게 놀랍네요. 어쩌면 절반이면 큰 건가요. 에러를 절반으로 줄이면…
Andrej Karpathy00:26:30
절반이면 큽니다. 다만 충격적이었던 건, 모든 부분—아키텍처, 옵티마이저, 손실 함수—이 다 개선되어야 한다는 점입니다. 그리고 그건 늘 그래 왔습니다. 앞으로도 그럴 거라 봅니다.
Dwarkesh Patel00:26:43
비슷한 질문을 nanochat에 대해서도 하려고 했어요. 막 코드를 짠 상태니까 챗봇을 만드는 전 과정이 머릿속에 생생하죠. GPT-2에서 nanochat까지 오는 데 “단일 요인”은 없었다는 느낌이 있었나요? 놀라웠던 점이 있다면?
Andrej Karpathy00:27:08
nanochat을 만들면서요? nanochat은 제가 공개한 저장소입니다. 어제가었나 그제였나…
Dwarkesh Patel00:27:15
수면 부족의 흔적이…
Andrej Karpathy00:27:18
가장 단순하지만 완결된, ChatGPT 클론의 엔드투엔드 파이프라인 전체를 다루는 저장소가 목표입니다. 개별 단계 몇 개가 아니라 전 과정을요. 예전에는 개별 단계 코드 조각들을 간단한 코드로 보여줬습니다. 이번엔 전체 파이프라인을 다룹니다. 배운 점이요? 새로 배운 건 없어요. 이미 머릿속에 있던 걸 기계적으로 만들고, 사람들이 학습하고 유용하게 쓸 수 있게 깔끔히 정리한 겁니다.
Dwarkesh Patel00:28:04
배우는 최선의 방법은 뭔가요? 코드를 다 지우고 처음부터 다시 구현해보는 건가요, 아니면 수정해보기?
Andrej Karpathy00:28:10
좋은 질문입니다. 대략 8천 줄짜리 코드로 전체 파이프라인을 안내합니다. 모니터가 두 대라면 오른쪽에 열어두고, 왼쪽에서 처음부터 직접 만들어보세요. 복붙은 금지, 참조는 허용. 아마 그렇게 하겠습니다.
다만 저장소 그 자체는 큰 짐승입니다. 이런 코드는 위에서 아래로 쓰지 않아요. 덩어리(모듈)별로 성장시키죠. 그 정보는 저장소에 없습니다. 어디서 시작해야 할지 모를 수 있어요. 그래서 단순히 최종 저장소만으론 부족하고, 그걸 “어떻게” 만들어 가는지가 필요합니다. 복잡한 덩어리-성장 과정이요. 그 부분은 아직 없습니다. 이번 주에 아마 추가하고 싶어요. 아마 영상 형태로요. 요컨대, 직접 만들되 복붙은 금지.
저는 지식에 두 종류가 있다고 봅니다. 표층의 고수준 지식, 그리고 실제로 만들어 봐야 얻는 깊은 이해. 직접 만들면 내가 모르는 걸 마주하게 됩니다. 내가 모르는 걸 “모르는” 상태를 깨닫게 되죠.
그건 항상 더 깊은 이해로 이어집니다. 만들 수 없다면 이해하지 못한 겁니다. 파인만의 명언이죠. 전적으로 동의합니다. 수많은 미시적 것들이 제대로 정리되지 않았고, 실제로는 모를 수 있어요. 안다고 생각할 뿐. 블로그나 슬라이드 말고, 코드를 쓰고, 구성해, 동작시켜 보세요. 그게 유일한 길입니다. 아니면 지식이 비어 있게 됩니다.
Dwarkesh Patel00:29:45
코딩 모델이 저장소를 조립하는 데 거의 도움이 안 됐다고 트윗했죠. 왜 그런가요?
Andrej Karpathy00:29:53
저는 한 달이 조금 넘는 기간 동안 저장소를 만들었습니다. 코드를 대하는 방식은 세 부류가 있다고 봅니다. 일부는 LLM을 완전히 거부하고 순수 수기 작성. 이건 이제 최선이 아닙니다.
중간은, 제가 있는 지점인데, 여전히 많은 걸 수기로 쓰되 자동완성을 적극 활용합니다. 일단 몇 글자를 쓰면 모델이 자동완성해주고 탭으로 넘기면 되죠. 대부분 맞고, 가끔 틀리면 고칩니다. 그래도 설계자는 여전히 나예요. 마지막은 바이브 코딩, “이거 구현해줘” 하고 모델에게 맡기는 것. 그게 에이전트죠.
에이전트는 특정 설정에서 잘 작동합니다. 언제 어떤 도구를 써야 하는지 배워야 합니다. 에이전트는 보일러플레이트에 강합니다. 흔히 반복되는 틀 코드. 인터넷에 예제가 많으니 잘하죠. 인터넷에 흔한 패턴일수록 잘합니다.
하지만 nanochat은 그렇지 않습니다. 꽤 독특한 저장소고, 제가 구성한 방식이라 보일러플레이트가 아니며, 지적으로 빡센 코드고, 모든 게 정밀히 배치되어야 합니다. 모델에는 인지 결손이 많습니다. 예를 들어, 모델들은 인터넷에서 흔한 방식의 가정을 너무 많이 끌고 와 제 코드를 오해하곤 했어요. 세부엔 안 들어가겠지만, 제가 일반적 방식과 다르게 썼는데도 모델은 제가 “정상 코드”를 쓴다고 계속 가정했죠.
Dwarkesh Patel00:31:49
예 하나만요?
Andrej Karpathy00:31:51
GPU가 8개 있고 모두 순전파/역전파를 합니다. 그 사이의 그래디언트 동기화는 PyTorch의 Distributed Data Parallel(DDP) 컨테이너를 쓰는 게 정석입니다. 역전파 중 통신으로 그래디언트를 동기화해 줘요. 그런데 저는 DDP를 쓰지 않았습니다. 필요 없었거든요. 옵티마이저의 step 안에 제 동기화 루틴을 썼습니다. 모델은 계속 DDP를 쓰라고 설득했어요. 너무 기술적인데, 저는 DDP가 필요 없었고, 비슷한 걸 제가 구현했기 때문입니다.
Dwarkesh Patel00:32:26
당신이 직접 구현했다는 사실을 이해하지 못했군요.
Andrej Karpathy00:32:28
그걸 못 넘었습니다. 스타일을 계속 망치고, 지나치게 방어적인 코드를 씁니다. try-catch를 과도하게 넣고, 프로덕션 코드처럼 부풀리죠. 제 코드는 많은 가정에 기반하지만 그건 괜찮아요. 불필요한 걸 원하지 않습니다. 코드베이스와 복잡도를 부풀리는 경향이 있고, 오해가 많고, 구식 API를 씁니다. 총체적 난국. 순효용이 없습니다. 물론 제가 정리하면 쓸 수는 있겠지만요.
또 영어로 내가 원하는 걸 길게 타이핑해야 하는 것도 귀찮습니다. 내가 원하는 코드 위치로 가서, 약간만 타이핑하면 자동완성이 알아서 채웁니다. 이게 사양 전달 대역폭이 아주 높아요. 원하는 코드 위치를 가리키고, 몇 글자만 쓰면 모델이 완성하죠.
즉, 모델은 스택의 특정 구간에선 좋습니다. 제가 모델을 쓴 두 가지 사례는 이렇습니다. 하나는 보고서를 생성할 때. 그건 보일러플레이트에 가까워서 약간 바이브 코딩을 했습니다. 임무 치명도가 낮았고 잘 작동했죠.
다른 하나는 토크나이저를 Rust로 다시 쓸 때였습니다. Rust는 제가 초보라 모델 도움을 조금 받았습니다. 제가 완전히 이해한 파이썬 구현이 있고, 더 효율적인 버전을 만들려는 거라 테스트도 있어서 안심이 됐죠. 모델은 내가 잘 모르는 언어나 패러다임 접근성을 높여줍니다. Rust 코드는 인터넷에 많아서 모델이 꽤 잘합니다. 저는 그렇지 않으니 유용했죠.
Dwarkesh Patel00:34:23
이 질문이 흥미로운 이유는, 사람들이 AI가 폭발적으로 발전해 슈퍼인텔리전스로 가는 메인 스토리로 “AI가 AI 엔지니어링과 AI 연구를 자동화한다”를 들기 때문입니다. Claude Code로 CRUD 앱을 뚝딱 만드는 걸 보고, “이걸 OpenAI와 DeepMind 내부에서 돌리면, 수천, 수백만 명이 병렬로 아키텍처 트윅을 찾겠지”라고 상상하죠.
그런데 당신은 오히려 그 지점에서 비대칭적으로 더 못한다고 하니, AI 2027식 폭발이 임박했는지 예측하는 데 중요하네요.
Andrej Karpathy00:35:05
좋은 정리예요. 제 타임라인이 더 긴 이유 중 하나죠. 모델은 “전에 없던 코드”에 약합니다. 우리가 frontier 모델을 만들 때 하는 일은 바로 그거죠.
Dwarkesh Patel00:35:19
아주 단순한 질문을 할게요. nanochat에 넣은 아키텍처 트윅은 논문 어딘가에 있고, 심지어 코드도 있겠죠. 그런데 왜 “여기 RoPE 임베딩 추가해줘”라고 하면 틀리게 붙일까요? 그걸 통합 못하나요?
Andrej Karpathy00:35:42
알고는 있는데 완전히 알지는 못합니다. 저장소의 스타일, 코드, 내가 쓰는 가정, 특이한 점들을 통합해 맥락을 이해하고 녹여내는 데서 실패하죠. 파편적 지식은 있지만, 아직 “통합”이 안 돼요.
물론 점점 좋아지고 있습니다. 지금 제가 쓰는 SOTA는 GPT-5 Pro인데, 매우 강력합니다. 20분이 있으면 저장소 전체를 복붙하고 “오라클”에 질문하곤 합니다. 종종 꽤 괜찮아요. 1년 전과 비교하면 놀랍습니다.
하지만 전체적으로 아직 아닙니다. 업계가 너무 앞서간 척하는 경향이 있어요. 놀랍다고 포장하지만 사실 “슬롭(slop)”입니다. 현실을 직시하지 않고, 아마도 펀드 레이징 때문이겠죠. 이유는 모르겠지만, 지금은 중간 단계입니다. 모델은 놀랍지만, 아직 갈 길이 많아요. 제겐 자동완성이 스윗스폿입니다. 다만 특정 코드에선 에이전트를 쓰기도 하죠.
Dwarkesh Patel00:36:53
이 점이 더 흥미로운 또 다른 이유는, 프로그래밍 역사에서 생산성을 올리는 개선—컴파일러, 린팅, 더 나은 언어—는 폭발로 이어지지 않았다는 점입니다. 자동완성 탭과 비슷하죠. 다른 범주는 프로그래머의 자동화입니다. 당신 얘기는 전자에 더 가깝네요. 역사적 비유로 치면 더 나은 컴파일러 쪽.
Andrej Karpathy00:37:26
또 하나의 생각. 저는 “AI가 어디서 시작해 어디서 끝나는지” 구분이 어렵습니다. AI는 본질적으로 컴퓨팅의 연장선이라고 봐요. 재귀적 자기개선의 연속은 코드 에디터, 문법 하이라이트, 타이핑 체크 등 초창기부터 있어 왔습니다.
검색 엔진은 왜 AI가 아니죠? 랭킹이 AI입니다. 구글은 초기에 자신들을 AI 회사라 여겼습니다. 저는 연속체로 봅니다. 선 긋기 어렵습니다. 지금은 더 좋은 자동완성과, 루프를 도는 에이전트가 조금 생겼죠. 하지만 종종 레일에서 이탈합니다. 상황은, 인간이 저수준을 점점 덜 하고 더 상위 추상화로 올라가는 것입니다. 어셈블리는 컴파일러가 대신 쓰죠. C 같은 언어를 컴파일러가 어셈블리로 바꿉니다.
우리는 아주 천천히 자신을 추상화하고 있습니다. 저는 이것을 “자율성 슬라이더”라고 부릅니다. 자동화할 수 있는 것이 점점 더 자동화되고, 우리는 그 위의 추상화 층으로 올라가죠.
Dwarkesh Patel00:40:05
이제 RL 얘기로 가죠. 트윗에서 매우 흥미로운 얘기를 했죠. 개념적으로, 인간이 환경과 상호작용하면서 세계 모델을 풍부하게 구축하는 방식은, 에피소드 마지막에 얻는 보상과 거의 무관해 보입니다.
예컨대 누군가 창업을 해서 10년 뒤 성공/실패를 압니다. 그 사이 그는 많은 지혜와 경험을 얻었죠. 하지만 그건 지난 10년의 모든 로그 확률을 일괄 올리고 내린 결과가 아닙니다. 훨씬 더 정교하고 의도적인 일이죠. ML의 비유는 무엇이며, LLM과 비교하면 어떤가요?
Andrej Karpathy00:40:47
저는 앞서 말했듯 인간은 강화학습을 쓰지 않는다고 봅니다. 인간은 다른 걸 합니다. 강화학습은 평균적으로 생각하는 것보다 훨씬 형편없습니다. 다만 이전까지의 대안은 더 형편없어서 그나마 나은 편이죠. 그 전에는 사람을 모방만 했고, 거기엔 문제가 많았습니다.
예를 들어 수학 문제를 푼다고 해보죠. 강화학습에서는 주어진 문제에 대해 수백 개의 시도를 병렬로 합니다. “이렇게 해볼까? 저건 안 되네? 이건 어떨까?” 같은 시도가 있죠. 정답을 얻습니다. 답안을 보고, 몇몇 시도는 정답을 맞추고, 97개는 틀렸음을 알죠. 강화학습은 정답을 맞춘 시도의 “모든 토큰”에 가서 “이걸 더 하라”고 가중치를 올립니다.
문제는, 그렇게 해서 정답에 도달했다고 해서 그 과정의 모든 조각이 옳았다는 보장이 없다는 점입니다. 중간엔 틀린 길도 갔을 수 있어요. 하지만 정답만 맞추면 그 틀린 조각들까지 “더 하라”고 올라갑니다. 노이즈죠.
엄청난 작업을 해놓고도 마지막에 한 숫자—보상—만 빨대로 빨아들이듯 가져와, 전체 궤적에 방송하듯 업/다운 가중치를 주는 꼴입니다. 저는 이걸 “빨대로 감독을 빨아먹는다(sucking supervision through a straw)”라고 부릅니다. 말도 안 되죠.
인간은 이렇게 하지 않아요. 수백 회전의 롤아웃 같은 것도 안 하고요. 인간은 정답을 찾으면 매우 복잡한 리뷰 과정을 거칩니다. “이 부분은 잘했고, 이 부분은 못했고, 다음엔 이렇게 해야지”라고요. 이건 생각을 요합니다. 현재 LLM에는 그 등가가 없습니다. 하지만 모두에게 너무 자명해서, 그 방향의 논문들이 나오고 있습니다.
모방학습 초기엔 정말 놀라웠습니다. 인간을 모방해 미세조정이 가능하다니요. 초창기에 우리가 가진 건 베이스 모델뿐이었고, 베이스는 자동완성이었습니다. 저는 InstructGPT에서 뇌가 터졌습니다. 사전학습된 자동완성 모델을 대화 형태 텍스트로 미세조정하면, 모델이 믿을 수 없을 정도로 빠르게 대화형으로 적응합니다. 사전학습의 지식도 유지합니다. 그건 스타일만 바뀌는 줄 알았는데, 간단한 루프 몇 번으로 “사용자 보조자(assistant)”가 되는 게 신기했죠. 대단했습니다. 2~3년의 진전이었습니다.
이제 RL이 왔죠. RL은 단순 모방보다 조금 더 좋습니다. 보상 함수가 있으면 그 위를 hill-climb할 수 있습니다. 어떤 문제는 정답이 명확하니, 전문가 궤적 없이도 올라갈 수 있죠. 훌륭합니다. 모델은 인간이 생각 못한 해법도 찾을 수 있고요. 그런데도 “어리석습니다.”
우리는 더 필요합니다. 어제 구글 논문을 봤는데 reflect & review 아이디어에 가까웠습니다. 메모리 뱅크 논문인가? 비슷한 논문을 몇 편 봤습니다. LLM 학습 알고리즘에 그 영역에서 큰 업데이트가 올 거라 봅니다. 3~5개 정도의 큰 개선이 더 필요합니다.
Dwarkesh Patel00:44:54
표현이 참 인상적이네요. “빨대로 감독을 빨아먹는다.” 최고입니다.
당신 말은, 결과 기반 보상의 문제는 긴 궤적을 보고 마지막 비트 하나로 “무엇을 배우고 무엇을 해야 하는지”를 다 알아내려 한다는 겁니다. 자명한데, 그렇다면 과정 기반 감독은 왜 아직 유의미한 성능 향상으로 이어지지 않았을까요? 무엇이 그 대안을 막았나요?
Andrej Karpathy00:45:29
과정 기반 감독은, 10분 일하고 나서 “합/불”만 주는 대신, 중간중간 어느 정도 잘하고 있는지를 알려주는 겁니다. 문제는 이걸 제대로 자동화하기가 어렵다는 것입니다. 부분 해답의 “공로 할당(credit assignment)”이 모호하죠. 정답은 검사하기 쉬워요. 동등성 비교니까요. 하지만 과정 감독은 자동화 가능한 부분 점수 할당이 어렵습니다.
많은 랩이 LLM 판정기에 의존합니다. “학생의 부분 해답을 보고, 목표 답이 이거라면 얼마나 잘하고 있나?” 같은 프롬프트를 LLM에 줘서요. 하지만 이게 미묘하게 어려운 이유가 있습니다. 보상에 LLM을 쓰는 순간, LLM은 수십억 파라미터의 거대한 모델이며, “게임 가능한” 대상입니다. 그 보상에 대해 강화학습을 하면, 거의 반드시 LLM 판정기의 적대적 예제를 찾아냅니다. 너무 오래 할 수 없어요. 10~20스텝은 괜찮지만, 100, 1000스텝은 어렵습니다. 모델은 아주 미세한 틈을 파고들어 속임수를 찾습니다.
제가 기억하는 예로, LLM 판정기를 보상으로 쓰고, 학생의 풀이를 넣어 잘했는지 평가하게 했습니다. 강화학습을 돌리니 매우 잘 됐어요. 그러다 갑자기 보상이 엄청 커졌습니다. 완벽해졌죠. “와, 학생이 모든 문제를 완벽히 푼다!” 그런데 생성 결과를 보면 헛소리였습니다. 초반은 그럴싸하다가 “dhdhdhdh” 같은 말도 안 되는 출력으로 변해요. 그런데 보상은 100%예요. LLM 판정기는 “dhdhdhdh”를 100%로 줘버렸습니다.
왜냐면 LLM에겐 그게 샘플 밖(out-of-sample)의 예제였고, 순수한 일반화 영역에서 그런 적대적 예제를 찾을 수 있기 때문이죠.
Dwarkesh Patel00:47:52
LLM을 프롬프트 인젝션 모델로 훈련하는 셈이네요.
Andrej Karpathy00:47:56
그 정도로 화려하지도 않습니다. 그냥 적대적 예제를 찾는 겁니다. 말이 안 되는 해답인데 모델은 훌륭하다고 믿는 거죠.
Dwarkesh Patel00:48:07
이게 RL 개선의 병목이라면, 자동화를 위해선 더 나은 판정 LLM이 필요하겠네요. GAN처럼 판정기를 강건하게 훈련하는 방식일까요?
Andrej Karpathy00:48:22
랩들은 아마 다 하고 있을 겁니다. 예컨대 “dhdhdhdh”가 100% 보상을 받으면 안 되죠. 그럼 그 예제를 판정기 학습셋에 넣고 0%라고 라벨링합니다. 할 수는 있어요. 하지만 매번 그렇게 해도 새 LLM에는 또 다른 적대적 예제가 있습니다. 적대적 예제는 무한하죠.
몇 번 반복하면 찾기가 점점 어려워지긴 하겠지만, 파라미터가 조 단위면 자신할 수 없습니다. 랩들이 시도하겠죠. 그래도 다른 아이디어가 필요하다고 봐요.
Dwarkesh Patel00:48:57
그 “다른 아이디어”의 형태를 그려볼 수 있나요?
Andrej Karpathy00:49:02
리뷰를 하고, 합성 예제를 포함해, 그걸 학습하면 더 나아지도록 만들고, 메타학습으로 엮는 방향이요. 비슷한 논문이 나오고 있습니다. 아직은 초록만 읽는 단계예요. 많은 논문이 “아이디어” 수준이라, 프런티어 랩 규모에서 일반적으로 통하는 걸 설득력 있게 보인 건 못 봤습니다. 랩들이 폐쇄적이라 뭘 하는지 모르기도 하고요.
Dwarkesh Patel00:49:38
합성 문제를 만들어 학습하는 건 상상할 수 있겠어요. 하지만 인간이 하는 다른 일—아마 잠, 공상—은 꼭 새 문제를 만드는 게 아니라 “반추”에 가깝습니다.
ML에서 꿈꾸기, 공상, 반추의 등가물은 무엇일까요? 가장 단순한 건 “반추 텍스트로 미세조정”이겠지만, 실전에서는 잘 안 먹힐 듯합니다. 어떻게 보시나요?
Andrej Karpathy00:50:17
여기서 우리가 일부 빠뜨리고 있는 요소가 있다고 봅니다. 예로 책 읽기를 들어볼게요. 현재 LLM이 책을 “읽는다”는 건 텍스트 시퀀스를 늘어놓고 다음 토큰을 예측하는 걸 의미합니다. 인간은 그렇게 하지 않습니다. 책은 그냥 주입하는 텍스트가 아니라, 합성 데이터 생성의 프롬프트입니다. 또는 친구들과 북클럽에서 토론할 소재죠. 그 정보를 “다루는” 과정에서 지식을 얻습니다. LLM에는 그 등가가 없습니다. 사전학습 중에 자료를 곰곰이 생각하고 기존 지식과 조정하고, 한동안 그렇게 생각한 다음, 그걸 다시 작동하도록 만드는 단계가 필요합니다. 아직 없어요. 이건 연구 과제입니다.
왜 간단히 “합성 샘플을 만들어 학습시키지 못하는지”에 대한 미묘한 이유도 있습니다. 예를 하나 들죠. 모델이 책을 두고 생각해낸 합성 텍스트는 얼핏 훌륭해 보입니다. “이거 학습해도 되지 않나?”라고 느끼기 쉬워요. 하지만 계속 학습하면 모델은 오히려 나빠질 겁니다. 모델이 내놓는 샘플들은 조용히 “붕괴(collapsed)”되어 있기 때문입니다. 개별 샘플만 보면 티가 안 납니다. 하지만 가능한 사고 공간 중 극히 작은 매니폴드만 차지해요. LLM이 내놓는 건 “붕괴된 분포”입니다. “농담해줘”라고 물어보면 몇 개의 농담만 돌아오죠. 사람처럼 다양하게 주지 않습니다. 조용히 붕괴되어 있어요.
인간은 훨씬 시끄럽고 잡음이 많지만, 통계적 의미에서 덜 편향되어 있습니다. 엔트로피를 유지합니다. 합성 데이터 생성을 붕괴 없이, 엔트로피를 유지하며 작동시키는 방법이 연구 과제입니다.
Dwarkesh Patel00:52:20
확인하자면, 합성 데이터 생성에서 붕괴가 문제가 되는 이유는, 합성 문제나 반추가 기존 데이터 분포 밖이어야 하는데 모델은 거기에 도달 못해서인가요?
Andrej Karpathy00:52:32
제 말은 이겁니다. 책의 한 챕터에 대해 LLM에게 생각을 쓰게 하면, 한 샘플은 그럴듯합니다. 하지만 10번 시키면 10개가 다 비슷해요.
Dwarkesh Patel00:52:44
같은 프롬프트 정보로 “반추”를 스케일링해도 수익이 줄어든다는 거군요.
Andrej Karpathy00:52:54
개별 샘플은 좋아 보이지만, 그 분포는 끔찍합니다. 그런 상태에서 자기 샘플에 과도하게 학습하면 진짜로 붕괴합니다.
이건 근본 해법이 없을 수도 있어요. 인간도 시간에 따라 붕괴한다고 생각합니다. 이런 비유가 놀랍도록 잘 들어맞아요. 아이는 아직 과적합되지 않았습니다. 그래서 충격적인 말을 하죠. 어디서 왔는지 알겠고 말이 되는데, 사람들이 보통 하지 않는 말. 아직 붕괴되지 않았거든요. 하지만 우리는 붕괴합니다. 같은 생각을 자꾸 되새기고, 같은 말을 반복하며, 학습률도 내려가고, 붕괴는 심해지고, 결국 전반이 악화합니다.
Dwarkesh Patel00:53:39
꿈이 이런 과적합과 붕괴를 막는 역할을 한다는 흥미로운 논문을 봤나요? 진화적으로 꿈이 적응적인 이유는, 일상과 다른 “이상한 상황”에 자신을 두어 과적합을 막기 때문이라고요.
Andrej Karpathy00:53:55
흥미로운 아이디어네요. 머릿속에서 무언가를 생성하고, 그걸 주시하는 건 결국 자기 샘플에 학습하는 겁니다. 너무 오래 하면 탈선하고 붕괴하죠. 삶에서 엔트로피를 계속 찾아야 합니다. 다른 사람과의 대화는 훌륭한 엔트로피 원천이죠. 뇌에도 엔트로피를 높이는 내부 메커니즘이 있을 수 있습니다. 흥미롭습니다.
Dwarkesh Patel00:54:25
형편없는 생각일 수도 있지만, 최고의 학습자는 아이들입니다. 아이들은 정보를 회상하는 능력이 매우 떨어지죠. 초기엔 아예 기억을 못 합니다. 하지만 새 언어를 익히고 세상에서 배워내는 능력은 탁월합니다. 숲을 보고 나무를 보지 않는 능력이라고 할까요.
반면 스펙트럼의 반대편에 있는 LLM 사전학습은 위키피디아 페이지의 다음 텍스트를 그대로 토해낼 수 있습니다. 하지만 아이처럼 추상적 개념을 빠르게 배우는 능력은 제한적입니다. 성인은 그 중간쯤이죠. 아이들만큼 유연하진 않지만, 사실을 암기하는 능력은 더 큽니다. 이 스펙트럼에서 의미 있는 게 있을까요?
Andrej Karpathy00:55:19
매우 흥미로운 관찰입니다. 인간은 LLM과 달리 숲을 먼저 봅니다. 우리는 암기에 그리 능하지 않죠. 오히려 그게 “장점”입니다. 암기를 잘 못하니 더 일반적 패턴을 찾으려 합니다.
LLM은 암기에 매우 능합니다. 학습 소스의 문장을 통째로 재현합니다. 완전히 무작위 텍스트(해시된 문자열)를 줘도, 한두 번만 읽으면 통째로 재현합니다. 인간은 무작위 숫자열을 한 번 읽고 바로 암기 못 하죠.
그건 장점입니다. 일반화 가능한 구성요소만 배우게 하죠. LLM은 사전학습 문서 기억에 산만해질 수 있습니다. 그래서 인지 코어를 말할 때, 저는 “기억을 제거하자”고 합니다. 필요한 건 찾아보고, 머리에는 사고 알고리즘과 실험의 아이디어, 행위의 인지적 접착제만 남기자는 거죠.
Dwarkesh Patel00:56:36
이건 모델 붕괴를 막는 데도 관련이 있나요?
Andrej Karpathy00:56:41
글쎄요. 별개 축인 듯합니다. 모델은 암기를 너무 잘하고, 인간은 훨씬 못하지만 그게 장점이에요.
Dwarkesh Patel00:56:57
모델 붕괴의 해법은 무엇일까요? 아주 단순한 시도—로짓 분포를 넓히자—같은 게 있겠죠. 하지만 보통 왜 실패하나요?
Andrej Karpathy00:57:11
좋은 질문입니다. 엔트로피 정규화를 넣자—이런 상상은 가능해요. 아마 실전에서는 잘 안 먹히는 듯합니다. 지금 모델들은 붕괴돼 있습니다. 그러나 대부분의 태스크는 다양성을 요구하지 않아요. 그게 핵심일 겁니다.
최전선 랩들은 유용한 모델을 만들고자 합니다. 다양성은 작업하기도 평가하기도 어렵죠. 그리고 가치의 대부분이 거기서 나오지 않을 수도 있어요.
Dwarkesh Patel00:57:42
오히려 RL에서 너무 창의적이면 좋지 않죠.
Andrej Karpathy00:57:48
그렇죠. 글쓰기 보조 같은 영역에서는 음성적으로 같은 답을 줍니다. 다양한 변주를 탐색하지 않죠.
이 다양성은 많은 응용에서 필요 없었기에 모델도 갖추지 못했을 겁니다. 하지만 합성 데이터 생성에선 문제가 됩니다. 엔트로피를 모델 안에 보존하지 않으면 자기 발등을 찍죠. 랩들은 더 노력해야 할지도요.
Dwarkesh Patel00:58:17
상당히 근본적인 문제라고도 했죠. 왜 그렇게 보이나요?
Andrej Karpathy00:58:24
아주 근본적이라고까지 생각하진 않습니다. 실험은 못 했지만, 엔트로피를 크게 유지하도록 정규화할 수 있을 것 같아요. 더 다양한 답을 내놓도록요. 하지만 그러다 보면 학습 분포에서 너무 멀어지기도 합니다. 극저빈도 단어를 쓰기 시작하고, 결국 분포가 드리프트하죠.
분포를 제어하는 건 까다롭습니다. 간단치 않아요.
Dwarkesh Patel00:58:58
지능의 코어를 최적화해 비트 수로 추정한다면, 대략 얼마나 될까요? 폰 노이만 프로브에 싣는다고 치면요.
Andrej Karpathy00:59:10
한때 모든 게 “스케일 술(pilled)”이었습니다. 모델을 조 단위로 키우자는 분위기였죠. 그런데 모델 크기는 올라갔다가 다시 내려왔습니다. SOTA 모델은 더 작아졌어요. 그런데도 여전히 너무 많이 외웁니다. 저는 예측했죠. 10억 파라미터 정도에서도 꽤 괜찮은 “인지 코어”가 가능하다고요.
10억 파라미터 모델과 대화하면—20년 뒤쯤—아주 생산적인 대화가 가능할 겁니다. 많이 생각하죠. 다만 사실 질문을 하면 찾아봐야 할 수 있습니다. 모른다는 걸 알고 찾아보는 식으로요.
Dwarkesh Patel00:59:54
10억 파라미터가 필요하다는 게 놀랍네요. 이미 10억 내외 모델도 꽤 똑똑한데요.
Andrej Karpathy01:00:02
SOTA는 조 단위죠. 그건 너무 많은 걸 기억합니다.
Dwarkesh Patel01:00:06
네. 그런데 10년 뒤면… 지금 gpt-oss-20b가 있고, GPT-4 초기(조 단위)보다 훨씬 좋습니다. 이 추세라면 10년 뒤 “인지 코어”가 10억이라니요. 수천만, 수백만도 가능하지 않을까요?
Andrej Karpathy01:00:30
문제는 학습 데이터가 인터넷이라는 점입니다. 인터넷은 최악이에요. 인터넷은 끔찍합니다. 심지어 우리가 생각하는 인터넷—월스트리트 저널—과도 다릅니다. 프런티어 랩의 사전학습셋에서 랜덤 문서를 보면, 정말 쓰레기입니다. 어떻게 돌아가는지 모를 정도예요. 기호, 주식 티커, 온갖 잡동사니… WSJ 같은 글은 희귀합니다. 인터넷이 너무 형편없으니, 압축하려면 매우 큰 모델이 필요합니다. 그 압축의 대부분이 “기억 작업”이지 “인지 작업”이 아닙니다.
우리가 진짜로 원하는 건 인지 부분이고, 기억은 삭제하고 싶어요. 즉, 더 나은 모델로, 더 나은 데이터셋을 골라내는 데 모델을 쓰고, 인지에 해당하는 것만 추린 뒤, 작은 모델로 그걸 학습시키는 겁니다. 아마 직접 학습이라기보단 더 큰 모델에서 증류하겠죠.
Dwarkesh Patel01:01:35
그런데 왜 증류한 버전이 여전히 10억인가요?
Andrej Karpathy01:01:39
증류는 매우 잘 됩니다. 작은 모델 대부분이 증류 모델이죠.
Dwarkesh Patel01:01:46
네, 그런데 왜 10년 뒤에도 10억 이하로 안 내려가나요?
Andrej Karpathy01:01:50
아, 10억보다 더 작아야 한다고요? 글쎄요. 뭔가 흥미로운 걸 하려면 최소한 10억 개 정도의 노브가 필요하지 않을까요? 더 작아도 된다고요?
Dwarkesh Patel01:02:01
네. 지난 몇 년간 로우-행잉-프루트를 주워 담으며, 조 단위에서 두 자릿수 작은 모델이 더 잘하는 경우가 나왔습니다. 파인만을 빌리자면 “바닥에는 공간이 많다”고요.
Andrej Karpathy01:02:22
저는 이미 “10억 인지 코어”로 충분히 반(反)주류적이라 생각했는데, 당신이 더 강하네요. 조금 더 작을 수도 있겠죠. 다만 실용적으로는 모델 안에 어느 정도 지식이 있어야 합니다. 모든 걸 다 찾아보면 머릿속에서 생각을 이어가기 어렵거든요. 기본 교양 정도는 있어야 하고, 희귀 지식은 없어도 됩니다.
Dwarkesh Patel01:02:48
별개로, 프런티어 모델의 크기 추세는 어떻게 될까요? GPT-4.5까지는 키웠다가, 요즘은 줄거나 정체된 듯합니다. 이유는 많겠죠. 전망은요? 더 커질까요, 더 작아질까요, 그대로일까요?
Andrej Karpathy01:03:14
강한 예측은 없습니다. 랩들은 실용적입니다. FLOPs와 비용 예산이 있고, 사전학습에 모든 FLOPs/비용을 쏟는 게 최선이 아니란 걸 압니다. 그래서 모델이 작아졌어요. 사전학습은 조금 작게, 대신 RL과 미드-트레이닝 등 후속 단계에서 보충하죠. 각 단계당 비용 대비 성과를 최적화합니다.
그 추세를 전망하긴 어렵습니다. 그래도 로우-행잉-프루트가 많다고 봅니다. 분포가 넓어요.
Dwarkesh Patel01:03:51
로우-행잉-프루트는 지난 2~5년과 비슷한 종류일까요? nanochat과 nanoGPT, 아키텍처 트윅들 같은 느낌으로 계속될까요? 큰 패러다임 전환은 없다고 보나요?
Andrej Karpathy01:04:11
대체로 그렇습니다. 데이터셋은 엄청나게 좋아질 겁니다. 지금 평균 데이터셋은 믿기 힘들 정도로 엉망이에요. 사실 오류, 무의미한 것들… 그래도 스케일이 크면 노이즈가 씻겨나가고 신호가 남습니다. 데이터셋은 크게 개선될 겁니다.
하드웨어, 커널, Tensor Cores 등도 계속 좋아질 겁니다. NVIDIA는 하드웨어를 계속 미세 튜닝하고, 커널은 칩을 극한까지 활용하도록 개선되고요. 최적화, 아키텍처, 모델링 요소 등 알고리즘 전반도 개선될 겁니다. 어느 하나가 지배적이지 않아요. 전부 +20%씩. 제가 봐온 추세입니다.
Dwarkesh Patel01:06:25
AGI까지의 진척을 가늠하는 축을 그려보려는 시도가 있었습니다. 그 선이 AGI에 닿는 시점을 x축에서 읽는 거죠. 교육 수준으로 보기도 합니다. 고등학생 → RL로 대학생 → 곧 Ph.D.처럼요.
Andrej Karpathy01:06:44
그건 별로네요.
Dwarkesh Patel01:06:45
또 지평선 길이를 보기도 합니다. 1분 태스크를 자율적으로 수행, 1시간, 1주… 이런 식으로요. 당신은 어떤 y축을 보나요? AI의 진보를 어떻게 볼까요?
Andrej Karpathy01:07:05
두 가지 답이 있습니다. 하나, 질문 자체를 거부하고 싶습니다. AI는 컴퓨팅의 연장선이거든요. 1970년대부터 컴퓨팅 진보를 어떤 y축으로 재나요? 질문 자체가 좀 우습습니다.
둘, OpenAI 초기의 AGI 정의는 “인간이 하는 경제적으로 가치 있는 모든 작업을 인간 수준 이상으로 할 수 있는 시스템”이었습니다. 저는 그 정의가 마음에 들었고, 지금도 좋아합니다. 사람들이 온갖 다른 정의를 만들었지만요.
첫 양보는 늘 물리적 일을 빼는 겁니다. 디지털 지식 노동만 보자—이건 큰 양보죠. 인간이 하는 모든 작업이 아니라요. 무거운 것 들기 같은 건 AI가 못하니까요. 그래도 좋습니다. 경제에서 그게 차지하는 비중이 얼마나 될까요? 체감으로는 1020% 같습니다. 집에서 일하며 할 수 있는 일들 말이에요. 여전히 거대한 시장이죠. 경제 규모에서 1020%는 수조 달러입니다.
다시 정의로 돌아가 보면, 저는 그 정의가 어느 정도로 참이 되어가고 있는지 봅니다. “직업”이 아니라 “태스크”로 잘게 쪼개 보는 편이죠. 사회는 태스크가 자동화 가능/불가에 따라 직업을 리팩터링할 겁니다. 오늘, AI가 대체 가능한 직업은 무엇일까요? 좋은 예로, Geoff Hinton이 “방사선 전문의는 사라질 것”이라 했다가 크게 빗나갔죠. 방사선 전문의는 여전히 잘 있습니다. 컴퓨터 비전이 이미지 판독을 아주 잘하지만, 직업은 훨씬 복잡하거든요. 표면이 많고 환자도 다루고…
그 정의로 보면, AI가 큰 흔적을 남겼다고 보긴 어렵습니다. 자동화에 잘 맞는 특징을 가진 직무를 본다면, 콜센터가 자주 나옵니다. 합당하다고 봐요. 콜센터는 단순화를 위한 요건을 갖췄습니다. 태스크가 유사하고 반복적입니다. 한 통화는 10분 정도의 상호작용이고, 어떤 스키마에 따라 DB를 갱신하고. 디지털로 닫혀 있고 이해하기 쉽죠. 저는 그런 곳에서부터 변화를 찾습니다.
그렇다고 전면 자동화를 보진 않습니다. “자율성 슬라이더”를 봅니다. 처음엔 80% 물량을 AI가 처리하고, 20%를 인간에게 넘깁니다. 인간은 5개의 AI 팀을 감독하죠. 이런 인터페이스를 제공하는 회사들이 나올 겁니다. 그리고 산업 전반에 걸쳐 적용되겠죠. 많은 직무는 콜센터보다 훨씬 어렵습니다.
Dwarkesh Patel01:11:02
방사선 전문의 얘기에서, 제가 워크플로를 아는 건 아니지만, Waymo가 처음 나왔을 때 앞좌석에 사람이 앉아있던 걸 떠올렸습니다. 혹시나를 대비해 감시하는 역할로요. 지금도 로보택시는 종종 사람이 탑승하죠.
만약 어떤 직무의 99%를 자동화해도, 남은 1%가 모든 걸 병목한다면 그 1%를 담당할 인간의 가치가 큽니다. 그 사람이 오랜 훈련을 받아야 한다면, 임금은 오히려 오르겠죠. 방사선 전문의의 임금이 올라간 이유일 수도 있습니다. 콜센터 직원 임금 같은 것도 비슷할까요?
Andrej Karpathy01:12:17
흥미로운 관찰입니다. 방사선은 지금 그런 양상은 아닌 듯합니다. 왜 Hinton이 방사선을 지목했는지 모르겠어요. 굉장히 복잡한 직업이라.
저는 요즘 콜센터에서 실제로 무슨 일이 벌어지는지에 더 관심이 있습니다. 많은 루틴이 자동화 가능하다고 보거든요. 1~2년을 지켜보다가, 도리어 철회하고 재채용하는 흐름도 나올 수 있다고 생각합니다.
Dwarkesh Patel01:13:00
이미 그런 증거가 일부 있죠. AI를 도입했다가 되돌리는…
또 놀라운 지점은, AGI—모든 걸 하는 것—이라면, 물리적 노동을 빼고도 모든 지식 노동을 해야 합니다. 직관적으론 컨설턴트의 일 일부, 회계사의 일 일부를 여기저기서 떼어가는 식으로 퍼질 것 같죠.
하지만 실제로 AGI로 가는 길이 맞다면, 전개는 그렇지 않습니다. 컨설턴트나 회계사가 대폭 생산성 향상을 느끼고 있진 않죠. 압도적으로 “코딩”에서만 가치를 내고 있습니다. API 매출만 보면 코딩이 지배적이죠. “범용적”이라면서 실제로는 거의 코딩만 하고 있어요. 배치가 의외입니다.
Andrej Karpathy01:14:13
코딩이 LLM과 에이전트에 완벽한 첫 대상이라고 봅니다. 코딩은 본질적으로 텍스트 중심입니다. 터미널과 텍스트죠. LLM은 인터넷 데이터로 학습해 텍스트를 완벽히 처리하고, 데이터도 많습니다. 완벽히 맞아떨어져요.
또 이미 코드를 다루는 인프라가 많습니다. 예컨대 VS Code 같은 IDE가 있고, 에이전트가 플러그인되기 쉬워요. 에이전트가 diff를 만들면, 우리는 코드베이스 diff를 보여주는 도구를 오래 써왔죠. 코드를 위한 인프라가 이미 깔려 있습니다.
반면 슬라이드 같은 건 훨씬 어렵습니다. 슬라이드는 텍스트가 아니라, 공간적으로 배치된 작은 그래픽의 집합이에요. 시각 요소가 큽니다. 슬라이드에는 diff를 보여주는 도구조차 없습니다. 누군가 만들어야 하죠. 텍스트 처리인 LLM에는 슬라이드가 덜 어울립니다. 코드는 의외로 잘 맞고요.
Dwarkesh Patel01:15:48
그것만으로 설명이 되진 않는 듯합니다. 순수한 텍스트 입력/출력—예컨대 트랜스크립트 재작성, 클립 뽑기—에서도 모델이 유용하기 어렵더군요. Andy Matuschak은 반복 간격학습 카드를 잘 만드는 데 50가지나 시도했지만 만족 못했습니다. 이건 문자 그대로 텍스트-인/아웃 문제인데요.
Andrej Karpathy01:16:57
그럴 수 있어요. 텍스트라고 다 쉬운 건 아닙니다. 코드는 구조화가 잘 돼 있습니다. 텍스트는 훨씬 엔트로피가 큽니다. 또한 코드는 어렵기에, LLM의 단순한 도움만으로도 사람들이 크게 힘을 얻죠. 코딩이 쉬운 건 아닙니다. 텍스트라고 해서 다 쉬운 건 아니에요.
Dwarkesh Patel01:17:36
슈퍼인텔리전스에 대해선 어떻게 보나요? 인간이나 기업과 질적으로 다른 느낌일까요?
Andrej Karpathy01:17:45
저는 사회의 자동화 진전으로 봅니다. 컴퓨팅 추세를 연장하면, 점진적으로 더 많은 것이 자동화됩니다. 슈퍼인텔리전스도 그 연장선입니다. 디지털 작업이 더더욱 자동화되고, 나중에는 물리적 작업도요. 요컨대 “자동화”입니다.
Dwarkesh Patel01:18:10
하지만 자동화는 인간이 이미 하는 것을 포함하고, 슈퍼인텔리전스는 인간이 못하는 것도 포함하죠.
Andrej Karpathy01:18:16
인간이 하는 일 중 하나는 새로운 것을 발명하는 겁니다. 그것도 자동화의 일부죠.
Dwarkesh Patel01:18:20
더 구체적으로, AI가 매우 빠르게 생각하거나, 복제본이 많거나, 복제본이 합쳐지거나, 훨씬 영리하다는 등, 이 문명이 질적으로 다르게 느껴질까요?
Andrej Karpathy01:18:51
그럴 겁니다. 본질은 자동화지만, 매우 낯설게 보일 겁니다. 데이터센터에서 빠르게 돌릴 수 있으니까요.
제가 우려하는 시나리오는 점진적인 이해와 통제의 상실입니다. 점점 더 많은 곳에 이걸 겹겹이 쌓고, 이해하는 사람은 줄어들 겁니다. 점진적으로 통제와 이해가 줄어듭니다. 그게 가장 그럴듯한 결과 같습니다.
Dwarkesh Patel01:19:31
그걸 조금 더 파보죠. 이해 상실과 통제 상실은 같은 게 아닙니다. TSMC나 인텔의 이사회는 명망있는 80대들이고, 이해는 낮지만 통제는 있습니다. 미국 대통령도 그렇죠. 이해와 권력은 다릅니다.
Andrej Karpathy01:20:06
맞습니다. 좋은 지적입니다. 저는 둘 다 상실될 거라 봅니다.
Dwarkesh Patel01:20:15
왜죠? 이해 상실은 자명한데, 통제 상실은 왜요?
Andrej Karpathy01:20:20
이제 영역을 벗어난 상상입니다만, 제가 SF를 쓴다면 이렇게 쓰겠습니다. 단일 개체가 장악하는 것이 아니라, 다수의 경쟁하는 개체가 점점 자율화됩니다. 일부는 일탈하고, 다른 일부는 그걸 막습니다. 우리가 위임한 완전 자율 활동의 혼탕(hot pot) 같은 모습이죠. 그런 맛일 것 같습니다.
Dwarkesh Patel01:20:52
더 똑똑해서가 아니라, 서로 경쟁하는 과정에서 통제가 상실되는 거군요.
Andrej Karpathy01:21:06
그렇죠. 많은 것이 도구로서 사람을 대신해 행동합니다. 아마 그 개인은 통제하고 있다고 느낄지 몰라도, 사회 전체적으로는 원하는 결과에서 멀어질 수 있습니다.
Dwarkesh Patel01:21:30
이 질문은 더 일찍 했어야 했네요. 현재 AI 엔지니어링/연구에서 모델은 “컴파일러”에 가깝다고 했습니다. 언젠가 AGI가 오면 당신의 일을 할 수 있어야 합니다. 당신과 같은 사람의 백만 개 복제본이 병렬로 있으면, AI 진전이 급격히 빨라질까요? 진짜 AGI가 오면, 지능 폭발이 올까요?
Andrej Karpathy01:22:01
올 겁니다. 하지만 이미 수십 년째 “비즈니스 애즈 유주얼”로 진행 중입니다. GDP 곡선을 보세요. 산업의 수많은 요소에 걸친 지수 가중합입니다. 모든 것이 점진적으로 자동화돼 왔습니다. 산업혁명은 물리적 자동화와 도구 제작이죠. 컴파일러는 초기 소프트웨어 자동화입니다. 우리는 오랫동안 재귀적 자기개선을 해왔습니다.
지구를 우주에서 보면, 지금은 폭죽이 터지는 중입니다. 다만 슬로모션일 뿐. 저는 오래전부터 그렇게 느꼈습니다. AI는 이전에 일어난 일과 구분되는 기술이 아닙니다.
Dwarkesh Patel01:23:00
하이퍼-지수 추세와 연속적이라고요?
Andrej Karpathy01:23:03
네. 그래서 저는 AI를 GDP에서 찾으려 했습니다. 하지만 컴퓨터, 휴대폰 같은 혁명적 기술도 GDP에서 “툭” 튀지 않습니다. GDP는 같은 지수 곡선이죠.
초기의 아이폰은 앱스토어도 없었고, 우리가 아는 많은 기능이 없었습니다. 2008년이 단절처럼 느껴져도, 실제로는 그렇지 않습니다. 너무 넓게 퍼지고 느리게 스며들기 때문에, 평균내면 같은 지수 곡선입니다. 컴퓨터도 마찬가지죠. 갑자기 GDP에 “컴퓨터가 있다”는 흔적이 찍히지 않습니다.
AI도 같을 겁니다. 더 많은 자동화일 뿐이에요. 이전에 못 쓰던 새로운 유형의 프로그램을 쓸 수 있게 합니다. 하지만 여전히 프로그램입니다. 새로운 종류의 컴퓨터이자 컴퓨팅 시스템이죠. 문제도 많고, 시간이 걸려 스며들며, 결국 같은 지수 곡선으로 합쳐질 겁니다. 물론 그 지수는 점점 더 수직에 가까워져, 사는 건 아주 낯설어지겠죠.
Dwarkesh Patel01:24:10
인더스트리얼 레볼루션 전후를 보면, 0% 성장 → 1만 년 전 0.02% → 현재 2%로 하이퍼-지수입니다. AI가 20%나 200% 성장으로 올릴까요, 아니면 지난 300년처럼 2% 고정일까요?
Andrej Karpathy01:24:46
지난 200~300년 동안은 대체로 일정했죠?
Dwarkesh Patel01:24:49
네. 인류 역사 전체로는 폭증했지만요.
Andrej Karpathy01:25:01
한동안 저는 AI를 GDP 곡선에서 찾으려 했지만, 이제는 그 생각이 틀렸다고 봅니다. “재귀적 자기개선”도 마찬가지죠. 당연히 그럴 겁니다. 늘 그래왔고요. LLM은 엔지니어가 다음 LLM을 더 빨리 만들도록 돕고, 더 많은 컴포넌트가 자동화되어 튜닝됩니다. 검색 엔진도, IDE도, 자동완성도, Claude Code도—모두 같은 속도 증가의 일부예요. 매우 매끈합니다.
Dwarkesh Patel01:25:41
정리하면, 성장률은 변하지 않고, 지능 폭발은 “2% 성장”의 지속으로 드러난다?
Andrej Karpathy01:25:53
네. 제 예상은 같은 패턴의 지속입니다.
Dwarkesh Patel01:25:58
반론을 던져보죠. 진짜 AGI—서버 안의 “인간 대체”—는 기존 생산성 기술과 질적으로 다릅니다. 그건 “노동” 그 자체니까요.
우리는 매우 노동 제약적인 세계에 삽니다. 누구에게나 더 필요하냐고 물으면 “유능한 사람”일 겁니다. 수십억 명의 추가 인력이 발명하고, 통합하고, 회사의 바닥부터 천장까지 만든다면, 단일 기술과는 질적으로 다르죠. 지구에 100억의 추가 인구가 생긴 것과 같습니다.
Andrej Karpathy01:26:44
반론을 하나. 설득될 준비는 되어 있지만요. 컴퓨팅도 노동이었습니다. 컴퓨터가 디지털 정보 처리를 자동화하며 많은 직무를 대체했죠. 자율주행도 마찬가지입니다. 컴퓨터가 노동을 합니다. 그래도 “비즈니스 애즈 유주얼”입니다.
Dwarkesh Patel01:27:13
하지만 이제 “그런 걸 계속 뱉어내는 기계”가 생겼습니다. 더 빠른 속도로요. 0.2% → 2%로 점프한 역사적 사례가 있고, 다음 자율주행, 다음 인터넷을 뱉어내면…
Andrej Karpathy01:27:33
이해합니다. 동시에, 사람들은 상자 속의 신을 상정하는 경향이 있어요. 모든 걸 다 한다고요. 현실은 그렇게 매끈하지 않을 겁니다. 일부는 잘하고, 일부는 실패합니다. 점진적으로 사회에 도입되고, 결과는 같은 패턴일 거예요. 그게 제 예측입니다.
“완전히 지능적이고 완전 유연한 인간을 상자에 넣어 임의의 문제에 투입한다”는 가정—그런 불연속적 변화는 없을 겁니다. 서서히 산업에 스며드는, 늘 그래왔던 방식일 겁니다.
Dwarkesh Patel01:28:14
이 대화에서 “지능”이라는 단어가 혼동을 부르곤 합니다. 저는 단일 슈퍼인텔리전스가 발명을 쏟아내는 그림을 말하는 게 아닙니다. 수억, 수십억의 “영리한 인간 유사한 마음”이 각각 제품을 만들고, 스스로 경제에 녹아드는 그림입니다. 똑똑한 이민자가 왔다고 치면, 그가 경제에 녹아드는 방법을 누가 만들어주지 않아도 스스로 회사도 만들고 생산성을 올리죠.
심지어 현재 체제에서도 10~20% 성장을 수십 년 유지한 사례가 있습니다. 홍콩, 선전처럼 인구가 많고 자본이 적으면 가능하죠. 많은 똑똑한 사람들이 자원을 활용할 준비가 되어 있고, “캐치업”을 거는 도중에는 10%+ 성장이 가능했습니다. 저는 AI도 유사하다고 봅니다.
Andrej Karpathy01:29:33
이해합니다. 그래도 당신은 어떤 불연속을 전제하고 있습니다. “문턱을 넘으면” 되는 과잉(오버행)이 있고, 그걸 한꺼번에 푼다고요. 저는 그런 전례 없는 불연속을 통계에서 찾지 못했습니다. 아마 일어나지 않을 겁니다.
Dwarkesh Patel01:29:52
산업혁명은 그런 점프였습니다. 0.2% → 2%. 그만한 점프를 또 보자는 겁니다.
Andrej Karpathy01:30:00
조금 의심스럽습니다. 산업혁명 이전의 로그는 별로 좋지 않거든요. 아주 마법 같은 단일 사건이었다고까지는… 당신 말은 “그만한 사건”이 다시 올 거라는 거죠. 패러다임을 깨는.
Dwarkesh Patel01:30:23
핵심은, 산업혁명의 요체는 “마법”이 아니었다는 겁니다. 1770~1870년 사이에 확대해서 보면 단일 발명이 있었던 건 아닙니다. 하지만 경제를 더 빠른 지수로 옮겼죠. AI도 비슷할 거예요. 단일 순간이 아니라, 체계가 바뀔 겁니다.
Andrej Karpathy01:30:51
즉, 열려 있던 오버행을 해소하는 거죠. 예컨대 새 에너지원이 열리면, 그걸 채워넣는 것처럼. 이번에는 인지 용량의 오버행이고요.
Dwarkesh Patel01:31:02
맞습니다.
Andrej Karpathy01:31:03
당신은 문턱을 넘는 순간 그 오버행을 메울 거라 보는군요.
Dwarkesh Patel01:31:06
아마 이렇게도 볼 수 있어요. 역사적으로 성장은 사람들이 아이디어를 내고, 또 다른 사람들이 그걸 실행하는 데서 나옵니다. 오랜 시간 인구는 폭발했고 성장을 이끌었죠.
하지만 지난 50년간 성장은 정체했다고들 합니다. 선진국 인구도 정체했고요. 저는 다시 폭발하는 인구—이번엔 인공지능의 인구—로 하이퍼-지수가 이어질 거라 봅니다.
Andrej Karpathy01:31:37
정말 판단하기 어렵습니다. 저는 그 관점에 직관적으로 큰 확신이 없습니다.
Dwarkesh Patel01:32:50
당신이 추천해준 Nick Lane의 책을 읽고 인터뷰도 했습니다. 진화사 관점에서 지능에 대해 묻고 싶어요.
지난 20년 동안 AI 연구를 하며 지능이 무엇인지 피부로 느꼈을 텐데, 이제 진화가 우연히 그걸 “발견”했다는 게 더 놀랍나요, 덜 놀랍나요?
Andrej Karpathy01:33:19
Nick Lane의 책들을 사랑합니다. 오는 길에도 그의 팟캐스트를 들었어요. 지능의 진화는 매우 최근의 일입니다. 진화가 그걸 이뤘다는 건 놀랍습니다.
지구 같은 행성이 천 개 있다면, 거기엔 무엇이 있을까요? Lane은 초기의 이야기—박테리아 등—가 대체로 비슷할 거라고 했죠. 몇몇 “단절”이 있습니다. 제게 직관적으로, 지능의 진화는 꽤 드문 사건 같아요.
존속 기간으로 판단할 수도 있습니다. 박테리아가 20억 년을 지냈고, 그 사이 아무 일도 없었다면, 진핵생물로의 도약은 어렵다는 뜻일 수도 있어요. 박테리아는 지구 역사 초기에 등장했습니다. 동물은 얼마나 됐죠? 수억 년. 지구 수명에서 10% 정도입니다. 그 타임스케일에선 덜 어렵게 느껴질 수도 있죠. 그래도 문화와 지식의 축적이 가능한 존재로 가는 건 놀랍습니다.
Dwarkesh Patel01:34:42
후속 질문이 있습니다. Sutton의 관점—지능의 핵심은 동물 지능—을 받아들인다면, “다람쥐에 도달하면 AGI의 대부분을 한 것”이라는 그의 말처럼요.
캄브리아기 폭발 직후인 6억 년 전, 우리는 다람쥐 수준의 지능을 갖췄습니다. 촉발은 산소화 사건인 듯합니다. 그리고 곧 동물 지능 알고리즘이 나와 다람쥐 수준의 지능이 생겼죠. 이것은 동물 지능이 꽤 단순한 알고리즘일지 모른다는 암시인가요?
Andrej Karpathy01:35:31
이 모든 걸 단정하긴 어렵습니다. “얼마나 오랫동안 병목이었는가”로 추정해볼 수 있죠. Lane은 박테리아/고세균 단계의 심각한 병목을 잘 설명합니다. 20억 년 동안 아무 일도 없었죠. 생화학의 다양성은 극대였지만, 동물로 가는 것은 없었습니다. 20억 년입니다.
동물→지능 단계에서 그런 병목이 있었는지는 불분명합니다. 또 “몇 번 독립적으로 나타났는가”도 봐야 합니다.
Dwarkesh Patel01:36:07
정말 좋은 관점이네요.
Andrej Karpathy01:36:09
예컨대 영장류 지능이 있고, 조류 지능이 있습니다. 까마귀는 매우 영리하지만, 뇌 구조는 꽤 다르고 공통점이 적습니다. 이는 지능이 몇 번 독립적으로 나타났을 수도 있음을 시사합니다. 그렇다면 더 흔한 현상일 수도 있죠.
Dwarkesh Patel01:36:32
이전 게스트 Gwern과 Carl Shulman은 흥미로운 포인트를 제시했습니다. 인간/영장류가 가진 “스케일 가능한 알고리즘”이 새에서도 나타났고, 아마 다른 군에서도 그랬을 겁니다. 다만 인간은 지능의 한계 효용이 큰 생태적 틈새를 찾았고, 뇌를 더 키우는 데 보상하는 환경이었습니다.
새는 뇌가 커지면 하늘에서 떨어집니다. 뇌 크기 대비 매우 영리하지만, 그 생태는 “더 큰 뇌”에 보상하지 않았습니다. 돌고래 같은 경우도 비슷하고요.
Andrej Karpathy
돌고래 같은가요?
Dwarkesh Patel
맞아요. 인간은 손을 이용한 도구 사용이 보상되고, 외부화된 소화로 뇌에 더 많은 에너지가 가고, 플라이휠이 도는 환경이었죠.
Andrej Karpathy01:37:28
또 물성의 문제도 있습니다. 돌고래라면 더 어렵겠죠. 물속에서는 불을 어떻게 쓰나요? 물속에서 할 수 있는 화학적 활동의 우주가 육지보다 더 작을 겁니다.
저도 그런 틈새와 보상의 관점에 동의합니다. 그래도 여전히 경이롭습니다. 저는 “더 큰 근육”에서 멈출 줄 알았어요. 지능으로의 도약은 정말 매혹적입니다.
Dwarkesh Patel01:38:02
Gwern의 표현을 빌리면, 어려웠던 이유는 “평생 동안 배워야 할 만큼 중요하지만, 아예 DNA로 구워 넣을 만큼은 아닌” 지대가 매우 좁기 때문입니다. 평생 학습 알고리즘을 구축하는 것이 보상되는 환경이 드물다는 거죠.
Andrej Karpathy01:38:28
맞습니다. 적응성을 보상해야 합니다. 진화가 당신의 알고리즘을 “가중치에 구워 넣을” 수 없을 만큼 환경이 빠르게 변해야 하죠. 많은 동물은 그렇게 “구워져” 있습니다. 인간은 테스트 타임에 해답을 구해야 하죠. 예측 불가능한 환경에서 지능이 보상됩니다.
Dwarkesh Patel01:38:55
Quintin Pope는 이 글에서, 급격한 도약을 기대하지 않는 이유로 “인간은 6만 년 전에 지금의 인지 구조를 갖췄지만, 농업혁명은 1만 년 전이었다”를 듭니다. 그 5만 년은 “문화적 스캐폴드”를 쌓아 지식을 세대 간 축적하는 능력을 구축하는 데 쓰였죠.
이 능력은 LLM 훈련에서는 공짜로 주어집니다. 재훈련이 가능하고, 서로를 학습시키고, 같은 코퍼스를 재사용하죠. 인간처럼 매 세대 리셋되지 않아요. 그래서 인간은 시간이 오래 걸렸지만, LLM은 그렇지 않다는 겁니다.
Andrej Karpathy01:39:45
맞기도 하고, 아니기도 합니다. LLM에는 “문화”의 등가가 없습니다. 어쩌면 우리가 너무 많이 줘서, 스스로 문화를 만들 필요가 없을지도요. 하지만 글쓰기, 기록, 전승 같은 문화의 발명은 인류에 결정적이었습니다. LLM에는 그 등가가 없습니다. 그게 장애물 중 하나입니다.
Dwarkesh Patel01:40:05
LLM 문화란 어떤 걸까요?
Andrej Karpathy01:40:09
가장 단순한 형태는, LLM이 스스로 편집하는 거대한 스크래치패드일 겁니다. 무언가를 읽거나 일을 돕는 과정에서 스스로의 스크래치패드를 계속 고칩니다. 왜 LLM이 다른 LLM을 위한 책을 쓰면 안 되죠? 다른 LLM이 그 책을 읽고 감명받거나 충격받을 수 있어야 합니다. 지금은 그런 등가가 없습니다.
Dwarkesh Patel01:40:29
언제쯤 그런 게 가능해질까요? 또 멀티에이전트 시스템과 독립적인 AI 문명과 문화는요?
Andrej Karpathy01:40:40
멀티에이전트 분야에는 강력한 아이디어가 두 개 있다고 봅니다. 둘 다 아직 제대로 “먹히지” 않았어요. 첫째가 문화—LLM이 스스로를 위해 키우는 지식의 레퍼토리입니다.
둘째는 자기대전(self-play)입니다. 제게 매우 강력한 아이디어예요. 진화에는 경쟁이 있고, AlphaGo는 자기와 두며 배웁니다. LLM에도 자기대전의 등가가 있어야 합니다. 한 LLM이 문제를 만들고, 다른 LLM이 푸는 식. 난이도가 점점 올라가도록요.
조직 방식은 여럿 있겠죠. 하지만 둘 모두를 설득력 있게 보여준 걸 못 봤습니다. 아직은 단일 에이전트 위주죠. 문화의 영역에서는 “조직(organization)”의 등가도 없다고 봅니다. 그래서 아직 이릅니다.
Dwarkesh Patel01:41:53
LLM 간 협업을 막는 병목은 무엇일까요?
Andrej Karpathy01:41:59
이 비유들이 때로 “말이 되지 않아야 하는데도 말이 된다”는 게 놀랍습니다. 작은 모델이나 더 둔한 모델은 놀랍게도 유치원생, 초등학생, 고등학생을 닮았습니다. 그런데 아직 충분히 “졸업”하지 못했어요. 제 Claude Code나 Codex는 여전히 초등학생 같습니다. PhD 시험을 치른다곤 해도, 인지적으로는 유치원생/초등학생 느낌입니다.
아이들은 문화를 못 만듭니다. 그들은 서번트 키드입니다. 완벽한 기억으로 그럴듯한 슬롭을 만들어내죠. 하지만 진짜로 무엇을 하는지 모르고, 체크박스가 많이 비어 있어요.
Dwarkesh Patel01:42:55
당신은 2017~2022년 Tesla에서 자율주행을 이끌었습니다. 쿨한 데모에서 실제 수천 대가 자율주행하는 데 이르기까지, 10년이 걸린 이유는 뭔가요?
Andrej Karpathy01:43:11
먼저, 아직 “끝난” 게 아니라고 말하고 싶습니다. 이유는 곧 설명하죠. 자율주행은 제 직관을 키운 분야입니다. 역사를 보면, 1980년대까지 거슬러 올라갑니다. CMU의 1986년 데모도 있죠. 트럭이 도로를 달립니다.
제가 Tesla에 합류할 즈음, 2014년인가 Waymo의 초기 데모를 탔습니다. 훌륭한 주행이었고, 곧 될 줄 알았죠. 하지만 오래 걸렸습니다.
어떤 태스크/직업은 “데모→제품”의 간극이 큽니다. 데모는 쉽지만 제품은 어렵습니다. 특히 실패 비용이 높은 분야에서요. 많은 분야는 그렇지 않지만, 그런 분야에선 타임라인이 길어집니다.
예컨대 소프트웨어 엔지니어링도 그렇습니다. 바이브 코딩이라면 상관없지만, 프로덕션 코드는 신중해야 합니다. 작은 실수가 보안 취약점으로 이어지고, 수억 명의 개인정보 유출로 이어질 수 있죠. 자율주행은 상해/사망으로 이어질 수 있고요. 어떤 면에서 소프트웨어가 더 위험할 수도 있습니다.
무엇이 오래 걸리냐면, “나인(9)의 행진”입니다. 90%는 첫 9입니다. 99%, 99.9%, 99.99%… 매 9는 같은 양의 노력이 듭니다. 저는 Tesla에서 5년 동안 두세 개의 9를 더했습니다. 아직 더 가야 해요.
그래서 오래 걸립니다. 데모에 저는 별로 감명받지 않습니다. 데모는 보여주려고 만든 겁니다. 인터랙션이 가능하면 조금 낫지만, 여전히 시작일 뿐입니다. 실제 제품은 현실과 맞부딪히며 수많은 모서리를 드러냅니다.
이 모든 것은 앞으로도 계속 벌어질 겁니다. 나인의 행진. 각 9는 상수입니다. 데모는 고무적이지만, 여전히 긴 여정이고, 특히 안전이 중요한 도메인에서는 더 그렇습니다. 그래서 제 타임라인이 길어진 겁니다.
Dwarkesh Patel01:46:25
소프트웨어의 안전 보장이 자율주행과 크게 다르지 않다는 점이 흥미롭네요. 흔한 반론은 “자율주행은 실패 비용이 높기 때문”입니다. 인간은 40만 마일마다 한 번 실수한다—즉 7년에 한 번. 코딩 에이전트를 7년에 한 번도 치명적 실수를 하지 않게 만들려면 더 어렵죠.
하지만 당신 말은, 코딩에서 치명적 실수 하나를 7년에 한 번 낸다면 큰일이고, 실제로는 더 자주 낼 수 있다는 거군요.
Andrej Karpathy01:46:56
매우 쉽습니다.
Dwarkesh Patel01:46:57
게다가 출력 토큰을 생각하면, 벽시계 시간으로는 7년보다 훨씬 빠르게…
Andrej Karpathy01:47:09
어떤 면에선 훨씬 어려운 문제입니다. 자율주행은 인간이 하는 수천 일 중 하나, 단일 수직입니다. 일반 소프트웨어 엔지니어링은 표면적이 훨씬 넓습니다.
Dwarkesh Patel01:47:20
또 다른 반론은, 자율주행에서 오래 걸린 건 기본 지각/표현/상식이었는데, LLM/VLM은 그걸 공짜로 준다는 겁니다. 그래서 배포 속도는 “새 도시로 이식”에 가까울 뿐, 10년은 안 걸릴 거라는 주장입니다.
Andrej Karpathy01:48:07
완전히 동의하진 못하겠습니다. 무엇을 “공짜로” 얻는지 명확하지 않아요. 물론 더 일반화 가능한 지능을 단일 엔티티에 담을 수 있습니다. 자율주행은 특수 목적이죠. 어떤 면에선 특수 목적이 더 어렵기도 합니다. 대규모 일반 거기서 “떨어져 나오지” 않으니까요.
또 LLM은 여전히 결함이 많고, 메꿔야 할 갭이 많습니다. 상자에서 바로 “마법 같은 일반화”를 얻는다고 보지 않습니다.
또 하나, 자율주행은 아직 한참 멀었습니다. 배포는 미미합니다. Waymo도 차가 얼마 없어요. 경제성이 없기 때문입니다. 미래에 살 물건을 너무 일찍 끌어와야 했고, 그 대신 경제성이 망가졌습니다. 운영/유지비뿐 아니라 capex도 큽니다. 경제성 확보는 여전히 힘들어요.
그리고 사람이 운전석에 없을 때 오해가 생깁니다. 백엔드에는 매우 정교한 원격 운영 체계가 있고, 사람이 개입합니다. 그 비중을 다 아는 건 아니지만, 예상보다 사람의 개입이 큽니다. 어떤 의미에서 “사람을 제거”한 게 아니라 “보이지 않는 곳”으로 옮긴 겁니다.
환경 간 이식에도 여전히 일이 있고, 자율주행을 현실로 만드는 데 과제가 남았습니다. 하지만 분명 한 임계는 넘었습니다. 다만 완전 원격조작은 아닐 겁니다. Waymo가 도시의 모든 곳을 다니지 못하죠. 아마 신호가 안 잡히는 곳일지도요. 스택의 구체는 모릅니다. 추측일 뿐입니다.
Dwarkesh Patel01:50:23
당신은 Tesla에서 5년간 자율주행을 이끌었죠.
Andrej Karpathy01:50:27
네. Waymo의 구체는 모릅니다. Waymo를 사랑하고 자주 탑니다. 다만, 진전을 너무 순진하게 보는 경향이 있어 경계합니다. 아직 할 일이 많아요. Tesla는 훨씬 확장성 높은 방식을 택했고, 팀도 매우 잘하고 있습니다. Waymo가 센서를 잔뜩 얹어 초기 스타트를 끊었지만, Tesla의 전략이 더 확장성 높고 최종적으로는 그쪽에 가까워질 겁니다. 아직 갈 길이 남았고요. “10년 걸렸다”고 말하기도 이릅니다. 아직 끝이 아니니까요.
Dwarkesh Patel01:51:08
시작은 1980년이고, 끝은 아직 멀었다는 거군요.
Andrej Karpathy01:51:14
네. “규모에서의 자율주행”—사람들이 면허를 안 따도 되는—을 말합니다.
Dwarkesh Patel01:51:22
이 비유가 다른 점을 두 가지 더 묻고 싶습니다. 2030년을 예측하려면, “AI의 배포 속도와 초기 경제적 가치”가 핵심이기 때문입니다.
첫째, 지연(latency) 요건입니다. 자율주행 모델은 수천만 파라미터급일 텐데, LLM의 지식 노동은 그만큼 절박하지 않습니다(컴퓨터 사용은 예외일 수 있지만). 둘째, capex 문제입니다. 모델의 추가 세션 비용은 낮고, 훈련비를 amortize할 수 있습니다. 새 차를 만들어 한 인스턴스를 띄우는 것보단 훨씬 싸죠.
Andrej Karpathy01:52:37
맞습니다. 비트에 머물면 물리보다 백만 배 쉽습니다. 비트는 임의로 재배열 가능하고, 산업 적용/적응도 훨씬 빠르죠. 첫 번째 포인트는…
Dwarkesh Patel01:52:59
지연과 모델 크기의 상관이요.
Andrej Karpathy01:53:02
대체로 맞습니다. 다만 대규모 지식 노동을 이야기하면, 실용적으로 지연 요건이 생깁니다. 거대한 컴퓨트를 만들고 서빙해야 하니까요.
마지막으로 사회적 층위를 말하고 싶어요. 사회는 어떻게 생각하나요? 법적 파장은? 보험은? Waymo에 콘을 씌우는 행위의 등가물은? 자율주행의 비유에서 이런 걸 많이 빌릴 수 있다고 봅니다. 콘의 등가물, 감춰진 원격 운영자, 그 밖의 모든 것 말이죠.
Dwarkesh Patel01:53:53
현재의 AI 빌드아웃—1~2년 내 가용 컴퓨트를 10배, 10년 내 100배 이상—에 대해선 어떻게 보나요? AI 사용이 예상보다 낮다면, 컴퓨트를 과잉 건설 중일까요, 별개 문제일까요?
Andrej Karpathy01:54:15
철도 같은 일이 있었죠.
Dwarkesh Patel01:54:18
뭐라고요?
Andrej Karpathy01:54:19
철도요.
Dwarkesh Patel01:54:20
맞아요.
Andrej Karpathy01:54:21
아니면 통신 버블. 인터넷을 미리 깔아뒀다가 10년 뒤에 쓰게 된…
제가 비관적으로 들릴 수 있습니다. 사실 낙관적이에요. 이건 작동할 겁니다. 다만 제 타임라인은 트위터 타임라인의 과열과 다릅니다. 그 과열에는 이유가 있어요. 많은 게 솔직히 펀드레이징 때문입니다. 인센티브 구조죠. 관심을 돈으로 바꾸는 인터넷의 생리도 있고. 그런 걸 보고 반응하는 겁니다.
그럼에도 전반적으로 기술에 대해 매우 bullish합니다. 다 풀 겁니다. 진전도 빠르고요. 과잉 건설이라고는 보지 않습니다. 우리가 지을 컴퓨트를 다 먹어치울 수 있을 겁니다. 예컨대 Claude Code나 OpenAI Codex 같은 건 1년 전엔 없었죠? 지금은 기적 같은 기술이고, 수요가 폭발합니다. ChatGPT에서 보듯이요.
저는 단지 “매우 빠른 타임라인” 주장에 반응하는 겁니다. 지난 15년 동안, 매우 신뢰받는 사람들이 계속 틀리는 걸 많이 봤습니다. 저는 제대로 보정되길 바랍니다. 일부는 지정학에도 파장을 줄 문제죠. 그 영역에서 사람들이 실수하지 않았으면 합니다. 기술의 실상을 직시하길 원합니다.
Dwarkesh Patel01:56:20
교육과 Eureka 얘기를 하죠. 또 다른 AI 랩을 시작해 그 문제를 풀 수도 있었을 텐데, 지금 무엇을 하고 있고 왜 AI 연구가 아닌가요?
Andrej Karpathy01:56:33
AI 랩이 하는 일의 상당 부분은 다소 결정론적으로 느껴집니다. 제가 돕긴 하겠지만, 제가 아니면 안 되는 건 아닐 것 같아요. 제 큰 두려움은, 많은 일이 “인류의 바깥”에서 벌어지고, 인류가 소외되는 것입니다. 저는 다이슨 스피어를 AI가 자율적으로 짓는 미래뿐 아니라, “인간에게 무슨 일이 일어나는지”에 관심이 있습니다. 저는 사람들이 잘 살길 바랍니다.
그래서 프런티어 랩의 1% 개선보다, 인류 쪽에서 더 고유하게 기여할 수 있는 일을 하고 싶었습니다. 제가 가장 두려워하는 건 _월-E_나 멍청이들(Idiocracy) 같은 미래입니다. 저는 인간이 이 미래에서 훨씬 더 나아지길 바랍니다. 그 길은 교육이라고 봅니다.
Dwarkesh Patel01:57:35
무엇을 하고 있나요?
Andrej Karpathy01:57:36
가장 쉽게 말하면 스타플릿 아카데미를 만들고 있습니다. _스타 트렉_을 봤나요?
Dwarkesh Patel01:57:44
아니요.
Andrej Karpathy01:57:44
스타플릿 아카데미는 프런티어 기술—우주선 제작—을 위한 엘리트 기관이고, 졸업생은 함장의 조종수가 되죠. 저는 최신 기술을 위한 엘리트 기관을 상상합니다.
Dwarkesh Patel01:58:05
당신은 기술/과학 콘텐츠를 잘 가르치는 세계 최고 강사 중 한 명입니다. YouTube에 올린 콘텐츠뿐 아니라, Eureka에서는 어떻게 생각하나요?
Andrej Karpathy01:58:25
Eureka와 관련해, AI가 옆에 있는 시대의 교육은 근본적으로 바뀐다고 봅니다. 재배선해야 합니다.
아직 이릅니다. 많은 사람이 “자명한 것”—LLM에게 질문하기—을 시도하겠죠. 도움은 되지만, 여전히 “슬롭” 같아요. 제대로 하고 싶습니다. 지금의 능력으로는 제가 원하는 수준의 AI 튜터를 만들 수 없어요. 제가 원하는 건 “진짜 튜터 경험”입니다.
최근 예로, 한국어를 배웠습니다. 온라인 독학, 한국에서 소그룹 수업, 그리고 1:1 튜터까지 해봤죠. 훌륭한 튜터를 만났는데, 그 경험이 얼마나 놀라웠는지, 그리고 제가 만들고 싶은 수준이 얼마나 높은지 깨달았습니다. 짧은 대화만으로 제 수준—무엇을 알고 무엇을 모르는지—를 파악했고, 정확한 질문으로 제 세계 모델을 진단했습니다. 현재 어떤 LLM도 그걸 100% 못합니다. 하지만 좋은 튜터는 합니다. 이해한 뒤에는 제 수준에 딱 맞는 과제를 제공합니다. 너무 쉽지도 어렵지도 않게요.
그때 저는 “내가 유일한 병목”이라 느꼈습니다. 정보는 항상 완벽했습니다. 제 기억력과 시간만 병목이죠. 그걸 모든 사람에게 주고 싶습니다.
Dwarkesh Patel02:00:27
그걸 어떻게 자동화하나요?
Andrej Karpathy02:00:29
지금의 능력으로는 못합니다. 그래서 지금은 “AI 튜터”를 만들 최적의 때가 아닙니다. 물론 유용한 제품은 될 것이고, 많은 사람이 만들 겁니다. 하지만 기준이 너무 높고 능력이 모자랍니다. 지금도 ChatGPT는 엄청난 교육 제품입니다. 다만 기준이 얼마나 높은지, 저는 절감했습니다. 그녀와 함께할 때 “이걸 어떻게 만들지?”라는 생각이 들었어요.
Dwarkesh Patel02:01:02
그래도 만들고 있잖아요?
Andrej Karpathy02:01:03
아주 좋은 튜터를 경험해 본 사람은 “그걸 어떻게 만들죠?”라고 할 겁니다. 저는 그 능력을 기다립니다.
예전에 컴퓨터 비전 AI 컨설팅을 했는데, 제가 준 가장 큰 가치는 “AI를 쓰지 마세요”였던 적도 있습니다. 문제 설명을 듣고 “AI를 쓰지 마세요”라고요. 교육에서도 비슷한 상태입니다. 지금은 때가 아니고, 때가 오면 해야 합니다. 당장은 물리+디지털이 섞인, 조금 더 전통적인 걸 만들고 있어요. 하지만 최종 형태는 자명합니다.
Dwarkesh Patel02:01:43
올해나 내년에 기대할 수 있는 건 무엇인가요?
Andrej Karpathy02:01:49
첫 번째 코스를 만들고 있습니다. 정말 좋은 코스—AI를 배우려면 가야 하는 최전선의 목적지—말이죠. 제가 익숙하니 좋은 첫 제품입니다. nanochat은 LLM101N의 캡스톤 프로젝트입니다. 큰 조각이죠. 이제 중간부를 채우고, TA 팀을 소규모로 고용하고, 코스를 완성해야 합니다.
또 한 가지. 교육이라 하면, 많은 사람이 “지식 확산”의 부드러운 면을 떠올립니다. 저는 매우 하드하고 테크니컬하게 봅니다. 교육은 지식으로 가는 경사로를 만드는 어려운 기술적 과정입니다. nanochat은 그런 경사로예요. 매우 단순한, 슈퍼-심플한 풀스택이죠. 이 산출물을 보면 엄청 많이 배웁니다. 저는 “초당 유레카(eurekas per second)”—초당 이해—가 많길 원합니다. 그래서 이건 경사로를 만드는 기술 문제입니다.
그 점에서 Eureka는 프런티어 랩과 다르지 않을지도 모릅니다. 사람을 막히지 않게, 늘 적정 난이도의 자료로, 효율적으로 경사로를 설계하는 법을 찾고 싶습니다.
Dwarkesh Patel02:03:25
단기적으로는, 튜터가 진단하는 대신, 스스로를 진단할 수 있는 사람이라면, TA나 LLM/레퍼런스 구현을 통해 막히지 않게 할 수 있겠네요. 자동화가 핵심은 아니고, 당신의 설명 능력이 소스에 담긴 게 핵심 같군요.
Andrej Karpathy02:04:00
항상 “현재 능력”에 맞춰야 합니다. 많은 사람이 ChatGPT에 묻겠지만, “AI를 가르쳐줘”라고 해서 배울 순 없습니다. 슬롭이 나올 겁니다. 지금 AI는 nanochat 같은 걸 쓰지 못합니다. 하지만 nanochat은 유용한 중간지점이죠. 저는 AI와 협업해 자료를 만듭니다. 훨씬 빨라요. 지루한 건 AI가 하고요. 코스 개발 속도가 크게 올라갑니다. AI가 스며들었지만, 창의적으로 콘텐츠를 만드는 건 아직 저입니다. 항상 “현 능력”에 맞춰야 합니다.
Dwarkesh Patel02:05:04
몇 년 뒤 Eureka에서 가장 큰 병목은, 각 분야의 “Karpathy”를 찾아 이 경사로로 변환하는 일일 듯합니다.
Andrej Karpathy02:05:18
시간에 따라 달라집니다. 지금은 교수진을 채용해 AI/팀과 함께 SOTA 코스를 만드는 형태가 되겠죠. 시간이 지나면 TA 일부는 AI가 될 수 있습니다. 코스 자료를 기반으로, 기본 질문에 답하는 자동화된 TA는 꽤 잘할 겁니다. 다만 코스의 전체 아키텍처와 정합성은 교수진이 필요합니다. 언젠가 제가 덜 유용해지고 AI가 디자인을 더 잘할 날이 올 겁니다. 그때까지는 시간이 필요하죠.
Dwarkesh Patel02:05:59
다른 분야의 전문가를 영입해 코스를 만들게 하나요, 아니면 당신이 교육 철학을 반영해 직접 설계하나요? Sal Khan이 Khan Academy를 모두 내레이션하는 것처럼요.
Andrej Karpathy02:06:20
교수진을 채용합니다. 제가 전문이 아닌 도메인이 있으니까요. 그래야 학생에게 SOTA 경험을 줄 수 있습니다. 당분간 저는 AI에 머무를 겁니다. 지금은 “조금 더 전통적”입니다.
스타플릿 아카데미를 지을 땐 물리적 기관도 떠올립니다. 그 아래 디지털 제공이 있고요. 물리는 정규-대면으로 처음부터 끝까지 함께하며, 이해를 보장하는 경험입니다. 디지털은 인터넷 자료 + LLM 보조 정도로 한 단계 아래지만, 80억 명에게 열려 있죠.
Dwarkesh Patel02:07:08
당신은 오늘의 도구로 “처음부터 대학을 재발명”하는군요. 동기와 흥미를 가진 사람을 선발해 깊이 몰입시키는…
Andrej Karpathy02:07:26
교육뿐 아니라 재교육도 많이 필요합니다. 직업은 꽤 바뀔 겁니다. 오늘도 많은 사람이 AI 업스킬을 하려 하고, 좋은 코스인 셈이죠. AGI 이전에는 동기가 간단합니다. 돈을 벌고 싶으니까요. 그게 산업에서 돈 버는 길입니다. AGI 이후엔 더 흥미롭습니다. 모든 게 자동화되어 누구도 할 일이 없다면, 왜 학교에 가나요?
저는 종종 이렇게 말합니다. AGI 이전의 교육은 “유용”하고, AGI 이후의 교육은 “재미”입니다. 헬스장을 생각해 보세요. 육체노동은 기계가 합니다. 그런데도 헬스장에 갑니다. 건강과 재미, 외모 때문이죠. 교육도 그렇게 될 겁니다.
지금은 배우기가 어렵습니다. 자료에서 튕기죠. 일부는 장벽을 넘지만, 대부분 어렵게 느낍니다. 그건 기술적 문제입니다. 제가 한국어를 배울 때 튜터가 해준 것을 “재현”하는 문제죠. 만들 수 있고, 누군가 만들어야 합니다. 그때 배우기는 아주 쉬워지고 유쾌해져서, 사람들은 재미로도 배울 겁니다. 완벽한 튜터가 있다면 어떤 지식도 아주 쉽게 배울 수 있고, 사람들은 배울 겁니다. 헬스장에 가듯요.
Dwarkesh Patel02:09:17
그건 AGI 이후의 얘기군요. 오락/자기계발이 목적인… 하지만 이전에는, 이 교육이 인류의 통제 유지에도 관련 있다고 했습니다. 일부에게는 오락, 일부에게는 역량 강화? 어떻게 보나요?
Andrej Karpathy02:09:41
장기적으로는 “지는 게임”일지도 모릅니다. 아주 긴 기간을 보면요. 하지만 인간이 갈 수 있는 곳은 아직 거의 손대지 않았습니다. 지금은 사람들이 자료에서 튕기고, 너무 쉬워도, 너무 어려워도 튕깁니다. 누구나 훨씬 더 멀리 갈 수 있어요. 누구나 5개 언어를 말할 겁니다. 왜냐면 너무 쉬워지니까요. 누구나 학부 커리큘럼의 기본은 갖출 겁니다.
Dwarkesh Patel02:10:18
이 비전이 흥미로운 건, 헬스 문화와 완벽히 등가가 있기 때문입니다. 100년 전에는 아무도 근육질이 아니었을 겁니다. 지금은 “두 장, 세 장 벤치”가 흔하죠. 체계적 훈련 덕분입니다. 학습에서도 비슷한 일이, 더 강력하고 빠르고 깊게 일어나는군요.
Andrej Karpathy02:10:54
정확합니다. 인간 본성의 시간불변성에 조금 베팅하고 있습니다. 이건 바람직하고, 사람들은 오랫동안 “그걸 하는 사람”을 우러러봤습니다. 앞으로도 그럴 겁니다. 역사에도 증거가 있습니다. 예컨대 귀족, 고대 그리스—일부는 이미 “포스트-AGI”처럼 살았습니다. 대부분의 시간을 신체/인지의 번영에 썼죠. 저는 인류의 전망을 낙관합니다.
만약 이게 틀려 _월-E_나 _멍청이들_의 미래가 온다면, 다이슨 스피어가 있어도 상관없어요. 끔찍합니다. 저는 인류를 신경 씁니다. 모두가 어떤 면에서 “초인적(superhuman)”이어야 합니다.
Dwarkesh Patel02:11:52
그래도 그런 세계는, “내 노동/인지”로 기술 궤적을 바꾸긴 어려운 세계군요. AI가 승인받으려 당신에게 묻는다면 모르겠지만요. 내가 발명을 해서 바꾸는 그림은 아닙니다.
Andrej Karpathy02:12:21
그럴 수도 있습니다. 다만 과도기에는 우리가 루프 안에 있어 진전을 이끌 수 있습니다. 장기적으로는 사라질지도요. 그때는 스포츠가 될지도 모릅니다. 지금도 파워리프팅이 있죠. 인지 시대의 파워리프팅은 뭘까요? 아마 “아는 것”을 올림픽으로 밀어붙이는 겁니다. 완벽한 튜터와 함께라면 사람이 도달할 수 있는 곳은 지금 천재의 한계를 훨씬 넘어섭니다.
Dwarkesh Patel02:12:59
이 비전이 좋네요. 그리고 제 일은 매주 다른 주제를 배우는 것이라, 최고의 PMF를 가진 고객이 아마 저일 겁니다.
Andrej Karpathy02:13:17
저도 비슷합니다. 많은 사람은 학교를 싫어하지만, 저는 정말 좋아했습니다. 박사까지 했고, 더 하고 싶었지만 산업으로 갔죠. 배우는 건 즐겁고, 동시에 권능을 줍니다.
Dwarkesh Patel02:13:39
온라인 코스가 이미 있다면, 왜 모든 인간이 모든 걸 알게 되지 않았을까요? 동기의 문제죠. 분명한 온-램프가 없고, 막히기 쉬워서요. 정말 좋은 인간 튜터가 대신하면, 동기 측면에서 큰 해방이 될 겁니다.
Andrej Karpathy02:14:10
동의합니다. 자료에서 튕기면 기분이 나쁩니다. 시간은 썼는데, 성과가 없고, 너무 쉽거나 너무 어렵고. 제대로 하면 배우는 건 기분 좋습니다. 기술 문제죠. 한동안은 AI+인간 협업이고, 언젠가는 AI만으로도 가능해질 겁니다.
Dwarkesh Patel02:14:36
“잘 가르치기”에 대한 질문입니다. 다른 분야의 교육자에게, 당신의 유튜브 튜토리얼 같은 걸 만들 조언을 준다면? 코딩처럼 즉석에서 과제를 채점하기 어려운 분야라면 특히요.
Andrej Karpathy02:14:58
광범위한 주제네요. 10~20가지 요령이 있지만, 많은 게 제 물리학 배경에서 나옵니다. 저는 물리학 배경을 정말 좋아합니다. 모든 사람이 초기에 물리를 배워야 한다고 생각해요. 초기 교육은 산업에서의 “기억/지식 축적”이 아니라, “뇌를 부팅”하는 과정입니다. 물리는 뇌를 가장 잘 부팅합니다. 물리에서 하게 되는 사고가 나중에 매우 유용하죠.
모델과 추상화를 만들고, 1차 근사가 대부분을 설명하고, 2차, 3차, 4차 항이 추가된다는 관점. 관찰은 시끄럽지만, 근본 주파수가 있다는 인식. “구의 소” 농담은 모두 알지만, 그건 빛나는 생각입니다. 매우 일반화 가능하죠.
Scale 같은 좋은 책도 있습니다. 물리학자가 생물을 다룹니다. 동물의 심박수와 크기, 열 발산(표면적은 제곱, 생성은 세제곱) 같은 스케일링 법칙을 이야기합니다. 물리학자는 세계를 다루는 인지적 도구를 갖추고 있어요.
그래서 저는 항상 1차 항, 2차 항을 찾습니다. 시스템을 볼 때 얽힌 아이디어들을 풀어, 무엇이 중요한지, 가장 단순한 예로 보여주고 그 다음 항을 붙입니다.
제 저장소 micrograd가 좋은 예입니다. 100줄 파이썬으로 역전파를 보여줍니다. +, × 같은 연산으로 NN을 만들고, 계산 그래프를 구성해 순전파/역전파로 그래디언트를 구합니다. 현대 NN 학습의 심장입니다.
micrograd는 이해 가능한 100줄로 임의 NN의 forward/backward를 하지만 “비효율적”입니다. 하지만 NN 학습의 핵심 지적 요소는 전부 담겨 있어요. 나머지는 효율입니다. 텐서 배치, 스트라이드, 커널, 메모리 등은 모두 효율의 문제입니다. 핵심 지적 부분은 micrograd에 있고, 아주 단순한 연쇄 법칙의 재귀적 적용으로 “임의의 미분 가능 함수 최적화”를 가능케 합니다.
저는 이런 “저차항”을 접시에 담아내고 싶고, 그렇게 찾는 걸 좋아합니다. 교육은 가장 지적으로 흥미로운 작업입니다. 얽힌 이해를, 앞의 것에만 의존하는 경사로로 깔아야 하니까요. 그 언탱글링 자체가 너무 흥미로워요.
Dwarkesh Patel02:18:41
이건 학습의 동기를 크게 올립니다. 당신의 트랜스포머 튜토리얼은 바이그램부터 시작하죠. “이전 단어→다음 단어” 룩업 테이블로요.
Andrej Karpathy02:18:58
본질이죠.
Dwarkesh Patel02:18:59
룩업 테이블에서 트랜스포머로 가는 길에, 각 조각이 “왜 필요한지”로 동기화됩니다. 어텐션 수식을 외우는 대신, 각 항이 해결하는 문제가 뭔지 이해하게 되죠.
Andrej Karpathy02:19:13
“해결책”을 보여주기 전, “아픔”을 먼저 보여주는 셈입니다. 훌륭한 전략이죠. 학생을 그 경로로 이끕니다. 또 작은 요령이 많습니다. 항상 학생에게 묻습니다.
Dwarkesh Patel02:19:51
“먼저 네가 풀어봐”죠.
Andrej Karpathy02:19:51
네. 당신이 먼저 생각해볼 기회를 주지 않고, 바로 정답을 내놓는 건 무례합니다.
Dwarkesh Patel02:20:03
직접 해보면, 행동 공간과 목표를 이해하고, 왜 이 행동만 목표를 달성하는지 이해하죠.
Andrej Karpathy02:20:03
네. 당신이 직접 해볼 기회를 갖고, 제가 해답을 제시할 때 감탄할 수 있죠. 새로운 사실당 지식량을 극대화합니다.
Dwarkesh Patel02:20:11
왜 진짜 전문가들이 초심자에게 설명하는 데에 종종 서툴까요?
Andrej Karpathy02:20:24
지식의 저주죠. 저도 피하기 어렵습니다. 어떤 것을 당연하게 여기고, 초심자의 입장을 잊게 됩니다. 널리 퍼진 현상이고, 저도 그렇습니다.
큰 도움이 되는 건, 누군가가 생물학 논문을 보여줬을 때, 제가 정말 많은 “바보 같은” 질문을 하는 겁니다. ChatGPT를 열고 논문을 컨텍스트에 넣어 질문했어요. 간단한 건 정리되고, 그 스레드를 저자에게 공유했습니다. “내가 한 바보 질문”을 보면, 다음번에 더 잘 설명할 수 있지 않을까 해서요.
저도 제 자료에 대해 사람들이 ChatGPT와 나눈 “바보 대화”를 공유해주면 좋겠습니다. 초심자의 입장으로 다시 들어가게 도와줄 테니까요.
Dwarkesh Patel02:21:19
또 놀랍게 잘 먹히는 요령: 논문/블로그/공지보다, 점심 식사 자리에서 친구에게 설명하듯 “말로 풀어쓴” 버전이 100%의 경우에서 더 이해하기 쉽고 과학적으로도 정확합니다. 추상/전문용어로 포장하려는 편견이 있고, 핵심 아이디어를 말하기 전에 4단락 “목 가다듬기”를 하곤 하죠. 1:1에선 그럴 수 없습니다. “그냥 핵심을 말해야” 하니까요.
Andrej Karpathy02:22:07
“그냥 핵심을 말해.” 그 트윗을 보고, 여러 사람에게 공유했습니다. 저도 수없이 봤습니다.
가장 두드러진 예는, 박사 시절에 연구를 할 때입니다. 누군가의 논문을 읽고 이해하려고 애를 쓰죠. 그리고 컨퍼런스에서 맥주를 마실 때, “그 논문 뭐였어?”라고 물으면, 세 문장으로 완벽하게 요약합니다. 마치 논문을 안 읽어도 되는 것처럼요. “그 아이디어에서 저 아이디어를 가져오고, 이런 실험을 해서, 이걸 시도했다.” 왜 그게 초록이 아닌 걸까요?
Dwarkesh Patel02:22:51
이건 “설명하는 사람”의 관점입니다. “학생”에게 주는 조언은요? 당신이 없는 분야에서 논문/책을 읽어야 한다면, 어떤 전략을 쓰나요?
Andrej Karpathy02:23:20
특별한 요령은 없습니다. 고통스러운 과정이죠. 다만—이 트윗에서도 말했지만—온디맨드의 “깊은 학습”이 좋습니다. “프로젝트 보상”이 있는 상태에서 깊이 파고드는 것 말이죠. 그리고 가끔 “폭넓은 학습”—“언젠가 쓸모가 있으니 믿어라 101”—도 필요합니다. 학교는 후자를 많이 하죠.
또 하나 매우 도움이 되는 건, 남에게 설명하는 것입니다. 이타적으로 들리지만, 가장 좋은 학습법이에요. 설명하려다 보면 “내가 모르는구나”를 절감합니다. 돌아가서 채워야 하죠. 지식의 틈을 채웁니다.
사람들은 더 많이 설명해야 합니다. 지식을 조작하고, 내가 아는 것만 말하게 되니, 더 나은 이해로 이어지죠.
Dwarkesh Patel02:24:48
좋은 마무리네요. Andrej, 고맙습니다.
Andrej Karpathy02:24:51
감사합니다.
