2025년 ICLR에서 얻은 두 가지 교훈: AI의 현 위치와 오픈 모델이 미치는 문화적 영향에 대한 고찰.
현대의 머신러닝 컨퍼런스는 너무 커져서 개인적으로 만족스럽지 않을 정도입니다. 저는 싱가포르에서 열린 두 포스터와 연상 기억 워크숍에서의 발표를 위해 참석했습니다. 아침 기조연설을 듣고, 포스터룸을 빠르게 둘러보고, 산업계와 학계의 친구 및 동료들과 반가운 재회를 가졌습니다.
아침 기조연설 15분 전
돌아오는 길에 저는 공항에서 경현 조(Kyunghyun Cho)를 만났습니다. 우리는 서로 배운 점에 대해 이야기를 나누며 한 잔 했습니다. 조 교수님은 항상 훌륭한 통찰력을 제공하는데, 어텐션 메커니즘의 발명자이기도 하고, 한국의 스타들과 식사하는 분이기도 하죠. 그래서 그가 “그거 트윗해야죠!”라고 조언하면 저는 그대로 따를 수밖에 없습니다.
서로 약하게 연결된 두 가지 주제가 있습니다.
무엇을 연구할지를 결정하려면, 먼저 우리가 어디에 서 있는지 이해해야 합니다.
대형 언어 모델(LLM)의 발전과 머신러닝(ML)에서 인공지능(AI)으로의 급속한 전환은 이 문제를 매우 어렵게 만듭니다. 많은 연구자들이 지금 우리의 위치에 대한 명확한 평가를 찾고 있는 듯 보입니다. 한 기조연설자는 AI가 결국 희소한 데이터 압축(sparse data compression)의 한 사례일 뿐이라고 주장합니다. 다수 포스터에서는 현재 기술로 달성할 수 있거나 없는 AI의 능력을 연구합니다.
이 연구자들의 관찰과, AI가 무엇을 이룰 수 있고 무엇이 되어야 한다는 식의, 큰 확성기에서 들려오는 메시지 사이에는 커다란 긴장이 있습니다. 이러한 강력한 커뮤니케이션 캠페인은 비즈니스 리더들이 돈을 벌거나 권력을 얻을 방법을 상상해내고자 하는 열망을 반영할 뿐입니다. 실제 모델의 능력과는 관련성이 희박합니다. "말할 수 있으면 생각할 수도 있다, 그렇지 않은가?" 이 정도입니다.
확성기는 우리에게 과대광고를 현실로 바꾸라고 요구합니다. LLM을 어떻게 신뢰성 있게 만들 것인가? 어떻게 추론하게 할 것인가? 수학 문제는 어떻게 풀게 할 것인가? 자바스크립트 게임 코드는? 많은 노력이 제한된 성공으로 이어졌습니다. 때로는 되고, 때로는 아닙니다. 대조적으로 LLM은 특정 복잡한 과제를 거의 완벽에 가까운 정확도와 신뢰도로 해결합니다. 유창한 언어를 생성하고, 다양한 스타일로 대화하고, 이해할 수 있는 이야기를 만들어내고, 지시에 따라 이를 조작할 수 있습니다. 우리는 현재의 모델이 이러한 일을 어떻게 해내는지조차 모르며, 과거 모델이 왜 못했는지도 알지 못합니다.
오늘 우리가 어디에 서 있는지는 우리가 AI 모델에 바라는 능력이 아니라, 이 모델들이 거의 100% 성공률로 실제로 달성하는 능력에 의해 정의됩니다. 왜 그리고 어떻게 이것이 가능한지 이해하기 전까지는 우리가 어디에 있는지 알 수 없고, 어디로 나아가야 할지도 신뢰할 수 없습니다.
이 문제에 관한 저의 의견은 "The Fiction Machine"도 참고해 보세요.
저는 운 좋게도 연구를 공개하는 연구소와, 모델을 대중에 공개하는 기업에서 일하고 있기 때문에 운이 덜 좋은 동료들에게 뾰족한 질문을 할 때 약간의 죄의식을 느낍니다. 정말로 우리는 초지능 전 마지막 직선에 도달했다고 믿습니까? 시장 출시까지의 시간을 몇 달 앞당기려고 대체 어떤 대가를 치르고 있습니까?
폐쇄된(비공개) 모델은 연구에 아무 쓸모가 없습니다. 작동 원리가 투명하지 않아 안정적 비교 기준으로 쓰기도 어렵습니다. 진정한 창의성을 보여주나요, 아니면 그저 온라인 사용 데이터를 학습했을 뿐인가요? 폐쇄된 모델은 응용 프로그램을 개발하는 사람들에게도 문제입니다. 잠재적으로 불안정한 온라인 API와 변덕스러운 가격 구조에 비즈니스가 종속되기 때문입니다. 오픈 모델이 이런 상황을 두 번이나 바꿔놓는 것을 우리가 보았습니다. Llama 모델의 영향력은 최첨단 기술을 이룬 것이 아니라, 설계와 가중치가 무료로 공개된 데서 비롯됐습니다. 마찬가지로, DeepSeek 모델 역시 최고의 모델과 견줄 만해서가 아니라, 예상치 못한 출현, 훌륭한 논문, 무엇보다 설계와 가중치의 완전한 공개가 큰 반향을 불러일으켰습니다. 그 결과, Llama와 DeepSeek는 아마 더 우수할지도 모르는 폐쇄형 모델보다 앞으로의 분야에 더 큰 영향을 미치고 있습니다. 그런데 폐쇄형 모델이 정말 우수한가요? 저는 확실히 알 수 없고, 솔직히 별로 신경도 쓰지 않습니다.
시야를 더 넓힐 수도 있습니다. 누군가 충분히 좋은 대화형 검색 엔진을 출시하면 구글의 검색 독점이 깨질 수도, 혹은 방어될 수도 있습니다. 물론 이는 많은 돈이 걸려 있고 인류에게도 유익할 수 있습니다. 저는 이것을 _Satya의 밴데릴라_라고 부릅니다. 이 거대한 비즈니스는 인공지능 연구의 공유가 가져올 문화적 충격에 비하면 작은 상에 불과하기 때문입니다.
만약 우리가 인공지능에 대해 합리적으로 논의할 과학적 방법을 발견하고 _공유_하게 된다면 어떻게 될까요? 그러면 인간 지능과 인지에 관해서도 합리적으로 논의할 길이 열린 셈입니다. 즉, 머신러닝에서 시작된 이 획기적 진보는 곧바로 인간의 인지가 중요한 모든 분야, 예술과 과학 전체에서의 패러다임 전환이 됩니다. 이는 AI가 예술과 과학을 대체한다는 식의 주장과는 다르고 훨씬 더 흥미로운 일입니다. 이건 기계가 아니라, 우리 인간의 문제입니다.
AI의 진정한 영향력은 인간 문화의 심오한 변혁에 있다.
앞길이 순탄하지만은 않을 것입니다. 좋고 나쁜 일이 모두 벌어질 수 있습니다. 그러나 그 결과는 문자 발명이나 스토리텔링의 발견과 맞먹습니다. 그런 변화에 비한다면 대화형 검색 엔진은 정말 작은 물고기일 뿐입니다.
