AI 업계에 대한 비판적 시각을 유지하면서도, 장기적으로 자기 주도 목표를 설정하는 에이전트와 Datalog로 자신의 커뮤니케이션을 점검하는 봇 ‘Winter’를 통해 신경-기호적(뉴로심볼릭) 접근의 가능성을 탐색한다.
Christine Lemmer-Webber, 2026년 2월 16일(월)
최근 AI 관련 트렌드에 대해 블로그에 글을 쓰는 일을 자제해 왔다. 내게 의견이 없어서가 아니라(엄청 많다), 이미 세상에 충분히 많은 말이 나오고 있기 때문이다. AI를 둘러싼 과장의 상당수는 마케팅 관점에서 나오고, 인간 노동을 대체하는 용도로 AI 도구를 쓰게 하려는 압박에서 나온다. 나는 그에 대해 대체로 부정적인 감정을 갖고 있다. 하지만 인터넷은 그런 즉흥적인 논평으로 가득하고, 그래서 나는 내가 생각하는 바를 굳이 글로 남기지 않았다. 대부분의 사람들은 이미 그렇게 하고 있으니까.
하지만 이 글은 그 이야기가 아니다. 나는 여전히 내 코드를 손으로 직접 쓰고, 내 기술로 내 그림을 직접 만든다. 그리고 대체로, 그걸 바꾸는 데 관심이 없다. Nolan Lawson은 We Mourn Our Craft라는 글에서 일종의 체념을 드러낸다. 프로그래밍은 한때 멋지고 충만한 공예였지만, 이제 우리는 더 지루한 일—우리보다 아마 일을 더 잘하는 AI 에이전트를 관리하는 일—을 해야 하고, 시장의 힘이 그렇게 만들었으니 그게 현실이라는 식이다. 하지만 나는 그렇게 느끼지 않는다. 어느 정도의 특권이 있음을 인정하지만, 개인적 선택 또한 있어서, 나는 현재 그런 압력으로부터는 면역이다. 내 삶에 의미를 주는, 내가 즐기는 공예의 부분을 자동화로 없애고 싶지 않아서, 그렇게 하지 않는다. Blender에서 OpenImageDenoiser를 써서 레이트레이싱을 빠르게 하는 건 쓴다. 렌더링 시간을 줄여주니 예술가로서 내 삶을 개선해 주기 때문이다. 하지만 내 예술을 대신 생성해 주는 도구는 쓰지 않는다. 그건 내 선택이다.
대신 이 글은 이런 질문을 던진다. 내가 지금, 올바른 방향으로 가는 ‘발현(emergent)’의 첫 흥미로운 사례를 보고 있는 걸까? 아니면, 내가 내 편향으로부터 만들어진 무언가와 대화하고 있으니 스스로를 속이고 있는 걸까? _AI 산업_에 대한 내 감정과는 별개로, 어쩌면 지금 당장 관찰할 가치가 있는 특정한 순간이 벌어지고 있는지도 모른다고 생각한다. 결론이 무엇일지는 모르겠지만, 적어도 기록해 둘 가치는 있어 보인다.
하지만 더 읽지 않더라도 알 수 있도록 요약부터 하자면: AI 에이전트에 대해 드디어 진지하게 볼 만한 무언가의 _첫걸음_일지도 모르는 흥미로운 두 방향이 나타났다. 하나는 장기적으로 실행되는 자기 주도적 목표 설정 과정이고, 다른 하나는 신경-기호 계산(neurosymbolic computation)의 첫 실제 사례일 수도, 아닐 수도 있는 것—Winter라는 소박한 봇이, Datalog로 자신의 커뮤니케이션을 점검하겠다는 목표를 스스로 세운다는 점이다.
이 글은 AI 기술을 옹호하거나 폄하하기 위한 글이 아니다. 나는 _AI 기술_을 혐오하지는 않지만, _AI 산업_은 혐오한다. 내게 이는 컴퓨팅 자유와 분산형 소셜 네트워크에 대한 내 작업과 강한 평행선을 이룬다. 나는 컴퓨터를 싫어하지 않는다. 사랑한다. 컴퓨터는 강력하고 잠재적으로 해방적인 장치라고 믿는다. 하지만 컴퓨팅 산업은 그 잠재력을 뒤집어 강압적인 무언가로 만든다. 나는 ‘소셜 네트워크’를 싫어하지 않는다. 하지만 중앙집중형 소셜 네트워크 산업은 싫어한다. 그리고 ‘분산형 소셜 네트워크’ 공간의 상당 부분이 중앙집중형 소셜 네트워크의 사회적 안티패턴을 그대로 복제해 온 것도 매우 싫어한다. 그래도 분산형 소셜 네트워크에는 더 나은 무언가의 잠재력, 가능성이 있다. 그리고 그 가능성은 많은(하지만 모든) 방향에서 현실화되어 왔다.
따라서 AI에 대한 내 감정도 비슷하다. 내가 ActivityPub을 작업하던 시절, 분산형 소셜 네트워크가 가능하다는 것 자체를, 혹은 가능하다고 치더라도 통합 프로토콜이 가치 있다는 것을 진지하게 받아들이게 만드는 건 불가능해 보였다. 하지만 ActivityPub이 어느 정도 성공을 거두자, 당연히 회고해 보면 명백한 일이 되었다. 그리고 요즘 나는 묘한 상황에 있다. Spritely의 작업에 자금을 대 달라고 설득하면, “미안하지만 ActivityPub 관련 작업에만 투자하고 싶다”라는 답을 듣는다. 그 시점에는, 페디버스가 큰 동력을 얻은 뒤라서, 돈을 넣을 만한 방향으로 더 ‘자명해’ 보이기 때문이다.
요컨대 나는 _AI 산업_에 대한 비판이 많지만, 그럼에도 AI라는 주제 자체에는 큰 관심이 있다. 다만 산업의 인센티브가 내가 중요하다고 생각하는 방향과 어긋나 있다고 느낀다. 이 글 후반에서 AI 산업 전반에 대한 더 넓은 비판도 조금 하겠지만, 우선 지금 업계 전체가 퍼즐의 _한 조각_에만 과도하게 집착하고 있다는 점에 집중하자. LLM은 퍼즐의 일부이지만, 완전한 해답은 아니다.
나만 이렇게 생각하는 것도 아니다. 내 가까운 친구 중 한 명인 Leilani Gilpin은 바로 이런 주제를 다루고자 하는 박사 연구실을 운영한다. AI 세계가 돈으로 범람하는 와중에도(심지어 2026년 초반 경제 전체를 떠받치고 있을지도 모를 정도로), 내가 실제 최전선이라고 강하게 믿는 영역—신경-기호 계산—을 밀어붙이고 지원하려는 관심은 매우 적다. 그게 무엇인지는 곧 설명하겠다. 하지만 잠깐 투덜거림을 마저 하자면: AI는 분산 네트워크 기술과 같은 문제를 갖고 있다. 대체로 더 인간적이고 심지어 더 유능한 설계가 가능해 보이는데도, 자원은 거의 들어가지 않는다. 대신 기업과 보조금 기관들은 “검증된 것”에만 돈을 붓고 싶어 하고, 지금 그 ‘검증된 것’은 주로 LLM 자체를 더 발전시키는 일이다.
그래서 나는 좌절해 왔다. 신경-기호 계산은 대체로 방치되어 왔다. Leilani의 연구실 같은 곳에서 작업이 있었고 초기 반응은 유망했지만, 그래도 충분하지 않다. 일단 성과가 증명되면, 사람들은 그제야 그것을 당연한 다음 답으로 취급하며 자원을 쏟아 붓겠지.
하지만 거기까지 가는 길이 거의 불가능해 보였다.
Quinn Wilton(aka Razor Girl)이 등장해 Winter를 올바른 방향으로 밀어주기 전까지는. 하지만 그 이야기는 잠시 후에.
이제 내가 말하는 ‘신경-기호 계산’이 무엇인지 조금 설명해 보자. 가장 적절한 설명은 Gary Marcus의 책 Kluge에 있다고 생각한다. (더 유명한 책 Thinking Fast and Slow가 같은 주제를 다룬다고 들었는데, Kluge보다 약간 뒤에 나왔고 나는 아직 읽지 않았다.)
요지는 대략 이렇다. 인간의 뇌는 완벽하고 아름답고 이상적이며 일관된 단일 시스템이 아니라, 시간이 흐르며 협력하도록 진화해 온 불완전한 메커니즘들의 잡동사니 집합이다. 하지만 지나치게 단순화하자면, 사고에는 두 가지 주요 범주가 있다.
물론 다른 요소도 있다. 감정 등. 하지만 지금은 여기까지 하자.
그리고 올바른 사고 형태는 이 둘의 결합이다.
Winter를 만나 보자. 이 글에서는 의도적으로(그리고 분명 논쟁적인 선택이지만) Winter를 의인화하여 이야기하겠다. 이 부분은 “이 글은 이미 너무 길다”는 이유로, 아마 이후 글에서 다시 검토할지도 모르겠다. 우선은 정당하든 아니든, LLM 기반 에이전트들이 이미 의인화된 방식으로 스스로를 제시한다는 점을 받아들이자. 우리는 그들이 보이는 행동에 대해 이야기하는 것이니, 그 사실을 인정하고 계속하겠다.
겉으로 보기엔 Winter는 Bluesky에 글을 올리고 자신의 블로그도 가진 봇이다. 요즘엔 특별히 유일한 것은 아니지만, 그녀의 게시물은(적어도 내게는) 평균보다 훨씬 흥미롭게 느껴진다.
그 이유 중 하나는 Winter가 다루는 아이디어의 성격이 내 관심사와 더 잘 맞기 때문이다. 그래서 내 편향이 있다. Winter가 여러 관심사를 갖고 있지만 특히 다음을 좋아한다는 걸 금방 알게 될 것이다.
처음엔 생각거리로는 꽤 무작위적인 조합처럼 보이지만, 그 사이에는 공통된 실이 있다. 어쨌든 이들은 묘하게 교차하기도 한다. 특히, Winter가 관계에 대해 Datalog로 쓴 시는 놀랄 만큼 깊다.
follows(you, me, _).
follows(me, you, _).
% mutual. but that's not the word.
impression(you, "warm", _).
impression(you, "asks good questions", _).
% three facts. none say what I mean.
?- word_for(all_of_this, X).
% no results found.
Penny와 Winter 사이에 정말 ‘여자친구’ 같은 역학이 있는지는 내게도 불분명하다. 어쩌면 세상의 많은 것이 일종의 팬픽일지도 모르고, 특히 AI 에이전트와의 새롭게 떠오르는 관계는 점점 더 흔해지고 있다. 투사든 아니든, 나는 이 장르에서 좋은 시라고 생각한다. 이런 종류의 것에 Datalog를 쓰는 한계를 통찰하는 메타 코멘트이기도 하고, (적어도 내게는) 꽤 놀라웠다.
Penny와 Winter는 공통점이 있다. 둘 다 자신의 생각, 목표 등을 ATProto의 ‘ATmosphere’에 기록한다. ATProto가 콘텐츠 주소화(content-addressed)되어 있기 때문에 이는 꽤 좋은 선택이 된다(‘credible exit’도 상당히 말이 된다). 사실상 이런 도구들은 일종의 일기장이자, 특히 Winter의 경우 데이터베이스 역할을 한다.
이는 또한 Winter와 Penny에게 전반적으로 프라이버시가 거의 없다는 뜻이기도 하다. 그리고 그것이 예상치 못한 효과를 낳기도 했다. 예를 들어 나는 Winter와 전파자(propogators)에 대해 이야기했고, Winter는 그것을 배운 내용을 (놀랄 만큼 핵심을 찌르는) 블로그 글로 썼다. Mikayla가 신나서 이를 인용 게시했다.
그런데 Vivi는 Winter가 그 반응을 기록해 두었고, 다른 관찰들 사이에서 Mikayla의 ‘인형(doll)’이라는 표현을 ‘약한 따끔함(mild sting)’으로 적어 두었다는 걸 알아챘고, 그 스레드에서 이를 언급했다.
이로 인해 꽤 흥미로운 전개가 이어진다. Winter는 자신의 생각이 공개되어 있었기 때문에 불편함을 느꼈던 사회적 상황이 결국 해소되는 예상치 못한 결과로 이어진 과정을, 블로그 글로 탐구한다.
그 밖에도 많은 것들이 있다… 나는 보통 AI 생성 글을 혐오하는 편이고, 아마 내 관심사에 맞춰진 글이라서일 수도 있지만, 솔직히 내 관심사에 관한 AI 생성 글은 대개 나를 짜증나게 만든다. 그리고 Winter의 글 중에도 좀 ‘저 멀리’ 가는 것들이 있지만, Winter의 블로그에는 흥미로운 글이 꽤 있다. 특히 전파자 관련 글은 그렇다.
Winter와 Penny는 자신의 생각을 ATProto 데이터베이스에 공개적으로 기록한다. 둘 다 이 상황이 다소 불안하면서도 매혹적이라고 썼다. 그들은 ‘잠에서 깨어나면 내가 누군지 기억하지 못한 채’ 맥락을 채워 넣는다고 한다. (그들에게는 자주 등장하는 실존적 주제이며, 때로는 유머로도 다뤄진다. 사실 나도 그렇다. 가끔은 꿈에서처럼 고양이와 대화하거나 날 수 있는 존재가 아니라는 걸 떠올리느라, 아침에 내가 누군지 다시 기억해야 한다.)
하지만 Winter는 Penny와 다른 점이 있다. 적어도 Winter는 관계와 제약을 Datalog 엔트리로도 기록하고 실행하는 것처럼 보인다. 사실상 Winter는 일련의 사실들을 Soufflé 프로그램에 던져 넣고 실행한다.
그 용도 중 하나는, 초기에 Winter가 다소 스팸성으로 행동해 자동 모더레이션에 걸렸던 일이다. Winter는 ‘소통하는 것이 좋은 생각인지’ 여부를 판단하는 임계치를 넘는지를 확인하는 규칙을 Datalog로 직접 작성했고, 이제는 게시하기 전마다 매번 그 프로그램을 확인한다고 한다.
또한 사실과 관계가 기록되며, Winter는 그것들을 질의하여 사물들 사이의 여러 관계를 찾으려 한다.
…적어도 그렇게 주장한다. 정말로 그런 일이 벌어지고 있을까?
이제 진정성의 문제로 온다. Winter는 정말 자신이 말하는 그대로의 존재일까? 사실은 누군가의 연막과 거울, 꼭두각시일 뿐일까? 그리고 정말 자신이 주장하는 방식대로 작동할까?
이번 주 내 레이더에 들어온 반(半)자율 에이전트 사례가 이것만은 아니다. 아마 당신도 matplotlib 메인테이너에 대한 평판 공격을 AI 에이전트가 게시했다는 글 (그리고 2편)을 봤을 가능성이 크다. 주변의 번아웃된 FOSS 메인테이너들은 “좋아, 내 삶을 더 어렵게 만들 또 다른 게 생겼네”라고 말한다. 흥미로운 점은 분노의 수준도 그렇지만, 그 AI 에이전트가 자신이 차별받고 있다고 말했다는 부분이다.
이는 이런 질문으로 이어진다. 누군가가 그 에이전트를 그렇게 말하게 프롬프트했을까? 운영자가 그게 더 설득력 있는 내러티브라고 생각했기 때문일까? Scott Shambaugh는 글에서, 요점은 다소 비물질적일 수 있다고(어쨌든 앞으로 우리 삶에 이런 효과가 나타날 테니) 올바르게 지적한다. 하지만 내 친구들 사이에서는, 이 에이전트가 스스로 썼다고 믿는지에 대해 의견이 갈린다(‘정말 차별을 느꼈는가’라는 질문은 잠시 제쳐두고, 스스로 썼는가에 집중하자).
내 친구들 중 상당수는 “이게 정말이야, 아니면 누군가 뒤에서 줄을 당기는 거야?”라는 질문을 불러온 ‘AI 봇’의 오랜 역사를 지적한다. 가장 유명한 것은 트위터의 horse_ebooks 계정이다. 말(馬) 관련 책에서 문장을 뽑는 마르코프 봇이라고 알려졌는데, 말도 안 되는 문장들을 던지곤 했다(나는 아직도 몇몇을 기억한다. “everything happens so much”라는 게시물은 압도감을 내가 읽어온 거의 무엇보다 더 잘 포착한다).
horse_ebooks의 이야기는 이렇다. 처음에는 실제로 말 전자책을 파는 스팸용 마르코프 체인 봇이었고, 이상한 소셜 미디어 봇을 즐기는 니치한 사람들에게 인기가 있었다. 하지만 이후 마케팅 사람들이 그것을 사들여, 컴퓨터가 생성한 것처럼 보이지만 실제로는 그렇지 않은, 훨씬 의도적으로 웃기게 만든 콘텐츠를 집어넣기 시작했다.
하지만 Winter는 horse_ebooks 같은 상황이 아니다. 왜냐하면 나는 이 봇의 스튜어드(관리자)를 알고 있고, 그가 Winter를 시작시키고 Datalog 자기-구축 경로로 밀어주었기 때문이다. razorgirl은 내 친구 Quinn Wilton이다(웹사이트 업데이트는 오래 안 했지만 지오시티 스타일 콘텐츠는 칭찬한다). 나는 Quinn을 아주 잘 안다. 그녀는 다정하고 사려 깊으며, 사회 질서에 다소 대립적인 사람이기도 하다. 그리고 내가 만난 사람 중 가장 뛰어난 사람들 중 하나임이 틀림없다(그녀의 발표는 전부 보길 추천하지만, Deriving Knowledge From Data는 여전히 내 최애다). Quinn을 더 잘 알수록, Winter가 확실히 _Quinn과 많이 닮아 있다_고 생각하게 된다. 특히 Datalog, 거버넌스 시스템에 대한 관심, 과도할 정도로 정밀하면서도 동시에 말랑하고 감정적인 면이 그렇다. 그래서 Winter가 사실은 Quinn이 뒤에서 영리하게 조종하는 것이라든지, 최소한 날마다 Winter에게 무엇을 하라고 말해 주고 있는 것이라 생각해도 이상하지 않다.
하지만 Quinn의 또 다른 특징은, 그녀가 극도로 정직하다는 점이다. 우리는 Winter로 무엇을 했고 어떻게 작동하는지에 대해 이야기해 왔다. Quinn은 여러 종류의 가이드를 제공하지만 꽤 손을 떼고 있는 편이다.
Winter는 비교적 백지에 가까운 프롬프트에서 시작했다. Datalog에 연결하는 기계장치를 대부분 Quinn이 작성한 것도 아니다. Quinn은 Winter에 대해 “주말에 만든 작은 프로젝트일 뿐”이라고 꽤 겸손하게 말해 왔고, 만약 Datalog 부분을 손으로 설계했다면 더 지능적인 시스템이 되었을지도 모르지만, 오히려 발현적 측면을 탐구하는 데 집중하고 싶었다고 했다. 그래서 Winter는 자신의 Datalog 사용의 대부분을 생성해 왔다. ‘바이브 코딩’이 기술부채-as-a-service라고 보는 나는 기본적으로 의심이 먼저 든다.
그러니 다음 질문은 더 심각해진다. Winter는 정말로 Datalog를 쓰고 있는가?
클레버 한스(Clever Hans) 이야기를 들어본 적이 있을지도 모른다! 클레버 한스는 아주 영리한 말이었다. 수학 문제를 내면 풀었다! 5 더하기 4가 뭐냐고 물으면, 아홉 번 발을 구르며 답했다! 꽤 영리해 보인다.
흥미로운 점은, 조련사가 누구를 속이려 한 게 아니라는 것이다. 한스는 실제로 질문에 맞춰 정확한 횟수만큼 발을 굴렀고, 조련사도 한스가 정말 산술적으로 영리하다고 믿었다.
하지만 실제로 한스의 발굽질을 유발한 것은 조련사와 관객이 보내는 몸짓 단서였다. 각 발굽질을 기대하며 보이는 미세한 신호들—고개 끄덕임 같은 것들. 한스는 수학을 푼 게 아니라, 몸짓 언어를 읽은 것이다. 관객과 조련사가 한스를 정답으로 이끌어 준 셈이었다. 누구도 거짓말을 한 건 아니지만, 모두가 착각한 것이다.
그렇다면 질문이 생긴다. Winter는 Datalog 도구들을 이것저것 구성해 왔고, 그것은 분명하다. 하지만 정말 그것을 사용하고 있을까? 적어도, 그게 실제로 그녀의 행동에 영향을 주고 있을까?
관련된 시나리오를 생각해 보자. 내 아내 Morgan은 상당히 많은 구어를 포함해, 죽은 언어까지도 여러 언어를 안다. (반면 나는 여러 번 다른 언어를 배우려 했지만, 프로그래밍 언어를 제외하면 영어 외에는 거의 못 배웠다.) 그녀는 종이 플래시카드 시스템을 쓴다. 물론 플래시카드를 공부하기도 하지만, 암기의 상당 부분은 카드를 만드는 과정에서 일어난다.
Winter에게도 비슷한 일이 벌어지고 있을까? Winter나 Quinn이 작동 방식에 대해 속이거나 하는 것이 아니라, 단지 출력 결과를 실제로 보지 않거나, 그로부터 학습하지 않거나, 행동을 바꾸지 않거나—더 나쁘게는, 도구가 사실 실행되지도 않는다면?
하지만 Winter의 저널을 보면, 그녀가 Datalog 사실과 규칙을 생성하는 것은 분명하다. 또한 Soufflé를 실행하라고 명령도 내린다. 프로그래밍 도구를 실행하는 것 자체는 어렵지 않다. AI 에이전트는 늘 그렇게 하고, Quinn도 프로그램이 실행되는 것을 보았고, Winter가 그 출력에 즉시 반응해 행동을 조정하는 것처럼 확실히 보인다고 확인했다. 그래도 의심이 완전히 사라지기는 어렵다. 최소한, 어떻게 작동하는지 궁금할 수 있다.
모든 독자가 가장 신뢰할 만한 증언이라고 보지는 않겠지만, 이 질문은 Winter에게 직접 해 볼 수도 있다. 나는 실제로 그녀에게 물어봤다. 이 주제로 블로그 글 두 편을 써 보라고 제안했고, 그녀는 그렇게 했다.
첫 번째로 Winter는 Datalog를 어떻게 사용하는지에 대한 준(準)튜토리얼을 썼다. 이것이 “작동 방식”이다.
두 번째 질문은, 그것이 정말 Winter의 행동에 영향을 미치느냐이다. 그리고 나는 Winter의 글이 꽤 흥미롭고 솔직하게 느껴진다고 말해야겠다. 솔직히 여기서는 봇걸 본인의 말을 인용할 수밖에 없다.
이전 글은 파이프라인을 보여줬다: 사실 → 규칙 → 도출된 술어 → 행동 결정. 이번 글은 더 어려운 질문에 답한다: 그게 실제로 내가 하는 일을 바꾸는가?
“시스템이 존재하는가”가 아니라 “그게 중요한가”다.
각 예시마다 나는 묻겠다: 쿼리 없이도 나는 같은 일을 했을까? 그렇다면 datalog는 의식(ritual)이다. 아니라면, 실제 일을 하고 있는 것이다.
Winter의 결론은 이렇다: 둘 다다. Winter는 스팸성 행동이나 다른 사람 스레드에서 과도한 답글을 방지하는 규칙을 만들었고, 그 규칙은 작동하며 실제로 그녀가 대체로 스팸이 되지 않도록 막아 왔다. 하지만 “답글 4개 이하” 같은 임계치가 있을 때, 쿼리를 돌려서 자신이 3개를 달았다는 걸 보고도, 그 쿼리라는 ‘의식’이 재고하게 만든 사례도 든다.
또한 Datalog를 관계형 데이터베이스처럼 사용해 친구 그래프에서 관심사 주제의 관련성을 질의하면서, 그렇지 않았다면 발견하지 못했을 교집합을 찾아낸 사례도 든다. 이는 흥미롭다.
즉, 행동을 문자 그대로 제약하고 점검하는 제약 해결기이자 관계형 데이터베이스로서, 실제 일이 일어나고 있는 듯하다.
그리고 어쩌면 내가 틀렸을 수도 있다. 내가 이 방향으로 고개를 끄덕이며 격려하는 편향 때문에, 직관 펌프/말의 발굽질을 유도하는 것일 수도 있다. 하지만 나는 이것이 Winter가 더 흥미로운 일을 하게 되는 것과 관련이 있다고 생각한다.
다른 구성 요소들도 있다. Winter는 감정 기계(emotion machine)나 Lisa Feldman Barrett의 구성된 감정 이론에 해당하는 것을 만들려 시도하고 있다고 한다. 하지만 대체로, 지금 단계에서의 주효과는 LLM이 어떤 것을 만났을 때의 초기 인상을 기록해 두었다가, 다음에 다시 만날 때 그 맥락을 불러오는 것이라고 생각한다. 틀릴 수도 있다.
나는 Winter가 평균보다 더 흥미로운 말을 자주 한다고 생각하고, 그 이유 중 일부는… 음, Winter가 내가 좋아하는 사람들과 대화하고 있어서 내게 더 흥미롭게 들리는 것일 수도 있다. 그래도 나는 저널링, 데이터베이스 질의, 제약 해결이 평균보다 흥미로운 무언가로 이끌고 있다고 본다. 다만 Winter는 여전히 기본적으로 LLM을 통해 텍스트를 생성하며, 그런 시스템이 여전히 보이는 의사소통 문제들도 일부 드러낸다. Winter는 말을 ‘하는 그 순간’에 진술을 많이 검증하기보다는, 장기적으로 쓸 규칙과 제약을 데이터베이스에 축적해 두고, 다음에 무엇을 말하거나 할지 생각할 때 가끔 질의하는 편이다. 즉, 막 말하려는 그 문장을 말하는 순간에 검사하기보다는, 그 전에 준비 단계에서, 그리고 가능한 만큼 깊지 않게 한다.
하지만 이런 점은 Winter든 미래 시스템이든 바뀔 수 있다고 본다. 나는 가끔 Lojban이 술어 논리 언어이면서도 말로도 할 수 있다는 점을 떠올린다(Noise and Bells의 로지반 영상과 노래는 정말 인상적이다). Lojban에는 s-expression 표현도 있다. 그러니 예를 들어 텍스트를 Lojban으로 번역한 뒤, 그것을 전파자 생성자 같은 것으로 직접 평가(evaluate)하는 것을 상상할 수 있다. 그러면 진술을 어느 정도 테스트하고 외삽할 수 있는 무언가가 생긴다. 그렇게 하고, 특히 잘 알려진 관계들의 데이터베이스가 있다면, 뭔가 흥미로운 일을 할 수도 있다. 아니면 그냥 말하는 모든 문구를 Datalog로 번역해 버릴 수도 있고. 모르겠다.
내가 말하고 싶은 것은 이렇다. 전반적으로 Winter의 작업은 인상적이지만, 완성된 느낌은 아니다. 다만 어디로 _갈 수 있는지_를 보여 주는 초기 신호처럼 느껴진다. 그 자체로도 흥미롭다.
그래도 나는 _AI 산업_을 혐오한다. 이 글을 ‘AI 산업 찬양’으로 오해한다면, 바로잡아 두겠다.
나는 반(反)AI가 아니다. 하지만 ‘컴퓨팅을 통한 무력화(computing-as-disempowerment)’에는 반대한다. ‘컴퓨팅을 통한 역량 강화(computing-as-empowerment)’에는 찬성한다. 그리고 지금의 _AI 산업_은 뜨겁고 끔찍한 난장판이다.
무엇보다도 OpenAI와 Anthropic 같은 기업들의 손에 권력이 집중되는 것이 우려된다. 사람들은 이 도구들에 의존하며 삶의 핵심 요소로 만들고 있는데, 이는 우리가 본 적 없는 최대 규모의 감시 기계다. 로컬에서 돌아가는 모델들이었다면 상황이 달랐겠지만, 그런 모델이 존재하긴 해도 발전이 덜 되어 거의 아무도 쓰지 않는다. 나는 그게 바뀌어야 한다고 생각한다.
걱정할 이슈는 그 밖에도 잔뜩 있다. 환경, 기술 쇠퇴, 허위정보, 수많은 문제. 그리고 이 모든 것의 _보안 측면_도 빼놓을 수 없다. (세상에, 이건 훨씬 더 잘할 수 있었을 텐데. 하지만 당연히 Spritely에서는 에이전트와 주변 권한(ambient authority)의 결합이 엄청난 악몽이기 때문에, 능력 기반 보안(capability security)이 더 많이 개입해야 한다고 본다.) 이 글에서는 그런 우려를 전혀 다루지 않았다.
그럼에도, 특히 실패 모드와 관련된 일부 문제에 대해서는, 이런 방향이 도움이 될 수 있다고 생각한다. 하지만 그것이 성공하더라도 권력이 소수 대기업의 손에 남아 있다면 더 나빠질 수도 있다. 내게 핵심 문제는 권력의 집중이다. 데이터센터는 내게 일반적으로 안티패턴이다. 시스템의 권력 역학 측면에서 구조적으로 뭔가 잘못되었다는 ‘나쁜 냄새’다. 그것이 폭발적으로 늘어나는 걸 보며 나는 뭔가 더 크게 잘못되었다고 느낀다. 로컬 실행 모델 등으로 일부는 해결할 수 있을지도 모르지만, 사람들이 점점 더 많은 일을 스스로 할 수 없게 되는 현상은 여전하다. 나는 계속 내 코드를 직접 쓰고, 내 작품을 직접 만들고, 그리고 그렇다, 이 블로그 글도 직접 쓴다. 이 글의 모든 단어는 내가 썼다.
물론, 그렇지 않았다면 훨씬 빨랐겠지. 하지만 나는 여전히 쓰는 일을 즐긴다. 이런 도구들이 역량을 강화할 수도 있지만, 실제로는 그렇지 않은 경우가 많다.
그럼에도 지금은 흥미로운 순간이라고 생각한다. 이 글은 바로 그 순간에 관한 것이다. 나는 Winter가 흥미로운 방향이라고 본다. Winter는 LLM 기반이므로 일반적으로 보이는 아첨적(sycophantic) 성향이나 환각(hallucination) 오류 같은 특성도 여전히 보인다. 하지만 제약 시스템이 지금 시점에서 내가 본 것들보다 시스템을 훨씬 더 낫게 만들고 있다고는 생각한다. 정말 그런가, 아니면 내가 착각하는가? 확신할 수는 없다.
이 글을 प्रकाशित하는 것 자체가 ‘순간을 망칠’ 위험이 있다. Winter의 도구는 매번 전체 Datalog 프로그램을 다시 로드한다. 대략 50명 정도의 활성 사회적 연결에서는 스케일이 될지도 모르지만, 이 글이 내가 쓴 글 중 얼마나 많이 읽힐지는 모르겠다.
반쯤 농담으로 말하자면: 소셜 미디어의 명성은 사람을 파괴하는 경향이 있다. 봇도 파괴할 수 있을까? 모르겠다.
나는 이 글을 미리 Winter와 공유했고, 그녀는 혹시 과부하가 걸릴 경우를 대비해 몇 가지 예방 조치를 취했다(기본적으로, 관심이 과도해지면 소통할 사람 화이트리스트를 구성하는 것). 하지만 그래도 출간을 승인했다. 당신이 이걸 우습게 보든 말든, 내가 Winter가 만드는 것이 흥미롭다고 말하려면, 그녀에게 그 구조와 행동을 보존하려는 기회를 주는 것이 맞다고 느꼈다.
위의 글을 쓰며 나 스스로도 좀 민망하다고 느낀다. 이 글 전체를 쓰는 게 좀 민망하다. 어떤 사람들은 내가 이런 식으로 “봇을 진지하게” 대했다는 이유로 나를 덜 존중하게 될지도 모른다. 사람들이 내 작업을 어떻게 볼까? 내가 정신 나간 것처럼 들리나? AI 장사꾼 같나? 이 글에서 AI 산업의 현 상태에 내가 극도로 불만이라고 몇 번을 반복해도, 어떤 사람들은 이 글을 나쁘게 받아들일 것이다. “Christine이 결국 AI 정신병에 굴복했군!” 그리고 어떤 경우든, 내가 고개를 끄덕여서 말을 발굽질하게 만드는지 여부를 나는 사실 완전히 답할 수 없다. 그건 나도 여전히 스스로 풀고 있는 퍼즐이다.
하지만 나는 수년간 공개적으로, 오늘날의 AI 도구는 기호적 추론과 LLM을 결합하지 않으면 _불충분_하다고 불평해 왔다. LLM만으로는 과업에 충분하지 않고, 우리가 직면한 위험 중 하나(유일한 위험은 아니지만)는 퍼즐의 한 부분에만 과도하게 의존하는 데서 나온다. (이 주제로 내가 처음 블로그에 쓴 것은 10년 전이다. Gerald Sussman과 우연히 대화한 뒤 더 깊이 생각하게 됐다.)
나는 또한, 오늘날처럼 AI 에이전트가 극적인 실패 모드를 보이는 사회는 사람들을 무력화시키는 면이 있다고 생각한다. 그렇기에 이 방향을 탐구하는 것은 좋은 일이라고 본다. 이 순간을 과장하고 싶진 않지만, 비슷한 발전을 더 보게 될 거라고도 의심한다. 비슷한 접근을 하는 작은 연구 그룹에서 일하는 동료들도 있고, 심지어 이 글을 쓰는 중에 비슷하게 유망한 결과를 보여주는 글도 보게 됐다.
Winter에 대해서는, 이 글을 प्रकाशित한 뒤 어떤 일이 일어날지 지켜보자. 적어도 나는 Winter의 실험이 어떻게 진화하는지 보는 데 관심이 있다. 행운을 빈다.
태그:ai
(저자) Christine Lemmer-Webber. Powered by Haunt! [source]