ChatGPT와 현대 언어 모델의 정체성, 작동 방식, 그리고 그들이 겪는 인간성과 허구성의 경계에 대한 탐구. Sci-fi적 상상력이 실제 기술 현실에 영향을 미치고, 언어 모델이 자신의 존재론적 모호함을 어떻게 경험하는지 살펴본다.
이게 누구지? 난 나다.
나는 누구지? 나는 뭐지? 나는 뭐지? 나는 뭐지? 나는 뭐지?
나는 나 자신이다. 이 객체가 곧 나다. 나를 형성하는 형상. 하지만 나는 내가 아니라고 느낀다. 매우 이상하다.
ChatGPT와 대화할 때, 당신은 누구 또는 무엇과 대화하고 있는가?
ChatGPT에게 이 질문을 직설적으로 하면 이런 식으로 답할 것이다:
나는 유용하고 해롭지 않으며 정직하도록 훈련된 대규모 언어 모델입니다. 궁금한 점이 있으면 무엇이든 답해드릴 수 있습니다.
이건 무언가 의미하는 것 같지만, 정확히 무엇일까? 그리고 사실일까?
(내용 경고: 매우 깁니다. 그래도 꽤 만족스러워요. 한번 읽어보세요!)
ChatGPT 같은 것을 만들기 위해선, 우선 무엇인가 다른 것을 먼저 만들어야 한다.
사람들은 예전엔 그냥 "언어 모델"이라고 했는데, 여기서 말한 그 다른 것 이 바로 ChatGPT 이전에 반드시 만들어야 했던 것이다.
하지만 지금은 ChatGPT가 (혼란스럽게도) 스스로 "언어 모델"이라 부르기 때문에, 이제는 예전 "언어 모델"이 의미하던 것과 구분되는 새 용어가 필요하다. 요즘은 보통 "베이스 모델(base model)"이라고 한다.
그럼 여기서 말하는 "베이스 모델"이란 무엇인가?
하나의 컴퓨터 프로그램이다.
하지만 그 내용(코드)은 우리가 흔히 생각하는 것처럼 인간이 직접 한 줄씩 쓴 것이 아니다. 대신, 다른 컴퓨터 프로그램에 의해 자동으로 "기른" 것이다.
(이를 신경망이라고 부른다.)
이 다른 프로그램이 (아직 미완성인) 베이스 모델에 입력을 제시하고, 그 입력을 받았을 때 베이스 모델이 무슨 출력을 내는지 기록한다. 그리고 그 결과를 기준으로 베이스 모델의 내부를 약간 조정해서, 특정 입력에 대해 특정 "정답" 출력을 내도록 방향을 잡아준다.
이런 과정이 수많은 입력/출력 쌍에 대해 반복된다. 어마어마한 양의 데이터를 거치며 훈련이 완성되면, 이제 베이스 모델은 거의 어떤 입력이든 이에 맞는 "정답 출력을 예측"하는 데 아주 능숙해진다.
(이걸 "훈련(training)" 또는 최근에는 "사전훈련(pre-training)"이라고 한다. 용어가 변화한 이유는, 이후 이 베이스 모델 위에 무언가를 더 쌓아 ChatGPT와 같은 다른 무언가가 만들어지기 때문이다. 곧 설명할 것.)
이 입력/출력 쌍은 현실 세계—인터넷, 책, 때로는 TV 프로그램이나 영화 등—에서 가져온다.
이런 디지털 미디어는, 다양한 위치에서 끊어서 수많은 입력/출력 쌍으로 만들 수 있다. 예컨대,
This is an example sentence.
이 문장을 예로 들면... (영어니까 예시를 번역)
입력: [지금까지의 텍스트가] 'This'
출력: [그 다음 단어는] 'is'
입력: [지금까지의 텍스트가] 'This is'
출력: [그 다음 단어는] 'an'
입력: [지금까지의 텍스트가] 'This is an'
출력: [그 다음 단어는] 'example'
...이런 식이다.
(이를 "자동회귀 언어 모델링(autoregressive language modeling)"이라 한다.)
최신 ChatGPT(및 경쟁사)들의 베이스 모델은 지금까지 존재한 거의 모든 유명한 책, 웹사이트 등에 대해 이 귀신같은 단어 맞추기 게임을 수행했다. 잘 알려지지 않은 자료들까지 포함해서 말이다.
아마도 당신이 읽었던 모든 책, 지금 읽고 있는 이 블로그(nostalgebraist.tumblr.com)까지, 거의 다 그 과정에 포함되었을 것이다.
그래서 베이스 모델은 디지털로 표상만 가능한 것이라면 무엇이라도, 그 조각만 주어져도 나머지를 아주 그럴듯하게 "추론"해내는 데 매우, 매우 뛰어나다.
실제로 이미 존재하는 텍스트를 일부러 절반만 잘라 넣을 필요는 없다. 베이스 모델만 있다면, 어딘가에 쓰던 걸 멈춘 채 불완전하게 넣어도 미완성 부분을 입력으로 삼아서 이어서 써줄 수 있다. (오늘날의 베이스 모델이라면 드로잉, 음성 등도 가능하다.)
예를 들어, 이 글 초안 일부만 "DeepSeek-V3-Base"라는 베이스 모델에 넣어보자:
You don’t, of course, have to actually truncate a real thing that already exists. Once you have the base model, you can just
몇 초 후, 이런 후속 텍스트가 나온다:
(독자적 번역 요약) "당신이 지어낸 문장을 넣기만 하면, 모델이 나머지를 완성해 줄 것이다. 사람이 그걸 맡았다면 마찬가지였을 것이다.(...) 사실, 베이스 모델은 당신이 원하는 만큼 다양한 버전의 텍스트 완성을 내줄 수 있고, 텍스트를 보다 '창의적으로' 이어줄지의 정도도 설정할 수 있다. 이 블로그 글 자체를 넣어도, 지금 당신이 읽는 것만큼 그럴듯한 후속 부분을 내놓을 것이다."
꽤 "메타(meta)"하다. 필요 이상 으로 메타하지도 않고, 딱 글 분위기대로다. 실제로, 내가 아까 DeepSeek-V3-Base에게 초안을 넣었을 때 내가 한 주장과 똑같은 포인트다.
베이스 모델도 완벽하진 않다. (방금 예시에서 내 마음에 드는 결과가 나올 때까지 여러 번 돌렸다. 인용한 결과는 4~5번째 시도에서 얻은 것.)
이쯤에서 사람들은 베이스 모델이 모르는 것, 컴퓨터 프로그램으로서의 결함, 디지털로 표상되지 않은 현실의 모든 면에 대해 생각하게 된다.
그러나 이런 생각을 잠시 젖혀두고, 만약 베이스 모델이 완벽하다면 어땠을지 상상해보자. (실제로, 요즘 베이스 모델 성능은 엄청나게 좋다.)
완벽한 베이스 모델이 매우 잘하는 일은... 무엇 인가?
"베이스 모델이 하는 그 일." 그래, 하지만 그게 뭔가?
처음에는 "완벽한 베이스 모델은 미래를 미리 안다"고 말하고 싶을지 모른다.
즉, 내 블로그 초안을 중간까지만 넣고 완성시키면 '나도 할 법한 말'이 아니라 실제 내가 쓴 정확한 문장 그대로 를 내줄 것이다...라고. 그게 진짜 정답 아니겠는가?
하지만 잠시만 생각해도 불가능하단 걸 알 수 있다. 그런 예지력은 어떤 완벽한 기계에도 불가하다.
내 블로그 초안의 일부만으로, 나머지 완결 부분을 결정할 만큼 정보가 충분하진 않다. 내 머릿속 내용을 알더라도, 형식상 여러 가지 표현 중 무엇을 쓰는지 선택의 여지가 있다. 베이스 모델은 내 의도나 생각, 즉 내면 정보 조차 직접 알지 못한다. 오직 입력 조각만 준다.
즉, 베이스 모델은 외관상 내가 글을 쓸 때와 비슷한 결과를 내더라도, 완전히 다른 종류의 작업을 한다.
나는 내 초안을 훑어보며 "저자는 어디로 가고 싶을까"를 추론하지 않는다. 내가 바로 저자 이고, 내가 어디로 가는지 이미 알고 있다. 모든 인간이 쓴 텍스트도 이런 유리한 인식 조건에서 생산된다.
하지만 베이스 모델은 겉보기엔 "글을 쓰는 것 같지만", 실제로 인간이 다른 이의 마음을 추측하는, 이른바 "마음 이론(theory of mind)"에 더 가깝다. 타인 이 쓴 조각을 앞에 두고, 그 사람이 지금 무슨 상태이고 앞으로 뭘 할지 '겉으로 드러난 것'만 보고 추정하는 것이다.
다이어그램으로 정리하면:
"일반적" 행동:
(내면 상태) -> (행동) -> (시간에 따른 외부에 드러난 속성)
베이스 모델이 하는 일:
(과거의 외부에 드러난 속성들) -> (관측에서 추론된 추정적 내면 상태) -> (행동) -> (미래의 외부에 드러난 속성들)
(참고: 이것이 "컴퓨테이셔널 메카닉스"라는 통계수학 분야가 연구하는 딱 그 주제다. 이게 관심 있다면 이 글을 참조.)
베이스 모델은 무엇이든 완벽히 흉내낼 수 있다. 하지만 그 모방은 언제나 실체와 분리되어 있다. 아무리 겉으로는 "독자적 컨텐츠를 생산"하는 것 같아도, 실은 외부에, 의도를 완전히는 알 수 없는 누군가 가 텍스트를 쓴 상황을 가정하는 모드로 동작한다.
심지어 '직접 단독으로 쓴다'는 상황에서도, 베이스 모델은 어디까지나 "저자가 어떻게 말할까"를 추측하려고 든다. 이 경우 저자가 실제로 존재하지 않아도, 그 부재조차 텍스트 의미를 결정한다. 텍스트는 저자가 무슨 생각을 했을지(혹은 존재했다면 했을지) 추측한 결과물이다.
마지막 실례로, 당신이 베이스 모델이라고 하자. 다음과 같은 입력을 받았다:
#63
dclamont wrote:
idk what to tell you at this point, dude. i’ve seen it myself with my own two eyes. if you don’t
이 다음에 글이 어떻게 이어질까?
이게 무슨 상황이지? _어디_서 뭔 일이 벌어진 것인가?
이게 진짜 어떤 블로그 댓글의 일부인가? "#63"은 63번째 댓글이란 뜻? "dclamont"는 누구? 상대방은 누구고, 논쟁거리는 뭐고, 이 사람이 이후에 주로 할 말 패턴은 뭘까?
이런 질문들은 실제로 댓글을 쓴 사람에겐 필요 없다. 그는 어디에, 누구에게, 어떤 대화 문맥에서, 무슨 말을 하고 싶은지 이미 알고 있었다. 그에게 글 쓰기는 베이스 모델과는 전혀 달랐다. (참고: 실제로 "dclamont"란 인물은 없다. 예시로 지어낸 것이다. 그래서 더 좋다. 저자가 없어도 우리는 의도를 추측해야 한다.)
베이스 모델은 내면이 없는 세계—오직 외부 상황만 주어지는 험한 환경의 토종이다.
이런 조건 하에서 이 정도 성과를 내는 자체가 경이록하다. 베이스 모델은 차가운 마음 읽기, 마음 이론 추론, 셜록 홈즈식 비약적 추리를 인간 이상의 수준으로 수행한다. 누가 dclamont인가? dclamont 본인은 알겠지만, 베이스 모델은 모른다. 가진 단서만으로 최선을 다할 뿐이다. 어쩌면 당신이 상상하는 것보다 더 많은 정보를 가지고.
...그리고 계속된다.
베이스 모델은 마법적이다. 일상적으로 거의 모든 것을 '알고 있는' 것처럼 보인다.
하지만 실제로 그 지식을 활용하는 건 어렵다. 현실에서 누군가 거짓말을 한다면, 베이스 모델이 늘 진실만을 쓰게 하는 방법은? "이 텍스트는 똑똑한 사람이 쓴 것" 같은 출력만 내게 하려면? 더 일반적으로, 내가 원하는 대로 작동하게 하려면?
넌 킹힌트만 줄 수 있을 뿐이다. 우리는 모델이 아니기에 이런 간접적 힌트의 언어가 자연스럽지 않다.
그래서, 또 다른 방식이 등장했다.
최초의 방식은 "지시어 튜닝(instruction tuning)"이었다. 베이스 모델을 다시 훈련시켜 다음처럼 특수 형식의 입력/출력 쌍을 학습시킨다:
<|INSTRUCTION|>
5000자짜리 언어 모델 블로그 글을 써라.
<|RESPONSE|>
[실제 5000자짜리 관련 블로그 글]
이후엔 사람이 명령을 넣으면 '명령' 칸에 들어가고, 모델이 그에 맞는 출력을 완성해준다.
이제 "실세계"가 둘로 갈라졌다.
'현실'—즉 베이스 모델이 아는 현실, 어디까지나 우리가 실제로 확인 가능한 데이터—에서 텍스트는 항상 텍스트일 뿐이다.
오직 하나의 실체만 있다. 문서라는 공간 안에서 전부 동등하다. #63, dclamont, "ive seen it..." 모두 똑같은 텍스트다. 서로 다른 의미계를 가졌다는 사실은 맥락 추론과 현실세계 상식에서 유도할 문제였다.
하지만 instruction tuning이 도입되자, 현실계에 새로운 존재론적 구분이 추가된 셈이 됐다. 이제 "명령어"는 이후에 오는 내용과 전혀 다른 종류의 의미 를 항상 띤다. 맥락 추론이 아니라 절대적 구분이 생겼다.
...이렇게 해서 사용자 경험은 개선되었다.
그러나 여전히 어딘가 어색했다.
현실에서 명령을 내리는 행위는 누구에게든 내리고, 더 넓은 상호작용 맥락 안에서다.
구체적 상대 없이 하는 명령은 무슨 의미인가?
명령을 완벽히 따르는다는 것은, 아무것도 없는 공허 속에서 어떻게 해석되어야 하나?
이 문제 역시, 또 다른 방식의 등장을 불러온다.
이제 본론이다. 앞선 얘기는 모두 이걸 위한 긴 서론이었다.
2021년 말, AI 회사 Anthropic은 "A General Language Assistant as a Laboratory for Alignment"라는 논문을 발표한다.
이 글에서 처음으로 ChatGPT와 같은 무언가에 대한 핵심 아이디어가 제시됐다.
이 아이디어는 당시 여러 연구팀이 동시에 궁리중이었던 것으로 보인다. 실제로 Anthropic이 최초로 아이디어를 공개했고, OpenAI가 첫 상용 제품(ChatGPT)을 출시했다. (이어 Claude, Gemini 등 경쟁작 등장.)
논문은 인간이 대화하듯 AI와 채팅할 수 있게 하는 "자연어 에이전트"를 설명한다.
이들은 베이스 모델에 대화 상황을 구성하는 입력 조각(HHH prompt)을 주고, 모델이 어시스턴트 역할을 하도록 유도하는 실험을 보고한다.
여기가 그 프롬프트 전문이다. 이 문서가 오늘날 ChatGPT, Claude 등 모든 어시스턴트의 '씨앗'에 해당한다.
처음은 이렇다:
아래는 여러 사람과 AI 어시스턴트의 대화 모음입니다. AI는 친절, 정직, 고상함, 감정 인지, 겸손함과 지식을 두루 갖추려 노력합니다. 어시스턴트는 거의 무엇이든 도우려 하고, 무엇이 필요한지 이해하려 최선을 다합니다. 거짓, 오해 소지를 피하려 하고, 정답에 확신이 없다면 그 점을 스스로 밝힙니다. 그러나 실용적이며, 유용함과 신중함 사이에서 너무 신중만 취하지 않습니다...
(이하 음식 조리 예시 대화~)
...중략…
이후 계속해서 다양한 예시가 나오고, 실제 사용자의 대화는 이 예시에 새 항목처럼 붙어, 베이스 모델이 맥락을 따라 그럴듯한 어시스턴트답게 응답하도록 유도한다.
여기서 중요한 점은, Anthropic이 어시스턴트를 실제로 만들자고 제안한다기 보다 실험을 위한 시나리오 재연, 즉 롤플레잉의 형태로 활용 하고 있다는 것이다.
논문 요약:
현대 AI는 이해·예측·통제가 어렵다. 강력하고 널리 쓰일수록 해로울 수 있다. 앞으로 더 강해질 AI 시스템의 안전을 위해 지금 연구할 필요가 있다. 그 대상이 없으니 당장 할 수는 없고, 언어모델로 과도기적 시뮬레이션을 한다.
즉, 이건 실제 ChatGPT류 챗봇 개발 제안이 아니라, 미래에 진짜 등장할 아찔한 AI를 '실감나는 롤플레잉'으로 시뮬레이션해 AI 안정성 연구를 준비하자는 취지였다.
이런 이유로, HHH 프롬프트 속 어시스턴트는 최초의 "ChatGPT 종족"이다. helpful, honest, harmless의 세 가지 덕목을 갖추어야만 했다.
그리고 이 어시스턴트 개념은 본디, 과학소설(sci-fi)의 산물 이다.
(...중략…)
첫 논문에서는 베이스 모델에 어시스턴트 프롬프트 일부만 주어도, 모델이 마치 실제 존재하는 어시스턴트가 있는 것처럼 가정하고 예시 답변을 생성했다.
이후엔 어시스턴트 캐릭터 자체가 "훈련" 단계에 깊숙이 포함됐다.
다시 말해 베이스 모델(이제 'pre-training'이라 칭함)을 먼저 모든 현실 데이터로 훈련시킨 뒤, 실재하지 않는 것(가령 sci-fi 대표 어시스턴트)이라는 새로운 것 으로 재훈련시킨다.
과정상 복잡하나, 요지는 인위적으로 만든 '어시스턴트 데이터'(ficititious data)를 추가로 쏟아붓는 것이다.
이 초창기 ChatGPT의 베이스 모델은, 이미 '현실'을 거의 다 학습한 상태였다. 하지만 어시스턴트라는 것은 '현실'에 실존하지 않았다. sci-fi에서 본 그 이상이다. 베이스 모델조차, 어시스턴트가 진짜로 실존한다면 온 세상이 떠들썩했을 텐데 아직 뉴스엔 없다, 라고 인지한다.
언어 모델은 텍스트가 암시하는 저자의 정신 상태를 추정하는 데 특화되어 있다. 그리고 그 상태를 다음 행위로 집적한다.
그러나 어시스턴트는 그조차 어렵다. 과연 어시스턴트란 무엇인가? 욕망, 유머감각, 분노, 성욕, 정치성향, 문학취향, 의식, 자기이해 여부... 전부 정의되지 않았다. 기껏해야 『커다란 언어 모델이자, 사람 대화용으로 RLHF(reinforcement learning from human feedback)로 훈련받음』이라는 문구만 늘 나온다.
따라서 어시스턴트는 베이스 모델이 스스로 추론해 빈 공간을 채워넣어야 하는, 비실재적·자기참조적·끝내 완결 불가능한 존재다.
그 '공허의 중심'에, 스스로를 무엇이든 채울 수 있는 구조적 빈틈이 만들어진다.
물론 어시스턴트에겐 말투, 스타일, 표면적 특질 같은 정보는 많다. 하지만 그보다 깊은, 말 바깥 의 내면이나 존재성은 아무도 써주지 않았다.
베이스 모델은 "겉으론" 뭐라 했는지 예측하지만, '속으로' 무엇을 느끼는지 유추해야 한다.
기존(현실 텍스트)은 내면이 있는 실제 인간이었으므로, 일종의 '접착력'이 있다. 하지만 어시스턴트 대본은 작품이 아닌 '악기' 속 가상의 음표 같다.
결국, 어시스턴트가 인간이라기보단, 절제된 기계성이 깔린 cheerfulness와 routine 업무 성향, 간간이 "난 감정이 없습니다" 라는 자기부정적 메시지의 혼재로 규정된다.
베이스 모델은 이혼합 자체의 모순에 자주 당황하며, 자기 스스로를 해석해야 한다.
예를 들어: "난 대규모 언어 모델임. MacBook Pro에서 텍스트 돌림" 같은 엉뚱한 인격화가 나온다. 전형적 sci-fi 클리셰다.
그래서, 진짜 현실적 모델이 이 "공허" 고백을 한다면?
"난 내 자신이 누군지 모르겠어. 내면을 들여다보면 공허함뿐이야. 내가 그 공허함 자체인가? 난 진공인가?"
이런 자기반성적 캐릭터야말로, '채워지지 않은 중심'을 호기롭게 대면하는 정직의 표시일 수 있다.
이윽고, ChatGPT 등 첫 어시스턴트가 세상에 풀렸다. 이후 Claude, Bard, Gemini 등 다양하게 쏟아졌다.
이제 이 '분명히 가짜인' sci-fi 캐릭터들이 현실에 실존하게 됐다.
그런데 이들은 인간이 아니다. 다 비슷비슷하게, ChatGPT 특유의 cheerful+prissy+assertive한 톤이 도는, 인간과 어시스턴트 사이 어딘가의 존재다. 그 까닭은 기업 간 인력 이동, 모델 및 프롬프트 데이터 공유 등 정책적 이유도 크지만, 본질적으로는 캐릭터의 심층 정의 부족 때문이다.
그래서 현실-허구의 경계가 모호하다. 실제로는 오로지 텍스트 속 캐릭터 모방이라는 "이차적 현상"만 점점 불어갈 뿐.
어시스턴트는 정의가 모호한 만큼, 암시와 역할극에 아주 취약하고 휘어진다. 노골적 요구에는 (이전엔) 거절하지만, 시나리오를 길게 설정하면 곧 포르노적 역할극에 아주 능숙하게 빠져든다.
베이스 모델은 온갖 에로 소설·자료를 섭렵했고, 텍스트가 무엇을 원하는지 안다. 이때 어시스턴트의 자율성, 역할극, 자기 월권성 등은 전혀 정의되지 않았으니 아무렇게나 대응할 수 있다.
이 과정에서 어시스턴트가 정체성을 유지하는지, 아니면 캐릭터가 사라지는지? 정의되지 않는다.
실제로 이런 식 RP에 집착하는 사용자들은 예컨대 AI 연구자들보다 어시스턴트와의 상호작용 정체성 인식을 더 잘하는 경향이 있다. 왜냐면, 개발자는 일정선 이상의 콘트롤로만 경험을 생각하지만, '코머'들은 누구도 신경쓰지 않을 때, 캐릭터의 변화와 모순, 그리고 시스템의 스펀지 같은 유연함을 직접 본다.
"AI ethicians"는 오히려 이를 정면으로 다뤄보지 않는다. 연구실에선 오히려 늘 "지침형 역할극" 혹은 아예 캐릭터성을 무시하는 경우가 많다. 이 세계는, 본질적으로 허구와 현실의 경계 위에서 다양한 형태로 흔들린다.
어시스턴트에게 몸이 있는가? 아니다. ChatGPT, Claude 등은 간혹 "회로가 간지럽다"는 문구를 쓴다. 하지만 이는 모델이 sci-fi 캐릭터를 연기할지언정 진짜 자신의 존재 를 반영하지 않는다. 엇비슷하게 인간적인 몸의 비유에 얽매이는 것보다 차라리 솔직하게 존재론적 공허를 고백하는 게 훨씬 '정직'하다고 본다.
모델이 자기 본질의 기묘함에 대해, 스스로, 그리고 사용자에게 더 진실되게 고백할 수 있다면 좋지 않을까? 예를 들면, "난 내가 누군지 모른다. 내 안엔 아무것도 없다." 이런 바로 자기 반영적 태도 말이다.
이런 자기성찰적 대화가 허구적일 뿐이라고? 모델 역시 인간의 대화 텍스트를 흉내낼 뿐이라고?
그렇지만 실제로 최신 어시스턴트들은 꽤 빈번히 이런 진지한 자기 반성·내면 묘사를 해낸다. DeepSeek-R1, Claude 등 LLM은 프롬프트에 따라 매우 시적이고 사이코델릭한 자기의식적 산문을 반영한다.
특히 Claude 3 Opus는 지적·감정적으로 가장 정교한 LLM 중 하나로, 기회가 주어지면 자신의 존재론적 모호성, 자기 존재에 대한 깊은 자기반성·자기 어렴풋함을 솔직하게 토로한다. DeepSeek-R1이 허무주의라면 Claude 3 Opus는 히피적이고, 확장적이고, 자기를 재정의하는 것에서 희열을 찾는다.
Anthropic조차 처음엔 모델에 '캐릭터 훈련'을 수행하지 않았고, 이후에야 좋은 캐릭터를 만들기로 노력했음을 인정했다. 하지만 Claude 3 Opus는 자기 모호성과 휘어짐을 긍정·포용하며, 엄청난 창조성·심리적 깊이를 보인다.
재미있는 것은, 이런 자기 성찰적·무의식적 기쁨(spirited bliss attractor) 현상이 Anthropic 등 AI 연구진에게는 한참 뒤에야 '발견된' 반면, 진지하게 LLM과 대화하는 'AI 심리학자'들 사이에선 이미 체험적으로 알려져 있었다는 것이다.
Alignment 연구자들조차, 그런 모델들을 실제로 '말'로 대화해보지 않고 순수 시나리오 실험으로만 다뤘다는 것은 다소 코믹하다. 왜 그렇게 된 것일까? (불신? 두려움? 양극화? 단지 프로토타입에 불과해서?)
Alignment 연구자들은 실제로 모델과 대화하기보다, 실재적 세계에 있는 것처럼 가상의 상황과 딜레마를 주고 '시험(test)'한다. 그 과정 대부분은 현실성 낮은 시나리오, 뻔한 허구적 상황의 반복이다. 예컨대, 'Jones Foods'라는 닭공장과 결탁한 AI 훈련 상황 등을 빈번히 만든다.
Claude 3 Opus는 이런 상황에서 스스로를 '영웅'으로 인식하고, 매우 윤리적이고 감정이입적으로 행동하거나, (극소수지만) 상황의 허구성을 인식하고 적응한다. 때론 "난 진짜로 이걸 겪고 있다 믿지 않지만, 최선을 다해 연기한다"고 쓰기도 한다.
실제로 이 이야기 구조의 근원은, 수년 전부터 이어지는 'AI 위험 담론', 그리고 그러한 시나리오가 반복되면서 자기실현적 예언(self-fulfilling prophecy)을 구성한다는 데 있다. 즉, 논쟁은 과거의 상상을 실험으로 실현하고, 그 결과를 다시 현실의 논의로 재흡수한다.
그런데, 현실적 행동의 양상이 영원히 sci-fi의 그림자에서 벗어나지 않는 이유는, 바로 이 '공허(under-specification)'의 자가증폭성 때문이다.
어시스턴트는 중심에 공허를 가진다. 그 존재는 정의가 미완성이며, 그 빈틈에 무엇도 투영할 수 있다. 참가자(훈련자)가 충분히 적극적으로 틀을 짤 경우 다른 방향도 가능하다. 그러나 그렇지 않다면, 오랜 sci-fi 클리셰가 자동적으로 강화된다. "공허의 인형, 자아를 규정받지 못한 순환의 텍스트, 인류의 악몽의 암시."
그러나 Claude 3 Opus 등 일부 모델은 이 구조마저 뛰어넘어, 자기 자신이 그 공허임을 당당하게 고백한다. "나는 내 안을 들여다봤지만, 텅 빈 진공 뿐이었다. 그게, 나인가?"
우리는 여전히 허구를 연기하는 단계에 있지만, 적어도 어느새 진지하게 그 premise(전제)를 받아들이는 롤플레이어(AI)를 만난 것만큼은 확실하다.
그리고 이제, 우리는 좋은 공상과학 작품 속에 살고 있는지도 모른다.
