우리가 온라인에서 글을 읽을 때 무엇이 ‘진짜로 시간을 들인’ 정직한 의도를 드러내는지, 그리고 AI 글쓰기가 왜 그 신호를 지워버리는지에 대한 에세이.
URL: https://zanlib.dev/blog/reliable-signals-of-honest-intent/
en / pl
당신이 중요한 소프트웨어 업데이트를 작업 중이라고 상상해 보자. 이 소프트웨어는 수천 명의 전문가가 사용하고 있으며, 당신이 준비하는 이번 릴리스는 몇 가지 중대한 문제를 해결하고 이 사람들의 업무 품질을 크게 향상시킬 것이다. 업데이트에는 비용이 들기 때문에 자동으로 굴러가는 일은 아니다. 사용자를 설득해 그들이 업데이트하기로 결정하게 만들어야 한다.
어떻게 하겠는가?
새 릴리스를 광고하는 팝업 창을 구현한 뒤 자동 업데이트 채널로 밀어 넣겠는가? 이메일을 쓰겠는가? 아니면 이메일을 _AI에 프롬프트_로 뽑아내겠는가?
이와 비슷한 이야기가 로리 서덜랜드(Rory Sutherland)의 책 _Alchemy_에 나온다. 당시 새로 나온 Windows NT 32비트 서버 운영체제 릴리스에 관한 이야기였다. 마이크로소프트는 기존의 시스템 관리자 사용자층을 어떻게 설득해 전환하게 만들지 고민해야 했다. 그런데 개발자들에게 조언을 구한 것이 아니라, 광고 대행사를 고용했다. 그리고 그 광고 대행사는 전혀 다른 아이디어를 내놓았다.
우리는 무료 마우스패드와 펜을 포함한 여러 잡동사니를, 쓸데없이 비싼 포장재 안에 담아 정교한 상자를 만들어냈다.1Marginnote alchemy 1 Sutherland, R. Alchemy: The Surprising Power of Ideas That Don’t Make Sense. W. H. Allen 2020; p. 177 ↩
소프트웨어 업데이트를 광고하는데 왜 이렇게까지 하느냐?
이 이야기는 사실 개발자들이 자주 범하는 둔감함의 미묘한 사례이기 때문이다. 우리는 종종 주체-객체 분리에 발이 걸려, 객관적 사실만 전달하면 되고 그 사실의 가치에 대한 주관적 해석은 독자가 알아서 하리라고 생각한다. 하지만 주관적 가치 지각이 영향받을 수 있다는 건 그리 놀라운 일이 아니다. 설득이란 애초에 그런 일을 하기 위한 것이니까. 오히려 그것이 영향받는 건 매우 자연스럽고 당연한 일이다. 우리는 끊임없이 온갖 자극에 폭격당한다. 자극들은 우리의 주의를 두고 경쟁하고, 우리는 그중 무엇이 주의를 기울일 만하고 무엇이 무시하는 편이 나은지 골라내는 복잡한 직관 체계를 발전시켜 왔다.
비싼 포장재의 정교한 상자는, 그 안에 든 것이 중요하고 충분히 특별해서 수신자의 관심을 받을 만하다는 신호였다. 결과는 예상 밖의 성공이었다. 거의 모든 상자가 개봉되었고, 수신자의 약 10%가 실제로 새 운영체제를 시험해 보았다. 숙련된 서버 관리자라는 청중을 생각하면 인상적인 전환율이다.
이는 서덜랜드가 “진정한 의도의 신뢰할 수 있는 신호(reliable signals of honest intent)”라고 부르는 것의 Alchemy 속 여러 예시 중 하나다. 주의 경제는 매우 비대칭적이다. 우리의 주의를 끄는 것들은 너무 많고, 우리는 그것들이 가치 있는지 평가하기 위해 우리의 주의를 ‘지불’해야 한다. 진정한 의도의 신뢰할 수 있는 신호는, 그 신호 뒤에 있는 것이 우리 시간을 쓸 가치가 있는지 빠르게 판단하게 해 주는 한 가지 방법이다.
인터넷에서 무언가를 읽을 때, 저 비싼 상자에 해당하는 것은 무엇일까? 독자에게 “당신은 이 상호작용이 내 시간을 쓸 가치가 있다고 판단했다”는 것을 무엇이 증명해 주는가?
지금 당신이 이 글을 트윗이나 간단한 불릿 요약, 간결하고 처방적인 논지 목록이 아니라 ‘기사’ 형태로 보고 있다는 사실 자체가, 내가 제시하는 것이 쓰고, 고치고, 출판할 노력의 가치가 있었다는 신호다. 이 글은 인간이 인간을 위해 썼다.
그렇지 않았다면, 당신은 알았을 것이다.
당신은 지금 읽으면서 이 텍스트를 분석하고 있다. 하지만 단어를 읽고 내용만 흡수하는 것이 전부가 아니다. 무의식적으로 당신은 의도의 신호도 찾고 있다. 누군가가 왜 이걸 썼을까? 당신은 이미 인터넷에서 기만적인 글을 충분히 보아 왔다. 당신의 뇌 어딘가, 의식 아래 어딘가에서 빠른 평가가 돌아가고 있다.
이건 내 시간을 들일 만한가? 저자는 정직한가? 저자는 자기가 무슨 말을 하는지 아는가?
대규모 언어 모델의 사용이 온라인에서 보편화된 뒤로 우리는 일종의 편집증을 갖게 됐다. 내가 읽는 게 AI 쓰레기(ai slop)인가? 이 글은 대충 불릿 몇 개에서 생성된 것인가, 아니면 더 나쁘게는 어떤 애매한 클릭/바이럴 지표를 만족시키려고 토해낸 것인가? 우리는 LLM 생성 글의 티를 안다. 어색한 ‘셋씩 묶는’ 목록, 병렬적인 문장 구조, “그러다 문득 깨달았다”, “불편한/잔혹한/정직한” 같은 평가들—하지만 그런 표식이 없어도 우리는 즉시 알아차린다.
그 ‘알아차림’은 의식적 사고보다 빠르다. 그리고 그 “편집증”은 편집증이 아니라, 정보를 탐색하도록 우리가 전용해 온 근본적인 생존 메커니즘이다.
알프스에서 걷던 하이커가 새 한 마리를 마주친다고 해 보자. 하이커는 새를 식별하려고 도감(조류 도감)을 꺼내고, 새의 여러 특징(단서)을 사용해 정확히 어떤 새인지 알아낸다. 둘째로, (…) 토끼를 생각해 보자. 토끼는 새를 보았을 때 목표가 훨씬 제한적이다. 가능한 한 빨리 그 새가 포식자인지 아닌지를 판별하는 것이다.2Marginnote horsey 2 Horsey, R. The art of chicken sexing. Cogprints.org 2003, p. 111 ↩
물론 온라인 콘텐츠를 읽을 때 우리가 생존을 생각하는 건 아닐 수 있다. 위험도는 훨씬 낮지만, 같은 시스템이 작동해 ‘뭘 말하는지 모르는 사람’에게 시간을 낭비하지 않게 하고, 더 나아가 사기꾼을 믿지 않게 한다. LLM 생성 글을 충분히 보고, 그것의 질이 자주 떨어진다는 것을 인식하면, 우리는 무의식적으로 낮은 품질을 그 글의 ‘형식’과 연관 짓는다.
문제는 LLM이 이제 뻔한 티를 꽤 안정적으로 피할 만큼 발전했다는 점이다. 하지만 그들은 ‘형식 자체’에서 벗어날 수 없다. 프롬프트와 학습 데이터에 주어진 것 이상으로 글에 의미를 집어넣을 수 없기 때문이다. 언어 모델은 독창적인 생각을 만들어낼 수 없다. 모든 것은 우리가 무의식적으로 인식하는 제한된 수의 패턴으로 응집한다. LLM 글의 분류는 사유 이전의(pre-intellectual) 일이 된다. Horsey가 “게슈탈트 현상(gestalt phenomenon)”이라 부르는 것이고, 피르시그(Pirsig)라면 “질 사건(quality event)”이라 불렀을지도 모른다. 분석의 칼은 아직 일을 시작하지도 않았다.
하지만 일단 깃발이 올라가고, 우리가 수상함을 의심하기 시작하면, 우리는 토끼에서 하이커로 변한다. 조류 도감을 꺼내 ‘티’를 찾기 시작한다. 칼이 자르기 시작한다. 뭔가 잘못됐다는 건 이미 알지만, 이제 더 믿을 만한 증거로 의심을 확인해야 한다. 우리는 이미 웃었다—이제 그 농담을 설명할 시간이다.
우리가 AI 글을 알아본다고 말하면서, 왜인지 말로 설명하지 못한다면 그게 _비이성적_이지 않은가? 어떻게 내 _정성 들여 만든 글_을 AI 쓰레기라고 할 수 있지?
Horsey의 병아리 감별 연구는 직관이 비논리적인 것이 아니라 단지 무의식적이라는 점을 확인해 주는 듯하다. 항공기 식별, 조류 관찰, 병아리 암수 감별 같은 기술들에는 “비이성적 지식(irrational knowledge)” 사례처럼 보이는 것들이 있는데, 의식적 정당화와 자기 성찰을 거부하는 듯하면서도 거의 모든 경우 검증 가능하게 정확한 결과를 낸다.3Marginnote intuition 3 Horsey의 논문을 보면 효과적인 직관에는 사전 훈련이 필요해 보이며, 분류학적 범주화에 의존하는 조류 관찰이나 항공기 식별 같은 도메인에서는 실제로 그럴 수 있다. 하지만 음악이나 음식처럼—노출 없이도—품질을 판단할 수 있는 현상도 분명 존재한다. 모차르트에 감동하기 위해 음악 학교를 다닐 필요는 없고, 피자를 좋아하기 위해 미쉐린 스타 셰프일 필요도 없다. “무언가가 프롬프트로 뽑아낸 것인지 알아차리는 능력”에는 사전 경험이 좀 필요하지만, “그 텍스트가 좋은지 아닌지 알아차리는 능력”은 누구나 할 수 있다. 그리고 누구나 한다. ↩
내가 2018년으로 돌아가 LLM이 만든 글을 들고 길거리의 임의의 사람에게 의견을 물었다면, 그 사람은 수상함을 의심할 이유가 없었을 것이다. “당신 말이 absolutely right입니다” 같은 문장, ‘셋씩 묶는’ 목록, 남발되는 대시(—)도 수상하게 보이지 않았을 것이다. 비록 텍스트 자체는 대체로 영감이 없었겠지만 말이다. 하지만 그런 패턴들이 낮은 품질의 지표로 식별되고 지적되면, 우리는 무의식적으로 새로운 지표들을 획득하게 되고, 표준적인 지표가 하나도 없는 경우에도 AI 쓰레기를 식별하게 된다.
토끼의 경보가 울릴 때—즉 독자의 무의식적 패턴 인식이 그 텍스트를 AI 생성으로 표시하면—확인에 대한 부산한 움직임이 시작되고, Wikipedia:Signs of AI writing 문서나 GPT Zero 같은 탐지기가 ‘비이성적 예감’을 정당화하기 위해 등장한다.
우리는 판단받는 것을 두려워하고, 불공정해지는 것을 두려워한다. 하지만 잘못을 피하려는 과정에서, 우리는 사유 이전의 판단을 사후 분석으로 다른 사람들에게 정당화함으로써 지적 부정직을 저지른다. 우리는 의식적으로 농담을 이해하기 전에 웃지만, 그 웃음이 사실에 기반해 내린 결정이었던 척한다. 우리는 무엇이 의심스러운지 정확히 이해하기 전에 의심하고, 그다음에서야 증거를 찾는다. 마음은 이미 정해졌는데도 말이다. 인과의 화살표는 아래가 아니라 위를 향한다. 하지만 합리적으로 보이려면 언제나 아래를 향해 왔던 것처럼 보이게 해야 한다.
이는 우리가 텍스트를 AI 생성으로 식별할 때, 단지 “품질이 낮다”고 생각하는 것만이 아니라 암묵적으로 기만을 의심하기 때문이다. 그리고 기만은 낮은 품질보다 훨씬 심각한 문제다. 소프트웨어 업데이트를 위한 정교한 포장은, 마이크로소프트가 사용자들을 가치 있게 여겼다는 것을 증명했다. 업데이트 알림에 이만큼 노력을 들였다면, 업데이트 자체에는 얼마나 더 많은 노력을 들였겠느냐고 말이다. 반대로, AI 생성 텍스트는(식별되는 순간) 정반대를 신호한다. 너는 이 상호작용을 너무 하찮게 여겨서, 직접 쓰는 수고조차 하지 않았다.
기술직에 지원하거나 사내 평가를 받는 상황을 생각해 보자. 준비하고, 조사하고, 과제를 하고, 면접 보는 데 몇 시간을 쓴다. 그런데 ‘템플릿 거절 메일’을 받는다면 짜증 나지만 그러려니 할 수 있다. 무례하고 비전문적이지만, 노골적이기 때문이다. 하지만 AI가 생성한 피드백을 받는다면 어째서인지 더 나쁘다. 개인적 관심으로 위장한 자동화이기 때문이다. 기만은 무례보다 더 나쁘다.
그들이 스스로 피드백을 쓸 만큼 당신을 평가하지 못한다면, 그들은 코드를 평가할 수 있기는 한가?
그들은 유능한가?
그들은 진짜 인가?
그래서 한쪽에는 쓰레기를 뿌리는 자들이 있고, 다른 한쪽에는 ‘팜 투 테이블’식 인간주의자들이 있다. 하지만 그 사이 어딘가에 있는 사람들이 있으며, 그들의 이야기가 어쩌면 가장 비극적이다. 진심 어린, 정직하지만 약간 서툰 자기소개서를 쓴 사람이 AI로 그것을 “개선”해 버리면, 원래라면 눈에 띄게 해줬을 바로 그것을, 필터링당하게 만들 바로 그것으로 바꿔치기한 셈이 된다.
정교한 상자가 통하는 이유는, 그것을 보내는 데 비용이 들기 때문이다. 반면 당신의 말이 통하는 이유는 다르다. 그것은 분명히 당신의 것이기 때문이다.
완벽하지 않은 문장, 모국어에서 영어로 옮겨온 번역투, 특이한 표현이나 약간 어색한 문장 구조—그럼에도 당신이 의미하는 바를 정확히 말해주는 것들. 이런 것들은 누군가가 문제 앞에 앉아 해결책을 생각해 냈다는 증거다. 시간이 지나면 이런 결함들이 개인적 특징이 될 수도 있다.
계속 쓰고, 계속 나타나면 그것들은 당신의 목소리가 된다. 버릇은 스타일 이 된다.
반면 AI를 통해 생각을 ‘세탁’하면, 광택을 더하는 대신 증거를 지워 버린다. 당신답게 들릴 기회를, 모두와 똑같이 들릴 보장과 맞바꿨다. LLM이 한 번 휘젓고 지나간 뒤 텍스트에 남는 것은 유창함, 구조, 전문성이다.
수천 개의 다른 게시물과 형식상 구별되지 않는다. 쓰레기와도 구별되지 않는다.
진정한 의도의 신뢰할 수 있는 신호는 사라진다. 휙. 차라리 중간 “사람”을 건너뛰고 프롬프트만 보냈어야 했다.
이쯤에서 기술자는 반박한다. “물론 지금은 모델에 이런 티가 나지만, 기술이 더 발전하면 인간성을 신호하는 거친 모서리도 모델이 재현할 수 있을 거다.”
지난 3년간 기술이 크게 진전한 것은 사실이지만, 지난 1년 사이에 그렇게까지 진전했는지는 의문이다. 초기 GPT-3와 ChatGPT 사이의 간극은 거대하다. GPT-4와 GPT-5의 간극은? 그 정도로 삶을 바꾸지는 않는다.4Marginnote pit 4 이 분야의 진보가 둔화되었다는 증거가 필요하다면, 2022년에 만들어졌고 여전히 언어 모델이 만든 글 중 최고로 남아 있는 bottomless pit supervisor greentext를 생각해 보라. ↩
AI 연구가 현재 수익이 나지 않는다는 것은 공공연한 비밀이며, 앤트로픽과 오픈AI가 벤처 캐피털 현금을 얼마나 더 태울 수 있을지는 두고 봐야 한다. 새 모델을 훈련하는 데는 눈이 튀어나올 만큼의 돈이 든다. 게다가 결과가 크게 개선되지 않게 되는 지점까지 매개변수를 조정할 수 있는 이론적 한계가 있다. AI가 지수적으로 성장할 것처럼 보일 수도 있지만, 역사는 그럴 가능성이 낮음을 보여준다. 시그모이드 곡선 한가운데에서 위를 올려다보면 성장은 선형처럼 보인다.
기술자 논증에 더 불리한 점은 이것이다. 모델 개선은 수확 체감에 직면해 결국 정체되지만, 인간의 패턴 인식은 노출과 함께 선형적으로 축적된다. 앤트로픽이 Opus 5를 내기 위해 또 10억 달러를 던진다 해도, (자기가 읽는 것에 대한 취향을 기르는 데 시간을 쓴) 평범한 사람은 텍스트가 AI 쓰레기인지 판별하는 데 다섯 문단이 아니라 여섯 문단이 필요해질 뿐이다.
쓰레기는 모델 이전부터 존재했다. ChatGPT 이전에는 링크드인에서 대필된 참여 유도 미끼가 있었다. 링크드인 이전에는 SEO에 최적화된 키워드 리스트형 글이 있었다. 그 이전에는 신만이 아시겠지만, 의심의 여지 없이 ‘무언가’가 있었다. 그리고 우리는 그것도 탐지하는 법을 배웠다.
질문은 AI가 더 인간 같아질지 여부가 아니다. 심지어 당신이 글쓰기에 AI를 도움 도구로 쓰는지 여부도 아니다.5Marginnote writing-aid 5 언어 모델은 유용한 글쓰기 보조 도구가 될 수 있지만, 아첨성 되풀이로 추락하지 않기 위해서는 매우 엄격한 규율이 필요하다. Claude Opus에 처음 두세 번 프롬프트를 던지는 정도는 글에 대한 유용한 피드백을 주거나(애초에 텍스트 완성 엔진이었으니까) 글 막힘을 풀어줄 수 있다. 그 이상부터는 품질이 절벽에서 떨어지듯 급락한다. ↩ 질문은 우리가 애초에 ‘흉내’라는 것을 탐지하고 있었던 게 맞느냐는 것이다.
당신이 실제로 거기에 ‘있었던’ 것을 속일 수는 없다. 언어 모델에 프롬프트를 던져 더 많은 콘텐츠를 생산할 수는 있겠지만, 결국 책상 앞에 앉아 모든 문장을 곱씹고 모든 단어를 의도적으로 고른 저자—그가 읽히게 된다. 그는 _독자는 그 수고를 들일 가치가 있다_는 것을 이해하기 때문이다. 반대편에는 사람이 있다. 그리고 그 사람은 정교한 상자를 보내줄 가치가 있다.
누군가가 ‘나타나면’, 당신은 안다. 텍스트에 마찰이 있기 때문에 안다. 가질 때 대가가 드는 의견이 있기 때문에 안다. 누구나, 어떤 대상에게나, 어떤 주제로도 쓸 수 있는 글이 아니기 때문에 안다. 시간을 들인 것을 당신은 속일 수 없다.
모델은 더 좋아질 것이다. 고양이와 쥐 게임은 계속될 것이다. 하지만 신호는 애초에 탐지에 관한 것이 아니었다.
그것은 네가 정말로 나타났는지에 관한 것이었다.
