생성형 AI를 사용할 때 생길 수 있는 함정들을 짚고, 인간이 AI와 상호작용할 때 따라야 할 ‘로보틱스의 역법칙’ 세 가지—비(非)의인화, 비(非)맹신, 책임의 비(非)포기—를 제안한다.
Susam Pal 지음 | 2026년 1월 12일
2022년 11월 ChatGPT가 출시된 이후, 생성형 인공지능(AI) 챗봇 서비스는 점점 더 정교해지고 대중화되었다. 이제 이러한 시스템은 검색 엔진, 소프트웨어 개발 도구, 오피스 소프트웨어에도 내장되어 있다. 많은 사람들에게 이들은 빠르게 일상적인 컴퓨팅의 일부가 되었다.
개인적으로 나는 이런 서비스가 특히 낯선 주제를 탐색하거나 전반적인 생산성 향상에 매우 유용하다고 느낀다. 하지만 이러한 서비스가 광고되고 소비되는 방식이 위험을 초래할 수 있다고도 생각한다. 특히 추가적인 검증 없이 그 출력물을 믿는 습관이 들기 시작하면 더욱 그렇다.
현대 AI 시스템의 일부 설계 선택은 그 출력물을 비판 없이 받아들이도록 부추길 수 있다. 예를 들어, 많은 인기 검색 엔진은 이미 페이지 최상단에 AI가 생성한 답변을 강조해 보여주고 있다. 이렇게 되면 스크롤을 더 내리지 않고 생성된 답변을 받아들인 뒤 곧바로 다음으로 넘어가기가 쉽다. 시간이 지나면 이는 사용자들이 AI를 추가 조사의 출발점이 아니라 기본 권위(default authority)로 대하도록 무심코 훈련시키는 결과를 낳을 수 있다.
나는 이런 생성형 AI 서비스마다, 이 시스템들이 때때로 사실과 다른, 오해를 불러일으키는, 혹은 불완전한 출력물을 만들어낼 수 있다는 점을 설명하는 짧지만 눈에 띄는 경고문이 함께하길 바란다. 그런 경고는 AI 출력물을 습관적으로 신뢰하는 것이 위험할 수 있음을 강조해야 한다. 내 경험상, 그런 경고가 존재하더라도 대개 최소한으로만 표시되고 시각적으로도 덜 눈에 띄게 처리된다.
공상과학 세계에는 아이작 아시모프가 고안했고 그의 작품 전반에 반복적으로 등장하는 로보틱스 3원칙이 있다. 이 법칙들은 인간의 안전을 지키기 위해 로봇의 행동을 제한하도록 설계되었다. 내가 알기로 아시모프는 인간이 로봇과 어떻게 상호작용해야 하는지를 규정하는 동등한 법칙은 제시하지 않았다. 그러나 이제 우리 자신을 안전하게 지키기 위해, 그에 해당하는 무언가가 필요하다고 생각한다.
나는 이를 _로보틱스의 역법칙(Inverse Laws of Robotics)_이라고 부르겠다. 이는 인간이 로봇과 상호작용해야 하는 어떤 상황에도 적용된다. 여기서 ‘로봇’이란 복잡한 작업을 자동으로 수행할 수 있는 기계, 컴퓨터 프로그램, 소프트웨어 서비스, AI 시스템을 모두 가리킨다. 여기서 ‘역(inverse)’이라는 표현은 논리적 부정의 의미가 아니라, 이 법칙들이 로봇이 아니라 인간에게 적용된다는 뜻을 나타내기 위해 사용한다.
나는 다음과 같은 로보틱스의 역법칙 세 가지를 제안한다.
인간은 AI 시스템을 의인화해서는 안 된다. 즉, 인간은 AI 시스템에 감정, 의도, 또는 도덕적 행위자성(moral agency)을 부여해서는 안 된다. 의인화는 판단을 왜곡한다. 극단적인 경우 의인화는 정서적 의존으로 이어질 수 있다.
현대 챗봇 시스템은 종종 대화적이며 공감하는 듯하게 들린다. 정중한 표현과 인간 상호작용과 매우 유사한 사회적 단서를 사용한다. 이는 사용을 더 쉽고 즐겁게 만들지만, 동시에 그것들이 실제로 무엇인지 잊게 만들기도 쉽다. 즉, 데이터에 존재하는 패턴을 바탕으로 그럴듯한 텍스트를 산출하는 거대한 통계 모델이라는 사실 말이다.
나는 AI 기반 챗봇 서비스 제공업체들이 이 부분에서 더 나은 일을 할 수 있다고 생각한다. 많은 경우 시스템은 더 기계적으로 보이기보다는 더 인간적으로 느껴지도록 의도적으로 조정되어 있다. 그러나 장기적으로는 정반대의 접근이 더 건강하다고 주장하고 싶다. 약간 더 로봇 같은 말투는 사용자가 유창한 언어를 이해, 판단, 의도로 착각할 가능성을 줄여줄 것이다.
업체들이 그런 변화를 도입하든 하지 않든, 이 함정을 피할 책임은 여전히 사용자에게 있다. 우리는 AI 시스템을 사회적 행위자나 도덕적 행위자로 대하는 습관을 적극적으로 피해야 한다. 그렇게 함으로써 그들의 능력과 한계에 대해 명료하게 생각할 수 있다.
인간은 AI 시스템의 출력물을 맹목적으로 신뢰해서는 안 된다. AI가 생성한 콘텐츠는 그 맥락에 적합한 독립적 검증 없이 권위 있는 것으로 취급되어서는 안 된다.
이 원칙은 AI에만 해당하는 것이 아니다. 삶의 대부분의 영역에서 우리는 정보를 비판 없이 받아들여서는 안 된다. 물론 실제로는 이것이 항상 가능하지 않다. 모두가 의학이나 법률의 전문가일 수는 없으므로 우리는 종종 신뢰할 수 있는 기관과 공중보건 당국의 지침에 의존한다. 그러나 그러한 기관이 발표하는 지침은 대부분 해당 분야 전문가들의 동료 검토(peer review)를 거친다.
반면, 개인적인 채팅 세션에서 AI 챗봇으로부터 어떤 질문에 대한 답을 받을 때, 우리에게 제시된 그 확률적으로 생성된(stochastically generated) 특정 응답은 동료 검토를 거치지 않았다. 따라서 그 응답을 비판적으로 검토해야 할 책임은 우리에게 있다.
오늘날 AI 시스템은 특정 작업에서 상당히 인상적인 수준에 이르렀지만, 여전히 의존하는 것이 실수가 될 만한 출력물을 만들어내는 것으로 알려져 있다. 설령 AI 시스템이 높은 확률로 신뢰할 만한 출력을 내놓을 정도로 개선된다 하더라도, 본질적으로 확률적이라는 특성 때문에 오류를 포함한 출력을 만들어낼 가능성은 여전히 작게나마 존재한다. 이런 점은 오류가 미묘하지만 비용이 큰 맥락에서 사용할 때 특히 위험하게 만든다. 잠재적 결과가 심각할수록 검증 부담은 더 커져야 한다.
수학적 증명을 구성하거나 소프트웨어를 개발하는 것과 같은 일부 응용에서는, 증명 검증기(proof checker)나 단위 테스트(unit tests) 같은 자동화된 검증 계층을 추가하여 AI 출력물을 검증할 수 있다. 다른 경우에는 우리가 직접 독립적으로 검증해야 한다.
인간은 AI가 개입된 의사결정에 대해 전적으로 책임을 지고, 그 사용으로 인해 발생하는 결과에 대해 책임을 져야 한다. AI가 생성한 조언이나 결정을 따르는 과정에서 부정적 결과가 발생했을 때, “AI가 그렇게 하라고 했다”라는 말로는 충분하지 않다. AI 시스템은 목표를 선택하지도, 스스로 배치되어 사용되지도, 실패 비용을 부담하지도 않는다. 그것을 하는 것은 인간과 조직이다. AI 시스템은 도구이며, 다른 도구들과 마찬가지로 그 사용에 대한 책임은 그것에 의존하기로 결정한 사람들에게 있다.
하지만 이는 말처럼 쉽지만은 않다. 특히 자율주행차처럼 실시간 응용에서는 더욱 까다로워진다. 이런 경우 인간은 AI 시스템이 행동하기 전에 그 결정을 충분히 검토할 기회가 없다. 인간 운전자에게 지속적인 경계를 요구하는 것은, AI 시스템이 인간이 개입하기에 필요한 시간보다 더 짧은 시간 안에 행동하는 일이 흔하다는 문제를 해결해주지 못한다.
이처럼 꽤 심각한 한계가 있음에도, 우리는 이러한 응용에서 AI 시스템이 실패했을 때 그 실패를 조사하고 추가 안전장치를 더할 책임은 여전히 시스템 설계를 책임진 인간에게 있어야 한다는 점을 인정해야 한다.
그 밖의 모든 경우—즉, AI 출력물이 실행되기 전에 인간이 이를 검토하는 것을 물리적으로 막는 제약이 없는 경우—AI 사용에서 비롯되는 어떤 부정적 결과도 전적으로 인간 의사결정자에게 귀속되어야 한다. 일반 원칙으로 우리는 결코 “AI가 그렇게 말했으니까”를 해로운 결과에 대한 정당한 변명으로 받아들여서는 안 된다. 추천을 만든 것은 AI일지 모르지만, 그것을 따르기로 결정한 것은 인간이므로 그 인간이 책임을 져야 한다. 이는 책임 없는 AI의 무분별한 사용이 중대한 피해를 일으킬 수 있는 상황을 막기 위해 절대적으로 중요하다.
위에서 정리한 세 가지 법칙은 내가 사회에 해롭다고 느끼는 사용 패턴들을 관찰한 데 기반한다. 나는 이 세 가지 단순한 법칙을 통해, 현대 AI 시스템과 상호작용하는 방식을 잠시 멈춰 성찰하고, 판단을 약화시키거나 책임을 흐리는 습관에 저항하며, AI는 우리가 선택해 사용하는 도구이지 우리가 복종해야 할 권위가 아니라는 점을 늘 염두에 두도록 서로를 독려할 수 있기를 바란다.
© 2001–2026 Susam Pal
