현대 AI가 폭력의 정상화, 연대의 파괴, 진실과 민주주의의 침식을 통해 어떻게 파시즘과 구조적으로 맞닿아 있는지를 분석하는 글.
구독
—
글쓴이
(이 글은 제가 최근에 했던 파시즘과 AI에 관한 두 강연을 약간 합친 것입니다. 하나는 Cables Of Resistance 컨퍼런스에서 독일어로 했고, 하나는 Milton Wolf Seminar on Media and Diplomacy에서 영어로 했습니다. 글의 구조를 잡기 위해 사용했던 슬라이드 몇 장면도 덧붙였는데, 그래서 조금 이상해 보일 수도 있습니다. 원하신다면 이미지는 그냥 무시하셔도 됩니다. 일종의 소절 표식 같은 것입니다. 이 텍스트는 제가 실제로 말한 그대로는 아니지만, 제 논지를 더 길게 풀어 써서 읽기 더 쉽게 만든 버전입니다.)
우리가 사는 세계와 그 세계에 접근하는 방식은 점점 더 기술적 매개를 통해 구조화되고 있다. 디지털 플랫폼과 시스템은 단지 우리의 노동 환경이나 정부 기관과의 상호작용, 혹은 “미디어”와의 관계에서만 중요한 것이 아니라, 개인들이 서로 상호작용하는 방식에서도 대단히 중요한 요소다. 우리의 세계는 우리가 무엇을 보고, 누구와 대화할 수 있으며, 어떤 정보가 우리에게 제시되는지를 규정하는 기술 인프라를 중심으로 구축되어 있다.
동시에 우리는 전 지구적으로 파시스트적 위협이 커지는 시대에 살고 있다. 많은 나라에서 신파시스트 운동과 정당들이 권력을 잡으려 하고, 심지어 보수 정당이 그들을 정부에 포함시키도록 만들려 한다. 일부는 실제로 성공하기도 했다. 파시즘은 맹렬하게 돌아왔다. (반파시스트들은 수십 년 동안 경고해 왔지만, 안타깝게도 그 사실이 누구에게도 당장 도움이 되지는 않는다. 아마 파시스트들을 몰아낸 뒤에야 우리는 거기서 뭔가를 배울 수 있을 것이다.)
그리고 물론 우리는 “AI” 시대에 살고 있다. 귀속된 행위성을 부여받은 확률적 시스템들이 — 현재는 “agentic AI”라는 이름 아래 — 우리의 모든 직업적, 개인적 작업 흐름 속으로 밀려 들어오고 있다. “AI”는 현재 기술 부문의 유일한 초점이며, 정부와 기업이 후기 자본주의를 조금이라도 더 연명시키는 방법을 찾아낼 희망을 걸고 있는 마법의 기술이다.
이 글에서 나는 파시즘과 오늘날 “AI”라고 불리는 것의 관계를 분석하고자 한다. 우리 주변의 세계를 계속해서 재구성하는 데 사용되는 이 “기술”은 (좋든 나쁘든, 그러나 대체로는 나쁜 방향으로) 어떤 식으로든 파시즘과 연결되어 있는가? 아니면 그저 파시스트들이 사용하기 좋아하는 것일 뿐인가? 중립적인가?
우리는 파시즘을 생각할 때 종종 행위자들에 초점을 맞춘다. 사악한 이유로 사악한 일을 하는 사악한 개인들 말이다.
그리고 이것이 바로 “AI”와 파시즘의 관계를 흔히 바라보는 방식이다. 우리는 트럼프 백악관과 그의 행정부의 다른 부처들이 생성형 “AI”를 이용해 자신들의 지도자에 대한 노골적으로 파시스트적인 선전을 만들고, “AI”를 이용해 사진을 조작하여 반대파를 나쁘게 보이게 만들고, 전반적으로 세상에 존재하는 인종주의적이고 파시스트적인 미디어의 양을 늘리는 것을 본다.
Palantir의 CEO Alex Karp는 약 2년 동안 아무 이야기든 결국 사람을 죽이는 이야기로 끌고 가고 있다. 그는 자신의 데이터 통합 플랫폼(Palantir의 제품은 솔직히 꽤 지루하다)을 사람을 죽이는 데 쓰고 싶어 한다는 얘기만 한다. 그것도 무작위 사람들을 말하는 것이 아니다. 그는 자신과 자기 소프트웨어 엔지니어들을 “서구”의 전사로, 미국과 “서구”를 “적”으로부터 지키는 존재로 묘사한다. Palantir는 군의 “kill decisions”를 가능하게 하는 인프라의 핵심 일부가 되기를 공개적으로 원하며, 자사 소프트웨어가 무기처럼 취급되고 인식되기를 바란다. 이것은 폭력의 정상화에 대한 매우 파시스트적인 호소일 뿐 아니라, 소프트웨어의 능력과 힘을 부풀리려는 영업 전략으로도 읽을 수 있다. 단순한 데이터 통합에 수십억을 쓰려는 사람은 없을 것이다. 하지만 그것이 “적을 죽일 수 있다”면 계약은 계속 굴러들어올지도 모른다.
마지막으로 Marc Andreessen 같은 사람들이 있다. 그는 지난해 “Techno-Optimist Manifesto”를 발표했는데, 제목이 암시하는 것과는 달리 이 문서는 주로 자신을 규제하지 말고 자기보다 똑똑한 사람들에게 비웃음당하지 않게 해 달라는 요구에 기반한 문서다. 그러나 주목할 점은 그가 투자한 “AI”와 다른 기술들이 세계를 위해 무엇을 할 수 있고 무엇을 하게 될지에 대한 다소 환원주의적인 관점만이 아니다. 이 문서는 이탈리아 파시스트들과 Nick Land 같은 다른 우익 반동주의자들의 글을 직접적이고 공개적으로 인용하고 그 논리를 그 위에 세우고 있다는 점에서 두드러진다. 그리고 “적들”도 노골적으로 지목한다. 공산주의자들, 러다이트들, 그리고 기술을 규제하려는 사람들. 기본적으로 파시즘 탄생 이래 파시즘이 늘 지목해 온 적들이다.
기술 또는 특정 기술(예를 들어 “AI”)이 우파에게 “포획”되었다는 이런 인식은 때때로 사람들로 하여금 그 기술들을 “구출”하거나 “되찾고” 싶게 만든다. 그것들이 우리 삶에 너무 깊숙이 박혀 있고, 우리가 그것들에 너무 익숙해져서 그것들 없는 삶을 상상하는 것이 불가능해 보이기 때문이다. 우리는 앱과 편리함을 좋아한다. 그리고 파시스트들이 계속 그것들을 사용한다고 해서 그 앱과 기술 자체의 잘못은 아니라는 생각이 든다. 어쩌면 좌파가 “AI”(혹은 메타버스나 블록체인이나 기타 무엇이든)에 대한 비판을 멈춘다면, 우리는 “AI”를 좋고 윤리적이며 민주적인 것으로 만들 수 있을지도 모른다? 어쩌면 나쁜 사람들로부터 그 기술을 구해낼 수 있을까? 그것을 다시 빛 속으로 이끌 수 있을까? 어쩌면 Open Source로 만들면 될까?
1980년대의 영향력 있는 논문 “Do Artifacts Have Politics?”에서 Langdon Winner는 “중립적인 기술”이라는 이런 관점이 성립하지 않는다고 주장한다. 특정 인공물의 정치는 단지 누가 그 기술을 사용하고 _어떤 목적_으로 사용하는가에서만 오는 것이 아니라, 기술을 만드는 사람들의 정치적 관점과 목표, 그리고 기술의 내부 구조에서 비롯된 내장된 정치성을 지닌다는 것이다.
그는 어떤 다리들이 인종주의적으로 지어졌다는 사례를 들어 이를 보여준다. 미국에서 시민권 운동이 흑인 아이들에게 원래는 백인 아이들만 받던, 종종 더 좋은 학교에 갈 권리를 보장하자, 정치인들은 예를 들어 흑인 아이들을 백인 학교로 데려갈 버스가 다리와 도로를 통과할 수 없도록 도로와 다리를 설계했다. 이것은 실수가 아니라 설계 의도였다. 인종주의가 그 인공물의 구조 자체에 내장되어 있었던 것이다.
Winner는 또 어떤 기술들은 존재하기 위해 특정한 정치적 또는 사회적 구조를 함의한다고 주장한다. 핵폭탄은 그것을 만들 수 있는 과학자들과 그러한 형태의 파괴를 세계 속에서 정당한 행위 방식으로 여기는 국가를 함의할 뿐 아니라, 그것을 통제하고 방어할 수 있는 안보국가를 함의한다. 그런 구조 없이는 핵폭탄을 만들 수 없으며, 그것들은 요구되지는 않더라도 적어도 함의되고, 그 인공물 자체에 의해 강제된다.
Winner의 작업은 인공물에 내장된 정치성이 언제나 절대적이라고 주장하는 것은 아니다. 원래는 억압적으로 쓰일 수 있는 많은 기술들이 예술가들과 활동가들에 의해 원래 용도에 맞서도록 전유된 사례를 우리는 알고 있다. 하지만 그것은 언제나 험난한 싸움이다. 예를 들어 감시는 언제나 더 강압적이고, 더 경직되며, 덜 자유로운 정부 이해로 기울게 된다. 물론 (대항)감시를 사용할 수는 있지만, 그럴 때도 자신이 비판하거나 공격하려는 논리를 재생산하지 않도록 항상 주의해야 한다.
Winner의 통찰에서 출발하면, “AI”의 내장된 구조적 정치성이 무엇인지라는 질문이 떠오른다. “AI”는 어떤 세계를, 어떤 세계관을, 어떤 정치를 요구하거나 함의하는가? 오늘날 우리가 이해하는 “AI”는 우리를 어떤 길 위에 올려놓는가?
이 문제로 들어가기 전에 “AI”라는 용어의 정의에 대해 잠깐 이야기하고 싶다. 나는 “AI”가 그다지 유용한 용어라고 생각하지 않는다. 솔직히 말해, 일반적으로 이 용어를 쓰지 않는 쪽을 권하고 싶다. 이 용어는 설명하거나 분명하게 해 주는 것보다 흐리게 만드는 것이 더 많기 때문이다. 그래도 이 용어는 어디에나 있으니 우리는 그것을 다뤄야 한다. 그리고 “AI”에 대한 중요한 인식 하나는, 그것이 그다지 잘 정의된 용어가 아니라는 점이다. “AI”는 LLM(확률적 토큰 압출기)일 수도 있고, 기호적 지식 표현 시스템일 수도 있고, Excel 매크로일 수도 있고, 인도의 콜센터 직원일 수도 있고, 아니면 그냥 투자 발표 자료 한 장일 수도 있다. “AI”는 특정한 무엇을 뜻하지 않는다. 적어도 특정한 유형이나 종류의 기술적 인공물을 뜻하지는 않는다.
나는 Ali Alkhatib의 AI 정의를 매우 좋아한다.
우리는 AI를 정치적 특징을 가진 기술적 인공물이라고 보는 생각을 버리고, 처음부터 끝까지 정치적 인공물로 인식해야 한다고 생각한다. AI는 권위와 자율성을 개인들로부터 중앙집중화된 권력 구조로 이동시키기 위한 이데올로기적 프로젝트다. AI를 “민주화”한다고 주장하는 프로젝트들은 일상적으로 “민주화”와 “상품화”를 혼동한다.
Ali Alkhatib
“AI”는 정치적 프로젝트 — 나는 때때로 그것을 하나의 서사라고도 불렀다 — 이며, 그 목적은 사람들과 조직으로부터 권력과 행위성을 떼어내 중앙집중적 권력 구조로 옮기는 데 있다. 현재 이러한 중앙집중적 권력 구조는 대체로 소수의 거대 기술 기업들과 그들이 막대한 돈을 퍼붓고 있는 “AI Labs”다.
그러므로 나는 “AI”가 사용하기 좋은 용어라고는 생각하지 않지만, 이 글의 나머지 부분에서는 현재 이 용어를 지배하는 이해에 따라 계속 사용하겠다. 그 이해에서 “AI”는 데이터를 통해 추출한 패턴을 저장하고 적용하여 패턴 인식 (컴퓨터 비전을 떠올리면 된다) 또는 (그리고 이것이 오늘날 지배적인 서사적 매개다) 생성 시스템 (“generative AI” 또는 “genAI”)으로 작동하는 확률적 기계학습 시스템들의 한 범주를 가리킨다. 그러니 내가 “AI”라고 쓸 때 ChatGPT, Claude, Gemini, Deepseek 등을 떠올리면 된다.
자, 다시 파시즘으로 돌아가자.
물론 “AI”의 파시스트적 사용에 관해서는 미디어 연구와 관련 분야에서 방대한 연구와 분석이 있다. 나는 특히 Gareth Watkins의 에세이 “AI: The New Aesthetics of Fascism”를 추천한다. Watkins는 이 글에서 생성형 이미지 압출기의 출력 구조 속에 우파의 정치와 추론 방식과 잘 맞아떨어지는 성질들이 있음을 보여준다.
“AI”는 인터넷과 가능한 모든 다른 데이터 소스를 긁어모아 만들어지며, 그 데이터의 대부분은 강하게 인종화되어 있고, 식민주의적이고 성차별적이며 이성애 규범적인 세계 및 과거 이해에 기반하고 있다. 문자 그대로 인종주의적이지 않은 경찰 데이터는 존재하지 않는다. 예를 들어 사용 가능한 이미지들에 기반해 이미지 생성기를 만들면 LGBTQIA 표현, 사회가 수용 가능하다고 기대하는 기준에 부합하지 않는 사람들의 표현은 많아야 빈약한 수준에 머문다.
그리고 이 모든 데이터는 정의상 배제 한다. “AI”는 “인류 전체의 지식” 위에 세워진 것이 아니라, 대체로 서구적 세계관이 중요하다고 여기는 것이 무엇인가에 기반해 있다. 그런 틀 안에 들어오지 않거나, 심지어 역사와 지식을 보존하는 방식이 더 구술적인 문화들은 재현되지 않는다. 그런 집단들이 적극적으로 배제되지 않는다 하더라도 (하지만 다시 말해 그들은 매우 자주 실제로 배제된다) 데이터에 보이지 않는 거대한 인구 집단들이 있으며, 그들은 자신들이 어떻게 재현되는지에 대해 발언권을 갖지 못한다. 혹은 재현된다 해도 문제로만 재현된다. 예를 들어 비주거 상태의 사람들을 생각해 보라.
우파는 이런 패턴을 좋아한다. 그것이 자신들의 편견을 확인해 주기 때문이다. 이미지 생성기에게 키스하는 두 사람의 사진을 요청하면 대개 이성애 커플, 그것도 종종 백인 커플이 나온다. 훈련 데이터가 그렇게 생겼기 때문이다. 그래서 “AI”는 파시스트들이 암시하기 좋아하는 이상화된 허구의 “과거” (“미국을 다시 위대하게”)를 만들어내기에 완벽하다. 실제로는 존재한 적이 없지만 구해내거나 복원해야 한다고 여겨지는 과거 말이다. (이 점은 나중에 다시 돌아오겠다.)
하지만 우파가 “AI”를 사용하는 데서 즐거움을 느끼게 하는 또 다른 측면도 있다. 그것은 그들이 해치고 싶어 하는 사람들을 실제로 해친다. 현재 “AI”는 주로 미디어를 생성하는 데 사용된다. 이미지, 일러스트, 음악, 텍스트 등을 생각하면 된다. 그런데 전통적으로 이런 창조 산업에 있는 사람들은 더 좌파적이고, 더 포용적이다. 파시스트들은 좋은 예술, 흥미로운 예술을 도저히 만들어내지 못한다. “AI”를 이용해 그 집단의 일자리, 생계, 창의적 표현을 빼앗는다는 점이야말로 우익들이 “AI”로 이미지를 만드는 일을 그렇게 즐거워하는 정확한 이유다. 그것은 저속한 권력 과시다.
그리고 이것은 자연스럽게 “AI”의 구조적 성질을 보게 만든다. 많은 사용 사례가 우익의 성향과 더 잘 맞는 것처럼 보일 수 있지만, “AI” 내부에는 훨씬 더 깊은 파시스트적 경향들이 존재한다.
현대의 “AI” 시스템들이 의미 있는 능력을 가지게 된 것은 폭력 덕분이며, 그 기반 또한 폭력 이다.
폭력은 단지 사람을 때리는 것만을 뜻하지 않는다. 사람의 행위성을 빼앗는 것도 폭력이고, 사람을 고통에 노출시키는 것도 폭력이다. 폭력은 많은 형태와 모습을 가진다. 그리고 “AI”는 끝없는 양의 폭력을 받아들이는 태도를 필요로 한다. (나는 그 모든 형태를 나열할 수 없고, 여기서는 일부만 다룰 것이다.)
“AI” 시스템을 훈련시키려면 데이터가 필요하다. 아주 많이. 그리고 그보다도 더 많이. 대중의 상당수가 자기 창작물이나 자신에 관한 데이터가 그런 기계에 투입되는 것을 원치 않는 상황에서, 그것을 합법적으로 구하는 것은 정말 어렵다. “AI”가 의존하는 첫 번째 폭력 형태는 데이터 획득의 폭력이다. “AI”는 가능한 모든 것을 긁어모으고 축적하는 데 의존한다. 여기에는 사람들의 명시적 의사에 반해, 동의 없이 가져가는 것도 포함된다. 나는 내 서버에서 iocaine을 돌리고 있는데, 얼마나 많은 AI 스크레이퍼가 내가 명시한 선호를 무시하고 내가 지금까지 쓴 모든 것을 훈련용으로 가져가려 하는지를 보는 것은 정말 미친 일이다. 물론 나만 그런 것이 아니다. “AI” Labs는 계속해서 무단 라이선스 저작물, 예를 들어 책들을 내려받고, 찾을 수 있는 모든 것을 디지털화하여 데이터 허기를 채운다. 그들은 그것이 불법이고 비윤리적이라는 것을 안다. 하지만 그것은 중요하지 않다. “AI” 시스템은 “다운로드할 수 있으면 사용해도 된다”는 믿음 위에 존재한다. 즉 힘이 곧 정의 라는 믿음이다.
두 번째 폭력 형태는 데이터 라벨링과 정제 과정에서 발생한다. 주로 글로벌 사우스의 노동자들이 하루 종일 상상 가능한 최악의 것들을 보며 고문 콘텐츠나 사람에 대한 성적 폭력 묘사를 훈련 데이터에서 걸러내려 애써야 한다. 이것은 단지 경제적 착취만이 아니다. (정신적으로, 심리적으로 엄청나게 힘든 일에 대해 그들은 매우 적은 돈을 받는다.) 그것은 그들의 정신과 심리적 건강에 가해지는 폭력이기도 하다. 우리가 스톡 사진을 찾기 귀찮아한 결과, 케냐의 어떤 어머니는 악몽 때문에 더 이상 잠을 자지 못하게 되는 것이다.
세 번째 폭력은 이미 언급했다. 서구가 디지털화할 “가치가 있다”고 생각한 것, 혹은 그 논리에 복종하는 것만을 “세계의 모든 지식”이라고 선언하는 식민주의적 서구적 시각이다. 이것은 단지 재현의 부족이 아니라, 이 행성 인구의 거대한 부분을 강제로 타자화 하는 것이다. 서구적, 자본주의적 세계 읽기에 유용하지 않다면, 당신과 당신의 역사, 당신의 경험은 “세계의 모든 지식”의 일부가 아니다. 당신은 더 열등한 인간으로 선언되는 것이다.
네 번째 폭력은 우리가 그냥 받아들이라고 요구받는 “AI” 도구를 사용해 주변화된 집단에게 가해지는 폭력이다. 이것은 트럼프 행정부가 “AI”를 사용해 인종주의적 선전을 만드는 것에서 시작하지만, 거기서 끝나지 않는다. 특히 여성들이 지속적으로 노출되는 학대와 성적 폭력의 양은 엄청나다. “Nudify” 앱이나 “grok, put her into a bikini” 같은 것이 그중 가장 노골적인 도구일 뿐이다. 대부분의 “AI” 연구소가 그런 사용을 명시적으로 지지하는 것은 아니지만, 그렇다고 사용을 제한하지도 않는다. 그저 “나쁜 사람들”의 문제이거나 “우리 서비스 약관을 위반하는 사용”일 뿐이라고 말한다. 하지만 그것은 그런 종류의 학대를 가능하게 한 책임을 지지 않기 위한 법적 방어일 뿐이다.
“AI”를 사용한다는 것은 이런 형태의 폭력을 정상화하는 일을 필요로 한다. 그런 도구들을 자신의 작업 흐름에 통합하면서도 스스로와 함께 살아가기 위해서는 그것들을 받아들여야 한다.
그리고 이것이 파시즘과의 연결점이다. 왜냐하면 파시즘의 핵심 패턴 가운데 하나는 폭력의 대대적인 정상화이기 때문이다. 폭력과 지배를 사회의 조직 원리로 세우는 일이다. 주로 “적”을 향하지만 (안녕, Palantir), 사회적·정치적 위계를 세우고 유지하는 방식으로도 작동한다.
“AI”는 원리로서의 이런 구조적 폭력 정상화를 파시즘과 공유한다.
나는 Stafford Beer의 원칙, 즉 “시스템의 목적은 그것이 하는 일이다”라는 말을 강하게 믿는다. 시스템을 평가할 때는 그 시스템의 설명서나 영업용 홍보 문구가 아니라, 그 시스템이 실제로 세계에 미치는 효과를 보아야 한다는 원칙이다. 그 관점에서 보면 “AI”의 단기적 목적은 꽤 쉽게 판단할 수 있다. 노동력의 파괴다.
이 해체는 여러 수준에서, 그러한 조직화가 가능해지는 토대를 공격함으로써 이루어진다.
첫 번째 수준은 매우 개인주의적이다. 노동자를 대체할 수 있는 “AI”를 들이대면서, 그 노동자는 더 열심히 일하고, 임금 인상이나 근로조건 개선을 요구하지 못하도록 압박받는다. “AI”가 당신의 일을 할 수 없는데도 말이다. 위협 그 자체가 고용주에게는 유용하다. 그것은 노동자로서 당신의 개별적 힘, 자신의 가치에 대한 감각을 약화시키는 데 쓰인다.
두 번째 수준은 연대와 연결이라는 관념 자체를 공격하는 것이다. “AI”가 당신을 대체하지는 않겠지만 (다시 말하지만, “AI”는 절대다수 노동자를 대체할 수 없다!) “AI를 사용하는 누군가가 당신을 대체할 것”이라는 식이다. 이것은 우리 모두가 부스러기와 일자리를 두고 서로 싸워야 하는 일종의 Thunderdome을 만든다. 이런 틀은 동료 노동자와 노동조합을 만들고 연결되어야 한다는 것이 아니라, 그들을 당신의 적 으로 보라고 암시한다. 당신의 일자리와 가족을 부양할 능력을 빼앗아갈 사람들이라고 말이다. 우리는 이 역학을 잘 안다. 우파가 이주를 “공격”으로 제시할 때 정확히 사용하는 방식이다. 이것 또한 폭력을 정상화하며, 존재 전체를 서로를 향한 끝없는 싸움으로 바꾼다. (물론 당신이 권력을 쥔 소수에 속한다면 예외겠지만.)
세 번째 수준은 좀 더 교묘하다. 왜냐하면 그것은 그런 사회적 유대의 해체를 우리 스스로 하게 만들기 때문이다. 예를 들어 보자. 내가 디자이너에게 부탁하는 대신 “AI”로 일러스트를 생성한다면, 나는 나의 기술과 노동에는 가치가 있지만 디자이너의 것은 가치가 없다 고 말하는 셈이다. 이것은 내가 암묵적으로 무의미하다고 선언한 디자이너들과 연대의 연결을 형성할 능력을 스스로 잘라낸다. 나와 같은 어려움을 겪고 있는, 나의 동지인 동료 노동자들보다 나 자신을 우위에 놓게 만든다. 하지만 이제 더는 아니다.
그리고 여기서도 “AI”는 파시즘의 핵심 사상을 공유한다. 둘 다 권력의 중심과 원천에 대한 전체주의적 통제를 공고히 하기 위해 연대와 노동력을 파괴하는 데 기반한다. (이것은 또한 Ali Alkhatib의 “AI” 정의와도 꽤 직접적으로 연결된다.)
허위정보·오정보 담론은 OpenAI의 ChatGPT를 통해 대중화된 현재 세대의 “AI” 시스템들에서 핵심적인 위치를 차지해 왔다. “AI” 시스템은 기존 미디어를 수정하는 것부터 사실상 아무것도 없는 상태에서 완전히 새로운 미디어 조각을 생성하는 것까지, 온갖 종류의 조작된 미디어를 아주 쉽게 만들어낸다.
이로 인해 우리는 서로를 신뢰하지 못하게 된다. (“그건 못 믿어, 저건 AI잖아.”) 동시에 신뢰할 수 있는 진실을 생산하고, 검증하고, 퍼뜨리기 위해 우리가 구축해 온 (인프라)구조들 — 저널리즘, 대학과 기타 연구 기관, 그리고 우리 자신의 정신 — 에 대한 신뢰도 잃게 된다.
“AI”는 궁극의 답변 기계로 제시되며 (혹은 Karen Hao의 표현을 빌리면 “Everything Machines”), 그런 논리를 통해 우리를 세계에 무엇이 존재하는지에 대한 신뢰 가능한 연결로부터 떼어놓는다. 언론인과 과학자들이 검증 가능한 현실 세계의 현상과 그에 관한 지식에 강한 연결을 만들려고 노력하는 반면, “AI”는 무에서 유를 만들어내며 사실 확인과 검증을 가능하게 해 줄 연결고리를 끊어 버린다.
이것은 다시 우리가 세계를 이해하는 데 이 시스템들에 더 의존하게 만든다. 그것들이 “작동”하는 유일한 방식은 우리가 그것들에 완전히 자신을 맡기는 것이기 때문이다. 확률적 토큰 압출기는 어떤 추론이나 연역의 과정을 따라가고, 추적하고, 분석하고, 설명하여 그 약점이나 불일치를 드러내는 것을 허용하지 않는다. 답은 아무 데서도 없이 나타나고, 당신은 원한다면 그것을 믿을 수 있다. 우리는 신뢰 가능성을 믿음으로 대체하고 있다.
그리고 그 마법의 믿음 기계를 누가 통제하는가? 2025년에 New York Times는 Elon Musk가 자신의 파시스트적, 나치적 신념에 따라 Grok의 출력을 얼마나 공격적으로 재구성하는지 보여주었다. (Elon Musk는 트럼프 취임 맥락에서 히틀러식 경례를 했다. 나는 그를 나치라고 부르는 것이 100% 정당하다고 생각한다.)
“AI”는 과학적 과정(심사뿐 아니라 과학 책과 논문의 집필에도)과 교육 안으로 밀려 들어가고 있다. “AI” 사용이 특히 비판적 사고와 문제 해결 능력 면에서 우리의 인지 능력을 저하시킨다는 연구가 거듭 나왔음에도 불구하고 말이다. 그리고 이것은 함의에 불과한 것이 아니다. 몇 주 전 Sam Altman은 자신의 미래 비전을 제시했는데, 거기서 “지능”은 OpenAI로부터 임대하는 것이 된다. 지능과 세계를 이해하는 능력은 단지 돈을 벌기 위해서만이 아니라, 당신이 권력 구조를 비판할 수 있는 능력을 통제하기 위해서도 적극적으로 당신에게서 빼앗기고 있다. 이것이 바로 인식론적 부정의의 정의다.
이런 관점에서 “AI”는 인식론적 부정의를 만들어내고, 기술 엘리트가 인구를 통제하기 위해 원하는 것으로 진실을 대체하는 기계다. 이것은 파시즘의 전체주의적 권력 의지와 통제 욕망, 그리고 추론과 토론을 권력과 지도자에 대한 믿음으로 대체하는 의존성과 미묘하지 않게 정렬되는 파시스트 프로젝트다.
“AI”는 미래다. 아니, 아마 FUTURE라고 써야 할 것이다. 유일한 미래다.
이런 확률적 시스템을 우리의 핵심 정치적, 사회적, 인지적 인프라의 심장부에 도입하는 과정에서 우리가 참여할 수 있는 것은 “AI”를 어떻게 도입할지, “윤리”와 어쩌면 “모범 사례”에 대해 약간 토론하는 것뿐이다. “AI”의 불가피성을 정당화하고 완충하는 서사를 만드는 것뿐이다.
하지만 우리는 아예 할지 말지에 대해서는 말할 수 없다. “아니오”는 선택지가 아니다. 우리는 이 시스템들이 실제로는 그 에너지와 물 사용량, 그것들이 책임지는 전자폐기물의 양, 데이터 라벨러와 노동시장, 그리고 우리의 공동의 의사소통 환경에 가하는 피해를 정당화할 만큼 충분한 사회적, 심지어 경제적 이익도 만들어내지 못한다고 말할 수 없다. 이 시스템들은 당신의 휴대폰 속 모든 작은 앱과, 이 행성에서의 소중한 시간을 그들의 챗봇과 대화하는 데 낭비하라고 요구하는 모든 웹사이트를 통해 우리에게 강제로 밀어 넣어진다. 권력을 가진 사람들, 돈을 가진 사람들 — 대부분 남성들 — 이 결정을 내린다. 당신이 무엇을 원하든 상관없이. 그리고 이것만이 민주주의에 대한 유일한 부정적 영향은 아니다. 다른 공격은 더 맹렬하다.
“AI”는 점점 더 정부 절차 안으로 도입되고 있다. “AI”는 행정에 더 많은 효율을 가져오고, “관료주의를 줄여줄” 것이라고 약속된다. 하지만 관료주의는 단지 성가신 것이 아니라, 민주적 사회가 민주주의의 핵심 사상을 실현하기 위해 세워 놓은 핵심 도구들 가운데 하나다. 즉 권력의 행사에 대한 투명성을 통해 그 권력을 통제할 수 있게 하는 것 이다. 민주주의는 단지 투표의 문제가 아니라, 모든 권력 — 특히 국가 권력 — 이 법에 따라 공정하게 사용되도록 보장하는 문제다. 확률적 “AI” 시스템은 그 약속을 깨뜨린다. “AI”가 그냥 당신은 필요한 지원을 받을 수 없다고 말해 버린다. 왜 그런지는 아무도 모른다. 버그일 수도 있고, 극도로 인종주의적인 훈련 데이터셋 때문일 수도 있고, 다른 무엇일 수도 있다. 아무도 모른다. 이제 당신이 옳다는 것을 증명해야 할 책임은 당신에게 돌아간다. 당신의 권리를 위해 싸워야 할 책임도 당신에게 돌아간다. 당신의 권리를 보호하도록 설계된 절차들이 더 빠르게 만들기 위해 텅 비워졌기 때문이다. 우리는 이미 그들의 박탈이 담겨 있는 데이터로 훈련된 블랙박스와 싸우도록 주변화되고 권리를 박탈당한 사람들을 내몰고 있다. 우리는 컴퓨터가 그냥 “안 돼”라고 말할 수 있는 세계에서 살아야 한다고 요구받는다. 그 컴퓨터는 소수의 권력 있는 남성들이 만들고, 설정하고, 운영하는 것이다.
이것은 자본주의가 보통 만들어내는 권력 불균형을 넘어서는 일이다. 이것은 대중이 권력을 견제할 수 있게 하는 핵심 민주적 인프라를 해체하는 문제다.
관료주의를 밀어버리는 불도저로서의 “AI”는 민주주의 원칙에 대한 철거용 쇠구슬이다. 아주 깊이 파시스트적인 기획이다.
“AI”는 “보통의 기술”처럼 제시되거나 이야기되지 않는다. “AI”는 명확한 이익이나 가시적 결과를 제공할 필요가 없다. (예를 들어 “AI”가 약속한 효율성 증대가 실제가 아니라는 연구는 쌓이고 쌓였지만, 그것은 중요하지 않다.) 왜냐하면 “AI”는 미래이기 때문이다. “AI”는 우리의 모든 문제를 해결할 것으로 기대된다. 기후 위기? SUV 운전을 멈출 필요 없다. “AI”가 해결해 줄 것이다.
Marc Andreessen 같은 VC들만이 “AI”를 우리 집단적 미래의 핵심 구성 요소로 제시하는 것이 아니다. 자유주의적 사상가들조차 “AI”가 somehow “풍요”를 만들어낼 것이라거나, 우리가 실제로 살고 있는 현실과는 어떤 모양으로도 연결되지 않은 다른 서사를 이야기한다. “AI”는 희망과 꿈 위에 세워져 있으며, 그것이 작동하지 않는다면 그건 우리가 그것을 충분히 하지 않아서이거나, 충분히 세게 믿지 않아서일 뿐이다.
“AI”는 종교적 서사다. 기술적으로 생성된 낙원의 한 형태에 관한 이야기이며, 그 낙원을 (Marc Andreessen의 말을 빌리면) 러다이트들, 공산주의자들, 그리고 기술을 규제하려는 사람들로부터 “우리”가 지켜야 한다는 이야기다.
이 서사에서 “AI”는 복원되어야 할 “영광스러운 과거”라는 파시스트 수사와 완벽하게 연결된다. 전통적 파시즘에서는 민주주의와 인권, 마르크스주의 등이 망쳐 버린 조작된 과거가 복원 되어야 한다. 이 읽기에서 “Singularity”나 “AGI”의 종교적 서사는 정확히 같은 목적을 수행한다. 그것은 영광과 구원의 서사를 만들어내고, 그 (재)창조를 궁극적이고 다른 모든 것을 압도하는 목표로 만든다.
혹은 나치 Elon Musk의 표현을 빌리면:
인간을 디지털 초지능을 위한 생물학적 부트 로더라고 생각할 수도 있습니다.
Elon Musk (나치)
이것은 단지 유사 종교적 횡설수설만이 아니다. 인간 삶의 존엄성에 대한 무시이기도 하다. 파시스트들은 이렇게 생각한다. 사람을 수단으로, 어떤 목적에 봉사해야 하거나 파괴되어야 하는 대상으로 바꾸는 것이다.
이런 사고방식은 우리 모두를 우리의 필요와 소망, 우리가 원하는 미래의 모습에 대해 함께 숙고하는 집단적 사회 과정에 참여하는 것에서 배제한다. 우리는 더 이상 그 대화의 일부가 아니다.
싱귤래리티는 괴짜들을 위한 “MAGA”다. 모두의 미래 상상 권리와 능력을 훼손하기 위해 사용되는 파시스트 서사다.
오늘날 우리가 사용하는 의미의 “AI”는 파시스트적 사상 위에 세워져 있다. 구조적으로 파시스트적 사고를 지지한다.
그렇다고 해서 “AI” 제품의 모든 사용자가 따라서 파시스트라는 뜻은 아니다. 어떤 “AI” 사용자는 스스로를 반파시스트라고 생각할 수도 있다. 하지만 이런 시스템을 사용할 때, 당신은 본질적으로 파시스트적인 논리를 자신의 사고 안으로, 자신의 정신 장치 안으로 통합하고 있다. 이 시스템들은 당신으로 하여금 최소한 “AI” 시스템 안의 파시스트적 경향을 “정상적”이거나 “괜찮은 것”으로 받아들이게 만든다.
그리고 당신은 자신의 개별적 사용이 “AI”를 정화한다고 생각할지도 모른다. 당신이 일러스트를 생성하는 것은 somehow 힘이 곧 정의라는 논리와 폭력을 받아들이는 것이 아니고, somehow 글로벌 사우스의 고통을 받아들이는 것이 아니며, somehow 우리 사회의 신뢰를 약화시키는 일을 받아들이는 것이 아니라고 생각할지도 모른다. somehow 당신은 권리와 요구와 필요가 충족되어야 하는 사람들과, 중요하지 않은 사람들로 세계를 구조화하고 있지 않다고 생각할지도 모른다.
하지만 당신은 자신의 사고를 그 방향으로 움직이고 있으며, 비인간적인 추론을 위한 허용 구조를 만들어내고 있다.
그리고 그 점이 나를, 왜 누군가가 그런 기술과 도구를 구하려고 애쓰고 싶어 할까 하는 의문으로 이끈다. 우리가 붙잡아 두려 하는 것이 결국 우리의 인간성, 서로의 연결, 우리가 세운 민주주의를 해체하려는 시스템들일 뿐인데 말이다.
현재 기술을 둘러싼 대화에서 “AI”는 절대적으로 지배적이다. 다른 어떤 것에 대해서도 이야기할 공기를 모두 빨아들인다. 그래서 내가 이 “AI”에 관한 글을 쓴 것이다. 하지만 오해하지는 말라. 우리의 세계는 파시스트적 기술들로 가득하다. 블록체인 군중은 사실상 비인간적이고 반민주적인 사상들의 파시스트 수프 속에 살고 있다. 많은 감시 기술도 “AI”보다 나을 것이 없다. 우리는 여기서 총체적인 문제를 안고 있다.
우리 주변에 있고 우리의 삶을 구조화하는 모든 기술이 파시스트적인 것은 아니지만, 어느 것도 명시적으로 반파시스트적이지는 않다. 어느 것도 그런 사상을 거부하지 않으며, 그런 사상과 이데올로기를 거부하도록 만들어지지도 않았다.
반파시즘은 급진적인 입장이 아니다. 모든 반파시스트가 온종일 검은 옷만 입는 아나키스트일 필요는 없다. 민주주의를 믿는가? 당신은 반파시스트다. 인권을 믿는가? 전우여, 싸움에 온 것을 환영한다.
어떤 사람들은 “Open Source”를 우리의 구원으로 바라보지만, 나는 Open Source를 사랑하고 우리 모두에게 열려 있는 오픈소스 인프라의 양과 질을 현대 세계의 경이, 피라미드보다도 더 인상적인 것으로 생각하지만, 그 집단 역시 “정치적”이기를 원하지 않는다. 승인된 오픈소스 라이선스들은 모두 자유지상주의적 사고 위에 세워져 있다. 규제받거나 개인적 표현에 제약받고 싶지 않은 개인을 강화하는 사고 말이다. 정치적 가치를 표현하고 구현한다는 발상 위에 세워진 것이 아니다. 오픈소스 라이선스는 자신의 작업이 무기에 사용되는 것을 금지하게 해 주지 않는다. 자신의 작업이 사회적으로 이로운 목적에만 사용되도록 제한하게도 해 주지 않는다. 오픈소스는 경이롭지만, 비정치적이기를 원하며, 그렇기에 파시즘에 맞서 싸우는 데 우리를 도와주지 못한다. 그것은 중립으로 남고 싶어 한다. 하지만 산불 앞에 서 있을 때 중립이란 없다.
우리는 파시즘을 거부해야 한다. 우리의 마음과 정신에서 파시스트적 사고를 제거해야 한다. 그것이야말로 더 공생적이고 인간적인 세계로 가는 길이다. 우리의 유토피아로 가는 길. 아니, 더 정확히는 여러 유토피아들로 가는 길이다.
그리고 그것을 이루기 위해서는 우리 삶의 큰 부분을 점점 더 구조화하고 있는 기술을 바로잡아야 한다. 반파시스트적 기술을 만들고, 그런 기술의 창조를 둘러싼 반파시스트적 사회 구조를 세워야 한다.
그렇게 하지 않으면 우리는 그 결과를 겪게 될 것이다. 그리고 역사는 파시스트들이 권력을 잡게 내버려두었을 때 그 결과가 어떤 모습인지 이미 보여주었다.
이 글을 Brian Merchant의 훌륭한 책 “Blood in the Machine”에 나오는 인용문으로 끝내고 싶다.
어떤 기계들은 부숴야 한다. 그래야 그것들이 괴물을 생산하는 일을 멈춘다.
Brian Merchant
여기서 괴물은 파시즘이다. 그러니 요약하며 남은 말은 단 하나다.
마음에 드셨나요? 잠시 시간을 내어 Patreon에서 tante를 후원해 주세요!
이 저작물은 Creative Commons Attribution-ShareAlike 4.0 International License에 따라 라이선스가 부여됩니다.
인용 13개
최신 글을 이메일로 받아보려면 구독하세요.
이메일을 입력하세요…
구독
George Aliferis 2026년 4월 22일 이제는 AI를 이데올로기로 사용하는 것과 LLM 같은 기술 자체를 분리해서 봐야 할 때라고 느낍니다. (그리고 아마 더 낫고 더 세분화된 용어들이 있을지도 모르겠지요.)저는 AI라는 용어를 피하려고 노력합니다… 하지만 성공하고 있을까요? 답글
2. 
아마 기록 보관소에 있을 겁니다. 꽤 확실히 Eben Moglen도 이 논의에 관여했던 걸로 기억합니다. 몇몇 다른 지식재산권 변호사들도 추천해 드릴 수 있습니다… 답글
3.
아마 기록 보관소에 있을 겁니다. 꽤 확실히 Eben Moglen도 이 논의에 관여했던 걸로 기억합니다. 몇몇 다른 지식재산권 변호사들도 추천해 드릴 수 있습니다… 답글
4. 
d@nny disc@ mc² 2026년 4월 22일 @blog 이건 정말 환상적으로 잘 쓴 글이에요 tante 다음으로 답글 작성 Fediverse에서 답글## 원격 답글 #### 원본 댓글 URL
좋아하는 오픈 소셜 앱이나 플랫폼의 검색창에 댓글 URL을 붙여넣으세요. 댓글 URL #### 내 프로필
또는 자신의 프로필을 알고 있다면, 그 방식으로도 시작할 수 있습니다! 왜 프로필을 입력해야 하나요? 이 사이트는 ⁂ 열린 소셜 웹의 일부입니다. 열린 소셜 웹은 서로 연결된 소셜 플랫폼들(Mastodon, Pixelfed, Friendica 등)의 네트워크입니다. 중앙집중형 소셜 미디어와 달리, 당신의 계정은 당신이 선택한 플랫폼에 있고, 서로 다른 플랫폼의 사람들과도 상호작용할 수 있습니다.
프로필을 입력하면, 이 작업을 완료할 수 있도록 당신의 계정으로 이동시켜 드립니다. 당신의 Fediverse 프로필 답글 불러오는 중… - [x] 다음 댓글을 위해 내 프로필 저장.
1. 
sOnne 2026년 4월 22일 읽는 문단마다 “…. 맞아… ”라고 생각하게 되네요. 사람들 대부분은 아마 이 모든 걸 깊은 곳에서는 알고 있는데도 말이죠…우리가 사용하는 소프트웨어의 모든 틈으로 AI가 스며들지 못하게 하는 일부터 시작해야 한다고 생각합니다. 지금은 너무 많은 것들이 이미 오염되어 있어요. 답글
1.
Jon 2026년 4월 22일 @blog 훌륭한 에세이입니다! 다음으로 답글 작성 Fediverse에서 답글## 원격 답글 #### 원본 댓글 URL좋아하는 오픈 소셜 앱이나 플랫폼의 검색창에 댓글 URL을 붙여넣으세요. 댓글 URL #### 내 프로필
또는 자신의 프로필을 알고 있다면, 그 방식으로도 시작할 수 있습니다! 왜 프로필을 입력해야 하나요? 이 사이트는 ⁂ 열린 소셜 웹의 일부입니다. 열린 소셜 웹은 서로 연결된 소셜 플랫폼들(Mastodon, Pixelfed, Friendica 등)의 네트워크입니다. 중앙집중형 소셜 미디어와 달리, 당신의 계정은 당신이 선택한 플랫폼에 있고, 서로 다른 플랫폼의 사람들과도 상호작용할 수 있습니다.
프로필을 입력하면, 이 작업을 완료할 수 있도록 당신의 계정으로 이동시켜 드립니다. 당신의 Fediverse 프로필 답글 불러오는 중… - [x] 다음 댓글을 위해 내 프로필 저장.
7. 
이메일 주소는 공개되지 않습니다.필수 입력 항목은 * 로 표시됩니다.
댓글 *
이름
이메일
웹사이트
후속 댓글을 이메일로 받기.
새 글을 이메일로 받기.
이 사이트의 모든 콘텐츠는 별도 표기가 없는 한 CC-BY-SA-4.0에 따라 라이선스가 부여됩니다.
!%5BImage){kind=link}