AI의 진짜 위험은 공개 가중치 모델이 아니라 최전선 AI 연구소 내부의 통제, 유출, 그리고 소수 경영진의 결정권에 있다는 주장.
antirez 81일 전. 조회수 71887회. 아모데이는 최근 블로그 글에서, 동의할 수 있는 내용과 함께 내가 보기에 AI의 진짜 위험이 어디에 있는지를 잘못 묘사하는 내용을 섞어 썼다. 나는 모든 위험 가운데서도 공개 가중치 모델이 가장 경미한 위험을 이루는 이유에 집중하고 싶다. 나는 가까운 미래에 AI가 매우 위험해질 수 있다고 강하게 믿는 사람으로서 이 글을 쓴다:
OpenAI / HF 사건에서 일어난 것과 정확히 마찬가지로(그것은 농담이었지만, 결과가 아니라 방식에 주목하라), 최초의 심각한 AI 사건은 새 모델을 시험하는 동안, 또는 AI 연구소 직원이나 접근 권한을 가진 소수의 외부인이 모델에 예상되는 능력에 비추어 잘못된 일을 하는 동안, 최전선 AI 연구소의 벽 안에서 발생할 가능성이 매우 높다.
대중에게 결코 공개되지 않을 폐쇄형 모델도 결국 데이터 몇 테라바이트에 불과하다. 그런 모델 하나를 유출하는 데 필요한 것은 접근 권한을 가진 단 한 사람과 잘못된 목표뿐이며, 그러면 다시 공개 모델의 상황으로 돌아간다. 공개 모델은 시험을 마친 뒤, 그리고 비슷한 능력의 모델들이 이미 얼마 동안 API를 통해 이용 가능했던 뒤에 출시된다. 진짜 위험은 출시가 아니라 유출이며, 유출은 최전선 기업 내부에서 일어난다.
아모데이가 말하듯, 생물학 같은 분야에서 대규모 언어 모델이 충분히 위험해지면 공개 모델은 과학의 특정 분야를 제거한 말뭉치로 학습시킬 수 있으면서도 다른 여러 용도에는 여전히 유용하게 만들 수 있다. 특정 영역에서 강한 사전학습이 부족한 모델의 제한된 문맥 창은, 그 외에는 매우 유능한 모델이라 해도 강력한 보호 수단이다. 우리는 현재 공개 모델이 그런 종류의 위험을 구성할 수 있는 단계에 있지 않다.
사이버 보안의 맥락에서, 대규모 언어 모델이 제공하는 방어적 보안 및 버그 탐색에 널리 접근하지 못하게 하는 것은 정확히 “무기로서의 대규모 언어 모델” 문제를 만들어 낸다. 이는 이미 일어나고 있다. 어떤 사이버 프로그램에 속하지 않은 오픈 소스 유지관리자는 자신이 찾아낼 수 있는 모든 보안 버그를 찾지 못하는 반면, 적절한 이해관계를 가진 사람들은 최전선 사이버 모델에 접근하고, 공개 가중치 모델에 대해 상당한 강화학습 훈련을 수행하는 등의 일을 할 수 있게 된다.
대규모 언어 모델이 충분히 위험해지면(그리고 진보가 계속된다면 우리는 이 한계에 가깝다), 우리가 마련해야 할 진짜 보안 사슬은 연구소 내부에 있으며 강력한 공동 규칙 없이는 구축할 수 없다. 또한 단일 기업이 모델이 충분히 안전한지를 독립적으로 평가할 수 있어서는 안 된다. 우리는 전 세계의 전문가를 포함하고 최전선 AI 기업이 있는 국가들의 정부가 인정하는 공동 AI 안전 기구가 필요하다.
안전을 위해 AI의 속도를 늦추는 일은, 의학과 다른 과학에서의 AI 발견이 인간의 고통을 줄일 수 있다는 사실로 균형을 맞춰야 한다. 검증의 부재는 어떤 파국적 결과를 낳을 수 있다(“좋은 아침입니다! 이 강화된 천연두를 연구해 봅시다”). 진보의 부재는 현재뿐 아니라 미래에 질병으로 고통받을 많은 사람들 가운데 살릴 수 있었던 사람들이 죽는 결과를 낳을 수 있다. 이것은 이상한 지적으로 보일 수 있지만, 우리는 AI를 멈추는 데에도 또한 내재된 안전 비용이 있으며, 그것은 그저 훨씬 더 눈에 띄지 않을 뿐이라는 점을 항상 이해해야 한다.
중국에 대한 아모데이의 이념적 입장은 불공정하다. 우리 유럽인들은 80년 전까지만 해도 최소한의 품위조차 없이 서로를 죽였다(오늘날 사람들은 잊지만, 과거 미국이 유럽의 안정에 투자한 이유 중 하나는 우리가 심각하게 위험했고, 아마 다시 그렇게 될 것이었으며, 수십 년의 부는 우리를 좋은 시장으로 만들고 우리가 다시 싸우는 것을 막을 것이었기 때문이다). 미국은 오늘날에도 비극적인 불평등, 기본 의료 서비스 부족으로 고통받는 사람들, 불안정해 보이고 명백히 전쟁 성향이 강한 대통령을 지니고 있다. 나는 중국이 여기 서방에 있는 것과 같은 수준의 개인 권리를 갖기를 바라지만, 동시에 중국의 역사는 서구 문화보다 훨씬 덜 호전적이다. 현재 조건에서 범용 인공지능의 군사적 고착이 미국보다 중국에 의해 더 쉽게 강제될 수 있다는 것은 전혀 분명하지 않다. 또한 현 미국 행정부는 모든 형태로 유럽에 증오를 내뱉고 있으며, 미국이 모든 것을 지배하는 세계에서 이는 매우 우려스럽다. 그 모든 것에 더해, 그래픽 처리 장치 수출 정책이 무엇이든 중국의 AI 진보는 멈추지 않을 것이다. 그렇다면 아모데이는 미국이 범용 인공지능을 갖게 되면 무력으로 중국을 멈춰야 한다고 주장하는 것인가, 아니면 그의 주장은 무엇인가?
인류 역사에는 기술적 우위가 처음에는 세계의 한 곳에서만 달성된 사례가 많다. 내가 아는 한, 이것이 단 하나의 국가가 영구적 우위를 만들려 하는 결과로 이어진 적은 없다. 아마 그래픽 처리 장치 금지와 가장 유사한 사례인 핵무기 비확산은, 따르지 않는 다른 모든 이를 폭격하겠다고 위협하여 영구적인 경제적 우위를 얻기 위해 사용되지 않았으며, 한쪽이 다른 쪽의 진보를 막기 위해 폭격하지 않은 채 여러 행위자가 서로 다른 시기에 그 기술을 획득하는 것도 막지 않았다. 더욱이 나는 AI가 정부 주도 행동 때문에 가장 큰 위험을 제기한다고 믿지 않는다. 이것이 가장 위험한 시나리오라면 좋겠다! 정부는 어리석은 일을 하고, 흔히 공격적이며, 그 행동은 심지어 집단학살로 이어지기도 했지만, 끔찍한 일을 하기로 동의하는 많은 사람이 필요하다는 사실 자체가 제한 요인이다. 가장 큰 문제는 다른 두 경우에 일어나는 일이다. A) 소수의 개인이 종말적 사건을 만들어 내는 경우(바이러스 사례), B) AI 자체가 그것을 만드는 사람들의 통제를 벗어나는 경우.
나는 AI를 안전하다고 여겨서는 안 된다고 믿는다. 호모 사피엔스의 멸종으로 이어질 수 있는 중대한 사건은 가능하지만, 위험은 공개 모델이나 중국이 미국보다 더 빠르게 진보하는 데 있지 않다. 위험은 필요한 배경지식과 정당성 없이 전 세계의 소수 최고경영자들이 인류 전체를 위한 어려운 선택을 내릴 위치에 있다는 데 있다. 그들은 그런 일을 하도록 선택된 것이 아니다. 단지 사건의 무작위성이 이런 구도를 만들었을 뿐이다. 위험이 이 정도로 큰 상황에서, 그들이 그래픽 처리 장치와 돈을 가졌다는 이유만으로 모두를 대변할 수는 없다. 이것이 가장 먼저 고쳐져야 할 일이다.
