생성형 인공지능이 자신의 출력물로 반복 학습할 때 품질과 다양성이 어떻게 떨어질 수 있는지 살펴본다.
Aatish Bhatia는 인공지능 연구자들을 인터뷰하고 연구 논문을 검토했으며, 인공지능 시스템에 자기 자신의 출력물을 입력했다.
2024년 8월 25일
인터넷은 인공지능이 생성한 글과 이미지로 넘쳐나고 있다.
OpenAI의 최고경영자 Sam Altman은 2월에 회사가 하루 약 1,000억 단어를 생성한다고 썼다. 이는 매일 소설 100만 권 분량의 텍스트이며, 그중 얼마나 많은 양이 인터넷으로 흘러 들어가는지는 알 수 없다.
인공지능이 생성한 텍스트는 식당 후기, 데이팅 프로필 또는 소셜 미디어 게시물로 나타날 수 있다. 뉴스 기사로 나타날 수도 있다. 온라인 허위정보를 추적하는 단체 NewsGuard는 최근 오류가 잦은 인공지능 생성 뉴스 기사를 쏟아내는 1,000개가 넘는 웹사이트를 확인했다.
실제로는 이런 종류의 콘텐츠를 완벽하게 탐지할 방법이 없기 때문에, 많은 콘텐츠는 그저 탐지되지 않은 채 남을 것이다.
이 모든 인공지능 생성 정보는 무엇이 진짜인지 알기 어렵게 만들 수 있다. 또 인공지능 기업들에도 문제를 제기한다. 다음 모델을 훈련할 새 데이터를 찾기 위해 웹을 훑는 과정은 갈수록 어려워지는 작업인데, 이들은 자신들이 생성한 인공지능 콘텐츠 일부를 흡수할 가능성이 크다. 한 인공지능의 출력물이 다른 인공지능의 입력물이 되는 의도치 않은 피드백 고리가 만들어지는 것이다.
장기적으로 이 순환은 인공지능 자체에 위협이 될 수 있다. 연구들은생성형인공지능이 자기 자신의 출력물을 대량으로 학습하면 성능이 크게 나빠질 수 있음을 보여주었다.
인공지능 시스템이 자기 자신의 출력물로 계속해서 반복 학습할 때 무슨 일이 일어나는지 보여주는 간단한 사례는 다음과 같다.
이는 손글씨 숫자 60,000개로 이루어진 데이터 세트의 일부다.
이 숫자들을 모방하도록 인공지능을 훈련했을 때, 출력물은 다음과 같았다.
이 새 세트는 앞선 인공지능 생성 숫자로 훈련한 인공지능이 만들었다. 이 과정이 계속되면 어떻게 될까?
새 인공지능들이 이전 세대의 출력물로 학습한 지 20세대가 지나자 숫자들은 흐려지고 닳아 없어지기 시작한다.
30세대가 지나면 하나의 형태로 수렴한다.
단순화한 사례이지만, 이는 다가오는 문제를 보여준다.
이전 챗봇들이 생성한 더 좁은 범위의 의학 지식으로 훈련되어, 증상에 맞는 질병을 더 적게 나열하는 의료 조언 챗봇을 상상해 보자. 또는 인공지능 생성 선전을 흡수해 사실과 허구를 더는 구분하지 못하는 인공지능 역사 교사를 생각해 볼 수 있다.
복사본의 복사본이 원본에서 멀어질 수 있듯이, 생성형 인공지능이 자기 자신의 콘텐츠로 학습하면 그 출력물도 현실에서 멀어질 수 있으며, 모방하도록 설계된 원래 데이터와 점점 더 차이가 벌어질 수 있다.
지난달 학술지 Nature에 발표된 논문에서 영국과 캐나다 연구자들은 이 과정이 시간이 흐르며 인공지능 출력 범위를 어떻게 좁히는지 보였다. 이는 그들이 ‘모델 붕괴’라고 부른 현상의 초기 단계다.
방금 본 닳아가는 숫자들이 이 붕괴를 보여준다. 인간의 입력에서 분리되자 인공지능 출력은 품질 면에서 떨어지고(숫자가 흐려짐), 다양성도 감소했다(서로 비슷해짐).
| “3” | “4” | “6” | “8” | “9” | |
|---|---|---|---|---|---|
| 손글씨 숫자 |  |  |  |  |  |
| 초기 인공지능 출력 |  |  |  |  |  |
| 10세대 후 |  |  |  |  |  |
| 20세대 후 |  |  |  |  |  |
| 30세대 후 |  |  |  |  |  |
훈련 데이터의 일부만 인공지능 생성 데이터였다면 감소는 더 느리거나 미묘했을 것이다. 하지만 합성 데이터를 많은 양의 새로운 실제 데이터로 보완하지 않는 한, 이 현상은 여전히 일어날 것이라고 연구자들은 말한다.
한 사례에서 연구자들은 대규모 언어 모델을 자기 자신의 문장으로 거듭 훈련하면서, 매번 같은 프롬프트를 완성하라고 요청했다.
**“추수감사절에 칠면조를 요리하려면, 당신은…,”**으로 시작하는 문장을 완성하라고 했을 때 처음에는 이렇게 응답했다.
처음부터 인공지능은 ‘환각’을 일으킨다. 그러나 연구자들이 자기 자신의 문장으로 추가 훈련하자 훨씬 나빠졌다.
인공지능 모델이 생성한 텍스트 사례.
두 세대 뒤에는 단지 긴 목록을 출력하기 시작했다.
자기 자신의 문장으로 2세대 동안 훈련한 뒤 인공지능 모델이 생성한 텍스트 사례.
네 세대 뒤에는 앞뒤가 맞지 않게 구절을 반복하기 시작했다.
자기 자신의 문장으로 4세대 동안 훈련한 뒤 인공지능 모델이 생성한 텍스트 사례.
“모델은 자기 자신의 현실 투사물에 오염된다”고 연구자들은 썼다.
이 문제는 텍스트에만 국한되지 않는다. Rice University의 다른 연구팀은 이미지 생성 인공지능이 자기 자신의 출력물로 반복 훈련될 때 어떤 일이 일어나는지 연구했다. 인공지능 생성 이미지가 웹을 뒤덮으면서, 이는 이미 발생하고 있을 수 있는 문제다.
그들은 인공지능의 출력물에 결함과 이미지 아티팩트가 쌓이기 시작해, 결국 주름진 무늬와 뭉개진 손가락을 지닌 왜곡된 이미지를 만들어 낸다는 사실을 발견했다.
인공지능 이미지 모델이 자기 자신의 출력물로 훈련되면 왜곡된 이미지, 뭉개진 손가락 또는 이상한 무늬를 만들어 낼 수 있다.
Sina Alemohammad와 다른 연구자들이 생성한 인공지능 이미지.
인공지능 이미지 모델 연구를 이끈 교수 Richard Baraniuk는 “비행금지구역 같은 공간의 일부로 흘러 들어가게 되는 셈”이라고 말했다.
연구자들은 이 문제를 막을 유일한 방법은 인공지능이 충분한 양의 새롭고 실제적인 데이터로도 훈련되도록 보장하는 것임을 발견했다.
인터넷에 셀피가 부족한 것은 분명 아니지만, 인공지능 출력물이 진짜 데이터보다 많은 이미지 범주도 있을 수 있다고 그들은 말했다.
예를 들어 인공지능 생성 반 고흐 화풍 이미지는 인공지능의 훈련 데이터에 들어 있는 실제 반 고흐 그림 사진보다 많아질 수 있고, 이는 훗날 오류와 왜곡으로 이어질 수 있다. 연구자들은 선도적인 인공지능 모델은 외부 검증에 닫혀 있어 이 문제의 초기 징후를 탐지하기가 어려울 것이라고 말했다.
이 모든 문제는 인공지능 생성 데이터가 흔히 실제 데이터를 제대로 대체하지 못하기 때문에 발생한다.
챗봇이 터무니없는 사실을 말하거나 인공지능 생성 손에 손가락이 너무 많이 달린 경우처럼, 이는 때로 쉽게 알아볼 수 있다.
그러나 모델 붕괴로 이어지는 차이는 반드시 눈에 띄는 것은 아니며, 탐지하기 어려울 수 있다.
생성형 인공지능이 방대한 데이터로 ‘훈련’될 때 내부에서 실제로 일어나는 일은 _통계적 분포_를 구성하는 것이다. 이는 문장의 다음 단어나 그림의 픽셀을 예측하는 확률의 집합이다.
예를 들어 손글씨 숫자를 모방하도록 인공지능을 훈련했을 때, 그 출력물은 다음과 같은 통계적 분포로 배열할 수 있다.
초기 인공지능 출력물의 사례:
여기에 표시한 분포는 명확성을 위해 단순화했다.
이 종 모양 곡선의 정점은 가장 가능성 높은 인공지능 출력물, 즉 이 경우 가장 전형적인 인공지능 생성 숫자를 나타낸다. 양쪽 꼬리 부분은 덜 흔한 출력물을 설명한다.
모델이 인간 데이터로 훈련되었을 때는 가능한 출력물의 범위가 건강하게 넓었으며, 이는 위 곡선의 너비에서 볼 수 있다.
그러나 자기 자신의 출력물로 훈련한 뒤에는 곡선에 다음과 같은 일이 일어났다.
곡선은 더 높고 좁아진다. 그 결과 모델은 점점 더 작은 범위의 출력물을 만들어 낼 가능성이 커지며, 출력물은 원래 데이터에서 멀어질 수 있다.
한편 희귀하거나 특이하거나 놀라운 결과를 담고 있는 곡선의 양쪽 꼬리 부분은 사라진다.
이는 모델 붕괴의 뚜렷한 징후다. 희귀 데이터가 더욱 희귀해진다.
이 과정이 통제되지 않는다면, 곡선은 결국 뾰족한 선이 될 것이다.
이는 모든 숫자가 동일해지고 모델이 완전히 붕괴한 시점이다.
이것이 생성형 인공지능이 곧 멈춰 선다는 뜻은 아니다.
이 도구를 만드는 기업들은 이런 문제를 알고 있으며, 인공지능 시스템의 품질이 떨어지기 시작하면 알아차릴 것이다.
하지만 발전 속도를 늦출 수는 있다. 기존 데이터 원천이 고갈되거나, 인공지능 ‘찌꺼기’로 오염될수록, 신규 진입자가 경쟁하기는 더 어려워진다고 연구자들은 말한다.
인공지능 생성 글과 이미지는 이미 소셜 미디어와 더 넓은 웹을 뒤덮기 시작했다. Rice 연구자들이 발견한 바에 따르면, 이것들은 인공지능 훈련에 쓰이는 일부 데이터 세트에까지 숨어 있다.
이미지 모델에 대한 인공지능 오염의 영향을 연구한 Rice의 대학원생 Sina Alemohammad는 “웹은 데이터를 찾기에 갈수록 위험한 곳이 되고 있다”고 말했다.
대형 기업도 영향을 받을 것이다. N.Y.U.의 컴퓨터 과학자들은 훈련 데이터에 인공지능 생성 콘텐츠가 많을 때 인공지능을 훈련하는 데 더 많은 컴퓨팅 성능이 필요하다는 사실을 발견했다. 이는 더 많은 에너지와 더 많은 비용을 뜻한다.
이 연구를 이끈 N.Y.U. 교수 Julia Kempe는 “모델은 이제 마땅히 확장되어야 할 방식으로 더 이상 확장되지 않을 것”이라고 말했다.
선도적인 인공지능 모델은 이미 훈련에 수천만 달러에서 수억 달러가 들고, 엄청난 양의 에너지를 소비한다. 따라서 이는 상당한 문제가 될 수 있다.
마지막으로, 붕괴의 초기 단계조차 또 하나의 위협을 제기한다. 바로 다양성의 침식이다.
그리고 이는 기업들이 인공지능 데이터에서 흔히 발생하는 결함과 ‘환각’을 피하려 할수록 더 일어날 가능성이 높은 결과다.
이 점은 데이터가 우리가 시각적으로 인식할 수 있는 다양성, 즉 사람의 얼굴에 해당할 때 가장 쉽게 볼 수 있다.
이 인공지능 얼굴 세트는 위의 왜곡된 얼굴들을 만든 동일한 Rice 연구자들이 만들었다.
이번에는 시각적 결함을 피하도록 모델을 조정했다.
자세, 표정, 나이, 인종의 변화를 보여주는 인공지능 생성 얼굴 격자.
이는 새 인공지능을 이전 얼굴 세트로 훈련한 뒤의 출력물이다.
언뜻 보면 모델 변경이 효과를 낸 듯하다. 결함이 사라졌다.
인공지능 출력물로 한 세대 학습한 뒤, 인공지능 생성 얼굴들은 더 비슷해 보인다.
두 세대 뒤에는 …
인공지능 출력물로 두 세대 학습한 뒤, 인공지능 생성 얼굴들은 원래 이미지보다 다양성이 낮다.
세 세대 뒤에는 …
인공지능 출력물로 세 세대 학습한 뒤, 인공지능 생성 얼굴들은 더 비슷해진다.
네 세대 뒤에는 얼굴들이 모두 수렴한 듯 보였다.
인공지능 출력물로 네 세대 학습한 뒤, 인공지능 생성 얼굴들은 거의 동일해 보인다.
Alemohammad는 이러한 다양성 감소를 “숨은 위험”이라고 말했다. “그저 무시하다가 너무 늦어서야 그것을 이해하지 못한다는 사실을 깨닫게 될 수 있다.”
숫자의 경우와 마찬가지로, 변화는 대부분의 데이터가 인공지능 생성 데이터일 때 가장 뚜렷하다. 실제 데이터와 합성 데이터를 더 현실적으로 섞으면 감소는 더 점진적일 것이다.
그러나 이 문제는 현실 세계와 관련이 있으며, 인공지능 기업들이 자기 자신의 출력물을 피하기 위해 의식적으로 노력하지 않는 한 불가피하게 일어날 것이라고 연구자들은 말했다.
관련 연구는 인공지능 언어 모델이 자기 자신의 단어로 훈련될 때 어휘가 줄고 문장의 문법 구조가 덜 다양해진다는 점, 즉 ‘언어적 다양성’의 손실을 보여준다.
또 연구들은 이 과정이 데이터 속 편향을 증폭할 수 있으며, 소수 집단에 관한 데이터를 지울 가능성이 더 높다는 사실을 발견했다.
아마도 이 연구가 주는 가장 큰 교훈은 고품질의 다양한 데이터가 가치 있으며 컴퓨터가 모방하기 어렵다는 점이다.
따라서 한 가지 해결책은 인공지능 기업이 인터넷에서 긁어모으는 대신 이 데이터에 비용을 지불하여, 인간이 만든 고품질 데이터임을 모두 보장하는 것이다.
OpenAI와 Google은 인공지능 개선을 위해 일부 출판사 또는 웹사이트의 데이터를 사용하기로 계약을 맺었다. The New York Times는 지난해 저작권 침해를 주장하며 OpenAI와 Microsoft를 상대로 소송을 제기했다. OpenAI와 Microsoft는 콘텐츠 사용이 저작권법상 공정 이용에 해당한다고 말한다.
인공지능 출력물을 더 잘 탐지하는 방법도 이런 문제를 완화하는 데 도움이 될 것이다.
Google과 OpenAI는 인공지능 생성 이미지와 텍스트를 식별하는 데 사용할 수 있는 숨은 패턴을 넣는 인공지능 ‘워터마킹’ 도구를 개발하고 있다.
그러나 연구자들은 텍스트 워터마킹은 항상 신뢰성 있게 탐지할 수 있는 것이 아니고 쉽게 무력화될 수 있기 때문에 어렵다고 말한다. 예를 들어 다른 언어로 번역되면 워터마크가 남지 않을 수 있다.
인공지능 찌꺼기만이 기업이 합성 데이터를 경계해야 하는 이유는 아니다. 또 다른 문제는 인터넷에 존재하는 단어의 수가 한정돼 있다는 점이다.
일부 전문가들은 가장 큰 인공지능 모델들이 인터넷에서 이용 가능한 텍스트 풀의 몇 퍼센트로 훈련되었다고 추정한다. 이들은 이 모델들이 10년 이내에 현재 성장 속도를 유지할 공개 데이터를 모두 소진할 수 있다고 전망한다.
Baraniuk 교수는 “이 모델들은 너무 거대해서, 이미지나 대화로 이루어진 인터넷 전체가 어쨌든 충분하지 않은 상태에 가까워지고 있다”고 말했다.
늘어나는 데이터 수요를 충족하기 위해 일부 기업은 오늘날의 인공지능 모델로 내일의 모델을 훈련할 데이터를 생성하는 방안을 고려하고 있다. 그러나 연구자들은 이것이 의도치 않은 결과, 예컨대 위에서 본 품질 또는 다양성 감소로 이어질 수 있다고 말한다.
합성 데이터가 인공지능 학습에 도움이 될 수 있는 특정 맥락도 있다. 예를 들어 더 큰 인공지능 모델의 출력물로 더 작은 모델을 훈련할 때, 또는 수학 문제의 해답이나 체스 또는 바둑 같은 게임의 최선 전략처럼 정답을 검증할 수 있을 때가 그렇다.
또 새로운 연구는 인간이 합성 데이터를 선별할 때, 예를 들어 인공지능 답변의 순위를 매기고 최선의 답변을 고를 때 붕괴의 일부 문제를 완화할 수 있음을 시사한다.
Kempe 교수는 기업들이 이미 데이터 선별에 많은 비용을 쓰고 있으며, 합성 데이터의 문제를 알게 되면서 이것이 더욱 중요해질 것이라고 믿는다고 말했다.
그러나 지금으로서는 진짜를 대체할 것은 없다.
데이터에 관하여
인공지능 생성 숫자 이미지를 만들기 위해 우리는 연구자들이 제시한 절차를 따랐다. 먼저 변분 오토인코더로 알려진 신경망 유형을 표준 손글씨 숫자 60,000개 데이터 세트로 훈련했다.
그다음 이전 신경망이 생성한 인공지능 생성 숫자만을 이용해 새 신경망을 훈련하고, 이 과정을 30회 반복했다.
인공지능 출력물의 통계 분포를 만들기 위해 각 세대의 신경망으로 숫자 그림 10,000개를 만들었다. 그런 다음 첫 번째 신경망, 즉 원래 손글씨 숫자로 훈련한 신경망을 이용해 이 그림들을 ‘잠재 공간’ 인코딩이라고 하는 숫자 집합으로 부호화했다. 이를 통해 서로 다른 세대 신경망의 출력물을 정량적으로 비교할 수 있었다. 단순화를 위해 이 잠재 공간 인코딩의 평균값을 사용해 기사에 제시된 통계 분포를 생성했다.
