Claude는 이제 조용히 성능이 약화될 수 있다. Anthropic은 사용자가 그 사실을 알지 못하게 하기로 결정했고, 이는 AI 기능을 제품에 통합하는 현대 소프트웨어 기업에 새로운 공급망 위험을 만든다.
이런 내용을 모델 카드에서 읽게 될 줄은 예상하지 못했다. Fable 5 model card :
우리는 최전선 LLM 개발을 겨냥한 요청(예를 들어 사전학습 파이프라인 구축, 분산 학습 인프라, 또는 ML 가속기 설계)에 대해 Claude의 효과를 제한하는 새로운 개입을 구현했다. 경쟁 모델을 개발하는 데 Claude를 사용하는 것은 이미 우리의 서비스 약관을 위반하지만, 이러한 제한을 안전장치를 통해 집행함으로써 우리는 이 약관을 가장 기꺼이 위반하려는 행위자들의 속도를 높이지 않도록 한다. 사이버보안, 생물학 및 화학, 그리고 증류 시도에 대한 우리의 개입과는 달리, 이러한 안전장치는 사용자에게 보이지 않을 것이다. Fable 5는 다른 모델로 대체되지 않을 것이다. 대신 이러한 안전장치는 프롬프트 수정, 스티어링 벡터, 또는 파라미터 효율적 파인튜닝(PEFT) 같은 방법을 통해 효과를 제한할 것이다.
이제 Claude는 조용히 너프될 수 있다. Anthropic은 이런 일이 일어날 때 사용자에게 알리지 않기로 결정했다.
현대의 소프트웨어 회사들은 점점 더 자체적인 임베딩, 리랭킹, 추천 시스템을 구축한다. 내가 운영하는 작은 부트스트랩 앱인 wanderfugl.com조차도 내가 직접 학습시킨 맞춤형 리랭커와 임베딩 알고리즘을 갖고 있다.
Anthropic은 자신들이 "최전선 AI 개발"이라고 간주하는 것의 몇 가지 예를 들지만, 명확한 경계를 제시하지는 않는다. 문제는 한때 AI 연구소에만 국한되었던 많은 기술이 이제는 일반적인 소프트웨어 회사들에서도 사용되고 있다는 점이다. 스타트업은 임베딩 모델을 학습시킨다. 리랭커를 구축한다. 작은 llms를 파인튜닝하고 호스팅한다. "최전선 AI 연구"와 일반적인 제품 개발 사이의 경계는 해마다 점점 더 정의하기 어려워지고 있다.
이는 기업들에게 실제 공급망 위험을 만들어낸다. 내가 AI 구성요소를 작업하는 동안 Claude가 형편없거나 틀린 조언을 준다면, 나는 모델이 혼란스러웠는지, 내 문제가 해결 불가능한 것인지, 아니면 어떤 보이지 않는 정책 제한이 조용히 작동했는지 알 방법이 없다. Anthropic은 이런 일이 일어날 때 사용자에게 알리지 않겠다고 명시적으로 선택했다.
개발 도구가 당신의 성공을 위해 최적화하는 일을 멈추면서도 그것을 알려주지 않을 수 있게 되는 순간, 당신의 인프라를 완전히 신뢰하는 것은 불가능해진다.
Anthropic은 이러한 안전장치가 개발자의 0.03%에게만 영향을 미친다고 말한다. 어쩌면 오늘은 그 말이 사실일지도 모른다.
문제는 AI 회사의 정의가 바뀌고 있다는 점이다.
어쩌면 당신은 오늘 최전선 모델을 학습시키고 있지 않을 수도 있다. 대부분의 회사가 그렇다. 하지만 현대 소프트웨어에는 점점 더 AI 모델이 포함된다. 5년 전만 해도 스타트업을 만든다는 것은 API와 SQL 쿼리를 작성하는 것을 의미했다. 오늘날에는 종종 모델을 학습시키고, 튜닝하고, 배포하는 것을 뜻한다.
5년 전만 해도 CLIP 같은 모델은 최전선 AI 연구 프로젝트였다. 오늘날 나는 그것들을 부트스트랩 여행 스타트업을 위해 파인튜닝하고 있다.
당신이 제품을 위한 모델 학습 파이프라인을 디버깅하는 중이고 Claude가 좋지 않은 답변을 준다면, 모델이 혼란스러웠던 것일까? 당신이 나쁜 맥락을 준 것일까? 아니면 숨겨진 정책 너프가 Claude의 당신을 돕는 능력을 약화시킨 것일까?
당신은 알 수 없을 것이다.
