Apple의 Siri AI와 프라이빗 추론이 약속하는 보호가 왜 에이전트 시대에는 충분하지 않은지, 데이터 유출·프롬프트 인젝션·정부 감시에 이르기까지 그 한계를 살펴본다.
어제 Apple은 자사 Siri 생태계에 진짜 AI를 배치하는 일에 대한 큰 진전을 발표했다. 대부분의 측면에서 이것은 좋고도 불가피한 일이다. Siri는 세계에서 가장 널리 사용되는 음성 에이전트 중 하나이고, 형편없지 않다면 더 좋을 것이다. Apple이 최전선 모델로 그 성능을 끌어올리리라는 점은 _할지 말지_의 문제가 아니라, 언제 그리고 _누구와 함께_의 문제에 더 가까웠다.
그 누구는 Google인 것으로 보인다. Apple은 Google Gemini 모델들의 조합과, 프라이빗 호스팅을 위한 Google의 Confidential Inference 및 Apple 자체의 Private Cloud Compute를 함께 사용할 것으로 보인다. 이 시스템들은 여러분의 질의를 처리할 뿐 아니라 여러분 기기의 사적인 데이터까지 평가하게 된다. Apple의 마케팅은 그 장점을 다음과 같이 내세운다.
이 목표들 사이에는 어느 정도 긴장이 있다. Apple은 이를 Private Cloud Compute, 줄여서 PCC라고 부르는 서비스를 마케팅함으로써 다루어 왔다. PCC는 2024년에 도입된 프라이빗 모델 추론 시스템으로, Apple 데이터센터에서 동작하는 일련의 “신뢰된” 하드웨어 보안 모듈을 사용해 전적으로 Apple Silicon 위에서 실행되었다. 이 시스템의 목표는 여러분의 데이터가 Apple의 하드웨어를 결코 벗어나지 않도록 하는 것이다. 데이터는 휴대폰에서 전용 서버까지 암호화되고, 응답이 휴대폰에 도달하면 사라진다. PCC의 상태 비저장 설계는 이론적으로 여러분의 데이터가 남아 있지 않도록 보장하며, 하드웨어 설계는 Apple조차 입력을 볼 수 없게 만든다.
이후 Apple은 PCC를 Google의 하드웨어까지 포함하도록 “확장”했다. 고백하자면 나는 새로운 “확장된” PCC의 세부 사항이 조금 모호하다고 느낀다. 주된 내용은 Apple이 이 데이터를 처리하기 위해 Google의 기존 기밀 컴퓨팅(즉, Google 데이터센터에서 실행되는)에 주로 의존하되, 실제로 어떤 모델이 실행되는지를 통제하기 위한 새로운 기술적 보안 계층을 덧붙이는 것처럼 들린다. 어쨌든 보안 전문가들은 이것이 Cozy Bear를 여러분의 데이터에서 떼어놓기에 충분한지에 대해 논쟁할 수 있다. 내가 인정하겠는 것은, 적어도 Google과 Apple 이 여러분의 정보에 접근하지 못하게 하기에는 아마 충분하다는 점이다. 애초에 대부분의 사람들이 걱정하는 것은 바로 그것이기 때문이다.
그렇다면 나는 왜 이렇게 불안한가?
에이전트가 어떻게 작동할 수 있는지 설명하려면, 예시 사용 사례를 생각해보는 것이 도움이 된다. 여러분이 6명을 위한 비즈니스 저녁 식사를 계획하고 있다고 상상해보자. 여기에는 몇 가지 하위 작업이 포함된다.
과거에는 이런 종류의 일정 조율에 상당한 인간의 노력이 필요했다. AI 에이전트의 아름다움은, 적어도 이론상으로는, 이것이야말로 자동화할 수 있는 종류의 프로젝트라는 점이다. 에이전트는 먼저 최근 대화를 훑어 단계 (1)과 (2)에 필요한 질문의 답을 얻고, 그다음 단계 (3)에 설명된 검색을 수행할 수 있다. 여러분이 고개만 끄덕이면, 단계 (4)를 완료하는 데 필요한 일정 초대장과 문자 메시지까지 작성할 수 있다.
그렇다면 여기서 문제는 무엇인가?
첫 번째이자 놀랍지 않은 관찰은, 이런 작업에서 유용하려면 여러분의 에이전트가 맥락 을 가져야 한다는 것이고, 이는 곧 여러분의 사적인 데이터에 대한 비교적 제한 없는 접근 을 의미한다는 점이다. 여러분은 초대할 사람들의 가능 시간을 그들이 문자로 알려줬기 때문에 안다. Mike의 알레르기를 아는 것도 여러분이 그와 이야기했거나 어딘가에 적어두었기 때문이다. (이것은 iMessage, 이메일, 연락처, 개인 메모를 의미할 수 있다.) 이 모든 데이터를 에이전트에 다시 입력하는 것은 귀찮고 시간이 걸리며, 에이전트의 핵심 목적은 여러분의 시간을 아끼는 것 이다. 최고의 개인 비서는 단지 똑똑해서 이기는 것이 아니다. 책상 옆에 앉아 있는 비서처럼, 여러분이 필요로 하는 것을 “이미 알고 있기” 때문에 이기는 것이다.
조금 더 자세히 파고들어 보자. 에이전트는 여러분의 저녁 식사 일정을 잡는 데 필요한 매개변수를 배우기 위해 메시지 데이터베이스를 스캔할 수 있다. 또는 토큰 효율이 더 높은 시스템에서는, 메시지를 지속적으로 읽고 나중에 필요할 수 있는 유용한 사실을 증류한 “기억”을 저장할 수도 있다. 두 방식은 기능적으로 동등할 수 있지만, 그중 하나는 매우 민감할 수 있는 산출물을 만든다. 그리고 유용할 수 있는 사실의 집합이 매우 넓다는 점을 명심하자. 예를 들어 Mike의 알레르기는 그런 사실 중 하나다. 하지만 다른 것도 많다. 예를 들어 여러분이 Mike가 불륜 중이라는 사실을 알게 된 사적인 대화 역시 시스템이 저장하거나 접근할 수 있는 또 하나의 사실일 수 있다. 기억이 있든 없든, 이 데이터는 모두 에이전트의 시야 안에 있게 되며, 여러분은 에이전트가 그중 어떤 것에 기반해 행동해야 하는지 제대로 알기를 바랄 수밖에 없다.
이 데이터를 손에 쥔 여러분의 에이전트는, 즉 어딘가의 데이터센터 서버에서 실행되는 LLM과 약간의 로컬 상태 및 프롬프팅의 조합인 그 에이전트는, 이 데이터를 요약하거나 질의 자체에 응답하기 위해 이 데이터에 대해 추론을 수행해야 한다. 바로 이 지점에서 Private Cloud Compute와 Confidential Inference가 여러분을 보호하도록 설계되어 있다. 이 기술들의 목적은 이 데이터와 그로부터 나온 어떤 추론 결과도 오직 여러분에게만 제한되도록 보장하는 것이다. 입력과 출력은 추론이 끝나는 즉시 지워져야 하며, 그것들의 유일한 남은 사본은 여러분의 휴대폰에만 존재해야 한다.
지금까지의 이야기는 꽤 설득력 있다고 나는 생각한다. 다만 여러분이 추론 외에 다른 어떤 것도 할 계획이 전혀 없을 때에만 그렇다.
오직 추론만 수행하는 AI는, 여러분의 사적인 파일은 읽을 수 있지만 창문 없는 방에 갇혀 있고 인터넷도 없고 외부로 거는 전화도 없는 인간 비서와 같다. 여러분의 데이터는 완벽하게 안전하지만, 그 비서는 가장 단순한 작업 외에는 쓸모가 없다. 예를 들면, 들어오는 메시지를 여러분이 읽기 좋게 요약해주거나 문자 메시지 초안을 돕는 정도다. (요컨대 오늘날 Apple Intelligence가 하는 일이다.)
이제 실제로 일을 처리할 수 있는 개인 비서를 상상해보자. 이 비서에게는 인터넷 접근이 필요하다. 최소한 검색 엔진을 질의할 수 있어야 하고, 앞으로는 Gemini나 ChatGPT 같은 검색 LLM 을 사용할 수도 있어야 한다. 우리 작업의 뒤쪽 단계를 완수하려면, 공개 일정 초대장을 잡고 여러분의 연락처와 공유할 메시지를 작성할 수 있어야 한다. 이렇게 되면 이 비서는 유용해지지만, “사적인 데이터는 타인이 접근할 수 없다”는 멋진 PCC 보장은 더 이상 그다지 적용되지 않는다. 여러분 데이터의 프라이버시는 이제 어떤 실리콘의 설계가 아니라, 여러분 비서의 신중함과 판단력에 달려 있게 된다.
다시 가상의 비즈니스 저녁 식사로 돌아가 보자. 단계 (3)을 수행하려면 여러분의 에이전트는 검색 엔진이나 비프라이빗 LLM을 방문해야 하고, 아마도 여러 개의 질의를 보내면서 각각에 여러분의 구체적 요구 사항 일부를 흘리게 될 것이다. 데이터 유출의 성격은 그 “프라이빗” 에이전트가 질의를 작성할 때 얼마나 조심스러운지에 크게 달려 있다. 완전히 그럴듯한 경우는, 모델이 단순히 유용한 사실들을 모아 더 강력한 “개방형” 검색 LLM인 Gemini, ChatGPT, 혹은 Claude에 다음과 같이 전부 업로드하는 것이다.
“이봐, LLM 검색 엔진, 여기 내 참석자들과 이 회의의 목적에 관한 상세한 사실 30개 목록이 있어, 모두에게 맞는 식당을 찾아줘.“
이것은 믿을 수 없을 만큼 효율적인 설계일 것이고, 어느 정도는 자연스럽기까지 하다. 왜냐하면 비프라이빗 LLM이 프라이빗한 것보다 더 강력하고 유능할 가능성이 높기 때문이다. 불행히도 이것은 여러분의 사적인 데이터에 관한 터무니없이 많은 정보를 드러내게 될 것이며, 그중 일부는 일을 끝내는 데 엄밀히 필요하지 않을 수도 있다. (Mike의 불륜이 좌석 배치와 관련이 있는가?) 달리 말하면, 프라이빗 추론은 완벽하게 작동할 수 있지만, 에이전트가 약간 덜 프라이버시 친화적인 방식으로 자기 일을 하도록 프로그래밍되어 있다는 이유만으로도 가치 있는 수익화 가능한 데이터가 여전히 공개 검색 엔진이나 LLM으로 흘러나갈 수 있다는 뜻이다.
검색 엔진이 Mike가 사천 음식에 알레르기가 있다는 사실을 아는 것은 아마 크게 신경 쓰지 않을지도 모른다. 하지만 정말 신경 써야 할 것들이 있다. 보안 용어로 말하면, 그것들은 둘 다 서로 다른 적대자 와 관련이 있다.
가장 분명한 “적대자”부터 시작해보자. 여러분이 Mark Zuckerberg거나 Sundar Pichai거나, 혹은 Apple의 광고 사업을 운영하는 누구라고 상상해보라. 여러분에게는 휴대폰에 엄청나게 유용한 데이터 더미를 저장하고 있는 수십억 명의 사용자가 있다. 이 데이터는 표적 광고에 극도로 가치가 높고, 생성형 AI 덕분에 그 가치는 이제 엄청나게 더 커질 참이다. 동시에 이 데이터의 큰 부분은 접근할 수 없는데, 단순히 사용자들이 여러분이 자기들의 사적인 대화를 훑어보는 생각을 좋아하지 않기 때문이다. 그래서 웹 브라우징 같은 공개 데이터에는 접근할 수 있을지 몰라도, 많은 사용자가 자기 기기에 저장해둔 수년치의 친밀한 사적 대화는 읽을 수 없다.
이제 사용자의 휴대폰에 에이전트를 배치한다고 상상해보자. 그 에이전트는 그 모든 데이터에 접근하게 된다. 사용자가 하는 모든 것에 접근하게 된다. 자기 일을 하려면, 말 그대로 각 사용자의 선호를 읽어내고, 그것을 여러분의 검색 엔진이나 “검색 LLM”을 반복적으로 때리는 질의로 구체화해야 한다. 이 검색 엔진을 운영하는 사람은 사용자 욕망에 대한 방대한 양의 유용한 정보를 배우게 되며, 그중 일부는 가장 친밀한 사적 대화에서 비롯될 것이다. 심지어 수년 전에 있었고 여러분 스스로도 잊어버린 대화에서 나온 것들일 수도 있다. 검색 엔진을 운영하는 사람이 동시에 모델과 그 프롬프팅을 설계하는 사람이라면, 데이터 수익화 측면에서 정말 최상의 시나리오가 된다. 주요 테크 기업 CEO들이 이 점을 모를 것이라고 나는 도저히 믿기 어렵다.
Google이 자신들에 대해 더 많은 것을 아는 위협을 대수롭지 않게 여기는 사람들도 있을 것이다. 나는 그 관점에 동의하지 않지만, 이해는 한다. 적어도 겉으로 보기에는 Google은 사용자 데이터의 꽤 괜찮은 관리인이었다. 내가 아는 한, 우리들의 가장 은밀한 Google 검색이 인터넷 전체에 뿌려지는 대규모 데이터 유출은 없었다. (AOL의 검색 유출 같은 방식으로 말이다.) 이 점에서 회사는 많은 공을 인정받을 만하다.
그러므로 Google이나 Meta나 Apple이 우리의 사적인 데이터로부터 우리에 대해 더 많은 것을 알게 될 수 있다는 생각에 내가 반대하더라도, 적어도 우리의 가장 은밀한 비밀이 온 세상에 드러나지 않을 가능성은 있다. 그러나 그렇다고 해서 여러분의 사적인 데이터가 공개되지 않는다는 뜻은 아니다. 그래서 두 번째 적대자에 대해 이야기해야 한다. 이 적대자는 여러분의 에이전트가 대화하는 검색 엔진이 아니다. 여러분의 에이전트와 대화하게 될 다른 모든 사람들이다.
Simon Willison은 치명적인 삼중주 라고 부르는 조건을 설명한다. 이것은 (a) 사적 데이터에 대한 접근, (b) LLM이 파싱해야 하는 신뢰할 수 없는 콘텐츠, (c) 외부 통신을 보낼 수 있는 능력이 결합될 때 발생한다. 이 셋은 함께 데이터 유출 공격을 위한 완벽한 폭풍을 만든다. 원격 공격자가 LLM을 “속여” 기밀 데이터를 밖으로 내보내게 만들 수 있기 때문이다. LLM 기술은 점점 좋아지고 있지만, 악의적인 사용자가 텍스트(웹사이트의 일부이거나 어떤 데이터 조각의 일부로서)를 포함시켜 여러분의 LLM이 해서는 안 되는 일들을 드러내게 만드는 단순한 프롬프트 인젝션 공격에, 최전선 LLM들조차도 여전히 자주 속는다. 이 문제는 지금도 매우 생생하다. 바로 오늘만 해도 OpenAI는 ChatGPT가 여러분의 민감한 문서를 업로드할 위험 때문에 웹 검색을 하지 못하도록 제한하는 “락다운 모드” 기능을 최근 공개했다.
Apple이 구축 중인 것과 같은 에이전트는, 기밀 추론을 사용하든 말든, 치명적인 삼중주의 악몽 같은 사례다. 이 시스템들은 방대한 양의 데이터를 받아들여야 하며, 그중 많은 부분은 매우 신뢰할 수 없는 출처에서 올 것이다. 예를 들면 수신 이메일과 문자 메시지다. 이들은 암호화된 메시지와 문서처럼 여러분 시스템의 모든 것에 접근할 수 있다. 그리고 유용하려면, 일정 초대장을 잡고 문자 메시지를 보내는 것처럼 외부에 눈에 띄는 효과를 가진 온갖 행동을 처리해야 한다.
그 결과 여러분의 사적인 데이터는 단지 에이전트를 통제하는 사람에게만 취약한 것이 아니라, 여러분의 에이전트가 오작동하도록 만들 수 있는 누구에게나 잠재적으로 취약해진다. 이 문제는 프라이빗 추론 엔진이 얼마나 잘 설계되었는지와 무관하게 존재한다. 그리고 OpenAI의 최근 사례는 이것이 아직 전혀 해결되지 않았음을 보여준다. 기술적으로, 혹은 어떤 신중한 인간의 관찰 요소를 통해 이런 문제를 해결할 수 있을 가능성은 있다. 예를 들어 나가는 모든 일정 초대장을 주의 깊게 읽는 식이다. 하지만 지금 당장은 우리는 아직 그러지 못했다.
혹은 이렇게 말할 수도 있다. 인간을 겨냥한 스팸이 나쁘다고 생각한다면, 에이전트 를 겨냥한 스팸을 보게 될 때까지 기다려보라.
지금까지 우리는 두 적대자에 대해 이야기했다. 프라이빗 에이전트의 목표와 어긋난 설계자들(예를 들면 검색 운영자), 그리고 원격 프롬프트 인젝션 공격의 가능성이다. 하지만 물론 기술적 프라이버시 시스템을 논할 때는 마지막으로 방 안의 코끼리, 즉 여러분의 정부 에 대해 이야기해야 한다.
우리는 사회 속에 살고, 그 사회에는 법이 있다. 에이전트가 여러분의 모든 데이터, 메시지, 행동에 접근할 수 있다면, 기술적으로 말해 범죄 활동을 탐지할 능력도 갖게 된다. 그 범죄 활동에는 CSAM 공유나 테러 관련 활동이 포함될 수 있고, 탈세나 다른 어떤 형태의 범죄도 포함될 수 있다. 이런 에이전트는 범죄 탐지를 위한 완벽한 원스톱 상점이 된다. 왜냐하면 나쁜 행동의 패턴을 식별 할 수 있을 뿐 아니라 그것을 보고할 수도 있기 때문이다.
이게 터무니없는 이야기일까? 음, 내가 이 블로그에서 반복해서 말하길 좋아하듯이, 이것은 기존에 영국 OFCOM이 암호화 메신저에 대해 발표한 규칙이 요구하는 바와 대체로 비슷하며, EU Commission에서도 유사한 제안이 있어 왔다. 영국은 또한 Technical Capability Notice(TCN)라는 강력한 제도를 유지하고 있는데, 이를 통해 제공자에게 시스템 변경을 요구할 수 있으며, 그러한 변경은 전 세계 기기에 잠재적으로 영향을 줄 수 있다. Apple은 자사의 다른 암호화 서비스들을 두고 영국과 한창 다투는 중이다.
전통적으로 미국에서는 이런 종류의 일을 피해 왔다. 부분적으로는 소름 끼치기 때문이고, 대부분은 수정헌법 제4조에 대한 직접적인 공격처럼 보이기 때문이다. 그렇다고 해도 수정헌법 제4조는 정부에만 적용된다. 이론적으로 Apple이나 Google 같은 민간 기업은 자사 에이전트를 설정해 범죄를 자기들에게 보고하게 하고, 그중 심각한 것들을 정부에 넘길 수 있다. 이는 Apple이 2021년에 CSAM을 위해 사진을 모니터링하는 시스템을 설계했을 때 제안했던 것과 대체로 비슷하다.
너무 뻔한 말을 더 하는 위험을 감수하고 말하자면, 도움이 되는 프라이빗 에이전트와 기업 광고 봇, 그리고 정부 스파이의 차이는 주로 프롬프팅의 문제이며, 아마 약간의 모델 파인튜닝 정도일 것이다. 일단 사적 데이터 접근과 메시지 전송 능력이 결합되면, 프라이빗 추론만으로 제공할 수 있는 기술적 보호는 본질적으로 없다.
수십 년 동안 암호학의 요점은 신뢰를 제거 하는 데 있었다. “안 볼게요”를 “볼 수 없어요”로 대체하는 것이다.
프라이빗 추론은 그 약속의 가장 야심찬 버전이다. 그것이 설계된 적대자, 즉 추론 자체를 수행하는 제공자에 대해서라면, 나는 그것이 아마 말하는 바를 실제로 해낸다고 믿는다. 내가 이 글에서 말하려는 것은 단지, 이 적대자는 어떤 에이전트형 시스템 전체에서 매우 작은 조각에 불과하다는 점이다.
우리가 신경 써야 할 적대자는 모델을 직접 상대하는 자들이고, 심지어 모델을 설계한 자들이나 그 기술적 요구사항을 명시한 자들이다. “검색 사실을 Google에 업로드하라”거나 “내가 그렇게 프로그래밍했으니 수상한 것은 무엇이든 정부에 보고하라”로부터 여러분을 보호해주는 암호학적 원시는 존재하지 않는다. 그런 보호가 있다면, 그것은 법과 정치와 기업의 인센티브 속에 존재한다. 바로 암호학이 우리가 더는 신뢰하지 않아도 되게 만들려고 발명된 그 지저분한 인간 제도들 말이다.
