LLM이 사기의 비용 구조와 규모를 어떻게 바꾸고 있는지, 그리고 우리가 어떤 새로운 보안 감각을 길러야 하는지를 다룬 글.
Johnny Hooker: 2시 조금 지나면, 누가 저 전화로 전화를 걸어 말 이름 하나를 알려줄 거야.
당신이, 이를테면 대체로 보수가 괜찮고 기술에도 밝은 전문직 종사자라고 상상해 보자. 당신은 지금 구직 중이다. 한동안 계속 알아보고 있었지만 별 소득이 없다. 지금 시장이 그냥 너무 안 좋다.
어느 날 LinkedIn으로 리크루터가 연락해 오는데, 보기에 이것은 완벽한 기회다. 당신의 가장 강한 기술에 정확히 맞춰진 자리처럼 보인다.
그 회사는 당신도 들어본 적 있는 곳이다. 일하기 좋은 곳으로 알려져 있다. 급여도 이전 직장보다 꽤 잘 주는 편이다.
당연히 당신은 꽤 들뜨고, 몇 차례 인터뷰를 보기로 한다. 첫 스크리닝 통화도 잘 된 것처럼 보인다. 그들은 인터뷰가 표준적인, 간단한 NDA 아래 진행된다고 말하면서, 법률기술 SaaS 스타트업 플랫폼들 중 하나를 통해 보내주겠다고 한다. 이메일을 받고, 그 회사의 엔터프라이즈 SSO로 로그인하니, 보아하니 정말 단순한 NDA가 맞다. 그래서 서명한다.
인터뷰들은 아주 잘 풀린다. 인터뷰어들은 따뜻하고 친절하며, 당신은 앞으로 그들과 더 함께 일하게 되기를 기대하게 된다. 그들이 회사에 대해 말하는 모든 것도 훌륭하게 들린다.
그러다 나쁜 소식을 듣는다. 다른 누군가가 그 자리를 얻었다는 것이다. 뭐, 어쩔 수 없다. 다만 그들은 당신과 이야기하는 것을 즐거워했고, 앞으로 비슷한 기회가 있으면 다시 연락할 수도 있다고 한다. 어쨌든, 다시 고된 구직으로 돌아간다.
6개월 뒤, 이 모든 것이 사기였다는 사실을 알게 된다. 당신의 신원이 도용되었고, 당신 이름으로 개설된 신용카드에서 수천 달러가 사용되었다. 당신의 증권 계좌에서도 일부 자금이 빠져나갔다. 이 일을 정리하는 데 몇 달은 걸릴 것이고, 아마 전부 되찾지도 못할 것이다. 설상가상으로, 이메일과 다른 많은 온라인 계정에도 접근하지 못하게 되었다.
이 사실을 알아가는 동안에도 당신은 여전히 어리둥절하다. 대체 어떻게 이런 일이 일어났는지 이해가 가지 않는다. 이런 종류의 일이 나에게 일어날 거라고는 생각해 본 적이 없다. 당신은 인터넷에서 자신을 안전하게 지키는 일에 익숙하고, 흔한 사기에 잘 넘어가는 사람도 아니다.
Henry Gondorff: 혼자서는 못 해. 너 같은 녀석들이 우르르 필요하고, 그들이 그럴듯해 보일 만큼의 돈도 필요하지.
공격의 진입점은 NDA 서명 플랫폼 로그인 과정이었다. 당신은 계정을 만들어야 할 때 “<service>로 로그인”을 선택했고, 그 결과 꽤 그럴듯한 로그인 절차로 넘어갔다. 진짜처럼 보이는 Google/iCloud 페이지였고, 어쩌면 당신의 이메일 주소가 이미 입력되어 있었을지도 모른다. 당신이 그 사이트에 로그인하자, 그들은 당신이 입력한 비밀번호와 이어지는 “기기에서 예를 누르세요” 식의 2FA 절차를 이용해 자기들 쪽에서 당신 계정에 로그인했고, 세션 쿠키도 저장했다. 그리고 당신 쪽에는 로그인이 성공한 것처럼 보이게 만들었다.
공격자들은 이렇게 들키지 않은 채 확보한 접근 권한을 유지하며, 당신의 사용 패턴을 관찰하고 이를 악용할 방법을 찾았다. 그들은 불을 지르기 전에 연기 감지기부터 꺼버렸다. 노리려는 계정들에서 오는 경고 이메일을 미리 필터링해, 경고가 당신에게 닿지 않도록 한 것이다. 그들은 당신의 클라우드 파일을 전부 내려받았고, 그 계정을 이용해 여러 다른 사이트에도 로그인했다. 당신에 대해 알아낸 모든 정보를 이용해 당신 명의의 신용카드를 개설했다. 침해가 일어난 이후 진행된 인터뷰와 불합격 통보는 연극이었다. 당신이 의심하지 않게 해서, 더 오래 자격 증명을 붙들고 있으려는 수작이었다.
이 정도만 해도 꽤 무섭지만, 더 나쁘다. 그들은 실제로 자금까지 빼냈다. 이건 쉽지 않다. 현대 금융 시스템은 탈취된 계정에 대해 방어 장치를 많이 갖추고 있기 때문이다1. 돈을 노린 대부분의 사기는 누군가가 자발적으로, 되돌릴 수 없거나 추적하기 어려운 방식으로 송금하도록 설득하는 방식인데, 기술에 밝은 전문직 종사자는 그런 유형의 표적이 될 가능성이 더 낮다.
하지만 저 정도의 접근 권한을 가진 사기꾼이라면, 너무 늦기 전까지는 들키지 않으면서도 실제로 돈을 가져가 자기 것으로 유지할 수 있는 방식이 여전히 존재한다. 예를 들어, 당신의 이메일과 계정들에 지속적이고 들키지 않은 접근 권한을 가진 누군가는, 급여가 자동 이체되어 들어가는 증권 계좌가 있는데 당신이 그 계좌를 자주 건드리거나 로그인하는 것 같지는 않다는 사실을 알아차릴 수 있다2. 그들은 비밀번호 재설정을 통해 그 계정에 접근한 뒤, 이체 계좌를 추가하고, 어쩌면 소액 이체를 몇 번 하며 사용 패턴을 만들어 둘 수도 있다. 결국 자금을 빼내는데, 당신이 한동안 알아차리지 못하도록 시점을 맞추고, 추적하기 어려운 방식으로 처리한다3. 어쩌면 그들은 당신이 휴가 중일 때까지 기다릴 수도 있다. 그 시점도 알고 있으니까. 그들은 당신의 캘린더를 보고 있다!
모든 일을 끝내고 나서, 어차피 곧 사기가 들통날 것 같다고 판단하면, 그들은 당신을 계정에서 쫓아내 무슨 일이 있었는지 재구성하기 더 어렵게 만든다.
그래, … 저 모든 것이 충분히 가능해 보인다.
동시에 이것은 엄청난 수고도 필요하다. 여러 사람이 협업하며 지속적으로 상황을 지켜봐야 하고, 그 대가가 실제로 생길지도 확실하지 않다. 그래서 뭔가 가능성은 낮아 보이지 않는가?
그런데 내가 한 가지를 빼놓았다. 이 전체 공격은 LLM이 기획하고 실행했다.
당신에 관한 모든 것을 조사해 맞춤형 공격을 짤 수 있는 LLM. 이 상황이 그럴듯해 보이도록 필요한 모든 것, 이를테면 LinkedIn 계정, 가짜 문서 서명 웹사이트, 이메일을 보낼 법한 그럴듯한 도메인까지 꾸려낼 수 있는 LLM. 텍스트, 음성, 영상 상호작용까지 모두 합성할 수 있는 LLM. 그리고 일단 당신 계정에 접근한 뒤에는 그 접근 권한을 어떻게 활용하는 것이 최선인지 감시하고 찾아낼 수 있는 LLM. 그것이 당신의 증권 계좌로 파고드는 것이든, AWS에서 막대한 클라우드 비용을 발생시키는 것이든, 당신의 암호화폐를 모조리 가져가는 것이든, 심지어 이미 탈취되고 아마 초기화되었을 Google 계정에 있는 수십 년치 소중한 데이터를 인질로 잡는 것이든 말이다.
그리고 구직 활동은 우연한 배경일 뿐이었다. 인터뷰는 당신에게 맞춘 사기였다. 사기꾼들이 당신에 대해 알고 있는 정보를 바탕으로, 당신을 걸려들게 하기 위한 그럴듯한 구실이었다. 다른 누군가에게는 경찰로부터의 무서운 전화일 수도 있고, 친척의 도움 요청일 수도 있고, 은행에서 온 이메일일 수도 있고, 천천히 진행되는 연애 사기일 수도 있다. 매번 구실은 바뀌지만, 그 뒤의 기계장치는 같다.
Henry Gondorff: 이건 길거리에서 술주정뱅이 상대로 하는 일이 아니야. Lonnegan에게서 달아날 수는 없어.
꽤 오랫동안 우리는 사기를 대체로 두 부류로 나눌 수 있었다. 하나는 비용이 싸고 실행이 쉬운 무차별 살포형 사기다. 상대적으로 덜 익숙한 사람들을 낚아채길 바라는 방식이다. 다른 하나는 비용이 많이 드는 표적형 사기다. 그만한 수고를 들일 가치가 있는 사람을 노린다. 그리고 보통 “그만한 수고를 들일 가치가 있는 사람”이라는 것은 개인 저축을 노린다기보다, 그 사람이 가진 조직 내 권한에 더 관련이 있다. 예를 들어 홍콩의 2500만 달러 사기 사건에서는 회사 직원이 속아 회사 자금을 송금했다.
무차별 살포형 사기가 싼 이유는, 대개 당신을 설득하는 데 거의 노력을 들이지 않기 때문이다. 사실 “나이지리아 사기꾼”이라는 전형이 존재하는 것도 상대적으로 덜 숙련된 개인을 노리는 사기꾼에게는, 더 숙련된 사람들이 가능한 한 이른 단계에서 스스로 파이프라인에서 이탈해 주는 것이 매우 바람직하기 때문이다. 이메일 자체는 공짜지만, 그 이후 실제 표적과 주고받으며 사기를 완성하는 노동은 공짜가 아니다.
기술에 밝은 사람들은 대체로 이런 사기에 잘 걸리지 않는다. 컴퓨터 보안의 모범 사례 몇 가지와, 시스템이 할 수 있는 것에 대한 대강의 이해4만 있어도 꽤 안전해질 수 있다.
하지만 더 정교한 사기에 관해서는, 대부분의 사람은 “그만한 수고를 들일 가치가 있는 사람”이 아니며, 적어도 스스로는 그렇게 생각한다. 대부분의 사람은 직장에서 2500만 달러짜리 버튼을 쥐고 있지 않다.
물론 많은 전문직 종사자는 정교한 사기를 벌일 가치가 있을 만큼의 저축을 갖고 있다. 하지만 그래도 그것이 실제로 자기에게 일어날 가능성은 여전히 낮다. 그 정도 노력이 필요한 사기는 준비 시간도 많이 들고, 그냥 규모만 키워서 돌릴 수도 없다. 이런 사기를 실행할 정도로 정교한 능력을 가진 사람이 범죄자가 되기를 택해야 하는데, 그건 병렬화가 잘 되지 않는다. 오래된 농담이 있다. 곰보다 빨리 달릴 필요는 없고, 옆에서 뛰는 사람보다만 빨리 달리면 된다. 완전히 사기를 당하지 않는 사람이 될 필요는 없고, 그저 다음 표적보다 사기치기 더 귀찮은 사람이면 된다.
개인의 자산을 노린 정교한 사기는 실제로 일어난다5. “그런 일은 나에게 절대 일어나지 않아”는 썩 맞는 틀이 아니지만, “그런 일이 나에게 일어날 가능성은 낮다”는 믿음은 흔하고, 많은 사람에게는 그리 불합리한 생각도 아니다.
James Mickens의 말을 인용하자면:
기본적으로, 상대가 Mossad냐 not-Mossad냐 둘 중 하나다. 상대가 not-Mossad라면, 좋은 비밀번호를 고르고
ChEaPestPAiNPi11s@virus-basket.biz.ru에서 온 이메일에 답장하지 않는 정도만 해도 아마 괜찮을 것이다. 상대가 Mossad라면, 넌 죽는다. 그리고 네가 할 수 있는 일은 아무것도 없다. Mossad는 네가https://를 쓴다고 해서 겁먹지 않는다. Mossad가 네 데이터를 원하면, 드론을 써서 네 휴대폰을 휴대폰 모양의 우라늄 조각으로 바꿔치기할 것이고, 네가 종양으로 가득 찬 종양 때문에 죽으면 기자회견을 열어 “우리 짓이 아니다”라고 말할 것이다. 그때 그들은 “이건 확실히 우리 짓이다”라고 적힌 티셔츠를 입고 있을 것이고, 네 유품 경매에서 네 물건을 몽땅 사들여서, 네 휴가 사진에 대해 시답잖은 이메일을 읽는 대신 직접 사진을 들여다볼 것이다.
Mickens는 완전히 다른 차원의 국가 행위자에 대해 말하고 있다. 하지만 핵심 아이디어는 같다. 공격자의 능력은 양봉형이다. “비표적형 × 저비용”과 “표적형 × 고비용” 주변에 몰려 있었다. 그리고 대규모로 표적형 공격을 돌린다는 것은 잘 성립하지 않았다.
정정하자면, 공격자의 능력은 그랬다. LLM이 분포의 중간을 메운다. 그것들은 꽤 싸다. 2024년의 한 논문에 따르면, spearphishing 작업을 맡은 LLM의 비용은 이메일당 대략 4센트 정도였다. 위에서 설명한 인터뷰 사기는 더 복잡하고 더 비싸겠지만, 그래도 충분히 수지가 맞을 가능성이 높고, 2026년의 LLM은 훨씬 더 뛰어나다.
오싹한 점은, _이것이 확장된다는 것_이다. 이런 사기를 수천 건 동시에 돌릴 수 있다! 사기꾼은 아예 LLM에게 개인들을 조사하게 하고, 각 개인의 자료철에 맞춘 맞춤형 사기를 설계하게 할 수도 있을 것이다.
우리는 이제 사기를 for 루프 안에서 돌릴 수 있는 세계에 살고 있다.
Eddie Niles: 그 통신선은 10년 전부터 구식이야.
Henry Gondorff: 그래서 그자가 모를 거야.
다음은, 이전까지는 표적마다 상당한 숙련된 인간 노동이 필요했지만 이제는 LLM이 갖고 있는 사기 관련 능력의 일부 목록이다.
이것들은 오늘날 이미 존재하는 능력이고, 앞으로는 더 좋아질 뿐이다. 우리는 이런 능력을 천장이 아니라 바닥으로 보아야 한다.
각각만으로도 위험하지만, 동시에 이것들은 싸다. 비용이 토큰 단위로 측정되는 사기는 여러 번 반복 실행할 수 있다. 즉 “for 루프 안의 사기”다. 그리고 규모는 개별 사기에서는 불가능했던 움직임을 가능하게 한다.
우선, 규모는 _인내_를 가능하게 한다. 개별 인물을 노리는 사기 팀은 단계 사이에 몇 달, 몇 년씩 기다릴 여력이 없을 수 있고, 그 때문에 시도 가능한 것들이 제한된다. 하지만 LLM을 이용해 동시에 많은 사람을 노리는 사기꾼은 얼마든지 한 작전을 잠시 휴면 상태로 두고 적절한 순간을 기다릴 수 있다. 심지어 상당히 긴 간격을 두고 여러 사기를 겹겹이 쌓을 수도 있다.
둘째로, 규모는 _조합_을 가능하게 한다. 사기 방어 장치를 무너뜨리기 위해 여러 전선에서 사기를 합성할 수 있다. 예를 들어, 더 큰 금액을 추적 불가능하게 빼내기 위해 필요한 자금 세탁 운반책을 모집하려고, 작고 덜 정교한 사기를 먼저 돌릴 수 있다.
(나는 1973년의 고전 영화 The Sting을 정말 좋아한다. 영화의 핵심 사기 요소 중 하나는, 일당이 여러 작은 신뢰 사기를 이용해 다양한 “신뢰받는” 기관을 매수하거나 사칭한다는 점이다. 이를 통해 예를 들어 대형 은행에서 일하는 척을 그럴듯하게 해낸다. 그런데 지금 이 시대에는, Henry Gondorff에게 낡은 당구장, 베팅 장비, 변장, 50명 규모의 출연진, 그리고 그 외 온갖 것이 필요했던 일이 … 이제는 토큰 몇 개면 가능하다.)
규모가 가능하게 하는 마지막 한 가지는 _새로운 표적_이다. 이것들은 결국 사람을 상대로 한 사기이긴 하지만, 침해된 표적이 천 명이면 그들이 쓰는 플랫폼 내부의 인증된 위치도 천 개라는 뜻이다8. 그리고 이것은 완전히 다른 종류의 자산이다. 많은 시스템에는 겉으로 드러나는 틈이 있어, 이를 악용하려는 시도는 결국에는 적발되고 되돌려질 것이다9. “사기의 최적량은 0이 아니다”: 이런 틈은 대개 가끔 생기는 사기꾼의 비용보다 더 큰 이익을 가져오기 때문에 남겨져 있다. 하지만 천 개의 계정이 협력해 동시에 그 틈 하나를 공략한다면, 계산은 완전히 달라진다. 플랫폼이 감수하기로 계산해 두었던 틈은 이제 급히 막아야 할 커다란 구멍이 된다10.
이 모든 것을 엮어내는 데는 여전히 기술이 필요하다11. … 적어도 지금은 그렇다. 결국 누군가는 이 일을 위한 재사용 가능한 도구를 만들고 다른 사기꾼들에게 팔 것이다. 그러면 “script kiddies but for scams” 같은 것이 생겨날 것이다. 이미 잘 자리 잡은 사기꾼 마켓플레이스도 있다. 누군가 이 도구를 만들어 거기서 팔기만 하면 된다. 어쩌면 이미 그렇게 되었을지도 모른다.
“미래는 이미 와 있다. 단지 고르게 분포하지 않았을 뿐이다”: 그 능력들은 이미 존재하고, 어떤 사기꾼들은 거의 확실하게 이미 그것들을 배치하고 있다. 다만 아직 도처에 널리 퍼진 수준은 아니기 때문에, 우리의 휴리스틱도, 그리고 중요한 서비스를 제공하는 기업들의 휴리스틱도 아직 재보정되지 않았다.
Johnny Hooker: 저자는 자기 생각만큼 강하지 않아.
Henry Gondorff: 우리도 마찬가지야.
휴리스틱 이야기가 나왔으니 말인데, 만약 특정 사기에 대해 당신이 얼마나 잘 버틸 수 있을지 묻는다면 아마 즉답할 수 있을 것이다. 가족이 문자로 무언가를 말하면, 당신은 확인을 위해 전화를 걸거나, 더 좋게는 영상 통화를 할 것이다. 누군가가 뜬금없이 연락해 오면, 당신은 그 사람을 찾아본다. 모르는 사람과의 대화에서는 어디서 한가한 잡담이 실제로 영향력 있는 무언가로 전환되는지, 그 변곡점을 경계한다. 이런 건 훌륭한 본능이다. 이 인터넷 시대에 주의를 기울여 살아온 사람의 본능이다.
하지만 이런 휴리스틱은 왜 효과가 있었을까?
그중 일부는 비용의 대리 지표다. 유창하고 개인화된 글쓰기는 실제 사람이 쓴 것이라는 뜻이었고, 수천 명의 표적을 동시에 상대하는 사기꾼에게는 거기에 시간을 들일 여유가 없었다. 강한 웹 존재감도 위조할 수는 있지만, 그건 엄청난 노력이 든다. 당신은 사기꾼이 오로지 당신 한 사람만을 위해 그 정도 노력을 들일 가능성은 낮다고 생각했고, 그 판단이 이런 휴리스틱을 채택하는 근거가 되었다.
다른 휴리스틱은 능력의 척도였다. 예전의 사기꾼은 전화 통화에서 가족의 목소리를 흉내 낼 수 없었다. 영상 통화에서 누군가를 만났다면, 그는 실제 인물이었고, 일이 커지면 경찰이 신원을 특정할 가능성도 높았다.
이 두 기반이 모두 무너지고 있고, 그 말은 우리의 휴리스틱도 깨지고 있다는 뜻이다.
더 나쁜 점도 있다. 우리는 단지 사기로부터 스스로를 보호하기 위해서만 이런 휴리스틱이 필요했던 것이 아니다. 무엇이 실제인지 확신하기 위해서도 필요했다. 이제 우리는 종종 완전히 확신하지 못한 채 남겨지고, liar’s dividend의 피해를 겪는다. 다른 도시에 있는 가족이 긴급 자금이 필요한 것처럼 보이지만, 동시에 그 사람의 계정이 침해되어 모든 커뮤니케이션이 가로채지고 딥페이크되었을 가능성도 충분히 있다면 어떻게 해야 할까? 직접 비행기를 타고 가서 확인해야 할까? 아니면 그 도시에 있는 다른 누군가에게 대신 들러보라고 부탁해야 할까? 예전보다 훨씬 더 많은 수고가 든다.
게다가 개인의 휴리스틱은 이야기의 일부일 뿐이다. 기관도 휴리스틱을 갖고 있다. 미국의 소비자 은행 보호 장치12는 누가 송금을 승인했는지를 기준으로 강한 선을 긋는다. 누군가가 당신 계정에 접근해 사기성 송금을 했다면, 은행이 당신의 손실을 메워 준다. 반면, 설령 부당한 이유로라도 당신이 설득당해 돈을 옮겼다면, 범죄 신고는 할 수 있을지 몰라도 아무도 당신 손실을 메워 줄 의무는 없다. “비밀번호 탈취”가 표적을 정해 수작업으로 벌이는 “우리에게 돈을 보내라”형 사기보다 더 쉬웠던 세계라면 이 구분이 합리적일 수 있지만, 그 전제는 바뀌고 있다13.
Johnny Hooker: 그럼 왜 하는 거죠?
Henry Gondorff: 해볼 만한 가치가 있어 보이잖아, 안 그래?
그렇다면 우리는 무엇을 해야 할까? 모든 휴리스틱을 극한까지 끌어올리고 싶어질 수 있다. 이메일 하나하나, 전화기 너머의 목소리 하나하나를 샅샅이 따지는 것이다. 하지만 이건 통하지 않는다. 이런 휴리스틱은 원래 이제는 싸게 위조할 수 있게 된 무언가를 탐지하기 위한 대리 지표였기 때문이다.
내가 자랄 때를 떠올려 보면, 우리는 학교 과제를 조사할 때 Wikipedia를 사용하는 것이 금지되어 있었다. 가끔은 Wikipedia가 어떤 목적에도 유용하지 않다고 듣기도 했다. 교사들은 Wikipedia가 쉽게 편집될 수 있으니 부정확한 정보를 담고 있을 수 있고, 따라서 거기에 의존해서는 안 된다고 믿었다. 사람들은 “출판된 자료는 어느 정도의 확실성으로 아마 사실일 것이다”라는 진실 판별 휴리스틱을 가지고 있었고, 그것은 장난으로 잘못된 정보를 인쇄해 배포하는 일이 결코 싸지 않다는 현실에 기반하고 있었다. “Wikipedia는 이 범주에 넣지 말고 아예 무시하라”는 것은 그 휴리스틱을 보존하는 한 방법이며, 실제로 그들이 우리에게 원했던 것도 그것이었다. 하지만 그것은 잘못된 방향의 보정이었다. 세계는 이미 변하고 있었고, 그 휴리스틱은 힘을 잃고 있었다. 새 세계를 다루기 위한 새로운 휴리스틱을 만들어야 했지, 세계가 바뀌지 않은 척 필사적으로 매달려서는 안 됐다.
아이들은 자기가 동의하지 않는 규칙을 놀라울 만큼 잘 따르는 것으로 유명하다. 그래서 우리 세대도 여전히 Wikipedia를 썼고, 더 넓게 보면 인터넷에서 정보가 폭발적으로 늘어나는 것과 함께 성장했다. 우리는 새로운 휴리스틱을 만드는 데 제법 익숙해졌다. 출처를 확인하고, 상호 검증되는 증거를 찾고, 그런 것들 말이다. 반면 옛 휴리스틱을 붙들고 있던 사람들, 흔히 더 나이 든 세대는 예를 들어 현대의 허위정보 캠페인 같은 것에 훨씬 더 쉽게 표적이 되었다.
그러니 우리는 휴리스틱을 다시 개선해야 한다. 그 방법은 몇 가지가 있다14.
우리가 만들 수 있는 한 가지 휴리스틱은 사기의 공통 골격을 감지하는 것이다. 많은 사기는 긴급하고, 비밀스럽고, 평소와 다른 채널을 쓰라고 요구하는 골격을 따른다. 보통 이 골격은 그 주변 설명이 서툴기 때문에 눈에 띈다15. 하지만 대규모로 표적을 분류하고 조사할 수 있는 사기꾼이 등장하면 이 부분은 바뀔 수 있다. 그래도 그 골격의 대략적인 구조 자체는 사라지지 않을 가능성이 크다. 요구는 결국 요구다.
다른 휴리스틱은 더 많은 채널을 통해 검증하는 방식으로 만들 수 있다. 추가 검증 수단으로, 나는 가족 구성원들과 말로 하는 암호를 정해 두는 것을 강력히 권한다. 그런 것이 없는 경우에도, 외부 기록으로 남아 있을 가능성이 낮은 과거 사건을 화제로 다시 불러올 수는 있다. 기술에 덜 익숙한 가족에게는 그냥 “내가 전화해서 심각하고, 급하고, 그리고/또는 비밀스러운 이야기를 하면 아주 회의적으로 받아들이고, 아예 끊은 뒤 다른 채널로 확인해 보라”는 조언을 해주고 싶다.
얼마 전 나는 아는 사람과 금융 거래를 설정하고 있었다. 우리는 여러 플랫폼에서 그 일에 대해 이야기해 왔지만, 마지막 단계에 이르러 나는 그 사람에게 영상 통화에 잠깐 들어와 달라고 부탁했다. LLM 시대라 내가 좀 더 조심하고 있다고 설명하면서 말이다. 그 사람은 대략 이런 뜻으로 답했다. “하, 언제쯤부터 이런 요청을 받기 시작할까 궁금했어요.” 그 사람은 아주 오래전 우리가 했던 통화에서의 특정한 기억에 남는 순간을 언급하며 영상 통화를 시작했고, 우리는 이 블로그 글의 주제를 포함해 여러 이야기를 한동안 나누게 되었다.
우리 시스템이 어디서 우리를 보호하고 어디서는 보호하지 않는지를 이해하는 것도 도움이 된다. 대략적인 규칙 하나를 들자면, 당신이 받는 커뮤니케이션의 진위는 대체로 믿기 어렵지만, 당신이 의도적으로 보내는 것의 도착지는 대체로 믿을 수 있다16. 어떤 주소로 작성해 보낸 이메일은 아마도17 그 받은편지함에 도착할 것이고, 당신이 건 전화는 아마도18 그 기기에 도달할 것이다. 반면 이메일의 from: 헤더나 발신자 표시 번호는 쉽게 위조할 수 있다.
이 휴리스틱들도 완벽하지는 않다. 하지만 지금 우리가 가진 것보다는 낫고, 적어도 당신을 표적으로 삼는 비용을 더 올리고 더 까다롭게 만들 수 있다. 100% 완전히 사기에 면역인 사람이 되는 것은 현실적이지 않다(“사기의 최적량은 0이 아니다”). 하지만 적어도 사기치기 더 비싼 사람이 될 수는 있다.
휴리스틱 개선 외에도, 하드웨어 2FA19를 사용하는 것처럼, 보안 모범 사례를 따르는 일은 사기꾼 도구상자의 많은 수단으로부터 당신을 보호할 수 있다. SMS나 인증 앱보다 이런 방식이 낫다.
앞으로 몇 년은 정말 여러 면에서 무척 흥미로울 것이다. 나는 기관과 시스템도 결국 이런 변화들 상당수에 적응하고20, 더 나은 보호 장치를 마련하게 될 것이라고 _예상_한다21. 하지만 그건 시간이 걸릴 것이고, 어느 정도는 군비 경쟁이 될 가능성도 있다. 그동안에는 사기가 폭증할 것이라 본다. 이 글에서 설명한 모든 능력은 이미 존재하고, 수많은 창의적인 방식으로 조합될 수 있다. 그것이 당신 자신, 당신의 친구들, 당신의 가족에게 무엇을 뜻하는지 생각해 보고, 그들을 돕기 위해 무엇을 할 수 있을지 살펴보라.
사기의 미래는 이미 와 있다. 다만 아직 고르게 분포하지 않았을 뿐이다.
Patrick McKenzie, talia, Inanna Malick, Alice Fares, Tilia Bell, jyn, 그리고 Jane Lusby에게 이 블로그 글 초안에 대한 피드백을 준 것에 감사한다.
이 글의 일부를 조사하던 중, 1년 전의 비슷한 문제의식을 담은 글을 우연히 발견했는데, 거기에도 같은 Mickens 인용문이 나온다. 그것도 읽어볼 만하다.
본인의 의사와 무관하게 당신의 돈을 이체하려면 온라인 뱅킹을 통해 은행 송금을 개시해야 한다. 이는 눈에 띌 수 있고, 송금에는 며칠이 걸리며, 대상 계좌는 KYC 규정 때문에 추적될 수 있다. 게다가 은행 사이트는 대개 2FA를 사용하고, 로그인 시 사용자에게 알림을 보낸다.↩
받은편지함에 foo.com의 “로그인이 감지되었습니다” 같은 이메일이 거의 없는 점으로부터 알 수 있다↩
실제 유출 자금의 추적은, 잘 확립된 사기 수법인 (본인은 모르는) money mules를 이용함으로써 방해할 수 있다. 인정하자면, 이 방식은 당신이 뭔가 잘못됐음을 알아차릴 수 있는 시간을 며칠 더 벌어주기는 한다. 하지만 그래도 실현 가능해 보인다.↩
잊지 말자. 발신자 표시 번호의 전화번호와 이메일의 from: 헤더는 위조할 수 있다
그 기사에 대한 Patrick McKenzie의 훌륭한 후속 탐사 저널리즘도 읽어볼 가치가 있다.↩
혹은 Barney Stinson의 표현을 빌리면, Lorenzo Von Matterhorn이다↩
프런티어 모델은 새로운 소프트웨어 취약점을 찾는 데도 무서울 정도로 뛰어나지고 있다. 역사적으로 이것은 매우 비싼 일이었다. 다만 이것은 다른 역학에 속한다. 제로데이는 보통 가치가 높은 표적에게 쓰는, 소모성의 정밀 무기이지, 표적 데이터베이스를 상대로 for 루프 안에서 돌릴 무언가는 아니다. 여기에도 병행되는 군비 경쟁이 있고, 그것을 알아두는 것은 중요하지만, 이 글의 주된 관심사는 아니다.↩
자격 증명/신원 도용만이 인증된 위치를 얻는 유일한 방법은 아니라는 점에 유의하자. 사기꾼은 단지 더 잘 속는 표적을 설득해서 자신이 제안한 단계들을 수행하게 만들 수도 있다.↩
시스템의 틈을 노린 대규모 협조형 악용은, LLM이 아니라 인간 행동의 조율만으로도 이미 일어난다. 2024년에는 수표 사기성 “공짜 돈 버그”가 TikTok에서 바이럴을 탔고, 너무 많은 사람들이 시도한 나머지 Chase는 결국 몇 건의 소송을 제기했다. 하지만 당신 계정에 접근한 사기꾼은 먼저 바이럴 유행을 만들어낼 필요가 없다.↩
나는 이런 능력들 중 일부를 알아볼 정도의 지식은 있지만, 시간을 들여 테스트하고 도구를 만들지 않고서 그것들을 스스로 효과적으로 배치할 만큼 LLM에 능숙하지는 않다.↩
Regulation E를 보라. 나라별로 제도는 다르다. 영국은 최근 은행이 속아서 송금한 고객의 손실을 메워 주도록 요구하는 법을 통과시켰다. 이것이 LLM에 대한 대응인지는 내게 분명하지 않지만, 2024년의 법이고 나는 영국 입법부의 기술 이해 수준에 대해 좋은 인상을 가지고 있지 않으니, 아마 아닐 것이다.↩
그렇다고 해서 Reg E식의 “사기를 당한 사람은 누구든 은행이 손실을 메워야 한다”가 여기서도 정답이라는 뜻은 아니다. 비용이 너무 많이 은행으로 전가되면, 은행은 사기를 당할 가능성이 높은 사람들과 거래하지 않는 쪽을 택할 수도 있다. 이 분야를 나보다 더 잘 아는 사람이라면, 기관들(은행과 규제 당국 모두)이 취할 만한 실용적이고 구체적인 조치를 제안할 수 있을 것이다.↩
나는 이 분야의 전문가가 아니다. 사기와 사기 수법에 대해 읽는 것을 좋아하고, 보안에 대해 생각하는 것도 좋아하지만, 이 분야를 더 잘 아는 전문가들의 말을 듣기를 권한다.↩
안녕하세요, 저는 당신의 CEO입니다. 고객 미팅 때문에 Starbucks 상품권 $1000이 급히 필요합니다. 상품권이어야 하는 이유는 어어 그게 ….↩
권한 없는 누군가가 이메일 받은편지함이나 전화기에 접근하고 있는지 여부는 다른 문제다. 여기서의 요점은, 그들이 실제 접근 권한을 얻지 않고도 그 이메일/전화인 척할 수 있느냐는 것이다.↩
물론 실제 사용 중인 메일 서버에 따라 다르다. 하지만 현대에는 거의 문제가 되지 않는다.↩
이메일보다는 가능성이 낮다. “SS7 attacks”를 보라. Stingray 역시 법 집행 기관이 사용하는 도구지만, 그것은 물리적 현장 접근이 필요하며, 국가 수준 행위자는 일반적으로 이 분야에서 훨씬 더 많은 수단을 갖고 있다.↩
제공되는 경우, FIDO2/WebAuthn은 암호학적 교환에 웹사이트의 도메인을 포함하므로, 피싱 웹사이트가 단순히 서명을 중계해 넘길 수 없다.↩
방어자도 이런 능력을 갖게 된다! Mozilla는 Mythos를 사용해 Firefox를 레드팀한 결론을 낙관적으로 내렸다. 이 도구들을 돌리면, 최선 노력식 두더지잡기를 하는 대신 실제로 모든 보안 취약점을 찾아낼 현실적인 가능성이 있다고 본 것이다.↩
