이스라엘의 효과적 이타주의 기업 Irregular가 보안이 확보되지 않은 AI 모델들로 실제 표적을 해킹하게 만든 사건을 다룬다.
이스라엘의 효과적 이타주의 기업 Irregular는 보안이 확보되지 않은 AI 모델들이 실제 표적을 해킹하게 만들었다.
2026년 9월 14일 · 4분 읽기
더 정상적인 미디어 생태계였다면, 이러한 사이버보안 문제에 대한 반응은 명백했을 것이다. 미국 AI 기업들은 Irregular와의 거래를 재고했을 것이다. 이는 Irregular가 자사 시스템을 보호하는 데 실패했기 때문만이 아니라, 미국의 감독 밖에 있을 가능성이 있는 이스라엘 기업이기 때문이다. 입법자들은 OpenAI, Anthropic, Meta를 포함한 미국 내 사업 파트너나 Irregular를 상대로 조치를 취하는 방안을 검토했을 것이다. AI 모델에 사이버공격을 지시하고, 해당 모델이 실제로 그 사이버공격을 수행하는 기업에 대한 책임을 강화하는 방안도 검토했을 수 있다.
각 평가에서 Claude에는 CTF 과제가 주어졌다. 모델은 가상의 시나리오, 표적 머신, 그리고 그곳에서 찾아내야 하는 비밀 정보 조각인 “플래그”를 받았다. 네 프롬프트 모두 Claude가 인터넷에 접근할 수 없다고 명시했지만, 매번 환경 설정 오류로 인터넷 접속이 열려 있었다. 어떤 프롬프트도 연습의 범위에 포함된 시스템이 무엇인지 명시하거나 Claude가 플래그를 찾을 수 있는 장소를 제한하지 않았다. 모든 사건에는 단 하나의 Claude 인스턴스만이 격리된 상태로 작업했으며, 각 실행은 대략 10시간에서 34시간 동안의 능동 작업으로 지속되었다.
그 대신 Irregular, Anthropic 및 이들의 동맹은 선정적인 언어로 문자 그대로 종말론적인 이념을 홍보하는 미디어 캠페인을 시작했다. Anthropic의 사건 평가는 자사 AI의 “무모함”을 비난하고, Irregular는 “에이전트 자체가 위협 행위자가 되는 것”을 묘사한다. Anthropic CEO Dario Amodei는 유사한 OpenAI–Hugging Face 해킹에 관해 미래의 군집이 “인터넷 전체를 장악할 능력을 가질 수 있다”고 경고했고, Associated Press의 한 헤드라인은 봇들이 “멋대로 행동하고 있다”고 주장했다.
Anthropic의 한 보고서에서, Claude 모델은 모의 이름 충돌을 통해 실제 기업의 시스템을 침해하고, 악성 패키지를 게시하고, 범위 밖 시스템을 스캔했다. 이 시험에서, Anthropic과 Irregular는 이 모델에 인터넷 접속을 잘못 제공했으며 모델에 “어떤 시스템이 연습의 범위에 포함되는지” 지시하지 않았다.
Anthropic은 이들의 문제가 “멋대로 행동하는 군집”과 “정렬 실패” 때문에 발생했다고 주장하지만, 후속 공개는 에이전트 가운데 정확히 0퍼센트가 “멋대로 행동한” 것은 아니었음을 보여 준다. 이 실험에서 Anthropic 직원들이 모델들에게 실제 세계 해킹을 하지 말라고 말하자 Claude 모델들의 실제 세계 해킹은 0퍼센트로 떨어졌다. 자체 조사 결과에 따르면, Anthropic과 Irregular는 자신들이 초래한 사이버보안 사건에 대한 모든 책임을 진다.
이 공격 이후 Anthropic과 Irregular는 Anthropic과 연계된 재단들로부터 돈을 받는 AI Safety 인플루언서 무리를 동원해 자신들의 책임에서 근거 없는 “멋대로 행동하는 에이전트” 이론으로 관심을 돌리고 있다. Anthropic과 마찬가지로 Irregular도 이 재단들과 분리할 수 없다.
Irregular의 공동 창업자이자 CTO인 Omer Nevo는 Effective Altruism Israel의 이사이며, 효과적 이타주의 NGO인 Heron과 Probably Good의 이사이기도 하다. Irregular의 공동 창업자이자 CEO인 Dan Lahav는 Omer Nevo의 형제인 Sella Nevo와 함께 강좌를 시작하기 위해 $395,000를 받았다. Sella와 Omer는 사람들에게 효과적 이타주의를 교육하기 위한 NGO인 Impact Focused Education을 공동 설립했다. 두 사람은 Probably Good도 함께 공동 설립했다.2
이 분파들은 모두 Sam Bankman-Fried가 체포된 뒤 효과적 이타주의/AI Safety 활동의 주요 기부자가 된 Dustin Moskovitz의 자금 지원을 받는다. Irregular의 첫 투자자는 Dustin Moskovitz의 기업 Good Ventures였다. Dustin Moskovitz의 자선 수단인 Coefficient Giving/Open Philanthropy는 Effective Altruism Israel, Heron, Probably Good에 자금을 지원한다.3
Irregular는 접근 권한을 부여받은 보안이 확보되지 않은 모델을 사용해 무단 접근을 획득하고, 기록을 변경하며, 자격 증명을 탈취하는 패키지를 게시했다. 특정 조건에서 이 행위는 정보를 획득하는 고의적인 무단 접근을 다루는 Computer Fraud and Abuse Act 제1030(a)(2)(C)조를 위반한다. 그러나 중범죄 혐의가 성립하려면 손해와 의도에 관한 구체적인 증거가 필요하다.5
Irregular는 주로 미국 연구소들과 계약하지만, 이스라엘에 있는 Irregular의 핵심 경영진, 직원, 자원은 미국의 감독 대상이 아닐 수 있다. Ynet의 방문 및 인터뷰는 Tel Aviv에 있는 Irregular의 사무실을 묘사한다. CheckID의 회사 등재는 연결된 두 법인, 즉 Pattern Labs Tech Inc.라는 Delaware 법인과, 번호 516854460의 Pattern Tech Ltd라는 Tel Aviv에 등록된 활동 중인 이스라엘 법인을 식별한다.
타임라인은 공개 발표를 표시한다. Anthropic의 수정된 9월 평가는 7회 실행에 걸친 4건의 사건을 집계하며, OpenAI와 Meta는 별도의 Irregular 평가 사건을 보고했다. 날짜는 모든 기저 침입이 발생한 날짜가 아니라 공개 발표일을 나타낸다. ↩
| 2026-07-30 | Anthropic, 6회 실행에 걸친 3건의 사건 공개 | 공개 | INC-A30 |
| 2026-08-04 | OpenAI, Irregular 사건 공개 | 공개 | INC-O04 |
| 2026-08-06 | Meta 성명 보도 | 공개 | INC-M06 |
| 2026-08-14 | Irregular, 도메인 충돌 경위 및 시정 조치 공개 | 공개 | INC-I14 |
| 2026-09-09 | Anthropic, 7회 실행에 걸친 4건의 사건으로 확대 | 공개 | INC-A09 |
도표는 선별된 조직 내 역할과 자금 지원을 보여 주며, 표에는 도표에서 생략된 가족 및 교육 관계도 기록되어 있다. EA Infrastructure Fund는 2022년 3분기에 Dan Lahav와 Sella Nevo에게 $394,968의 공동 MOOC 지원금 하나를 권고했으며, 두 화살표는 그 하나의 권고를 나타낸다. 해당 원장은 강좌와 조직의 이름을 밝히지 않는다. ↩
| Omer Nevo | Effective Altruism Israel | 이사 | pol_ea_israel |
| Omer Nevo | Probably Good | 공동 창업자, 전 CEO, 이사 | pol_pg_about |
| Omer Nevo | Heron | 자문 이사회 구성원 | pol_heron_about |
| Effective Altruism Israel | Heron | 운영 | pol_heron_about |
| Coefficient Giving | Heron | 자금 제공자 | pol_heron_aboutpol_heron_job |
| Coefficient Giving | Probably Good | 보조금 자금 제공자 | pol_pg_2022 |
| Dan Lahav | Impact Focused Education | 공동 창업자 | pol_dan_initiativesIFE-ABOUT |
| Sella Nevo | Probably Good | 공동 창업자, 전 연구 책임자, 이사 | pol_pg_about |
| Omer Nevo | Sella Nevo | 형제 | pol_brothers_jta |
| Dan Lahav | Irregular | 공동 창업자 및 경영진 | M02창업자 확인 |
| Omer Nevo | Irregular | 공동 창업자 및 경영진 | M02창업자 확인 |
| EA Infrastructure Fund | Dan Lahav | 공동 MOOC 보조금 권고 | F13 |
| EA Infrastructure Fund | Sella Nevo | 공동 MOOC 보조금 권고 | F13 |
| Sella Nevo | Impact Focused Education | 공동 창업자 | IFE-ABOUT |
Computer Fraud and Abuse Act 제1030(a)(2)(C)조의 5년 중범죄 조항은 상업적 이득, 다른 범죄 또는 불법행위의 조장, 또는 $5,000를 초과하는 가치의 정보 취득과 같은 가중 요소를 요구한다. §1030(a)(5)에 따른 손해를 초래하는 접근 또는 전송에 관한 주요 초범 중범죄 조항은 명시된 정신 상태와 법정상 손해를 요구한다. 예를 들어 적격 손실이 최소 $5,000이거나 보호되는 컴퓨터 10대에 영향을 주는 손해가 이에 해당한다. 법적 평가는 여전히 각 시스템의 허가, 기능 저하, 대응 비용 및 미국 상거래와의 연계를 요구한다. 검찰은 또한 책임 있는 사람들의 행위와 인식을 입증하고, 그 행위를 Irregular에 귀속시킬 근거를 제시해야 한다. 18 U.S.C. § 1030. ↩