클라우드플레어가 ‘크롤당 결제’를 통해 AI 크롤러가 콘텐츠에 접근하도록 허용하면서 동시에 요금 부과가 가능한 접근 제어 방식을 소개합니다.
많은 퍼블리셔, 콘텐츠 제작자, 웹사이트 소유자들은 현재 AI가 자신들이 만든 모든 것을 소비하도록 ‘전면 개방’하거나, 아니면 자체 울타리를 치는 것, 이 두 가지 중 하나만 선택할 수 있다고 느낍니다. 하지만 다른 방법이 있다면 어떨까요?
클라우드플레어는 단순한 원칙에서 출발했습니다: 콘텐츠 제작자는 자신의 작품에 누가 접근할 수 있는지에 대해 통제권을 가져야 한다는 것. 만약 제작자가 모든 AI 크롤러를 차단하고 싶다면, 그렇게 할 수 있어야 합니다. 혹은 어떤 AI 크롤러든 무료로 접속하도록 허용하고 싶더라도, 역시 가능해야 합니다. 즉, 운전대는 제작자가 쥐어야 합니다.
수백 개의 뉴스 조직, 퍼블리셔, 대규모 소셜미디어 플랫폼과의 대화를 통해 저희는 일관된 새로운 니즈를 들을 수 있었습니다: "AI 크롤러가 우리 콘텐츠에 접근하도록 허용하되, 그에 대한 보상을 받고 싶다"는 것입니다. 현재로서는 적절한 관계자를 알고 일대일 계약을 맺어야 하는데, 이것은 규모와 영향력이 있는 곳이 아니면 거의 불가능합니다.
여러분의 선택이 반드시 이진적일 필요는 없습니다. 세 번째, 더 섬세한 옵션이 있어야 합니다: 접근에 대해 요금을 부과할 수 있는 방법입니다. 일괄 차단도, 대가 없는 전면 개방도 아닌, 콘텐츠 소유자가 자신의 콘텐츠를 인터넷 규모로 수익화할 수 있도록 하자는 목표입니다.
그리고 이를 위해 저희는 웹의 거의 잊혀진 기능인 HTTP 응답 코드 402를 활용하고자 했습니다.
크롤당 결제는 현재 프라이빗 베타로 제공되는 클라우드플레어의 첫 실험입니다.
크롤당 결제는 기존 웹 인프라와 통합되어 HTTP 상태 코드, 인증 메커니즘을 활용해 유료 콘텐츠 접근 프레임워크를 만듭니다.
AI 크롤러가 콘텐츠를 요청할 때마다, 결제 의사가 있으면 요청 헤더를 통해 이를 제시해 정상 접근(HTTP 200 응답 코드)을 받거나, 402 Payment Required 응답과 함께 가격 정보를 받게 됩니다. 크라우드플레어는 ‘Merchant of Record’로서 결제와 기술 인프라를 모두 제공합니다.
크롤당 결제는 도메인 소유자가 자신의 수익화 전략을 전적으로 통제할 수 있게 합니다. 사이트 전체에 대해 1회당 고정 요금을 설정할 수 있습니다. 이후 퍼블리셔는 크롤러에 대해 세 가지 선택지를 가집니다:
중요한 점은, 크롤러가 클라우드플레어와 결제 관계가 없어 실제 요금을 부과할 수 없더라도, 퍼블리셔가 "요금 부과"를 지정하면 네트워크 차원의 차단(HTTP 403 Forbidden)과 동일하게 동작합니다. 단, 나중에 거래 관계를 맺을 수도 있음을 크롤러에게 알려주는 장점도 있습니다.
퍼블리셔는 사이트 전체에 대해 일괄 요금을 지정할 수 있지만, 개별 크롤러에 대해 과금 우회를 설정하는 등 유연하게 운영할 수 있습니다. 원하는 특정 크롤러에 무료로 통과를 허용하거나 별도의 콘텐츠 파트너십을 맺는 경우에 유용합니다.
또한 각 퍼블리셔의 기존 보안 정책과 통합을 위해, 크라우드플레어는 WAF, 봇 관리 및 차단 정책 적용 후 별도의 룰 엔진에서 Allow/Charge를 집행합니다.
이 시스템을 설계하면서 저희는 "특정 크롤러만 과금하고, 누가 크롤러인 척 위조하지 못하게 할 것인가"라는 핵심 기술적 과제에 직면했습니다. 다행히 Web Bot Auth를 활용하면 해결할 수 있었습니다.
크롤러 측에서는 다음이 필요합니다:
등록이 승인되면 크롤러는 모든 요청에 signature-agent, signature-input, signature 헤더를 포함시켜 신원 확인과 유료 리소스 탐색에 사용해야 합니다.
GET /example.html
Signature-Agent: "https://signature-agent.example.com"
Signature-Input: sig2=("@authority" "signature-agent")
;created=1735689600
;keyid="poqkLGiymh_W0uP6PZFw-dvez3QJT5SolqXBCW38r0U"
;alg="ed25519"
;expires=1735693200
;nonce="e8N7S2MFd/qrd6T2R3tdfAuuANngKI7LFtKYI/vowzk4lAZYadIX6wW25MwG7DCT9RUKAJ0qVkU0mEeLElW1qg=="
;tag="web-bot-auth"
Signature: sig2=:jdq0SqOwHdyHr9+r5jw3iYZH6aNGKijYp/EstF4RQTQdi5N5YYKrD+mCT1HA1nZDsi6nJKuHxUi/5Syp3rLWBA==:
크롤러가 위와 같이 설정됐다면, 콘텐츠의 과금 필요 여부는 두 가지 흐름으로 결정될 수 있습니다:
유료 URL 요청시, 클라우드플레어가 HTTP 402 Payment Required와 crawler-price 헤더를 반환합니다. 결제가 필요하다는 신호입니다.
HTTP 402 Payment Required
crawler-price: USD XX.XX
크롤러는 그 후 가격에 동의한다는 의미로 crawler-exact-price 헤더를 포함하여 재요청할 수 있습니다.
GET /example.html
crawler-exact-price: USD XX.XX
반대로 크롤러가 처음 요청할 때부터 crawler-max-price 헤더로 최대 허용 가격을 명시할 수도 있습니다.
GET /example.html
crawler-max-price: USD XX.XX
요청 리소스 가격이 위에서 지정한 한도 이하라면, 요청이 정상 진행되며 HTTP 200 OK와 crawler-charged(실제 결제 금액)로 응답이 보장됩니다.
HTTP 200 OK
crawler-charged: USD XX.XX
server: cloudflare
max-price보다 사이트에 등록된 가격이 낮으면 해당 가격만 청구됩니다. 반대로 가격이 높으면 HTTP 402 Payment Required로 실제 가격을 안내합니다. 한 번의 요청에는 crawler-exact-price 또는 crawler-max-price 선언 헤더 중 하나만 쓸 수 있습니다.
crawler-exact-price 또는 crawler-max-price는 크롤러의 지불 의사를 명시합니다. 모든 검증이 통과하면 콘텐츠가 제공되고, 해당 크롤이 기록됩니다. 만약 요청 조건이 잘못되었을 경우, 엣지에서 다시 HTTP 402 Payment Required를 반환합니다.
크롤러 운영자와 콘텐츠 소유자는 클라우드플레어 계정에서 ‘크롤당 결제’ 정산 정보를 설정해야 합니다. 크롤러가 인증된 결제 요청을 하고 응답으로 crawler-charged가 포함된 HTTP 200이 반환될 때마다 결제 이벤트가 기록됩니다. 클라우드플레어는 모든 이벤트를 집계해 크롤러에 청구하고, 퍼블리셔로 수익을 분배합니다.
궁극적으로 크롤당 결제는 온라인 콘텐츠 통제 방식 전환의 시작입니다. 제작자가 자신의 디지털 자산의 가치를 기술적으로 통제할 수 있다면, 앞으로도 인터넷을 가치 있게 만드는 풍부하고 다양한 콘텐츠 생산이 계속될 수 있습니다.
크롤당 결제는 앞으로 크게 진화할 것으로 보고 있습니다. 초기 단계일 뿐이고, 더 다양한 상호작용과 마켓플레이스가 동시에 발전해야 한다고 생각합니다. 각각의 시도를 지원하고 표준이 열리도록 할 계획입니다.
예를 들어, 퍼블리셔나 뉴스 조직이 경로별, 콘텐츠 유형별로 서로 다른 요금을 부과하고 싶을 수도 있습니다. 사용자 수, 수요에 따라 동적 가격 책정은 어떻게 할까요? 트레이닝, 추론, 검색, 또는 완전히 새 영역 등 인터넷 규모의 세분화된 라이선스는 또 어떻게 할까요?
진짜 잠재력은 에이전트(agents) 환경에서 드러납니다. 만약 요금제가 전부 프로그래밍적으로 운영된다면? 예를 들어, 깊이 있는 리서치 프로그램에게 최신 암 연구, 법률 브리핑을 종합해 달라 부탁하거나, 소호 최고의 음식점을 찾아달라 시키고, 그 에이전트에게 예산을 부여해 가장 관련성 높은 콘텐츠를 구매하도록 하는 겁니다. HTTP 402 응답 코드에 기반한 솔루션은, 지능형 에이전트가 디지털 리소스 접근을 프로그램적으로 협상하는 미래를 열어줍니다.
크롤당 결제는 현재 프라이빗 베타로 제공되고 있습니다. 콘텐츠에 접근하기 위해 결제할 의사가 있는 크롤러나, 접근에 비용을 부과하고 싶은 콘텐츠 소유자는 http://www.cloudflare.com/paypercrawl-signup/에서 문의하거나, 기존 엔터프라이즈 고객은 담당 AE에게 연락해 주시기 바랍니다.
클라우드플레어의 커넥티비티 클라우드는 전체 기업 네트워크 보호, 인터넷 규모의 애플리케이션 효율 구축, 웹사이트 및 인터넷 앱 가속, DDoS 공격 방어, 해커 차단, 제로 트러스트로의 전환 등 다양한 목적에 맞는 보안을 제공합니다.
1.1.1.1 앱을 내려받아 더 빠르고 안전한 인터넷 경험을 시작해 보세요.
더 나은 인터넷 구축이라는 클라우드플레어의 미션에 대해 여기에서 더 알아보실 수 있습니다. 새로운 커리어 방향에 관심 있다면 채용 공고도 참고해 주세요.