온라인에서 콘텐츠와 비즈니스가 발견되는 방식이 기존 검색 엔진에서, 인간을 위해 만들어진 웹에서 구조화된 데이터를 필요로 하는 AI 에이전트로 이동하고 있습니다. 이제는 사람 방문자만이 아니라 에이전트를 1급 시민으로 대할 때입니다. Markdown for Agents는 Cloudflare 네트워크에서 요청되는 모든 HTML 페이지를 자동으로 마크다운으로 변환합니다.
온라인에서 콘텐츠와 비즈니스가 발견되는 방식은 빠르게 변하고 있습니다. 과거에는 트래픽이 전통적인 검색 엔진에서 발생했고, SEO가 누가 먼저 발견되는지를 결정했습니다. 이제 트래픽은 점점 더 AI 크롤러와 에이전트에서 오고 있으며, 이들은 인간을 위해 만들어진 종종 비정형적인 웹 속에서 구조화된 데이터를 요구합니다.
비즈니스가 계속 앞서 나가려면, 이제는 사람 방문자나 SEO 최적화를 위한 전통적 통념만 고려할 것이 아니라, 에이전트를 1급 시민으로 대하기 시작해야 할 때입니다.
AI에게 원시 HTML을 먹이는 것은 편지 내용 대신 포장지 글자 수만큼 돈을 내고 읽는 것과 같습니다. 마크다운에서 페이지의 단순한 ## About Us는 대략 3 토큰이면 되지만, 같은 내용을 HTML로 쓰면 <h2 class="section-title" id="about">About Us</h2>처럼 12~15 토큰을 태워버립니다. 그리고 이 수치는 실제 웹 페이지마다 의미적 가치가 전혀 없는 <div> 래퍼, 내비게이션 바, 스크립트 태그 등이 덕지덕지 붙는다는 점을 고려하기도 전의 이야기입니다.
지금 읽고 있는 이 블로그 글은 HTML로는 16,180 토큰이 들고 마크다운으로 변환하면 3,150 토큰이 듭니다. 토큰 사용량이 80% 줄어드는 셈입니다.
Markdown은 에이전트와 AI 시스템 전반에서 빠르게 _링구아 프랑카_가 되었습니다. 포맷의 명시적 구조는 AI 처리에 이상적이며, 토큰 낭비를 최소화하면서 궁극적으로 더 나은 결과를 만들어냅니다.
문제는 웹이 마크다운이 아니라 HTML로 만들어져 있다는 점입니다. 그리고 페이지 용량은 수년에 걸쳐 꾸준히 증가해 왔기 때문에 페이지를 파싱하기가 점점 어려워지고 있습니다. 에이전트의 목표는 비필수 요소를 모두 걸러내고 관련 콘텐츠만 훑어보는 것입니다.
HTML을 마크다운으로 변환하는 일은 이제 어떤 AI 파이프라인에서도 흔한 단계가 되었습니다. 하지만 이 과정은 이상적과는 거리가 멉니다. 계산을 낭비하고, 비용과 처리 복잡도를 늘리며, 무엇보다도 콘텐츠 제작자가 원래 의도한 사용 방식과 다를 수 있습니다.
AI 에이전트가 의도 분석과 문서 변환의 복잡성을 우회하고, 대신 소스에서 구조화된 마크다운을 직접 받을 수 있다면 어떨까요?
Cloudflare 네트워크는 이제 활성화된 존에서 콘텐츠 협상(content negotiation) 헤더를 사용해 소스에서 실시간 콘텐츠 변환을 지원합니다. 이제 Markdown for Agents가 활성화된 Cloudflare 사용 웹사이트에서 AI 시스템이 페이지를 요청할 때, 요청에 text/markdown 선호를 표현할 수 있습니다. 그러면 가능할 경우, 저희 네트워크가 즉석에서(on the fly) HTML을 마크다운으로 자동이고 효율적으로 변환합니다.
작동 방식은 이렇습니다. Markdown for Agents가 활성화된 존의 어떤 페이지든 마크다운 버전을 가져오려면, 클라이언트는 협상을 위한 Accept 헤더에 text/markdown을 옵션 중 하나로 추가해야 합니다. Cloudflare는 이를 감지하고, 오리진에서 원본 HTML 버전을 가져온 다음, 클라이언트에 제공하기 전에 마크다운으로 변환합니다.
다음은 개발자 문서에서 페이지를 요청하면서 Accept 협상 헤더를 보내는 curl 예시입니다.
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \
-H "Accept: text/markdown"
또는 Workers로 AI 에이전트를 만들고 있다면, TypeScript로 이렇게 사용할 수 있습니다.
const r = await fetch(
`https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
{
headers: {
Accept: "text/markdown, text/html",
},
},
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();
이미 오늘날 가장 인기 있는 코딩 에이전트들(Claude Code, OpenCode 등)은 콘텐츠 요청 시 이런 accept 헤더를 보내고 있습니다. 이제 이 요청에 대한 응답이 마크다운 형식으로 돌아옵니다. 정말 간단합니다.
HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes
---
title: Markdown for Agents · Cloudflare Agents docs
---
## What is Markdown for Agents
The ability to parse and convert HTML to Markdown has become foundational for AI.
...
변환된 응답에는 마크다운 문서의 예상 토큰 수를 나타내는 x-markdown-tokens 헤더를 포함합니다. 이 값을 사용해 예를 들어 컨텍스트 윈도 크기를 계산하거나, 청킹(chunking) 전략을 결정하는 데 활용할 수 있습니다.
아래는 동작 방식의 다이어그램입니다.
지난 Birthday Week 동안 Cloudflare는 Content Signals를 발표했습니다. Content Signals는 프레임워크로, 누구나 자신의 콘텐츠가 접근된 이후 어떤 방식으로 사용될 수 있는지에 대한 선호를 표현할 수 있도록 합니다.
마크다운을 반환할 때는 콘텐츠가 에이전트 또는 AI 크롤러에 의해 어떻게 사용되는지 확실히 하고 싶을 것입니다. 그래서 Markdown for Agents의 변환 응답에는 Content-Signal: ai-train=yes, search=yes, ai-input=yes 헤더를 포함합니다. 이는 콘텐츠가 AI 학습, 검색 결과, 그리고 에이전틱 사용을 포함하는 AI 입력에 활용될 수 있음을 신호로 나타냅니다. Markdown for Agents는 향후 커스텀 Content Signal 정책을 정의할 수 있는 옵션을 제공할 예정입니다.
이 프레임워크에 대한 자세한 내용은 전용 Content Signals 페이지를 확인해 주세요.
저희는 개발자 문서와 블로그에서 이 기능을 활성화하여, 모든 AI 크롤러와 에이전트가 HTML 대신 마크다운으로 저희 콘텐츠를 소비할 수 있도록 초대합니다.
지금 이 블로그에 Accept: text/markdown으로 요청해 직접 확인해 보세요.
curl https://blog.cloudflare.com/markdown-for-agents/ \
-H "Accept: text/markdown"
결과는 다음과 같습니다.
---
description: The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens. Markdown for Agents automatically converts any HTML page requested from our network to markdown.
title: Introducing Markdown for Agents
image: https://blog.cloudflare.com/images/markdown-for-agents.png
---
# Introducing Markdown for Agents
The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans.
...
Cloudflare 외부의 임의 문서 변환이 필요한 AI 시스템을 만들고 있거나, 콘텐츠 소스에서 Markdown for Agents를 사용할 수 없는 경우에도, 애플리케이션에서 문서를 마크다운으로 변환할 수 있도록 다른 방법을 제공합니다.
Workers AI AI.toMarkdown()는 HTML뿐 아니라 여러 문서 유형을 지원하며, 요약 기능도 제공합니다.
Browser Rendering의 /markdown REST API는 동적 페이지나 애플리케이션을 실제 브라우저에서 렌더링한 뒤 변환해야 하는 경우, 마크다운 변환을 지원합니다.
AI 시스템이 웹을 탐색하는 방식이 변화할 것을 예상하여, Cloudflare Radar는 이제 AI 봇 및 크롤러 트래픽에 대한 콘텐츠 타입 인사이트를 포함합니다. 전 세계 수준에서는 AI Insights 페이지에서, 그리고 개별 봇 정보 페이지에서도 확인할 수 있습니다.
새로운 content_type 차원(dimension)과 필터는 AI 에이전트 및 크롤러에 반환되는 콘텐츠 타입의 분포를 MIME 타입 카테고리별로 묶어 보여줍니다.
특정 에이전트나 크롤러로 필터링해 마크다운 요청만 볼 수도 있습니다. 아래는 ChatGPT 검색을 구동하기 위해 OpenAI가 사용하는 크롤러인 OAI-Searchbot에 마크다운을 반환하는 요청들입니다.
이 새로운 데이터는 AI 봇, 크롤러, 에이전트가 시간이 지남에 따라 웹 콘텐츠를 어떻게 소비하는지의 진화를 추적할 수 있게 해줄 것입니다. 언제나 그렇듯 Radar의 모든 기능은 공개 API와 Data Explorer를 통해 무료로 접근할 수 있습니다.
존에 Markdown for Agents를 활성화하려면 Cloudflare 대시보드에 로그인하고, 계정을 선택한 다음, 존을 선택하고, Quick Actions를 찾아 Markdown for Agents 버튼을 토글하여 활성화하세요. 이 기능은 현재 베타로 제공되며, Pro, Business, Enterprise 요금제와 SSL for SaaS 고객에게 추가 비용 없이 제공됩니다.
Markdown for Agents에 대한 더 많은 정보는 개발자 문서에서 확인할 수 있습니다. 이 기능을 계속 다듬고 개선해 나가는 과정에서 여러분의 피드백을 환영합니다. 웹이 진화하는 가운데 AI 크롤러와 에이전트가 웹의 비정형적 특성을 어떻게 탐색하고 적응하는지 지켜보는 것도 기대됩니다.
Cloudflare의 connectivity cloud는 기업 전체 네트워크를 보호하고, 고객이 인터넷 규모의 애플리케이션을 효율적으로 구축하도록 돕고, 어떤 웹사이트나 인터넷 애플리케이션이든 가속하며, DDoS 공격을 막고, 해커를 차단하고, Zero Trust 여정도 지원할 수 있습니다.
어떤 기기에서든 1.1.1.1을 방문해 인터넷을 더 빠르고 안전하게 만들어 주는 무료 앱으로 시작해 보세요.
더 나은 인터넷을 만드는 데 도움이 되겠다는 저희 미션에 대해 더 알아보려면 여기서 시작하세요. 새로운 커리어 방향을 찾고 있다면 채용 공고를 확인해 보세요.