Cloudflare 为付费用户推出 Markdown for Agents

星***

The Cloudflare Blog – 12 Feb 26 (https://blog.cloudflare.com/markdown-for-agents/)

Introducing Markdown for Agents (https://blog.cloudflare.com/markdown-for-agents/)
The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens....

[!quote]+
内容和企业在网络上的曝光方式正在迅速变化。过去，流量主要来自传统搜索引擎，搜索引擎优化（SEO）决定了哪些内容和企业能够优先被用户发现。而现在，流量越来越多地来自人工智能爬虫和代理，它们需要从原本为人类设计的、结构化程度往往很低的互联网中提取结构化数据。
Cloudflare 网络现已支持源端实时内容转换，适用于启用内容协商标 (https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Content_negotiation)头的区域  (https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/)。现在，当 AI 系统从任何使用 Cloudflare 并启用了 Markdown for Agents 的网站请求页面时，它们可以在请求中指定文本/Markdown 格式。我们的网络会在条件允许的情况下，自动高效地将 HTML 实时转换为 Markdown。
工作原理如下：要从启用了 Markdown for Agents 的区域获取任何页面的 Markdown 版本，客户端需要添加 Accept 协商标头，并将 text/markdown 作为其中一个选项。Cloudflare 会检测到这一点，从源服务器获取原始 HTML 版本，并将其转换为 Markdown 格式后再提供给客户端。
请注意，转换后的响应中包含一个 x-markdown-tokens 标头，用于指示 Markdown 文档中标记的估计数量。您可以在流程中使用此值，例如计算上下文窗口的大小或确定分块策略。
我们在开发者文档 (https://developers.cloudflare.com/)和博客 (https://blog.cloudflare.com/)中启用了此功能，邀请所有 AI 爬虫和代理使用 Markdown 而不是 HTML 来消费我们的内容。

例子：

1. curl https://blog.cloudflare.com/markdown-for-agents/ \ -H "Accept: text/markdown"

复制代码