《时代》杂志为AI爬虫设计Markdown格式，且整合广告内容

IT之家 8 月 6 日消息，科技媒体 vincentschmalbach 昨日（8 月 5 日）发布博文，报道称《时代》（TIME）针对当前网络环境，为普通人类读者和 AI 爬虫设计了不同的访问逻辑。

根据开发者文森特 · 施马尔巴赫（Vincent Schmalbach）测试，在访问《时代》杂志相同链接的文章后，面向人类读者会展示常规页面，而面向 AI 爬虫则提供单独、带有广告的版本。

面向 AI 爬虫的页面采用 Markdown 格式。相比普通网页中的图片、菜单和显示代码，Markdown 更便于基于文本的 AI 系统解析文章和链接。

施马尔巴赫测试通过更改 User-Agent（用于标识访问网站的浏览器或爬虫类型）测试《时代》网站。

测试结果显示，常规浏览器访问时，TIME 返回约 303KB 的 HTML；当访问身份改为 ClaudeBot 和 PerplexityBot 后，网站返回约 13KB 的 Markdown。

实际响应头中，content-type 被设为 text / markdown，说明服务器向这些爬虫发送的是 Markdown 内容。IT之家附上相关截图如下：

此外在内容方面，《时代》针对 AI 爬虫的 Markdown 内容还整合了定向广告，该服务由 AI 广告技术公司 Mobian 提供。

为了让生成式 AI 更容易读取广告主信息，在专题页和其他栏目中，页面还包含问答格式的赞助信息。这些广告明确标注为赞助内容，但在人类读者访问情况下不会出现。