Cloudflare推出新设置：可允许搜索引擎爬取，同时拒绝AI训练

IT之家 9 月 16 日消息，Cloudflare 昨日宣布推出新设置“Disallow AI Training”，允许管理员继续接受搜索引擎爬取，同时拒绝网站内容用于 AI 训练。苹果、谷歌和微软已承诺遵守该设置。

网站管理员启用该设置后，Cloudflare 仍会允许用于搜索、AI 训练的混合爬虫抓取内容，但前提是系统将其标记为“Accountable”（IT之家注：可问责），其他 AI 训练爬虫仍会被拦截。官方表示，拦截这类爬虫有可能影响网站搜索排名。

Cloudflare 表示，大多数客户无需进行任何更改。此前在 Training 中选择“Block”或“Block on pages with ads”的网站会自动迁移至“Disallow AI Training”。

此外，谷歌将在未来几周推出 Google-Extended 的 URL 层级透明度工具，苹果也在开发自己的 URL 层级工具，微软计划 2027 年初支持 robots.txt 拒绝 AI 训练。