向AI爬虫说不！Cloudflare推出AI机器人流量管控功能，网站重获语料训练权

面对法律诉讼与网络技术基础设施的双重围剿，海外AI（人工智能）行业加速走向合规。

近日，代理了全球约五分之一网站流量的Cloudflare连续第二年发表“内容独立日”宣言。Cloudflare表示，由于传统的“搜索换流量”契约被AI彻底撕毁，对网站所有者构成了生存性威胁，公司已推出一键式“屏蔽AI机器人”选项，将于9月15日起，全面默认阻断所有获取网页数据的AI训练爬虫，包括Googlebot、Applebot和BingBot等多功能爬虫。

同时，Cloudflare将为客户推出基于三大场景（搜索、代理和训练）管理AI流量的功能，借助三大细分新选项，客户将能够更精细地调控AI机器人流量的管理方式。Cloudflare还推出了最新的数据库BotBase，能够跟踪所有已知的机器人，包括已验证的机器人和智能体。

这一强硬政策的背后，是互联网流量生态正在发生的长远质变。Cloudflare最新披露的数据显示，目前全球互联网流量中，机器人流量已经首次超过人工流量，其中AI机器人占比快速增长。

“机器人”接管互联网，来自技术端和法律端的双重夹击

Cloudflare尖锐地指出，过去30年，互联网赖以生存的旧契约是“我来爬取内容，给你推荐流量”，而该规则在生成式AI时代已经不复存在。

Cloudflare写道：“对于小型网站而言，真正的困境并非内容被用于模型训练，而是网站从一开始便难以被用户找到。客户面临两难抉择：若要在搜索结果中获得曝光，就必须接受AI以其内容训练模型。”

因此，通过这一系列细微改动，Cloudflare希望“让网站所有者能够更有效地掌控谁可以使用其内容，以及如何使用”。如果AI公司还想继续获取来自网页的语料，就必须遵守技术红线，或者通过内置标签承诺附带原网页链接。一旦有AI机器人违反了这一规则，将直接被Cloudflare封杀。

目前，从创作者、版权方到技术平台，多方势力都在以自己的方式，持续推动海外AI公司为语料付费。2024年，《华尔街日报》母公司道琼斯（Dow Jones）以及《纽约邮报》联合起诉OpenAI，此案已经进入了漫长的法律拉锯战与取证阶段。

2025年，多位美国作家对AI初创公司Anthropic发起诉讼，指控后者在训练其Claude系列模型时，非法使用了数百万本受版权保护的书籍。2025年9月，双方达成了和解协议，Anthropic同意支付一笔15亿美元的和解金，并被要求销毁所有从盗版渠道获取的训练数据。

今年5月，学术出版商巨头爱思唯尔（Elsevier）又联合多家出版商以及知名小说家，在美国纽约南区联邦法院对Meta公司及其CEO马克·扎克伯格（Mark Zuckerberg）发起集体诉讼，指控Meta在开发Llama大型语言模型时，未经授权获取并复制了原告方数百万份受版权保护的作品。

律师：海外审判关注点已经发生根本性转移，技术端方案更灵活

针对海外AI语料的合规进展，上海大邦律师事务所高级合伙人、知识产权律师游云庭对澎湃新闻记者表示，审判边界的关注点已经发生了根本性的转移：“关于AI训练是否构成合理使用，关注点已从生成内容是否具有转换性，进化到AI利用版权内容训练后，其输出内容对原版权内容是否存在替代性。”

不过，游云庭也指出，由于著作权集体管理的方案是法定许可，需要立法先行，而立法流程时间较长；相比之下，Cloudflare的方案实际上更灵活，“操作方便，把训练许可权完全交给了生产内容的互联网网站”。

北京清律律师事务所的高孟宇律师则表示，当前判例的容忍度呈现明显的“来源分层”：“合法来源加转换性训练，法院倾向认定合理使用；明知来自盗版库仍然抓取下载，法院几乎零容忍。换言之，海外司法正在把‘数据尽调义务’事实上强加给AI公司。”

为了不让模型陷入“数据荒”，OpenAI、谷歌等AI大厂已经展开了疯狂的版权收购战，与各类内容平台达成数亿美元的排他性授权。那么，这种新秩序是否会锁死开源社区和中小微AI初创公司的生存空间？

对此，游云庭认为，AI的训练本身算力成本就极高，注定是巨头的游戏，其他不愿意或无力承担天价语料成本的中小公司，完全可以转向“寄生式”的破局路径：“每个市场主体都是灵活的，哪怕训练和合规成本高企，也能找到对应的生存策略。”

从宏观市场机制的演化角度来看，高孟宇认为，市场正在同时演化出三条对冲路径：集体授权、按使用量付费的市场化基础设施，以及合成数据和公共领域语料。未来行业真正的风险不是“付不起钱”，而是“规则由巨头的双边协议写成”：“如果授权市场固化为大公司之间的私人合约网络，中小公司连谈判桌都上不了，这才是需要立法和反垄断视角介入的问题。”