AI巨头联手推出'退出爬取'新标准，但这是否只是另一种控制？

新标准是什么：从逐家谈判到统一信号

如果你运营一个内容网站，过去一年可能干过一件繁琐的事：OpenAI 来信说想抓取你的内容训练模型，你回绝，按它的格式提交声明。过几周，Google 又来信，格式略不同，再填一次。Anthropic 和 Microsoft 也不会缺席。现在，四家公司同意把这些声明合并成一个信号，你只需要在 robots.txt 里写一行配置。

2026年10月30日，OpenAI、Google、Microsoft、Anthropic 宣布采纳一套新的爬取退出标准，由《The Verge》记者 Emma Roth 报道 来源：The Verge。标准的核心信号名叫“policy token”，由 Anthropic 标准技术负责人 Kevin Kelley 在互联网工程任务组（IETF）框架下提出，放置在网站的 robots.txt 文件中 来源：The Verge。

目前，网站需要分别向每家 AI 公司声明训练偏好，新标准允许一次性统一声明 来源：The Verge。这意味着什么？一个站长面对四家巨头的爬虫，过去要协调四种口径，现在只需一处声明。对运营小团队来说，这是实打实的时间节省。

技术细节与行业背景：robots.txt 的演变

robots.txt 不是新东西。它长期用于指示哪些爬虫可以访问站点，覆盖搜索索引、存档、AI 训练等用途 来源：The Verge。这个文件本身没有法律强制力，更像一个君子协定。过去二十年，搜索引擎大多遵守它，但 AI 爬虫的涌入让这份协定出现了裂缝。

此次新标准被作为 IETF 提案提交，属于互联网标准化流程的一部分 来源：The Verge。四家巨头均表示采纳，说明行业共识正在形成 来源：The Verge。在作者看来，发布者正面临 AI 爬虫持续涌入的困境，该标准旨在缓解这一压力 来源：The Verge。

背景并不乐观。一些公司和组织尝试过对抗未授权抓取，比如 Really Simple Licensing（RSL）标准让发布者可以收费，Cloudflare 默认屏蔽 AI 爬虫 来源：The Verge。这些努力说明问题已经超出了君子协定的范畴，变成了商业与法律的拉锯。

多源验证与作者判断：巨头支持背后的冷思考

消息的可靠性有多源交叉验证。Search Engine Roundtable 先前已报道，The Verge 随后跟进 来源：Search Engine Roundtable。但有意思的是，HN 上这个链接的讨论帖只有 1 分、0 条评论 来源：HN。技术社区的反应冷淡，与巨头高调支持形成反差。

这种反差值得琢磨。作者在报道中判断，尽管巨头支持，robots.txt 历来是自愿性规范，该标准能否真正执行仍存疑 来源：The Verge。我不确定这套标准最终能挡住多少爬虫，但有一点可以确定：四家巨头主动支持一项限制自身爬取的标准，本身就反直觉。它们可能在监管压力下寻求主动权 来源：The Verge。

我的判断是，这份标准真正的价值，体现在它给发布者提供了一个统一口径，省去逐家谈判的麻烦。至于技术层面，一个 robots.txt 文件能改变多少实际行为，我不确定。巨头们的背书让这件事有了公信力，至于能走多远，看后续爬虫的实际行为，不看法案文本。

原文：

The biggest names in AI are backing a new way to opt out of scraping · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年10月31日