Brave 把搜索索引卖给 AI，你的网站可能早已被它抓走

发生了什么：Brave 被纽约时报起诉，AI 公司是买家

你大概没用过 Brave Search，至少没直接打开过它的网页。但那个你天天问问题的 AI 可能用过，而且它可能就在你网站的某个角落里发现了什么。2025 年 11 月 2 日，纽约时报起诉了 Brave，就是那个做 Brave 浏览器的公司。时报的说法很直接：Brave 复制了超过 30 亿个网页，既没有表明自己身份，也没有给网站所有者提供任何阻止其爬虫的机制，然后把这些内容卖给了 AI 公司 来源：SEJ。

Brave 卖的东西有个正式名字，叫 Brave Search API。当 AI 助手需要来自网络的最新信息时，它不一定亲自去读网页，可以花钱查询别人已经建好的索引。Brave 自己的页面写得明白，这个 API“被 AI 领域一些最大的名字使用，包括 Cohere、Mistral、Perplexity 和 You.com” 来源：SEJ。时报的起诉书还点名了另外两家：Anthropic 和 xAI。这五家 AI 公司都没有被起诉，Anthropic 那边的证据比较陈旧，起诉书引用的是 2023 年 Brave 的一篇博客文章 来源：SEJ。

Brave 目前还没有回应诉讼，所以时报说的这些暂时只是原告的主张。但文章里有个问题值得多想一步：为什么你没法在不屏蔽 Google 的情况下把 Brave 的爬虫挡在门外？Brave 自己在帮助页上给了答案 来源：SEJ。

Brave 的爬虫机制与 robots.txt 陷阱

Brave 的爬虫叫 BraveBot，帮助页建议网站所有者用 robots.txt 来阻止它。麻烦出在这里：很多站长会顺手把 Googlebot 也一起屏蔽掉。Brave 在帮助页上原话是这么说的：“我们尊重 robots.txt，但请确保你同时屏蔽了 BraveBot 和 Googlebot 才能完全排除我们” 来源：SEJ。这个话术听着有点绕，实际上是在告诉你，只屏蔽 BraveBot 不够，只屏蔽 Googlebot 也不够，你想彻底挡住它就得两个都屏蔽。问题是，很多人并不想让 Google 也进不来。

Brave 声称自己的索引是独立的，构建方式跟 Google 类似，同时强调不会把用户数据用于训练 AI 来源：SEJ。这听起来像个安全承诺，但网站所有者关心的是另一件事：它怎么进来的。如果你用 Cloudflare 这类工具，Brave 的爬虫可以通过 IP 地址被识别出来，然后单独处理。只是并非所有托管服务都提供这么精细的控制，不少主机商给不了这种级别的配置 来源：SEJ。

所以这里有个实际的操作困境。你不想让 Brave 进来，又不想误伤 Google，但 Brave 的官方建议要求你同时屏蔽两者才能完全排除它。你要是只写了 disallow: BraveBot，它可能还是会通过别的方式找到你的页面。这个机制设计得让人不好办，至少在技术层面，站长能做的选择比想象中少。

多方数据交叉验证：AI 搜索如何利用第三方索引

纽约时报在起诉书中说 Brave 出售的索引包含“超过 30 亿个网页”的数据 来源：SEJ。Brave 自己的 AI 页面也写着同样的话：索引中有 30 多亿页面，每天还有数百万新页面被加进来 来源：SEJ。两边数字对得上，这一点没什么分歧。但我没法确认这 30 亿里有多少来自未经许可的抓取，时报说是全部，Brave 还没回应。

买家那边的信息有清楚有模糊。Perplexity 在官方文档里确认过，它用 Brave Search API 获取实时网络结果，作为混合搜索架构的一部分 来源：SEJ。Cohere 和 Mistral 也被列为 Brave Search API 的客户，但这两家公司具体用到了什么程度，目前还没有公开披露。我不确定它们只是买来测试，还是真的在日常产品里跑查询。

文章里有个反直觉的发现，我觉得值得单独说：即使你从来没打开过 Brave Search，你的网站仍然可能出现在 AI 的回答里。原因很简单，AI 公司通过 API 间接访问了 Brave 的索引，你被 BraveBot 抓走的内容，最后借别人的嘴说出来了 来源：SEJ。

这带来的变化是，网站所有者现在要同时处理两个维度的抓取：搜索引擎一个维度，AI 公司一个维度。传统的 robots.txt 策略是为搜索引擎设计的，它没料到有一天会有中间商把整个索引打包转卖。你现在要挡的不只是爬虫本身，还有那些买了索引然后间接引用你内容的公司。这个局面，至少在我看来，比单纯的爬虫屏蔽问题要棘手得多。

原文：

Brave Sells Its Search Index to AI, and Your Website Is Probably in It · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月7日