机器人流量占2.5TB？一个honeypot目录如何让AI爬虫减80%

流量异常：2.5TB数据背后是AI爬虫

上个月，OpenBenches.org向访客传输了超过2.5TB的数据。作者Terence Eden原本以为这代表网站“非常受欢迎”，但他很快意识到自己可能错了。一个业余爱好者的纪念长椅网站，月流量能跟小型CDN比肩，这件事本身就不太对劲。来源：Terence Eden

他后来在博客里写：“与其说网站很受欢迎，不如说看起来只是AI机器人不断爬取数据并吞噬图片。”这个判断来自他自己的服务器日志，也来自一种被流量数字反复敲打后的直觉。2.5TB的数据不会凭空出现，而网站本身显然没有那么多真人访客。他决定做点什么。来源：Terence Eden

于是他构建了一个名为“B 6”的工具，目标很直白：“一视同仁地根除这些不受欢迎的寄生虫”。这个工具的设计受Jeff Starr的Blackhole方案启发，但Eden强调它能在“重度缓存的网站”上正常工作。Blackhole依赖缓存失效来触发，而很多网站的缓存策略会让这个方案落空，Eden的版本显然针对这个问题做了调整。来源：Terence Eden

有意思的是，这篇帖子在Hacker News上只获得了1分、0条评论。一个声称能砍掉八成机器人流量的方案，在技术社区里几乎没有引起波澜。我不确定这是因为方案太简单，还是因为AI爬虫问题在HN上已经被讨论到疲惫，又或者是因为Eden的博客标题本身就透着一种“随手写的”的气质。来源：Hacker News

技术实现：honeypot目录的完整陷阱

这个方案的思路并不复杂。Eden在网站根目录创建一个/honeypot/目录，并在其中放入一段index.php代码。然后在robots.txt里添加两行指令：User-agent: *和Disallow: /honeypot/，明确告诉所有遵守规则的爬虫禁止访问这个目录。来源：Terence Eden

真正关键的是第三步：在每个网页中埋入一个指向honeypot的隐藏链接。遵守规则的爬虫看到robots.txt会绕道，但不守规矩的爬虫会顺着链接爬进去。当有对象访问该页面时，系统会将它的IP地址写入.htaccess，实现永久封禁。这个逻辑和钓鱼很像，只是鱼饵是一个被明令禁止的目录。来源：Terence Eden

封禁机制本身也做了配置。Eden修改了.htaccess中的<IfModule mod_rewrite.c>块，启用RewriteEngine On和RewriteBase /，然后在其中插入一段被注释为“BLOCKED IPs”的规则。一旦IP命中黑名单，服务器会返回HTTP 402状态码，附带错误信息“Payment Required - Access Denied”。这个错误码选得挺讲究，不常见，也不会被误认为是普通的403或404。来源：Terence Eden

整个流程还有一个时间差问题：机器人通常每24小时检查一次robots.txt，因此Eden建议要么等一天让爬虫自然更新，要么手动向主要爬虫提交新版本的robots.txt。这个细节说明他很清楚爬虫的更新机制，而不是扔一个陷阱就完事。来源：Terence Eden

效果与判断：80%削减与社区沉默的对比

效果是显著的。Eden声称，通过这个简单陷阱将网站机器人流量削减了“80%以上”。2.5TB的月流量，砍掉八成意味着省下2TB左右，对个人站点来说这是巨大的资源节省。他没有给出更精确的数字，但80%这个量级已经足够说明问题。来源：Terence Eden

Eden自己在博客中写道：“本文展示了如何自行构建这一方案，并讨论了一些可能引发的问题。”这句话其实透露了他的审慎。他把这个工具定位为“滥杀无辜的工具”，但没有详细说明可能误伤哪些正常爬虫。我知道Googlebot、Bingbot这些主流搜索引擎爬虫通常遵守robots.txt，但一些较小的、不规范的爬虫并不一定。如果你用了这个方案，可能会牺牲掉一些本可以带来搜索流量的爬虫，这个代价Eden没有展开讲，我也无法替他评估。来源：Terence Eden

让我觉得更有意思的是HN社区的沉默。0条评论，意味着没有任何人质疑这个方案，也没有人测试并反馈。一个声称削减80%流量的工具，在技术社区里没有得到验证，也没有被推翻。我不确定这是因为HN用户觉得方案太简单不值得讨论，还是因为AI爬虫问题已经被讨论到麻木。但从证据来看，这个方案确实有效，至少对Eden的网站来说是这样。他写这个博客的目的，就是让别人也能用上。来源：Hacker News

原文：

Blunt Banhammer Blocks Basic Bots Ballistically · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月9日