Crawlerpeek：你的网站究竟向哪些AI爬虫敞开了大门？

一个工具解决AI爬虫访问权限的可见性问题

我最近在看AI爬虫治理这块的技术空白，一个实际问题浮出来。你写了robots.txt，但你真的知道GPTBot能不能访问你的定价页吗？Crawlerpeek 来源：GitHub 试图回答这个问题，还提供了一个网页版工具 crawlerpeek.com 来源：GitHub。它支持CLI、library、MCP server和GitHub Action四种使用方式 来源：GitHub，覆盖CI流水线和AI编程助手的工作流场景。

它检测的机器人列表包括GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Googlebot、Bingbot、CCBot等 来源：GitHub。除了检查robots.txt是否允许某个bot访问某个路径，它还用该bot的user-agent字符串发起真实HTTP请求，返回status码、重定向后的最终URL、content type、页面大小和title，并判断响应是否为block页或challenge页 来源：GitHub。这一步很关键。robots.txt只是声明，服务器是否真的执行了是另一回事。

工具还能生成一个欢迎AI爬虫的robots.txt 来源：GitHub。这个功能让我犹豫了一下。大多数讨论都在讲怎么阻止AI爬虫，而它同时提供了允许的路径。两种策略并存，说明作者认为场景是多样的。

零运行时依赖的Node 20实现方案

项目要求Node 20或更高版本，零运行时依赖，同时支持ESM和CommonJS双格式，TypeScript类型定义已内置 来源：GitHub。安装方式很轻，npm install crawlerpeek用于library，npx crawlerpeek --help直接运行CLI 来源：GitHub。

robots.txt解析遵循RFC 9309标准，支持user-agent分组、通配符、$结尾符、最长匹配优先等规则 来源：GitHub。我用RFC 9309的术语去对照了README里的说明，基本对得上。代码结构包含src、test、.github/action等目录，共13次commit 来源：GitHub，测试框架是vitest，构建脚本为build.mjs，编译输出包含tsconfig.cjs.json和tsconfig.json两套配置 来源：GitHub。

零运行时依赖这个设计选择让我比较认可。npx一行命令就能跑，不需要装一堆npm包来检查爬虫权限。但我没有实际跑过它，block/challenge页判断逻辑的准确性我不确定。

为什么这个缺口需要被填上

我注意到一个细节。Crawlerpeek的输出包含"whether the response looks like a block or challenge page"这一判断项 来源：GitHub。这意味着即便你的robots.txt允许GPTBot访问，服务器可能因为WAF规则、Cloudflare challenge或其他安全机制返回了一个非预期的页面。声明合规和实际生效之间存在鸿沟，这个工具试图把两个层面的信息放在同一个输出里。

MCP server模式的设计让我产生了一个反直觉的感受。一个安全配置检查工具，被设计成可以被Claude等AI助手直接调用 来源：GitHub。这意味着网站安全配置的审计可以嵌入AI工作流，而不是只留给DevOps团队在CI里手动触发。产品定位有些出人意料，但我理解这个思路。如果你用AI写代码，让AI帮你检查网站配置是自然的。

单一来源下的信息可信度

这次我只拿到了一个有效来源，就是GitHub仓库本身 来源：GitHub。HN帖有1个点赞、0条评论 来源：HN，社区讨论为零。仓库13次commit的提交频率 来源：GitHub 说明项目还处于早期阶段，尚未进入活跃开发。SECURITY.md和CONTRIBUTING.md均已提交 来源：GitHub，LICENSE和CHANGELOG.md也在仓库中，项目有一定的开源治理意识。

我找了一圈，没有找到第三方评论、实测对比或用户案例。block/challenge页的判断逻辑是否准确，目前无法从外部验证。如果你正在考虑用它来做生产环境的爬虫审计，我建议先在测试站上跑一轮，对比它的输出和你手动curl的结果。

原文：

Crawlerpeek – check which AI crawlers your site lets in (CLI, MCP) · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年10月26日