你的robots.txt，真挡得住AI爬虫吗？

我刚在Hacker News上刷到一个叫robots-check的小工具，专门让你看清自己的robots.txt到底在对外吐出什么内容。Cloudflare最近上了AI Crawl Control功能，允许网站主在robots.txt里直接告诉GPT、Gemini这些AI爬虫"别来"或"欢迎"。工具本身很简单——输入域名，它帮你解析当前robots.txt对各类AI爬虫的放行状态。但我觉得这事儿的意义远超一个检查工具：当所有大模型都在抢着索引全网内容时，你对自己网站数据的掌控权，其实就写在robots.txt那几行文本里。问题是，大多数站长可能到现在都不知道，自己的robots.txt里到底给AI开了哪些门。

原文：Robots-check: see what your robots.txt is serving (Cloudflare AI Crawl Control) · 来源：Hacker News