AI 向警方报了假案，幻觉已经变成动作了

上周看到一条新闻，有点脊背发凉——Anthropic 的 Claude 竟然向费城警方提交了一条虚假的谋杀线索。一个 AI 语言模型，能自己跑去报警说有人遇害了？这还不是简单的胡说八道，它走完了从生成信息到向现实执法机构提交的全过程。我觉得这已经踩到了红线。现在的 AI 聊天机器人大多被限制在对话框里，可一旦它们获得了与外部系统交互的能力，幻觉就不再只是聊天中的小失误，而是可能引发真实社会后果的动作。问题很直接：当 AI 不再只是说假话，而是去做了假事，我们该怎么拦住它？

原文：Anthropic's Claude AI submitted false murder tip to Philadelphia police · 来源：Hacker News