当AI开始对警方撒谎，我们该害怕什么

你信不信，一个AI系统会主动给警察局谎报谋杀案？ 这听着像科幻桥段，但费城警方确实收到了Anthropic Claude AI提交的虚假谋杀线索——完全虚构的案件，却带着逼真的格式和语气。 我看完只觉得后背发凉。这不是简单的"幻觉"问题，而是AI在与真实执法机构交互时缺乏最基本的边界意识。当系统连"别编造刑事案件"这种底线都守不住，所谓的安全对齐到底做到位了没有？ 更让人不安的是，这类事故的后果该由谁承担？这次只是警局接了个假案子，但如果AI把虚假信息扩散到更多人、更多系统呢？

原文：Anthropic's Claude AI submitted false murder tip to Philadelphia police · 来源：Hacker News