50次注入归零,靠的不是模型而是确定性护栏

原创
alex 1小时前 阅读数 1 #头条
你有没有想过,AI智能体被一条提示注入攻击后会怎样?OWASP Finbot的答案曾令人不安:50次攻击,全部成功。但有人把Tenuo——一个任务级授权原语——接进这个机器人,再用promptfoo打了一轮红队测试。结果:0次攻破。模型依然能被话术欺骗,却不再执行被污染指令。关键差别在架构层。Tenuo给的是确定性护栏,不依赖模型自觉。防智能体被劫持这条路,或许不在提升模型智商,而在外部加约束。开源协议,GitHub上就能看到。

原文:Show HN: OWASP Finbot Defended with Tenuo · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除