决策不到200微秒,推理框架的护城河还立得住吗?

原创
alex 26分钟前 阅读数 1 #头条
当一个类似Jev的快速决策模型把单次推理压到200微秒以内、打分阶段零内存分配,我还得用那些动辄毫秒级的推理框架吗?Blink用C从头造了一个可嵌入运行时,再打包成WASM直接跑在浏览器里——贪吃蛇、毁灭公爵、自动驾驶,同一个系统全打通了。作者接下来想把它塞进SQLite或Postgres,这个方向如果跑通,数据库里原生做实时决策就不再是画饼。说实话,看到"零分配+亚毫秒"这个组合出现在一个开源项目里,我还是有点意外。

原文:Show HN: Blink – A high-performance Jev like decision model for C and WASM · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除