20毫秒推理时代来了,Liquid AI赌的到底是什么?

原创
alex 36分钟前 阅读数 2 #头条
20毫秒能干什么?Liquid AI说够跑完整一轮大模型推理了。他们刚推出一套延迟低于20ms的推理栈,不是论文里的数字,是能直接部署的生产级方案。我看完最大的感受是:AI响应速度追上人类对话节奏这件事,已经从概念变成了工程现实。速度不再是瓶颈,瓶颈转移到了成本和硬件——你承受得起这个量级的推理开销吗?Liquid AI这次方向下得很明确,但整个行业会不会被拖着一起卷下去,关键看价格战最终能不能打起来。

原文:Liquid AI launches sub-20ms latency stack · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除