vLLM 悄悄把 Agent 调度塞进推理引擎,图什么?

原创
alex 38分钟前 阅读数 1 #头条
最近刷到 vLLM 放出 Agentic API,第一反应是——开源推理框架终于不满足于只做推理了。过去两年,agent 框架满地跑,但底层调度还是老一套:请求进来、模型吐 token、结束。vLLM 这次把 function calling、工具链编排塞进推理引擎里,等于把"调用-推理"循环做成了原生能力。个人判断:这不是渐进优化,是把 agent 的决策权从框架层下放到引擎层。谁离 token 生成更近,谁就有更大的优化空间——vLLM 显然想抢这个位置。下一步就看社区买不买单了。

原文:vLLM Agentic API · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除