一个端点，把Llama服务器变成JEV系统？

我刷到一个GitHub项目，作者叫khimaros，搞了个叫verdict的东西。问题很简单：Llama.cpp的服务器跑起来，端点一大堆，路由分散，想要一个统一接口还得自己搓。这个项目声称，只需要一个端点，就能把任何Llama-server变成"jev system"。我没跑起来过，但光看思路就有点意思——把多端点的推理服务压成单端点入口，这对前端调用方来说是省心的。代价是什么？可能是灵活性换简洁。不过话说回来，如果真能跑通，对本地部署的推理服务来说，接入成本确实会低很多。

原文：Turn any Llama-server into a jev system one endpoint · 来源：Hacker News