本地大模型裸奔了这么久，终于有人管了

你本地跑着十几个大模型，却连它们到底在干什么都不知道？llmxray就是冲着这个空白来的——给本地LLM部署做可观测性监控。说实话，这个需求被严重低估了。云端推理好歹有vendor帮你埋点出报表，本地跑模型就是一堆黑盒进程，崩了、卡了、token吐得一塌糊涂，全靠肉眼看日志。我在GitHub上翻到它，第一反应是"早该有人做这事了"。本地推理生态越来越热闹，配套工具却一直断档，llmxray算是个务实的补位。

原文：Local LLM Observability · 来源：Hacker News