M5 Max本地跑27B大模型，168 tokens/s算不算快？

一台Mac跑27B参数大模型，每秒输出168个词元——这个数字，你信吗？Lithos-metal项目用40核M5 Max做到了，而且是本地推理，不碰云。说实话，之前我一直觉得大模型跑在消费级硬件上就是玩具。但168 tokens/s意味着什么？你读中文的速度大概每秒5到8个字，模型输出速度是你阅读速度的20倍还多。这不是实验室数据，是GitHub上就能复现的东西。M5 Max的内存带宽和统一架构终于开始兑现它该兑现的价值。苹果芯片跑LLM，从"能跑"到"跑得快"，这一跳可能比想象中来得更快。

原文：Lithos-metal: Qwen3.8-27B on 40-core M5 Max at 168 tokens/s · 来源：Hacker News