浏览器跑大模型，云端推理还站得住吗？

你有没有想过，大模型推理有一天能完全在浏览器里跑完，根本不需要服务器？Llama.cpp和WebGPU的组合让这件事变成了现实。用户数据不用离开设备，延迟可以压到极低，隐私问题天然消解——这些好处叠加在一起，冲击的远不只是技术层面，而是整个云端推理的商业模式。我看到的不是又一个技术演示的噱头，而是分布式AI推理的真正起点。当然，受限于GPU算力和显存，目前跑的还是较小规模的模型，但方向已经清晰：云端推理不会是终点。

原文：Llama.cpp and WebGPU = Client-side LLMs [video] · 来源：Hacker News