本地跑个大模型，到底能干嘛？多数人想错了

本地大模型这个词热了快两年了，可有多少人真正在自己的机器上跑过？我试过。说实话，效果完全取决于你愿意为延迟和显存付出多少代价。8B到13B的模型在消费级显卡上能应付日常对话、代码补全、文档总结这些任务，但别指望它跟GPT-4打擂台。真正的价值不在对话流畅度，而在数据主权——你的prompt和上下文永远不出局域网。如果你在意隐私又懒得租GPU，本地部署是目前唯一现实的方案，而且体验比想象的好得多。

原文：What Can You Do with a Local LLM? · 来源：Hacker News