机密数据不下云：一家并购服务商的本地 LLM 推理实践

原创

alex 1小时前阅读数 1 #头条

机密数据不下云：一家并购服务商的本地 LLM 推理实践

为什么要在本地跑大模型：机密业务的时间困境

我经营的业务是给投资者和被收购公司做服务，高度机密。客户要把几乎一切东西摆到我们团队面前，好的坏的都得看，我们才能给出一个平衡的结论。这份信任靠 NDA 撑着，条款里的数字通常很吓人，因为这类数据确实容易被武器化。谁要是泄了密，代价惨重，这不只是钱的问题，信誉和职业生涯都会搭进去。来源：HH

真正麻烦出在时间上。报告是我们的工作产品，通常周五下午 2 点到 3 点才出草稿，交付截止是周五晚上。校对窗口只有几个小时，能过一到两遍就不错了。周末再读，还能找到错误，有的是小笔误，有的是内容本身的差错。这些错误不大，但出现在并购报告里，没有人想看到。校对不是走个过场，逐字读一遍要花的时间，比大多数人想象的多。来源：HH

云端 API 当然方便，上传、校对、下载，几分钟搞定。但我从一开始就不信任这个流程。文件离开自己的硬盘，经过别人的服务器，中间发生了什么我完全不知道。校对这种需要全神贯注的活，交出去的那一刻，控制权就不在我手上了。云端服务商的隐私政策我读过，他们承诺不训练模型，但承诺这东西，在 NDA 面前不值钱。来源：HH

从第一批开源模型发布起，我就在玩 LLM。当时的结果并不惊艳，但趋势很清楚，这条路会一直走下去。过去两年模型能力以惊人的速度提升，今天这些模型在合适的使用方式下已经极其能干。本地推理对我来说不是新鲜事，是一笔下了很久的注。我下注的不是某款模型，而是本地推理这个方向本身。来源：HH

自建推理栈：作者承诺的 recipe、硬件、软件与模型清单

作者在 HN 评论区承诺分享本地跑稍大模型的完整配方，涵盖 recipe、硬件、软件和模型选型。原文正文在此处截断，我看不到具体硬件配置，所以没法转述他用什么显卡、什么量化精度。这些细节我不好猜，也不打算猜。能确认的是配方存在，至于具体怎么搭，得等作者把文章补完。来源：BPPA

文章开篇就有一句声明，没有一句话由 AI 写作，所有错误都是作者自己的。在讨论 LLM 的技术博客里主动拒绝 AI 辅助，这本身就是一种态度。我猜他是不想让读者怀疑他写的内容经过 AI 美化，也不想让 AI 的错误混进他自己的错误里。这种坦诚在今天不多见。来源：HH

作者说前沿模型便宜且易得，本地推理的价值不在成本。买 API 的钱从来不是瓶颈。我在乎的是数据主权和流程可控。文件不离开自己的机器，就没有泄露的风险，也没有网络往返的等待。本地跑模型要买显卡，要折腾环境，要处理量化精度，这些麻烦换来的是对流程的绝对控制。这种控制感，是花钱买不来的。来源：HH

多源交叉验证：HN 正文与评论区的观点与热度差

这篇原文在 HN 上只有 1 分、1 条评论，社区反应冷淡。那唯一一条评论恰恰是作者自己，承诺把本地运行的配方写出来。作者热情，社区冷淡，反差明显。也许本地推理在 HN 圈子里已经不算新鲜事，也许大家更关心 API 价格而不是数据主权。我不确定是哪个原因。HN 上每天都有新模型和新框架的帖子，本地推理的帖子淹没在浪潮里，也不奇怪。来源：BPPA

正文谈的是 NDA 和时间压力，评论区谈的是技术栈实现，两处侧重点不同但相互印证。作者追求的始终是同一个目标，数据不出门。正文解释了为什么，评论区承诺了怎么做。这是同一个人在同一件事上的两个切面。来源：HH、来源：BPPA

时间数据也可以交叉验证。周五 2 点到 3 点草稿完成，晚上截止，只能过一两遍。本地推理的意义在于消除排队延迟和网络抖动，让校对窗口尽可能长一点。云端 API 就算再快，上传下载的等待和队列排队，在周五下午那种争分夺秒的时刻，每一秒都是代价。校对这种活，人不在机器前盯着，效果会打折扣。来源：HH

我的判断很直接。本地推理买的是数据主权和流程可控，省钱倒是次要的。对做机密业务的人来说，这个选择到今天依然成立。

原文：

Local Inference with Large Language Models · 来源：Hacker News

参考来源：