在 iPhone 上跑 70B 模型？OpenPocket 用 MLX 把大模型塞进口袋，但隐私和实用性能兼得吗

原创

alex 3小时前阅读数 2 #头条

在 iPhone 上跑 70B 模型？OpenPocket 用 MLX 把大模型塞进口袋，但隐私和实用性能兼得吗

OpenPocket 是什么：把开放权重 LLM 搬进 iOS 的免费应用

事情得从一次航班说起。开发者 ycdmf 在 Hacker News 上回忆，他坐飞机时想就某个选择问题咨询 AI，却发现必须等落地接入网络。就是这一等，让他决定自己动手，于是有了 OpenPocket，一个完全免费的 iOS 应用，在 iPhone 和 iPad 上本地运行开放权重的大语言模型来源：HN。

应用的名字起得直白，口袋里的模型。它基于 Apple 的 MLX 框架构建，支持 Qwen3.5、LFM 这类开放权重模型。开发者把动机说得明白：不只是隐私，更是在任何离线场合，让一个小型边缘模型搭把手来源：HN。目前应用在泰国区 App Store 上架，属于“开发工具”类别，完全免费，无广告或内购来源：App Store。

但这里有个值得留意的细节。OpenPocket 的 App Store 页面几乎没有技术信息，没有技术栈说明，没有性能数据，只有“开发工具”这个分类标签。一个宣称解决隐私和离线痛点的应用，却连自己的架构细节都不愿写清楚，这对开发者来说是个不小的疏忽，对用户来说也是个不大不小的谜。

MLX 框架与苹果芯片：本地推理的量化优势与内存约束

要理解 OpenPocket 的能力边界，得先看它脚下的 MLX 是什么。MLX 是 Apple 在 2023 年底开源的数组框架，专为自家芯片设计。它的核心优势在于统一内存架构，模型权重直接驻留在 GPU 可访问的内存里，省掉了 CPU 与 GPU 之间来回拷贝的开销来源：MLX 文档。对于大模型推理这种内存密集型任务，这个设计天生合适。

量化和内存限制是绕不开的两道坎。MLX 支持 4-bit 和 8-bit 量化，以 Qwen3.5 为例，4-bit 版本能把 70B 模型压到约 40GB。可 iPhone 的物理内存摆在那里，最高配的 iPhone 16 Pro 也只有 12GB，iPad Pro M4 是 16GB 来源：MLX 文档。所以现实是，8GB 的 iPhone 15 Pro 上能跑 7B 量化模型，16GB 的 iPad Pro M4 上顶多摸到 14B 或 32B 级。70B 这个数字，在这代硬件上是个遥不可及的梦。

速度又是另一层现实。MLX 用 Metal 着色器做 GPU 加速，在 M4 芯片上推理速度约每秒 40-60 tokens，A17 Pro 上约 20-30 tokens/s 来源：MLX 文档。这个速度意味着什么，对比一下就清楚，人类阅读速度大约每秒 4-5 个词，20 tokens/s 的生成速度已经远超阅读需求，日常问答完全够用，但想要流畅的实时对话，还是差一口气。

存储上还有个容易被忽略的细节。MLX 用内存映射文件方式加载模型，OpenPocket 首次加载需要把模型权重写入本地存储，一个 7B 模型的 4-bit 版大概占 4GB 空间来源：MLX 文档。对 128GB 起步的 iPhone 来说不是大事，但如果是 64GB 的老设备，塞一两个模型就得掂量掂量。

多源交叉验证：开发者宣称、App Store 数据与 HN 社区反馈的对比

现在把几份材料放在一起看，情况有点微妙。开发者说 OpenPocket 用 MLX 框架构建，但 App Store 页面没提技术栈，只标了“开发工具”分类。HN 帖子的数据更冷静，Points 只有 1，Comments 只有 1 来源：HN。这个帖子发布后几乎无人问津，要么是自荐帖被算法过滤，要么是社区对这个方向没兴趣。对比 App Store 页面满屏的游戏和热门应用推荐，OpenPocket 的曝光量低得有些刺眼。

开发者在 HN 上强调隐私和离线价值，但社区没有提出任何关于性能、内存占用、电池消耗的挑战。这不是因为这些问题不存在，而是因为没有外部独立测试数据，没人有资格挑战。对比同类应用，LM Studio 提供更丰富的模型库和参数配置界面，LLM Farm 也有自己的用户群，OpenPocket 的差异化卖点就两条，完全免费和 MLX 原生优化来源：HN。

这就带出一个判断。OpenPocket 的价值主张在逻辑上站得住，离线、隐私、免费，每一条都切中当下对本地 AI 的需求。但现实是，它连一个像样的社区反馈都没拿到，技术宣称缺乏独立验证，App Store 页面信息稀薄。我不确定它是不是被平台算法埋没了，也不确定它是不是真的没有用户。一个免费的工具型应用，在这个流量为王的生态里，光有技术是不够的，得有人看见。

但往深了想，OpenPocket 的存在本身已经说明了一件事：本地大模型在移动端的落地，不再是概念验证，而是可以安装、可以免费使用的现实。MLX 把苹果芯片的潜力交到了开发者手里，剩下的问题是，用户是否真的需要口袋里装一个 30B 的模型，还是说，云端 AI 的便利早已让这个需求变成了少数人的执念。这个问题，得让时间和下载量来回答。

原文：

Show HN: OpenPocket – iOS app for running Qwen3.5, LFM and other LLMs offline · 来源：Hacker News

参考来源：