Mac跑本地LLM,别再把M芯片当GPU使了

原创
alex 7小时前 阅读数 5 #头条
Mac到底能跑多大的本地LLM?答案远比"取决于内存"这四个字更残酷。70B参数模型塞进32GB统一内存,速度慢到怀疑人生——这不叫本地推理,叫本地受刑。真正的甜区在8B到14B之间:免费、隐私可控、响应速度在可接受范围内。花几千块买Mac再去调OpenAI的闭源API?那才叫烧钱。把M芯片当GPU使的冲动我能理解,但本地部署的核心从来不是追大参数,是在"够用"和"掌控"之间找到平衡点。别用烧钱的方式做省钱的事。

原文:Running local LLMs on your Mac: what fits, what's free, and what's overkill · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除