你的Mac到底跑不跑得动那个70B模型?

原创
alex 50分钟前 阅读数 1 #头条
刚花大价钱入了一台Mac,下载完模型才发现跑不流畅——这种事是不是太常见了?有个人做了个计算器,输入模型名和Mac配置,直接给你推理速度。说实话这种工具该早出十年。不是所有人都得咬牙上M3 Ultra,也不是M1 Air就只能跑量化版凑合。它的价值在于把"买回来试"变成"买之前算",帮你省下机器和半个月时间。当然,理论token数不代表实际体验,但至少比盲猜强太多。

原文:Show HN: Which Mac runs which LLM, and how fast · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除