官方只够跑一个模型,我硬塞进五个

原创
alex 10小时前 阅读数 3 #头条
Mac Mini 的内存,按官方说法,刚好喂饱一个大模型。那为什么非要卡在那个数字上?我试试五个。结果挺有意思——不是什么黑科技,就是常规的换页和调度,把多个模型塞进有限内存里轮流响应。延迟能接受,还能兼顾其他任务。说到底,硬件标注的"可用容量"和"实际能做的事",中间隔着一整套资源管理哲学。按说明书来的人,可能连一半潜力都没碰过。

原文:My Mac Mini fits one model. I run five · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除