3.8B模型，998美元，跑到了CORE 0.384，真能这么干？

大模型真的必须花巨资才能练出来吗？Hugo Vergnes做了个反例：一个人，花不到一千美金，把3.8B参数的小模型训练到CORE 0.384分。这个分数离前沿大模型还差得远，但对小模型来说已足够用。我不是说它有多强，只是觉得这路子值得看一眼。Hacker News上暂时没多少人讨论，我倒觉得这恰恰说明：小模型只要肯下功夫，也能打到能用的分数。对预算紧的团队来说，这条路径也许比追前沿更有意义。

原文：Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes · 来源：Hacker News