10亿参数拿下AIME 94分？小模型的逆袭

10亿参数就能在AIME考到94分？我第一眼看到这个消息时的反应是：又一个营销噱头。但仔细看下来，这个叫Limite 1B Violetto的小模型确实有点东西。 参数规模只有大模型的一个零头，却能在高中数学竞赛级别的问题上达到接近人类顶尖水平的准确率。这说明什么？说明在特定领域，模型质量和任务匹配度比堆参数更重要。 当然，AIME的题型有限，训练数据可能高度针对性。但这不妨碍它成为一个信号：小模型在垂直领域的潜力被严重低估了。 我有点好奇，如果再优化一下训练策略，能不能突破95%？

原文：94% on AIME with 1B Params · 来源：Hacker News