推理太长内存扛不住？有人把思考过程压缩进了缓存

LLM跑长链推理时，KV缓存的内存爆炸一直是绕不过去的坎。AbridgeKV给了一个大胆的方案：让模型学会在推理过程中主动"暂停"，把中间思考压缩进KV缓存，而不是完整保留每一步。省显存的效果很直接——模型不必反复加载冗长中间状态。但真正的问题在后面：压缩之后，推理质量还能撑住吗？这个方法的赌注是，通过训练的暂停token，模型能记住关键信息、丢弃冗余。如果实验数据站得住，这对现在靠堆长上下文来支撑复杂推理的架构来说，算是一条务实的出路。至少从设计思路上看，它跳出了"越推越长、越长越贵"的死循环。

原文：AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens · 来源：Hacker News