压缩即预测：gzip真的算语言模型吗？

你有多久没打开过DEFLATE的源码了？Nathan Roelofs这篇帖子抛了一个让我愣了三秒的问题——gzip能不能算语言模型？他的论证很朴素：压缩的本质就是预测下一个比特，预测越准压缩率越高，这不就是语言模型在做的事吗？差别只在于gzip的"词表"是256个字节，上下文窗口靠LZ77的回溯机制实现。我觉得这个类比是成立的，但它揭示了一件反直觉的事：一个运行了三四十年的老算法，理论上就已经"懂"了一部分自然语言的统计规律。我们花了几百亿美元训练大模型，起点不过如此。

原文：Can gzip be a language model? · 来源：Hacker News