Can gzip be a language model?（gzip 能当语言模型吗？）

📅 2026-09-22 | 🏷️ 前沿论文 | ⭐ HN 397分/160评论
🔗 原文：https://nathan.rs/posts/gzip-lm/

是什么

一篇博客认真回答了一个看似玩笑的问题：gzip 能不能当语言模型？作者从"压缩即预测"这一信息论第一性原理出发，用 30 年前的压缩工具演示了语言建模的极限下限。HN 上拿到 397 分、160 条评论，被认为是理解 LM 本质的绝佳教学样本。

🔍 小白解读

先说几个词

• 压缩：把数据用更少的字节存下来，就像把羽绒服抽成真空袋——体积变小，信息没丢。
• 信息熵：衡量一段信息"意外程度"的指标。越难猜的内容熵越高，就像猜一串随机密码比猜"123456"难得多。
• 上下文窗口：模型"回头看"多长的上文来做预测，相当于一边听人说话、一边能记住的前文长度。
• 参数：模型里"学到的知识"，像学生刷题后脑子里形成的经验。gzip 没有参数，等于一个从不刷题、只靠临场发挥的考生。

这篇到底在说什么

先说结论的理论基础：压缩和预测在信息论上是一体两面。你要把文件压得更小，就得更准地猜出下一个字符是什么——猜得越准，需要记的"意外"越少，压缩率越高。反过来说，一个压得好的压缩器，本质就是一个序列预测器，这正是语言模型每天在做的事。打个比方：好的猜谜选手和好的打包师傅，其实是同一种能力——都特别会"预判"。但文章也点出了 gzip 的极限：它基于 LZ77 加哈夫曼编码，滑动窗口只有 32KB 量级，更关键的是它没有任何"学习"的参数——每次压缩都是从零开始的临场分析，不会越用越聪明。所以它只能算是语言建模的极端下限。此前业界也已有把压缩器当分类器、当预测器的尝试。这篇的真正价值在于教学：用 30 年前的老工具，把"预测下一个词"这件大模型核心事的本质讲透。

这跟普通人有什么关系

它帮你破除"大模型是魔法"的迷思：模型的核心能力——预测、压缩、记忆模式——原理上并不神秘。理解了这一点，你判断"哪些任务 AI 擅长、哪些不擅长"会更有底气。

为什么值得架构师关注

第一，这划出了超低资源场景的工程边界：没有 GPU、只有 KB 级内存的设备（嵌入式、边缘节点、极端成本约束场景）上，压缩器方案可以承担简单的文本分类、异常检测类任务，成本近乎为零。第二，它是绝佳的团队教材：新入职工程师先用 gzip 理解"压缩即预测"，再切入 Transformer，认知曲线会平缓很多。第三，选型启示：当有人推销"轻量 NLP 方案"时，你要能判断任务复杂度是否真需要千亿参数，还是 32KB 窗口的统计技巧就够——这直接影响成本结构。

核心内容

• 压缩与预测在信息论上等价：好的压缩器就是好的序列预测器，这是语言建模的理论下限。
• gzip 基于 LZ77 + 哈夫曼编码，滑动窗口仅 32KB 量级，且没有可学习的参数，只能算极端下限而非真正的 LM。
• 此前业界已有把压缩器当分类器/预测器的研究尝试，这条路线适合超低资源场景。
• 文章最大价值是教学性：用最老的工具讲清大模型"预测下一个词"的本质。