On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics（蒸馏动力学系统研究：On-Policy 与 Off-Policy 之辨）

📅 2026-10-04 | 🏷️ 前沿论文 | ⭐ HF upvotes 153
🔗 原文：https://huggingface.co/papers/2609.35259

是什么

这篇论文在受控的"强到弱蒸馏"实验 setting 下，系统性地隔离了 rollout 策略（on-policy vs off-policy）、token 级 KL 方向和学习率三个变量的作用，在 Llama3 与 Qwen2.5 两个模型家族、覆盖科学/医疗/算术等多领域推理任务上做了系统比较，回应了"到底该用 SFT 还是 RL 式蒸馏"这个训练圈的长期争论。

🔍 小白解读

先说几个词

• 知识蒸馏（Distillation）：让小模型（学生）向大模型（老师）学习。好比老师傅带徒弟，成本低、上手快。
• On-Policy / Off-Policy：学生是"自己做题再对照答案"（on-policy），还是"直接抄老师的解题过程"（off-policy）。前者更贴自身水平，后者更省事。
• KL 方向：衡量学生和老师输出差异的一种数学工具，"从哪个方向拉近两者"会影响学到的东西。
• 强到弱蒸馏（Strong-to-Weak）：用很强的老师教相对弱的学生，是目前小模型快速获得推理能力的主流路线。

这篇到底在说什么

业界一直有说法：on-policy 学习能减少灾难性遗忘、更新更稀疏、泛化更好。但问题是，过去的研究在比较 SFT（监督微调）和 RL（强化学习）时，同时改了好几个变量—— rollout 用谁的、KL 往哪拉、学习率多大——根本说不清到底哪个因素起了作用。这篇论文的做法像控制变量法的教科书示范：固定其他一切，只动一个旋钮，看结果怎么变，而且换了两个模型家族、多个任务域反复验证。它能拿 153 个赞，是因为训练工程师们苦"经验主义玄学"久矣，终于有人把账算清了。结论直接影响每一个要蒸馏小模型的团队：钱该花在哪个旋钮上。

这跟普通人有什么关系

你手机上能跑的小模型、企业内部署的私有模型，多数都是蒸馏出来的。这类研究决定了未来一年小模型"更便宜、更聪明"的速度，也决定了你用的 AI 产品降价的空间。

为什么值得架构师关注

• 训练成本决策：蒸馏是小模型自研路线中成本最大的环节之一，本论文提供了"变量归因"依据，避免团队为错误的因素买单（比如盲目上 on-policy 基建）。
• 可复现性：跨 Llama3/Qwen2.5 双家族、多任务域的系统性设计，结论稳健性高于一般单点论文，适合作为内部训练方案的参考基线。
• 遗忘与泛化权衡：关于灾难性遗忘的受控证据，直接影响"蒸馏后模型还能不能保住原有能力"的风险评估。

核心内容

• 在受控强到弱蒸馏 setting 下，独立变化 rollout 策略、token 级 KL 方向和学习率，隔离各自贡献。
• 实验横跨 Llama3 与 Qwen2.5 两个模型家族，任务覆盖科学、医疗、算术等推理领域。
• 研究动机：既有 SFT vs RL 比较同时变动多个因素，rollout 策略的贡献从未被单独说清。
• 论文回应"on-policy 是否真如宣称那样减少灾难性遗忘、产生更稀疏更新、改善泛化"这一流行论断。

行动建议

如果你的团队在做模型蒸馏/微调：把这篇作为实验设计的对照清单，先复现其控制变量框架再决定 on/off-policy 路线，别直接采信任何单一博客结论。不涉训练的团队了解即可。