SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers（计算量对齐的 MoE 循环 Transformer 缩放律）

📅 2026-09（arXiv 2609.01343） | 🏷️ 🧠 前沿论文 | ⭐ HF upvotes 75
🔗 原文：https://huggingface.co/papers/2609.01343

是什么

一项针对"循环 Transformer（Looped Transformer）"的严格缩放律研究。循环结构通过重复迭代共享层块来增加有效深度，但以往评测大多在固定模型尺寸下比较，把"架构优势"与"额外 FLOPs"混为一谈。本文在逐 token FLOPs、非嵌入参数总量、KV cache 三项预算全部对齐的条件下研究 MoE 上的循环缩放，并给出最终配方 SMELT（Sparse MoE Transformer，middle layers Loop Twice——中间一半层循环两次），从四个尺寸一路扩展到 54B 非嵌入参数规模。

🔍 小白解读

先说几个词

• 缩放律：研究「模型加大、数据加多，能力怎么涨」的经验规律，AI 公司烧钱扩建前的必算账。
• 循环 Transformer：让模型的某几层「重复算两遍」来加深理解——像把难读的句子再读一遍，不增加新老师，但读得更透。
• MoE（混合专家）：把模型拆成很多「专家小组」，每次只唤醒相关几个，省算力。
• FLOPs：浮点运算次数，衡量「算了多少步」的硬指标，相当于这次实验里的「体力预算」。
• 公平对照：这次实验的关键——把「算力、参数量、内存占用」三项预算全部拉齐再比，排除「单纯因为多算了所以更强」的水分。

这篇到底在说什么

有种省钱的新架构思路：不增加新「老师」，而是让中间几层「把课文再读一遍」来加深理解。但之前支持它的实验有个漏洞——人家多读一遍就多算一遍，强可能纯粹是因为多花了力气，不是架构真本事。这篇论文做了次公平实验：算力、参数、内存三项预算全部拉平再对比，结论是「中间层读两遍」的配方确实有真本事，而且一路验证到 540 亿参数规模依然成立。

这跟普通人有什么关系

看不懂架构细节没关系，记住结论就行：AI 行业在寻找「不靠疯狂堆显卡也能变强」的路子。这类研究成熟后，同样的价格能买到更强的模型，或者同样的模型跑在更便宜的机器上。另外它示范了「公平对照实验」的价值——下次看到「某某架构提升 X%」的宣传，先问一句：算力预算拉齐了吗？

为什么值得架构师关注

层循环是"用计算换深度"的架构方向，若缩放律成立，意味着同一显存占用下可用运行时计算买来更大有效模型——对推理成本结构是结构性改变（KV cache 与参数不变，FLOPs 增加）。本文最大的方法论价值是"三预算对齐"的实验设计：它给出的结论可以直接回答"循环架构的收益是不是只是算力变多的错觉"这个此前悬而未决的问题。对负责中长期模型路线图的团队，这是评估下一代自研/选型架构时绕不开的证据。

核心内容

• 对齐三个预算再比较：per-token FLOPs、总非嵌入参数、KV cache 全部与不循环基线匹配——首次把循环架构的真实收益从"算力增加"中剥离出来。
• SMELT 配方：中间一半的层循环两次（middle half loop twice），经系列消融实验得出，而非全网络均匀循环。
• MoE 上的缩放验证：在 Mixture-of-Experts 上按四档规模扩展至 54B 非嵌入参数，验证配方的规模一致性。
• 社区关注度：HF upvotes 75，为本期论文榜（架构/训练方向）热度第一梯队。

行动建议

• 中长期：将其纳入"推理时计算（inference-time compute）"技术雷达——若循环路线在更大规模持续成立，未来可能出现"小参数量、大有效深度"的新模型形态，改变显存规划逻辑。
• 短期：不必调整现有选型，但可让算法团队复现其对齐方法（三预算对齐实验设计），用于内部评估任何"新架构提分"的声明——这是通用的防坑工具。
• 跟踪后续：关注作者是否放出代码与 checkpoint（论文页可查），有代码则优先安排复现。