OpenArch – PyTorch implementations of modern LLM architectures（OpenArch：现代 LLM 架构的 PyTorch 参考实现）

📅 2026-09-14 | 🏷️ 工程 & Agent | ⭐ HN 139分/32评论
🔗 原文：https://github.com/anuj0456/OpenArch

是什么

一个把现代开源 LLM 架构「从零手写」的 PyTorch 参考实现仓库：Llama、Qwen、DeepSeek、Gemma、GPT-OSS、Kimi 等模型各占一个目录，每个架构一个可读的 model.py 外加说明其结构取舍的 README。目标不是替代生产级推理库，而是把各家架构的关键差异（注意力、归一化、位置编码、MoE 路由）摊开来对比着读。

🔍 小白解读

先说几个词

• 注意力变体（MHA/GQA/MLA）：模型「看」上下文的方式。打个比方：MHA 是每个读者拿一整套笔记，GQA 是一组人共用一套笔记省纸省力，MLA 则是把笔记压缩成摘要再存。
• RoPE（旋转位置编码）：让模型知道「词和词隔多远」的常用数学技巧，好比给每个字盖上页码和行号。
• MoE（混合专家）：模型里住着一群「专家」网络，每个 token 只请少数几位出工，用小成本换大容量——像公司按项目临时抽调专家组。
• RMSNorm / QK-Norm：训练稳定器。层数一深，数值容易「跑飞」，归一化就是每层装一个稳压器。
• Mamba/注意力混合：一部分层用线性时间的状态空间模型处理长序列，一部分保留注意力，取两者之长。

这篇到底在说什么

读官方模型代码很难：生产仓库为了速度、分片和向后兼容做了大量优化，核心结构被工程细节淹没。OpenArch 反其道而行——每个架构只追求「可读」：一个文件写清一个模型，注意力类型、归一化方案、位置编码、稠密还是 MoE、有没有共享专家，这些关键取舍全部显式写出，方便并排对比。项目以 Sebastian Raschka 的 LLM Architecture Gallery 为蓝本，对着 72 个架构逐一实现；打勾的（✅）能跑前向传播，施工中的（🚧）还在路上。作者还希望社区贡献者补一个「加载官方权重、对几个 token 输出对齐」的前向测试，保证手写实现不只是看起来像，而是真的对。

这跟普通人有什么关系

模型选型报告里那些「GQA 降本」「MoE 提效」的结论，最终都来自这些结构细节。能读懂它们的人做出来的 AI 产品决策会更靠谱；而对普通用户来说，这意味着未来的技术评审、课程和科普会有更扎实的公共材料可用。

为什么值得架构师关注

• 选型前的快速尽调：评估「我们要不要用某家开源模型」时，与其翻官方仓库的工程化代码，不如先读这里的一文件实现，10 分钟看清结构差异（比如 MLA vs GQA 对 KV cache 预算的影响）。
• 团队内训教材：架构入门成本低，单文件 + 结构取舍说明的形态适合做内部 reading group 材料，配合 Raschka 的画廊做系统学习路线。
• 迁移与魔改基线：做结构改造实验（换位置编码、改路由）时，可读实现比生产代码好改得多；权重对齐测试的写法也可直接复用为内部验收标准。

核心内容

• 覆盖 Llama、Qwen、DeepSeek、Gemma、GPT-OSS、Kimi 等主流开源模型架构，目标对标 Raschka 画廊的 72 个架构，每架构一个可读 model.py + 说明文档。
• 显式拆解的维度包括：注意力（MHA/GQA/MQA/MLA/滑动窗口/线性 DeltaNet 混合）、归一化（pre/post-norm、QK-Norm、sandwich、RMSNorm）、位置编码（RoPE/NoPE/部分 RoPE/YaRN）、稠密 vs MoE、Mamba/注意力混合，以及多 token 预测、门控注意力等训练期技巧。
• 实现以原始论文、技术报告和官方 config.json 为依据，追求清晰而非性能；✅ 标记可跑前向，🚧 为在建。
• 建议的贡献路径包括「加载官方权重并对齐若干 token 输出」的前向测试，用真实权重校验实现正确性。

行动建议

仓库直接可用：如果团队正在做模型选型对比或新同学架构培训，把它加进内部资料库；若要用于实验魔改，先确认目标架构是否 ✅ 并跑一遍权重对齐测试。属于「了解即可偏收藏」级别——不解决生产问题，但省下的读码时间是真金白银。