PSSA: A non-transformer language model written from scratch in Rust（PSSA：用 Rust 从零实现的非 Transformer 语言模型）

📅 2026-09-30 | 🏷️ 前沿论文 | ⭐ HN 85分/37评论
🔗 原文：https://github.com/Sparticle62ops/pssa
💬 讨论：https://news.ycombinator.com/item?id=49903993

是什么

PSSA 是一个从零（from scratch）用 Rust 实现的非 Transformer 架构语言模型开源项目，发布后 HN 讨论 85 分、37 条评论。在 Transformer 一统天下的当下，任何认真做的「非 Transformer 语言模型」实现都值得研究社区驻足——尤其当它附带完整可读的源码时。注：今日论文榜（HF）供给为空，本篇为 HN 高赞补位的新架构条目。

🔍 小白解读

先说几个词

• Transformer：当今几乎所有大模型（GPT、Claude、Gemini）共同的地基架构，核心是「注意力机制」——让模型在处理每个词时回看全句里相关的部分。强大但算力开销大。
• 非 Transformer 架构：不靠注意力机制的语言模型路线，比如状态空间模型（Mamba）、线性 RNN（RWKV）等，目标是绕开注意力的算力瓶颈。PSSA 属于这条探索线上的一个实现。
• From scratch（从零实现）：不依赖现成深度学习框架的封装，把模型的每个部件亲手写出来。好比不买预制菜、从切菜开始做一桌菜——学习价值在于每个环节都看得见。
• Rust：一门以内存安全和性能著称的系统编程语言，近年 AI 基础设施圈（如 Hugging Face 的 tokenizers、candle）大量采用。

这篇到底在说什么

Transformer 统治语言模型已经八年，但它有个昂贵的软肋：注意力机制的算力消耗随文本长度暴涨。所以一直有一批研究者在探索「不走注意力路线」的语言模型—— Mamba、RWKV 这些名字都是这个阵营的成员。PSSA 是这条探索线上的又一个实践：作者用 Rust 语言、不依赖现成框架、从零写出了一个非 Transformer 的语言模型，并把完整代码开源。37 条 HN 评论里，这类项目的典型讨论方向是：架构细节是否严谨、和已知方案（比如状态空间模型）的关系、以及实现质量。要强调的是：从零实现的非主流架构项目，价值主要在「教学与研究参考」，而不是立刻取代生产级模型——但正是这类项目在为「注意力之后的世界」储备人才和代码。对想真正搞懂模型内部原理的工程师，读一个从零实现的仓库，胜过读十篇二手解读。

这跟普通人有什么关系

今天所有 AI 应用的成本，很大程度上由 Transformer 的算力开销决定。如果未来某天出现了又快又省的替代架构，你用 AI 的价格可能像电费一样大幅下降。这些探索就是在为那个可能性铺路。

为什么值得架构师关注

• 注意力替代方案的观察样本：Transformer 的长上下文成本是 Agent 场景的核心瓶颈之一，非 Transformer 路线的每次实质进展都值得纳入技术雷达。
• Rust + 从零实现的教学价值：团队内培养「懂模型内部原理」的工程师时，完整可读的实现仓库是最稀缺的教材，比论文加框架代码的组合更直观。
• 审慎预期：个人研究项目距离生产可用通常很远，不建议直接用于业务；其价值在于架构思想与代码参考。
• 社区验证的信号：HN 37 条评论的技术向讨论是初步质量筛选，可重点阅读评论区对架构合理性的质疑与回应。

核心内容

• 项目：PSSA，开源地址 github.com/Sparticle62ops/pssa，定位为非 Transformer 架构语言模型。
• 实现语言：Rust，强调 from scratch（从零实现，不依赖框架封装）。
• 社区热度：HN 85 分/37 评论（2026-09-30）。
• 归类说明：今日 HF 论文榜供给为空，本条为 HN 高赞补位的新架构条目（对应「新架构」类目方向）。
• 架构细节、训练数据与效果数据以仓库 README 与代码为准，本刊不作二手转述。

行动建议

• 有自研模型或推理优化诉求的团队：安排一人精读该仓库的架构设计与核心代码，输出内部笔记，积累注意力替代方案的技术判断力。
• 教学场景：可作为「从零理解语言模型」的进阶读物（Rust 背景团队尤其适配）。
• 生产环境：暂无直接应用价值，了解即可，不建议引入。