Sub-1-Bit LLM Compression via Latent Factorization（亚 1 比特 LLM 压缩：三星 LittleBit 开源）

📅 2026-10-08 | 🏷️ 工程 & Agent | ⭐ HN 77 分 / 22 评论
🔗 原文：https://github.com/SamsungLabs/LittleBit

是什么

三星实验室（SamsungLabs）开源了 LittleBit 项目的官方实现：一套把大语言模型压缩到「每权重不足 1 比特」的技术，论文发表于 NeurIPS 2025（LittleBit），其升级版 LittleBit-2 发表于 ICML 2026。核心思路是把稠密权重矩阵分解成低秩潜在因子、对因子做二值化，再用轻量可学习的缩放系数恢复幅值信息，最激进的设置可到 0.1 bit/权重。

🔍 小白解读

先说几个词

• 量化：把模型里的小数权重换成更「粗」的数字来省内存，好比把精确到分的账本改成只记整数——账本变薄，误差也变大。
• 比特/权重（bpw）：平均每个参数占多少 bit。常见 4-bit 量化是每参数 4 比特；亚 1 比特意味着平均每个参数连 1 个比特都不到。
• 低秩分解：把一个大矩阵拆成两个小矩阵的乘积，就像把一张大表格浓缩成「行摘要 × 列摘要」的组合。
• QAT（量化感知训练）：训练阶段就模拟量化误差，让模型提前「适应」被压缩后的自己，减少精度损失。

这篇到底在说什么

大模型太吃内存，部署一半成本在显存和带宽上。业界常规做法是 4-bit 或 8-bit 量化，而 LittleBit 走得更极端：直接进到 1 bit 以下的区域。它不是简单把权重四舍五入，而是先把每个权重矩阵拆成低秩的「潜在因子」，把这些因子二值化成 0/1，再用一层很轻的缩放参数把数值大小补回来。这样压缩后推理时模型结构不变——不需要换推理引擎或特殊硬件指令。升级版 LittleBit-2 解决了初始化阶段的「潜在几何错位」问题（Joint-ITQ），作为可选开关提供，且不增加任何推理开销。官方支持 OPT 与 Llama 2/3 等模型。

这跟普通人有什么关系

压缩技术的终点是「大模型装进手机、车机和传感器」。如果亚 1 比特方案被验证可用，端侧 AI 应用的门槛会进一步降低——不联网也能跑的能力更强的模型，隐私和响应速度都会受益。

为什么值得架构师关注

• 部署成本曲线的另一段：当 4-bit GGUF 生态成为默认时，亚 1 比特提供了 4~40 倍的理论压缩空间，对边缘设备与批量推理的显存账本影响是数量级的。
• 「推理时结构不变」是关键卖点：无需专用 kernel 或推理框架改造，落地阻力远小于需要换推理引擎的方案；LittleBit-2 初始化是纯离线优化，零推理开销。
• 但精度 trade-off 必须实测：0.1 bpw 是极端区域，官方论文的 benchmark ≠ 你的业务负载。QAT 意味着需要训练算力与校准数据，不是免费的午餐。
• 选型参考系：与 AWQ/GPTQ/1.58-bit（BitNet 路线）等已有方案对比，LittleBit 的差异点在「低秩分解 + 二值因子」的组合，适合作为端侧 POC 的候选之一。

核心内容

• LittleBit：将稠密权重矩阵分解为低秩潜在因子并二值化，以轻量可学习缩放恢复幅值，支持 1.0 至 0.1 bits-per-weight 的极端压缩（NeurIPS 2025）。
• LittleBit-2（ICML 2026）：引入 Joint-ITQ 初始化，在 QAT 前把 SVD 潜在因子与二值超立方体对齐，改善潜在几何错位；以 --use_itq 可选启用，无推理开销。
• 推理阶段保留原始模型结构，部署侧不需要改动推理引擎或硬件指令。
• QAT 友好：支持 SmoothSign 与可选残差分解。
• 官方代码库已支持 OPT、Llama 与 Llama 2/3 系列。

行动建议

如果团队有端侧/边缘部署需求，可在 Llama 系小模型上跑一轮 LittleBit(-2) 与现有 4-bit 方案的精度-显存对比实测，重点看困惑度与业务指标衰减；无端侧诉求的团队了解即可。