Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s（在 48GB 内存的 Mac 上以约 12 tok/s 运行 104GB 的 Qwen3.8-Flash-Next）

📅 2026-09-01 | 🏷️ 工程 & Agent | ⭐ HN 147分/90评论；GitHub ⭐134（7天窗口）
🔗 原文：https://github.com/carloslfu/slotstream

是什么

slotstream 是一个开源项目（MLX + Swift），通过把 MoE 专家权重从 SSD 按需流式换入内存，让 48GB 内存的 Mac 也能运行 4-bit 量化下占用 104GB 的 Qwen3.8-Flash-Next（125B MoE），实测约 12 tok/s，并对外暴露 Ollama 兼容 API，可直接接入现有本地推理工具链。

🔍 小白解读

先说几个词

• MoE（混合专家）：把大模型拆成许多「专家小组」，每次只唤醒相关几个干活，省算力。代价是所有专家的资料都得先堆在内存里待命。
• 量化 / 4-bit：把模型参数压缩存储的技术，像把无损音乐转 MP3——体积小很多，品质损失可接受。
• SSD 流式换入：内存装不下就先存硬盘，用到哪块专家再把哪块快速搬进内存——用硬盘当「仓库」，拿读写速度换内存容量。
• MLX / Swift：苹果官方的 AI 计算框架和编程语言，专门让 Mac 芯片高效跑 AI。
• Ollama 兼容 API：Ollama 是流行的本地跑模型工具；「兼容」意味着这个项目能直接插进现有工具链，不用改习惯。

这篇到底在说什么

想在本地电脑跑满血大模型，最大的拦路虎是内存：这个模型压缩后仍有 104GB，而一台 48GB 内存的 Mac 根本装不下。这个项目钻了个空子：混合专家模型每次只用到一小部分「专家」，那就把没轮到的专家先放硬盘里，用到谁再快速搬谁进来。结果：小内存 Mac 也能跑超大模型，速度约每秒 12 个字——不算快，但从「根本跑不了」到「能跑」是质变。

这跟普通人有什么关系

「本地跑大模型」最现实的好处：数据不出门（隐私）、不付月费、断网也能用。以前门槛是买大内存顶配机器，这个思路把门槛往下拉了一截。手头有 Mac 的玩家可以试试；纯小白等它优化得更成熟也不迟。

为什么值得架构师关注

本地推理的硬件成本方程可能被改写：与其为大 MoE 配 128GB+ 统一内存的机器，可以用「小内存 + NVMe 带宽」组合承接。对私有化部署、数据不出域场景，单机硬件门槛显著下降。12 tok/s 对交互式 agent 偏慢，但对离线批处理、代码审查、文档摘要等非交互场景已在可用区间——这意味着「长尾任务下沉到便宜硬件」有了新的技术选项。

核心内容

• 目标模型：Qwen3.8-Flash-Next，125B MoE，4-bit 量化后权重 104GB；Qwen 官方 FP8 版（2026-08-24 发布）与 unsloth GGUF 版均已进入 HF 趋势榜（GGUF 431k 下载）。
• 核心机制：MoE 每次前向只激活部分专家 → 未激活专家不必常驻内存，可从 SSD 流式换入，用 I/O 换内存。
• 实测：48GB Mac 达到约 12 tok/s；技术栈 MLX + Swift，提供 Ollama 兼容 API。
• 生态位：与「M4 Pro Mac Mini 本地模型部署」登 HN 热榜（77分）同一周出现，本地小内存跑大 MoE 正在成为一条被验证的路径。

行动建议

若存在数据不出域的本地化需求：在 48GB Mac 上复现该项目，用你们的真实负载测 tok/s、首 token 延迟与 SSD 写入放大；把它当作「低成本长尾推理节点」候选评估，而非主力交互模型。纯云架构团队了解即可。