Show HN: Jevman – AI decision models play Pac-Man（Jevman：让 AI 决策模型玩吃豆人的基准）

📅 2026-10-09 | 🏷️ 安全 & 评测 | ⭐ HN 71分/23评论
🔗 原文：https://opper.ai/jevman-benchmark/ ｜ 💬 HN 讨论：https://news.ycombinator.com/item?id=50007993

是什么

Opper.ai 推出了 Jevman 基准：让 AI 决策模型（decision models）实时玩吃豆人（Pac-Man），7 个模型各打 100 局对战经典幽灵，按成绩排名。评测规则很硬：每个路口限时 2 秒内给出方向，三条命、单局 5 分钟封顶，成绩带 95% 误差范围，误差范围内算并列。项目开源（AGPL-3.0），每局都可精确重放验证。HN 71 分、23 评论。

🔍 小白解读

先说几个词

• 基准（Benchmark）：给 AI 出的一套统一考卷，大家做同一套题，分数高低一比就知道谁强。打个比方，就像体能测试里的折返跑，条件一样才比得出真实差距。
• 决策模型（decision model）：不只会聊天，还要在具体情境里「选下一步怎么做」的模型。吃豆人里的决策就是：这个路口往左、往右还是掉头？
• 实时（real time）：有时间限制，超时就算失败。吃豆人里 2 秒内不回答，系统就用一个简单的备用规则替你走，还要记一笔「备用步数」。
• 吃豆人（Pac-Man）：上世纪的经典街机游戏，控制小人在迷宫里吃豆子、躲幽灵。规则简单但每一步都有代价，很适合当决策考场。
• 可重放：每一局的操作都被完整记录下来，事后可以一模一样地重演一遍，谁也没法虚报成绩。

这篇到底在说什么

Jevman 的玩法是：每到迷宫的路口，游戏把迷宫、豆子和幽灵的位置打包成 JSON 发给模型，模型返回每个方向的概率，吃豆人按这个选择走。7 个模型各打 100 局，评分用平均分加 95% 误差范围，分数落在彼此误差范围内的算并列。超时超过 2 秒的回答会被简单备用规则顶替，并计入「备用步数」——这惩罚的正是「想太久」的模型。整个项目开源（AGPL-3.0），任何挂在 HTTP 端点后面的模型都能参赛，仓库里有个 34 行的示例端点可以起步；社区模型的成绩由 CI 逐局重放核验。有意思的是，官方规则里特别说明最长一局只有 2 分 24 秒，远没碰到 5 分钟上限，说明模型基本都在「活到死」。这件事的大背景是决策模型生态正在升温——TypeSafe AI 的 Jev 决策模型生态本周爆发，awesome-jev 生态清单仓库 2247 星，Typesafe AI 刚以 75 亿美元估值融资 8.7 亿美元。而 Jevman 这样的游戏环境，提供了一个低成本、可复现的「行动考场」，补上了聊天式评测的短板。

这跟普通人有什么关系

你以后用的 AI 助手，越来越不只是「回答问题」，还要帮你订票、操作软件、做判断。聊天比赛考不出「在压力下做选择」的能力，而这类游戏基准恰恰在测这个。看懂这类评测，你就能更靠谱地判断「哪个 AI 更值得托付任务」。

为什么值得架构师关注

选型时只看聊天榜单是常见误区：MMLU 考的是「知道什么」，而你的 agent 要做工具调用编排、交易风控、运维决策，考验的是「实时、连续、有代价地行动」。Jevman 的设计值得借鉴：约束（2 秒 deadline + 备用规则惩罚犹豫）、可重放（CI 逐局核验防作弊）、统计口径明确（95% 误差范围决定并列）。这类环境化评测有潜力成为 agent 采购验收的标准动作——比「跑一遍通用榜单」更有针对性，成本也低得多。对于欧洲背景的 Opper 来说，这也是给自家 AI 网关引流的聪明打法。

核心内容

• Jevman 让 7 个 AI 决策模型各打 100 局吃豆人，对经典幽灵，按平均分排名、95% 误差范围内并列。
• 规则：每个路口 2 秒内返回各方向概率，超时由备用规则接管并计入备用步数；三条命、单局 5 分钟封顶。
• 项目开源（AGPL-3.0），任何 HTTP 端点后的模型可参赛，仓库提供 34 行示例端点；每局可精确重放核验。
• 决策模型生态背景：TypeSafe AI 的 Jev 生态本周爆发，awesome-jev 仓库 2247 星、Typesafe AI 以 75 亿美元估值融资 8.7 亿美元。

行动建议

• 为 agent 的核心决策环节建立自有小型评测集：重放真实历史决策（当时的输入状态 + 实际结果），用「当时的你 vs 现在的模型」对比来度量能力。
• 横向对比模型时加入决策类任务（限时选择、多步规划），不要只跑问答基准。
• 采购或验收 agent 时，把「可重放评测」写进流程：所有评测局留档、可复现，杜绝不可验证的跑分。
• 参考 Jevman 的统计口径：样本要够（100 局级别），差异落在误差范围内就别下强结论。