I tested 10 model/harness combinations on the same Three.js task（同一 Three.js 任务实测 10 组模型/框架组合）

📅 2026-09-08 | 🏷️ 安全 & 评测 | ⭐ HN 117分/68评论
🔗 原文：https://alvins82.github.io/hangar-harness-model-tests/
💬 HN 讨论：https://news.ycombinator.com/item?id=49605433

是什么

一篇独立的评测实践：作者把同一个 Three.js 编码任务交给 10 组不同的"模型 + 运行框架（harness）"组合完成，逐一对结果进行对照。在评测普遍被厂商营销污染的环境里，这种"同题多组合、单一变量"的小规模对照实验，恰是社区最缺的一手数据。HN 117 分、68 条评论。

🔍 小白解读

先说几个词

• Harness（运行框架/脚手架）：包裹模型的工程外壳——工具调用、上下文管理、文件系统访问都由它提供。同一个模型套不同 harness，表现可能天差地别，就像同一个司机开不同的车。
• Three.js：浏览器里的 3D 图形库。用它当考题很聪明：产物是可视化的 3D 场景，好不好一眼可见，很难"嘴上过关"。
• 单变量对照实验：只变一个因素（模型或框架），其他全固定，这样结果差异才能归因——评测方法学的基本功。
• 评测偏差（Eval Bias）：厂商榜单常用对其有利的题目和设置；社区独立评测的价值就在于"不同站队的人都能复跑验证"。

这篇到底在说什么

"到底该选哪个模型？哪个智能体框架？"是每个团队都在吵的问题，而厂商 benchmark 又总有点"王婆卖瓜"。这位作者的做法值得抄作业：固定一道 Three.js 考题，让 10 组"模型 × harness"组合同场竞技，把结果摆在一起看。打个比方，这就像厨艺比赛不用评委打分，而是让大家用同一篮食材做同一道菜，端上来比色香味。这个设计的妙处在于 Three.js 的产物是 3D 画面——能转、好看、没穿帮，骗不了人。HN 上 117 分与 68 条评论的热度，加上本周另一篇"智能体会不会用测试验证"的实证文章（本简报 02 篇），说明社区正在自建"民间的、可复现的"评测体系，以对冲厂商营销。

这跟普通人有什么关系

选错模型/工具组合，多花钱还拿到差结果。这类独立实测帮你跳过营销话术：别人已经替你踩过坑，照着场景选型即可。

为什么值得架构师关注

• 选型方法论比结论更值钱：单任务、多组合、可视化产物、公开过程——这套内部评测设计可直接复制到团队的技术选型流程。
• 模型 × harness 二维矩阵：评测不应只比模型，框架（harness）对产出质量的影响同样是一等变量，供应商合同与内部工具链都应按此二维评估。
• 可视化任务作为金标准：产物"一眼可验真伪"的任务（3D、UI、图表）适合做常设内部基准，比抽象分数更利于非技术干系人参与决策。
• 社区评测生态：独立评测密集出现，说明"可复现性"正成为信任货币——企业对外发布 AI 能力时也按此标准准备。

核心内容

• 实验设计：同一 Three.js 编码任务 × 10 组模型/harness 组合，独立完成、逐一对照。
• 产物特性：3D 场景可视化，结果可直观验证，减少"自说自话"空间。
• 社区反响：HN 117 分 / 68 评论（2026-09-08），属本周"检验智能体真实水平"内容浪潮的一部分。
• 具体组合排名与细节见原文——作者公开了完整过程，可复跑验证。

行动建议

• 选型团队：精读原文的对照方法，然后照此建一道你们自己业务里的"金标准任务"（最好是产物可直观验证的类型），每季度跑一次模型×框架矩阵。
• 工具链负责人：检查你们当前 harness 版本是否被列入过评测——框架升级同样会显著改变产出质量。
• 一般读者：记住原则——任何单一厂商榜单都不足为凭，同题对照才是选型的地基。