90% of US working hours are spent on tasks not covered well by AI benchmarks（美国 90% 工作时间未被 AI 基准有效覆盖）

📅 2026-10-16 | 🏷️ 安全 & 评测 | ⭐ HN 378 分 / 322 评论
🔗 原文：https://www.mercor.com/research/labor-index/benchmark-map/

是什么

人才数据公司 Mercor 在其 Labor Index 研究中发布了一张"基准地图"，核心结论：美国约 90% 的工作时间，花在了现有 AI 基准测试覆盖不佳的任务类型上。换句话说，你每天看到的大模型榜单，测的是很小一部分"考试型任务"，而真实职场里绝大部分工作内容，根本没有像样的评测去衡量模型行不行。HN 378 分 / 322 评论，是本期评测方法学讨论最热的一条。

🔍 小白解读

先说几个词

• AI Benchmark（基准测试）：给大模型出的标准化考卷，比如数学、代码、常识问答，分数用来比较模型强弱。
• 评测覆盖缺口：考卷只覆盖了真实工作的一小部分，剩下的"没考到的部分"就是缺口——就像驾照只考倒车入库，不考山路驾驶。
• Labor Index：Mercor 的劳动力指数研究，把真实岗位的工作内容拆解后与 AI 能力做映射。
• 选型依据：企业挑模型时看的材料，如果依据是榜单分数，而榜单又测不到你的业务，选型就等于掷骰子。

这篇到底在说什么

打个比方：高考只考语数外，但社会上 90% 的工作岗位要的是做饭、修车、带团队——分数再高也说明不了干不干得了那些活。Mercor 把美国就业市场的工作时间拆开，逐项对照现有 AI 基准，发现约 90% 的工作时间处于"基准测不好或压根没测"的地带。这意味着两件事：第一，我们其实并不清楚主流模型在大多数真实工作任务上的真实水平；第二，榜单排名在"岗位适配"这件事上的参考价值相当有限。322 条评论的争论也很说明问题——有人质疑 Mercor 的立场（它自家就做人才与评测生意），有人则认为这戳破了"通用智能已经解决"的泡沫。

这跟普通人有什么关系

如果你正根据榜单选 AI 工具来辅助自己的工作，这条研究提醒你：别只看跑分，要用自己每天真实要干的活去试。如果你的岗位任务恰好"没被基准覆盖"，那么 AI 短期内能不能帮上你，没人真正说得准——亲自验证比看广告靠谱。

为什么值得架构师关注

• 选型方法论纠偏：公开榜单分数对岗位级任务的预测力有限，模型选型必须转向"自有任务集 + 真实工作采样"的评测体系。
• 评测资产建设：90% 的覆盖缺口意味着先建内部评测集的团队将获得持续的选型信息优势，这是一次性投入、长期复利的架构资产。
• 风险沟通素材：向业务方解释"为什么不能直接按榜单拍板换模型"时，这是现成的量化论据（90% 覆盖缺口 + HN 378 分的行业共鸣）。

核心内容

• Mercor Labor Index 研究：美国约 90% 的工作时间落在现有 AI 基准覆盖不佳的任务上。
• 提供可交互的"基准地图"（benchmark map），将工作任务与基准覆盖情况做映射。
• HN 378 分 / 322 评论，评测方法学与"榜单迷信"成为社区辩论焦点。
• 潜在利益关联：Mercor 自身从事 AI 人才与评测相关业务，数据口径需批判性看待（HN 讨论中亦有此质疑）。

行动建议

把现有模型的选型报告翻出来自查：结论依据是公开榜单还是自有任务评测？建议以本条为触发，为本团队最高频的 10 类工作任务建立小型私有评测集（每类 20-50 例），新模型上线前先过这关，再看榜单做辅助判断。