Last Secure Code Benchmark: Is the Code You Vibe Secure?（Last Secure Code Benchmark：你凭感觉让 AI 写的代码安全吗）

📅 2026-10-15 | 🏷️ 前沿论文 | ⭐ HF upvotes 50
🔗 原文：https://huggingface.co/papers/2610.14766

是什么

这篇论文发布 Last Secure Code Benchmark（LSCB），一个专门评测「编码智能体能否写出安全代码」的综合基准：基于 150 个真实漏洞构建 450 个任务，覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种主流语言与 24 种 CWE 漏洞类型（含 2025 年 CWE Top 25 中的 21 种、Top 10 KEV 中的 8 种），并模拟三种 vibe-coding 场景：补全函数、编写单文件、从零构建整个仓库源码树。HF 50 赞，是安全评测方向近期最受关注的工作。

🔍 小白解读

先说几个词

• Vibe Coding：凭感觉编程——不细看代码，把需求丢给 AI，接受它给出的结果直接用。这个词 2025 年起爆红，也是风险最高的用法。
• CWE：通用缺陷枚举，一份「软件漏洞分类词典」，比如「SQL 注入」「缓冲区溢出」都是其中的编号条目。
• KEV：美国 CISA 维护的「已被实际利用的漏洞目录」——上了这个名单的漏洞，等于黑客真的在用，危害有实锤。
• 基准（Benchmark）：一份标准化考卷，让不同模型/工具做同一套题，比较谁的安全编码能力更强。
• 编码智能体：不止补全代码，还能自己规划、改多个文件、跑命令的 AI 编程系统（如 Claude Code、Cursor Agent 等）。

这篇到底在说什么

打个比方：以前考「AI 代码写得好不好」，考的是功能题——「能不能跑通」；这份考卷考的是安全题——「跑通的同时有没有给黑客留后门」。出题方式很讲究：题目不是人造的，而是从 150 个真实漏洞改编而来，其中大多数来自业界公认的 Top 25 常见缺陷和已被黑客实际利用的漏洞清单；考试形式也贴近现实——不只是补一个函数，还包括让 AI 从零搭整个项目源码树，这恰是当下 vibe coding 最常见的使用方式。榜单价值在于：把「各家 AI 编程工具谁更安全」从口水战变成可复现的量化对比。

这跟普通人有什么关系

你用的每一个 App、每一个网站，越来越多代码出自 AI 之手。如果 AI 习惯性留下 SQL 注入这类老牌漏洞，你的账号、支付信息就暴露在风险里。这份基准推动工具厂商正视安全问题，最终会传导为你手中软件的安全底线。

为什么值得架构师关注

• 选型评估硬指标：将 AI 编码助手纳入采购时，安全基准成绩应与代码生成能力并列；LSCB 提供 7 语言 × 3 场景 × 24 CWE 的细粒度矩阵，可按自家技术栈裁剪关注象限。
• 风险敞口定位：「从零构建仓库」场景直指当前 agent 化开发的主流形态，其安全成绩最能代表真实风险；结果应转化为 CI 门禁强度设置（如 agent 产出必过 SAST + 依赖扫描）。
• 覆盖 KEV 的现实意义：基准纳入 8 种 Top 10 KEV 缺陷，意味着它测的是「黑客真在打的洞」，而非学术玩具漏洞，评估结论可直接映射到威胁模型。

核心内容

• 150 个真实漏洞 → 450 个任务，覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言。
• 24 种 CWE，其中 21 种在 2025 CWE Top 25、8 种在 Top 10 KEV，覆盖面超过同类基准。
• 三种 vibe-coding 场景：函数补全、单文件编写、从零构建仓库源码树。
• HF 50 赞，为近期安全评测方向热度最高的论文之一。

行动建议

① 用 LSCB 中与自家语言栈匹配的任务子集，对在用的 AI 编码工具做一次安全摸底，结果记入选型档案；② 无论工具得分如何，将「agent 产出的代码必须经过 SAST 扫描 + 人工 review 关键路径」固化为 CI 流水线硬门禁；③ 关注后续各编码智能体在该榜单上的成绩更新，作为季度复评输入。