OpenAI 宣布 SWE-bench Verified 已饱和：前沿编程测试不再有效，推荐 SWE-bench Pro

OpenAI 发布最新分析报告指出，SWE-bench Verified 基准测试已因数据污染和测试用例缺陷不再适合衡量前沿模型的编程能力。测试显示 59.4% 的难题存在缺陷，所有前沿模型均能复现标准答案，建议行业转向 SWE-bench Pro。

核心结论

2026 年 4 月 27 日，OpenAI 发布重磅分析报告，正式宣布 SWE-bench Verified 基准测试已不再适合衡量前沿 AI 模型的编码能力。原因是该基准存在两大核心问题：59.4% 的高难度题目测试用例存在缺陷，以及所有前沿模型均已受到训练数据污染。

OpenAI 在 2024 年 8 月推出 SWE-bench Verified，作为原始 SWE-bench 的改进版本，旨在解决测试过于严格、任务描述不明确等问题。过去 6 个月间，该指标从 74.9% 提升至 80.9%，增速明显放缓。

真正的问题是：剩余失败是模型能力不足，还是数据集本身的问题？为此，OpenAI 组织了一次大规模审计——由至少 6 名资深工程师独立审查了 138 道高难度题目，结果触目惊心。

对于 AI 赚钱和自动化从业者来说，这意味着：不要依赖单一基准衡量 AI 编程工具的真实能力，实际项目中的复杂场景才是真正的测试场。

问题维度	具体发现	对 AI 自动化从业者的影响	建议动作
测试缺陷	59.4% 的难题存在 "过窄" 或 "过宽" 的测试用例，正确代码被误判为失败	工具评测结果的参考价值下降	在自动化流水线中增加多模型交叉验证
数据污染	所有前沿模型（GPT-5.2、Claude Opus 4.5、Gemini 3）都能复现标准答案原文	基准分数不能反映实际能力差距	关注实际项目交付质量而非排行榜
基准饱和	Claude Opus 4.5 达到 93.9%，SWE-bench 联合创始人确认真实饱和	旧基准不再提供区分度	转向 SWE-bench Pro 等新评估体系
新基准	SWE-bench Multilingual、Multimodal 即将开源，CodeClash、AlgoTune 已可用	测试标准正在快速升级	提前适配多语言、多模态的评估方式

对于正在构建 AI 自动化工作流的团队和独立开发者：

不要用 SWE-bench Verified 分数作为选择 AI 编码工具的唯一依据。Claude 在该基准上领先，但在实际复杂项目中需要结合场景测试。
在自动化流水线中引入实际场景测试：用你自己项目的 issue 和 PR 作为测试集，比任何公开基准都更可靠。
关注 OpenAI 推荐的 SWE-bench Pro，它使用了更严格的去污染机制，目前尚未饱和。
如果你在搭建 AI Agent 自动化内容生产系统（如使用 OpenClaw 或 Claude Code），建议用多个模型交叉验证代码输出，而不是依赖单一模型的基准分数。

AI 编程工具对比

正文中提到：OpenAI、Claude（Anthropic）、Gemini（Google）、GPT-5.2、Claude Opus 4.5、OpenClaw、Claude Code、n8n