OpenAI 发布 SWE-Bench Pro 任务审计资料

事实摘要

OpenAI 在 2026-07-08 发布题为“Separating signal from noise in coding evaluations”的研究资料。

该来源记录 OpenAI 审计了 SWE-Bench Pro 的公开任务集。页面说明数据点分析流程在 731 个公开拆分任务中标记 200 个存在问题的任务，人工标注流程标记 249 个存在问题的任务。页面将问题归入测试过严、提示信息不足、测试覆盖不足和提示误导等类别，并记录 OpenAI 对该评测任务集约 30% 任务存在问题的估计。