OpenAI 完成对 SWE-Bench Pro 公共拆分 731 个任务的内部审计，使用模型代理与五名资深工程师独立复核，发现约 27.4%-34.1% 任务存在窄测试用例、宽测试用例或问题描述不符等设计缺陷，导致正确解决方案被误判或无效。基准已接近 70% 噪声上限，前沿模型八个月内通过率从 23.3% 升至 80.3%，不再可靠衡量真实编码能力。OpenAI 正式撤回此前推荐研究界采用该基准的立场，转而呼吁谨慎解读结果并寻求更稳健评估。
信源:https://openai.com/index/separating-signal-from-noise-coding-evaluations/