OpenAI 研究员发现即使是最先进的 AI 模型也无法解决大部分它们没见过的编程问题。研究报告发表在预印本平台 arXiv。研究人员利用了一个新开发的基准测试 SWE-Lancer，该测试是基于自由职业网站 Upwork 上的逾 1,400 道软件工程问题，测试针对了三个大模型：OpenAI 的 o1 推理模型和 GPT-4o，以及 Anthropic 的 Claude 3.5 Sonnet。大模型被禁止联网，以免拷贝网上已经发布的类似问题答案。结果显示，Claude 3.5 Sonnet 的表现更出色，然而它的大部分答案也都是错误的。研究人员称，大模型需要提高可靠性才能被信任去完成现实中的编程问题。大模型在处理未知问题上仍然远逊色人类工程师。
arXiv:2502.12115