jsonscraper
市场
返回期刊

研究人员将更多任务交给 OpenAI 智能体,但成效取决于工作类型

11月18日发布的报告显示,智能体自主完成不同任务的成功率差异很大。这有助于判断哪些工作可以交由智能体处理,哪些结果仍需格外仔细地审核。

编辑政策 报告错误

可以把研究工作交给编程智能体,并期待它交付可用成果吗?答案取决于具体任务:在 OpenAI 2026 年 8 月 1 日至 10 月 18 日的数据中,无需人工介入时,智能体在监控训练运行方面表现最好,而在编写推理和模型服务代码方面则明显较差。

在11月18日发布的报告中,OpenAI 比较了研究人员交给智能体的任务,并介绍了这类工具在 OpenAI 内部的使用变化。最重要的实践启示是,应把“智能体工作”视为一组各有不同验收标准的任务。按小时计算的平均指标,或“模型擅长写代码”的印象,都不能替代对具体成果的检查。

评估方式有哪些变化

OpenAI 上一份关于加速研究的报告于 9 月发布。新版报告扩展了评估范围:公司加入了智能体使用情况、员工调查、工作流程以及不同任务类型的成功率数据。不过,这些结果反映的是 OpenAI 内部研究组织的情况,并非对所有模型或公司的普遍评估。

一个较易理解的对比指标,是智能体无需人工介入而完成任务的比例。对于估计需要人类花两到四小时的任务,这一比例从 3 月的 23% 上升到 10 月的 46%;对于四到八小时的任务,则从 13% 升至 35%。这些类别显示的是智能体在无需介入的情况下完成单项任务的能力,而不是整个研究工作中可以交给模型的比例。

还有一项重要的方法论细节:随着智能体能力变化,研究人员交给它们的任务也发生了变化。OpenAI 明确指出,各时间类别内成功率的上升,可能既反映了模型改进,也反映了被委派任务的构成变化。因此,按任务时长进行比较有助于观察内部趋势,但仅凭这一比较无法区分模型本身的贡献与研究人员选择任务所带来的影响。

任务名称为何比持续时间更重要

在报告对具体工作类型的简要分析中,OpenAI 给出的智能体独立完成率分别为:监控训练运行 79%、启动此类训练 35%,以及编写推理和服务栈代码 25%。即使是围绕模型训练的两项相邻工作,结果也大不相同。

文章:研究人员将更多任务交给 OpenAI 智能体,但成效取决于工作类型
摘要:OpenAI 评估了其研究组织内部编程智能体的表现:智能体能成功完成许多监控和分析任务,但在启动训练和编写推理代码方面表现明显较差。实际启示是,应依据可验证的结果来选择任务,而不是依据笼统的职业类别。
图片角色:配图 2——展现另一个具体方面
章节:任务名称为何
根据 OpenAI 2026 年 8 月至 10 月的数据,智能体无需人工介入而完成三类工作的比例。© jsonscraper · AI 生成插图
文章:研究人员将更多任务交给 OpenAI 智能体,但成效取决于工作类型
摘要:OpenAI 评估了其研究组织内部编程智能体的表现:智能体能成功完成许多监控和分析任务,但在启动训练和编写推理代码方面表现明显较差。实际启示是,应依据可验证的结果来选择任务,而不是依据笼统的职业类别。
图片角色:封面——核心观点
章节:任务名称为何比持续时间更重要
根据 OpenAI 2026 年 8 月至 10 月的数据,智能体无需人工介入而完成三类工作的比例。© jsonscraper · AI 生成

这说明,像“协助研究”这样的宽泛类别并不适合用于规划。监控运行并发现问题,是观察和预警任务;启动训练,则需要正确准备操作和执行条件;推理和服务代码又属于不同的技术领域。如果把这些工作合并成一个指标,实际工作流程中至关重要的差异就会消失。

OpenAI 还报告称,“沟通”(69%)和“分析”(58%)类别的成功率高于“开发”(43%)。但即使是这些宽泛类别,也掩盖了不同任务之间的差异。要选择合适的委派任务,更好的做法是明确可验证的结果——例如,从运行日志中发现预先定义的故障——并单独规定哪些内容必须由人确认。

频繁使用不等于收益相同

报告显示,智能体已成为 OpenAI 内部工作流程的重要组成部分。按公司采用的 API 价格估算,10 月研究人员每日使用智能体工具的费用中位数约为 2,400 美元;第 90 百分位约为 23,000 美元。两者都是按公布的 API 费率折算的等值金额,并非实际成本数据,也不能证明节省了相应预算。

另一个指标是“智能体日”:每使用智能体八小时,计为一个工作日。平均值从每位研究人员每天 0.5 个智能体日上升到 5.7 个。在预训练和后训练团队中,每位研究人员每天的智能体工作总量平均约为八个这样的工作日。由于多个智能体可以并行运行,这一指标描述的是它们的累计工作时间,而非单个员工的工作日时长;OpenAI 还指出,该指标主要统计交互式使用,可能低估自动化使用。

使用量增长表明,员工正积极将智能体纳入工作流程。但要评估它们对其他团队的价值,仅凭这一点还不够:预算、所选模型、智能体会话时长以及任务性质都可能不同。OpenAI 的数据尤其适合作为如何收集工作指标的案例,而不是任何研究部门都可直接套用的标准。

人类仍需承担哪些工作

OpenAI 对十位研究人员的访谈描述了委派任务的实际情况:智能体帮助编写和调试代码、分析实验以及检查大型数据集。与此同时,员工也提到质量不佳的产物、分析中的错误假设,以及低效的实验启动尝试。公司还特别指出,员工将 GPT‑6 Astra 发布版的相关构想归于人类,而模型则协助完成实现。

一位研究人员介绍的一种工作方法尤其容易在团队中推广:先让智能体完成一个示例,检查并修正后,再让它处理一批类似任务。这种顺序能在错误扩散到整个任务集之前,迅速发现任务说明或数据格式中的问题。对于审核成本高昂的任务,这往往比一开始就扩大委派规模更有用。

如何将这些发现用于自己的团队

从一项可重复、结果可观察且验收条件明确的任务开始。记录需要人工介入多少次、出现了哪些错误,以及审核花了多长时间。这些信息有助于区分智能体真正接手的任务与它仅仅加快了初稿制作的任务。

对于后果严重的操作,应单独设定权限边界。例如,智能体可以发现异常或准备启动命令,但确认和执行仍由负责工程师完成。这不是通用的安全方案,而是一种将自主程度与具体风险及可用验收标准相匹配的方法。

OpenAI 的报告提出了一个有用的选择思路:值得委派的不是笼统的“研究”或“开发”,而是能够核验输出的具体任务。根据该公司的数据,监控训练运行比启动训练或编写推理代码更适合由智能体独立完成。对实践团队而言,下一步是在自己的任务中衡量同样的差异,并在成果经得起检查的领域逐步扩大委派范围。

人们

尚未列出本文的人员。

继续阅读为什么智能体光读文本还不够:MKA 基准测试考查图纸与文件处理能力
阅读下一篇文章

将阅读内容转化为可用的集成

探索 jsonscraper 社交数据 API、测试请求并构建下一个工作流。

查看 API