# OpenAI и Ironclad оценили ИИ-агентов на 11 договорных задачах

https://jsonscraper.com/ru/blog/openai-ironclad-contract-agent-evaluation

Author: Michael Johnson

Published: 2026-10-07T10:30:21+00:00

Updated: 2026-10-08T06:34:05+00:00

GPT‑6 Astra набрала в среднем 55% по критериям OpenAI; время выполнения компания оценила симуляцией

OpenAI и Ironclad 6 октября 2026 года [опубликовали результаты исследовательской оценки](https://openai.com/index/advancing-computer-use-with-ironclad/) ИИ-агентов, работающих с договорными процессами в корпоративном ПО. В 11 задачах GPT‑6 Astra набрала средний балл 55,0% по критериям выполнения, а GPT‑5.6 Sol — 41,6%.



![OpenAI и Ironclad оценили ИИ-агентов на 11 договорных задачах
Context: В опубликованной 6 октября оценке OpenAI сравнила GPT‑6 Astra и GPT‑5.6 Sol на 11 задачах в юридических, коммерческих и закупочных процессах Ironclad. Результаты описывают исследовательский набор, а не все рабочие процессы платформы.
Visual subject: contract management legal workflow office documents computer Unsplash](https://jsonscraper.com/assets/uploads/journal/2026/10/2361b446e8373d167d31c908086f7ce5.png.hero.webp)

© jsonscraper · создано с ИИ

 

Задачи охватывали юридическую, коммерческую и закупочную работу: например, настройку соглашения о неразглашении, создание согласований закупок и изменение типового юридического положения с учётом выбранной юрисдикции. OpenAI описывает цель исследования как проверку способности агента пройти многоэтапный процесс, сохраняя бизнес-правила и сверяя результат с исходными требованиями.

 

## Как измеряли выполнение

 

Сотрудники Ironclad и люди, использующие Ironclad в OpenAI, помогли определить 11 задач. Каждую оценивали по 8–50 критериям в зависимости от сложности. Для практики моделей Ironclad предоставила размещённые среды своего ПО; OpenAI сообщает, что улучшала модели с помощью синтетических задач и обучения с подкреплением.

 

В сравнении использовали настройки, на которых каждая модель показала свой наивысший балл: Max reasoning для Astra и High reasoning для Sol. По опубликованной OpenAI таблице, среднее расчётное время попытки составило 19,2 минуты у Astra и 37,0 минуты у Sol. Это симулированные оценки на основе предполагаемой скорости обработки и генерации, а не измеренное сокращение времени клиентов.

 

## Что говорят результаты

 

Оценка показывает, как можно проверять компьютерного агента по итоговому состоянию сложного рабочего процесса: набор критериев позволяет увидеть, какие требования система выполнила, а какие пропустила. Для компаний, оценивающих подобные инструменты, практический ориентир — проверять не только отдельные действия в интерфейсе, но и то, как настроенный процесс обрабатывает разные условия, например пороги согласования и исключения.



![Unsplash Power](https://images.unsplash.com/photo-1499951360447-b19be8fe80f5?ixid=M3wxMDc5MjYxfDB8MXxhbGx8fHx8fHx8fHwxNzkxMzY5MDIxfA&ixlib=rb-4.1.0&w=1600&h=900&fit=crop&crop=center&q=80&fm=webp)

[Domenico Loia](https://unsplash.com/@domenicoloia?utm_source=jsonscraper&utm_medium=referral) · [Unsplash License](https://unsplash.com/license)

 

Числа относятся к 11 исследовательским задачам и не описывают все рабочие процессы Ironclad. В отдельном примере из публикации Astra выполнила около 94% критериев за оценочные 20 минут, а Sol — около 85% за 32 минуты; это пример одной задачи, а не средние показатели. OpenAI также указывает, что синтетические задачи создали на основе публичных договоров из базы SEC EDGAR после фильтрации персональных данных; по заявлению компании, закрытые договоры клиентов для обучения и оценки не использовались.

 

Сунита Верма, технический директор Ironclad, подчеркнула важность целостного рабочего процесса. В переводе цитаты из публикации OpenAI: «Агентам нужно понимать весь жизненный цикл договора, включая связь рабочих процессов, и сохранять контроль, на который полагаются команды».

 

OpenAI называет сотрудничество исследовательской работой по обучению и оценке моделей. Опубликованные баллы дают представление о результатах на выбранных задачах; публикация не приводит независимой проверки оценки или замеров работы на более широком наборе клиентских процессов.

 

> Перевод цитаты: «Агентам нужно понимать весь жизненный цикл договора, включая связь рабочих процессов, и сохранять контроль, на который полагаются команды».



Сунита Верма · публикация OpenAI · [Оригинальная публикация](https://openai.com/index/advancing-computer-use-with-ironclad/)
