# OpenAI e Ironclad avaliaram agentes de IA em 11 tarefas contratuais

https://jsonscraper.com/pt/blog/openai-ironclad-avaliam-agentes-tarefas-contratuais

Author: Michael Johnson

Published: 2026-10-07T10:33:16+00:00

Updated: 2026-10-07T10:33:16+00:00

GPT‑6 Astra obteve média de 55% segundo os critérios da OpenAI; o tempo de execução foi estimado por simulação

OpenAI e Ironclad [publicaram os resultados de uma avaliação de pesquisa](https://openai.com/index/advancing-computer-use-with-ironclad/) em 6 de outubro de 2026, sobre agentes de IA que trabalham com processos contratuais em software empresarial. Nas 11 tarefas, GPT‑6 Astra obteve uma pontuação média de 55,0% segundo os critérios de execução, enquanto GPT‑5.6 Sol alcançou 41,6%.



![OpenAI e Ironclad avaliaram agentes de IA em 11 tarefas contratuais
Contexto: Na avaliação publicada em 6 de outubro, a OpenAI comparou GPT‑6 Astra e GPT‑5.6 Sol em 11 tarefas dos fluxos jurídicos, comerciais e de compras da Ironclad. Os resultados descrevem um conjunto de pesquisa, não todos os fluxos de trabalho da plataforma.
Tema visual: gestão de contratos, fluxo de trabalho jurídico, documentos de escritório, computador, Unsplash](https://jsonscraper.com/assets/uploads/journal/2026/10/2361b446e8373d167d31c908086f7ce5.png.hero.webp)

OpenAI · imagem gerada por IA

 

As tarefas abrangiam trabalho jurídico, comercial e de compras: por exemplo, configurar um acordo de confidencialidade, criar aprovações de compras e alterar uma cláusula jurídica padrão considerando a jurisdição selecionada. A OpenAI descreve o objetivo da pesquisa como testar a capacidade de um agente de concluir um processo com várias etapas, preservando as regras de negócio e conferindo o resultado com os requisitos originais.

 

## Como a execução foi medida

 

Funcionários da Ironclad e pessoas que usam a Ironclad na OpenAI ajudaram a definir as 11 tarefas. Cada uma foi avaliada com base em 8 a 50 critérios, conforme sua complexidade. Para a prática dos modelos, a Ironclad forneceu ambientes hospedados de seu software; a OpenAI informa que aprimorou os modelos com tarefas sintéticas e aprendizado por reforço.

 

A comparação usou as configurações em que cada modelo alcançou sua maior pontuação: Max reasoning para Astra e High reasoning para Sol. Segundo a tabela publicada pela OpenAI, o tempo médio estimado de uma tentativa foi de 19,2 minutos para Astra e 37,0 minutos para Sol. São estimativas simuladas com base na velocidade presumida de processamento e geração, não uma redução de tempo medida para os clientes.

 

## O que os resultados indicam

 

A avaliação mostra como testar um agente computacional pelo estado final de um fluxo de trabalho complexo: um conjunto de critérios permite identificar quais requisitos o sistema cumpriu e quais deixou passar. Para empresas que avaliam ferramentas semelhantes, uma orientação prática é verificar não apenas ações individuais na interface, mas também como o processo configurado lida com condições variadas, como limites de aprovação e exceções.



![Unsplash Power](https://images.unsplash.com/photo-1499951360447-b19be8fe80f5?ixid=M3wxMDc5MjYxfDB8MXxhbGx8fHx8fHx8fHwxNzkxMzY5MDIxfA&ixlib=rb-4.1.0&w=1600&h=900&fit=crop&crop=center&q=80&fm=webp)

[Domenico Loia](https://unsplash.com/@domenicoloia?utm_source=jsonscraper&utm_medium=referral) · [Licença do Unsplash](https://unsplash.com/license)

 

Os números dizem respeito a 11 tarefas de pesquisa e não descrevem todos os fluxos de trabalho da Ironclad. Em um exemplo separado da publicação, Astra cumpriu cerca de 94% dos critérios em 20 minutos estimados, enquanto Sol cumpriu cerca de 85% em 32 minutos; trata-se de um exemplo de uma tarefa, não de médias. A OpenAI também informa que criou as tarefas sintéticas com base em contratos públicos do banco de dados SEC EDGAR, após filtrar dados pessoais; segundo a empresa, contratos confidenciais de clientes não foram usados no treinamento nem na avaliação.

 

Sunita Verma, diretora de tecnologia da Ironclad, ressaltou a importância do fluxo de trabalho como um todo. Em tradução da citação da publicação da OpenAI: “Os agentes precisam entender todo o ciclo de vida do contrato, incluindo a conexão entre os fluxos de trabalho, e preservar o controle com que as equipes contam”.

 

A OpenAI descreve a colaboração como um trabalho de pesquisa sobre treinamento e avaliação de modelos. As pontuações publicadas dão uma ideia dos resultados nas tarefas selecionadas; a publicação não apresenta uma verificação independente da avaliação nem medições de desempenho em um conjunto mais amplo de processos de clientes.

 

> Tradução da citação: “Os agentes precisam entender todo o ciclo de vida do contrato, incluindo a conexão entre os fluxos de trabalho, e preservar o controle com que as equipes contam”.



Sunita Verma · publicação da OpenAI · [Publicação original](https://openai.com/index/advancing-computer-use-with-ironclad/)
