Michael JohnsonUm agente de IA consegue preparar um relatório de engenharia quando as informações necessárias estão espalhadas por um desenho, uma tabela e um PDF? É essa a pergunta que o novo benchmark MKA procura responder: ele avalia não uma resposta isolada sobre uma imagem, mas um fluxo de trabalho completo — da leitura de arquivos visualmente complexos à criação de um documento independente. Essa distinção é útil para quem escolhe um agente para tarefas com apresentações, esquemas, mapas ou digitalizações.
O Google DeepMind apresentou o MKA em 10 de novembro de 2026, em parceria com a Artificial Analysis. O relatório técnico descreve 200 tarefas de dez setores e 83 profissões. Um resultado importante para avaliar sistemas: quando o recurso de visualização de imagens era removido do modelo, a qualidade do trabalho no MKA caía e o número de etapas do agente aumentava. Em tarefas com fotografias e imagens médicas, soluções alternativas por software não compensavam a perda da capacidade visual.
Que lacuna o MKA pretende preencher?
Muitos testes de trabalho empresarial permitem que o modelo extraia texto dos arquivos com um script e resolva a tarefa quase sem análise visual. Já os testes específicos de imagens costumam terminar com uma resposta curta e não exigem combinar várias fontes nem entregar o resultado como um arquivo de trabalho. O MKA se concentra em uma sequência de ações: localizar elementos em vários arquivos, combiná-los, aplicar as regras da tarefa e entregar o resultado no formato exigido.
Cada tarefa contém de dois a 45 arquivos de entrada. Eles podem incluir plantas de edifícios, esquemas elétricos, imagens radiológicas, mapas, diagramas, tabelas e documentos de texto. Em 88% das tarefas, o agente precisa preparar ou modificar um arquivo separado — por exemplo, um relatório em PDF, uma apresentação, uma planilha ou um aplicativo web. Segundo os autores, converter os materiais em texto simples pode eliminar informações importantes, como escala, disposição espacial, linhas e relações entre elementos.
Como funciona a avaliação?
Especialistas das respectivas áreas prepararam as tarefas, os resultados de referência e as rubricas de avaliação. Cada tarefa tem, em média, cerca de 71 critérios. Os autores afirmam que, nas tarefas com um arquivo de saída separado, os critérios são distribuídos com peso de 75% para a precisão factual e 25% para a apresentação visual. A nota final leva em conta os pesos dos critérios individuais; assim, avalia-se um conjunto específico de materiais, e não apenas a plausibilidade do texto.
Todos os modelos comparados foram executados no mesmo ambiente de agentes, o Stirrup, com o mesmo conjunto de ferramentas e orçamento. O agente podia abrir arquivos, executar código e pesquisar na internet. O relatório técnico descreve limites de até 250 etapas e oito horas por tarefa. Um agente avaliador separado analisava os documentos concluídos: renderizava-os visualmente e podia examinar por software, por exemplo, as fórmulas de uma planilha.
Os autores compararam as avaliações do sistema automático com as de especialistas em um subconjunto de 50 tarefas. A concordância das decisões por critério foi de 96,2%; o estudo também informa um coeficiente kappa de Cohen de 0,91. Esse resultado mede a concordância entre o avaliador e os especialistas nesse subconjunto.
O que revelou a desativação da visão?
Os autores realizaram um teste controlado com o Gemini 4 Carbon: removeram o recurso de visualização de imagens e compararam o desempenho no MKA. A pontuação Climb-WSR caiu cerca de 5,9 pontos percentuais, o número de etapas aumentou 1,28 vez e o volume de tokens de saída cresceu 1,40 vez. O modelo recorreu com mais frequência a alternativas por software para tentar recuperar informações visuais por meio do processamento dos arquivos.
O efeito variou conforme o tipo de entrada. Em desenhos nítidos, as soluções alternativas recuperaram parte da qualidade; em fotografias e imagens médicas, porém, elas falharam, segundo o artigo. Isso explica por que “o modelo consegue ler PDFs” é um critério simplista demais para um agente de trabalho: o texto extraído pode perder a geometria, a posição relativa dos objetos e as características visuais.
Como os modelos foram comparados?
O estudo incluiu Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 e GPT-6 Astra. Claude Fable 5.2 obteve a maior pontuação de qualidade em Climb-WSR, com 56,6%; o Gemini 4 Carbon alcançou 54,3%. Na escala geral WSR, os resultados foram, respectivamente, 73,3% e 71,9%. Os autores informam que o Carbon usou 5,7 vezes menos tokens que o Fable; o relatório técnico também aponta um custo de API 6,3 vezes menor para o Carbon, com qualidade de resultados dentro da margem de ruído estatístico. Essas comparações se referem às tarefas e condições específicas do MKA.
Os autores definem Climb-WSR como uma métrica baseada em critérios difíceis, nos quais os modelos da geração anterior não atingiam o limite máximo. Os melhores sistemas obtiveram menos de 57% nessa escala. Isso indica que ainda há espaço para melhorar o trabalho multimodal. Os números não podem ser aplicados diretamente a qualquer profissão ou tarefa de produto: o resultado depende da composição dos arquivos, dos requisitos e das ferramentas disponíveis.
O que desenvolvedores e responsáveis por compras podem aproveitar?
O MKA oferece um modelo prático para criar uma avaliação própria. Em vez de perguntar apenas “qual modelo trabalha melhor com PDFs?”, é possível montar tarefas reais com arquivos de entrada, um documento final exigido e critérios verificáveis. Inclua casos em que sejam importantes a posição dos elementos em um esquema, a correspondência entre uma tabela e um texto e a correção do arquivo criado. Depois, compare os sistemas no mesmo ambiente.
Para esse tipo de teste, vale manter duas avaliações separadas: a correção do conteúdo e a qualidade do artefato. Uma planilha pode conter números corretos, mas fórmulas erradas; um relatório pode ter um visual impecável, mas deixar de relacionar um desenho a uma especificação. A rubrica do MKA mostra como formalizar os requisitos antecipadamente e tornar o resultado verificável, em vez de depender de uma impressão geral da resposta.
O conjunto completo de 200 tarefas foi concebido para avaliação em uma plataforma independente; para conhecer o formato, foi publicado um conjunto separado de dez tarefas demonstrativas. Essa divisão permite manter o teste principal fechado e, ao mesmo tempo, oferecer aos pesquisadores material para explorar o formato. Para uma equipe que está escolhendo um agente, a principal conclusão é prática: avalie não só a extração de texto, mas também como o sistema usa informações visuais para criar o resultado final de trabalho.
