Michael Johnson¿Puede un agente de IA preparar un informe de ingeniería si la información necesaria está repartida entre un plano, una tabla y un PDF? Esa es precisamente la pregunta que plantea el nuevo benchmark MKA: no evalúa una respuesta aislada sobre una imagen, sino un ciclo de trabajo completo, desde la lectura de archivos visualmente complejos hasta la creación de un documento independiente. Es una distinción útil para quienes eligen un agente para tareas con presentaciones, esquemas, mapas o escaneos.
Google DeepMind presentó MKA el 10 de noviembre de 2026 junto con Artificial Analysis. El informe técnico describe 200 tareas de diez sectores y 83 profesiones. El resultado clave para evaluar sistemas es que, cuando se retiraba a un modelo la herramienta para ver imágenes, su rendimiento en MKA caía y aumentaba el número de turnos del agente. En tareas con fotografías e imágenes médicas, las soluciones alternativas basadas en software no compensaban la pérdida de visión.
¿Qué carencia aborda MKA?
Muchas pruebas de trabajo empresarial permiten que el modelo extraiga texto de los archivos mediante un script y resuelva la tarea casi sin análisis visual. En cambio, algunas pruebas de imágenes terminan con una respuesta breve y no exigen combinar varias fuentes ni presentar el resultado como un archivo de trabajo. MKA se centra en una secuencia de acciones: localizar elementos en varios archivos, combinarlos, aplicar las reglas de la tarea y entregar el resultado en el formato solicitado.
Cada tarea incluye entre dos y 45 archivos de entrada. Pueden ser planos de edificios, diagramas eléctricos, imágenes radiológicas, mapas, diagramas, tablas y documentos de texto. En el 88 % de las tareas, el agente debe preparar o modificar un archivo independiente, como un informe en PDF, una presentación, una hoja de cálculo o una aplicación web. Según los autores, convertir los materiales en texto plano puede destruir información relevante: la escala, la disposición espacial, las líneas y las relaciones entre elementos.
¿Cómo se realiza la evaluación?
Especialistas en sus respectivos campos prepararon las tareas, los resultados de referencia y las rúbricas de evaluación. Cada tarea tiene, en promedio, unos 71 criterios. Los autores señalan que, en las tareas con un archivo de salida independiente, los criterios se ponderan en un 75 % para la exactitud factual y un 25 % para la presentación visual. La puntuación final tiene en cuenta el peso de cada criterio, por lo que se evalúa un conjunto concreto de materiales, no solo la plausibilidad del texto.
Todos los modelos comparados se ejecutaron en el mismo entorno de agentes, Stirrup, con el mismo conjunto de herramientas y el mismo presupuesto. El agente podía abrir archivos, ejecutar código y buscar en internet. El informe técnico describe límites de hasta 250 turnos y ocho horas por tarea. Un agente evaluador independiente revisaba los documentos terminados: los renderizaba visualmente y podía examinar mediante código, por ejemplo, las fórmulas de las hojas de cálculo.
Los autores compararon las puntuaciones del evaluador automático con las de especialistas en un subconjunto de 50 tareas. La coincidencia de las decisiones por criterio fue del 96,2 %; el estudio también informa de un coeficiente kappa de Cohen de 0,91. Se trata de una medida de la concordancia entre el evaluador y los expertos en ese subconjunto.
¿Qué mostró la desactivación de la visión?
Los autores realizaron una prueba controlada con Gemini 4 Carbon: desactivaron la herramienta de visualización de imágenes y compararon el rendimiento en MKA. La métrica Climb-WSR cayó unos 5,9 puntos porcentuales, el número de turnos aumentó 1,28 veces y el volumen de tokens de salida, 1,40 veces. El modelo recurrió con mayor frecuencia a soluciones alternativas basadas en software para intentar recuperar información visual mediante el procesamiento de archivos.
El efecto dependía del tipo de entrada. En planos limpios, las soluciones alternativas recuperaban parte del rendimiento, mientras que, según el artículo, fallaban con fotografías e imágenes médicas. Esto explica por qué «el modelo sabe leer PDF» es un criterio demasiado impreciso para un agente de trabajo: el texto extraído puede perder la geometría, la posición relativa de los objetos y las características visuales.
¿Cómo se compararon los modelos?
El estudio incluyó Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 y GPT-6 Astra. Claude Fable 5.2 obtuvo la puntuación de calidad más alta según Climb-WSR, con un 56,6 %; Gemini 4 Carbon alcanzó un 54,3 %. En la escala general WSR, las puntuaciones fueron del 73,3 % y el 71,9 %, respectivamente. Los autores afirman que Carbon utilizó 5,7 veces menos tokens que Fable; el informe técnico también indica que el coste de API de Carbon fue 6,3 veces menor, con una calidad de resultados dentro del margen de ruido estadístico. Estas comparaciones corresponden a las tareas y condiciones específicas de MKA.
Los autores definen Climb-WSR como una métrica centrada en criterios difíciles, en los que los modelos de generaciones anteriores no habían alcanzado su límite. Los mejores sistemas obtuvieron menos del 57 % en esta escala. Esto apunta a un margen de mejora en el trabajo multimodal. Las cifras no pueden trasladarse directamente a cualquier profesión o tarea de producto: el resultado depende de los archivos incluidos, los requisitos y las herramientas disponibles.
¿Qué pueden aprovechar desarrolladores y compradores?
MKA ofrece un modelo práctico para crear una evaluación propia. En vez de limitarse a preguntar «¿qué modelo trabaja mejor con PDF?», se pueden reunir tareas reales: archivos de entrada, documento final requerido y criterios verificables. Conviene incluir casos en los que sean importantes la posición de los elementos en un esquema, la correspondencia entre una tabla y un texto, y la corrección del archivo creado. Después, se comparan los sistemas en el mismo entorno.
Para una prueba así, es útil mantener dos puntuaciones separadas: la corrección del contenido y la calidad del artefacto. Una tabla puede incluir cifras correctas y, sin embargo, fórmulas erróneas; un informe puede tener un diseño cuidado, pero omitir una relación entre el plano y las especificaciones. La rúbrica de MKA muestra cómo formalizar los requisitos de antemano y hacer que el resultado sea verificable, en lugar de depender de una impresión general de la respuesta.
El conjunto completo de 200 tareas está destinado a la evaluación en una plataforma independiente; para conocer el formato, se ha publicado un conjunto aparte de diez tareas de demostración. Esta separación permite mantener cerrado el test principal y, al mismo tiempo, ofrecer a los investigadores material para estudiar el formato. Para un equipo que elige un agente, la conclusión práctica es clara: no hay que evaluar solo la extracción de texto, sino también cómo utiliza el sistema la información visual para crear el resultado de trabajo final.
