Michael JohnsonUn agent d’IA peut-il préparer un rapport d’ingénierie si les informations nécessaires sont dispersées entre un plan, un tableau et un PDF ? C’est précisément la question que pose le nouveau benchmark MKA : il évalue non pas une réponse isolée à propos d’une image, mais un flux de travail complet, de la lecture de fichiers visuellement complexes à la création d’un document autonome. Cette distinction est utile pour choisir un agent destiné à des tâches impliquant des présentations, des schémas, des cartes ou des documents numérisés.
Google DeepMind a présenté MKA le 10 novembre 2026, en collaboration avec Artificial Analysis. Le rapport technique décrit 200 tâches couvrant dix secteurs et 83 professions. Le principal résultat pour l’évaluation des systèmes est le suivant : lorsque l’outil de visualisation des images était retiré au modèle, la qualité de son travail sur MKA diminuait et le nombre d’étapes de l’agent augmentait. Pour les tâches portant sur des photographies et des images médicales, les solutions de contournement programmatiques ne compensaient pas la perte de vision.
Quelle lacune MKA cherche-t-il à combler ?
De nombreux tests de tâches professionnelles permettent au modèle d’extraire le texte des fichiers à l’aide d’un script, puis de résoudre la tâche presque sans analyse visuelle. À l’inverse, certains tests d’images se terminent par une réponse courte et n’exigent ni de combiner plusieurs sources ni de livrer un fichier exploitable. MKA repose sur un enchaînement d’actions : repérer des éléments dans plusieurs fichiers, les rassembler, appliquer les règles de la tâche et fournir le résultat dans le format demandé.
Chaque tâche comporte de deux à 45 fichiers d’entrée. Il peut s’agir de plans de bâtiments, de schémas électriques, d’images radiologiques, de cartes, de diagrammes, de tableaux et de documents textuels. Dans 88 % des tâches, l’agent doit préparer ou modifier un fichier distinct, par exemple un rapport PDF, une présentation, un tableur ou une application web. Selon les auteurs, la conversion des documents en texte brut peut faire disparaître des informations importantes : l’échelle, la disposition spatiale, les lignes et les relations entre les éléments.
Comment l’évaluation est-elle organisée ?
Des spécialistes de différents domaines ont préparé les tâches, les résultats de référence et les grilles d’évaluation. Chaque tâche comporte en moyenne environ 71 critères. Les auteurs indiquent que, pour les tâches exigeant un fichier distinct, les critères sont pondérés à 75 % pour l’exactitude des faits et à 25 % pour la présentation visuelle. Le score final tient compte de la pondération de chaque critère : l’évaluation porte donc sur un ensemble précis de documents, et pas seulement sur la plausibilité du texte.
Tous les modèles comparés ont été exécutés dans le même environnement d’agent, Stirrup, avec les mêmes outils et le même budget. L’agent pouvait ouvrir des fichiers, exécuter du code et effectuer des recherches sur Internet. Le rapport technique décrit des limites allant jusqu’à 250 étapes et huit heures par tâche. Les documents produits étaient examinés par un agent évaluateur distinct, qui les rendait visuellement et pouvait aussi analyser certains éléments par programmation, comme les formules d’un tableur.
Les auteurs ont comparé les évaluations automatiques à celles de spécialistes sur un sous-ensemble de 50 tâches. Les décisions correspondaient dans 96,2 % des cas pour les critères ; l’étude indique également un coefficient kappa de Cohen de 0,91. Ces chiffres mesurent l’accord entre l’évaluateur et les experts sur ce sous-ensemble.
Qu’a révélé la désactivation de la vision ?
Les auteurs ont mené un test contrôlé avec Gemini 4 Carbon : ils ont retiré l’outil de visualisation des images, puis comparé les performances sur MKA. Le score Climb-WSR a baissé d’environ 5,9 points de pourcentage, le nombre d’étapes a été multiplié par 1,28 et le volume de jetons de sortie par 1,40. Le modèle a davantage recouru à des méthodes de contournement programmatiques pour tenter de récupérer les informations visuelles en traitant les fichiers.
L’effet variait selon le type d’entrée. Pour les plans nets, les solutions de contournement permettaient de récupérer une partie des performances, tandis qu’elles échouaient pour les photographies et les images médicales, selon l’article. Voilà pourquoi « le modèle sait lire les PDF » est un critère trop sommaire pour un agent de travail : le texte extrait peut perdre la géométrie, la position relative des objets et les indices visuels.
Comment les modèles ont-ils été comparés ?
L’étude a évalué Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 et GPT-6 Astra. Claude Fable 5.2 a obtenu le meilleur score Climb-WSR, avec 56,6 %, contre 54,3 % pour Gemini 4 Carbon. Sur l’échelle générale WSR, leurs scores respectifs sont de 73,3 % et 71,9 %. Les auteurs indiquent que Carbon a utilisé 5,7 fois moins de jetons que Fable ; le rapport technique indique également que le coût de l’API de Carbon était 6,3 fois inférieur, pour une qualité de résultats comprise dans la marge du bruit statistique. Ces comparaisons concernent les tâches et les conditions précises de MKA.
Les auteurs définissent Climb-WSR comme un indicateur portant sur des critères difficiles, pour lesquels les modèles de la génération précédente n’atteignaient pas de plafond. Les meilleurs systèmes ont obtenu moins de 57 % sur cette échelle. Cela montre qu’il reste une marge de progression pour le travail multimodal. Ces chiffres ne peuvent pas être transposés directement à toutes les professions ou à toutes les tâches liées à un produit : les résultats dépendent des fichiers utilisés, des exigences et des outils disponibles.
Que devraient retenir les développeurs et les acheteurs ?
MKA propose un modèle pratique pour élaborer sa propre évaluation. Au lieu de poser la seule question « quel modèle traite le mieux les PDF ? », on peut réunir des tâches réelles : les fichiers d’entrée, le document final attendu et des critères vérifiables. Il faut inclure des cas où la position des éléments dans un schéma, la concordance entre un tableau et un texte, ainsi que l’exactitude du fichier produit sont importantes. On compare ensuite les systèmes dans un environnement identique.
Pour ce type de test, il est utile de noter séparément deux aspects : l’exactitude du contenu et la qualité du livrable. Un tableau peut contenir les bons chiffres, mais des formules erronées ; un rapport peut être bien présenté, mais omettre une relation entre un plan et une nomenclature. La grille MKA montre comment formaliser les exigences à l’avance et rendre le résultat vérifiable, plutôt que de se fier à une impression générale de la réponse.
Les 200 tâches complètes sont destinées à une évaluation sur une plateforme indépendante ; un ensemble distinct de dix tâches de démonstration a été publié pour découvrir le format. Cette séparation permet de garder le test principal à l’abri tout en donnant aux chercheurs du matériel pour étudier le format. Pour une équipe qui choisit un agent, la conclusion est concrète : il faut évaluer non seulement l’extraction du texte, mais aussi la manière dont le système exploite les informations visuelles pour produire un résultat professionnel final.
