Varför agenter måste se mer än text: MKA testar arbete med ritningar och filer

Kan en AI-agent ta fram en ingenjörsrapport när den information som behövs finns utspridd i en ritning, en tabell och en PDF? Det är just den frågan som den nya benchmarken MKA undersöker: den utvärderar inte ett enskilt svar utifrån en bild, utan en hel arbetsprocess – från att läsa visuellt komplexa filer till att skapa ett fristående dokument. Det är en användbar skillnad för den som väljer en agent för uppgifter med presentationer, scheman, kartor eller skannade dokument.

Google DeepMind presenterade MKA den 10 november 2026 tillsammans med Artificial Analysis. I den tekniska rapporten beskrivs 200 uppgifter från tio sektorer och 83 yrken. Ett centralt resultat för utvärderingen av system är att när modellens verktyg för bildvisning togs bort sjönk kvaliteten på dess arbete i MKA, samtidigt som antalet agentsteg ökade. Vid uppgifter med fotografier och medicinska bilder kunde programbaserade kringvägar inte kompensera för den förlorade synförmågan.

Vilken lucka fyller MKA?

Många tester av yrkesrelaterat arbete utgår från att modellen kan extrahera text ur filer med ett skript och lösa uppgiften nästan utan visuell analys. Separata bildtester avslutas däremot ofta med ett kort svar och kräver inte att information från flera källor kopplas samman eller att resultatet formateras som en arbetsfil. MKA fokuserar på en kedja av handlingar: hitta element i flera filer, kombinera dem, följa uppgiftens regler och lämna in resultatet i rätt format.

Varje uppgift innehåller mellan två och 45 indatafiler. Det kan handla om byggnadsritningar, elscheman, röntgenbilder, kartor, diagram, tabeller och textdokument. I 88 procent av uppgifterna ska agenten skapa eller ändra en separat fil – till exempel en PDF-rapport, presentation, kalkylfil eller webbapplikation. Enligt författarna kan omvandling av material till vanlig text förstöra viktig information: skala, rumslig placering, linjer och samband mellan element.

Hur går utvärderingen till?

Ämnesexperter tog fram uppgifter, facit och bedömningsmatriser. Varje uppgift har i genomsnitt omkring 71 kriterier. Författarna uppger att kriterierna i uppgifter med en separat resultatfil viktas med 75 procent för faktamässig korrekthet och 25 procent för visuell utformning. Slutpoängen tar hänsyn till kriteriernas respektive vikter, så det är det konkreta materialet som bedöms – inte bara hur rimlig texten verkar.

Alla modeller som jämfördes kördes i samma agentmiljö, Stirrup, med samma verktyg och budget. Agenten kunde öppna filer, köra kod och söka på internet. Den tekniska rapporten beskriver gränser på upp till 250 steg och åtta timmar per uppgift. Färdiga dokument granskades av en separat bedömningsagent, som renderade filerna visuellt och exempelvis kunde undersöka formler i kalkylblad programmässigt.

Författarna jämförde den automatiska bedömarens poäng med experternas poäng på en delmängd med 50 uppgifter. Överensstämmelsen mellan bedömningarna av kriterierna var 96,2 procent; studien redovisar också Cohens kappa på 0,91. Det resultatet gäller överensstämmelsen mellan bedömaren och experterna i just den delmängden.

Vad visade det sig när synförmågan stängdes av?

Författarna genomförde ett kontrollerat test med Gemini 4 Carbon: verktyget för bildvisning togs bort och resultaten jämfördes i MKA. Måttet Climb-WSR sjönk med omkring 5,9 procentenheter, antalet steg ökade 1,28 gånger och mängden utdata-token ökade 1,40 gånger. Modellen använde oftare programbaserade kringvägar i ett försök att återskapa visuell information genom filbearbetning.

Effekten berodde på vilken typ av indata som användes. För tydliga ritningar återställde kringvägarna en del av kvaliteten, medan de enligt artikeln misslyckades för fotografier och medicinska bilder. Det förklarar varför ”modellen kan läsa PDF-filer” är ett alltför grovt kriterium för en arbetsagent: extraherad text kan förlora geometrin, objektens inbördes placering och visuella kännetecken.

Hur jämfördes modellerna?

Studien omfattade Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 och GPT-6 Astra. Claude Fable 5.2 fick högst kvalitetspoäng enligt Climb-WSR, med 56,6 procent; Gemini 4 Carbon fick 54,3 procent. På det övergripande måttet WSR var resultaten 73,3 respektive 71,9 procent. Författarna uppger att Carbon använde 5,7 gånger färre token än Fable; den tekniska rapporten anger också att API-kostnaden för Carbon var 6,3 gånger lägre, medan kvalitetsskillnaden låg inom det statistiska bruset. Jämförelserna gäller de specifika uppgifterna och förhållandena i MKA.

Författarna definierar Climb-WSR som ett mått på svåra kriterier där föregående generationers modeller inte nådde taket. De bästa systemen fick mindre än 57 procent på den skalan. Det visar att det finns utrymme för förbättring i multimodalt yrkesarbete. Resultaten kan inte överföras direkt till alla yrken eller produktuppgifter: utfallet beror på filernas sammansättning, kraven och vilka verktyg som finns tillgängliga.

Vad kan utvecklare och inköpare ta med sig?

MKA erbjuder en praktisk mall för en egen utvärdering. I stället för att bara fråga ”vilken modell fungerar bäst med PDF?” kan man sätta samman realistiska uppgifter med indatafiler, ett krav på slutdokument och kriterier som går att kontrollera. Ta med fall där placeringen av element i ett schema är viktig, där en tabell måste stämma överens med text och där den skapade filen måste vara korrekt. Jämför sedan systemen i samma miljö.

För ett sådant test är det bra att bedöma innehållets korrekthet och artefaktens kvalitet separat. En tabell kan innehålla rätt siffror men fel formler; en rapport kan ha en snygg layout men missa sambandet mellan en ritning och en specifikation. MKA:s bedömningsmatris visar hur man kan formulera kraven i förväg och göra resultatet granskningsbart, i stället för att förlita sig på ett allmänt intryck av svaret.

Den fullständiga uppsättningen med 200 uppgifter är avsedd för utvärdering på en oberoende plattform; för den som vill bekanta sig med formatet finns en separat uppsättning med tio demonstrationsuppgifter. Den uppdelningen gör det möjligt att hålla huvudtestet stängt och samtidigt ge forskare material för att studera formatet. För ett team som väljer en agent är huvudslutsatsen praktisk: utvärdera inte bara textutvinning, utan också hur systemet använder visuell information när det skapar ett slutligt arbetsresultat.