Michael JohnsonKan een AI-agent een technisch rapport opstellen als de benodigde informatie verspreid staat over een tekening, een tabel en een pdf? Precies die vraag test de nieuwe MKA-benchmark: die beoordeelt niet één antwoord op basis van een afbeelding, maar een volledige workflow — van het lezen van visueel complexe bestanden tot het maken van een zelfstandig document. Dat is een nuttig onderscheid voor wie een agent kiest voor taken met presentaties, schema’s, kaarten of scans.
Google DeepMind presenteerde MKA op 10 november 2026 samen met Artificial Analysis. Het technische rapport beschrijft 200 opdrachten uit tien sectoren en 83 beroepen. Een belangrijk resultaat voor de evaluatie van systemen: toen de mogelijkheid om afbeeldingen te bekijken bij het model werd uitgeschakeld, daalde de kwaliteit van zijn werk op MKA en nam het aantal agentstappen toe. Bij opdrachten met foto’s en medische beelden konden softwarematige omwegen het verlies van visueel inzicht niet goedmaken.
Welk tekort vult MKA aan?
Veel tests voor zakelijk werk gaan ervan uit dat een model met een script tekst uit bestanden kan halen en de taak vrijwel zonder visuele analyse kan oplossen. Afzonderlijke beeldtests eindigen daarentegen vaak met een kort antwoord en vereisen niet dat meerdere bronnen worden gecombineerd of dat het resultaat als werkbestand wordt opgeleverd. MKA draait om een reeks samenhangende handelingen: elementen in meerdere bestanden vinden, ze combineren, de opdrachtregels toepassen en het resultaat in het gevraagde formaat opleveren.
Elke opdracht bevat twee tot 45 invoerbestanden. Dat kunnen bouwtekeningen, elektrische schema’s, radiologische beelden, kaarten, diagrammen, tabellen en tekstdocumenten zijn. Bij 88% van de opdrachten moet de agent een afzonderlijk bestand maken of aanpassen, bijvoorbeeld een pdf-rapport, presentatie, spreadsheet of webapplicatie. Volgens de auteurs kan het omzetten van materialen naar platte tekst belangrijke informatie vernietigen: schaal, ruimtelijke ordening, lijnen en verbanden tussen elementen.
Hoe werkt de evaluatie?
Vakexperts maakten de opdrachten, referentieresultaten en beoordelingsrubrieken. Gemiddeld heeft een taak ongeveer 71 criteria. De auteurs geven aan dat bij opdrachten met een afzonderlijk uitvoerbestand de criteria voor 75% meetellen voor feitelijke juistheid en voor 25% voor visuele vormgeving. De totaalscore houdt rekening met de gewichten van afzonderlijke criteria. Zo wordt een concreet pakket materialen beoordeeld, niet alleen de aannemelijkheid van de tekst.
Alle vergeleken modellen draaiden in dezelfde agentomgeving, Stirrup, met dezelfde set tools en hetzelfde budget. De agent kon bestanden openen, code uitvoeren en op internet zoeken. Het technische rapport beschrijft limieten van maximaal 250 stappen en acht uur per opdracht. Een afzonderlijke beoordelingsagent controleerde de voltooide documenten: die renderde bestanden visueel en kon bijvoorbeeld spreadsheetformules programmatisch onderzoeken.
De auteurs vergeleken de scores van de automatische beoordelaar met die van experts op een deelverzameling van 50 opdrachten. De overeenstemming per criterium bedroeg 96,2%; het onderzoek vermeldt ook een Cohen’s kappa van 0,91. Dit resultaat betreft de overeenstemming tussen de beoordelaar en experts binnen deze deelverzameling.
Wat liet het uitschakelen van visueel inzicht zien?
De auteurs voerden een gecontroleerde test uit met Gemini 4 Carbon: ze schakelden de tool voor het bekijken van afbeeldingen uit en vergeleken de prestaties op MKA. De Climb-WSR-score daalde met ongeveer 5,9 procentpunt, het aantal stappen nam 1,28 keer toe en het aantal gegenereerde tokens 1,40 keer. Het model gebruikte vaker softwarematige omwegen om visuele informatie via bestandsverwerking te reconstrueren.
Het effect verschilde per type invoer. Bij heldere tekeningen herstelden de omwegen een deel van de kwaliteit, terwijl ze volgens het artikel tekortschoten bij foto’s en medische beelden. Dat verklaart waarom ‘het model kan pdf’s lezen’ een te grove maatstaf is voor een werkagent: geëxtraheerde tekst kan geometrie, de onderlinge positie van objecten en visuele kenmerken verliezen.
Hoe werden de modellen vergeleken?
Het onderzoek omvatte Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 en GPT-6 Astra. Claude Fable 5.2 behaalde de hoogste kwaliteitsscore op Climb-WSR: 56,6%; Gemini 4 Carbon kwam uit op 54,3%. Op de algemene WSR-schaal waren de scores respectievelijk 73,3% en 71,9%. De auteurs melden dat Carbon 5,7 keer minder tokens gebruikte dan Fable; het technische rapport vermeldt ook dat de API-kosten voor Carbon 6,3 keer lager waren, terwijl de kwaliteit van de resultaten binnen de statistische ruis bleef. Deze vergelijkingen gelden voor de specifieke opdrachten en omstandigheden van MKA.
De auteurs definiëren Climb-WSR als een score voor moeilijke criteria waarop modellen van de vorige generatie nog geen plafond bereikten. De beste systemen scoorden op deze schaal minder dan 57%. Dat wijst op ruimte voor verbetering in multimodaal werk. De cijfers zijn niet rechtstreeks toepasbaar op elk beroep of elk productscenario: de uitkomst hangt af van de samenstelling van de bestanden, de vereisten en de beschikbare tools.
Wat kunnen ontwikkelaars en inkopers hieruit meenemen?
MKA biedt een praktisch model voor een eigen evaluatie. In plaats van één vraag — ‘welk model werkt het best met pdf’s?’ — kun je realistische opdrachten samenstellen: invoerbestanden, het vereiste einddocument en controleerbare criteria. Neem gevallen op waarin de positie van elementen op een schema, de overeenstemming tussen tabel en tekst en de juistheid van het gemaakte bestand van belang zijn. Vergelijk systemen vervolgens in dezelfde omgeving.
Voor zo’n test is het nuttig om twee aparte scores bij te houden: inhoudelijke juistheid en kwaliteit van het artefact. Een tabel kan de juiste cijfers bevatten maar verkeerde formules; een rapport kan er verzorgd uitzien maar een verband tussen een tekening en een specificatie missen. De beoordelingsrubriek van MKA laat zien hoe je vereisten vooraf kunt vastleggen en het resultaat controleerbaar kunt maken, in plaats van af te gaan op de algemene indruk van het antwoord.
De volledige set van 200 opdrachten is bedoeld voor evaluatie op een onafhankelijke locatie; voor een eerste kennismaking is een aparte set van tien demonstratieopdrachten gepubliceerd. Door deze scheiding kan de hoofdtest gesloten blijven en krijgen onderzoekers tegelijk materiaal om het format te bestuderen. Voor een team dat een agent kiest, is de belangrijkste les praktisch: beoordeel niet alleen tekstextractie, maar ook hoe het systeem visuele informatie gebruikt om het uiteindelijke werkresultaat te maken.
