Michael JohnsonKann ein KI-Agent einen technischen Bericht erstellen, wenn die benötigten Informationen auf eine Zeichnung, eine Tabelle und ein PDF verteilt sind? Genau diese Frage untersucht der neue MKA-Benchmark: Er bewertet nicht eine einzelne Antwort zu einem Bild, sondern einen vollständigen Arbeitsablauf – vom Lesen visuell komplexer Dateien bis zum Erstellen eines eigenständigen Dokuments. Das ist ein wichtiger Unterschied für alle, die einen Agenten für Aufgaben mit Präsentationen, Diagrammen, Karten oder Scans auswählen.
Google DeepMind stellte MKA vor am 10. November 2026 gemeinsam mit Artificial Analysis. Der technische Bericht beschreibt 200 Aufgaben aus zehn Branchen und 83 Berufen. Ein zentrales Ergebnis für die Bewertung von Systemen: Wurde einem Modell das Werkzeug zum Betrachten von Bildern entzogen, sank seine Leistung bei MKA, während die Zahl der Agentenschritte stieg. Bei Aufgaben mit Fotos und medizinischen Bildern konnten softwarebasierte Umwege den Verlust des visuellen Zugangs nicht ausgleichen.
Welche Lücke schließt MKA?
Viele Tests für Büroarbeit setzen voraus, dass ein Modell Text mithilfe eines Skripts aus Dateien extrahieren und die Aufgabe fast ohne visuelle Analyse lösen kann. Separate Bildtests enden dagegen oft mit einer kurzen Antwort und verlangen weder die Verknüpfung mehrerer Quellen noch die Ausgabe eines nutzbaren Arbeitsdokuments. MKA konzentriert sich auf eine Abfolge von Handlungen: Elemente in mehreren Dateien finden, sie zusammenführen, die Aufgabenregeln anwenden und das Ergebnis im geforderten Format abgeben.
Jede Aufgabe umfasst zwei bis 45 Eingabedateien. Dazu gehören Baupläne, Schaltpläne, radiologische Aufnahmen, Karten, Diagramme, Tabellen und Textdokumente. Bei 88 % der Aufgaben muss der Agent eine separate Datei erstellen oder bearbeiten – etwa einen PDF-Bericht, eine Präsentation, eine Tabellenkalkulation oder eine Webanwendung. Laut den Autoren kann die Umwandlung der Materialien in einfachen Text wichtige Informationen zerstören: Maßstab, räumliche Anordnung, Linien und Beziehungen zwischen Elementen.
Wie ist die Prüfung aufgebaut?
Fachleute erstellten die Aufgaben, Referenzergebnisse und Bewertungskriterien. Im Durchschnitt kommen etwa 71 Kriterien auf eine Aufgabe. Bei Aufgaben mit einer separaten Ergebnisdatei entfallen den Autoren zufolge 75 % des Kriteriengewichts auf die sachliche Richtigkeit und 25 % auf die visuelle Gestaltung. Die Gesamtbewertung berücksichtigt die Gewichtung der einzelnen Kriterien. Geprüft wird also ein konkreter Satz von Materialien, nicht nur, ob ein Text plausibel klingt.
Alle verglichenen Modelle liefen in derselben Agentenumgebung Stirrup, mit demselben Werkzeugsatz und Budget. Der Agent konnte Dateien öffnen, Code ausführen und im Internet suchen. Der technische Bericht nennt Grenzen von bis zu 250 Schritten und acht Stunden pro Aufgabe. Fertige Dokumente prüfte ein separater Bewertungsagent: Er stellte die Dateien visuell dar und konnte beispielsweise Tabellenformeln programmatisch untersuchen.
Die Autoren verglichen die Bewertungen des automatischen Prüfers auf einer Teilmenge von 50 Aufgaben mit denen von Fachleuten. Die Übereinstimmung der Bewertungen einzelner Kriterien lag bei 96,2 %; außerdem weist die Studie einen Cohen-Kappa-Wert von 0,91 aus. Das beschreibt die Übereinstimmung zwischen Prüfer und Fachleuten in dieser Teilmenge.
Was zeigte das Abschalten der visuellen Fähigkeiten?
Die Autoren führten mit Gemini 4 Carbon einen kontrollierten Test durch: Sie entfernten das Werkzeug zum Betrachten von Bildern und verglichen die Leistung bei MKA. Der Wert für Climb-WSR sank um etwa 5,9 Prozentpunkte, die Zahl der Schritte stieg auf das 1,28-Fache und die Zahl der Ausgabetoken auf das 1,40-Fache. Das Modell griff häufiger auf softwarebasierte Umwege zurück und versuchte, visuelle Informationen durch die Verarbeitung von Dateien wiederherzustellen.
Der Effekt hing von der Art der Eingabe ab. Bei klaren Zeichnungen konnten Umwege einen Teil der Leistung zurückbringen; bei Fotos und medizinischen Bildern scheiterten sie laut Studie. Das erklärt, warum „das Modell kann PDFs lesen“ ein zu grobes Kriterium für einen Arbeitsagenten ist: Extrahierter Text kann Geometrie, die relative Position von Objekten und visuelle Merkmale verlieren lassen.
Wie wurden die Modelle verglichen?
An der Studie nahmen Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 und GPT-6 Astra teil. Den höchsten Qualitätswert nach Climb-WSR erzielte Claude Fable 5.2 mit 56,6 %; Gemini 4 Carbon erreichte 54,3 %. Auf der allgemeinen WSR-Skala lagen die Werte bei 73,3 % beziehungsweise 71,9 %. Den Autoren zufolge verwendete Carbon 5,7-mal weniger Token als Fable; im technischen Bericht werden außerdem API-Kosten für Carbon genannt, die bei einer Ergebnisqualität innerhalb der statistischen Schwankungsbreite 6,3-mal niedriger lagen. Diese Vergleiche beziehen sich auf die konkreten Aufgaben und Bedingungen von MKA.
Die Autoren definieren Climb-WSR als Kennzahl für anspruchsvolle Kriterien, bei denen Modelle der vorherigen Generation noch keine Höchstwerte erreicht hatten. Die besten Systeme erzielten auf dieser Skala weniger als 57 %. Das deutet auf weiteres Verbesserungspotenzial bei multimodaler Arbeitsleistung hin. Die Zahlen lassen sich nicht direkt auf jeden Beruf oder jede Produktaufgabe übertragen: Das Ergebnis hängt von der Zusammensetzung der Dateien, den Anforderungen und den verfügbaren Werkzeugen ab.
Was sollten Entwickler und Einkäufer daraus mitnehmen?
MKA bietet eine praktische Vorlage für eigene Bewertungen. Statt nur zu fragen „Welches Modell arbeitet am besten mit PDFs?“ lassen sich reale Aufgaben zusammenstellen: Eingabedateien, das verlangte Ergebnisdokument und überprüfbare Kriterien. Nehmen Sie Fälle auf, bei denen die Anordnung von Elementen in einem Diagramm, der Abgleich von Tabelle und Text oder die Richtigkeit der erstellten Datei wichtig sind. Vergleichen Sie die Systeme anschließend in derselben Umgebung.
Für solche Tests empfiehlt es sich, zwei getrennte Bewertungen festzuhalten: die inhaltliche Richtigkeit und die Qualität des Arbeitsergebnisses. Eine Tabelle kann richtige Zahlen, aber falsche Formeln enthalten; ein Bericht kann sorgfältig gestaltet sein und dennoch eine Verbindung zwischen Zeichnung und Spezifikation auslassen. Die Bewertungskriterien von MKA zeigen, wie sich Anforderungen vorab formalisieren und Ergebnisse überprüfbar machen lassen, statt sich auf den Gesamteindruck einer Antwort zu verlassen.
Der vollständige Satz mit 200 Aufgaben ist für die Bewertung auf einer unabhängigen Plattform vorgesehen; zum Kennenlernen wurde ein separater Satz mit zehn Demonstrationsaufgaben veröffentlicht. So kann der Haupttest vertraulich bleiben, während Forschende zugleich Material erhalten, um das Format zu untersuchen. Für Teams, die einen Agenten auswählen, ist die wichtigste Erkenntnis praktisch: Prüfen Sie nicht nur die Textextraktion, sondern auch, wie das System visuelle Informationen nutzt, um ein fertiges Arbeitsergebnis zu erstellen.
