Dlaczego agentom nie wystarczy czytać tekstu: benchmark MKA sprawdza pracę z rysunkami i plikami

Czy agent AI może przygotować raport inżynieryjny, jeśli potrzebne informacje są rozproszone między rysunkiem, tabelą i plikiem PDF? Właśnie to sprawdza nowy benchmark MKA: ocenia nie pojedynczą odpowiedź na podstawie obrazu, lecz cały cykl pracy — od odczytywania złożonych wizualnie plików po utworzenie samodzielnego dokumentu. To istotne rozróżnienie dla osób wybierających agenta do zadań związanych z prezentacjami, schematami, mapami lub skanami.

Google DeepMind zaprezentowało MKA 10 listopada 2026 roku wspólnie z Artificial Analysis. W raporcie technicznym opisano 200 zadań z dziesięciu sektorów i 83 zawodów. Kluczowy wniosek dotyczący oceny systemów jest taki: po odebraniu modelowi narzędzia do oglądania obrazów jakość jego pracy w MKA spadała, a liczba tur agenta rosła. W zadaniach obejmujących zdjęcia i obrazy medyczne programistyczne obejścia nie rekompensowały utraty zdolności widzenia.

Jaką lukę wypełnia MKA?

Wiele testów pracy biurowej zakłada, że model może wyodrębnić tekst z plików za pomocą skryptu i rozwiązać zadanie niemal bez analizy wizualnej. Z kolei osobne testy obrazów często kończą się krótką odpowiedzią i nie wymagają łączenia kilku źródeł ani przygotowania wyniku jako pliku roboczego. MKA koncentruje się na sekwencji działań: odnalezieniu elementów w wielu plikach, połączeniu ich, zastosowaniu wymagań zadania i oddaniu wyniku w odpowiednim formacie.

Każde zadanie obejmuje od dwóch do 45 plików wejściowych. Mogą to być plany budynków, schematy elektryczne, obrazy radiologiczne, mapy, wykresy, tabele i dokumenty tekstowe. W 88% zadań agent musi przygotować lub zmodyfikować osobny plik — na przykład raport PDF, prezentację, arkusz kalkulacyjny lub aplikację internetową. Jak opisują autorzy, przekształcenie materiałów w zwykły tekst może zniszczyć istotne informacje: skalę, rozmieszczenie przestrzenne, linie i powiązania między elementami.

Jak zorganizowano ocenę?

Specjaliści z poszczególnych dziedzin przygotowali zadania, wyniki referencyjne i kryteria oceny. Na jedno zadanie przypada średnio około 71 kryteriów. Autorzy podają, że w zadaniach wymagających osobnego pliku wynikowego kryteria mają wagę 75% dla poprawności merytorycznej i 25% dla wyglądu. Ocena końcowa uwzględnia wagi poszczególnych kryteriów, dlatego sprawdzany jest konkretny zestaw materiałów, a nie tylko wiarygodność tekstu.

Wszystkie porównywane modele uruchomiono w tym samym środowisku agentowym Stirrup, z takim samym zestawem narzędzi i budżetem. Agent mógł otwierać pliki, uruchamiać kod i przeszukiwać internet. Raport techniczny opisuje limity do 250 tur i ośmiu godzin na zadanie. Gotowe dokumenty sprawdzał osobny agent-oceniający: renderował pliki wizualnie i mógł analizować je programowo, na przykład sprawdzać formuły w arkuszach.

Autorzy porównali oceny automatycznego sprawdzającego z ocenami specjalistów na podzbiorze 50 zadań. Zgodność ocen poszczególnych kryteriów wyniosła 96,2%; badanie podaje również współczynnik kappa Cohena równy 0,91. Jest to wynik pomiaru zgodności oceniającego z ekspertami na tym podzbiorze.

Co wykazało wyłączenie zdolności widzenia?

Autorzy przeprowadzili kontrolowany test z Gemini 4 Carbon: usunęli narzędzie do oglądania obrazów i porównali wyniki w MKA. Wskaźnik Climb-WSR spadł o około 5,9 punktu procentowego, liczba tur wzrosła 1,28 raza, a liczba tokenów wyjściowych — 1,40 raza. Model częściej sięgał po programistyczne obejścia, próbując odzyskać informacje wizualne przez przetwarzanie plików.

Efekt zależał od rodzaju danych wejściowych. W przypadku czytelnych rysunków obejścia częściowo przywracały jakość, natomiast w przypadku zdjęć i obrazów medycznych — jak podaje artykuł — zawodziły. To wyjaśnia, dlaczego stwierdzenie „model potrafi czytać PDF-y” jest zbyt ogólnym kryterium oceny agenta do pracy: wyodrębniony tekst może nie zachować geometrii, wzajemnego położenia obiektów ani cech wizualnych.

Jak porównano modele?

W badaniu uczestniczyły Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 i GPT-6 Astra. Najwyższy wynik jakości według Climb-WSR uzyskał Claude Fable 5.2 — 56,6%; Gemini 4 Carbon osiągnął 54,3%. W ogólnej skali WSR wyniki wyniosły odpowiednio 73,3% i 71,9%. Autorzy podają, że Carbon zużył 5,7 raza mniej tokenów niż Fable; raport techniczny wskazuje również, że koszt API Carbon był 6,3 raza niższy przy jakości wyników mieszczącej się w granicach szumu statystycznego. Porównania te dotyczą konkretnych zadań i warunków MKA.

Autorzy definiują Climb-WSR jako wskaźnik oparty na trudnych kryteriach, w których modele poprzedniej generacji nie osiągały maksymalnych wyników. Najlepsze systemy uzyskały w tej skali mniej niż 57%. Wskazuje to na możliwości dalszego doskonalenia multimodalnej pracy agentów. Wyników nie można bezpośrednio przenosić na każdy zawód ani każde zadanie produktowe: rezultat zależy od składu plików, wymagań i dostępnych narzędzi.

Co warto wziąć pod uwagę przy tworzeniu lub zakupie systemu?

MKA proponuje praktyczny wzorzec własnej oceny. Zamiast pytać tylko „który model lepiej radzi sobie z PDF-ami?”, można zebrać rzeczywiste zadania: pliki wejściowe, wymagany dokument wynikowy i sprawdzalne kryteria. Uwzględnij przypadki, w których ważne są rozmieszczenie elementów na schemacie, zgodność tabeli z tekstem i poprawność utworzonego pliku. Następnie porównuj systemy w identycznym środowisku.

W takim teście warto osobno oceniać poprawność treści i jakość artefaktu. Tabela może zawierać prawidłowe liczby, ale błędne formuły; raport może mieć schludny układ, ale pomijać związek między rysunkiem a specyfikacją. Kryteria MKA pokazują, jak z góry sformalizować wymagania i sprawić, by wynik dało się zweryfikować, zamiast polegać na ogólnym wrażeniu po przeczytaniu odpowiedzi.

Pełny zestaw 200 zadań przeznaczono do oceny na niezależnej platformie; do samodzielnego zapoznania się z formatem opublikowano osobny zestaw dziesięciu zadań demonstracyjnych. Taki podział pozwala zachować główny test w zamkniętej formie, a jednocześnie udostępnić badaczom materiał do poznania formatu. Dla zespołu wybierającego agenta najważniejszy wniosek jest praktyczny: należy sprawdzać nie tylko ekstrakcję tekstu, lecz także to, jak system wykorzystuje informacje wizualne do tworzenia końcowego rezultatu pracy.