Michael JohnsonDokáže agent s umělou inteligencí připravit technickou zprávu, když jsou potřebné informace roztroušené ve výkresu, tabulce a PDF? Právě to ověřuje nový benchmark MKA: nehodnotí jednotlivou odpověď k obrázku, ale celý pracovní postup — od čtení vizuálně složitých souborů až po vytvoření samostatného dokumentu. To je užitečné rozlišení pro ty, kdo vybírají agenta pro úkoly s prezentacemi, schématy, mapami nebo skeny.
Google DeepMind představila MKA 10. listopadu 2026 společně s Artificial Analysis. Technická zpráva popisuje 200 úloh z deseti sektorů a 83 profesí. Klíčové zjištění pro hodnocení systémů: když model přišel o nástroj pro prohlížení obrázků, jeho výsledky v MKA se zhoršily a počet tahů agenta vzrostl. U úloh s fotografiemi a medicínskými snímky programové obezličky ztrátu schopnosti vidět nenahradily.
Jakou mezeru MKA zaplňuje?
Mnoho testů kancelářské práce předpokládá, že model získá text ze souborů pomocí skriptu a úlohu vyřeší téměř bez vizuální analýzy. Samostatné testy obrázků naopak často končí krátkou odpovědí a nevyžadují propojení několika zdrojů ani zpracování výsledku do pracovního souboru. MKA staví na propojeném řetězci činností: najít prvky ve více souborech, sloučit je, uplatnit pravidla úlohy a odevzdat výsledek v požadovaném formátu.
Každá úloha obsahuje dva až 45 vstupních souborů. Může jít o půdorysy budov, elektrická schémata, radiologické snímky, mapy, grafy, tabulky a textové dokumenty. V 88 % úloh má agent připravit nebo upravit samostatný soubor — například zprávu ve formátu PDF, prezentaci, tabulku nebo webovou aplikaci. Podle autorů může převod materiálů na prostý text zničit důležité informace: měřítko, prostorové rozmístění, čáry a vazby mezi prvky.
Jak je hodnocení sestaveno?
Odborníci v jednotlivých oborech připravili úlohy, referenční výsledky a hodnoticí rubriky. Na jednu úlohu připadá v průměru přibližně 71 kritérií. Autoři uvádějí, že u úloh s výstupním souborem mají kritéria váhu 75 % pro faktickou přesnost a 25 % pro vizuální úpravu. Celkové skóre zohledňuje váhu jednotlivých kritérií, takže se hodnotí konkrétní sada materiálů, nikoli jen věrohodnost textu.
Všechny porovnávané modely běžely ve stejném agentním prostředí Stirrup, se stejnou sadou nástrojů a rozpočtem. Agent mohl otevírat soubory, spouštět kód a vyhledávat na internetu. Technická zpráva popisuje limity až 250 tahů a osmi hodin na úlohu. Hotové dokumenty kontroloval samostatný hodnoticí agent: soubory vizuálně vykresloval a mohl programově zkoumat například vzorce v tabulkách.
Autoři porovnali hodnocení automatického hodnotitele s hodnocením odborníků na podmnožině 50 úloh. Shoda rozhodnutí u jednotlivých kritérií dosáhla 96,2 %; studie uvádí také Cohenův koeficient kappa 0,91. Jde o výsledek testu shody hodnotitele s odborníky na této podmnožině.
Co ukázalo vypnutí vizuálního vnímání?
Autoři provedli kontrolovaný test s Gemini 4 Carbon: odebrali nástroj pro prohlížení obrázků a porovnali výkon v MKA. Ukazatel Climb-WSR klesl přibližně o 5,9 procentního bodu, počet tahů vzrostl 1,28krát a objem výstupních tokenů 1,40krát. Model se častěji uchyloval k programovým obezličkám a snažil se vizuální informace obnovit zpracováním souborů.
Dopad závisel na typu vstupu. U čistých výkresů obezličky kvalitu částečně obnovily, zatímco u fotografií a medicínských snímků podle článku selhávaly. To vysvětluje, proč je „model umí číst PDF“ příliš hrubým měřítkem pro pracovního agenta: extrahovaný text může ztratit geometrii, vzájemnou polohu objektů i vizuální znaky.
Jak byly modely porovnávány?
Studie zahrnovala Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 a GPT-6 Astra. Nejvyšší skóre kvality podle Climb-WSR získal Claude Fable 5.2 — 56,6 %; Gemini 4 Carbon dosáhl 54,3 %. Podle celkové škály WSR činily výsledky 73,3 %, respektive 71,9 %. Autoři uvádějí, že Carbon použil 5,7krát méně tokenů než Fable; technická zpráva dále uvádí, že náklady Carbonu na API byly 6,3krát nižší, přičemž kvalita výsledků se pohybovala v mezích statistického šumu. Tato srovnání se vztahují ke konkrétním úlohám a podmínkám MKA.
Autoři definují Climb-WSR jako ukazatel založený na náročných kritériích, u nichž modely předchozí generace nedosahovaly stropu. Nejlepší systémy získaly na této škále méně než 57 %. To ukazuje, že v multimodální pracovní činnosti je stále prostor ke zlepšení. Tato čísla nelze přímo vztáhnout na libovolnou profesi nebo produktovou úlohu: výsledek závisí na složení souborů, požadavcích a dostupných nástrojích.
Co by si měli odnést vývojáři a nákupčí?
MKA nabízí praktický vzor pro vlastní hodnocení. Místo jediné otázky „který model lépe pracuje s PDF?“ lze sestavit skutečné úlohy: vstupní soubory, požadovaný výsledný dokument a ověřitelná kritéria. Zařaďte případy, kde záleží na umístění prvků ve schématu, souladu tabulky s textem a správnosti vytvořeného souboru. Pak systémy porovnávejte ve stejném prostředí.
U takového testu je užitečné uchovávat dvě samostatná hodnocení: správnost obsahu a kvalitu výstupního artefaktu. Tabulka může obsahovat správná čísla, ale nesprávné vzorce; zpráva může mít úhledný vzhled, ale opomíjet souvislost mezi výkresem a specifikací. Hodnoticí rubrika MKA ukazuje, jak požadavky předem formalizovat a zajistit ověřitelnost výsledku namísto spoléhání na celkový dojem z odpovědi.
Celá sada 200 úloh je určena k hodnocení na nezávislém pracovišti; k samostatnému seznámení je zveřejněna zvláštní sada deseti ukázkových úloh. Toto rozdělení umožňuje ponechat hlavní test neveřejný a zároveň nabídnout výzkumníkům materiál ke studiu formátu. Pro tým, který vybírá agenta, je hlavní závěr praktický: ověřujte nejen extrakci textu, ale i to, jak systém využívá vizuální informace při tvorbě konečného pracovního výstupu.
