Miksi agenteille ei riitä tekstin lukeminen: MKA-benchmark testaa piirustusten ja tiedostojen käsittelyä

Voiko tekoälyagentti laatia teknisen raportin, jos tarvittavat tiedot ovat hajallaan piirustuksessa, taulukossa ja PDF-tiedostossa? Juuri tätä kysymystä uusi MKA-benchmark testaa: se arvioi yksittäisen kuvaa koskevan vastauksen sijaan koko työnkulun visuaalisesti monimutkaisten tiedostojen lukemisesta itsenäisen dokumentin luomiseen. Ero on hyödyllinen niille, jotka valitsevat agenttia esityksiin, kaavioihin, karttoihin tai skannauksiin liittyviin tehtäviin.

Google DeepMind esitteli MKA:n 10. marraskuuta 2026 yhdessä Artificial Analysisin kanssa. Teknisessä raportissa kuvataan 200 tehtävää kymmeneltä toimialalta ja 83 ammatista. Järjestelmien arvioinnin kannalta keskeinen tulos on, että kun mallilta poistettiin kuvien katselutyökalu, sen suoriutuminen MKA:ssa heikkeni ja agentin tekemien vuorojen määrä kasvoi. Valokuvia ja lääketieteellisiä kuvia sisältävissä tehtävissä ohjelmalliset kiertotavat eivät korvanneet näkökyvyn puutetta.

Minkä puutteen MKA korjaa?

Monissa työtehtävien testeissä oletetaan, että malli voi poimia tiedostoista tekstiä skriptillä ja ratkaista tehtävän lähes ilman visuaalista analyysia. Erilliset kuvantestit puolestaan päättyvät usein lyhyeen vastaukseen eivätkä edellytä useiden lähteiden yhdistämistä tai tuloksen muotoilemista työtiedostoksi. MKA keskittyy toimintojen ketjuun: etsi elementtejä useista tiedostoista, yhdistä ne, sovella tehtävän sääntöjä ja toimita tulos vaaditussa muodossa.

Kussakin tehtävässä on 2–45 syötetiedostoa. Ne voivat olla rakennussuunnitelmia, sähkökaavioita, radiologisia kuvia, karttoja, kaavioita, taulukoita ja tekstidokumentteja. 88 prosentissa tehtävistä agentin on laadittava tai muokattava erillinen tiedosto, kuten PDF-raportti, esitys, taulukkolaskentatiedosto tai verkkosovellus. Tekijöiden mukaan aineiston muuntaminen pelkäksi tekstiksi voi hävittää olennaista tietoa: mittakaavan, tilallisen sijoittelun, viivat ja elementtien väliset yhteydet.

Miten arviointi toimii?

Alakohtaiset asiantuntijat laativat tehtävät, vertailutulokset ja arviointikriteerit. Yhdessä tehtävässä on keskimäärin noin 71 kriteeriä. Tekijöiden mukaan erillisen tulostiedoston sisältävissä tehtävissä kriteerien painotus on 75 prosenttia faktatarkkuudelle ja 25 prosenttia visuaaliselle esitykselle. Lopputulos huomioi yksittäisten kriteerien painot, joten arvioinnissa tarkastellaan tiettyä aineistokokonaisuutta eikä vain tekstin uskottavuutta.

Kaikki vertailtavat mallit suoritettiin samassa Stirrup-agenttiympäristössä, samoilla työkaluilla ja samalla budjetilla. Agentti pystyi avaamaan tiedostoja, suorittamaan koodia ja etsimään tietoa verkosta. Tekninen raportti kuvaa enintään 250 vuoron ja kahdeksan tunnin tehtäväkohtaiset rajat. Valmiit dokumentit tarkasti erillinen arviointiagentti: se renderöi tiedostot visuaalisesti ja pystyi tutkimaan esimerkiksi taulukoiden kaavoja ohjelmallisesti.

Tekijät vertasivat automaattisen arvioijan pisteitä asiantuntijoiden arvioihin 50 tehtävän osajoukossa. Kriteerikohtainen arvioiden yhtenevyys oli 96,2 prosenttia; tutkimuksessa ilmoitetaan myös Cohenin kappakerroin 0,91. Tulos kuvaa arvioijan ja asiantuntijoiden arvioiden yhtenevyyden tarkastelua tässä osajoukossa.

Mitä tapahtui, kun näkökyky poistettiin käytöstä?

Tekijät tekivät kontrolloidun testin Gemini 4 Carbonilla: kuvien katselutyökalu poistettiin käytöstä ja suoriutumista verrattiin MKA:ssa. Climb-WSR-pistemäärä laski noin 5,9 prosenttiyksikköä, vuorojen määrä kasvoi 1,28-kertaiseksi ja tuotettujen tokenien määrä 1,40-kertaiseksi. Malli turvautui useammin ohjelmallisiin kiertotapoihin yrittäessään palauttaa visuaalista tietoa tiedostojen käsittelyn avulla.

Vaikutus riippui syötteen tyypistä. Selkeiden piirustusten kohdalla kiertotavat palauttivat osan suoriutumiskyvystä, kun taas valokuvien ja lääketieteellisten kuvien kohdalla ne epäonnistuivat artikkelin mukaan. Tämä selittää, miksi ”malli osaa lukea PDF-tiedostoja” on työagentin arviointiin liian karkea kriteeri: poimittu teksti voi kadottaa geometrian, kohteiden keskinäiset sijainnit ja visuaaliset piirteet.

Miten malleja verrattiin?

Tutkimukseen osallistuivat Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 ja GPT-6 Astra. Korkeimman Climb-WSR-laatutuloksen sai Claude Fable 5.2, 56,6 prosenttia; Gemini 4 Carbonin tulos oli 54,3 prosenttia. Yleisellä WSR-asteikolla tulokset ovat vastaavasti 73,3 ja 71,9 prosenttia. Tekijät kertovat, että Carbon käytti 5,7 kertaa vähemmän tokeneita kuin Fable; teknisessä raportissa todetaan myös, että Carbonin API-kustannukset olivat 6,3 kertaa pienemmät, kun tulosten laatu oli tilastollisen kohinan rajoissa. Vertailut koskevat MKA:n tiettyjä tehtäviä ja olosuhteita.

Tekijät määrittelevät Climb-WSR:n mittariksi, joka keskittyy vaikeisiin kriteereihin, joissa edellisen sukupolven mallit eivät yltäneet kattoon. Parhaat järjestelmät saivat tällä asteikolla alle 57 prosenttia. Tämä kertoo multimodaalisen työskentelyn kehitysvarasta. Lukuja ei voi siirtää suoraan kaikkiin ammatteihin tai tuotekäyttöihin: tulos riippuu tiedostojen koostumuksesta, vaatimuksista ja käytettävissä olevista työkaluista.

Mitä kehittäjän tai hankkijan kannattaa ottaa tästä mukaan?

MKA tarjoaa käytännöllisen mallin omaa arviointia varten. Sen sijaan, että kysytään vain ”mikä malli toimii parhaiten PDF-tiedostojen kanssa?”, voidaan koota todellisia tehtäviä: syötetiedostot, vaadittu lopputiedosto ja tarkistettavat kriteerit. Mukaan kannattaa ottaa tapauksia, joissa kaavion elementtien sijoittelu, taulukon ja tekstin yhteensopivuus sekä luodun tiedoston oikeellisuus ovat tärkeitä. Vertaa sitten järjestelmiä samoissa olosuhteissa.

Tällaisessa testissä on hyödyllistä pitää sisällön oikeellisuus ja tuotoksen laatu erillisinä arvioina. Taulukossa voi olla oikeat luvut mutta väärät kaavat; raportissa voi olla huoliteltu ulkoasu, mutta piirustuksen ja luettelon välinen yhteys voi puuttua. MKA:n arviointikriteerit osoittavat, miten vaatimukset voi määritellä etukäteen ja tehdä tuloksesta tarkistettavan sen sijaan, että luotettaisiin vastauksen yleisvaikutelmaan.

Koko 200 tehtävän aineisto on tarkoitettu arviointiin riippumattomalla alustalla; itsenäistä tutustumista varten on julkaistu erillinen kymmenen esimerkkitehtävän aineisto. Näin päätesti voidaan pitää suljettuna ja samalla tarjota tutkijoille materiaalia formaattiin tutustumiseen. Agenttia valitsevan tiimin kannalta tärkein johtopäätös on käytännöllinen: arvioi tekstin poimimisen lisäksi sitä, miten järjestelmä hyödyntää visuaalista tietoa lopullisen työtuloksen luomisessa.