Perché agli agenti non basta leggere il testo: il benchmark MKA mette alla prova disegni e file

Un agente di IA è in grado di preparare una relazione tecnica quando le informazioni necessarie sono sparse tra un disegno, una tabella e un PDF? È proprio questo che mette alla prova il nuovo benchmark MKA: non valuta una singola risposta a un’immagine, ma un intero flusso di lavoro, dalla lettura di file visivamente complessi alla creazione di un documento autonomo. È una distinzione utile per chi sceglie un agente per attività che richiedono presentazioni, schemi, mappe o scansioni.

Google DeepMind ha presentato MKA il 10 novembre 2026 insieme ad Artificial Analysis. Il rapporto tecnico descrive 200 attività in dieci settori e 83 professioni. Il risultato chiave per valutare i sistemi è che, quando al modello veniva tolto lo strumento di visualizzazione delle immagini, la qualità del lavoro su MKA diminuiva e aumentava il numero di passaggi dell’agente. Nei compiti con fotografie e immagini mediche, le soluzioni alternative basate sul codice non compensavano la perdita della capacità visiva.

Quale lacuna colma MKA?

Molti test di attività professionali presuppongono che il modello possa estrarre il testo dai file con uno script e risolvere il compito quasi senza analisi visiva. Al contrario, i test dedicati alle immagini spesso si concludono con una risposta breve e non richiedono di collegare più fonti o di presentare il risultato come un file pronto all’uso. MKA si concentra su una sequenza di azioni: individuare elementi in più file, combinarli, applicare le regole del compito e consegnare il risultato nel formato richiesto.

Ogni attività include da due a 45 file di input. Possono essere planimetrie, schemi elettrici, immagini radiologiche, mappe, diagrammi, tabelle e documenti di testo. Nell’88% delle attività l’agente deve preparare o modificare un file separato, per esempio una relazione PDF, una presentazione, un foglio di calcolo o un’applicazione web. Secondo gli autori, convertire i materiali in semplice testo può eliminare informazioni importanti, come la scala, la disposizione spaziale, le linee e i collegamenti tra gli elementi.

Come funziona la valutazione?

Esperti dei rispettivi ambiti hanno preparato le attività, i risultati di riferimento e le rubriche di valutazione. Ogni attività comprende in media circa 71 criteri. Gli autori indicano che, per le attività che richiedono un file separato come risultato, i criteri attribuiscono un peso del 75% all’accuratezza fattuale e del 25% alla presentazione visiva. Il punteggio finale tiene conto del peso dei singoli criteri: si valuta quindi uno specifico insieme di materiali, non soltanto la plausibilità del testo.

Tutti i modelli messi a confronto sono stati eseguiti nello stesso ambiente per agenti, Stirrup, con un set di strumenti e un budget identici. L’agente poteva aprire file, eseguire codice e cercare sul web. Il rapporto tecnico descrive limiti fino a 250 passaggi e otto ore per attività. Un agente valutatore separato controllava i documenti completati: li visualizzava renderizzandoli e poteva esaminarli anche tramite codice, per esempio verificando le formule di un foglio di calcolo.

Gli autori hanno confrontato le valutazioni automatiche con quelle di esperti su un sottoinsieme di 50 attività. Le decisioni sui singoli criteri coincidevano nel 96,2% dei casi; lo studio riporta anche un coefficiente kappa di Cohen pari a 0,91. Si tratta di una verifica della concordanza tra valutatore ed esperti su quel sottoinsieme.

Cosa ha mostrato la disattivazione della capacità visiva?

Gli autori hanno condotto un test controllato con Gemini 4 Carbon: hanno rimosso lo strumento di visualizzazione delle immagini e confrontato le prestazioni su MKA. Il punteggio Climb-WSR è diminuito di circa 5,9 punti percentuali, il numero di passaggi è aumentato di 1,28 volte e il volume dei token in uscita di 1,40 volte. Il modello ricorreva più spesso a soluzioni alternative basate sul codice, cercando di recuperare le informazioni visive tramite l’elaborazione dei file.

L’effetto dipendeva dal tipo di input. Nel caso di disegni nitidi, le soluzioni alternative recuperavano in parte la qualità; con fotografie e immagini mediche, invece, secondo l’articolo, fallivano. Ecco perché «il modello sa leggere i PDF» è un criterio troppo generico per un agente professionale: il testo estratto può perdere geometria, posizione reciproca degli oggetti e indizi visivi.

Come sono stati confrontati i modelli?

Lo studio ha coinvolto Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 e GPT-6 Astra. Claude Fable 5.2 ha ottenuto il punteggio più alto in termini di qualità sul Climb-WSR, con il 56,6%; Gemini 4 Carbon ha raggiunto il 54,3%. Sulla scala complessiva WSR, i risultati sono rispettivamente del 73,3% e del 71,9%. Gli autori riferiscono che Carbon ha utilizzato 5,7 volte meno token di Fable; il rapporto tecnico indica anche costi API per Carbon 6,3 volte inferiori, a fronte di una qualità dei risultati entro il margine del rumore statistico. Questi confronti riguardano le specifiche attività e condizioni di MKA.

Gli autori definiscono Climb-WSR come una misura basata su criteri difficili, sui quali i modelli della generazione precedente non avevano raggiunto un tetto prestazionale. I migliori sistemi hanno ottenuto meno del 57% su questa scala. Ciò segnala ampi margini di miglioramento nelle attività professionali multimodali. I numeri non possono essere trasferiti direttamente a qualsiasi professione o attività di prodotto: il risultato dipende dai file inclusi, dai requisiti e dagli strumenti disponibili.

Cosa può essere utile a chi sviluppa o acquista?

MKA propone un modello pratico per una valutazione interna. Invece di chiedersi soltanto «quale modello lavora meglio con i PDF?», si possono raccogliere attività reali: file di input, documento finale richiesto e criteri verificabili. Si includano casi in cui contano la posizione degli elementi in uno schema, la coerenza tra una tabella e un testo e la correttezza del file creato. Poi si confrontino i sistemi nello stesso ambiente.

Per un test del genere è utile mantenere due valutazioni distinte: correttezza dei contenuti e qualità dell’artefatto. Una tabella può riportare cifre corrette ma contenere formule sbagliate; una relazione può avere un aspetto curato ma omettere il collegamento tra un disegno e una specifica. La rubrica di MKA mostra come formalizzare i requisiti in anticipo e rendere verificabile il risultato, anziché affidarsi a un’impressione generale della risposta.

Il set completo di 200 attività è destinato alla valutazione in una sede indipendente; per una prima esplorazione è stato pubblicato un set separato di dieci attività dimostrative. Questa distinzione permette di mantenere riservato il test principale e, al tempo stesso, di offrire ai ricercatori materiale per esaminare il formato. Per un team che sceglie un agente, la conclusione pratica è semplice: verificate non solo l’estrazione del testo, ma anche come il sistema usa le informazioni visive per creare il risultato di lavoro finale.