Michael JohnsonЧи може ШІ-агент підготувати інженерний звіт, якщо потрібні відомості розкидані по кресленню, таблиці та PDF? Саме це перевіряє новий бенчмарк MKA: він оцінює не окрему відповідь за зображенням, а повний робочий цикл — від читання візуально складних файлів до створення самостійного документа. Це важлива відмінність для тих, хто обирає агента для завдань із презентаціями, схемами, картами чи сканами.
Google DeepMind представила MKA 10 листопада 2026 року спільно з Artificial Analysis. У технічному звіті описано 200 завдань із десяти секторів і 83 професій. Ключовий результат для оцінювання систем: коли в моделі забирали інструмент перегляду зображень, якість її роботи на MKA падала, а кількість ходів агента зростала. У завданнях із фотографіями та медичними зображеннями програмні обхідні шляхи не компенсували втрату зору.
Яку прогалину заповнює MKA?
Багато тестів ділової роботи припускають, що модель витягне текст із файлів за допомогою скрипту й виконає завдання майже без візуального аналізу. Окремі тести зображень, навпаки, часто завершуються короткою відповіддю й не вимагають поєднувати кілька джерел або оформлювати результат як робочий файл. MKA побудований навколо послідовності дій: знайти елементи в кількох файлах, об’єднати їх, застосувати правила завдання й подати результат у потрібному форматі.
У кожному завданні від двох до 45 вхідних файлів. Це можуть бути плани будівель, електричні схеми, радіологічні знімки, карти, діаграми, таблиці й текстові документи. У 88% завдань агент має підготувати або змінити окремий файл — наприклад, PDF-звіт, презентацію, електронну таблицю чи вебзастосунок. За описом авторів, перетворення матеріалів на простий текст може знищити важливу інформацію: масштаб, просторове розташування, лінії та зв’язки між елементами.
Як влаштовано перевірку?
Фахівці з предметних галузей підготували завдання, еталонні результати й критерії оцінювання. У середньому на завдання припадає близько 71 критерію. Автори зазначають, що для завдань з окремим файлом-результатом ваги критеріїв розподілено так: 75% — фактична точність і 25% — візуальне оформлення. Підсумкова оцінка враховує вагу окремих критеріїв, тож перевіряється конкретний комплект матеріалів, а не лише правдоподібність тексту.
Усі порівнювані моделі запускали в одному агентному середовищі Stirrup, з однаковим набором інструментів і бюджетом. Агент міг відкривати файли, виконувати код і шукати в інтернеті. У технічному звіті описано обмеження: до 250 ходів і восьми годин на завдання. Готові документи перевіряв окремий агент-оцінювач: він візуально відображав файли й міг програмно досліджувати, наприклад, формули в таблицях.
Автори порівняли оцінки автоматичного перевіряльника з оцінками фахівців на підмножині з 50 завдань. Збіг рішень за критеріями становив 96,2%; дослідження також наводить коефіцієнт каппа Коена 0,91. Це результат перевірки узгодженості оцінювача з експертами на цій підмножині.
Що показало вимкнення зору?
Автори провели контрольований тест із Gemini 4 Carbon: прибрали інструмент перегляду зображень і порівняли роботу в MKA. Показник Climb-WSR знизився приблизно на 5,9 відсоткового пункту, кількість ходів зросла в 1,28 раза, а обсяг вихідних токенів — у 1,40 раза. Модель частіше вдавалася до програмних обхідних способів, намагаючись відновити візуальні відомості через обробку файлів.
Ефект залежав від типу вхідних даних. На чітких кресленнях обхідні шляхи частково повертали якість, тоді як на фотографіях і медичних зображеннях, згідно зі статтею, вони не спрацьовували. Це пояснює, чому «модель уміє читати PDF» — надто грубий критерій для робочого агента: витягнутий текст може втратити геометрію, взаємне розташування об’єктів і візуальні ознаки.
Як порівнювали моделі?
У дослідженні брали участь Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 і GPT-6 Astra. Найвищого показника якості за Climb-WSR досягла Claude Fable 5.2 — 56,6%; результат Gemini 4 Carbon становив 54,3%. За загальною шкалою WSR показники дорівнюють відповідно 73,3% і 71,9%. Автори повідомляють, що Carbon використав у 5,7 раза менше токенів, ніж Fable; у технічному звіті також зазначено, що вартість API для Carbon була в 6,3 раза нижчою, тоді як якість результатів залишалася в межах статистичного шуму. Ці порівняння стосуються конкретних завдань і умов MKA.
Автори визначають Climb-WSR як показник за складними критеріями, за якими моделі попереднього покоління не досягали стелі. Найкращі системи набрали за цією шкалою менш як 57%. Це вказує на потенціал для вдосконалення мультимодальної роботи. Ці числа не можна безпосередньо переносити на будь-яку професію чи продуктове завдання: результат залежить від складу файлів, вимог і доступних інструментів.
Що варто врахувати розробнику чи закупівельнику?
MKA пропонує практичний шаблон для власного оцінювання. Замість одного запитання «яка модель краще працює з PDF?» можна зібрати реальні завдання: вхідні файли, потрібний підсумковий документ і критерії, які можна перевірити. Додайте випадки, де важливі розташування елементів на схемі, узгодження таблиці з текстом і коректність створюваного файла. Потім порівнюйте системи в однаковому середовищі.
Для такого тесту корисно зберігати дві окремі оцінки: правильність вмісту та якість артефакту. Таблиця може містити правильні цифри, але неправильні формули; звіт — охайний дизайн, але пропущений зв’язок між кресленням і специфікацією. Критерії MKA показують, як заздалегідь формалізувати вимоги й зробити результат перевірюваним, а не покладатися на загальне враження від відповіді.
Повний набір із 200 завдань призначений для оцінювання на незалежному майданчику; для самостійного ознайомлення опубліковано окремий набір із десяти демонстраційних завдань. Такий поділ дає змогу залишити основний тест закритим і водночас надати дослідникам матеріал для вивчення формату. Для команди, яка обирає агента, головний висновок практичний: перевіряйте не лише витягування тексту, а й те, як система використовує візуальну інформацію під час створення кінцевого робочого результату.
