Michael JohnsonМожет ли ИИ-агент подготовить инженерный отчёт, если нужные сведения разбросаны по чертежу, таблице и PDF? Именно такой вопрос проверяет новый бенчмарк MKA: он оценивает не отдельный ответ по картинке, а полный рабочий цикл — от чтения визуально сложных файлов до создания самостоятельного документа. Это важное различие для тех, кто выбирает агента для задач с презентациями, схемами, картами или сканами.
Google DeepMind представила MKA 10 ноября 2026 года совместно с Artificial Analysis. В техническом отчёте описаны 200 заданий из десяти секторов и 83 профессий. Ключевой результат для оценки систем: когда у модели отключали инструмент просмотра изображений, качество её работы на MKA снижалось, а число ходов агента росло. В задачах с фотографиями и медицинскими изображениями программные обходные пути не компенсировали потерю зрения.
Какой пробел закрывает MKA?
Многие тесты деловой работы допускают, что модель извлечёт текст из файлов с помощью скрипта и решит задачу почти без визуального анализа. Отдельные тесты изображений, напротив, часто заканчиваются коротким ответом и не требуют объединять несколько источников или оформлять результат как рабочий файл. MKA строится вокруг последовательности действий: найти элементы в нескольких файлах, объединить их, применить правила задания и представить результат в нужном формате.
В каждом задании от двух до 45 входных файлов. Это могут быть планы зданий, электрические схемы, радиологические снимки, карты, диаграммы, таблицы и текстовые документы. В 88% заданий агент должен подготовить или изменить отдельный файл — например, PDF-отчёт, презентацию, электронную таблицу или веб-приложение. По описанию авторов, преобразование материалов в простой текст может уничтожить значимую информацию: масштаб, пространственное расположение, линии и связи между элементами.
Как устроена проверка?
Специалисты по предметным областям подготовили задания, эталонные результаты и критерии оценки. В среднем на задачу приходится около 71 критерия. Авторы указывают, что в заданиях с отдельным файлом-результатом критерии распределены с весом 75% на фактическую точность и 25% на визуальное оформление. Итоговая оценка учитывает вес отдельных критериев, поэтому проверяется конкретный комплект материалов, а не только правдоподобность текста.
Все сравниваемые модели запускались в одном агентном окружении Stirrup, с одинаковым набором инструментов и бюджетом. Агент мог открывать файлы, выполнять код и искать в интернете. В техническом отчёте описаны ограничения: до 250 ходов и восьми часов на задание. Готовые документы проверял отдельный агент-оценщик: он визуально отображал файлы и мог программно изучать, например, формулы в таблицах.
Авторы сравнили оценки автоматического проверяющего с оценками специалистов на подмножестве из 50 заданий. Совпадение решений по критериям составило 96,2%; исследование также приводит коэффициент каппа Коэна 0,91. Это результат проверки согласованности оценщика с экспертами на данном подмножестве.
Что показало отключение зрения?
Авторы провели контролируемый тест с Gemini 4 Carbon: отключили инструмент просмотра изображений и сравнили результаты на MKA. Показатель Climb-WSR снизился примерно на 5,9 процентного пункта, число ходов увеличилось в 1,28 раза, а объём выходных токенов — в 1,40 раза. Модель чаще прибегала к программным обходным способам, пытаясь восстановить визуальную информацию через обработку файлов.
Эффект зависел от типа входных данных. На чистых чертежах обходные способы частично возвращали качество, тогда как на фотографиях и медицинских изображениях, согласно статье, они не срабатывали. Это объясняет, почему «модель умеет читать PDF» — слишком грубый критерий для рабочего агента: извлечённый текст может потерять геометрию, взаимное положение объектов и визуальные признаки.
Как сравнивались модели?
В исследовании участвовали Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 и GPT-6 Astra. Наибольший результат по показателю Climb-WSR получила Claude Fable 5.2 — 56,6%; у Gemini 4 Carbon результат составил 54,3%. По общей шкале WSR показатели равны соответственно 73,3% и 71,9%. Авторы сообщают, что Carbon использовал в 5,7 раза меньше токенов, чем Fable; в техническом отчёте также указана в 6,3 раза меньшая стоимость API для Carbon при качестве результатов в пределах статистического шума. Эти сравнения относятся к конкретным заданиям и условиям MKA.
Авторы определяют Climb-WSR как показатель по сложным критериям, на которых модели предыдущего поколения не достигали потолка. Лучшие системы набрали по этой шкале менее 57%. Это указывает на потенциал для улучшения мультимодальной работы. Числа нельзя напрямую переносить на любую профессию или продуктовую задачу: результат зависит от состава файлов, требований и доступных инструментов.
Что полезно учесть разработчику или закупщику?
MKA предлагает практический шаблон для собственной оценки. Вместо одного вопроса «какая модель лучше работает с PDF?» можно собрать реальные задания: входные файлы, требуемый итоговый документ и критерии проверки. Включите случаи, где важны расположение элементов на схеме, согласование таблицы с текстом и корректность создаваемого файла. Затем сравнивайте системы в одинаковом окружении.
Для такого теста полезно сохранять две отдельные оценки: правильность содержимого и качество артефакта. Таблица может содержать верные цифры, но неверные формулы; отчёт — аккуратный дизайн, но пропущенную связь между чертежом и спецификацией. Критерии MKA показывают, как заранее формализовать требования и сделать результат проверяемым, а не полагаться на общее впечатление от ответа.
Полный набор из 200 заданий предназначен для оценки на независимой площадке; для самостоятельного знакомства опубликован отдельный набор из десяти демонстрационных задач. Такое разделение позволяет оставить основной тест закрытым и одновременно дать исследователям материал для изучения формата. Для команды, выбирающей агента, главный вывод практичен: проверяйте не только извлечение текста, но и то, как система использует визуальную информацию при создании конечного рабочего результата.
