Michael Johnson必要な情報が図面、表、PDFに散らばっているとき、AIエージェントは技術レポートを作成できるだろうか。新しいベンチマークMKAが評価するのは、まさにこの問いだ。画像について単独で回答する能力ではなく、視覚的に複雑なファイルを読み取るところから、独立した文書を作成するところまで、一連の作業全体を評価する。プレゼンテーション、図、地図、スキャン画像を扱う業務にどのエージェントを選ぶか考える際に、有用な視点だ。
Google DeepMindはMKAを発表し、2026年11月10日にArtificial Analysisと共同で公開した。技術レポートでは、10の分野と83の職種にまたがる200のタスクが説明されている。システム評価における重要な結果として、モデルから画像閲覧ツールを取り上げると、MKAでの作業品質が低下し、エージェントの操作回数が増えた。写真や医用画像を含むタスクでは、プログラムによる迂回手段で視覚能力の喪失を補うことはできなかった。
MKAはどのような課題を解決するのか？
業務能力を測る多くのテストでは、モデルがスクリプトでファイルからテキストを抽出し、視覚分析をほとんどせずにタスクを解けることが前提になっている。一方、画像を扱う個別のテストは短い回答で終わることが多く、複数の情報源を組み合わせたり、成果物を実務用ファイルとして仕上げたりする必要がない。MKAでは、一連の操作が評価の中心となる。複数ファイルから要素を見つけ、情報を統合し、タスクのルールを適用して、指定された形式で成果物を提出する。
各タスクには2～45個の入力ファイルが含まれる。建築図面、電気回路図、放射線画像、地図、グラフ、表、文書などが対象だ。タスクの88%では、PDFレポート、プレゼンテーション、スプレッドシート、ウェブアプリケーションなど、独立したファイルを作成または編集する必要がある。著者らによると、資料を単純なテキストに変換すると、縮尺、空間配置、線、要素間のつながりといった重要な情報が失われる可能性がある。
評価はどのように行われるのか？
各分野の専門家がタスク、模範解答、評価基準を作成した。1タスクあたりの基準は平均約71項目にのぼる。著者らによれば、独立したファイル成果物を求めるタスクでは、評価基準の重みは事実の正確さが75%、視覚的な仕上がりが25%だ。最終スコアでは個々の基準の重みが考慮されるため、文章のもっともらしさだけでなく、具体的な資料一式が評価される。
比較対象の各モデルは、同じツール一式と予算を備えたエージェント環境Stirrupで実行された。エージェントはファイルを開き、コードを実行し、インターネットを検索できた。技術レポートには、タスクごとに最大250操作、8時間という上限が記載されている。完成した文書は別の評価エージェントが確認し、ファイルを視覚的にレンダリングしたうえで、たとえば表計算の数式をプログラムで調べることもできた。
著者らは、50タスクからなるサブセットについて、自動評価者の採点を専門家の採点と比較した。基準ごとの判定の一致率は96.2%で、研究ではコーエンのカッパ係数0.91も報告されている。これは、このサブセットにおける評価者と専門家の一致度を確認した結果だ。
視覚機能を無効にすると何が起きたのか？
著者らはGemini 4 Carbonを使い、画像閲覧ツールを取り除いてMKAでの動作を比較する統制実験を行った。Climb-WSRスコアは約5.9ポイント低下し、操作回数は1.28倍、出力トークン数は1.40倍に増加した。モデルはファイル処理を通じて視覚情報を復元しようとし、プログラムによる迂回手段をより頻繁に利用した。
影響は入力の種類によって異なった。明瞭な図面では迂回手段によって品質を部分的に取り戻せた一方、論文によると、写真や医用画像ではうまくいかなかった。だからこそ、「モデルがPDFを読める」という基準は、実務用エージェントの評価としては大まかすぎる。抽出したテキストでは、幾何形状、物体の相対位置、視覚的な特徴が失われることがある。
モデルはどのように比較されたのか？
研究では、Gemini 4 Carbon、Claude Fable 5.2、Claude Opus 5.5、GPT-6 Astraが比較された。Climb-WSRで最も高い品質スコアを得たのはClaude Fable 5.2で、56.6%だった。Gemini 4 Carbonは54.3%だった。総合指標WSRでは、それぞれ73.3%と71.9%となった。著者らの報告では、Carbonの使用トークン数はFableの5.7分の1だった。また、技術レポートには、結果の品質が統計的誤差の範囲内である一方、CarbonのAPIコストは6.3分の1だったと記されている。これらの比較は、MKAの特定のタスクと条件に限られる。
著者らはClimb-WSRを、前世代のモデルが満点に達しなかった難しい評価基準に基づく指標と定義している。最上位のシステムでも、このスコアは57%未満だった。これは、マルチモーダルな実務タスクの能力には改善の余地があることを示している。数値をあらゆる職種や製品のタスクにそのまま当てはめることはできない。結果は、ファイルの構成、要件、利用可能なツールによって変わる。
開発者や導入担当者が押さえておきたいこと
MKAは、自社評価を設計するうえで実用的なひな型となる。「どのモデルがPDFをうまく扱えるか」という単一の問いにする代わりに、入力ファイル、必要な最終文書、検証可能な基準をそろえた実際のタスクを作成できる。図面上の要素の配置、表と文章の整合性、生成ファイルの正確さが重要となるケースを含めよう。そのうえで、同じ環境を使ってシステムを比較する。
こうしたテストでは、内容の正確さと成果物の品質を別々に評価するとよい。表に正しい数値が入っていても数式が誤っている場合があり、レポートの見た目が整っていても図面と仕様書のつながりが抜け落ちていることがある。MKAの評価基準は、要件をあらかじめ形式化し、回答への漠然とした印象に頼らず、結果を検証可能にする方法を示している。
200タスクからなる完全版は独立した評価のために用意されている。形式を知るための10個のデモタスクは別途公開されている。このように分けることで、主要テストを非公開に保ちながら、研究者には形式を調べる資料を提供できる。エージェントを選ぶチームにとって、実践的な教訓は明快だ。テキスト抽出だけでなく、視覚情報を使って最終的な実務成果物をどのように作成するかも確認しよう。
