Michael Johnson如果所需信息分散在图纸、表格和 PDF 中，AI 智能体能否据此撰写工程报告？这正是全新基准测试 MKA 要检验的问题：它评估的不是对单张图片作答，而是从读取视觉内容复杂的文件到创建独立文档的完整工作流程。对于需要处理演示文稿、示意图、地图或扫描件的智能体，这一区别很有参考价值。
Google DeepMind 于 2026 年 11 月 10 日发布了 MKA，合作方为 Artificial Analysis。技术报告介绍了来自十个行业、涵盖 83 种职业的 200 项任务。对评估系统而言，关键发现是：移除模型的图像查看工具后，它在 MKA 上的工作质量下降，而智能体采取的步骤数则增加。在涉及照片和医学图像的任务中，软件层面的变通方法无法弥补视觉能力的缺失。
MKA 填补了什么空白？
许多工作任务测试允许模型用脚本从文件中提取文本，并几乎不经视觉分析就解决问题。另一方面，单独的图像测试往往止于简短回答，无须整合多个来源，也不要求把结果整理成工作文件。MKA 则围绕一系列连贯操作设计任务：在多个文件中查找信息、整合内容、应用任务规则，并按要求的格式提交结果。
每项任务包含 2 至 45 个输入文件，类型可能包括建筑平面图、电路图、放射影像、地图、图表、表格和文本文件。在 88% 的任务中，智能体需要创建或修改一个独立文件，例如 PDF 报告、演示文稿、电子表格或 Web 应用。据作者介绍，把材料转换成纯文本可能会丢失重要信息，例如比例、空间布局、线条以及元素之间的关系。
测试如何进行？
各领域专家设计了任务、参考答案和评分标准。每项任务平均约有 71 条评估标准。作者指出，对于要求生成独立文件的任务，评估标准按事实准确性 75%、视觉呈现 25% 的权重分配。最终得分会考虑各项标准的权重，因此测试评估的是具体的一套材料，而不只是文本是否听起来合理。
所有参测模型都在同一个智能体环境 Stirrup 中运行，使用相同的工具集和预算。智能体可以打开文件、运行代码并搜索互联网。技术报告说明，每项任务最多允许 250 个步骤、耗时 8 小时。生成的文档由独立的评估智能体检查：它会将文件渲染成视觉内容，也可以通过程序检查电子表格公式等信息。
作者在 50 项任务的子集上，将自动评估器的评分与领域专家的评分进行了比较。两者在各项标准上的判断一致率为 96.2%；研究还报告了 0.91 的科恩 κ 系数。这一结果反映的是评估器在该子集上与专家评分的一致程度。
关闭视觉能力后会怎样？
作者对 Gemini 4 Carbon 开展了受控测试：移除图像查看工具，并比较它在 MKA 中的表现。Climb-WSR 指标下降约 5.9 个百分点，步骤数增加到原来的 1.28 倍，输出 token 数则增加到原来的 1.40 倍。模型更频繁地采用软件层面的变通方法，试图通过处理文件来还原视觉信息。
影响因输入类型而异。在清晰的图纸任务中，变通方法能部分恢复表现；而根据论文，在照片和医学图像任务中，这些方法则无法奏效。这说明，对于工作型智能体而言，“模型会读 PDF”是一个过于粗略的判断标准：提取出的文本可能丢失几何形状、物体的相对位置和视觉特征。
模型如何比较？
研究测试了 Gemini 4 Carbon、Claude Fable 5.2、Claude Opus 5.5 和 GPT-6 Astra。Claude Fable 5.2 的 Climb-WSR 质量指标最高，为 56.6%；Gemini 4 Carbon 为 54.3%。两者的总体 WSR 得分分别为 73.3% 和 71.9%。作者报告称，Carbon 使用的 token 数量是 Fable 的 1/5.7；技术报告还指出，在结果质量处于统计噪声范围内的情况下，Carbon 的 API 成本是 Fable 的 1/6.3。这些比较仅适用于 MKA 的具体任务与测试条件。
作者将 Climb-WSR 定义为针对高难度标准的指标；在这些标准上，上一代模型尚未达到上限。最强系统在该指标上的得分也不到 57%。这表明多模态工作任务仍有提升空间。不过，这些数字不能直接推广到所有职业或产品任务：结果取决于文件组成、具体要求和可用工具。
开发者或采购人员可以从中得到什么启示？
MKA 为团队自行开展评估提供了一个实用模板。与其只问“哪个模型处理 PDF 更好？”，不如收集真实任务：输入文件、所需的最终文档以及可验证的评估标准。测试应涵盖需要关注示意图中元素位置、核对表格与文本内容，以及确保生成文件准确无误的案例。然后，在相同环境下比较不同系统。
这类测试适合分别记录两项评分：内容正确性和成果文件质量。表格中的数字可能正确，但公式有误；报告可能设计精美，却遗漏了图纸与规格表之间的关联。MKA 的评分标准展示了如何提前明确要求，并让成果可供核查，而不是依赖对回答的笼统印象。
完整的 200 项任务集用于在独立评测平台上进行评估；研究人员还可以使用另行发布的 10 项演示任务集了解测试格式。这样的安排既能保留主测试集的封闭性，也能为研究者提供学习测试形式的材料。对于正在挑选智能体的团队，核心启示很实际：不仅要检查文本提取能力，还要评估系统在生成最终工作成果时如何运用视觉信息。
