Michael JohnsonGerekli bilgiler bir çizime, tabloya ve PDF'ye dağılmışsa bir yapay zekâ ajanı mühendislik raporu hazırlayabilir mi? Yeni MKA kıyaslaması tam da bu soruyu test ediyor: tek bir görsele verilen yanıtı değil, görsel açıdan karmaşık dosyaları okumaktan bağımsız bir belge oluşturmaya kadar uzanan eksiksiz bir iş akışını değerlendiriyor. Sunumlar, şemalar, haritalar veya taranmış belgelerle çalışacak bir ajan seçenler için bu ayrım önemli.
Google DeepMind, MKA'yı tanıttı 10 Kasım 2026'da; çalışmayı Artificial Analysis ile birlikte yürüttü. Teknik rapor, on sektörden ve 83 meslekten 200 görevi açıklıyor. Sistemleri değerlendirirken öne çıkan sonuç şu: modelin görsel inceleme aracı kaldırıldığında MKA'daki iş kalitesi düşerken ajan adımlarının sayısı arttı. Fotoğraf ve tıbbi görüntü içeren görevlerde yazılımsal dolaylı yöntemler, görsel algı kaybını telafi edemedi.
MKA hangi boşluğu dolduruyor?
İş görevlerine yönelik pek çok testte modelin dosyalardan metni bir betikle çıkarıp görevi neredeyse hiç görsel inceleme yapmadan çözebileceği varsayılıyor. Öte yandan ayrı görsel testleri çoğu zaman kısa bir yanıtla sona eriyor; birden fazla kaynağı birleştirmeyi ya da sonucu kullanıma hazır bir dosya olarak sunmayı gerektirmiyor. MKA ise bir dizi eyleme odaklanıyor: birkaç dosyada gerekli öğeleri bulmak, bunları birleştirmek, görev kurallarını uygulamak ve sonucu istenen biçimde teslim etmek.
Her görevde iki ila 45 girdi dosyası bulunuyor. Bunlar bina planları, elektrik şemaları, radyoloji görüntüleri, haritalar, diyagramlar, tablolar ve metin belgeleri olabiliyor. Görevlerin %88'inde ajanın ayrıca bir dosya hazırlaması veya düzenlemesi gerekiyor; örneğin PDF raporu, sunum, elektronik tablo ya da web uygulaması. Yazarlara göre içeriği düz metne dönüştürmek; ölçek, mekânsal yerleşim, çizgiler ve öğeler arasındaki bağlantılar gibi önemli bilgileri yok edebilir.
Değerlendirme nasıl yapılıyor?
Alan uzmanları görevleri, referans sonuçları ve değerlendirme ölçütlerini hazırladı. Her görevde ortalama 71 ölçüt bulunuyor. Yazarlar, ayrı bir çıktı dosyası gerektiren görevlerde ölçüt ağırlıklarının olgusal doğruluk için %75, görsel sunum için %25 olduğunu belirtiyor. Nihai puan, ölçütlerin ağırlıklarını hesaba katıyor; dolayısıyla yalnızca metnin inandırıcılığı değil, belirli bir malzeme kümesi değerlendiriliyor.
Karşılaştırılan tüm modeller, aynı araç seti ve bütçeyle Stirrup adlı aynı ajan ortamında çalıştırıldı. Ajan dosyaları açabiliyor, kod çalıştırabiliyor ve internette arama yapabiliyordu. Teknik raporda görev başına 250 adıma ve sekiz saate kadar sınırlar belirtiliyor. Tamamlanan belgeleri ayrı bir değerlendirici ajan inceliyordu: dosyaları görsel olarak oluşturup görüntüleyebiliyor ve örneğin tabloların formüllerini program aracılığıyla inceleyebiliyordu.
Yazarlar, otomatik değerlendiricinin puanlarını 50 görevlik bir alt kümede uzmanların puanlarıyla karşılaştırdı. Ölçütlere ilişkin kararlar %96,2 oranında örtüştü; araştırmada ayrıca 0,91 Cohen kappa katsayısı bildiriliyor. Bu sonuç, söz konusu alt kümede değerlendiricinin uzmanlarla ne ölçüde tutarlı olduğunu gösteriyor.
Görsel algı kapatılınca ne oldu?
Yazarlar, Gemini 4 Carbon ile kontrollü bir test yaptı: görsel inceleme aracını kaldırıp MKA'daki performansı karşılaştırdılar. Climb-WSR puanı yaklaşık 5,9 yüzde puan düştü, adım sayısı 1,28 katına ve çıktı belirteçlerinin sayısı 1,40 katına çıktı. Model, dosyaları işleyerek görsel bilgileri yeniden elde etmeye çalışırken yazılımsal dolaylı yöntemlere daha sık başvurdu.
Etki, girdi türüne göre değişiyordu. Makaleye göre, temiz çizimlerde dolaylı yöntemler kaliteyi kısmen geri kazandırırken fotoğraf ve tıbbi görüntülerde başarısız oldu. Bu durum, “model PDF okuyabiliyor” ölçütünün iş amaçlı bir ajan için neden fazla kaba olduğunu açıklıyor: çıkarılan metin; geometriyi, nesnelerin birbirine göre konumunu ve görsel ipuçlarını kaybettirebilir.
Modeller nasıl karşılaştırıldı?
Araştırmada Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 ve GPT-6 Astra yer aldı. Climb-WSR kalite puanında en yüksek sonucu %56,6 ile Claude Fable 5.2 aldı; Gemini 4 Carbon'un sonucu %54,3 oldu. Genel WSR ölçeğinde puanlar sırasıyla %73,3 ve %71,9. Yazarlar, Carbon'un Fable'dan 5,7 kat daha az belirteç kullandığını bildiriyor; teknik raporda ayrıca Carbon'un API maliyetinin 6,3 kat daha düşük olduğu ve sonuç kalitesinin istatistiksel gürültü sınırları içinde kaldığı belirtiliyor. Bu karşılaştırmalar, MKA'nın belirli görevleri ve koşulları için geçerli.
Yazarlar Climb-WSR'ı, önceki nesil modellerin tavana ulaşmadığı zor ölçütlere dayalı bir puan olarak tanımlıyor. En iyi sistemler bu ölçekte %57'nin altında kaldı. Bu da çok modlu, gerçek iş süreçlerine dönük performansta gelişme payı bulunduğunu gösteriyor. Sonuçlar her mesleğe veya ürün görevine doğrudan genellenemez; performans dosya bileşimine, gereksinimlere ve kullanılabilen araçlara bağlı.
Geliştiriciler ve satın alma ekipleri ne çıkarabilir?
MKA, kurum içinde yapılacak bir değerlendirme için uygulanabilir bir şablon sunuyor. “PDF'lerle en iyi hangi model çalışıyor?” diye sormak yerine gerçek görevler oluşturabilirsiniz: girdi dosyaları, istenen nihai belge ve denetlenebilir ölçütler. Şemadaki öğelerin konumunun, tablodaki bilgilerin metinle tutarlılığının ve oluşturulan dosyanın doğruluğunun önemli olduğu örnekleri dahil edin. Ardından sistemleri aynı ortamda karşılaştırın.
Böyle bir testte içerik doğruluğu ile çıktı dosyasının kalitesi için iki ayrı puan tutmak yararlı olur. Bir tablo doğru rakamları içerse de formülleri yanlış olabilir; bir raporun tasarımı düzenli görünse de çizim ile teknik şartname arasındaki bağlantı eksik kalabilir. MKA'nın değerlendirme ölçütleri, gereksinimleri önceden resmileştirmeye ve sonucu genel izlenime bırakmak yerine denetlenebilir kılmaya yönelik bir yöntem gösteriyor.
200 görevlik tam set bağımsız bir değerlendirme platformunda kullanılmak üzere tasarlanmış; formatı tanımak için ayrıca on gösterim görevi yayımlanmış. Bu ayrım, temel testi kapalı tutarken araştırmacılara formatı inceleme olanağı sağlıyor. Ajan seçen ekipler için temel çıkarım pratik: yalnızca metin çıkarma becerisini değil, sistemin nihai iş çıktısını oluştururken görsel bilgiyi nasıl kullandığını da test edin.
