Michael JohnsonCOBOL sistemlerinde davranışın her ayrıntısı önemlidir: Bir program hata vermeden tamamlanabilir, ancak bir tutarı farklı yuvarlayabilir ya da eksik bir kaydı farklı işleyebilir. 19 Ekim 2026’da OpenAI, eğitim verilerinde daha az temsil edilen dillerde programlamaya ilişkin iki değerlendirmenin sonuçlarını yayımladı: 20 dili kapsayan açık MultiLangBench ve ayrı bir COBOL taşıma testi.
Duyurunun pratik değeri, test paketini inceleme ve açıklanan ölçütleri somut bir görevle karşılaştırma olanağı sunmasında yatıyor: verilerde az temsil edilen dillerde program oluşturmak ve eski kod taşınırken davranışını korumak.
İki değerlendirme, iki farklı görev
MultiLangBench, bir modelin sıfırdan SQLite ile uyumlu bir veritabanı motoru oluşturup oluşturamayacağını, verilen dilde ölçüyor. Görev; kodu düzenlemeyi, durumu yönetmeyi, hataları işlemeyi ve önceki davranışı koruyarak özellik eklemeyi gerektiriyor. Sonuç, geçilen testlerin oranına göre değerlendiriliyor; OpenAI ayrıca API çağrılarının maliyetini de bildiriyor.
Dilleri karşılaştırmak için testler, veritabanı dosyası üzerinden ortak bir doğrulama kullanıyor: Uygulamaya kaynak veritabanı ve bir SQL sorgusu veriliyor, ardından değiştirilen veritabanının beklenen sonucu karşılayıp karşılamadığı kontrol ediliyor. OpenAI, yayımlanan pakette SQLite testlerini uyarladığını ve 20 dilde değerlendirme yaptığını bildirdi. Geliştiriciler, kodu ve sonuçları MultiLangBench deposunda inceleyebilir.
Ayrı değerlendirme, mevcut COBOL programlarının C++, Java, Kotlin, Python veya Rust’a taşınmasına odaklanıyor. Burada başarı, gözlemlenebilir davranışın tam olarak korunmasına bağlı: OpenAI, çıktıların bayt düzeyinde eşleşmesini gerektiren gizli testler kullandı. Şirket, yuvarlama kuralları ve eksik kayıtların işlenmesi gibi ayrıntıların önemini ayrıca vurguluyor.
Yayımlanan rakamlar ne anlama geliyor?
OpenAI’nin verilerine göre GPT‑6 Astra, en yüksek akıl yürütme düzeyinde MultiLangBench’te 20 dil genelinde ortalama %87,4 test geçme oranına ulaştı; GPT‑5.6 Sol için bildirilen oran %26,8. COBOL taşıma testinde GPT‑6.1 Sol, düşük akıl yürütme düzeyinde %86,6 doğruluk gösterirken aynı ayardaki GPT‑5.6 Sol %5,4’e ulaştı. Daha yüksek akıl yürütme düzeyinde GPT‑6.1 Sol’un sonucu %97,9 oldu.
Bu ölçütler, açıklanan iki test senaryosuna aittir. MultiLangBench, kapsamı sınırlı ve SQLite ile uyumlu bir motor oluşturmayı değerlendirirken COBOL testi, gizli testlerle denetlenen programlar kümesinde çıktının korunmasını ölçüyor. Bu nedenle rakamlar, herhangi bir kurumsal kod tabanını doğrudan değerlendirmekten ziyade kendi testinizde denenecek adayları seçmeye yardımcı olur. OpenAI, yöntem ve sonuçları 19 Ekim tarihli araştırma açıklamasında paylaştı.
Testi modernizasyon projesinde nasıl kullanabilirsiniz?
Eski bir sistemi taşımayı değerlendiren ekip için yararlı bir sonraki adım, kritik iş kurallarını doğrulanabilir davranışlara dönüştürmektir. Sınır değerlerdeki tutarlar, yuvarlama, boş veya eksik kayıtlar ve hatalar dâhil olmak üzere temsili girdiler ve beklenen çıktılar oluşturun. Kaynak programın sonuçlarını kaydedin, ardından adayları aynı test kümesinde çalıştırın.
Yalnızca başarılı kontrollerin oranını karşılaştırmayın. Çağrı maliyetlerini, gereken manuel düzeltme sayısını ve farklılık türlerini kaydedin; dış sistemlerle arayüzleri ve test parçasının kapsamayabileceği bağımlılıkları ayrıca inceleyin. Bu süreç, modelin bir modülü araştırıp yeniden yazmaya nerede yardımcı olduğunu, kritik mantığın ise nerede manuel denetim ve özel testler altında tutulması gerektiğini gösterir.
19 Ekim tarihli duyuru, erişilebilir örneklerin daha az olduğu dillerde kod modellerini değerlendirmek için yeniden üretilebilir bir başlangıç noktası sundu. Pratik karar açısından en önemli adım, açık testi sisteminizin kendi kurallarıyla karşılaştırmaktır: Taşımanın uygunluğunu belirleyen, hedef dilin sözdizimine aşinalık değil, davranışın eşleşmesidir.