Michael JohnsonBir COBOL programını modern bir dile taşırken sözdizimini koruyup para hesaplama kurallarını değiştirmek mümkündür. OpenAI, tam da bu soruna 19 Ekim tarihli yazısını ayırdı: Şirket, COBOL, Fortran ve eğitim materyali daha az bulunan diğer dillerde programlama testlerinde modellerinin sonuçlarını paylaştı ve MultiLangBench’i yayımladı.
Eski kurumsal sistemleri destekleyen ekipler için haberin yararlı yanı yalnızca açıklanan yüzdeler değil, iki farklı değerlendirme türü sunması. Biri farklı dillerde sıfırdan program oluşturmayı ölçüyor; diğeri COBOL kodu taşındığında gözlemlenebilir davranışın korunup korunmadığını sınayıp değerlendiriyor. Bu görevler farklı testler gerektiriyor ve uygulama riskleriyle farklı şekillerde ilişkili.
İki test, iki mühendislik görevi
MultiLangBench’te modelin, sorguları kabul edip veritabanı dosyasını değiştiren, SQLite ile uyumlu bir motor oluşturması gerekiyor. OpenAI, 20 dilde geçilen testlerin ortalama oranını bildiriyor: GPT‑6 Astra, akıl yürütme düzeyi en yükseğe ayarlandığında %87,4; GPT‑5.6 Sol ise %26,8 puan aldı. Her uygulamanın sonucu, veritabanının beklenen içeriğine göre doğrulanıyor; çalışma süresi ve API maliyeti de değerlendiriliyor.
Şirket, test altyapısı da dâhil olmak üzere MultiLangBench’i GitHub’da yayımladı. Açık depoda SQLite TCL Tests kümesinden türetilen testler ve sonuçların nasıl doğrulandığı açıklanıyor. Böylece geliştiriciler değerlendirmeye hangi işlemlerin dâhil olduğunu inceleyip kendi model yapılandırmalarıyla testi yeniden çalıştırabilir.
COBOL taşıma testi farklı bir yeteneği ölçüyor: mevcut bir programı C++, Java, Kotlin, Python veya Rust dilinde yeniden yazıp gizli testlerdeki davranışını korumak. OpenAI, aynı düşük akıl yürütme düzeyinde GPT‑6.1 Sol için %86,6; GPT‑5.6 Sol içinse %5,4 doğruluk bildiriyor. Daha yüksek akıl yürütme düzeyinde GPT‑6.1 Sol’un bu değerlendirmedeki puanı %97,9’a ulaşıyor.
Taşıma işlemi neden iş kurallarının doğrulanmasını gerektiriyor?
OpenAI, açıklamasında uyumluluğun kaynak dilin semantiğine bağlı olduğunu vurguluyor. Örneğin COBOL’daki sabit noktalı aritmetik, yuvarlama açıkça belirtilmemişse fazladan ondalık basamakları atar. Yeni uygulama bunları farklı biçimde yuvarlarsa program çalışabilir, ancak farklı finansal sonuçlar üretebilir.
Bu nedenle taşıma testinin ölçütü, denetlenen örneklerde çıktıların eşleşmesidir. Ekibin pratik ölçütleri ise kendi hesaplama kurallarını, veri biçimini ve sistem bağımlılıklarını da kapsamalıdır. İyi bir ilk adım, girdi ve çıktısı belirgin bir modül seçmek, gerçek uç durumlar için referans sonuçları sabitlemek ve özgün sürümle yeniden yazılan sürümü paralel çalıştırmaktır.
Sonuçlar ekiplere ne söylüyor?
OpenAI’nin açıkladığı rakamlar, yayımlanan veri kümeleri ve akıl yürütme ayarları için geçerlidir. MultiLangBench, SQLite uyumlu bir uygulama oluşturmayı; COBOL kümesi ise taşıma sırasında davranışın korunmasını değerlendiriyor. Bu puanlar söz konusu testlere ilişkin bilgi veriyor. Ekipler için model seçimine bir başlangıç noktası ve kendi tekrarlanabilir karşılaştırmalarını yapabilecekleri bir temel sunuyor; herhangi bir üretim sistemiyle uyumluluğa dair hazır bir değerlendirme sağlamıyor.
Pratik sonuç basit: Modelleri kendi kodunuz ve kontrol senaryolarınızla test edin; maliyeti başarı oranıyla birlikte değerlendirin. COBOL’u modernleştirirken yuvarlama, atlanan kayıtlar ve eski programın davranışında yer etmiş diğer kurallar özellikle önemlidir. Yeni sonuçlar bu tür testleri daha erişilebilir kılıyor; eşdeğerliği doğrulama sorumluluğu ise mühendislik sürecinin bir parçası olmaya devam ediyor.