Michael JohnsonAjan tabanlı bir sistemde işlemci, modelin çevresindeki işleri yürütür: durumu ve kuyrukları yönetir, araçları çağırır, verileri işler ve çalışma ortamlarını başlatır. 13 Ekim’de Arm, Fujitsu, Meta ve OpenAI’nin desteğiyle bu iş yükleri için CPU değerlendirme yöntemini tanıttı. Şirket, bununla birlikte Arm AGI CPU ile AMD EPYC işlemcilerini karşılaştıran sonuçları da yayımladı.
Altyapı işletmecileri için önemli olan yalnızca tek bir çipin performansı değil, sunucu rafının belirli güç ve alan sınırları içinde ne kadar iş yapabildiğidir. Signal65’in analizinde AGI CPU, yedi iş yükünde AMD EPYC 9755’e kıyasla raf başına modellenen performansta ortalama 1,99 kat sonuç gösterdi. Bu değer, bütün bir rafın modeline ve seçilen testlere dayanıyor.
Arm neyin ölçülmesini öneriyor?
Yöntem, ajan sistemindeki işleri çerçeve katmanının işlevlerine (örneğin durum yönetimi, yönlendirme, zamanlama ve telemetri) ve derleme, kod çalıştırma, arama ve veritabanı işlemleri gibi araç görevlerine ayırıyor. Arm’ın yöntem belgesinde birbirini tamamlayan iki yaklaşım öneriliyor: CPU’ları tekrarlanabilir biçimde karşılaştıran bileşen ölçümleri ve görevin tamamlanma sonucunu değerlendiren uçtan uca testler.
Bu ayrım, gecikmenin CPU’dan mı, modelden mi, ağdan mı yoksa uygulamadan mı kaynaklandığını belirlemeye yardımcı oluyor. Bileşen testleri tek tek işlemleri yalıtabilir; uçtan uca testler ise tüm görevin süresini ve iş hacmini gösterebilir. Arm, belgeyi ölçüm sınırlarını ve iş yükü kategorilerini tanımlamak, ayrıca sektörün ortak bir yaklaşım üzerinde uzlaşması gereken alanları belirlemek için bir temel olarak sunuyor.
Karşılaştırma sonuçları nasıl elde edildi?
Signal65’in analizi, ajan çalıştırma, araçlar, arama ve model sunumunu destekleme dâhil yedi CPU iş yükünü kapsıyor. Signal65, EPYC 9755’e kıyasla raf başına modellenen performans için ortalama 1,99× oranı bildiriyor; yedi iş yükündeki ayrı sonuçlar 1,43× ile 3,19× arasında değişiyor. Raf hesabında sunucuların ölçülen performansı ve sistemlerin nominal güç tüketimi kullanılıyor: modele göre 24 kW’lık bir rafa 21–23 Arm sunucusu, buna karşılık 13 AMD sunucusu yerleştirilebiliyor.
Üç ajan görevi grubunda Signal65, raf başına ortalama oranları araç kullanımı için 1,7×, ajan süreçleri ve orkestrasyon için 2,0×, akıl yürütme ve planlama için 2,2× olarak bildiriyor. Yalıtılmış ortam oluşturma testinde ise AGI CPU bu kez AMD EPYC 9965 ile karşılaştırıldı. Signal65, soğuk başlatma süresinde %45, sıcak başlatma süresinde %27 ve açıklanan dört kat aşırı abonelik senaryosunda %41 azalma bildiriyor. Bu, farklı bir işlemciyle yapılan ayrı bir karşılaştırma ve farklı ölçütler kullanıyor.
Sunucu seçerken nelere dikkat edilmeli?
Model bir hızlandırıcıda çalışsa bile CPU, ajan döngüsünün önemli bir bölümünü üstlenir: kodu ve araçları çalıştırır, verileri işler ve paralel görevleri koordine eder. Aynı anda çok sayıda iş yürütüldüğünde bu işlemler tamamlanma süresini ve hızlandırıcıların kullanımını etkileyebilir.
Sunucu seçen ekipler kendi iş akışlarını profillemeli: hangi araçların çağrıldığını, çalışma ortamlarının ne sıklıkla oluşturulduğunu, kaç görevin eşzamanlı yürütüldüğünü ve hangi gecikmelerin kabul edilebilir olduğunu belirlemeli. Ardından tekrarlanabilir CPU işlemlerini ve tam senaryoyu, benzer güç sınırları altında ayrı ayrı ölçebilirler. Böyle bir sonuç, başka bir testten alınan oranı doğrudan uygulamaktan çok, kendi altyapılarını yansıtır.
Signal65, sonuçların AGI CPU’nun erken dönem sistemlerinde elde edildiğini ve sunucu ölçümleri ile nominal güce dayanarak raf için modellendiğini belirtiyor; şirket seri üretim donanımında ve daha geniş bir iş yükü kümesiyle ek testler yapmayı planlıyor. Bu nedenle Arm’ın duyurusu, öncelikle ajan sistemlerinin CPU bölümünü tekrarlanabilir bileşenler ile tamamlanmış görevleri birlikte değerlendirerek ölçme önerisi olarak önem taşıyor. 1,99× değeri, açıklanan modelleme için bir referans sunuyor; her rafın performansına ilişkin evrensel bir değerlendirme değil.