Michael Johnson5 Kasım itibarıyla GitHub Copilot Code Review kullanan ekipler, API raporlarında geliştiricilerin hangi yorumlar üzerine adım attığını görebiliyor. Aynı gün GitHub, yöneticilerin telemetri eksiklerini ve eski editör sürümlerini bulmasına yardımcı olan alanlar ekledi. Bu güncellemeler, yöneticilere ve kuruluş sahiplerine yapay zekâ incelemesinin nasıl çalıştığını ve Copilot kullanım verilerinin ne kadar eksiksiz olduğunu değerlendirmek için daha somut bir yol sunuyor.
Yapay zekâ yorumlarına verilen yanıtlar nasıl ölçülür?
Depo başına günlük rapor satırı olan repos-1-day içine copilot_code_review nesnesi eklendi. Bu nesnenin alanları arasında incelenen yorumların sayısını gösteren total_comments_evaluated ve geliştiricinin yanıt verdiği yorumların sayısını gösteren total_comments_addressed bulunuyor. Bir depodaki ele alınan yorumların oranını hesaplamak için ikinci değeri ilkine bölmek gerekiyor. Yeni alanlar, Copilot kullanım metrikleri API’si güncellemesinde açıklanıyor.
GitHub; geliştirici önerilen düzeltmeyi uyguladığında, Copilot’tan bunu yapmasını istediğinde, kodu kendisi düzenlediğinde veya düzeltmenin bir sonraki pull request’e ekleneceğini yanıtladığında eylem kaydediyor. Rapor, yorumları önem derecesine, inceleme düzeyine, yorum türüne ve ek talimatların ya da araçların varlığına göre ayrı ayrı gösteriyor. Böylece ekipler, örneğin güvenlik yorumlarına verilen yanıtların diğer yorumlardan farklı olup olmadığını veya hangi kategorilerin daha fazla manuel çalışma gerektirdiğini inceleyebiliyor.
Metrik, düzeltmenin kalitesinin doğrulandığını değil, kayda geçmiş bir eylemi gösteriyor. Bu nedenle metrik, kod incelemesi ve pull request’in durumuyla birlikte değerlendirilmelidir: Ele alınan yorumların oranının yüksek olması yorumlara yanıt verildiğini gösterir; tek başına tüm değişikliklerin doğru ya da gerekli olduğunu göstermez. Bir başka önemli nokta da yorumların Copilot tarafından yayımlandıkları gün değil, pull request’in birleştirildiği gün hesaba katılmasıdır.
Eylem metriği, önerilerin kabul edilmesinden neden farklı?
Önceki alanlar Copilot Code Review çalıştırmalarını ve kullanıcının hazır bir öneriyi uygulama düğmesine bastığı durumları sayıyordu. Yeni metrik, daha fazla yanıt biçimini kapsıyor: Geliştirici düzeltmeyi kendi başına yapabilir, Copilot’tan yapmasını isteyebilir veya değişikliği bir sonraki pull request’e erteleyebilir. Bu nedenle total_comments_addressed, yorumlara yönelik eylemleri gösterirken total_copilot_applied_suggestions yalnızca tek bir işlemle uygulanabilen önerilerin kabul edilmesini sayıyor.
Raporda ayrıca, Copilot tarafından incelenmiş ve ilk incelemenin ardından hiçbir insanın değişiklik talep etmediği, birleştirilmiş pull request’lerin sayısını gösteren total_merged_no_human_change_request_after_review alanı da yer alıyor. Bu metrikler iş akışının farklı aşamalarını anlatıyor ve birlikte daha anlamlı: İlki yorumlara verilen yanıtı, ikincisi ise birleştirmeye kadar incelemenin nasıl ilerlediğini gösteriyor.
Yeni alanlar raporların neden eksik olduğunu gösteriyor
5 Kasım’daki ayrı bir güncelleme, istemci telemetrisi ve araç sürümleri hakkında bilgi ekliyor. client_telemetry_present alanı, belirli bir günde kullanıcının editöründen olay verisi gelip gelmediğini gösteriyor; usage_metrics_requirements ise IDE ve eklentilerin metrikler için gereken asgari sürümleri karşılayıp karşılamadığını belirtiyor. Yöneticiler ayrıca telemetrisi olmayan kullanıcıların ve en az bir eski bileşen kullanan kullanıcıların günlük sayılarını görebiliyor. Ayrıntılar, Copilot verilerindeki eksiklerle ilgili notta listeleniyor.
Bu sayede kullanıcı etkinliğini raporlama verilerinin eksiksizliğinden ayırmak mümkün oluyor. GitHub’ın açıklamasına göre, editör olayları gelmese bile bir kullanıcı etkin olarak sayılabilir; bu durumda rapor, özelliklere ve modellere göre kullanım dağılımı gibi ayrıntıları kaybeder. Buna IDE veya eklentinin eski sürümü, editör telemetrisinin kapalı olması ya da olayları engelleyen bir proxy veya ağ güvenlik duvarı neden olabilir.
Eksik verilerle ilgili iki sayaç, benzersiz kullanıcı sayısı olarak toplanmamalıdır: Aynı kişi her iki grupta da yer alabilir. Ayrıca güncel bir editör sürümü, telemetrinin mutlaka iletileceği anlamına gelmez; örneğin ağ kısıtlamaları devam ediyor olabilir. Bir değer yoksa veya null ise GitHub bunu sıfır ya da sorun olmadığı şeklinde değil, verinin mevcut olmadığı şeklinde gösterir.
Bu değişiklikler ekipler için ne anlama geliyor?
Bu yenilikler, genel Copilot etkinliği ölçümünün yerine daha uygulamaya dönük iki kontrol getiriyor: Code Review yorumlarına ne olduğu ve kurum içi raporların dayandığı verilerin ne kadar güvenilir olduğu. Mühendislik ekiplerinin yöneticileri farklı yorum türlerini ve depoları karşılaştırabilir; yöneticiler ise IDE’lerini veya eklentilerini güncellemesi ya da ağ ayarlarını kontrol etmesi gereken kullanıcıları belirleyebilir.
Raporlara, Copilot metriklerini görüntüleme izni olan kullanıcılar kuruluş ve kurumsal hesap düzeyinde erişebilir; Copilot kullanım metrikleri politikası etkin olmalıdır. Code Review verileri repos-1-day satırlarında, telemetri ve sürüm alanları ise bir ve 28 günlük kullanıcı raporlarında bulunur. Bu nedenle güncelleme özellikle Copilot’u merkezi olarak yöneten kuruluşlar için yararlı: Artık yalnızca asistan kullanımını değil, inceleme yorumlarına verilen yanıtları ve ölçümlerin neden eksik olduğunu da araştırabiliyorlar.
