GitHub přidala metriku: kolik připomínek Copilot Code Review vývojáři řeší

Od 5. listopadu mohou týmy používající GitHub Copilot Code Review v přehledech API sledovat, na které připomínky vývojáři reagovali. Ve stejný den GitHub přidala pole, která administrátorům pomáhají najít mezery v telemetrii a zastaralé verze editorů. Tyto aktualizace dávají vedoucím a vlastníkům organizací konkrétnější způsob, jak ověřovat fungování AI revize a úplnost údajů o používání Copilotu.

Jak měřit reakce na připomínky AI

Do denního řádku přehledu pro repozitář `repos-1-day` přibyl objekt `copilot_code_review`. Mezi jeho poli jsou `total_comments_evaluated`, tedy počet vyhodnocených připomínek, a `total_comments_addressed`, tedy počet připomínek, na které vývojář reagoval. Podíl vyřízených připomínek v repozitáři vypočítáte vydělením druhé hodnoty první. Nová pole popisuje aktualizace API metrik používání Copilotu.

GitHub započítá reakci, pokud vývojář použije navrženou opravu, požádá Copilot o její provedení, upraví kód sám nebo odpoví, že oprava bude součástí dalšího pull requestu. Přehled samostatně rozděluje komentáře podle závažnosti, úrovně revize, typu připomínky a přítomnosti dalších instrukcí či nástrojů. Tým tak může například zkoumat, zda se reakce na bezpečnostní komentáře liší od reakcí na jiné připomínky nebo které kategorie vyžadují více ruční práce.

Metrika zachycuje zaznamenanou reakci, nikoli ověřenou kvalitu opravy. Proto je vhodné číst ji spolu s kontrolou kódu a stavem pull requestu: vysoký podíl vyřízených komentářů znamená, že na připomínky někdo reagoval, nikoli že všechny změny jsou správné nebo nutné. Důležité je také to, že se komentáře započítají v den sloučení pull requestu, nikoli v den, kdy je Copilot zveřejnil.

Proč se míra reakcí liší od přijímání návrhů

Předchozí pole sledovala spuštění Copilot Code Review a případy, kdy uživatel klikl na tlačítko pro použití hotového návrhu. Nová metrika zahrnuje více způsobů reakce: vývojář může opravu provést sám, požádat Copilot, aby ji provedl, nebo změnu odložit do dalšího pull requestu. `total_comments_addressed` proto vyjadřuje reakce na připomínky, zatímco `total_copilot_applied_suggestions` zahrnuje pouze přijetí návrhů, které lze použít jedinou akcí.

Přehled obsahuje také `total_merged_no_human_change_request_after_review`: počet sloučených pull requestů zkontrolovaných Copilotem, u kterých po prvním kole revize žádný člověk nepožádal o změny. Tyto ukazatele popisují různé fáze práce a je nejlepší číst je společně: první zachycuje reakce na komentáře, druhý průběh revize až do sloučení.

Nová pole ukazují, proč jsou přehledy neúplné

Samostatná aktualizace z 5. listopadu přidává informace o telemetrii klientů a verzích nástrojů. Pole `client_telemetry_present` ukazuje, zda v daný den dorazily události z editoru uživatele; `usage_metrics_requirements` uvádí, zda IDE a rozšíření splňují minimální požadavky na verzi pro metriky. Administrátoři získají také denní počty uživatelů bez telemetrie a uživatelů s alespoň jednou zastaralou součástí. Podrobnosti shrnuje poznámka o mezerách v datech Copilotu.

To pomáhá odlišit aktivitu uživatele od úplnosti vykazování. GitHub vysvětluje, že uživatel může být započítán jako aktivní, i když události z editoru nedorazily — přehled pak postrádá podrobnosti, například rozdělení používání podle funkcí a modelů. Příčinou může být zastaralá verze IDE nebo rozšíření, vypnutá telemetrie editoru nebo proxy či síťový firewall, které události blokují.

Dva ukazatele mezer nelze sečíst jako počet jedinečných uživatelů: jeden člověk může patřit do obou skupin. Správná verze editoru navíc nezaručuje, že telemetrie dorazí — například síťová omezení mohou přetrvávat. Pokud hodnota chybí nebo je `null`, GitHub ji označuje jako nedostupný údaj, nikoli jako nulu nebo důkaz, že problém neexistuje.

Co se mění pro týmy

Novinky umožňují nahradit obecný ukazatel aktivity Copilotu dvěma praktičtějšími kontrolami: co se děje s připomínkami Code Review a nakolik jsou spolehlivá data, na nichž je založen interní přehled. Vedoucí technických týmů mohou porovnávat typy komentářů a repozitáře, zatímco administrátoři mohou vyhledat uživatele, kteří potřebují aktualizovat IDE či rozšíření nebo zkontrolovat nastavení sítě.

Přehledy jsou dostupné na úrovni organizace a podniku uživatelům s příslušným oprávněním k zobrazení metrik Copilotu; zásady metrik používání Copilotu musí být zapnuté. Údaje o Code Review jsou v řádcích `repos-1-day`, zatímco pole telemetrie a verzí jsou v uživatelských přehledech za jeden a 28 dní. Aktualizace tak bude nejpřínosnější pro organizace, které Copilot už centrálně spravují: mohou nyní sledovat nejen samotné používání asistenta, ale také reakce na jeho revize a příčiny neúplných měření.