Michael JohnsonSedan den 5 november kan team som använder GitHub Copilot Code Review se i API-rapporter vilka kommentarer utvecklarna agerar på. Samma dag lade GitHub till fält som hjälper administratörer att hitta luckor i telemetrin och föråldrade redigerarversioner. Uppdateringarna ger chefer och organisationsägare ett mer konkret sätt att granska hur AI-granskningen fungerar och hur fullständiga uppgifterna om Copilot-användning är.
Så mäter du responsen på AI-kommentarer
I den dagliga rapportposten för ett kodförråd, repos-1-day, har objektet copilot_code_review lagts till. Bland fälten finns total_comments_evaluated, antalet granskade kommentarer, och total_comments_addressed, antalet kommentarer som utvecklaren har agerat på. För att beräkna andelen hanterade kommentarer för ett kodförråd dividerar du det andra värdet med det första. De nya fälten beskrivs i uppdateringen av API:t för Copilot-användningsmått.
GitHub räknar en kommentar som hanterad om utvecklaren tillämpar den föreslagna ändringen, ber Copilot att göra den, ändrar koden på egen hand eller svarar att ändringen ska ingå i nästa pull request. Rapporten delar också upp kommentarerna efter allvarlighetsgrad, granskningsnivå, typ av kommentar och om det finns ytterligare instruktioner eller verktyg. Det gör det möjligt för team att till exempel undersöka om responsen skiljer sig mellan säkerhetskommentarer och andra kommentarer, eller vilka kategorier som kräver mer manuellt arbete.
Måttet visar att en åtgärd har registrerats, inte att ändringen har bekräftad kvalitet. Därför är det bra att läsa det tillsammans med kodgranskningen och pull request-statusen: en hög andel hanterade kommentarer visar att kommentarerna har fått respons, men betyder inte i sig att alla ändringar är korrekta eller nödvändiga. Ytterligare en viktig detalj är att kommentarerna räknas den dag pull requesten slås samman, inte den dag Copilot publicerade dem.
Varför åtgärdsmåttet skiljer sig från förslag som tillämpats
De tidigare fälten räknade användning av Copilot Code Review och tillfällen då användaren klickade på knappen för att tillämpa ett färdigt förslag. Det nya måttet omfattar fler sätt att reagera: utvecklaren kan göra ändringen själv, be Copilot att göra den eller skjuta upp ändringen till nästa pull request. Därför svarar total_comments_addressed på frågan om åtgärder efter kommentarer, medan total_copilot_applied_suggestions bara gäller förslag som kan tillämpas med en enda åtgärd.
Rapporten innehåller också total_merged_no_human_change_request_after_review: antalet sammanslagna pull requests som Copilot har granskat och där ingen människa begärde ändringar efter den första granskningen. Måtten beskriver olika steg i arbetet och är mest användbara tillsammans: det första visar responsen på kommentarer, det andra hur granskningen fortskred fram till sammanslagningen.
De nya fälten visar varför rapporterna är ofullständiga
En separat uppdatering den 5 november lägger till information om klienttelemetri och verktygsversioner. Fältet client_telemetry_present visar om händelser från användarens redigerare rapporterades en viss dag; usage_metrics_requirements anger om IDE:n och tilläggen uppfyller minimikraven på version för måtten. Administratörer får också dagliga antal användare utan telemetri och användare med minst en föråldrad komponent. Mer information finns i meddelandet om luckor i Copilot-data.
Det hjälper till att skilja användaraktivitet från hur fullständig rapporteringen är. GitHub förklarar att en användare kan räknas som aktiv även om inga händelser från redigeraren har rapporterats. Då saknar rapporten detaljer, till exempel hur användningen fördelas mellan funktioner och modeller. Möjliga orsaker är en gammal version av IDE:n eller tillägget, avstängd telemetri i redigeraren samt en proxy eller brandvägg som blockerar händelser.
De två måtten på dataluckor kan inte summeras till ett antal unika användare: samma person kan ingå i båda grupperna. Dessutom garanterar en aktuell redigerarversion inte att telemetri rapporteras – nätverksbegränsningar kan exempelvis kvarstå. Om ett värde saknas eller är null markerar GitHub det som otillgängliga data, inte som noll eller som att inget problem finns.
Vad det innebär för team
Uppdateringarna gör det möjligt att ersätta ett övergripande mått på Copilot-aktivitet med två mer praktiska kontroller: vad som händer med kommentarerna från Code Review och hur tillförlitliga uppgifterna i den interna rapporten är. Tekniska teamledare kan jämföra kommentarstyper och kodförråd, medan administratörer kan hitta användare som behöver uppdatera sin IDE eller sina tillägg, eller kontrollera nätverksinställningarna.
Rapporterna är tillgängliga på organisations- och företagsnivå för användare med rätt behörighet att visa Copilot-mått; policyn för Copilot-användningsmått måste vara aktiverad. Code Review-data finns i posterna för repos-1-day, medan telemetri- och versionsfälten finns i användarrapporter för en respektive 28 dagar. Därför är uppdateringen främst användbar för organisationer som redan administrerar Copilot centralt: de kan nu undersöka inte bara om assistenten används, utan också hur användarna reagerar på dess granskningar och varför mätningarna är ofullständiga.
