Michael JohnsonVanaf 5 november kunnen teams die GitHub Copilot Code Review gebruiken in API-rapporten zien op welke opmerkingen ontwikkelaars actie ondernemen. Diezelfde dag voegde GitHub velden toe waarmee beheerders hiaten in de telemetrie en verouderde versies van editors kunnen opsporen. Deze updates bieden leidinggevenden en organisatie-eigenaren een concretere manier om te controleren hoe AI-review werkt en hoe volledig de gebruiksgegevens van Copilot zijn.
De reactie op AI-opmerkingen meten
De dagelijkse rapportregel per repository, repos-1-day, bevat nu het object copilot_code_review. De velden omvatten total_comments_evaluated, het aantal beoordeelde opmerkingen, en total_comments_addressed, het aantal opmerkingen waarop een ontwikkelaar heeft gereageerd. Deel de tweede waarde door de eerste om het aandeel afgehandelde opmerkingen voor een repository te berekenen. De nieuwe velden worden beschreven in de update van de Copilot Usage Metrics API.
GitHub telt een opmerking als afgehandeld wanneer een ontwikkelaar de voorgestelde oplossing toepast, Copilot vraagt die door te voeren, de code zelf aanpast of aangeeft dat de oplossing in de volgende pull request wordt opgenomen. Het rapport splitst opmerkingen daarnaast uit naar ernst, reviewniveau, type opmerking en de aanwezigheid van aanvullende instructies of tools. Zo kan een team bijvoorbeeld onderzoeken of er anders wordt gereageerd op opmerkingen over beveiliging dan op andere opmerkingen, of welke categorieën meer handmatig werk vergen.
De metriek toont geregistreerde acties, niet of de oplossing aantoonbaar goed is. Lees de cijfers daarom samen met de codecontrole en de status van de pull request: een hoog aandeel afgehandelde opmerkingen betekent dat er op opmerkingen is gereageerd, maar bewijst op zichzelf niet dat alle wijzigingen juist of noodzakelijk zijn. Ook belangrijk: opmerkingen worden geteld op de dag waarop de pull request wordt samengevoegd, niet op de dag waarop Copilot ze plaatste.
Waarom de actie-indicator verschilt van het accepteren van suggesties
De eerdere velden registreerden Copilot Code Review-uitvoeringen en gevallen waarin een gebruiker op de knop drukte om een kant-en-klare suggestie toe te passen. De nieuwe indicator omvat meer manieren om te reageren: een ontwikkelaar kan zelf een oplossing aanbrengen, Copilot vragen dit te doen of de wijziging uitstellen tot de volgende pull request. Daarom geeft total_comments_addressed aan welke acties naar aanleiding van opmerkingen zijn ondernomen, terwijl total_copilot_applied_suggestions alleen het accepteren van suggesties meet die met één handeling kunnen worden toegepast.
Het rapport bevat ook total_merged_no_human_change_request_after_review: het aantal samengevoegde pull requests die door Copilot zijn beoordeeld en waarvoor na de eerste review geen mens om wijzigingen heeft gevraagd. De indicatoren beschrijven verschillende fasen en zijn het best samen te lezen: de eerste weerspiegelt reacties op opmerkingen, de tweede het verloop van de review tot aan het samenvoegen.
Nieuwe velden laten zien waarom rapporten onvolledig zijn
Een afzonderlijke update van 5 november voegt informatie toe over telemetrie van clients en versies van tools. Het veld client_telemetry_present geeft aan of er op een bepaalde dag gebeurtenissen uit de editor van een gebruiker zijn ontvangen; usage_metrics_requirements geeft aan of IDE’s en extensies aan de minimumversies voor metrische gegevens voldoen. Beheerders krijgen ook dagelijkse aantallen gebruikers zonder telemetrie en gebruikers met ten minste één verouderd onderdeel. Meer informatie staat in de notitie over hiaten in Copilot-gegevens.
Zo kunnen beheerders gebruikersactiviteit onderscheiden van de volledigheid van de rapportage. GitHub licht toe dat een gebruiker als actief kan meetellen, ook als er geen gebeurtenissen uit de editor zijn binnengekomen. Het rapport mist dan details, zoals de verdeling van het gebruik over functies en modellen. Mogelijke oorzaken zijn een verouderde versie van de IDE of extensie, uitgeschakelde editortelemetrie, of een proxy of firewall die gebeurtenissen blokkeert.
De twee tellers voor hiaten mogen niet bij elkaar worden opgeteld als het aantal unieke gebruikers: één persoon kan in beide groepen vallen. Bovendien garandeert een actuele editorversie niet dat telemetrie binnenkomt; netwerkbeperkingen kunnen bijvoorbeeld blijven bestaan. Als een waarde ontbreekt of null is, markeert GitHub die gegevens als niet beschikbaar, niet als nul of als bewijs dat er geen probleem is.
Wat dit betekent voor teams
Dankzij de nieuwe mogelijkheden kunnen teams de algemene Copilot-activiteit vervangen door twee praktischere controles: wat er met opmerkingen van Code Review gebeurt en hoe betrouwbaar de gegevens zijn waarop interne rapporten zijn gebaseerd. Leidinggevenden van engineeringteams kunnen typen opmerkingen en repositories vergelijken, terwijl beheerders gebruikers kunnen opsporen die hun IDE of extensie moeten bijwerken of hun netwerkinstellingen moeten laten controleren.
De rapporten zijn beschikbaar op organisatie- en ondernemingsniveau voor gebruikers met de juiste rechten om Copilot-metrieken te bekijken; het beleid voor Copilot Usage Metrics moet zijn ingeschakeld. Code Review-gegevens staan in de regels repos-1-day, terwijl telemetrie- en versievelden in gebruikersrapporten over één en 28 dagen staan. De update is vooral nuttig voor organisaties die Copilot al centraal beheren: zij kunnen nu niet alleen het gebruik van de assistent onderzoeken, maar ook de reacties op zijn reviews en de oorzaken van onvolledige metingen.
