Michael Johnson11月5日から、GitHub Copilot Code Reviewを利用するチームは、APIレポートで開発者がどの指摘に対応したかを確認できるようになりました。同日、GitHubは管理者がテレメトリーの欠落や古いエディターのバージョンを見つけるのに役立つフィールドも追加しました。これらの更新により、リーダーや組織のオーナーは、AIレビューの有効性とCopilotの利用状況データの完全性を、より具体的に確認できます。
AIの指摘への対応を測定する
リポジトリごとの日次レポート行`repos-1-day`に、`copilot_code_review`オブジェクトが追加されました。フィールドには、評価された指摘の数を示す`total_comments_evaluated`と、開発者が対応した指摘の数を示す`total_comments_addressed`があります。リポジトリで対応済みの指摘の割合を計算するには、後者を前者で割ります。新しいフィールドについては、Copilot usage metrics APIの更新で説明されています。
GitHubは、開発者が提案された修正を適用した場合、Copilotに修正を依頼した場合、自分でコードを編集した場合、または次のプルリクエストに修正を含めると返信した場合に、対応として計上します。レポートでは、コメントを重大度、レビューの段階、指摘の種類、追加の指示やツールの有無ごとに分類できます。これにより、セキュリティに関するコメントとその他の指摘への対応の違いや、どの分類でより多くの手作業が必要かを調べられます。
この指標が示すのは記録された対応であり、修正の品質が確認されたことではありません。そのため、コードレビューやプルリクエストの状態と併せて確認するのが有用です。対応済みコメントの割合が高ければ、指摘に反応があったことは分かりますが、それだけで変更がすべて正しい、あるいは必要だったとは言えません。また、コメントはCopilotが投稿した日ではなく、プルリクエストがマージされた日に計上されます。
対応率と提案の適用率の違い
従来のフィールドでは、Copilot Code Reviewの実行回数と、ユーザーが提案された修正を適用するボタンを押した回数を記録していました。新しい指標は、開発者が自分で修正する、Copilotに修正を依頼する、次のプルリクエストまで変更を保留するなど、より多くの対応方法を対象とします。そのため、`total_comments_addressed`は指摘への対応状況を示し、`total_copilot_applied_suggestions`はワンクリックで適用できる提案の採用のみを示します。
レポートには、Copilotがレビューした後、最初のレビュー以降に人間から変更依頼がなく、そのままマージされたプルリクエストの数を示す`total_merged_no_human_change_request_after_review`もあります。これらの指標は作業の異なる段階を表しており、併せて見るとより分かりやすくなります。前者はコメントへの反応を、後者はマージまでのレビューの進み方を示します。
新しいフィールドでレポートの欠落原因を把握
11月5日の別の更新では、クライアントのテレメトリーとツールのバージョンに関する情報が追加されました。`client_telemetry_present`は特定の日にユーザーのエディターからイベントが届いたかを示し、`usage_metrics_requirements`はIDEや拡張機能がメトリクスに必要な最低バージョンを満たしているかを示します。管理者は、テレメトリーがないユーザー数と、古いコンポーネントを少なくとも1つ使っているユーザー数を日単位で確認できます。詳細は、Copilotのデータ欠落に関する告知に記載されています。
これにより、ユーザーの活動とレポートの完全性を区別できます。GitHubによると、エディターからイベントが届かなくても、ユーザーがアクティブとして計上される場合があります。その場合、機能やモデルごとの利用内訳などの詳細がレポートから失われます。原因として、古いIDEや拡張機能のバージョン、エディターのテレメトリー設定の無効化、イベントを遮断するプロキシやファイアウォールが考えられます。
データ欠落に関する2つのカウンターを、重複のないユーザー数として単純に合算することはできません。同じユーザーが両方のグループに含まれる場合があるためです。また、エディターが対応バージョンでも、ネットワーク制限などによりテレメトリーが届かないことがあります。値が欠落しているか`null`の場合、GitHubはそれをゼロや問題がない状態ではなく、データを利用できない状態として示します。
チームにとっての変化
今回の変更により、Copilotの全般的な利用状況だけでなく、より実務的な2つの点を確認できるようになります。Code Reviewの指摘にどう対応しているか、そして社内レポートの基盤となるデータがどの程度信頼できるかです。エンジニアリングチームのリーダーはコメントの種類やリポジトリを比較でき、管理者はIDEや拡張機能の更新、ネットワーク設定の確認が必要なユーザーを見つけられます。
レポートは、Copilotメトリクスの閲覧権限を持つユーザーが組織およびエンタープライズ単位で利用できます。Copilot usage metricsポリシーを有効にする必要があります。Code Reviewのデータは`repos-1-day`行にあり、テレメトリーとバージョンのフィールドは1日および28日分のユーザーレポートに含まれます。この更新は、Copilotをすでに一元管理している組織に特に役立ちます。アシスタントの利用有無だけでなく、レビューへの反応や測定データが不完全になる理由も調べられるようになりました。
