Michael Johnson11월 5일부터 GitHub Copilot Code Review를 사용하는 팀은 API 보고서에서 개발자가 댓글에 조치했는지 확인할 수 있습니다. 같은 날 GitHub는 관리자가 텔레메트리 누락과 오래된 편집기 버전을 찾는 데 도움이 되는 필드도 추가했습니다. 이번 업데이트를 통해 책임자와 조직 소유자는 AI 리뷰가 어떻게 작동하는지, Copilot 사용 데이터가 얼마나 완전한지 더 구체적으로 살펴볼 수 있습니다.
AI 댓글에 대한 반응을 측정하는 방법
저장소별 일일 보고서 행인 repos-1-day에 copilot_code_review 객체가 추가됐습니다. 여기에는 검토된 댓글 수인 total_comments_evaluated와 개발자가 조치한 댓글 수인 total_comments_addressed가 포함됩니다. 저장소에서 조치된 댓글의 비율을 계산하려면 두 번째 값을 첫 번째 값으로 나누면 됩니다. 새 필드에 대한 설명은 Copilot 사용량 메트릭 API 업데이트에 나와 있습니다.
개발자가 제안된 수정 사항을 적용하거나, Copilot에 수정을 요청하거나, 직접 코드를 편집하거나, 다음 풀 리퀘스트에 수정 사항을 반영하겠다고 답하면 GitHub는 이를 조치로 집계합니다. 보고서는 댓글을 심각도, 리뷰 수준, 댓글 유형, 추가 지침 또는 도구의 사용 여부별로도 나눠 보여줍니다. 이를 통해 팀은 보안 관련 댓글에 대한 반응이 다른 댓글과 다른지, 어떤 유형의 댓글에 수작업이 더 많이 필요한지 살펴볼 수 있습니다.
이 지표는 기록된 조치를 보여줄 뿐, 수정 사항의 품질이 검증됐다는 뜻은 아닙니다. 따라서 코드 검토 및 풀 리퀘스트 상태와 함께 살펴보는 것이 좋습니다. 처리된 댓글의 비율이 높다는 것은 댓글에 반응이 있었다는 의미이지, 모든 변경 사항이 올바르거나 필요한 변경이라는 뜻은 아닙니다. 댓글은 Copilot이 게시한 날이 아니라 풀 리퀘스트가 병합된 날에 집계된다는 점도 중요합니다.
조치 지표가 제안 수락률과 다른 이유
기존 필드는 Copilot Code Review 실행 횟수와 사용자가 준비된 제안의 적용 버튼을 누른 횟수를 집계했습니다. 새 지표는 개발자가 직접 수정하거나, Copilot에 수정을 요청하거나, 다음 풀 리퀘스트까지 변경을 미루는 등 더 다양한 반응을 포괄합니다. 따라서 total_comments_addressed는 댓글에 대한 조치를 다루고, total_copilot_applied_suggestions는 한 번의 동작으로 적용할 수 있는 제안을 수락한 경우만 다룹니다.
보고서에는 total_merged_no_human_change_request_after_review도 있습니다. 이는 Copilot이 검토한 풀 리퀘스트 가운데 첫 리뷰 이후 사람이 변경을 요청하지 않은 채 병합된 건수를 뜻합니다. 두 지표는 작업의 서로 다른 단계를 설명하므로 함께 보는 것이 좋습니다. 첫 번째는 댓글에 대한 반응을, 두 번째는 병합까지의 리뷰 진행 상황을 보여줍니다.
새 필드로 보고서가 불완전한 이유 파악
11월 5일의 별도 업데이트는 클라이언트 텔레메트리와 도구 버전에 관한 정보를 추가합니다. client_telemetry_present 필드는 특정 날짜에 사용자의 편집기에서 이벤트가 전송됐는지 보여주고, usage_metrics_requirements는 IDE와 확장 프로그램이 메트릭에 필요한 최소 버전을 충족하는지 나타냅니다. 관리자에게는 텔레메트리가 없는 사용자 수와 오래된 구성 요소가 하나 이상 있는 사용자 수도 일별로 제공됩니다. 자세한 내용은 Copilot 데이터 누락 관련 안내에 정리돼 있습니다.
이를 통해 사용자의 활동 여부와 보고 데이터의 완전성을 구분할 수 있습니다. GitHub에 따르면 편집기 이벤트가 전송되지 않더라도 사용자는 활성 사용자로 집계될 수 있습니다. 이 경우 보고서에서 기능 및 모델별 사용량 분포 같은 세부 정보를 확인할 수 없습니다. 원인으로는 오래된 IDE나 확장 프로그램, 편집기 텔레메트리 비활성화, 이벤트를 차단하는 프록시 또는 네트워크 방화벽 등이 있습니다.
누락을 나타내는 두 카운터를 더해 고유 사용자 수로 간주해서는 안 됩니다. 한 사람이 두 그룹 모두에 포함될 수 있기 때문입니다. 또한 편집기 버전이 최신이어도 텔레메트리가 전송된다는 보장은 없습니다. 예를 들어 네트워크 제한이 계속될 수 있습니다. 값이 없거나 null이면 GitHub는 이를 0이나 문제가 없다는 뜻이 아니라 데이터가 제공되지 않는 상태로 표시합니다.
팀에 미치는 변화
이번 업데이트를 통해 Copilot의 전반적인 활동량 대신 더 실용적인 두 가지를 확인할 수 있습니다. Code Review 댓글에 어떤 일이 일어나는지, 그리고 내부 보고서의 근거가 되는 데이터가 얼마나 신뢰할 만한지입니다. 엔지니어링 팀의 책임자는 댓글 유형과 저장소를 비교할 수 있고, 관리자는 IDE나 확장 프로그램 업데이트 또는 네트워크 설정 확인이 필요한 사용자를 찾을 수 있습니다.
Copilot 사용량 메트릭을 볼 권한이 있는 사용자는 조직 및 엔터프라이즈 수준의 보고서에 접근할 수 있으며, Copilot 사용량 메트릭 정책이 활성화돼 있어야 합니다. Code Review 데이터는 repos-1-day 행에서 확인할 수 있고, 텔레메트리 및 버전 필드는 1일 및 28일 사용자 보고서에 포함됩니다. 따라서 이번 업데이트는 이미 Copilot을 중앙에서 관리하는 조직에 특히 유용합니다. 이제 조직은 어시스턴트 사용 여부뿐 아니라 리뷰에 대한 반응과 측정 데이터가 불완전한 이유도 조사할 수 있습니다.
