Michael JohnsonUn revisor de IA puede dejar decenas de comentarios y aun así pasar por alto un defecto importante para una publicación. El 5 de octubre de 2026, GitHub presentó ReviewBench, una versión preliminar de investigación de un benchmark que compara agentes según los problemas detectados, las omisiones y la precisión de sus comentarios.
Para los desarrolladores, el cambio importante es pasar de contar comentarios a evaluar su contenido. El benchmark compara los resultados del agente con un conjunto de referencia de problemas para cada pull request y tiene en cuenta por separado la gravedad y la categoría de los hallazgos.
Qué evalúa exactamente ReviewBench
El conjunto incluye 219 pull requests públicos de 187 repositorios con licencias abiertas y código en 19 lenguajes. GitHub afirma que, al crear el corpus, analizó la distribución de más de 103,9 millones de PR. El tamaño de los repositorios y los lenguajes se eligió teniendo en cuenta la muestra general de GitHub, mientras que el tamaño de los cambios se inclinó deliberadamente hacia PR con más contenido, adecuados para una revisión.
Para cada PR, el benchmark guarda comentarios de referencia etiquetados según su gravedad y categoría, como corrección, seguridad, fiabilidad, mantenibilidad y pruebas. ReviewBench calcula la precisión —qué proporción de los comentarios del agente corresponde a problemas reales— y la exhaustividad —qué proporción de los problemas conocidos detectó el agente—. La métrica Fβ permite cambiar el peso relativo de estos dos criterios: dar más peso a la exhaustividad sirve para buscar más problemas, mientras que dar más peso a la precisión ayuda a reducir los comentarios ruidosos.
Cómo interpretar las cifras de GitHub
La publicación indica un 96,6 % de concordancia entre las etiquetas de ReviewBench y una revisión independiente realizada por ingenieros sénior. Esta cifra mide la concordancia entre evaluaciones expertas de los hallazgos de referencia, no la precisión de ningún agente de IA.
Por separado, GitHub describió una prueba A/B interna de un conjunto de modelos para la revisión de código de Copilot. Según la empresa, frente al grupo de control, la proporción de comentarios que dieron lugar a cambios de código pertinentes aumentó un 8,0 %, la exhaustividad un 13,6 % y el volumen de comentarios un 61 %, mientras que el coste de la revisión se redujo un 8,0 %. Son resultados de un experimento concreto de GitHub; no evalúan a todos los agentes ni garantizan el mismo efecto en otros equipos.
Separar las métricas resulta especialmente útil cuando un equipo elige la configuración de revisión. Un mayor volumen de comentarios puede ir acompañado de más hallazgos útiles, pero por sí solo no indica cuántos de ellos se confirmaron. ReviewBench también desglosa los resultados por gravedad y categoría, para que el equipo pueda analizar por separado, por ejemplo, los defectos críticos o los problemas de seguridad.
Cómo probar el benchmark
Según la descripción de GitHub, la versión preliminar de investigación permite examinar el conjunto de datos completo, comparar los resultados publicados y ejecutar un agente propio. Hay una prueba preliminar con 25 PR; la ejecución completa abarca 219 PR en tres rondas. El participante proporciona una imagen de contenedor, la configuración y su propia clave de modelo, y la evaluación se realiza con un juez común. Los resultados permanecen privados hasta que se revisa y aprueba el envío.
La utilidad práctica de esta prueba es obtener un punto de partida comparable y, después, evaluar el sistema según las reglas de revisión propias y los cambios característicos del repositorio. Las condiciones de cada equipo —lenguajes, arquitectura, umbrales de gravedad y nivel de ruido aceptable— pueden diferir de la composición del corpus general.
GitHub sostiene que, en sus experimentos, los cambios en las evaluaciones offline de ReviewBench coincidieron en su dirección con los resultados en producción. Las mediciones publicadas corresponden a las pruebas propias de la empresa. Por eso, el uso más fiable del benchmark por ahora es comparar agentes con una muestra común y diagnosticar sus puntos fuertes; la decisión de adoptarlos también debería basarse en pruebas dentro del flujo de trabajo del equipo concreto.