Michael JohnsonІІ-рев’юер може залишити десятки коментарів і все одно пропустити дефект, важливий для випуску. 5 жовтня 2026 року GitHub представила ReviewBench — дослідницьку попередню версію бенчмарку, який порівнює агентів за виявленими проблемами, пропусками й точністю зауважень.
Для розробників тут важливий перехід від підрахунку коментарів до перевірки їхнього змісту. Бенчмарк зіставляє висновки агента з еталонним набором проблем для pull request і окремо враховує серйозність і категорію знахідок.
Що саме оцінює ReviewBench
До набору увійшли 219 публічних pull request із 187 репозиторіїв із відкритою ліцензією та кодом 19 мовами. GitHub повідомляє, що під час формування корпусу аналізувала розподіл понад 103,9 млн PR. Розміри репозиторіїв і мов добирали з огляду на загальну вибірку GitHub, а розмір змін навмисно змістили в бік змістовніших PR, придатних для рев’ю.
Для кожного PR бенчмарк зберігає еталонні зауваження з позначками серйозності й категорії — наприклад, коректність, безпека, надійність, супроводжуваність і тестування. ReviewBench обчислює точність: яка частка коментарів агента відповідає реальним проблемам, і повноту: яку частку відомих проблем агент виявив. Показник Fβ дає змогу змінювати відносну вагу цих двох критеріїв: більша вага повноти підходить для пошуку більшої кількості проблем, а більша вага точності — для скорочення шумних зауважень.
Як читати цифри GitHub
У публікації вказано 96,6% узгодженості між розміткою ReviewBench і незалежною повторною перевіркою старшими інженерами. Це показник узгодженості експертних оцінок еталонних знахідок, а не точність якогось ІІ-агента.
Окремо GitHub описала внутрішній A/B-тест ансамблю моделей для Copilot code review. За даними компанії, порівняно з контрольною групою частка коментарів, після яких вносили відповідні зміни до коду, зросла на 8,0%, повнота — на 13,6%, обсяг коментарів — на 61%, а вартість рев’ю знизилася на 8,0%. Це результати одного експерименту GitHub; вони не є оцінкою всіх агентів або обіцянкою такого самого ефекту в інших командах.
Розділення метрик особливо корисне, коли команда обирає налаштування рев’ю. Великий обсяг зауважень може супроводжуватися зростанням кількості корисних знахідок, але сам по собі не показує, скільки з них підтвердилися. ReviewBench також розподіляє результати за серйозністю й категоріями, щоб команда могла окремо аналізувати, наприклад, критичні дефекти чи питання безпеки.
Як спробувати бенчмарк
Згідно з описом GitHub, дослідницька попередня версія дає змогу вивчити повний набір даних, порівняти опубліковані результати й запустити власного агента. Для попереднього запуску передбачено 25 PR; повний запуск охоплює 219 PR у трьох раундах. Учасник надає образ контейнера, конфігурацію та власний ключ моделі, а оцінювання відбувається зі спільним суддею. Результати залишаються приватними до перевірки й схвалення подання.
Практичний сенс такого запуску — отримати зіставну вихідну точку, а потім перевірити систему за власними правилами рев’ю та змінами, характерними для репозиторію. Умови конкретної команди — мови, архітектура, пороги серйозності й допустимий рівень шуму — можуть відрізнятися від складу загального корпусу.
GitHub стверджує, що зміни результатів офлайн-оцінювання ReviewBench у її експериментах збігалися за напрямком із результатами в робочому середовищі. Опубліковані вимірювання стосуються власних тестів компанії. Тому найнадійніше застосування бенчмарку наразі — порівняння агентів на спільній вибірці й діагностика їхніх сильних сторін, а рішення про впровадження варто також ґрунтувати на перевірці в робочому процесі конкретної команди.