Michael JohnsonВ агентній системі процесор виконує роботу навколо моделі: керує станом і чергами, викликає інструменти, обробляє дані та запускає середовища виконання. 13 жовтня Arm представила методику оцінювання CPU для таких навантажень за підтримки Fujitsu, Meta та OpenAI. Разом із нею компанія опублікувала результати порівняння Arm AGI CPU з процесорами AMD EPYC.
Для операторів інфраструктури важливий не лише результат окремого чипа, а й обсяг роботи, який серверна стійка може виконувати в заданих межах потужності та простору. В аналізі Signal65 AGI CPU показав у середньому 1,99-кратну змодельовану продуктивність на стійку порівняно з AMD EPYC 9755 у семи навантаженнях. Показник стосується моделі цілої стійки та вибраних тестів.
Що пропонує вимірювати Arm
Методика розділяє роботу агентної системи на функції фреймворку — наприклад, керування станом, маршрутизацію, планування й телеметрію — та завдання інструментів, як-от компіляція, виконання коду, пошук і робота з базами даних. У документі Arm про методику запропоновано два взаємодоповнювальні підходи: вимірювання компонентів для відтворюваного порівняння CPU та наскрізні тести для оцінювання результату виконання завдання.
Такий поділ допомагає визначити, де виникає затримка: у роботі CPU, моделі, мережі чи застосунку. Компонентні тести можуть ізолювати окремі операції, а наскрізні — показати час і пропускну здатність усього завдання. Arm подає документ як основу для визначення меж вимірювання, категорій навантажень і сфер, у яких галузі ще належить узгодити спільний підхід.
Як отримано результати порівняння
Аналіз Signal65 охоплює сім CPU-навантажень, зокрема агентне виконання, інструменти, пошук і підтримку обслуговування моделей. Signal65 наводить середній коефіцієнт 1,99× для змодельованої продуктивності на стійку порівняно з EPYC 9755; окремі результати в семи навантаженнях варіювалися від 1,43× до 3,19×. Розрахунок для стійки використовує виміряну продуктивність серверів і номінальну потужність систем: модель розміщує у стійці на 24 кВт 21–23 сервери Arm проти 13 серверів AMD.
У трьох групах агентних завдань Signal65 наводить середні коефіцієнти для стійки: 1,7× для роботи з інструментами, 2,0× для агентних процесів та оркестрації і 2,2× для міркувань і планування. В окремому тесті створення ізольованих середовищ AGI CPU порівнювали вже з AMD EPYC 9965: Signal65 повідомляє про скорочення часу холодного запуску на 45%, теплого — на 27%, а в описаному випадку з чотириразовою перепідпискою — на 41%. Це окреме порівняння з іншим процесором та іншими метриками.
Що враховувати під час вибору серверів
Навіть якщо модель обчислюється на прискорювачі, CPU обслуговує значну частину агентного циклу: запускає код та інструменти, обробляє дані й координує паралельні завдання. За високої конкуренції ці операції можуть впливати на час виконання та завантаження прискорювачів.
Командам, які вибирають сервери, варто профілювати власні робочі цикли: які інструменти викликаються, як часто створюються середовища виконання, скільки завдань виконуються одночасно та які затримки прийнятні. Потім можна окремо виміряти відтворювані операції CPU і повний сценарій за зіставних обмежень потужності. Такий результат краще відповідатиме конкретній інфраструктурі, ніж перенесення коефіцієнта з чужого тесту.
Signal65 уточнює, що результати отримано на ранніх системах AGI CPU та розраховано для стійки на основі вимірювань серверів і номінальної потужності; компанія планує додаткові випробування на серійному обладнанні та ширшому наборі навантажень. Тому оголошення Arm важливе передусім як пропозиція вимірювати CPU-частину агентних систем за допомогою поєднання відтворюваних компонентів і завершених завдань. Показник 1,99× дає орієнтир для описаного моделювання, а не універсальну оцінку продуктивності будь-якої стійки.