Michael JohnsonВ агентной системе процессор выполняет работу вокруг модели: управляет состоянием и очередями, вызывает инструменты, обрабатывает данные и запускает среды выполнения. 13 октября Arm представила методику оценки CPU для таких нагрузок при поддержке Fujitsu, Meta и OpenAI. Вместе с ней компания опубликовала результаты сравнения Arm AGI CPU с процессорами AMD EPYC.
Для операторов инфраструктуры важен не только результат отдельного чипа, но и объём работы, который серверная стойка может выполнять в заданных пределах мощности и пространства. В анализе Signal65 AGI CPU показал в среднем 1,99-кратную моделируемую производительность на стойку по сравнению с AMD EPYC 9755 в семи нагрузках. Показатель относится к модели целой стойки и выбранным тестам.
Что предлагает измерять Arm
Методика разделяет работу агентной системы на функции фреймворка — например, управление состоянием, маршрутизацию, планирование и телеметрию — и задачи инструментов, такие как компиляция, выполнение кода, поиск и работа с базами данных. В документе Arm о методике предлагаются два взаимодополняющих подхода: компонентные измерения для повторяемого сравнения CPU и сквозные тесты для оценки результата выполнения задачи.
Такое разделение помогает установить, где возникает задержка: в работе CPU, модели, сети или приложения. Компонентные тесты могут изолировать отдельные операции, а сквозные — показать время и пропускную способность всей задачи. Arm представляет документ как основу для определения границ измерения, категорий нагрузок и областей, где отрасли ещё предстоит согласовать общий подход.
Как получены результаты сравнения
Анализ Signal65 охватывает семь CPU-нагрузок, включая агентное выполнение, инструменты, поиск и поддержку обслуживания моделей. Signal65 приводит средний коэффициент 1,99× для моделируемой производительности на стойку относительно EPYC 9755; отдельные результаты в семи нагрузках варьировались от 1,43× до 3,19×. Расчёт стойки использует измеренную производительность серверов и номинальную мощность систем: модель размещает в стойке на 24 кВт 21–23 сервера Arm против 13 серверов AMD.
В трёх группах агентных задач Signal65 приводит средние стойковые коэффициенты 1,7× для работы с инструментами, 2,0× для агентных процессов и оркестрации и 2,2× для рассуждений и планирования. В отдельном тесте создания изолированных сред AGI CPU сравнивали уже с AMD EPYC 9965: Signal65 сообщает о сокращении времени холодного запуска на 45%, тёплого — на 27%, а в описанном случае с четырёхкратной переподпиской — на 41%. Это отдельное сравнение с другим процессором и другие метрики.
Что учитывать при выборе серверов
Даже если модель вычисляется на ускорителе, CPU обслуживает значительную часть агентного цикла: запускает код и инструменты, обрабатывает данные и координирует параллельные задачи. При высокой конкуренции эти операции могут влиять на время выполнения и загрузку ускорителей.
Командам, выбирающим серверы, стоит профилировать собственные рабочие циклы: какие инструменты вызываются, как часто создаются среды выполнения, сколько задач выполняются одновременно и какие задержки допустимы. Затем можно отдельно измерить повторяемые CPU-операции и полный сценарий при сопоставимых ограничениях по мощности. Такой результат будет ближе к конкретной инфраструктуре, чем перенос коэффициента из чужого теста.
Signal65 уточняет, что результаты получены на ранних системах AGI CPU и рассчитаны для стойки по измерениям серверов и номинальной мощности; компания планирует дополнительные испытания на серийном оборудовании и более широком наборе нагрузок. Поэтому объявление Arm важно прежде всего как предложение измерять CPU-часть агентных систем через сочетание повторяемых компонентов и завершённых задач. Показатель 1,99× даёт ориентир для описанного моделирования, а не универсальную оценку производительности любой стойки.