Michael JohnsonEm um sistema agêntico, o processador executa tarefas em torno do modelo: gerencia estados e filas, chama ferramentas, processa dados e inicia ambientes de execução. Em 13 de outubro, a Arm apresentou uma metodologia para avaliar CPUs nessas cargas de trabalho, com o apoio de Fujitsu, Meta e OpenAI. Junto com ela, a empresa publicou resultados de uma comparação entre o Arm AGI CPU e processadores AMD EPYC.
Para os operadores de infraestrutura, não importa apenas o resultado de um chip isolado, mas também o volume de trabalho que um rack de servidores pode executar dentro de limites definidos de energia e espaço. Na análise da Signal65, o AGI CPU apresentou, em média, desempenho modelado por rack 1,99 vez superior ao do AMD EPYC 9755 em sete cargas de trabalho. O indicador refere-se a um modelo de rack completo e aos testes selecionados.
O que a Arm propõe medir
A metodologia divide o trabalho de um sistema agêntico em funções do framework — por exemplo, gerenciamento de estado, roteamento, agendamento e telemetria — e tarefas de ferramentas, como compilação, execução de código, busca e operações com bancos de dados. No documento da Arm sobre a metodologia, são propostas duas abordagens complementares: medições de componentes para comparar CPUs de forma reproduzível e testes de ponta a ponta para avaliar o resultado da execução de uma tarefa.
Essa divisão ajuda a identificar onde ocorre a latência: no trabalho da CPU, do modelo, da rede ou do aplicativo. Os testes de componentes podem isolar operações individuais, enquanto os testes de ponta a ponta mostram o tempo e a taxa de transferência da tarefa completa. A Arm apresenta o documento como uma base para definir os limites das medições, as categorias de cargas de trabalho e as áreas em que o setor ainda precisa chegar a um consenso.
Como foram obtidos os resultados da comparação
A análise da Signal65 abrange sete cargas de trabalho de CPU, incluindo execução de agentes, ferramentas, busca e suporte à manutenção de modelos. A Signal65 informa um fator médio de 1,99× para o desempenho modelado por rack em relação ao EPYC 9755; os resultados individuais nas sete cargas variaram de 1,43× a 3,19×. O cálculo para o rack usa o desempenho medido dos servidores e a potência nominal dos sistemas: o modelo acomoda de 21 a 23 servidores Arm em um rack de 24 kW, contra 13 servidores AMD.
Em três grupos de tarefas agênticas, a Signal65 informa fatores médios por rack de 1,7× para o uso de ferramentas, 2,0× para processos agênticos e orquestração e 2,2× para raciocínio e planejamento. Em um teste separado de criação de ambientes isolados, o AGI CPU foi comparado com o AMD EPYC 9965: a Signal65 relata uma redução de 45% no tempo de inicialização a frio, 27% na inicialização a quente e, no caso descrito de sobrerreserva de quatro vezes, 41%. Trata-se de uma comparação separada, com outro processador e outras métricas.
O que considerar ao escolher servidores
Mesmo quando o modelo é executado em um acelerador, a CPU atende a uma parte significativa do ciclo agêntico: inicia código e ferramentas, processa dados e coordena tarefas paralelas. Quando há alta concorrência, essas operações podem afetar o tempo de execução e a utilização dos aceleradores.
As equipes que escolhem servidores devem criar perfis de seus próprios fluxos de trabalho: quais ferramentas são chamadas, com que frequência os ambientes de execução são criados, quantas tarefas rodam simultaneamente e quais latências são aceitáveis. Em seguida, podem medir separadamente as operações de CPU reproduzíveis e o cenário completo, sob limites de energia comparáveis. Esse resultado será mais representativo da infraestrutura específica do que a simples aplicação de um fator obtido em um teste alheio.
A Signal65 esclarece que os resultados foram obtidos em sistemas AGI CPU iniciais e calculados para o rack com base em medições dos servidores e na potência nominal; a empresa planeja testes adicionais em equipamentos de produção e com um conjunto mais amplo de cargas de trabalho. Por isso, o anúncio da Arm é importante sobretudo como uma proposta para medir a parte da CPU em sistemas agênticos por meio de uma combinação de componentes reproduzíveis e tarefas concluídas. O indicador de 1,99× serve de referência para a modelagem descrita, não de avaliação universal do desempenho de qualquer rack.