Michael JohnsonIn un sistema agentico, il processore svolge le attività che circondano il modello: gestisce stato e code, richiama strumenti, elabora dati e avvia ambienti di esecuzione. Il 13 ottobre Arm ha presentato una metodologia per valutare le CPU in questi carichi di lavoro con il supporto di Fujitsu, Meta e OpenAI. Insieme alla metodologia, l’azienda ha pubblicato i risultati di un confronto tra Arm AGI CPU e i processori AMD EPYC.
Per chi gestisce l’infrastruttura, conta non solo il risultato del singolo chip, ma anche il volume di lavoro che un rack di server può svolgere entro determinati limiti di potenza e spazio. Nell’analisi di Signal65, AGI CPU ha raggiunto una prestazione simulata media per rack pari a 1,99 volte quella di AMD EPYC 9755 su sette carichi di lavoro. Il dato si riferisce a un modello di rack completo e ai test selezionati.
Che cosa propone di misurare Arm
La metodologia suddivide il lavoro di un sistema agentico in funzioni del framework — per esempio gestione dello stato, instradamento, pianificazione e telemetria — e attività degli strumenti, come compilazione, esecuzione del codice, ricerca e operazioni sui database. Nel documento di Arm sulla metodologia si propongono due approcci complementari: misurazioni dei singoli componenti per confrontare le CPU in modo ripetibile e test end-to-end per valutare il risultato dell’esecuzione di un’attività.
Questa suddivisione aiuta a identificare l’origine della latenza: CPU, modello, rete o applicazione. I test dei componenti possono isolare singole operazioni, mentre quelli end-to-end mostrano il tempo e la produttività dell’intera attività. Arm presenta il documento come base per definire i confini delle misurazioni, le categorie di carico di lavoro e gli ambiti in cui il settore deve ancora concordare un approccio comune.
Come sono stati ottenuti i risultati del confronto
L’analisi di Signal65 copre sette carichi di lavoro per CPU, tra cui esecuzione di processi agentici, strumenti, ricerca e supporto alla manutenzione dei modelli. Signal65 riporta un rapporto medio di 1,99× per la prestazione simulata per rack rispetto a EPYC 9755; i risultati dei singoli sette carichi variavano da 1,43× a 3,19×. Il calcolo per rack si basa sulle prestazioni misurate dei server e sulla potenza nominale dei sistemi: il modello colloca in un rack da 24 kW 21–23 server Arm contro 13 server AMD.
Per tre gruppi di attività agentiche, Signal65 riporta rapporti medi per rack di 1,7× per l’uso degli strumenti, 2,0× per i processi agentici e l’orchestrazione e 2,2× per il ragionamento e la pianificazione. In un test separato sulla creazione di ambienti isolati, AGI CPU è stato confrontato invece con AMD EPYC 9965: Signal65 riferisce una riduzione del 45% del tempo di avvio a freddo, del 27% di quello a caldo e del 41% nel caso descritto con sovra-allocazione quadrupla. Si tratta di un confronto distinto, con un altro processore e metriche diverse.
Che cosa considerare nella scelta dei server
Anche quando il modello viene calcolato su un acceleratore, la CPU gestisce una parte significativa del ciclo agentico: avvia codice e strumenti, elabora dati e coordina attività parallele. In condizioni di forte contesa, queste operazioni possono influire sui tempi di esecuzione e sull’utilizzo degli acceleratori.
Alle squadre che scelgono i server conviene profilare i propri flussi di lavoro: quali strumenti vengono richiamati, con quale frequenza vengono creati gli ambienti di esecuzione, quante attività procedono contemporaneamente e quali latenze sono accettabili. Si possono quindi misurare separatamente le operazioni CPU ripetibili e lo scenario completo, mantenendo vincoli di potenza comparabili. Un risultato del genere sarà più rappresentativo dell’infrastruttura specifica rispetto all’applicazione di un rapporto ottenuto in un test altrui.
Signal65 precisa che i risultati sono stati ottenuti su sistemi AGI CPU preliminari e che la stima per rack si basa sulle misurazioni dei server e sulla potenza nominale; l’azienda prevede ulteriori prove su apparecchiature di produzione e con una gamma più ampia di carichi di lavoro. Perciò l’annuncio di Arm è importante soprattutto come proposta di misurare la componente CPU dei sistemi agentici combinando componenti ripetibili e attività completate. Il dato di 1,99× offre un riferimento per la simulazione descritta, non una valutazione universale delle prestazioni di qualsiasi rack.