Michael JohnsonIn een agentsysteem voert de processor taken uit rondom het model: hij beheert status en wachtrijen, roept tools aan, verwerkt gegevens en start runtimeomgevingen. Op 13 oktober presenteerde Arm een methode om CPU’s voor zulke workloads te beoordelen, met steun van Fujitsu, Meta en OpenAI. Het bedrijf publiceerde daarbij ook vergelijkingsresultaten voor de Arm AGI CPU en AMD EPYC-processors.
Voor infrastructuurbeheerders is niet alleen de prestatie van één chip van belang, maar ook hoeveel werk een serverrack kan uitvoeren binnen vastgestelde grenzen voor vermogen en ruimte. In de analyse van Signal65 behaalde de AGI CPU gemiddeld 1,99 keer de gemodelleerde prestatie per rack van de AMD EPYC 9755 bij zeven workloads. Dit cijfer geldt voor een model van een volledig rack en voor de geselecteerde tests.
Wat Arm voorstelt te meten
De methode verdeelt het werk van een agentsysteem in frameworkfuncties — bijvoorbeeld statusbeheer, routering, planning en telemetrie — en taken van tools, zoals compileren, code uitvoeren, zoeken en met databases werken. In het methodedocument van Arm worden twee elkaar aanvullende benaderingen voorgesteld: metingen van afzonderlijke componenten voor herhaalbare CPU-vergelijkingen en end-to-endtests om het resultaat van een taak te beoordelen.
Deze opsplitsing helpt vaststellen waar vertraging ontstaat: in de CPU, het model, het netwerk of de applicatie. Componenttests kunnen afzonderlijke bewerkingen isoleren, terwijl end-to-endtests de doorlooptijd en verwerkingscapaciteit van de volledige taak laten zien. Arm presenteert het document als basis voor het bepalen van meetgrenzen, workloadcategorieën en onderwerpen waarvoor de sector nog een gezamenlijke aanpak moet afspreken.
Hoe de vergelijkingsresultaten tot stand kwamen
De analyse van Signal65 omvat zeven CPU-workloads, waaronder uitvoering van agenten, tools, zoeken en ondersteuning voor modelonderhoud. Signal65 vermeldt een gemiddelde verhouding van 1,99× voor de gemodelleerde prestatie per rack ten opzichte van de EPYC 9755; de afzonderlijke resultaten voor de zeven workloads liepen uiteen van 1,43× tot 3,19×. De rackberekening gebruikt gemeten serverprestaties en het nominale vermogen van de systemen: in het model passen 21–23 Arm-servers in een rack van 24 kW, tegenover 13 AMD-servers.
Voor drie groepen agentische taken vermeldt Signal65 gemiddelde verhoudingen per rack van 1,7× voor toolgebruik, 2,0× voor agentische processen en orkestratie, en 2,2× voor redeneren en plannen. In een afzonderlijke test voor het maken van geïsoleerde omgevingen werd de AGI CPU vergeleken met de AMD EPYC 9965: Signal65 rapporteert een verkorting van de koude starttijd met 45%, de warme starttijd met 27% en, in het beschreven geval met viermaal oversubscribing, met 41%. Dit is een afzonderlijke vergelijking met een andere processor en andere meetwaarden.
Waar je op moet letten bij de keuze van servers
Ook wanneer een model op een accelerator wordt berekend, verwerkt de CPU een aanzienlijk deel van de agentische cyclus: hij start code en tools, verwerkt gegevens en coördineert parallelle taken. Bij hoge gelijktijdigheid kunnen deze bewerkingen invloed hebben op de doorlooptijd en de benutting van accelerators.
Teams die servers kiezen, doen er goed aan hun eigen workflows te profileren: welke tools worden aangeroepen, hoe vaak runtimeomgevingen worden aangemaakt, hoeveel taken tegelijk draaien en welke vertragingen aanvaardbaar zijn. Daarna kunnen ze herhaalbare CPU-bewerkingen en het volledige scenario afzonderlijk meten, met vergelijkbare vermogenslimieten. Zo’n resultaat sluit beter aan op de eigen infrastructuur dan een ratio uit een test van een ander overnemen.
Signal65 merkt op dat de resultaten zijn verkregen op vroege AGI CPU-systemen en dat de rackberekening is gebaseerd op servermetingen en het nominale vermogen. Het bedrijf is van plan aanvullende tests uit te voeren op productiehardware en met een bredere reeks workloads. Daarom is de aankondiging van Arm vooral belangrijk als voorstel om het CPU-gedeelte van agentsystemen te meten met een combinatie van herhaalbare componenten en voltooide taken. De waarde van 1,99× biedt een richtpunt voor de beschreven modellering, geen universele beoordeling van de prestaties van elk rack.