Michael JohnsonI ett agentsystem utför processorn arbete runt modellen: den hanterar tillstånd och köer, anropar verktyg, bearbetar data och startar körmiljöer. Den 13 oktober presenterade Arm en metod för att utvärdera processorer för sådana arbetsbelastningar med stöd från Fujitsu, Meta och OpenAI. Tillsammans med metoden publicerade företaget resultat från en jämförelse mellan Arm AGI CPU och AMD EPYC-processorer.
För infrastrukturleverantörer är det inte bara resultatet från ett enskilt chip som spelar roll, utan också hur mycket arbete ett serverrack kan utföra inom givna gränser för effekt och utrymme. I Signal65:s analys uppvisade AGI CPU i genomsnitt 1,99 gånger den modellerade prestandan per rack jämfört med AMD EPYC 9755 i sju arbetsbelastningar. Måttet gäller en modell av ett helt rack och de valda testerna.
Vad Arm föreslår att man mäter
Metoden delar upp agentsystemets arbete i ramverksfunktioner – exempelvis tillståndshantering, dirigering, schemaläggning och telemetri – och verktygsuppgifter, såsom kompilering, kodkörning, sökning och databasarbete. I Arms metodbeskrivning föreslås två kompletterande angreppssätt: komponentmätningar för repeterbara jämförelser mellan processorer och heltäckande tester för att utvärdera resultatet av en uppgift.
Denna uppdelning gör det lättare att fastställa var fördröjningen uppstår: i processorn, modellen, nätverket eller applikationen. Komponenttester kan isolera enskilda operationer, medan heltäckande tester kan visa hela uppgiftens körtid och genomströmning. Arm beskriver dokumentet som en grund för att definiera mätgränser och kategorier av arbetsbelastningar samt områden där branschen fortfarande behöver enas om ett gemensamt tillvägagångssätt.
Hur jämförelseresultaten togs fram
Signal65:s analys omfattar sju processorarbetsbelastningar, däribland agentkörning, verktyg, sökning och stöd för modellserving. Signal65 anger en genomsnittlig faktor på 1,99× för modellerad prestanda per rack jämfört med EPYC 9755; resultaten för de enskilda arbetsbelastningarna varierade från 1,43× till 3,19×. Rackberäkningen utgår från uppmätt serverprestanda och systemens nominella effekt: modellen placerar 21–23 Arm-servrar mot 13 AMD-servrar i ett rack på 24 kW.
För tre grupper av agentuppgifter anger Signal65 genomsnittliga rackfaktorer på 1,7× för verktygsanvändning, 2,0× för agentprocesser och orkestrering samt 2,2× för resonemang och planering. I ett separat test av hur isolerade miljöer skapas jämfördes AGI CPU med AMD EPYC 9965: Signal65 rapporterar 45 procent kortare kallstartstid, 27 procent kortare varmstartstid och, i det beskrivna fallet med fyrfaldig överbokning, 41 procent kortare tid. Detta är en separat jämförelse med en annan processor och andra mätetal.
Vad man bör tänka på vid val av servrar
Även när modellen körs på en accelerator hanterar processorn en betydande del av agentcykeln: den startar kod och verktyg, bearbetar data och samordnar parallella uppgifter. Vid hög samtidighet kan dessa operationer påverka både körtiden och acceleratorernas utnyttjande.
Team som väljer servrar bör profilera sina egna arbetsflöden: vilka verktyg som anropas, hur ofta körmiljöer skapas, hur många uppgifter som körs samtidigt och vilka fördröjningar som kan accepteras. Därefter kan de mäta repeterbara processoroperationer och hela scenariot separat, under jämförbara effektbegränsningar. Ett sådant resultat ligger närmare den egna infrastrukturen än att överföra en faktor från någon annans test.
Signal65 förtydligar att resultaten kommer från tidiga AGI CPU-system och att rackberäkningarna bygger på servermätningar och nominell effekt; företaget planerar fler tester med produktionsutrustning och ett bredare urval av arbetsbelastningar. Arms tillkännagivande är därför framför allt viktigt som ett förslag om att mäta processorernas del av agentsystem genom en kombination av repeterbara komponenter och slutförda uppgifter. Värdet 1,99× ger en riktpunkt för den beskrivna modelleringen, inte en universell bedömning av prestandan hos varje rack.