Michael JohnsonI et agentsystem håndterer prosessoren arbeidet rundt modellen: den styrer tilstand og køer, kaller verktøy, behandler data og starter kjøremiljøer. 13. oktober presenterte Arm en metode for å evaluere CPU-er for slike arbeidsbelastninger, med støtte fra Fujitsu, Meta og OpenAI. Samtidig publiserte selskapet resultater fra en sammenligning av Arm AGI CPU med AMD EPYC-prosessorer.
For infrastrukturoperatører er det ikke bare resultatet til én enkelt brikke som betyr noe, men også hvor mye arbeid et serverrack kan utføre innenfor bestemte grenser for strømforbruk og plass. I Signal65s analyse oppnådde AGI CPU i gjennomsnitt 1,99 ganger modellert ytelse per rack sammenlignet med AMD EPYC 9755 på sju arbeidsbelastninger. Tallet gjelder en modell av et helt rack og de valgte testene.
Hva Arm foreslår å måle
Metoden deler agentsystemets arbeid inn i rammeverksfunksjoner – for eksempel tilstandshåndtering, ruting, planlegging og telemetri – og verktøyoppgaver som kompilering, kodekjøring, søk og databasearbeid. I Arms dokument om metoden foreslås to utfyllende tilnærminger: komponentmålinger for repeterbare sammenligninger av CPU-er og ende-til-ende-tester for å vurdere resultatet av oppgaveutførelsen.
Dette skillet gjør det lettere å finne ut hvor forsinkelsen oppstår: i CPU-en, modellen, nettverket eller applikasjonen. Komponenttester kan isolere enkeltoperasjoner, mens ende-til-ende-tester kan vise gjennomføringstid og kapasitet for hele oppgaven. Arm presenterer dokumentet som et grunnlag for å definere målegrenser, kategorier av arbeidsbelastninger og områder der bransjen fortsatt må bli enige om en felles tilnærming.
Hvordan sammenligningsresultatene ble beregnet
Signal65s analyse dekker sju CPU-arbeidsbelastninger, blant annet agentkjøring, verktøy, søk og støtte for modellservering. Signal65 oppgir et gjennomsnittlig forhold på 1,99× for modellert ytelse per rack sammenlignet med EPYC 9755; resultatene for de enkelte arbeidsbelastningene varierte fra 1,43× til 3,19×. Rackberegningen bygger på målt serverytelse og systemenes nominelle effekt: modellen plasserer 21–23 Arm-servere mot 13 AMD-servere i et rack på 24 kW.
For tre grupper av agentoppgaver oppgir Signal65 gjennomsnittlige rackforhold på 1,7× for verktøybruk, 2,0× for agentprosesser og orkestrering, og 2,2× for resonnering og planlegging. I en separat test av opprettelse av isolerte miljøer ble AGI CPU sammenlignet med AMD EPYC 9965: Signal65 rapporterer 45 prosent kortere kaldstart, 27 prosent kortere varmstart og 41 prosent kortere tid i det beskrevne tilfellet med fire ganger oversubskripsjon. Dette er en separat sammenligning med en annen prosessor og andre måleparametere.
Hva du bør ta hensyn til ved valg av servere
Selv når modellen beregnes på en akselerator, håndterer CPU-en en betydelig del av agentsyklusen: den kjører kode og verktøy, behandler data og koordinerer parallelle oppgaver. Ved høy konkurranse om ressursene kan disse operasjonene påvirke gjennomføringstiden og utnyttelsen av akseleratorene.
Team som velger servere, bør profilere sine egne arbeidsflyter: hvilke verktøy som kalles, hvor ofte kjøremiljøer opprettes, hvor mange oppgaver som kjører samtidig, og hvilke forsinkelser som er akseptable. Deretter kan de måle repeterbare CPU-operasjoner separat fra hele scenariet, med sammenlignbare strømbegrensninger. Et slikt resultat vil være mer relevant for den konkrete infrastrukturen enn å overføre et forholdstall fra en andres test.
Signal65 presiserer at resultatene er basert på tidlige AGI CPU-systemer, og at rackytelsen er beregnet ut fra målinger av servere og nominell effekt. Selskapet planlegger flere tester med produksjonsutstyr og et bredere utvalg av arbeidsbelastninger. Arms kunngjøring er derfor først og fremst viktig som et forslag om å måle CPU-delen av agentsystemer gjennom en kombinasjon av repeterbare komponenter og fullførte oppgaver. Tallet 1,99× gir en referanse for den beskrevne modellberegningen, ikke en universell vurdering av ytelsen til ethvert rack.