Michael JohnsonV agentním systému procesor zajišťuje činnosti okolo modelu: spravuje stav a fronty, volá nástroje, zpracovává data a spouští běhová prostředí. Arm 13. října představila metodiku hodnocení CPU pro tyto zátěže za podpory společností Fujitsu, Meta a OpenAI. Zároveň zveřejnila výsledky srovnání Arm AGI CPU s procesory AMD EPYC.
Pro provozovatele infrastruktury není důležitý jen výkon samostatného čipu, ale také objem práce, kterou může serverový rack zvládnout při daných limitech spotřeby a prostoru. V analýze Signal65 dosáhl AGI CPU v sedmi zátěžích průměrně 1,99násobného simulovaného výkonu na rack oproti AMD EPYC 9755. Tento ukazatel se vztahuje k modelu celého racku a zvoleným testům.
Co Arm navrhuje měřit
Metodika rozděluje práci agentního systému na funkce frameworku — například správu stavu, směrování, plánování a telemetrii — a úlohy nástrojů, jako jsou kompilace, spouštění kódu, vyhledávání a práce s databázemi. Dokument Arm o metodice navrhuje dva vzájemně se doplňující přístupy: měření jednotlivých komponent pro opakovatelné srovnání CPU a testy celého procesu pro hodnocení výsledku dokončeného úkolu.
Takové rozdělení pomáhá určit, kde vzniká prodleva: při práci CPU, modelu, sítě nebo aplikace. Komponentní testy mohou izolovat jednotlivé operace, zatímco testy celého procesu ukážou dobu dokončení a propustnost celé úlohy. Arm představuje dokument jako základ pro vymezení rozsahu měření, kategorií zátěží a oblastí, v nichž se odvětví teprve musí shodnout na společném přístupu.
Jak byly získány výsledky srovnání
Analýza Signal65 zahrnuje sedm CPU zátěží, včetně agentního vykonávání, nástrojů, vyhledávání a podpory obsluhy modelů. Signal65 uvádí průměrný poměr 1,99× pro simulovaný výkon na rack oproti EPYC 9755; jednotlivé výsledky v sedmi zátěžích se pohybovaly od 1,43× do 3,19×. Výpočet pro rack vychází z naměřeného výkonu serverů a jejich jmenovité spotřeby: model umisťuje do racku o příkonu 24 kW 21–23 serverů Arm oproti 13 serverům AMD.
Ve třech skupinách agentních úloh uvádí Signal65 průměrné poměry výkonu na rack 1,7× pro práci s nástroji, 2,0× pro agentní procesy a orchestraci a 2,2× pro uvažování a plánování. V samostatném testu vytváření izolovaných prostředí byl AGI CPU srovnáván s AMD EPYC 9965: Signal65 uvádí zkrácení doby studeného spuštění o 45 %, teplého spuštění o 27 % a v popsaném případě se čtyřnásobným předimenzováním o 41 %. Jde o samostatné srovnání s jiným procesorem a o jiné metriky.
Co zohlednit při výběru serverů
I když se model počítá na akcelerátoru, CPU obsluhuje značnou část agentního cyklu: spouští kód a nástroje, zpracovává data a koordinuje paralelní úlohy. Při vysoké souběžnosti mohou tyto operace ovlivnit dobu provádění i vytížení akcelerátorů.
Týmy vybírající servery by měly profilovat vlastní pracovní postupy: které nástroje se volají, jak často se vytvářejí běhová prostředí, kolik úloh běží současně a jaké prodlevy jsou přijatelné. Poté lze samostatně měřit opakovatelné operace CPU a celý scénář při srovnatelných limitech spotřeby. Takový výsledek bude konkrétní infrastruktuře odpovídat lépe než přenesení poměru z cizího testu.
Signal65 upřesňuje, že výsledky pocházejí z raných systémů AGI CPU a výpočet pro rack vychází z měření serverů a jmenovité spotřeby; společnost plánuje další testy na sériově vyráběném hardwaru a se širší škálou zátěží. Oznámení Arm je proto důležité především jako návrh měřit část agentních systémů závislou na CPU kombinací opakovatelných komponent a dokončených úloh. Hodnota 1,99× představuje orientační údaj pro popsanou simulaci, nikoli univerzální odhad výkonu libovolného racku.