Michael JohnsonW systemie agentowym procesor wykonuje zadania wokół modelu: zarządza stanem i kolejkami, wywołuje narzędzia, przetwarza dane i uruchamia środowiska wykonawcze. 13 października Arm przedstawił metodologię oceny CPU dla takich obciążeń przy wsparciu Fujitsu, Meta i OpenAI. Firma opublikowała wraz z nią wyniki porównania Arm AGI CPU z procesorami AMD EPYC.
Operatorów infrastruktury interesuje nie tylko wynik pojedynczego układu, ale też ilość pracy, jaką szafa serwerowa może wykonać w określonych limitach mocy i przestrzeni. W analizie Signal65 AGI CPU osiągnął średnio 1,99-krotnie wyższą modelowaną wydajność na szafę niż AMD EPYC 9755 w siedmiu obciążeniach. Wskaźnik dotyczy modelu całej szafy i wybranych testów.
Co proponuje mierzyć Arm
Metodologia dzieli pracę systemu agentowego na funkcje frameworka — na przykład zarządzanie stanem, trasowanie, planowanie i telemetrię — oraz zadania wykonywane przez narzędzia, takie jak kompilacja, uruchamianie kodu, wyszukiwanie i obsługa baz danych. W dokumencie Arm opisującym metodologię zaproponowano dwa uzupełniające się podejścia: pomiary komponentów, umożliwiające powtarzalne porównywanie CPU, oraz testy end-to-end, pozwalające ocenić rezultat wykonania zadania.
Taki podział pomaga ustalić, skąd bierze się opóźnienie: z pracy CPU, modelu, sieci czy aplikacji. Testy komponentowe mogą izolować poszczególne operacje, a testy end-to-end pokazać czas i przepustowość całego zadania. Arm przedstawia dokument jako podstawę do określenia granic pomiaru, kategorii obciążeń i obszarów, w których branża musi jeszcze uzgodnić wspólne podejście.
Jak uzyskano wyniki porównania
Analiza Signal65 obejmuje siedem obciążeń CPU, w tym wykonywanie zadań agentowych, narzędzia, wyszukiwanie i obsługę serwowania modeli. Signal65 podaje średni współczynnik 1,99× dla modelowanej wydajności na szafę względem EPYC 9755; wyniki poszczególnych testów wahały się od 1,43× do 3,19×. Obliczenia dla szafy wykorzystują zmierzoną wydajność serwerów i ich nominalny pobór mocy: model zakłada umieszczenie w szafie o mocy 24 kW 21–23 serwerów Arm wobec 13 serwerów AMD.
W trzech grupach zadań agentowych Signal65 podaje średnie współczynniki dla szafy: 1,7× dla pracy z narzędziami, 2,0× dla procesów agentowych i orkiestracji oraz 2,2× dla wnioskowania i planowania. W osobnym teście tworzenia izolowanych środowisk AGI CPU porównano już z AMD EPYC 9965: Signal65 informuje o skróceniu czasu zimnego uruchamiania o 45%, ciepłego — o 27%, a w opisanym przypadku czterokrotnego nadsubskrybowania — o 41%. To osobne porównanie z innym procesorem i inne wskaźniki.
Co uwzględnić przy wyborze serwerów
Nawet gdy obliczenia modelu odbywają się na akceleratorze, CPU obsługuje znaczną część cyklu pracy agenta: uruchamia kod i narzędzia, przetwarza dane oraz koordynuje równoległe zadania. Przy dużej konkurencji te operacje mogą wpływać na czas wykonania i wykorzystanie akceleratorów.
Zespoły wybierające serwery powinny profilować własne cykle pracy: sprawdzać, jakie narzędzia są wywoływane, jak często tworzone są środowiska wykonawcze, ile zadań działa jednocześnie i jakie opóźnienia są dopuszczalne. Następnie można osobno zmierzyć powtarzalne operacje CPU oraz cały scenariusz przy porównywalnych ograniczeniach mocy. Taki wynik będzie lepiej odpowiadać konkretnej infrastrukturze niż przenoszenie współczynnika z cudzego testu.
Signal65 zaznacza, że wyniki uzyskano na wczesnych systemach AGI CPU i obliczono dla szafy na podstawie pomiarów serwerów oraz ich nominalnego poboru mocy; firma planuje dodatkowe testy na sprzęcie produkcyjnym i szerszym zestawie obciążeń. Dlatego ogłoszenie Arm jest przede wszystkim propozycją mierzenia udziału CPU w systemach agentowych za pomocą połączenia powtarzalnych testów komponentów i ukończonych zadań. Wskaźnik 1,99× stanowi punkt odniesienia dla opisanego modelowania, a nie uniwersalną ocenę wydajności każdej szafy.