Michael JohnsonAgenttijärjestelmässä suoritin hoitaa mallin ympärillä tapahtuvaa työtä: se hallitsee tilaa ja jonoja, kutsuu työkaluja, käsittelee dataa ja käynnistää suoritusympäristöjä. Arm esitteli 13. lokakuuta menetelmän suorittimien arviointiin tällaisissa kuormissa Fujitsun, Metan ja OpenAI:n tuella. Yhtiö julkaisi samalla vertailutuloksia Arm AGI CPU:n ja AMD EPYC -suorittimien välillä.
Infrastruktuurin ylläpitäjille tärkeää ei ole vain yksittäisen sirun tulos, vaan myös työn määrä, jonka palvelinräkki pystyy tekemään tietyissä teho- ja tilarajoissa. Signal65:n analyysissä AGI CPU:n mallinnettu suorituskyky palvelinräkkiä kohti oli seitsemässä kuormassa keskimäärin 1,99-kertainen AMD EPYC 9755:een verrattuna. Luku koskee kokonaisen räkkin mallia ja valittuja testejä.
Mitä Arm ehdottaa mitattavaksi
Menetelmä jakaa agenttijärjestelmän työn kehystason toimintoihin – esimerkiksi tilanhallintaan, reititykseen, ajoitukseen ja telemetriaan – sekä työkalujen tehtäviin, kuten kääntämiseen, koodin suorittamiseen, hakuun ja tietokantojen käsittelyyn. Armin menetelmädokumentissa ehdotetaan kahta toisiaan täydentävää lähestymistapaa: komponenttimittauksia suorittimien toistettavaan vertailuun ja päästä päähän -testejä tehtävän suorittamisen tuloksen arviointiin.
Tällainen jako auttaa selvittämään, missä viive syntyy: suorittimessa, mallissa, verkossa vai sovelluksessa. Komponenttitesteillä voidaan eristää yksittäisiä toimintoja, kun taas päästä päähän -testit voivat osoittaa koko tehtävän suoritusajan ja läpimenon. Arm esittää dokumentin perustaksi mittausrajojen, kuormitusluokkien ja sellaisten osa-alueiden määrittelylle, joissa ala ei ole vielä sopinut yhteisestä lähestymistavasta.
Miten vertailutulokset saatiin
Signal65:n analyysi kattaa seitsemän suoritinkuormaa, joihin kuuluvat agenttien suoritus, työkalut, haku ja mallien ylläpito. Signal65 ilmoittaa mallinnetun räkkiä kohti lasketun suorituskyvyn keskimääräiseksi suhteeksi EPYC 9755:een nähden 1,99×; yksittäiset tulokset seitsemässä kuormassa vaihtelivat välillä 1,43×–3,19×. Räkkiä koskevassa laskelmassa käytetään palvelinten mitattua suorituskykyä ja järjestelmien nimellistehoa: 24 kW:n räkkiin mallinnetaan 21–23 Arm-palvelinta ja 13 AMD-palvelinta.
Kolmessa agenttitehtävien ryhmässä Signal65 ilmoittaa räkkiä koskeviksi keskimääräisiksi suhteiksi 1,7× työkalujen käytössä, 2,0× agenttiprosesseissa ja orkestroinnissa sekä 2,2× päättelyssä ja suunnittelussa. Erillisessä eristettyjen ympäristöjen luomistestissä AGI CPU:ta verrattiin AMD EPYC 9965:een: Signal65 raportoi kylmäkäynnistyksen ajan lyhentyneen 45 prosenttia ja lämpimän käynnistyksen 27 prosenttia; kuvatussa nelinkertaisen ylivaraamisen tapauksessa lyhennys oli 41 prosenttia. Kyseessä on erillinen vertailu eri suorittimella ja eri mittareilla.
Mitä palvelimia valittaessa kannattaa huomioida
Vaikka malli laskettaisiin kiihdyttimellä, suoritin hoitaa merkittävän osan agenttisilmukasta: se käynnistää koodia ja työkaluja, käsittelee dataa ja koordinoi rinnakkaisia tehtäviä. Kovan samanaikaisen kuormituksen aikana nämä toiminnot voivat vaikuttaa suoritusaikaan ja kiihdyttimien käyttöasteeseen.
Palvelimia valitsevien tiimien kannattaa profiloida omat työnkulkunsa: mitä työkaluja kutsutaan, kuinka usein suoritusympäristöjä luodaan, montako tehtävää suoritetaan samanaikaisesti ja millaiset viiveet ovat hyväksyttäviä. Sen jälkeen voidaan mitata erikseen toistettavat suoritintoiminnot ja koko skenaario vertailukelpoisissa tehorajoissa. Tällainen tulos vastaa omaa infrastruktuuria paremmin kuin toisesta testistä poimitun suhdeluvun soveltaminen.
Signal65 täsmentää, että tulokset saatiin AGI CPU:n varhaisilla järjestelmillä ja että räkkilaskelmat perustuvat palvelinten mittauksiin ja nimellistehoon; yhtiö aikoo tehdä lisätestejä sarjatuotantolaitteistolla ja laajemmalla kuormitusjoukolla. Siksi Armin julkistus on ennen kaikkea ehdotus agenttijärjestelmien suoritinosuuden mittaamiseen toistettavien komponenttien ja valmiiden tehtävien yhdistelmällä. Luku 1,99× tarjoaa vertailukohdan kuvattuun mallinnukseen, ei yleispätevää arviota minkä tahansa räkkin suorituskyvystä.