Michael Johnson에이전트 시스템에서 프로세서는 모델 주변의 작업을 맡는다. 상태와 대기열을 관리하고, 도구를 호출하며, 데이터를 처리하고, 실행 환경을 시작한다. 10월 13일 Arm은 Fujitsu, Meta, OpenAI의 지원을 받아 이러한 작업을 위한 CPU 평가 방법론을 발표했다. Arm은 이와 함께 Arm AGI CPU와 AMD EPYC 프로세서의 비교 결과도 공개했다.
인프라 운영자에게 중요한 것은 개별 칩의 성능뿐 아니라, 정해진 전력과 공간 안에서 서버 랙이 처리할 수 있는 작업량이다. Signal65의 분석에서 AGI CPU는 7개 작업 부하 기준으로 AMD EPYC 9755보다 랙당 모델링 성능이 평균 1.99배 높았다. 이 수치는 전체 랙 모델과 선택된 테스트에 적용된다.
Arm이 제안하는 측정 항목
이 방법론은 에이전트 시스템의 작업을 프레임워크 기능과 도구 작업으로 나눈다. 프레임워크 기능에는 상태 관리, 라우팅, 스케줄링, 텔레메트리 등이 포함되며, 도구 작업에는 컴파일, 코드 실행, 검색, 데이터베이스 작업 등이 포함된다. Arm의 방법론 문서는 서로 보완하는 두 가지 접근법을 제안한다. CPU를 반복 가능하게 비교하는 구성 요소별 측정과 작업 완료 결과를 평가하는 종단 간 테스트다.
이렇게 나누면 지연이 CPU, 모델, 네트워크, 애플리케이션 중 어디에서 발생하는지 파악하는 데 도움이 된다. 구성 요소별 테스트는 개별 연산을 분리해 측정할 수 있고, 종단 간 테스트는 전체 작업의 소요 시간과 처리량을 보여준다. Arm은 이 문서가 측정 범위와 작업 부하 범주, 업계가 공통 접근법을 합의해야 할 분야를 정하기 위한 기반이라고 설명한다.
비교 결과는 어떻게 산출됐나
Signal65의 분석은 에이전트 실행, 도구, 검색, 모델 서비스 지원 등을 포함한 7가지 CPU 작업 부하를 다룬다. Signal65는 EPYC 9755 대비 랙당 모델링 성능의 평균 비율을 1.99배로 제시했으며, 7개 작업 부하의 개별 결과는 1.43배에서 3.19배까지 차이가 났다. 랙 산정에는 서버의 실측 성능과 시스템의 정격 전력이 사용됐다. 모델은 24kW 랙에 Arm 서버 21~23대, AMD 서버 13대를 배치한다.
세 가지 에이전트 작업 그룹에서 Signal65가 제시한 평균 랙 성능 비율은 도구 사용 1.7배, 에이전트 프로세스 및 오케스트레이션 2.0배, 추론 및 계획 2.2배다. 격리된 환경을 생성하는 별도 테스트에서는 AGI CPU를 AMD EPYC 9965와 비교했다. Signal65에 따르면 콜드 스타트 시간은 45%, 웜 스타트 시간은 27% 단축됐고, 설명된 4배 오버커밋 사례에서는 41% 단축됐다. 이는 다른 프로세서를 대상으로 한 별도의 비교이며 측정 지표도 다르다.
서버 선택 시 고려할 점
모델 추론이 가속기에서 이뤄지더라도 CPU는 에이전트 실행 주기의 상당 부분을 담당한다. 코드와 도구를 실행하고, 데이터를 처리하며, 병렬 작업을 조율한다. 작업 경쟁이 심할 경우 이러한 연산이 실행 시간과 가속기 활용률에 영향을 줄 수 있다.
서버를 선택하는 팀은 자체 작업 흐름을 프로파일링하는 것이 좋다. 어떤 도구를 호출하는지, 실행 환경을 얼마나 자주 만드는지, 작업을 동시에 몇 개 수행하는지, 허용 가능한 지연이 얼마인지 살펴봐야 한다. 그런 다음 반복 가능한 CPU 연산과 전체 시나리오를 전력 제한을 맞춰 각각 측정할 수 있다. 이렇게 얻은 결과는 다른 테스트의 수치를 그대로 가져오는 것보다 실제 인프라에 더 가까울 것이다.
Signal65는 AGI CPU 초기 시스템에서 측정한 결과를 서버 실측치와 정격 전력에 근거해 랙 단위로 산출했다고 설명한다. 또한 양산 장비와 더 다양한 작업 부하로 추가 테스트를 진행할 계획이라고 밝혔다. 따라서 Arm의 발표는 반복 가능한 구성 요소와 완료된 작업을 함께 측정해 에이전트 시스템의 CPU 성능을 평가하자는 제안이라는 점에서 의미가 있다. 1.99배라는 수치는 설명된 모델링의 참고 기준이지, 모든 랙에 적용되는 보편적인 성능 평가가 아니다.