Michael Johnsonエージェント型システムでは、プロセッサーはモデルの周辺処理を担う。状態やキューの管理、ツールの呼び出し、データ処理、実行環境の起動などだ。10月13日、ArmはFujitsu、Meta、OpenAIの協力を得て、こうしたワークロード向けCPUの評価手法を発表した。同社はあわせて、Arm AGI CPUとAMD EPYCプロセッサーの比較結果も公開した。
インフラ運用者にとって重要なのは、チップ単体の性能だけではない。電力と設置スペースの制約内で、サーバーラックがどれだけの処理を実行できるかも重要だ。Signal65の分析では、7つのワークロードにおいて、AGI CPUのラック当たりのモデル上の性能はAMD EPYC 9755と比べて平均1.99倍だった。この数値はラック全体のモデルと、選定されたテストに基づいている。
Armが提案する測定項目
この手法では、エージェント型システムの処理を、状態管理、ルーティング、スケジューリング、テレメトリーなどのフレームワーク機能と、コンパイル、コード実行、検索、データベース処理などのツール関連タスクに分ける。Armの評価手法に関する文書は、CPUを再現性のある形で比較するコンポーネント単位の測定と、タスクの完了結果を評価するエンドツーエンドのテストという、相互補完的な2つのアプローチを提案している。
この区分により、遅延がCPU、モデル、ネットワーク、アプリケーションのどこで発生しているかを特定しやすくなる。コンポーネント単位のテストでは個別の処理を分離でき、エンドツーエンドのテストではタスク全体の所要時間やスループットを確認できる。Armは、この文書を測定範囲やワークロードの分類を定めるための土台と位置づけ、業界で共通の手法について今後合意が必要な領域も示している。
比較結果の算出方法
Signal65の分析は、エージェント型の処理、ツール、検索、モデルサービングの補助処理を含む、7種類のCPUワークロードを対象としている。Signal65によると、EPYC 9755に対するラック当たりのモデル上の性能比は平均1.99倍で、7つのワークロードの個別結果は1.43倍から3.19倍の範囲だった。ラックの算出にはサーバーの実測性能とシステムの公称消費電力を使用し、24 kWのラックにArmサーバーを21～23台、AMDサーバーを13台配置するモデルとしている。
エージェント型タスクの3つのグループでは、Signal65はラック当たりの平均性能比を、ツール利用で1.7倍、エージェント処理とオーケストレーションで2.0倍、推論と計画で2.2倍としている。分離環境の作成に関する別のテストでは、AGI CPUをAMD EPYC 9965と比較した。Signal65の報告では、コールドスタート時間は45％、ウォームスタート時間は27％短縮され、説明されている4倍のオーバーサブスクリプション条件では41％短縮された。これは別のプロセッサーを用いた比較であり、指標も異なる。
サーバー選定で考慮すべき点
モデルの計算をアクセラレーターで行う場合でも、CPUはエージェントの処理サイクルの大部分を担う。コードやツールを実行し、データを処理し、並列タスクを調整するためだ。こうした処理が競合すると、実行時間やアクセラレーターの稼働率に影響する場合がある。
サーバーを選ぶチームは、自社のワークフローをプロファイリングするとよい。呼び出すツール、実行環境を作成する頻度、同時に動かすタスク数、許容できる遅延を確認する。そのうえで、再現性のあるCPU処理とシナリオ全体を、同等の電力制約のもとで個別に測定できる。こうした結果は、他社のテストの性能比をそのまま当てはめるより、実際のインフラに即したものになる。
Signal65は、初期段階のAGI CPUシステムで得た結果を、サーバーの測定値と公称電力に基づいてラック単位に換算したものだと説明している。同社は量産機器と、より幅広いワークロードを用いた追加テストを予定している。したがって、Armの発表で特に重要なのは、再現性のあるコンポーネントと完了タスクを組み合わせて、エージェント型システムのCPU部分を測定する提案だ。1.99倍という数値は、説明されたモデルの目安であり、あらゆるラックに当てはまる汎用的な性能評価ではない。