ADVERTISEMENT
Arm於OCP Global Summit 2026開放運算計畫全球高峰會期間的演說分析CPU效能在代理式AI時代所扮演角色，並說明效能測試與衡量。
AI代理的效能需求差異
Arm雲端AI解決方案架構總監Ravi Malhotra於OCP Global Summit 2026開放運算計畫全球高峰會的Rethinking CPU Performance for the Agentic AI Era（重新思考代理式AI時代的CPU效能）演說中，分享對代理式AI的趨勢觀查，並提出5種不同的AI使用情境，探討不同類型AI代理對運算基礎設施的差異化需求，以及如何重新定義CPU（處理器）效能測試方式。
延伸閱讀：
Arm Everywhere 2026：瞄準代理式AI運算需求，推出Arm AGI CPU自有品牌處理器
AMD發表最高可容納32,768組CPU核心的Helion機櫃，符合OCP規範強化代理式AI應用
Intel正式發表Intel GPU D系列運算卡，單卡搭載480 GB記憶體可吞300B參數LLM模型
Ravi提出5種目前產業界較為熱門的AI使用情境，筆者將其整理於下。
- 軟體工程：開發者利用Codex或Claude Code等AI代理生成程式碼、修正檔，以及進行測試與修正錯誤。
- 企業自動化：大型企業將AI代理運用於超大規模的客戶支援、供應鏈和庫存管理等工作。
- 科學研究與金融分析：使用多個AI代理進行複雜的模擬運算，並且產生大量特定領域的相關資料。
- 個人助理：AI代理自動完成排程、家庭旅行規劃和個人財務管理等任務。
- 機器人技術：透過AI驅動機器人自主行動，此技術處於起步階段，未來發展性極具潛力。
而代理式AI的運作可以粗分為2個階段，第1階段為Token（字詞）生成，主要任務為推論與規劃。這類工作負載通常需要仰賴大型GPU（繪圖處理器）或加速器運算節點，以滿足大規模生成Token，並為AI代理所需的上下文和資料解讀提供充足的記憶體與儲存空間。
第2階段為以推論結果為基礎採取行動，進行工具軟體的操作與編排，通常可在純CPU伺服器上執行，其重點為伺服器需滿足規模化部署，整體基礎設施也需穩定運作。
強化持續效能表現
對於前段文章提到的2個階段的關鍵問題在於，需要什麼樣的CPU才能穩定完成這類工作負載？Ravi表示若是仔細研究前述5類使用情境，就會發現彼此的求都各不相同。
軟體工程在進行編譯和測試程式碼所消耗的時間較長，並會消耗大量CPU資源，因此需要單執行緒效能較高的CPU架構。
而企業自動化與個人助理比較常見的工作負載為存取網頁或資料庫等，單次操作工具軟體的持續時間較短，對CPU資源的需求沒那麼高，但是對網路與資料傳輸的需求比較大。
Ravi提到效能測試的方式也可以粗分為2類，其一為從元件角度出發的基準測試，以測試網頁伺服器、資料庫或模型服務的運作速度，也可針對CPU進行如工具呼叫、I/O、平行化等不同負載的測試評估。
例如從編排的角度來說，強調CPU平行化和利用率，而在推論中，充當主節點的CPU著重分支預測、快取、記憶體延遲、記憶體頻寬等單執行緒相關的效能，可以精確呈現單個元件的效能表現，但無法反映在代理式AI工作流程中協同運行的整體表現。
其二是端到端代理式AI基準測試，它更至著重系統的平行化與可擴展性，效能評估不只看單組CPU能夠負擔多少AI代理，也不只單純追求最高吞吐量，還需要在吞吐量與 SLA（Service Level Agreement，服務水準協議）之間取得平衡，達到持續效能輸出。
Arm也與獨立技術分析機構Signal65合作發表獨立報告，對比了Arm AGI CPU與代號為Turin AMD第5代EPYC處理器在AI代理工作負載的效能，並將研究重點放在電力效率、可擴展性和效能平衡。報告顯示，在相同功耗下Arm AGI CPU每機櫃AI代理工作負載效能約為EPYC 9755的近2倍。
Ravi也強調沒有任何代理式AI的使用情境是完全相同的，尤其是在各項技術快速演進的當下，對於大部分市場來說，Arm AGI CPU的優勢是能夠在效能、可擴展性和電力效率之間取得平衡。
Arm與ASRock、Lenovo、Supermicro等合作夥伴共同推出多款氣冷與液冷散熱方案方與量產平台和商用伺服器，讓客戶能以Arm AGI CPU做為主節點，並搭配外部加速器協同工作。
更多效能測試相關資訊，可以閱讀Arm發表的《How to Define CPU and Software Stack Performance for Agentic AI》白皮書（PDF）。
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！