Red Hat 推出 Red Hat AI 3，助力生產環境 AI 工作負載實現分散式推論

開放原始碼軟體解決方案供應商 Red Hat 今日宣布推出 Red Hat AI 3，這是 Red Hat 企業級 AI 平台的一大躍進。此平台整合 Red Hat AI Inference Server、Red Hat Enterprise Linux AI (RHEL AI) 與 Red Hat OpenShift AI 的最新創新，不僅簡化大規模高效能 AI 推論的複雜流程，更賦能企業將工作負載從概念驗證 (PoC) 更順暢地推向生產環境，同時改善 AI 驅動應用程式的協作。

企業在將 AI 從實驗階段推向實際應用時，常面臨資料隱私、成本控管及多樣化模型管理等挑戰。根據麻省理工學院 NANDA 計畫的《The GenAI Divide: State of AI in Business》報告指出，儘管企業投資金額高達 400 億美元，仍有約 95% 的企業未能從生產環境 AI 中獲得可衡量的財務報酬。

為應對上述挑戰，Red Hat 推出 Red Hat AI 3，專為資訊長和 IT 主管提供一致且統一的體驗，協助他們最大化加速運算技術的投資效益。企業不僅能在跨混合式或多供應商的環境中快速擴展與部署 AI 工作負載，還能透過單一通用平台，提升團隊在新一代 AI 代理等專案上的協作效率。Red Hat AI 3 以開放標準為基礎，能滿足企業在 AI 發展過程中各階段的需求，支援任何硬體加速器上的任何模型，且適用於各種環境，包含資料中心、公有雲、主權 AI 環境，甚至是邊緣端。

Red Hat 副總裁暨 AI 事業部總經理 Joe Fernandes 表示：「當企業將 AI 的應用規模從實驗階段擴展至生產環境時，將會面臨複雜性、成本與控管上新一波的挑戰。Red Hat AI 3 作為企業級開放原始碼平台，正是為了將上述障礙降至最低。我們藉由 llm-d 的分散式推論等創新功能為代理式 AI 奠定基石， IT 團隊得以更有自信地在任何基礎架構上，以自己的方式將新一代 AI 投入實際營運。」

從訓練到「執行」：企業 AI 推論的轉變

企業將 AI 舉措推向生產環境後，其重心將從模型的訓練與調校轉移至推論，亦即企業 AI 的「執行」階段。Red Hat AI 3 著重於可擴展且符合成本效益的推論能力，奠基於廣受好評的 vLLM 與 llm-d 社群專案，並結合 Red Hat 自身卓越的模型最佳化技術，為大型語言模型 (LLM) 提供生產環境級的服務。

為協助資訊長充分利用高價值硬體加速資源，Red Hat OpenShift AI 3.0 正式推出 llm-d，重新定義 LLM 在 Kubernetes 上的原生執行方式。llm-d 巧妙結合經驗證的 Kubernetes 調度價值與 vLLM 的卓越效能，實現智慧分散式推論，並結合多項關鍵開源技術，包括 Kubernetes Gateway API Inference Extension、 NVIDIA Dynamo 低延遲資料傳輸函式庫 (NIXL)，以及 DeepEP Mixture of Experts (MoE) 通訊函式庫，賦予企業：

利用分散式服務降低成本、提升效率，實現更高的每美元效能。
採用專為 AI 工作負載的多變特性而設計的智慧推論感知 (inference-aware) 負載平衡器，有效改善回應時間與延遲。
藉由預定的「Well-lit Paths」簡化於 Kubernetes 上大規模部署模型流程，實現簡易營運與最高可靠性。
透過跨平台支援，在不同的硬體加速器 (包括 NVIDIA 與 AMD) 上部署 LLM 推論，最大化靈活性。

統一平台，實現協作式 AI

Red Hat AI 3 提供統一彈性體驗，專為生產環境中生成式 AI 解決方案的協作需求打造。其設計旨在透過促進團隊協作與統一工作流程，為企業創造實質價值。平台工程師和 AI 工程師可藉由 Red Hat AI 中心 (AI Hub) 探索、部署與管理基礎 AI 資產，其提供內含模型精選目錄 (curated catalog) 的集中式管理中心，涵蓋經驗證與最佳化的生成式 AI 模型、模型生命週期管理登錄檔，以及可配置與監控運行於 OpenShift AI 上所有 AI 資產的部署環境。

Red Hat OpenShift AI 3.0 版本不僅強化推論能力，更帶來專注於代理管理的新版或強化功能，持續為可擴展的代理式 AI 系統奠定穩固基礎。

為加速代理的建立與部署，Red Hat 推出基於 Llama Stack 的統一應用程式介面層，助力讓開發流程與 OpenAI 等業界標準保持一致。此外，為提倡更開放、更具互通性的生態系，Red Hat 已率先採用模型上下文協定 (Model Context Protocol，MCP)，此強大的新興標準能簡化 AI 模型與外部工具的互動方式，是現代 AI 代理不可或缺的基礎功能。