FB 建議貼文

選取貼文複製成功(包含文章連結)!

AMD處理器與顯示卡不但能在Windows AI PC本機運行OpenAI gpt-oss 20b模型,120b參數也沒問題!

AMD處理器與顯示卡不但能在Windows AI PC本機運行OpenAI gpt-oss 20b模型,120b參數也沒問題!

ADVERTISEMENT

AMD說明搭載自家的處理器或顯示卡的Windows AI PC能夠在新版驅動程式的最佳化協助下,執行OpenAI gpt-oss 20b與120b等不同參數量的模型。

Ryzen AI Max+ 395硬吞120b沒問題

AMD透過LM Studio和全新Adrenalin 25.8.1 WHQL驅動程式在搭載指定Ryzen處理器或Radeon顯示卡的Windows AI PC上執行gpt-oss 20b與120b模型,最高可帶來每秒30組字詞(Token)的運算效能。

延伸閱讀:AMD更新驅動程式,Ryzen AI Max+ 395處理器於本機執行128B參數大型語言模型

AMD表示gpt-oss 20b模型能在搭載Ryzen AI 300系列處理器或是Radeon RX 9070 XT顯示卡的電腦上流暢執行,提供快速、靈敏且多模態(Multi-Modal)的工作流程。

另一方面,支援AMD可變顯示記憶體技術(Variable Graphics Memory,VGM)的Ryzen AI Max+ 395處理器能在設定96 GB專屬顯示記憶體容量時執行gpt-oss 120b模型,是全球首款可執行該全球首款的消費級AI PC處理器。

使用者可以下載AMD Software: Adrenalin Edition 25.8.1 WHQL以及最新版LM Studio程式,安裝後開啟LM Studio,在Discover頁面搜尋帶有「lm studio community」前置詞的「gpt-oss」模型並下載即可開始使用。使用Ryzen AI系列處理器的使用者,也客到AMD Software: Adrenalin Edition的設定頁面找到Variable Graphics Memory選項,並依下方圖表建議設定專屬顯示記憶體容量。

相關軟體下載:
AMD Software: Adrenalin Edition 25.8.1 WHQL:https://www.amd.com/en/support/download/drivers.html
LM Studio:https://lmstudio.ai/

Ryzen AI Max+ 395成為全球首款支援gpt-oss 120b的消費級AI PC處理器。

在執行不同模型時,建議的Variable Graphics Memory專屬顯示記憶體容量設定值。

▲在Radeon RX 9070 XT顯示卡(16 GB)執行gpt-oss 20b的效果展示,可以看到字詞的生成速度相當快。

▲在Ryzen AI Max+ 395處理器執行gpt-oss 120b的效果展示。

執行gpt-oss 120b時占用112 GB GPU記憶體之中的62 GB。

AMD表示將與OpenAI持續攜手合作,以最先進的硬體提供卓越效能及體驗。這點已在AMD第2季財報中獲得印證,客戶端事業群營收達25億美元,創下季度新高,較去年同期成長67%,成長動能主要來自於市場對最新Zen 5架構Ryzen桌上型處理器的強勁需求。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則