NVIDIA RTX GPU加速OpenAI全新開源模型，16 GB顯示卡即可本機直行gpt-oss-20b

NVIDIA宣布與OpenAI合作，讓原本僅限於資料中心運作的AI技術，也能在搭再RTX顯示卡的個人電腦上流暢執行。

16GB VRAM即可嚐鮮

日前OpenAI將gpt-oss模型開源，並提供2款參數量不同的模型。gpt-oss-120b總參數量達1,170億，能在單張顯示記憶體容量為80 GB的NVIDIA H100 GPU（繪圖處理器）上運作。而gpt-oss-20b總參數量為210億，僅需16 GB顯示記憶體即可運行，適合部署於個人電腦、邊緣運算等裝置。

延伸閱讀：OpenAI又有大動作！gpt-oss模型正式開源：效能直逼o4-mini、單張H100就能跑

NVIDIA也與OpenAI合作，利用H100 GPU完成上述2款模型的訓練工作，前者適合搭配搭載NVIDIA RTX PRO GPU的專業工作站，而後者則可在搭載16 GB以上顯示記憶體的GeForce RTX顯示卡之RTX AI PC上執行，官方宣稱GeForce RTX 5090能夠提供每秒250個字詞（Token）的運算速度。

這2款模型採用MXFP4資料類型，相較先前使用的技術，能在不增加效能成本的前提下，有效提升模型品質與準確度。這2款模型皆支援長達131,072字詞的上下文長度，並採用靈活的混合專家（Mixture of Expert，MoE）架構，具有思維鏈功能，並支援指令跟隨與工具使用等功能，提高實用度與靈活性。

針對Windows作業系統的使用者，可以透過新版Ollama應用程式直接選擇使用gpt-oss-20b模型，它也針對RTX GPU進行效能最佳化。

開發者可透過Microsoft AI Foundry Local（現為公開預覽階段）使用這些模型。只要在終端機輸入指令，

Foundry model run gpt-oss-20b

即可輕鬆啟動模型。另一方面，NVIDIA也與開源社群合作，持續提升RTX GPU的運算效能，並將最佳化的Llama.cpp上傳至GitHub儲存庫。

▲ NVIDIA於RTX AI Garage介紹gpt-oss模型。

▲ 使用者可以透過Ollama應用程式或Microsoft AI Foundry Local（指令列）等方式使用gpt-oss-20b模型。

▲ Ollama應用程式具有圖型化介面，對使用者來說較為便利。

NVIDIA於RTX AI Garage介紹gpt-oss模型，有興趣的讀者可以至官方部落格查看更多資訊。