【GIGABYTE AI TOP ATOM動手玩（3）】：GIGABYTE AI TOP Utility大型語言模型聊天機器人實戰

接下來我們要看看GIGABYTE為AI TOP ATOM獨家提供的AI TOP Utility公用程式的功能，並動手玩大型語言模型聊天機器人。

AI訓練與推論的入門磚

GIGABYTE於2024年開始推出AI TOP產品線，除了具有工作站、零組件等產品之外，也推出搭配的AI TOP Utility公用程式，提供系統監控、模型訓練與微調、AI推論與RAG（Retrieval Augmented Generation，檢索增強生成）等等功能。

延伸閱讀：
NVIDIA DGX Spark迷你AI超級電腦開賣，多位合作夥伴推出自有品牌機型
 GIGABYTE更新AI TOP產品陣容，Z890主機板與CXL記憶體擴充卡登場
 GIGABYTE推出AI TOP解決方案，解決中小企業模型訓練痛點

使用者可以在AI TOP Utility的監控面板查看處理器（CPU）、繪圖處理器（GPU）、系統記憶體、繪圖記憶體（VRAM）、固態硬碟的即時資訊，掌握機器的運作狀態。

GIGABYTE也提供機器學習（Machine Learning，簡稱ML）專案範本，協助沒有程式開發基礎的使用者也能快速上手，並透過資料集產生器將雜亂無章的資料轉換為結構化清單，以用於模型的微調與客製化，或是透過RAG的方式改善模型推論的準確度。

而對於不想自己訓練或微調模型的使用者而言，AI TOP Utility也整合了從Hugging Face網站下載模型的功能，只要下載現成的模型就可以立即完成大型語言模型（Large Language Model，LLM）聊天機器人，或是進行圖像生成等AI功能。

▲ GIGABYTE推出多款AI TOP工作站與零組件產品，這次進行實測的AI TOP ATOM是GIGABYTE客製化的DGX Spark迷你AI工作站。

▲ AI TOP ATOM搭載以Ubuntu為基礎的DGX OS，具有圖型化操作介面，並預載需要的各種驅動程式、運算框架。

▲ 在作業系統中的系統資訊可以看到，AI TOP ATOM具有20組處理器核心以及NVIDIA Tegra GB10顯示卡，並搭載容量為4 TB的固態硬碟。

▲ 接著從GIGABYTE官方網站下載AI TOP ATOM版AI TOP Utility程式。下載後雙擊安裝檔即會自動完成安裝手續。

▲ 安裝完成後就可以在Ubuntu作業系統的程式清單中找到AI TOP Utility並開啟程式。

▲ AI TOP Utility提供許多功能，RAG頁面可以用來整理資料並建立RAG資料庫（Retrieval Augmented Generation，檢索增強生成）。

▲ 在機器學習頁面則提供影像分類、物件偵測、影像標註、文字辨識等範例，協助使用者開發AI應用程式。

筆者以AI TOP Utility下載gpt-oss-120b模型，並架設聊天機器人作為操作示範，操作過程相當簡單，若不計算下載檔案的等待時間，不用5分鐘就可以完成前置作業，並開始使用。

比較特別的是，AI TOP Utility也提供操作簡便的遠端推論功能，只要掃瞄QR Code或輸入對應的網址，就能在其他裝置上透過瀏覽器使用聊天機器人，提供更便利的操作彈性。

▲ 在使用聊天機器人功能之前，可以先到AI TOP Utility的下載頁面選擇想要使用的LLM模型檔案。（需先註冊HuggingFace帳後並填入存取Token）

▲ 接著到推論頁面，選擇文字生成文字類型以及想要使用的模型檔案，接著點選開始鍵就會啟動聊天機器人。

▲ 使用者可以在對話框中輸入問題或提示詞與LLM互動。筆者使用gpt-oss-120b模型詢問「什麼哆啦A夢要睡在衣櫥內？」，可以看到模型透過思維練（Chain of Thought）的方式進行推理式AI推論。

▲ gpt-oss-120b模型先以英文分析問題，之後轉為使用中文思考與推理。

▲ 在「思考」完成後，gpt-oss-120b模型也會給出簡短的小結做為解答，並顯示全部使用1124個字詞（Token），平均速度為每秒4.39個字詞。

▲ 在推論運算時，CPU與GPU的使用率並沒有很高，然而記憶體佔用量達到68.89 GB，已經超過一般消費級顯示卡能夠提供的容量，充分發揮AI TOP ATOM與DGX Spark的優勢。

▲ AI TOP Utility也提供了在手機或其他裝置遠端操作推論的功能，點選「Inference on mobile」按鍵並以手機掃瞄QR Code並開啟網頁。（或者自行連接到AI TOP Utility主機，並使用8080通訊埠）

▲ 接下來就可以在手機上輸入提示詞與LLM互動。

▲ 這次的回答與先前測試不太一樣。身為哆啦A夢的粉絲，覺得gpt-oss-120b模型的回答有點微妙……。

接下來筆者將透過ComfyUI應用程式搭配Stable Diffusion在AI TOP ATOM上進行AI圖像生成，請讀者參考下方目錄繼續閱讀。