NVIDIA聯天機器人 ChatRTX動手玩:快速部署客製化個人AI助理

NVIDIA聯天機器人 ChatRTX動手玩:快速部署客製化個人AI助理

ADVERTISEMENT

NVIDIA先前在CES 2024(消費性電子展)發表ChatRTX聊天機器人程式,並在近期改版新增支援ChatGLM 3中文大型語言模型,讓我們一起來看看其功能如何。

安裝與增加模型

ChatRTX是NVIDIA推出的聊天機器人程式,能在搭載8GB以上顯示記憶體的NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的Windows電腦上執行,並可在下載大型語言模型(Large Language Model,LLM)之後全程離線運作,避免機敏資料外洩。

ChatRTX目前版本支援Llama 2 13BGemma 7BMistral 7BChatGLM 3 6BCLIP等模型,其中ChatGLM 3 6B為北京智譜華章科技公司推出的大型語言模型,能夠支援正體中文與簡體中文,而CLIP則是由OpenAI公司推出的圖文對應模型(其概念比較難以解釋,在ChatRTX的主要功能為辨識圖片)。

讀者可以從NVIDIA官方網站下載ChatRTX程式,並在啟動程式後,於網頁介面選擇安裝更多模型。

ChatRTX的系統需求一覽。

讀者可以從NVIDIA官方網站下載ChatRTX程式,安裝過程與一般程式無異,這邊就不多作贅述。

安裝完成後雙擊桌面的「NVIDIA ChatRTX」捷徑,就會跳出命令提示字元視窗並啟動程式。啟動完成後會自動開啟網頁介面,若無開啟可點擊視窗中的網址。

進入網頁介面之後展開Add new models標籤並選擇想要安裝的模型,之後確認授權聲明並點擊下載按鈕。

ChatRTX外掛資料庫更聰明

ChatRTX支援RAG(Retrieval Augmented Generation,檢索增強生成)功能,能夠讓程式「查閱」資料庫中的文字與圖片檔案,進而讓程式的回應更貼近使用者的需求。舉例來說,筆者就將自己撰寫的文章匯入資料庫,讓預先訓練的大型語言模型快速「新增知識」,能夠回答筆者個人資料以及最新報導內容。

由於ChatRTX運作過程不會將任何資料上傳至雲端,能夠避免資料庫中的機敏資料外洩,使用上更加安全。雖然ChatGLM 3 6B是中國公司推出的大型語言模型,所以具有自我審查的狀況,不過在ChatRTX中使用這款模型仍不會造成資料外洩疑慮。

另一方面,在安裝CLIP模型之後,ChatRTX也能透過使用者輸入的提示詞搜尋資料庫中的圖片。

▲ChatRTX的實際操作影片。讀者也可參考下列詳細圖文介紹。

ChatRTX在安裝ChatGLM 3 6B大型語言模型之後可以支援正體中文。

在預設情況下,ChatGLM 3 6B並不認識筆者。

我們在Dataset選項中選擇「Folder Path」,並指定存有文字、圖片檔案的資料庫路徑。

完成之後ChatGLM 3 6B能夠根據資料庫內容回答筆者的名字,並會列出作為參考資料的檔案。

在RAG功能的協助下,ChatGLM 3 6B也能根據最新報導做出正確回答。

不過ChatGLM 3 6B還是受到中國思想審查限制,沒有學習到1989年6月4日發生的事件。

在測試CLIP模型功能部分,筆者從Pixabay網站下載無授權限制圖片作為範例。

CLIP可以根據輸入的指令,從資料庫中找出含有食物的照片。

筆者請CLIP列出台灣的照片,它也能正確辨識101大樓、街景、自由廣場的照片。

接著筆者請CLIP列出日本的照片,它也能正確回應,並且沒有與台灣搞混,表現值得嘉獎。

附上Stable Diffusion AI圖像生成所製作的文章刊頭圖。

如果讀者具有搭載NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的電腦,不妨也下載ChatRTX親自嘗試。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則