開源離線 AI 神器 Jan AI 完整攻略：免訂閱、保隱私，教你從下載模型到開啟 MCP 聯網功能！

隨著人工智慧逐漸成為一般民眾，在日常生活與工作任務上，經常運用的方便工具，我們似乎已經很難擺脫 AI 的全面入侵，學習如何擁抱並高效率的使用AI工具，正是當下所有人都必須面對的課題。

文章目錄

1. 為什麼需要打造屬於自己的 AI 助理？
2. 檢視系統需求，部署 Jan AI 執行環境
3. 從內建的 Hugging Face 下載與安裝 AI 模型
4. 使用、切換、停止與移除 AI 模型
5. 客製化設定 AI 模型，強化效能與對話表現
6. 運用內建助理功能，讓 AI 角色扮演
7. 連接雲端 AI 平台，免網頁直接存取
8. 啟用模型上下文協定，取得 MCP 伺服器金鑰
9. 設定 MCP 伺服器連接，調用網路搜尋

然而，時至今日大多數的消費者，仍是利用電腦瀏覽器、手機 App 之類的管道，存取位於雲端平台的 AI 模型，例如 OpenAI ChatGPT、Google Gemini 等，雖然應用上十分方便，但卻也擺脫不了諸多限制。

舉例來說，高昂的訂閱費用、緩慢的回應時間，以及雲端服務可能洩漏使用者個人隱私的資安風險等，這些伴隨 AI 發展而產生的問題，亦逐漸受到外界關注，並試圖找出解決或替代方案。

本次特別企劃所介紹的人工智慧應用 Jan AI，即是一款面向全類型 AI 使用者，主打免費、開源、離線、高相容性且簡單易用的軟體。

為什麼需要打造屬於自己的 AI 助理？

你是否曾經想過，使用當下流行的各種 AI 工具時，自己最在意哪些問題？有些人可能會回答「準確性」，也有些人會認為是「速度」。

只不過，上至大型企業組織，小至個人使用者，基本上都會在乎 AI 的應用成本，例如雲端服務的訂閱開銷，以及存取 API 所需要的支出花費。

雖然市面上大多數 AI 工具，都有一定的免費試用額度，但若超量使用，通常不是被切換到能力較弱的模型，就是減慢 AI 的回答速度，令人覺得非常不方便。

因此，如何盡量以低開銷，甚至是免費的方式，存取足夠強大的 AI 模型，自然就成為我們需要追求的目標之一，而透過 Jan AI 打造人工智慧助理，配合各大廠商釋出的開源 AI 模型共同使用，就是一種值得嘗試的解決方案。

▲ 即便許多雲端 AI 平台都有免費方案，但若消費者已經開始常態性使用各種 AI 工具，累積起來的花費與開銷，自然是一大負擔。

離線 AI 兼顧隱私保障

當人類跟 AI 之間的互動變得更加頻繁，有些人會因此給予人工智慧無上限的信任，進而悄然陷入隱私危機而不自知。

尤其是在跟 AI 進行溝通的過程中，我們經常會於對話裡提供私密資料，比方說個人資訊、工作機密，甚至是涉及他人的訊息。

然而，這些資料即使在表面上是由 AI 所吸收、處理，但模型背後的開發商，以及 AI 雲端平台的營運商，仍有可能會將使用者數據保留於伺服器上，進而造成隱私方面的風險。

在這種情況下，減少對雲端 AI 服務的依賴，讓人工智慧模型離線、本機運行，就變成了保障隱私最直接的方法，特別是對於企業、組織來說，把資料管理權完整掌握在自己手中，才能有效避免資安問題接著發生。

善用 AI 硬體與客製化

有鑑於 AI 近年來的大行其道，許多硬體廠商也紛紛布局，在設備中加入專用的 AI 硬體，或者增強人工智慧運算相關功能。

舉例來說，Intel 為電腦處理器產品所加入的 NPU 晶片，以及 NVIDIA 於顯示卡中，特地針對 AI 任務運算做出的加強等，然而這些硬體規格的升級，在大多數情況下幾乎都是無用武之地，畢竟消費者於本機執行 AI 任務的風潮，至今依然不夠普及。

在 Jan AI 的幫助下，電腦中閒置的 AI 硬體和晶片，終於能夠發揮所長，協助人工智慧任務進行運算。

不僅如此，本機執行 AI 模型的另一個優勢，就是能夠進行高度客製化，即透過各種詳細設定，調整 AI 模型的參數、回應方式、風格，這亦是大多數雲端 AI 平台無法提供的服務，藉此給予進階使用者更深入的操作體驗。

▲ 普遍而言允許使用者於本機執行的 AI 模型，大多都採開源方式發布，但開源 AI 的智慧程度（圖中藍色者），其實並不會比私有模型來得差。（圖片來源：Artificial Analysis）

檢視系統需求，部署 Jan AI 執行環境

本質上而言，Jan AI 是一套簡單、易用的人工智慧模型啟動器，支援Windows、Mac 與 Linux 作業系統，整個軟體專案在 Github 上完全開源，官方主打對大型語言模型（LLM）的完整控制，以及更加進階、更為全面的隱私保護。

目前 Jan AI 有數個主要功能，包含：在電腦上離線執行本機 AI 模型、雲端 AI 平台整合、自定義 AI 助手、支援模型上下文協定（MCP）伺服器等。

Jan AI 網址：https://www.jan.ai/

步驟 1：根據官方建議，Jan AI 應用程式本體僅支援 Windows 10 以上版本作業系統，使用者可以在「執行」視窗中輸入「winver」進行確認。

步驟 2：電腦記憶體總容量關係到 Jan AI 可以執行的模型參數規模；例如 8GB 記憶體能帶動 3B 參數模型，若為 13B 參數模型則要 32GB 記憶體。

步驟 3：Jan AI 同時支援 NVIDIA、AMD 與 Intel Arc 顯示卡，官方建議至少需要 6GB VRAM，才能驅動 3B 參數規模的 AI 模型。

步驟 4：由於 Jan AI 離線存取的 AI 模型，皆需要下載至電腦中才能執行，因此要準備足夠的硬碟空間，許多模型佔用容量至少都有 10GB 以上。

步驟 5：系統環境確認完畢後，接著來到 Jan AI 官方網站，選擇對應的作業系統以下載主程式；此處我們選擇 Windows 版本。

步驟 6：下載並安裝好 Jan AI 之後，點擊桌面上的手掌圖示以開啟主程式，接著 Jan AI 會自動下載數個必要元件，進度將顯示於左下角。

步驟 7：再來點選左邊欄的「Settings」，進入設定畫面後，於中間欄找到「General」，然後在右邊的「Language」切換為「繁體中文」。

步驟 8：同樣在設定頁面中，於中間欄找到「硬體」，發現「GPUs」區塊將顯示 Jan AI 已偵測且支援的顯示卡，點擊開關將其啟用。

步驟 9：中間欄的「模型提供者」中，找到「Llama.cpp」，右邊的「Version & Backend」中，Jan AI 應該會自動安裝好適合的後端引擎。

步驟 10：於中間欄找到「隱私」分頁，使用者可以自行選擇，是否要將「分析」功能開啟。注意：Jan AI 不會主動蒐集和儲存任何隱私資料。

步驟 11：若操作 Jan AI 時出現了重大問題，導致程式不斷崩潰，在「一般」分頁的「恢復原廠設定」中，使用者可以將軟體直接重設。

從內建的 Hugging Face 下載與安裝 AI 模型

安裝完畢 Jan AI 之後，這套程式仍然只是個「空殼」，因此接下來必須為它導入「靈魂」，意即替 Jan AI 安裝人工智慧模型，才能夠使整套軟體正式運作。

相較於 Ollama 等同類型程式，Jan AI 最方便的一點，就是它內建了 Hugging Face 的存取介面。Hugging Face 為目前全世界最熱門的開源 AI 平台，絕大多數開源 AI 模型，無論商業或非商業產品，幾乎都能夠在上面找到，而 Jan AI 則善用了 Hugging Face 的資源優勢，讓消費者可以直接下載、安裝各種 AI 模型。

值得注意之處，在於使用者從 Hugging Face 上，為 Jan AI 導入 AI 模型時，必須確認該模型為 GGUF 格式。

步驟 1：開啟 Jan AI 主畫面之後，點選左邊欄的「中心」，即可切換到內建的Hugging Face 頁面，從此處下載各種 AI 模型。

步驟 2：在每個 AI 模型的「下載」按鈕旁有個「i」圖示，將滑鼠移到其上，系統會簡單分析該模型適不適合自己的電腦執行，只是判斷不一定準確。

步驟 3：找到想要的 AI 模型後，點擊「下載」即會開始自動安裝，JanAI 會自動選擇適合的分支版本（若有提供），進度則顯示於左下角。

步驟 4：使用者亦可透過關鍵字搜尋特定 AI 模型，例如於上方輸入框中，鍵入 GPT-OSS、DeepSeek 等，即可過濾出對應模型。

步驟 5：對於新手與一般使用者來說，建議可以透過搜尋欄旁邊的過濾器，直接選擇「最多下載」進行排序，安裝較多人使用的 AI 模型。

使用、切換、停止與移除 AI 模型

透過內建的 Hugging Face 安裝好 AI 模型後，接著就可以正式使用 Jan AI，存取各種 AI 聊天機器人了！

根據筆者經驗與官方建議，雖然 Jan AI 會提前判斷，究竟該模型適不適合自己的電腦執行，但是實際運作狀況，仍然只有親自嘗試後才能確認。其中一個簡單的判斷原則，在於電腦硬體規格越高、效能越好，原則上可以帶動參數規模越大的模型。

最少 20B 參數的 GPT-OSS 雖然十分強大，媲美雲端版本的 GPT-4o，但在低規格電腦上執行時，反應速度會變得極慢，因此建議讀者要多加嘗試各種不同參數的 AI 模型，同時謹記量力而為，

步驟 1：開啟 Jan AI 主畫面後，點擊左邊欄的「新聊天」，接著於中間的「選擇一個模型」展開選單，挑選先前安裝的 AI 模型。

步驟 2：挑選好 AI 模型後，就可以於中間的輸入框鍵入對話，再點選右邊的箭頭圖示送出，就像操作任何 AI 聊天機器人一樣。

步驟 3：在每條 AI 回答的下方，系統都會計算 Token 的輸出速度；左邊欄亦可管理對話，按下「⋯」就能重新命名或刪除聊天。

步驟 4：若要停止正在運作中的 AI 模型，先點選左邊欄的「設定」，接著於中間欄的「模型提供者」找到「Llama.cpp」，點擊「停止」即可。

步驟 5：若是要刪除已經下載、安裝的模型，於步驟 4 的畫面點選模型名稱旁的垃圾桶圖示，即可把整個 AI 模型從 Jan AI 中移除，節省硬碟空間。

客製化設定 AI 模型，強化效能與對話表現

透過 Jan AI 本機執行 AI 模型的一大好處，就是可以任意調整模型的各種參數，藉此最佳化模型的執行速度、效能，甚至是調整出更為理想的對話表現。

只不過，隨心調整 AI 模型的各項參數雖然看似簡單，但各個數值本身所代表的意義，相對之下卻比較不容易理解。筆者認為，較為重要的數值是「上下文大小」（Context Size）、GPU 層數（GPU Layers）及溫度（Temperature），這些參數的意義將在下面的教學中詳細說明。至於 Top K、Top P 等數值，雖然也會影響 AI 模型的回答方式、風格，但相對之下也需要更精細的參數調整、重複測試，才能獲得使用者理想中的效果。