在網路上你應該看過很多人在自己電腦上佈建 AI 環境,不過那些大多是用 Linux 所架設的本地端 AI。
- 延伸閱讀:Ollama 推出桌機版應用程式:離線跑 AI 更簡單,Windows、macOS 用戶直接圖形介面操作 LLM
- 延伸閱讀:蘋果 AI 大反攻!WWDC 前夕註冊 genai.apple.com 網域,Apple Intelligence 將深度整合 iOS、macOS
- 延伸閱讀:當紅 AI 智慧助理 OpenClaw 驚爆嚴重漏洞,恐散播、植入 macOS 病毒
而號稱 NPU 強大的 macOS 其實也能在本地端佈建 AI 服務,創建屬於自己的 AI 數位助理。不過你會需要找一套 LLM 管理器,才能開始在本地端做一些輕度的嘗試。
本次我要分享如何在 macOS 上面利用 Ollama 架設自用 AI 模型,「在 Mac 上打造屬於自己的 AI 服務」。
在開始之前我要先請你檢查電腦,要在本地電腦佈建 AI,你的電腦必須符合下面兩個條件:
● CPU 必須是 M 系列的晶片(M1 以上)
● 記憶體最少有 16GB 以上(含)
假如你的電腦有其中一點無法符合,我建議你不要輕易嘗試這件事。
硬體限制的原因
即便有 16GB RAM 的 Intel Mac 來說,它除了缺乏 NPU 的硬體架構,實際執行下來你會發現它的 CPU 也都在極限狀態。(硬要跑也是浪費時間)
至於記憶體部分則是因為 AI 模型(LLM)都會吃掉巨大的記憶體,16GB RAM 真的是最低需求,記憶體低於 16GB 可以執行的模型少之又少。
小模型精準度差,硬要跑較大的模型可能會造成電腦頻頻當機,如果電腦要搬 SSD 來當虛擬記憶體(那樣頻繁的讀寫會大幅的降低 SSD 的壽命),與其這樣消耗硬碟壽命還不如建議你繼續用線上的服務。
假如上述兩點你都符合,那麼我們就進入安裝教學。
安裝 LLM 管理器:Ollama
Mac 上有幾套 LLM 管理工具,我會首推 Ollama,原因就是它最簡單。
在 macOS 上安裝 Ollama 非常容易,就是到官方下載 dmg,掛載後直接把 Ollama 拖到應用程式裡面就完成安裝了。
下載 Ollama:https://ollama.com/

因為架設本地端的 AI 可以做很多事,底下的每個按鈕都是 Ollama 官方介紹的一些使用方式說明。如果你對於 AI 有濃厚的興趣可以花一點時間研究。
Ollama 需要費用嗎?
專業版以上的 Ollama 可以在雲端執行,還能分享給多人使用。
不過,我這次介紹的用法是沒有使用雲端來執行你的模型,僅是下載模型到本地端用自己的電腦跑,那麼 Ollama 是全免費的。

啟動 Ollama 並安裝模型
啟動 Ollama 之後,它就會出現一個對話視窗。而這個對話視窗就像 ChatGPT、Gemini 那樣,就是 AI 對話視窗,用來模型對話的介面。
安裝一般通用模型
在使用 Ollama 對話之前,你需要為 Ollama 至少安裝一個模型,如果是要中文對話的通用模型,會建議用 DeepSeek 或是近期很紅的 Qwen(千問)。

記憶體有 32GB 以上的電腦
假如你對於程式碼生成(Vibe Coding)的需求比較高,再加上電腦記憶體充足,可以選用「Qwen3-Coder:30b」。這個模型屬於「中大型」的模型,它比常見的 7B / 8B 小模型強大許多,是目前 2026 年本地端 CP 值最高的程式生成模型。但也比 70B 以上的旗艦模型更容易在家用電腦上運行。(最棒的當然是 70B,但你記憶體要更大)
Qwen3-Coder:30b 容量是 17.3GB,以 Alrin 自家的光世代 1GB 寬頻來計算,大概在 10 分鐘內就可以下載完畢。

到底我該裝哪一個模型才是對的?
其實這個問題沒有絕對,在 Mac 上能不能裝哪一個模型取決於你電腦的記憶體有多大,以「Qwen3-Coder:30b」來說,你的電腦至少要有 32GB RAM 安裝它跑起來才不會卡卡。
筆者實際安裝完用 Ollama.app 來執行 Qwen3-Coder:30b,你會看到 Ollama 直接吃掉 20GB 的記憶體。(LLM 本來就是吃記憶體的怪獸)

如果你的記憶體不足卻裝了大模型,其實只是讓電腦更吃力。這就像你每個月薪水只有 5 萬元,卻都只買奢華品牌的衣服穿,這擺明就是入不敷出。所以挑選 LLM 要優先考慮你電腦的記憶體,而那件事情在你一開始買電腦可能就要先想清楚。
不能用虛擬記憶體嗎?現在 SSD 也很快啊∼
電腦確實會在 RAM 不足的情況下去用 ROM 當暫存記憶儲存區來存放(虛擬記憶體),不過如果電腦真的開始用虛擬記憶體的時候,就會大量的增加 SSD 的讀寫次數,這完全沒辦法,因為它不這麼做你電腦就要當機了。
而且一旦電腦開始用虛擬記憶體,就會讓 SSD 大量讀寫造成壽命變短,這樣反而得不償失。如果你要這樣消耗記憶體的壽命,那真的還不如直接花錢用 API,那樣花的錢搞不好還會比較省。
如果你不需要 Vibe Coding,我會建議你安裝 deepseek-v3 這種較為輕量的模型,對記憶體的壓力也會比較小。
從終端機安裝模型
如果你的 Ollama App 的選單裡面並沒有想要安裝的模型怎麼辦?
還記得上一篇專欄,我希望大家先接觸終端機的環境嗎?而沒有在 Ollama App 選單中的模型,就需要透過終端機來安裝。(終端機模式的 Ollama 才是完全體)
開啟電腦上的終端機,然後輸入:
ollama run deepseek-v3
這個指令其實很簡單,就是從終端機叫 Ollama 直接執行「deepseek-v3」,如果 Ollama 的模型庫裡面沒有 deepseek-v3,Ollama 就會直接安裝它,你輸入之後按下 Enter 後 Ollama 就會進入到官方模型庫下載模型。
如果你的網路速度足夠快,應該是在 10 分鐘內即可下載並安裝完畢。當它顯示安裝完成的那一刻,deepseek-v3 就會是在你的電腦裡面,恭喜你已經取得第一個離線模型。
這時候你可以啟動 Ollama 的對話模式,然後選擇剛裝上的模型進行本地的對話,這時候和 AI 的對話、LLM 的思維,全部都在你的電腦上執行,用的就是你電腦硬體的算力。
所有的模型都可以這樣安裝嗎?
只要是 Ollama 支援的模型,你都可以這樣安裝使用。不過,你必需確定那個模型有被 Ollama 支援且收錄在官方的伺服器上。你可以到官方的 LLM 資料庫裡去尋找想要的模型:
例如你想找和程式相關的寫作模型, 就搜尋「code」。 或是想找出圖像類型的模型就搜尋「image」。
Ollama 模型庫會針對每一個模型列出它的特性、用途、有哪些版本可以裝⋯⋯下面還會直接讓你拷貝終端機的安裝語法(有夠貼心)。

點擊進入你感興趣的模型頁面後,務必點選「Tags」標籤頁。同一個模型通常會有多種版本,這裡會清楚列出:
● 參數規模:例如 7b、8b、70b 等(數字越大需要越高的硬體規格)。
● 量化程度:例如 q4_0、q8_0 等(影響模型大小與執行速度)。
● 特定用途:例如 instruct(對話指令版)或 text(純文本生成版)。
簡單來說這個 Library 就是 Ollama的應用程式商店(類似 App Store),只是大多數都是開源模型,不需要花錢就能取得。(難怪家家戶戶都在開發 AI 服務)

除了在 Ollama 的視窗對話,我們可以拿 AI 來作啥?
用 Ollama 來自動化名片工作
這篇文章一開始就說是要「在 Mac 上打造屬於自己的 AI 服務」,所以我們可以思考如何讓 AI 幫我們自動化的作一些事情。
用本地端 AI 可以作很多事情,我這邊就舉一個「自動化辨識名片並產出 .vcf 檔案的工作」的應用例子,如果大家覺得不錯也可以直接拿去用。
安裝適合辨識名片的模型:MiniCPM-V
Ollama 的模型中有一個擅長處理中文的模型「MiniCPM-V」,我們在這個 Case 中需要它強大的中文辨識能力,於是在終端機輸入:
ollama run minicpm-v
待安裝完成後,你可以先測試這個 MiniCPM-V 對於圖像的理解能力。開啟 Ollama 的 App,在 Ollama 對話中先選擇「minicpm-v」模型,並拉一張已經掃好的名片進去對話,假設我想要請它幫我解譯這張名片。

你會發現 Ollama 解出來的東西牛頭不對馬嘴,我查了一下,原因是因為:Ollama 的 "format": "json" 參數對某些視覺模型有 Bug,Ollama 的強制 JSON 輸出模式("format": "json")對於純文字模型(如 Llama 3)支援得很好,但套用在包含視覺編碼器的多模態模型(如 minicpm-v 或 llava)時,經常會導致模型「當機」或直接回傳空字串。因為它在生出 JSON 括號前,可能想先輸出一些思考過程,結果被系統強制阻斷了。
我們後續的程式會改成「關閉強制 JSON 模式,改用 Prompt 誘騙,再用 Python 擷取」。
用白話講就是,我會寫一個繞過它限制的方式。
先邏輯一下自動化名片工作的運作方式
現在,我要利用 Google Gemini 替我打造一個以 Ollama 執行 MiniCPM-V 的程式,然後它會自動化的幫我們把透過手機掃描的名片,自動地轉換成「..vcf」的檔案。在分析中我們會需要幾個條件:
1. 希望在執行之前程式會自動去安裝依賴庫
2. 程式執行後會自動喚醒 Ollama 執行 MiniCPM-V
3. 希望 MiniCPM-V 幫我們找到的名片欄位
4. 需要一個「1_待處理名片」的資料夾用來作為「輸入資料」用
5. 需要一個「2_已完成圖片」的資料夾用來擺放「做完的圖片」
6. 需要一個「3_輸出的 vCard」的資料夾用來擺放「完成的名片檔案」
7. 以上資料夾如果不存在必須自動建立
8. AI 需要去監聽「1_待處理名片」的資料夾,例如每 3 秒鐘會自動啟動一次
9. 用時間值來當作唯一編號,避免重複名稱的圖片造成資料混亂
這些條件你可以用 Vibe Coding 來產生可以運作的程式碼。礙於篇幅的關係,這邊我就不分享和 AI 交談過程迭代的細節,我直接把產出的程式碼給大家,你們只需要下載指令碼「AutoCards.py」,然後在你的電腦上執行即可。
如何使用 AutoCards.py
這邊說明你要如何使用「AutoCards.py」這個指令。
雖然 macOS 上也內建了一個 Python 版本。不過我會建議你使用 Homebrew 自行安裝一個「完全獨立且乾淨」的 Python 環境。除了可以確保使用的是最新版本之外,還能避免與 macOS 系統內建的 Python 版本發生衝突,讓專案管理更順利。
安裝 Homebrew 的方式請看上一期的專欄,這邊就不再贅述。
在 Homebrew 安裝 Python
同樣在終端機的視窗內輸入指令:
# 先執行更新 Homebrew
brew update
# 然後安裝 Python
brew install python
強烈的建議安裝完成 Python 後,請用指令驗證一下它安裝進去的版本:
# 檢查 python 版本
python3 --version
# 檢查 pip 版本
pip3 --version
Homebrew 安裝進去的 Python 會是較新的版本,名稱也統一會以「python3」來命名。
pip3 是 Python 的套件管理器(Package Manager)。如果把 Python 比喻成一支手機,那麼 pip3 就是你的 App Store 或 Google Play 商店。
現在你已經完成安裝 Python3 的環境。
下載並安裝「AutoCards.py」指令
從這邊可以直接下載 Alrin 為大家準備的指令「AutoCards.py」。
下載之後你會得到一個 zip 檔案,解壓縮之後就可以得到指令本身,指令要放在哪邊就看你自己方便。如果你像 Alrin 自己會在多台電腦上切換工作,我會優先推薦你在「iCloud 雲端」找一個專門放指令的資料夾裡面。
這樣你放進去,它就會全自動的同步到你的每一台電腦上,非常的便利。
執行「AutoCards.py」
要執行自動化辨識名片的任務,你只需要在終端機輸入:
python3 AutoCards.py
以下圖範例來說,Alrin 把 AutoCards.py 放在桌面上,於是輸入 python3 後面把程式直接拖進來終端機,它就會自動的幫你把路徑帶好:
python3 /Users/ a l rin/Desktop/AutoCards.py

按下執行後,AutoCards.py 就會開始自動為您偵測環境,並設定虛擬區,把該安裝的套件全部都安裝到 venv 裡面。
Venv 是 Python 的虛擬環境,用於隔離和管理這個專案所需的套件,避免與您電腦上其他 Python 專案或系統環境衝突。Venv 有點複雜,以後再分享這方面的知識。
當一切都就緒後,應用程式會再度彈出視窗要求你設定本次工作的路徑。

Alrin 把資料設定到「alrin/Desktop/sigil/」,設定好資料夾後,你可以看到終端機也會同時顯示相對應的路徑。

進入 sigil 資料夾之後你會發現,裡面已經自動建立了三個子目錄:1_待處理名片、2_已完成圖片、3_輸出的 vCard。

把檔案放進「1_待處理名片」內
現在,你可以大量的把你用手機掃描的名片,直接透過傳輸的方式丟到「1_待處理名片」資料夾內,AutoCards.py 每 3 秒鐘就會自動的執行一次。

實際執行完成後,你會在「3_輸出的 vCard」資料夾裡面看到 AutoCards.py 輸出的名片檔案。

這個 .vcf 檔案要如何使用?
就是直接 Double Click,電腦的通訊錄就會問你要不要加入名片。
現在 Microsoft Outlook 也認識 .vcf 格式,在 Windows 直接 Doubli Click 同樣會自動加入到 Outlook 的通訊錄裡面。

想修改執行的頻率
如果你想修改執行的時間,就是去修改程式碼第 249 行(while 迴圈中):
time.sleep(3)
此指令位於程式的 while 迴圈底部,time.sleep(3) 中的數字 3 代表程式將休眠 3 秒。您可以將其修改為 time.sleep(10),使程式改為每 10 秒重新執行一次偵測。
動手建立自動化流程
你指定的這個資料夾,也可以把它分享給網路上的其他電腦,如此一來他們掃描後丟到這個資料夾,就能自動化的產生 .vcf 檔案。後續就看你要不要自動化的讓它讀入到 macOS 的通訊錄裡面,或是寫一個 GAS 程式把它自動化的寫入到試算表裡(透過 Appsheet 把它變成商業通訊錄),這些都是可以透過後面再加工來辦到。
要怎麼離開程式的監聽狀態呢? 快速鍵按下 Control+C 即可離開「AutoCards.py」的執行狀態。(你把視窗直接關閉也行)
雖然這個程式仍有其不完美之處,它也無法處理所有形式的名片,但我希望透過這個簡單的流程,向大家展示如何利用 AI 模型在本地端搭建一個輕量級的自動化服務。
如果這篇專欄對您有所啟發,歡迎留言與我交流。若您有任何 Mac 相關的疑難雜症,也隨時可以提出。
本次分享到此結束,我們下期再見。
本文同步刊載於 PC home 雜誌

歡迎加入 PC home 雜誌粉絲團!
- 延伸閱讀:OpenAI 網羅前 Apple「捷徑」團隊,為 ChatGPT 注入 macOS 深度整合
- 延伸閱讀:終端機是什麼?Mac 使用者一定要學的超實用指令,解鎖 macOS 隱藏功能
- 延伸閱讀:Google 測試全新 Windows 桌面搜尋工具,操作就像 macOS 的 Spotlight
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!