開發者必看！HoloDesktop CLI 讓 AI Agent 直接操作桌面 GUI，支援 MCP 協定與本地端運行

AI 科技公司 H Company 發表了全新的用戶端工具「HoloDesktop CLI」，旨在讓 AI Agent（AI 代理）能夠操作專為人類設計的電腦桌面螢幕。官方表示，透過 HoloDesktop CLI，可以為 AI Agent 增添「視覺辨識螢幕」與「實際操作電腦」的雙重能力。

過去的 AI Agent 較擅長撰寫程式碼、呼叫外部工具或彙整搜尋結果等任務。然而，像是點擊螢幕上的按鈕、確認以圖片格式儲存的收據等「人類用眼睛看、動手操作的日常工作」，對 AI 來說一直是一大挑戰。

擺脫 API 限制：讓 AI 直接「看懂」並操作桌面螢幕

HoloDesktop CLI 是一款用來在電腦上啟動並運行 H Company 電腦操作型 AI Agent「H Agent」的用戶端程式。

由於 H Agent 能一邊確認螢幕畫面，一邊在整個作業系統中進行滑鼠操作與鍵盤輸入，因此即使應用程式本身沒有提供給 AI 使用的專用 API，它也能像人類一樣看著螢幕畫面逐步完成工作。

整合 Claude Code 與 Cursor 等開發環境

HoloDesktop CLI 支援用於連結 AI Agent 與外部工具的 MCP 協定、讓主 Agent 將工作委派給子 Agent 的 ACP 協定，以及實現 Agent 之間通訊的 A2A 協定。

由於它能與其他 Agent 協同運作，因此可以輕鬆整合至開發者現有的 AI Agent 環境中，例如「Claude Code」、「Cursor」、「Codex」、「Hermes」、「OpenClaw」與「NemoClaw」等。

舉例來說，當使用 Claude Code 為網頁應用程式開發新功能時，如果只涉及程式碼的修改，Claude Code 單獨就能完成。然而，若要實際登入系統、切換頁面，並確認篩選器功能是否正常運作，就需要對圖形使用者介面（GUI）進行操作。

藉由 HoloDesktop CLI，我們能實現一套流暢的工作流：當 Claude Code 寫好新功能後，會將測試工作移交給 HoloDesktop CLI；接著，HoloDesktop CLI 會在畫面上執行測試並尋找 Bug，一旦發現問題，便回報給 Claude Code 進行修復，修復完成後再由 HoloDesktop CLI 進行二次功能驗證。

兼顧便利與隱私的推理選擇

在推理運算的執行方式上，HoloDesktop CLI 也提供了彈性的選擇。如果追求便利快速，可以直接調用 H Company 的 Models API；若是對隱私要求較高，則可以選擇自建代管（Self-host）架構，在自己的硬體設備上執行 Holo3.1 系列模型。在本地端模式下，所有的螢幕截圖、按鍵輸入以及應用程式的內容，都不會被傳送至外部伺服器。

此外，由於這是會直接控制電腦的 AI Agent，為了確保安全性，除了常規的停止指令外，系統還設計了緊急停機開關（Kill Switch）——使用者只需「快速連按兩次 Esc 鍵」，就能立即暫停並取消當前正在執行的所有自動化操作。

值得注意的是，雖然在 holo-desktop-cli 儲存庫中開源的 CLI 以及與 MCP、ACP、A2A 協作的部分是採用 Apache 2.0 開源授權，但實際驅動 Agent 運作的核心「hai-agent-runtime」執行檔，則是屬於 H Company 專有條款授權的閉源（Closed Source）組件。

展望未來，H Company 計畫開發背景運行模式，讓 H Agent 能在使用者持續使用筆記型電腦的同時，在背景處理其他工作；另外也打算推出可整合至日常工作流程中的原生應用程式。此外，該公司還透露，未來預計提供基於雲端的電腦操作 Agent，以實現跨多部電腦協同運作的能力。

• 延伸閱讀：微軟公佈 Project Solara 新系統平台：不用 Windows 改用 Android 核心，專門運行 AI 代理
• 延伸閱讀：OpenAI 預告將 Codex 併入 ChatGPT，針對職場應用推出 AI 代理外掛程式
• 延伸閱讀：COMPUTEX 2026 規模再創歷史新高：重返世貿首設 AI 機器人專區，AI 代理成焦點