Desktop Agent 點樣「睇」你個螢幕？

2026 年，AI desktop agent（例如 Agent-Desktop、Cua driver、Anthropic CoWork）愈來愈流行。呢啲 agent 嘅核心技術係 accessibility tree——即係 OS 用嚟幫視障人士讀屏嘅 API。

同 screenshot 唔同，accessibility tree 唔會 capture 像素（即係你桌面張個人相片、影片畫面唔會俾 agent 睇到），但佢會讀取所有 UI 元素嘅文字內容——包括：

  • 密碼欄位：雖然 password field 嘅 text 會 mask，但 character count、placeholder、label 全部可見
  • 訊息內容：WhatsApp、Telegram、Slack 嘅訊息 preview 同對話內容
  • 銀行 App：戶口號碼、交易記錄、轉帳金額
  • Email：收件箱標題、sender、preview 文字
  • 設定頁面：WiFi 密碼、API key、access token 嘅欄位名同長度
✅ Screenshot 嘅問題：
Capture 成個畫面 → token 極貴 → 相片/影片內容暴露
❌ Accessibility tree 嘅問題：
只 capture text → token 極平 → 但所有 UI 文字內容暴露

呢個技術係一把雙面刀：對個人用戶嚟講，accessibility tree 比 screenshot 更慳 token 但暴露更多敏感文字；對企業嚟講，呢啲文字內容可以包含客戶資料、商業機密。

點解而家先有人講？

過去幾星期，YouTube 出現咗幾條討論 desktop agent 安全嘅片（~5K-15K views），Reddit 上都開始有人問「when your computer use agent should look at pixels vs tree」。主流輿論傾向一個結論：accessibility tree 唔係天生安全，而係需要配合正確嘅 sandboxing 策略。

4 個安全原則保護你嘅 Desktop Agent

如果你都想試 desktop agent，以下 4 個原則可以大幅降低風險：

原則 1

🔒 專用資料夾（Dedicated Folder）

唔好俾 desktop agent access 你成個家目錄。開一個專用 ~/agent-workspace/，只俾 agent 讀寫呢個 folder。咁樣就算 agent 有 bug 或者被 prompt injection，佢都讀唔到你 Documents 同 Desktop 上面嘅敏感檔案。呢個做法喺 Don't Give AI Full Access to Files (~5K views) 入面都有推薦。

原則 2

🔒 限制檔案系統權限（No Filesystem Privileges）

Desktop agent 唔需要 access 成個檔案系統就做到嘢。用 OS 嘅權限機制（macOS sandbox-exec、Windows AppContainer、Linux bubblewrap）限制 agent 只可以睇到指定目錄。最好嘅設定係 agent 唯一 write 到嘅位置就係佢自己嘅 workspace，連 read 其他 folder 都唔准。

原則 3

🔒 限制 Network Reach（Network Isolation）

Desktop agent 背後通常會 call LLM API（OpenAI / Anthropic / 本地模型）。呢個 network connection 就係 potential data leak 嘅路徑——agent 讀到嘅 UI 文字有機會經 API request 傳返出去。解決方法：用本地模型（Ollama / llama.cpp），data 完全唔離開你部機。如果一定要用 cloud API，確保 agent 只 connect 到一個 whitelist 嘅 endpoint，唔好俾佢自己 call 其他 URL。

👉 本地 AI vs 雲端：點解 data privacy 係最大分別？

原則 4

🔒 Container Isolation（容器化隔離）

最徹底嘅做法：成個 desktop agent 行喺 container 入面（Docker / Podman / Lima），用 container 做 sandbox。咁樣就算 agent 被 prompt injection 或者有 vulnerability，攻擊者嘅影響範圍只局限喺 container 內部。大部份現代 desktop agent 框架（Cua driver、OpenHuman）都有 container 部署模式。

📬 想每個星期收到最新本地 AI agent 安全貼士？

免費清單包含 2026 Free AI Tools Master List 做見面禮，唔會 sell 你嘢。

免費訂閱

香港人點樣安全用 Desktop Agent？

如果你係香港 developer 或者中小企 IT 決策者，考慮用 desktop agent 時，建議跟呢個 check list：

  • ✅ 揀有 container 模式嘅 framework：Cua driver 同 OpenHuman 都有 container 部署選項
  • ✅ 優先揀本地模型：用 Ollama 或 llama.cpp 行本地 LLM，data 唔離開你部機
  • ✅ 分開 agent 用嘅賬戶：喺 OS 開一個低權限 user account 專俾 agent 用
  • ✅ 定期 audit accessibility tree read log：睇下 agent 讀過邊啲 App 嘅 UI content
  • ❌ 唔好俾 agent access browser credential manager：呢個係高風險區域
  • ❌ 唔好喺 agent 運作期間開 sensitive App：例如網上銀行、email client

其實 Desktop Agent 比你想像中安全？

客觀啲講，accessibility tree 比 screenshot 喺某啲方面更安全：

  • 唔會 capture 像素：個人相片、影片畫面、Captcha 圖像呢啲非文字內容完全唔會被讀取
  • 冇畫面 data：就算 agent 被 hack，黑客都 get 唔到你桌面嘅 screenshot
  • 可以 granular control：你可以喺 OS 層面控制邊個 App 俾唔俾 agent 讀 accessibility tree

所以關鍵唔係「accessibility tree 不安全」，而係「你點樣 set 個 agent 嘅權限」。正確設定嘅 desktop agent 可以好安全，但 default setting 就唔一定。

想了解更多？睇AI 安全對香港中小企有咩影響，入面有 FTC 調查同金管局 genAI sandbox 嘅對比。