重點速覽 · TL;DR

  • 本地 AI = 模型喺你自己電腦跑，資料唔上雲，唔受地區限制。
  • 硬件門檻：8GB RAM 跑 7B 量化；16GB 跑 13B；24GB VRAM 跑 30B 級；48GB+ 先叫舒服跑大模型。
  • 工具：Ollama／LM Studio 最易上手；vLLM 適合多人同時用。
  • 成本 vs 雲端：本地一次性硬件＋電費；雲端按 token 收費。用量大先回本。

本地 AI 同雲端 AI 有咩分別？

雲端（ChatGPT、Claude）係用供應商嘅伺服器，按用量收費，資料會離開你部機。本地 AI 係下載開源模型（Qwen、Llama、Mistral）喺你電腦跑，資料唔出機，亦唔受「封香港」影響。代價係你要有硬件、要自己維護。

本地 AI 模型硬件需求（實用版）

你部機跑到嘅模型體驗
8GB RAM（無獨顯）7B 量化（Q4）慢，答短問題可以
16GB RAM7B–13B 量化可日常用，速度一般
24GB VRAM（如 RTX 4090）30B 級量化流暢，可寫稿／客服
48GB+ VRAM／統一記憶體70B 級或更大接近雲端質素

以上係粗略指引；實際取決於量化方式、context 長度、同你部機嘅記憶體頻寬。

三個入門模型

  • Qwen：中文／粵語語感好，香港最常用。
  • Llama：生態最大，工具支援最齊。
  • Mistral：英文強、速度快。

工具點揀

  • Ollama：一鍵下載＋跑模型，最適合入門。
  • LM Studio：有圖形介面，適合唔想掂 command line。
  • vLLM：多人同時用、要 API 化先揀。

成本對比（老實講）

本地：硬件（用現有電腦可 $0）＋電費（長開大約每月幾十至幾百港元，視乎機種）。雲端：按 token，用量細時更平。所以「本地一定平」係錯嘅——用量大、重視私隱、或者要離線，本地才抵。

限制

  • 質素通常低過頂級雲端模型。
  • 大模型要 VRAM；唔夠就要量化，質素再降。
  • 要自己更新、自己維護，唔係「裝完一世唔理」。

想直接起步？

我寫咗 Local AI HK Starter（HK$29），包硬件選擇、安裝步驟、粵語 prompt 範本。想先睇概念，可以攞 中小企本地 AI 部署指南（HK$6） 或 粵語 Prompt Cheat Sheet（HK$6）。