免費攞：WhatsApp 催約・追覆・續會 30 條粵語模板

直接 copy 落 WhatsApp 用，留 email 即寄。唔會賣你資料。

免費下載 →

2026 本地 AI 工具深度實測：Ollama vs vLLM vs LM Studio vs GPT4All vs llama.cpp

Ollama v0.5.xMITWin/Mac/Linux

安裝體驗

Ollama 嘅安裝係五個裡面最簡單嘅。Windows 版直接 download installer（~280MB），下一步下一步就裝好。裝完開 cmd / PowerShell，打 ollama run qwen2.5:7b，等幾分鐘下載完就即刻 chat 得。全程大約 3 分鐘由零到有。

最大賣點係佢個 model library —— Ollama.com 上有超過 300 個模型，一行指令就 pull 落嚟。唔使自己搵 GGUF、唔使自己 quantize、唔使記 API endpoint。而且支援 OpenAI-compatible API（http://localhost:11434/v1），即係任何寫畀 OpenAI 嘅 code 都可以直接改 endpoint 就用得。

Mac 同 Linux 版都一樣簡單 —— 一個 installer 或一行 curl -fsSL https://ollama.com/install.sh | sh 就搞掂。跨平台一致性係五個裡面最好嘅。

推理速度

用 Qwen2.5 7B Q4_K_M 測試，單次 prompt（~500 tokens input / 300 tokens output），Ollama 跑出約 38 tokens/sec（batch size 1）。呢個速度對於 chat 類應用（你問一句佢答一句）完全足夠，感覺流暢，冇明顯延遲。

但如果係 batch inference（大量 document 同步處理），Ollama 唔係最好選擇。佢嘅 concurrent request 處理能力有限，多人同時用一個 Ollama server 嘅話，q 會排得長。佢嘅定位係「一個用戶、一部機、快速 chat」，唔係 server farm。

顯存方面，7B Q4 大約用 4.5–5 GB VRAM（視乎 context length），RTX 4070 12GB 完全夠用；如果要行 13B–14B Q4 版，大約 8–9 GB，都仲頂得住。70B 就唔使諗，要 40GB+。

香港適用場景

Ollama 最適合香港中小企做 內部 AI 助手：

• 文件摘要：放入合約／報告，叫佢 extract 重點——配合 本地部署嘅私隱優勢，唔驚機密外洩
• 簡單 RAG：用 Ollama + LangChain / LlamaIndex 搭一個內部知識庫 chatbot，問公司政策、產品目錄
• 開發者測試：寫 code 時用 Ollama 做 local code completion / review helper
• 教學：如果係新手，可以搵人幫手做埋 5 步本地 AI 學習路徑

Ollama 嘅社群生態係最大嘅優勢——幾乎所有新模型出咗，24 小時內就有 Ollama 版。無論你係做粵語 prompt 開發、文件處理、定係 agent workflow prototyping，Ollama 都係最易起步嘅選擇。

vLLM v0.7.xApache 2.0Linux (Win via WSL)

安裝體驗

vLLM 係五個裡面安裝最「技術向」嘅。官方主打 Linux（推薦 Ubuntu 22.04+），Windows 要用 WSL 2。安裝指令就一行 pip install vllm，但背後會 compile 一堆 CUDA kernel，第一次安裝等 10–20 分鐘好正常。預先安裝好 CUDA toolkit 同 PyTorch 可以慳返一半時間。

起 server 都好簡單：vllm serve Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4，佢會自動 download 模型、load 入顯存、喺 http://localhost:8000/v1 開一個完全 OpenAI-compatible 嘅 endpoint。任何用 OpenAI SDK 嘅 code 可以就咁改 base_url 就要用。

最大嘅入門障礙係 CUDA 生態——如果你用緊 consumer NVIDIA card（RTX 系列），vLLM 係用得的。但 AMD ROCm 支援仍然有限，Intel Arc 更加唔好諗。而且佢對 VRAM 比較 greedy：唔同模型要就住顯存揀 quantization 方法（AWQ / GPTQ 效果最好，GGUF 要經第三方轉換）。

推理速度

呢度係 vLLM 嘅主場。同一部機、同一個模型（Qwen2.5 7B INT4），vLLM 跑出約 85 tokens/sec——係 Ollama 嘅兩倍有多。呢個數字喺 batch size 4 之下量度；如果單一 request，大約 45–55 tok/s，仍然快過 Ollama。

最大嘅 secret sauce 係 PagedAttention——佢嘅顯存管理方式令 GPU memory 碎片大大減少。實際測試，vLLM 行同一條 prompt 嘅 peak VRAM 比 Ollama 低 ~15–20%，換句話說你可以喺同一張卡上行更大嘅 model 或者更長嘅 context。

Concurrent 能力係真正嘅 killer feature：vLLM 可以同時 handle 8–16 個 request 而每個嘅 latency 唔會倍增。如果你部署一個 internal chatbot server 畀全公司 20 個人用，vLLM 會係唯一夠力嘅選擇。

香港適用場景

• 公司內部 AI server：多人同時問 chatbot / 文件分析，vLLM 嘅 concurrent 能力先頂得住
• 批量文件處理：律師行一次過比對 100 份合約、診所一日幾百份病歷分類——vLLM 嘅 batch throughput 最強
• Embedding endpoint：用 vLLM serve embedding model（如 BGE-M3），畀 RAG pipeline 用
• 模型實驗：vLLM 支援 LoRA adapter swapping，啱要做模型 fine-tune 測試嘅團隊

如果同 硬件指南 配合，一張 RTX 4090 / DGX Spark 行 vLLM，可以 serve 成個小團隊嘅 AI 需求。但要留意佢嘅 server 管理要多少少技術底——冇 GUI、全部 config 靠 command line 同 YAML。

LM Studio v0.3.xProprietary (免費)Win/Mac/Linux

安裝體驗

LM Studio 嘅安裝係五個裡面最「App-like」嘅。去 lmstudio.ai download installer（~350MB），雙擊安裝，開 app，就見到一個靚靚嘅介面。左邊 search 模型（直接連 HuggingFace）、右邊 chat。唔使打任何 command。

模型下載、quantization 選擇、system prompt 設定全部 GUI 操作。內置一個 model manager 幫你管理已下載嘅模型、刪除清理。仲有個 local server mode（http://localhost:1234/v1），同樣係 OpenAI-compatible API。

唯一要挑剔嘅係——因為係閉源 app，冇駁到外部工具（如 LangChain / n8n）嘅 native integration。要用 API 嘅話可以，但佢個 local server 要手動開（GUI 撳制），唔似 Ollama/vLLM 咁 background service 自動行。

推理速度

LM Studio 嘅推理速度大約 32 tokens/sec（7B Q4_K_M），比 Ollama 慢少少但感覺上分別唔大。原因可能係佢用了 llama.cpp backend 但包咗多一層 UI。

不過對於一般 chat 場景（你打字 → 佢答），30+ tok/s 已經好流暢——人閱讀速度大約 5–10 tok/s，所以你完全感覺唔到佢「慢」。只有 batch 場景（大量文本一次過生成）先會察覺分別。

LM Studio 支援 GPU offloading（喺 settings 揀用幾多層 GPU、幾多層 CPU），對混合顯存／系統 RAM 嘅機器靈活度最高。你可以逐層逐層較，搵出自己部機嘅最佳平衡點。

香港適用場景

• 非技術用家自己試 AI：老闆、經理、唔識 command line 嘅同事想試下「本地 AI 係點」——LM Studio 係最好嘅 introduction
• presentation / demo：見客時開部 notebook show 本地 AI 點運作，GUI 比 terminal 專業好多
• 會議記錄測試：用 LM Studio 嘅本地 server mode 接會議記錄工具試 prototype
• 教學用途：同 診所 AI 自動化 呢類非技術場景配合，唔使同事學 command line

GPT4All v3.5.xMITWin/Mac/Linux

安裝體驗

GPT4All 係唯一一個「冇 GPU 都推到本地 AI 模型」嘅工具。安裝最快——download 個 ~120MB installer，下一步下一步，一分鐘搞掂。開 app 後揀一個 model download（預設係佢哋自家嘅 GPT4All Falcon，~3.8 GB），等人 load 完就 chat 得。

佢用嘅係自家 optimized 嘅 ggml 格式，專門針對 CPU 推理做咗優化（AVX2 / AVX512 / NEON 指令集加速）。model zoo 內有 ~50 個預先 convert 好嘅模型，全部一鍵下載。

Graphical interface 走簡潔路線——左 model list、右 chat。功能比 LM Studio 少但勝在輕量。有 built-in local RAG（可以 import 文件夾做 knowledge base），呢點對知識管理場景好有用。

推理速度

呢度係 GPU 級工具同 CPU 級工具嘅分水嶺。GPT4All 7B Q4 喺純 CPU（Ultra 9, AVX2）大約 8 tokens/sec——比 Ollama / vLLM 慢 4–10 倍。對於 chat 來講仍然可用（人類閱讀速度快過 8 tok/s），但 batch 場景就頂唔順。

如果部機有 GPU（RTX 4070），GPT4All 理論上可以用 GPU，但實際支援有限——唔似 Ollama／LM Studio 咁有完善的 GPU offloading。官方建議純 CPU 使用。好在，8 tok/s 已經夠畀一個人慢慢 chat，而且 CPU 推理嘅好處係：唔會佔用 GPU VRAM，你可以同時行其他 GPU 任務。

VRAM 用量：0（純 CPU）。RAM 用量大約 6–8 GB（7B 模型）。如果你部機得 8GB RAM，可能淨係行到 3B 模型。

香港適用場景

• 舊機重用：公司有堆 5 年前嘅 i7 PC 冇 GPU？裝 GPT4All 就得，唔使 upgrade 硬件
• 純文書工作 AI 助手：一般 office 文員做文件摘要、電郵草擬，8 tok/s 已經夠
• local RAG：GPT4All 嘅 built-in knowledge base 功能直接用 local 文件做 Q&A
• 教學用 demo：用最 cheap 嘅硬件 show「本地 AI 係人人都用得」

但要留意：如果你需要即時回覆（chatbot 畀客用）、batch 大量處理、或任何對 latency 敏感嘅場景，GPT4All 唔係選擇。佢係「有就得」嘅工具，唔係「快」嘅工具。

llama.cpp b43xxMITWin/Mac/Linux/Android/iOS/嵌入式

安裝體驗

llama.cpp 係五個裡面最「工程向」嘅。官方支援三種安裝方式：pre-built binary（GitHub Releases 有 Windows / Mac / Linux 版）、CMake build、或者直接用 make 編譯（Linux / Mac）。Windows 用 CMake 編譯大約 5–10 分鐘；用 pre-built binary 就 download 就 run 得。

佢唔係「一個工具」而係「一組工具」——有 llama-cli（chat）、llama-server（HTTP server）、llama-perplexity（perplexity 評估）、同埋大量 convert／quantize 腳本。所有操作都係 command line，冇 GUI。

佢嘅 GGUF 格式係本地 AI 社群嘅事實標準——Ollama、LM Studio 都係用 llama.cpp 嘅 GGUF backend。如果你自己 convert model 或者做 custom quantization，llama.cpp 嘅工具鏈係唯一途徑。

推理速度

llama.cpp 7B Q4_K_M 跑出約 35 tokens/sec（CUDA backend），同 Ollama 好接近（其實 Ollama 底層就係用 llama.cpp）。batch size 1 嘅速度同 Ollama 幾乎一樣，因為同一條底層 library。

但 llama.cpp 嘅優勢係：佢畀你逐個參數 tune——batch size、thread count、GPU layers、context size、flash attention 開關——全部可以手動指定。熟手嘅話可以榨出比 Ollama default config 多 10–15% 嘅性能。

另外，llama.cpp 支援嘅 backend 係最多嘅：CUDA、Vulkan（所有 GPU）、Metal（Apple）、SYCL（Intel）、甚至純 CPU 同 Apple Neural Engine。如果你有古怪嘅硬件（Intel Arc GPU、Qualcomm Snapdragon NPU），llama.cpp 好可能係唯一 support 嘅選擇。

香港適用場景

• 邊緣裝置 / IoT：Raspberry Pi 5 行 3B 模型做本地 AI 感應器、門口 chatbot
• 手機 app：用 llama.cpp 嘅 Android／iOS build 做 app 內本地 AI 功能
• Custom quantization：你需要特定精度（Q2–Q8 / FP16）去 fit 某張卡嘅 VRAM
• CI/CD 自動化：llama-server 可以 dockerize，嵌入 deployment pipeline
• 比較：睇埋我哋嘅 AI Agent 成本懶人包