Free Download · 免費工具包 02

你部機已經跑到本地模型
就差一個真正做嘢嘅 agentZero cloud cost

大部分人卡喺同一格:模型跑得起(llama.cpp/LM Studio/Ollama),但得個聊天框。呢個包幫你把 Hermes agent 接上去——會用工具、會讀檔、會跑指令,全部留喺你自己部機。

⬇ 直接下載 zip(4 KB,免費)

或者留 email,我寄 zip 俾你(之後有本地 AI 嘅新教學會通知你,唔會 spam):

入面有咩(3 個檔)

A

setup-hermes-local.sh

自動偵測你個 endpoint、抽出正確模型名、寫入 model.provider/model.base_url/model.default。支援 llama.cpp、LM Studio、Ollama、vLLM。加 --dry-run 可以只睇唔改。

B

verify.sh

三層檢查:/v1/models 通唔通、chat completions 真係答唔答、Hermes 設定同 endpoint 一唔一致。唔通會直接講邊層死。

C

README.md(粵語)

三步上線,加 5 個最常見錯誤:model not found、答到一半停、連線 refused、慢到似死機、config key 認唔到。

D

實話一段

本地模型能力唔等於頂級雲端模型。呢個包幫你換走「月費+私隱」,唔係換走「能力上限」——所以 README 有教你混合用法:日常 local、難題 cloud。

兩行就明

llama-server -m Qwen3-8B-Q4_K_M.gguf --port 8000 --ctx-size 16384 --jinja
./setup-hermes-local.sh --provider llamacpp --base-url http://127.0.0.1:8000/v1

--jinja 唔好漏:冇佢,好多新模型嘅 tool calling 會壞,症狀係 agent 講嘢得但唔會用工具。

下載(免費)

接完之後,想更快/更大?

《Local AI HK Starter》US$29 — 粵語步驟:量化格式點揀、VRAM/記憶體對照表、每個模型實測 prompt、幾時應該放棄本地改用雲端。同一個 endpoint,唔同嘅判斷。

睇 Local AI HK Starter(Gumroad) 全部產品

唔想自己搞?

我可以遙距或上門,一日幫你裝好本地模型+1 個自動化 workflow(WhatsApp 回覆/預約提醒/報價跟進),連 60 分鐘上手。HK$2,980 起,做唔到全額退。

本地 AI 安裝服務 →

免費派發,歡迎轉發;請勿轉售或收費轉載。Starter Pack 內含腳本可自由修改自用。