直接 copy 落 WhatsApp 用，留 email 即寄。唔會賣你資料。
免費下載 →2026-10-31 · 用我真金白銀部機跑出嚟嘅數字，唔係 lab benchmark。
| 項目 | 實測值 |
|---|---|
| 模型 | Qwen3.8-Flash-Next UD-Q4_K_XL |
| 權重大細 | 111 GB（4 個 shard） |
| 生成速度 | 約 22 tok/s |
| Prompt 處理 | 約 520 tok/s（1,519 tokens / 2.9 秒） |
| 冷載入 | 3 分 24 秒（到可以答第一句） |
| 硬件 | 2 × NVIDIA GB10，各 121GB 統一記憶體，200Gb/s RoCE |
| 推理引擎 | llama.cpp（RPC 分散式） |
寫一段 300 字嘅稿，大概 14 秒；整理一封長 email 做摘要，5 秒內出到。 同雲端 API 比，慢大約 4–8 倍，但唔會忽然加價、唔會 limit、唔會將客戶資料送出街。
真正要接受嘅代價係「開機儀式」：3 分 24 秒冷載入。所以我唔會關機，改用睡眠 + 定時叫醒， 並且將「有冇真 crash」同「故意叫醒」分開記錄，避免假警報。
兩部機用 llama.cpp RPC 串起跑，一開始不停出 transport retry exceeded，
載入到一半就斷。原因係 RDMA 路徑唔穩。解法係關掉 RDMA：
export GGML_RPC_NO_RDMA=1
之後連續跑幾個鐘都冇再斷。如果你都係雙機跑大模型，呢個係第一個要試嘅開關。
唔講「本地一定平」呢種口號。實際要計三樣：機器折舊、電費、你自己嘅等待時間。 如果你每日用得多（例如十幾個 agent 長期跑），本地攤薄之後會贏； 如果你一日只問幾句，API 仲便宜而且快。免費工具頁 有實際跟進流程可以即刻試。
128GB 記憶體夠唔夠跑 111GB 模型？
夠，但冇乜水位留。KV cache 同 context 越長就越食，建議同時關掉其他大程式。
22 tok/s 夠用嗎？
寫稿、摘要、客服回覆夠。即時語音對話就嫌慢，要靠細模型或者雲端。
最常見失敗原因？
一是冷載入未完成就發請求（要等 3 分幾鐘），二是雙機 RPC 開咗 RDMA（要設 GGML_RPC_NO_RDMA=1）。