NVIDIA SPARK 跑 20B 模型約每秒 70 字，反應快過正常人說話。
即使換成 120B 大模型，速度仍有每秒 50 字左右，體驗順滑無卡頓。
Apple M4 Pro 跑 7B 細模型約每秒 35 字，但硬塞 70B 會跌至每秒 3 字。
這意味著你要等幾十秒才見到一句話，證明機不是越貴越好，匹配才是關鍵。
使用 Ollama 等工具內置 API，開啟終端機輸入指令即可開始對話。
幾分鐘內見到文字逐個字彈出，無需複雜環境或程式碼，新手也能上手。
預設會在電腦本地開服務，只需連接 localhost 的 11434 端口。
無論用網頁介面或程式調用，指向該地址即可處理問題並返回答案。
API 會回報生成字數與時間，相除即得每秒字數，進階可用 llama.cpp 測試工具。
瓶頸主要係記憶體頻寬，MoE 模型因啟動部分參數，速度通常比傳統模型快。
用 API 回報嘅生成字數除以用時，或用 llama.cpp 官方測試工具獲取平均速度與標準差。
選擇 MoE 類型模型，因為每次只啟動部分參數，通常比同等大小傳統模型更快，選擇模型比升級硬件更平。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.