概念解說 · 2026-10-26
直接 copy 落 WhatsApp 用，留 email 即寄。唔會賣你資料。
免費下載 →唔使雲端、唔使月費，私隱自己管。但跑70B模型真係咁難？拆解硬件配置與速度限制。
Llama 3.3 70B經過量化後，Q4_K_M版本嘅GGUF檔案大細約42.5GB。
呢個數字直接決定你需要幾多記憶體，如果部機只有32GB RAM，連個檔案都載唔入。
單張RTX 4090或5090嘅顯存不足，必須使用雙卡或CPU混合模式。
Apple統一記憶體有優勢，Mac Mini M4 Pro最高64GB，Mac Studio M3 Ultra可達512GB。
最簡單方法係用Ollama，開啟Terminal輸入一行指令即可自動下載配置。
系統會自動處理依賴關係，完全唔使寫任何程式碼，對新手極度友善。
你可以直接用Terminal互動，或者用llama server啟動本地HTTP伺服器。
預設端口8080且相容OpenAI API格式，原本接OpenAI嘅程式改個地址即可。
70B係Dense架構，速度受記憶體頻寬支配，M4 Pro 64GB約3 tokens每秒。
若追求極致速度，本地跑70B未必最佳，但重視私隱或離線使用則係唯一出路。
唔可以，連42.5GB嘅模型檔案都載唔入。
速度受記憶體頻寬支配，要快就要揀頻寬更快嘅機器。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。