第三方實測顯示，用 QLORA 技術微調 7B 模型，大約 6-10GB 顯存已足夠。
若想更穩陣處理 7-13B 模型，24GB 顯存嘅卡（如 RTX4090）係甜蜜點。
跑 70B 級別模型需要起碼 80GB 級專業卡，普通家用卡無法勝任。
DGX8 雖有 128GB 統一記憶體且支援推理微調，但僅 240W 低功耗，定位清晰非高轉數訓練機。
首先要裝好相關環境，打開 Terminal 輸入指令安裝必要庫。
接著必須設定量化參數，確保系統知用邊種量化，這步直接決定記憶體用量。
啟動服務後通常開 localhost 11434 端口，可用瀏覽器或 API 測試連線。
服務地址必須正確否則接唔到模型，發送簡單指令確認回應即驗證部署成功。
微調係算力同記憶體頻寬雙重問題，推理只需權重加 KV Cache。
全量微調需多卡配合 FSDP 或 DeepSpeed 切分模型，單卡無法運行。
推理只需載入權重同 KV Cache，但微調還要儲存梯度同優化器狀態，所以記憶體需求係推理嘅幾倍。
通常唔得。全量微調需要多張卡配合 FSDP 或 DeepSpeed 等技術將模型切分，個人開發者建議用 LoRA。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.