Llama 3.3 70B 經過壓縮後檔案大小為 42.5GB。
這直接決定了你電腦記憶體的硬性下限，若記憶體小於此數，模型根本無法載入。
安裝前務必檢查電腦記憶體容量，確保足夠容納整個模型。
Mac Mini M4 Pro 最高配備 64GB 統一記憶體，足以載入模型。
Mac Studio M3 Ultra 最高達 512GB，頻寬高達 819GB/s。
高頻寬讓數據傳輸如超寬高速公路，避免處理時出現塞車現象。
單張 RTX 4090 僅有 24GB 記憶體，連模型一半都載不入。
單卡硬跑會導致爆機，建議使用兩張卡或 CPU 混合模式。
對於一般用戶，直接用 Apple Silicon 或多張高階卡組合更穩陣。
開啟 Terminal 輸入 `llama run llama 3.3 70b` 即可自動下載執行。
啟動 llama-server 後預設端口為 8080，兼容 OpenAI API。
無需寫新代碼，只需修改設定即可用現有軟件連接本地模型。
70B 模型每個字都要調用全部權重，如同每次問答都要翻遍圖書館。
速度直接受記憶體頻寬支配，Mac M4 Pro 64GB 約每秒生成三字。
這是 Dense 模型的宿命，不像 MoE 模型可只啟動部分參數。
不可以，單張卡只有 24GB 記憶體，不足以載入 42.5GB 的模型，會導致爆機。
可以，只需在 Terminal 輸入指定指令即可自動下載執行，無需編程知識。
因為 70B 模型每次生成字都要讀取全部權重，速度受限於記憶體頻寬，約每秒三字屬正常現象。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.