M6晶片記憶體頻寬達每秒153GB,高配版更可達170GB,資料傳輸速度極快。
M5 Pro則擁有每秒307GB頻寬,配合18核CPU及20核GPU,直接決定模型生成速度。
M6及M5 Pro均提供16、24、32GB選項,M5 Pro更備有48或64GB高配版本。
統一記憶體由CPU同GPU共用,整塊記憶體都俾AI模型使用,記憶體越大可跑參數越大的模型。
開Terminal輸入pip install mlx-lm安裝MLX,這是Apple官方機器學習框架。
使用mlx_lm.server啟動本地伺服器,簡單兩步即搞定環境,準備好同模型對話。
Ollama預設服務位為localhost端口11434,但預設上下文僅4096 tokens。
若需讀取長文件,務必自行調整Ollama context length,否則模型讀到一半會斷線。
LM Studio內建本地伺服器,開啟Toggle即變為OpenAI兼容API,預設端口為1234。
介面簡潔無需打指令,直接輸入問題即可對話,非常適合新手玩家快速上手本地AI。
M5 Pro頻寬較大,適合跑大型模型;M6性價比高,適合初學者入門。
因為預設上下文只有4096 tokens,需要手動調整Ollama context length設定。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.