MLX係Apple為Apple Silicon設計嘅機器學習框架。
利用同一記憶體架構，CPU同GPU可以共用記憶體，減少數據搬移等待時間。
可以跑 Mistral 7B 等開源大語言模型。
MLX LLM 支援將 Hugging Face 模型轉換為 MLX 格式，理論上該平台上有嘅模型都可以轉換嚟跑。
第一步喺 Terminal 安裝 Python 和 PIP。
第二步用 PIP 安裝 MLX 和 MLXLM。
第三步將 Hugging Face 模型轉換為 MLX 格式。
第四步運行推理指令，全部喺 Terminal 執行，無需複雜設定。
服務位置係 Local Host 11434，係 Olima 預設本地端口。
用家可以透過呢個位置發送請求同模型講話。MLX 推理接口亦可以直接喺本地運行，不一定要經過 Olima。
模型轉換所需時間同首次加載模型嘅等待係真實瓶頸。
同一記憶體雖然快，但記憶體不足可能導致模型無法完整載入。MLX 只支持 Apple Silicon，Intel Mac 用唔到。實測結果會因 Mac 型號同記憶體配置而異。
唔支持，MLX 只支持 Apple Silicon。
不係，只要係 Hugging Face 上有嘅模型，理論上都可以轉換嚟跑。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.