M4 Max Max Studio 擁有 128GB 統一記憶體,即係一張大檯面,可以一次處理多項工作。
CPU 有 16 核心,即係 16 個工人同時造工,GPU 有 40 核心負責圖像同運算。
70B 模型大約 40GB,即係一個大行李箱,可以放入 128GB 記憶體。
405B 模型大約 240GB,兩個大模型加起來超過 128GB,唔宜同時跑。
首先輸入指令安裝 alama 軟件,即係打開 AI 引擎嘅第一步。
接著啟動服務同叫出模型,三個指令就完成全部安裝過程。
服務位置係 Logohost 11434,即係自己電腦內一個專用入口。
在瀏覽器輸入位置並同意,就可以開始同 AI 對話發問。
128GB 記憶體有最大限制,唔可以無限跑模型。
同時跑太多大模型會導致記憶體不足,運行變慢,建議一次只跑一個。
用自己機器跑模型,完全私隱,資料不會外洩。
唔宜,因為兩個大模型加起來會超過 128GB 記憶體限制。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.