這個配置有 24GB 顯示器記憶體,相當於可以塞落很多張高清相片。
系統記憶體有 128GB,即是等於一張大桌可以放很多本書。
可以跑 70B 模型,有 700 一個參數的大腦,相當於一個超級智能助理。
可以跑 32B 模型,有 321 個參數,夠日常使用。
第一步是安裝 Alima 軟件,係本地運行大模型嘅基礎工具。
第二步係啟動 Alima 服務,讓電腦準備好接收指令。
服務位置係 Local Host 11434,即是你電腦內部嘅一個專用入口。
可以透過該位置發送指令畀模型,模型會喺該端口回覆你嘅問題。
真實瓶頸係系統記憶體會成為限制,因為模型需要塞入 128GB 記憶體。
處理器 24 核心雖然強大,但大模型運算仍然需要時間。
唔需要,可以透過 Local Host 端口喺本地直接同 AI 對話。
不可以,每個步驟都要按次序做,唔好跳過。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.