SPARC 機台配備 128GB 統一記憶體,可以同時放多本書喺腦袋內,應付大型模型運算滑滑有餘。512GB 儲存空間相當於可以儲存幾千張高清相片,足夠存放多個模型檔案。
可以跑 70B 參數模型,模型規模相當於一個大型圖書館嘅知識量,適合處理複雜嘅語言理解任務。405B 參數模型重大,相當於整個城市嘅圖書館總和,強大到可以處理極其複雜嘅推理同生成工作。
第一步喺終端機輸入安裝指令,將 Aruma 軟件下載同安裝到你電腦。第二步啟動 Aruma 服務,服務會喺本地端後 11434 運行,等待連接。第三步確認服務已經啟動,就可以開始使用。
服務位係 Logo host 11434,即係喺自己電腦內找呢個門牌號碼,好似反家一樣簡單。輸入模型名稱就可以開始對話,好似同朋友說話一樣,即時獲得回應。你可以測試不同類型嘅問題,看看模型嘅反應同準確度。
最大瓶頸係記憶體,跑大型模型時可能會佔用大部分空間,導致其他程式變慢。記住關閉不需要嘅程式,避免記憶體不足導致當機。長時間運行大型模型亦會增加電腦發熱,建議確保良好散熱。
適合開發者同 AI 愛好者,讓你可以喺本地環境運行大型語言模型,無需依賴雲端服務。
你嘅數據不會上傳到雲端,私隱性更高,就係你同无形溝通嘅橋梁。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.