Spark是一款本地AI運行環境,專門幫普通人在自己電腦跑大語言模型。你不需要是技術專家,亦不需要買昂貴伺服器。
Spark設計目是讓AI變得更易達,很多人都可以在家居或辦公室使用。
Spark擁有128GB同一記憶體,即是可以同時處理好多資料而不用等。記憶體256GB等於一張大桌子可以放好多本書,空間夠大。
記憶體頻寬273GB每秒,即是資料搬運好快,不用長時間等待。記憶體頻寬800GB每秒,快過一般電腦好多,處理複雜任務也綽綽有餘。
可跑七比參數模型,是小小的AI,適合入門。可跑三二比參數模型,能力更強,可以處理較複雜問題。
可跑七零比參數模型,等於一個大型知識庫,適合專業用途。可跑四零五比參數模型,是目前最大的選擇,能力最強。
第一步,安裝阿嬤軟件,是整個過程的基礎。第二步,啟動阿嬤服務,讓系統準備好接收請求。
第三步,下載模型,3.2,這個是實際會用到的AI大腦。第四步,確認服務正常運行,確保一切準備就緒。每個指令都要在終端機輸入,不要跳步,每一步都是必要的。
安裝好之後,你便可以開始和模型說話,試看它的反應如何。服務位置是Logal Host11434,即是你電腦內部的一個入口,好像一線門。
你可以在瀏覽器或終端機連接這個位置,發送信息級模型。模型收到之後會回覆你,完成一次對話。這個端口係預設直,安裝後通常自動啟用,你不需要額外設定。
不需要,Spark 設計目是讓AI變得更易達,普通人都可以在家居或辦公室使用。
服務位置是Logal Host11434,即是你電腦內部的一個入口,安裝後通常自動啟用。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.