SPARC 是運行時語意發現同演化動作字母表方案,主要解決大模型落地時語意發現不夠準確的問題。方案幫助把語意發現做得更自動化,減少人手調教,讓模型跟隨業務邏輯。
方案採用 273GB 每秒記憶體頻寬,每秒可處理大量資料。記憶體容量為 128GB,可同時放幾千張高清相片。這兩個數字決定可以跑得開大型模型,而不只是小型 demo。
可以跑 Llama 3.1 405B,模型大到要用好多火晶片才可以負荷。也可以跑 Namotron 4 340R,適合做對話同生成任務。困困 2.5 72B 同樣不成問題,這些都是業界主流大型語言模型。
第一步安裝 Alama,係本地跑模型的工具。第二步啟動服務,預設會在 Local Host 11434 運行。第三步拉取模型,例如 Llama 3.1,等待下載完成。第四步確認服務已啟動,可以開始發送請求。
安裝好後,可以在 Local Host 11434 發送 API 請求,與模型進行對話。服務位只是本地,不需要連外網,私隱程度較高。輸入問題後,模型會根據語意發現機制回覆相關答案。
273GB 每秒頻寬在處理極大模型時可能成為限制因素,128GB 記憶體對於 405B 參數模型可能需要分片處理。
要確保網絡穩定,否則模型下載會失敗,部署前亦要檢查硬件相容性。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.