這個模型是 80 個 billion 參數,每秒 273-B 的億體頻寬,即是等於一秒鐘可以搬運很多本書的資料,跑得快。
模型大小有 35GB 同 70GB 兩個版本,即是一個是 35 本書,一個是 70 本書,都可以塞入這個環境。
第一步,在中端機輸入 AlamaServe 啟動服務。
第二步,輸入 AlamaPool 困 3.8, Flash Next Gov 下載模型。
第三步,輸入 AlamaRun 困 3.8, Flash Next Gov 開始使用。
服務位置是 Logohost 11434,即是你電腦裏面的一個專用入口,就好像一線門一樣。
你可以透過這個位置發送信息和模型對話,不用複雜設定。
真實瓶頸是記憶體頻寬可能成為限制,尤其是跑大模型時。
請留意不要同時開太多應用程式,避免記憶體不足。
這個工具適合想本地跑大模型的用家。
記得先確認自己裝置符合最低要求,然後再開始安裝。
專門解決顯卡記憶體不夠用,每次都要刪掉模型才可以下載新模型的痛點。
有 35GB 同 70GB 兩個版本。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.