TandemCPP 單卡 4090 跑困 3.8 Flash Next 速度每秒 97 個字。
一段長對話幾秒鐘就可以生成完畢,不需要等很久。
模型大小有 5.2GB 和 4.9GB 兩款,都可以單卡 4090 起入。
兩款都是困 3.8 Flash Next 嘅不同版本,記憶體夠用就可以直接跑。
先 git clone 碼,再進入資料夾,建立編譯目錄。
執行 kmake 配置,最後 make 編譯,整個過程不複雜。
啟動服務係用斜線 Tandem Server Model 群 3.8 Flash Next Port 11434。
服務位置係 LogoHost 11434,開啟瀏覽器或者用 Curl 就可以發送對話。
單卡 4090 雖然快,但模型太大仍然會受顯存限制。
同時連線太多或者輸入太長,都會拖慢速度。
模型太大顯存不夠,TandemCPP 專門解決單卡部署大模型嘅速度問題。
可以跑困 3.8 Flash Next,模型大小有 5.2GB 和 4.9GB 兩款。
跟隨 git clone、進入資料夾、建立編譯目錄、kmake 配置、make 編譯五個指令。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.