好多人都想有專業級算力,但唔想養一部噪音似飛機嘅伺服器。
NVIDIA DGX Spark 將數據中心級算力打縮成細細個盒子。
唔使機房亦唔使複雜佈線,等於將超算直接放喺你書桌上。
佢採用 GB10 晶片配 128GB 統一記憶體,令 CPU 同 GPU 共用同一堆空間。
頻寬達到每秒 273GB,好似一條好闊嘅高速公路,數據行車唔會塞車。
內置 20 核 ARM CPU 同 6144 個 CUDA 核心,FP4 精度算力最高達 1 PFLOPS。
官方指單機支援最高 2000 億參數,兩部機串聯可跑 4050 億參數。
好似有個超大型書架,以前要分幾個書架先放得下,而家一個就搞掂。
不過要留意,雖然賽得入唔代表跑得飛快,大模型生成速度會受頻寬限制。
根據 LMSYS 測試,跑 GPT-OSS 20B 模型約每秒 70 個 Token。
跑 GPT-OSS 120B 模型約每秒 50 個 Token,雖然唔算極快但已經好順暢。
主要瓶頸在於記憶體頻寬,表現唔似獨立顯示卡咁誇張但足夠日常開發。
使用 240W 外置火牛,接好網絡線後可透過 SSH 或官方工具設定系統。
通常本地開啟端口(如 11434)提供 API 服務,用瀏覽器或指令行即可互動。
機身僅 1.2 公斤但散熱要好,千祈唔好遮擋通風口,並要配合軟件優化。
適合做 AI 研究或想開發私人助理嘅開發者,對於本地跑大模型已經夠用。
速度主要受記憶體頻寬限制,雖唔似遊戲卡咁快,但對於開發測試已經算順暢。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.