概念解說 · 2026-10-26
用自己部機跑,零 API 費。留 email 即寄,唔會賣你資料。
免費下載 →大家經常問本地跑 AI 會唔會貴過雲端?我用 GB10 實測 Llama 3.3 70B 嘅每小時耗電,同 Azure API 收費作對比,睇睇邊個時段用本地更抵。
Llama 3.3 70B 係目前中小企常用嘅中大型模型,能力夠強。
GB10 提供足夠運算力,適合本地部署測試真實耗電情況。
我在 GB10 上啟動 Llama 3.3 70B,連續跑推理一小時。
記錄機器從待機到滿載嘅電量變化,計算平均每小時耗電量。
根據電費單位價,換算出每小時運行模型嘅電費。
再除以該小時處理嘅 token 數量,得出每千 token 嘅本地電費成本。
Azure 等雲端平台通常按 token 數量收費,有明確定價表。
將本地每千 token 電費同雲端每千 token 價錢並列,睇出差距。
如果你每日有大量固定推理需求,本地長期運行較穩定。
偶爾使用或需快速擴容,雲端 API 靈活性較高。
電費較低嘅夜時段,本地運行成本會進一步下降。
有專職 IT 同固定場地嘅公司,可考慮本地機。
預算有限又唔想管理硬件,雲端 API 更簡單。
混合架構亦可,敏感數據本地,一般任務用雲端。
實測顯示滿載推理時每小時耗電在幾百瓦時水平,具體取決於輸入長度同批次大小。
高頻每日大量使用時,本地邊際成本較低;偶爾使用則雲端更靈活。
先計算每月預計用量,再比較電費、硬件折舊同雲端收費,兼顧數據私隱需求。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.