概念解說 · 2026-10-26

GB10 跑 70B
本地電費實測GB10 Llama 3.3 70B Power Cost Test

免費攞:本地 AI 起步包(硬件清單+模型選擇+電費實測)

用自己部機跑,零 API 費。留 email 即寄,唔會賣你資料。

免費下載 →

大家經常問本地跑 AI 會唔會貴過雲端?我用 GB10 實測 Llama 3.3 70B 嘅每小時耗電,同 Azure API 收費作對比,睇睇邊個時段用本地更抵。

重點摘要 · Key Takeaways

  • 資料完全留在本地,符合私隱要求
  • 無按月訂閱費,硬件回本後近乎免費
  • 離線可用,唔受網絡穩定性影響
  • 適合處理敏感數據或高頻重複任務

相關:工具包 · 更多文章 · 免費清單

為何測 GB10 跑 70B

Llama 3.3 70B 係目前中小企常用嘅中大型模型,能力夠強。

GB10 提供足夠運算力,適合本地部署測試真實耗電情況。

實測每小時耗電

我在 GB10 上啟動 Llama 3.3 70B,連續跑推理一小時。

記錄機器從待機到滿載嘅電量變化,計算平均每小時耗電量。

本地電費同 token 成本

根據電費單位價,換算出每小時運行模型嘅電費。

再除以該小時處理嘅 token 數量,得出每千 token 嘅本地電費成本。

雲端 API 收費對比

Azure 等雲端平台通常按 token 數量收費,有明確定價表。

將本地每千 token 電費同雲端每千 token 價錢並列,睇出差距。

邊個時段用本地更抵

如果你每日有大量固定推理需求,本地長期運行較穩定。

偶爾使用或需快速擴容,雲端 API 靈活性較高。

電費較低嘅夜時段,本地運行成本會進一步下降。

中小企選擇建議

有專職 IT 同固定場地嘅公司,可考慮本地機。

預算有限又唔想管理硬件,雲端 API 更簡單。

混合架構亦可,敏感數據本地,一般任務用雲端。

常見問題

GB10 跑 70B 每小時耗電大概幾多?

實測顯示滿載推理時每小時耗電在幾百瓦時水平,具體取決於輸入長度同批次大小。

本地電費同雲端 API 邊個更抵?

高頻每日大量使用時,本地邊際成本較低;偶爾使用則雲端更靈活。

中小企點樣決定本地定雲端?

先計算每月預計用量,再比較電費、硬件折舊同雲端收費,兼顧數據私隱需求。

本地AI會唔會好慢?

對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。

設置本地模型好難嗎?

以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。

我部機跑唔到點算?

可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。

想睇實測?

免費清單每週更新本地 AI 工具對比,唔賣你 email。

Free download · 免費清單

免費 30 條粵語 WhatsApp 模板30 free Cantonese WhatsApp templates

留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.