首先要確認主機已經安裝正確嘅 NVIDIA 驅動程式。
執行 nvidia-smi 命令,睇下係咪可以顯示顯示卡資訊。
接著安裝 nvidia-container-toolkit,讓 Docker 能夠訪問 GPU。
安裝完後記得重啟 Docker 服務,確保設定生效。
編輯 /etc/docker/daemon.json 檔案,添加 NVIDIA runtime 設定。
確保 JSON 語法正確,否則 Docker 將無法啟動。
使用 --gpus all 參數啟動容器,測試是否能偵測到顯示卡。
如果看到正確輸出,代表配置已經成功。
如果依然讀唔到,檢查 Docker 日誌有無相關錯誤訊息。
同時確認用戶有足夠權限訪問 NVIDIA 設備。
可能係忘記重啟 Docker 服務,或者 daemon.json 語法有誤導致啟動失敗。
不可以,Docker 需要這個工具來將主機 GPU 資源安全地映射入容器內。
對於日常文書、代碼生成同簡單對話,現代家用硬件嘅速度完全足夠,甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式,現在有唔少開箱即用嘅工具(如LM Studio、Ollama),幾分鐘內就可以開始運行模型。
可以嘗試量化模型(Quantized Models),佢哊體積細、記憶體需求低,喺普通電腦上都能跑動。
Free download · 免費清單
留低 email,即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知;唔會賣你嘅 email,隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.