根據 llama.cpp 官方文檔，LLM 推理速度（tokens per second）主要受限於記憶體頻寬。
特別是在 batch size 為一的情況，即每次只生成一個 token 時，頻寬影響最明顯。
想像頻寬係水管粗細，水管夠粗數據先流得快，單靠 CPU 夠勁未必足夠。
要跑起模型，首要條件係有足夠記憶體容納模型參數。
雖然具體參數視乎模型大小，但原則上模型越大，所需記憶體越多。
如果記憶體細到塞唔入模型，再高頻寬都無用武之地，容量係基礎門檻。
M3 Max 同 M2 Ultra 嘅最大分別在於記憶體頻寬。
這直接影響佢哋處理大型模型時嘅效率表現。
高頻寬晶片在相同模型下，通常會有較好的 token 生成速度。
建議使用 llama.cpp 進行測試，可透過 GitHub 獲取資源並編譯。
需確保系統環境配置好，例如安裝 Xcode Command Line Tools 或相關依賴庫。
跑起模型後，本地服務通常位於 localhost 11434，透過此端口與模型互動。
輸入提示詞後，觀察 tokens per second 數值變化，這反映生成文字速度。
選擇硬體時，除咗關注算力，更要留意記憶體頻寬數據。
下次升級前先查頻寬，確保買對規格，避免花冤枉錢。
因為 LLM 推理速度主要受限於記憶體頻寬，特別是在 batch size 為一時，算力再高都可能因為頻寬不足而卡住。
兩者可比較頻寬，M2 Ultra 通常具備更高頻寬，在處理大型模型時效率可能更佳，但需視乎具體記憶體容量是否足夠。
建議使用 llama.cpp，透過 GitHub 編譯或下載版本，配合 localhost:11434 端口觀察 tokens per second 數值。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.