根據Red Hat測試，多人同時使用時VLLM每秒處理近800字，而Ollama只得四十幾字，相差接近20倍。
延遲方面VLLM平均80毫秒，Ollama卻要600幾毫秒。若用戶數量多，這個差距直接影響體驗，宛如高速公路對單程細路。
Ollama同llama.cpp設計理念係針對個人使用，確保單一請求穩定，一人問一句答一句表現平穩。
VLLM支援連續批次處理，記憶體足夠時可大幅擴展吞吐量。但若只係自己玩，呢個優勢根本發揮唔到。
Ollama最簡單，官方預設用Local Host 11434端口，裝完即用無須額外Configure。
llama.cpp需手動指定模型檔案同Port 8080。VLLM則屬企業級選擇，通常用Docker映像檔，部署相對複雜。
Ollama API在Local Host 11434，直接Post請求即可。llama.cpp同VLLM都提供OpenAI相容HTTP介面。
若你嘅程式已用OpenAI格式寫好，切換引擎只需改URL同端口。VLLM支援OpenAI商用接口，方便代碼遷移。
個人用選Ollama或llama.cpp，資源佔用少啟動快。若用戶數目增加致延遲成問題，再考慮遷移VLLM。
不要盲目追求VLLM嘅速度，低流量下其複雜度只增加維護成本。保持簡單直到簡單不夠用，係工程師黃金法則。
因為VLLM部署複雜度高，需要管理Docker甚至多機集群。若流量不高，其複雜度只會增加維護成本，而性能優勢無法發揮。
兩者都適合個人使用，表現平穩。Ollama安裝更簡單，預設端口即用；llama.cpp則需手動指定模型檔案同端口，靈活度稍高。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.