Small 3.1擁有240億參數，採用Apache 2.0授權，完全免費且容許商用。
它支援128000上下文長度，適合一次過處理多本書籍內容。
模型能記住重點不會讀完就忘，特別適合處理長篇文檔。
Mixtral 8X7B是稀疏混合專家模型，總參數46.7億但每次僅用12.9億。
運作如同大圖書館每次只開幾本書，運算速度比表面數字快。
雖然運算效率高，但記憶體需求並不會因此減少。
Mixtral 7B量化後約需4.4GB記憶體，入門顯示卡亦能運行。
Mixtral 8X7B則需28.4GB記憶體，超出多數入門卡上限。
若記憶體不足硬碰硬，電腦會立即卡死甚至變磚。
使用Ollama工具可在終端機輸入指令自動下載啟動模型。
輸入Ollama Run Mistral或Mistral 8X 7B即可一鍵搞定。
無需手動配置環境變數，安裝過程極度簡便。
Ollama在本地開啟端口11434，透過瀏覽器或API連接。
電腦變成私人AI服務器，所有對話數據不會出外網。
數據完全留在本地，無需擔心私隱洩漏問題。
唔會。雖然只用部分參數運算，但全部46.7億權重都要放在記憶體內，細卡需降量化或用CPU輔助。
Small 3.1。其質量已超越舊款Mixtral，記憶體需求僅約一半，適合非頂級硬件用戶選擇。
對於日常文書、代碼生成同簡單對話，現代家用硬件嘅速度完全足夠，甚至因為無網絡延遲而感覺更順暢。
以前需要寫程式，現在有唔少開箱即用嘅工具（如LM Studio、Ollama），幾分鐘內就可以開始運行模型。
可以嘗試量化模型（Quantized Models），佢哊體積細、記憶體需求低，喺普通電腦上都能跑動。
Free download · 免費清單
留低 email，即收模板清單同新片通知。Leave your email for the free template list and new-video notices.
只會用嚟寄清單同新片通知；唔會賣你嘅 email，隨時一句「退訂」即刻停。Used only to send the list and new-video notices. Your address is never sold, and one word — unsubscribe — stops it.