今日頭條
官方微信
官方抖音
資訊頻道Mistral AI 最近推出了兩款新的 AI 模型，Ministral 3B 和 Ministral 8B。這些模型專為邊緣設備和本地計算設計，適合在智能手機、平板電腦和物聯網設備上使用，目標是實現低延遲和高效的 AI 推理。
1.設計與應用
這兩款模型被稱為 "les Ministraux"，由于它們體積小，非常適合本地部署，可以滿足對隱私保護的需求。例如，用戶可以在設備上進行翻譯，使用無需網絡的智能助手，或者進行本地的數據分析。Ministral 3B 和 8B 都支持長達 128,000 個 token 的上下文長度，其中 Ministral 8B 還加入了特殊的滑動窗口注意力機制，進一步提升了速度和內存效率。
2.模型特點
高效的邊緣計算：Ministral 3B 和 8B 針對低功耗和高效率進行了優化，特別適合在邊緣設備上進行推理，如智能手機和物聯網設備。
功能調用能力：這兩款模型都具備強大的功能調用能力，能夠在多步驟任務中充當代理，幫助管理任務分配和處理輸入，從而降低整體計算成本。
Ministral 8B 的增強功能：Ministral 8B 具備“交錯滑動窗口注意力機制”，顯著提升了推理速度和內存利用效率，使其在處理大量上下文任務時更加高效。
可調量化支持：模型支持無損量化，可以根據具體使用場景進行優化，以確保在性能和效率之間實現平衡。
3.模型性能
在多任務語言理解評估中，Ministral 3B 和 8B 的表現超過了其他同類模型，如 Google 的 Gemma 2 和 Meta 的 Llama 3.2。它們的發布為那些需要本地推理和高效計算的用戶提供了新的選擇，尤其適合在移動和邊緣設備上的應用場景。
來源：AI數智圈
北京市公安局海淀分局備案號：11010802023656號