链载Ai

标题: Mistral 3发布，14B多模态小模型表现优异 [打印本页]

---

作者: 链载Ai    时间: 1 小时前
标题: Mistral 3发布，14B多模态小模型表现优异

Mistral AI的第三代模型今天正式亮相。这个家族包含三个小型密集模型（14B/8B/3B）和一个稀疏混合专家模型Mistral Large 3（675B总参数/41B激活参数），全部采用Apache 2.0许可。

技术亮点

• Ministral系列：在GPQA测试中，14B版本以85%准确率超越同规模竞品
• MoE架构：Large 3采用新型稀疏专家网络，LMArena榜单排名开源非推理类第二
• 多模态支持：原生支持图像理解与40+语言处理
• 长上下文：支持256K token上下文窗口

部署微调首发支持

Ollama在v0.13.1版本中加入支持，只需一行命令：

ollamarunministral-3:14b#9.1GB

Unsloth微调支持，14B模型只需24GB RAM，支持完整的微调和强化学习：

./llama.cpp/llama-cli \
-hf unsloth/Ministral-3-14B-Instruct-25124_K_XL \
--temp 0.15

vLLM企业级，针对A100/H100/Blackwell硬件优化，支持稀疏MoE内核：

uv pip install -U vllm --torch-backend=auto \
 --extra-index-url https://wheels.vllm.ai/nightly

实用配置建议

14B模型仅需24GB内存即可本地运行，采用动态GGUF量化技术后，8B模型能在16GB显存的消费级显卡上部署。

有开发者实测，在RTX 3090上运行14B推理版本时，每秒可处理42个token。

同时，Mistral官方给出了不同场景的推荐参数：

指令版本：temperature = 0.15，输出长度16K tokens
推理版本：temperature = 0.7，top_p = 0.95，输出长度32K tokens

这些参数是经过大量测试得出的，直接用就行，别瞎调。

---

欢迎光临 链载Ai (https://www.lianzai.com/)

Powered by Discuz! X3.5