大数跨境
0
0

Mistral 3发布,14B多模态小模型表现优异

Mistral 3发布,14B多模态小模型表现优异 AI工程化
2025-12-03
0

Mistral AI的第三代模型今天正式亮相。这个家族包含三个小型密集模型(14B/8B/3B)和一个稀疏混合专家模型Mistral Large 3(675B总参数/41B激活参数),全部采用Apache 2.0许可。

技术亮点

  • Ministral系列:在GPQA测试中,14B版本以85%准确率超越同规模竞品
  • MoE架构:Large 3采用新型稀疏专家网络,LMArena榜单排名开源非推理类第二
  • 多模态支持:原生支持图像理解与40+语言处理
  • 长上下文:支持256K token上下文窗口

部署微调首发支持

Ollama在v0.13.1版本中加入支持,只需一行命令:

ollama run ministral-3:14b  # 9.1GB

Unsloth微调支持,14B模型只需24GB RAM,支持完整的微调和强化学习:

./llama.cpp/llama-cli \
-hf unsloth/Ministral-3-14B-Instruct-2512:Q4_K_XL \
--temp 0.15

vLLM企业级,针对A100/H100/Blackwell硬件优化,支持稀疏MoE内核:

uv pip install -U vllm --torch-backend=auto \
--extra-index-url https://wheels.vllm.ai/nightly

实用配置建议

14B模型仅需24GB内存即可本地运行,采用动态GGUF量化技术后,8B模型能在16GB显存的消费级显卡上部署。

有开发者实测,在RTX 3090上运行14B推理版本时,每秒可处理42个token。

同时,Mistral官方给出了不同场景的推荐参数:

指令版本:temperature = 0.15,输出长度16K tokens
推理版本:temperature = 0.7,top_p = 0.95,输出长度32K tokens

这些参数是经过大量测试得出的,直接用就行,别瞎调。

关注公众号回复“进群”入群讨论。

【声明】内容源于网络
0
0
AI工程化
专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
内容 584
粉丝 0
AI工程化 专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
总阅读104
粉丝0
内容584