
微软宣布推出三款Phi-3.5系列新模型,包括38.2亿参数的Phi-3.5-mini-instruct、419亿参数的Phi-3.5-MoE-instruct及41.5亿参数的Phi-3.5-vision-instruct。其中,Mini版侧重快速推理,MoE版强化逻辑推理能力,Vision版则专攻图像与视频分析。
所有模型均以MIT许可证开源,开发者可通过Hugging Face下载及微调。第三方基准测试显示,三款模型性能均达业界顶尖水平,部分场景下表现优于Google Gemini 1.5 Flash、Meta Llama 3.1及OpenAI GPT-4o。
Phi-3.5 Mini Instruct:轻量级高效推理
该模型拥有38亿参数及12.8万token上下文窗口,专为内存或算力受限环境设计。它擅长代码生成、数学解题及逻辑推理等任务,在512块H100-80G GPU上训练10天,消耗3.4万亿token。
尽管结构紧凑,其在多语言对话中仍具竞争力。尤其在RepoQA长上下文代码理解基准测试中,性能超越Llama-3.1-8B-instruct和Mistral-7B-instruct等同规模模型。
Phi-3.5 MoE:专家混合架构突破
采用420亿总参数(仅66亿活跃参数)架构,同样支持12.8万token上下文。该模型整合了多种专精能力,在代码、数学及多语言理解方面表现卓越,特定基准测试中常优于更大规模模型。
值得注意的是,其在5-shot MMLU基准测试中超越了GPT-4o mini,涵盖STEM、人文社科等多领域评估。模型在512块H100-80G GPU上训练23天,使用4.9万亿token。
Phi-3.5 Vision Instruct:多模态视觉理解
具备12.8万token上下文长度,主打文本与图像处理能力。适用于通用图像理解、OCR、图表表格解析及视频摘要等多模态任务。
训练数据由合成数据与精选公开数据集组成,侧重高质量与高推理强度。模型在256块A100-80G GPU上训练6天,消耗5000亿token。

