大数跨境

微软推出挑战谷歌和OpenAI的Phi-3.5人工智能模型系列

微软推出挑战谷歌和OpenAI的Phi-3.5人工智能模型系列 土耳其小莫
2024-08-21
2
导读:Phi-3.5-mini-instruct 提供快速的推理能力,而 Phi-3.5-MoE-instruct 具备更强的推理性能。Phi-3.5-vision-instruct 则专注于图像分析。

微软宣布推出三款Phi-3.5系列新模型,包括38.2亿参数的Phi-3.5-mini-instruct、419亿参数的Phi-3.5-MoE-instruct及41.5亿参数的Phi-3.5-vision-instruct。其中,Mini版侧重快速推理,MoE版强化逻辑推理能力,Vision版则专攻图像与视频分析。

所有模型均以MIT许可证开源,开发者可通过Hugging Face下载及微调。第三方基准测试显示,三款模型性能均达业界顶尖水平,部分场景下表现优于Google Gemini 1.5 Flash、Meta Llama 3.1及OpenAI GPT-4o。

Phi-3.5 Mini Instruct:轻量级高效推理

该模型拥有38亿参数及12.8万token上下文窗口,专为内存或算力受限环境设计。它擅长代码生成、数学解题及逻辑推理等任务,在512块H100-80G GPU上训练10天,消耗3.4万亿token。

尽管结构紧凑,其在多语言对话中仍具竞争力。尤其在RepoQA长上下文代码理解基准测试中,性能超越Llama-3.1-8B-instruct和Mistral-7B-instruct等同规模模型。

Phi-3.5 MoE:专家混合架构突破

采用420亿总参数(仅66亿活跃参数)架构,同样支持12.8万token上下文。该模型整合了多种专精能力,在代码、数学及多语言理解方面表现卓越,特定基准测试中常优于更大规模模型。

值得注意的是,其在5-shot MMLU基准测试中超越了GPT-4o mini,涵盖STEM、人文社科等多领域评估。模型在512块H100-80G GPU上训练23天,使用4.9万亿token。

Phi-3.5 Vision Instruct:多模态视觉理解

具备12.8万token上下文长度,主打文本与图像处理能力。适用于通用图像理解、OCR、图表表格解析及视频摘要等多模态任务。

训练数据由合成数据与精选公开数据集组成,侧重高质量与高推理强度。模型在256块A100-80G GPU上训练6天,消耗5000亿token。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 26498
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读242
粉丝0
内容26.5k