AGI-Eval 社区向大家分享一个即将举行的线上技术活动，希望能为大家带来新的启发和技术交流机会。
随着 AI 模型从多模态向全模态体系演进，一个能够同时理解文字、图像、音频、视频、3D 等多种信息模态的新时代正在加速到来。相比主要围绕“图 + 文”的传统多模态模型，全模态模型采用相对更统一的建模架构，通过共享或对齐的语义表征来整合多种信息模态，并能够执行跨模态的组合推理与生成任务。
近期，多款前沿全模态大模型相继开源，在大模型社区引发热烈讨论。11月18日（本周二）上午 10 点，由Hugging Face、OpenMMLab、知乎主办，美团、蚂蚁集团、AWS、ModelScope、模速空间、Gitee、机智流、智猩猩等合作伙伴联合发起 AI Insight 全模态专场。
分享嘉宾及主题介绍
LongCat-Flash-Omni：美团全模态大模型探索
刘颂湘 | 美团 LongCat-Flash-Omni 技术负责人
LongCat-Flash-Omni 是美团全新开源的全模态大模型，在全模态基准测试中达到开源 SOTA 水平，同时在文本、图像、视频理解及语音理解与生成等关键单模态任务中，均展现出极强的竞争力，真正实现了“全模态不降智“。LongCat-Flash-Omni 是业界首个实现 “全模态覆盖、端到端架构、大参数量音视频实时交互” 于一体的开源大语言模型，首次在开源范畴内实现了全模态能力对闭源模型的对标，并凭借创新的架构设计与工程优化，让大参数模型在多模态任务中也能实现毫秒级响应，解决了行业内推理延迟的痛点。本次分享，将介绍 LongCat-Flash-Omni 的模型架构设计、训练策略以及性能表现。
🤗Hugging Face:
https://huggingface.co/meituan-longcat/LongCat-Flash-Omni
💻ModelScope:
https://modelscope.cn/models/meituan-longcat/LongCat-Flash-Omni
OmniVinci：全模态大模型的架构和数据探索
叶汉荣 | 英伟达研究科学家
OmniVinci 是英伟达研究院最新推出的一项关于 9B 参数视音频全模态大模型的系统性研究。在论文中，研究团队系统探索了全模态大模型的架构设计与数据生成方法，研究了视觉与音频模态间的相互促进机制，以及全模态强化学习策略。针对不同模态的融合，研究团队提出了多项新颖且高效的设计。自开源以来 OmniVinci 已吸引超过一万次下载。
🤗Hugging Face:
https://huggingface.co/nvidia/omnivinci
Ming-Omni：百灵多模态的实践与探索
陈景东 | 蚂蚁集团资深算法专家
Ming-flash-omni-Preview 是蚂蚁集团发布的首个参数规模达到千亿的开源全模态大模型，各模态总体效果达到开源全模态模型的领先水平, 尤其在可控图像生成、流式视频理解、以及语音识别等领域性能表现尤为突出。本次分享将聚焦百灵多模态的实践经验，主要内容包括 Ming-Omni 系列的发展路径：从模态融合的统一，到理解与生成任务的统一，以及在模型部署中对 SDK 的优化实践。同时，将总结开源社区的反馈，介绍 Ming 系列针对性改进的思路。分享中还将回顾百灵多模态研发过程中遇到的问题与解决方案，以及一些有趣的开放性问题。
🤗Hugging Face:
https://huggingface.co/inclusionAI/Ming-flash-omni-Preview
💻ModelScope:
https://modelscope.cn/models/inclusionAI/Ming-flash-omni-Preview
参与直播
我们诚挚地邀请社区里的朋友们一同参与，进行技术交流。精彩内容，不容错过！
预约直播：
参与讨论：
欢迎加入交流群
与AGI-Eval社区小伙伴一起交流
如群人数超额可关注后留言「直播」进群
>/ 联系AGI-Eval小助手：请添加微信 AGI-Eval001
>/ 投稿请联系邮箱：agieval17@gmail.com
