想象这样一个场景：孩子玩耍时厨房传来玻璃破碎声，孩子紧张地辩解“不是我”，随后一只猫窜出。当前的 AI 模型虽能分别识别语音、音频事件和视觉对象，但难以将这些碎片化信息关联起来，判断事件全貌及因果关系。
过去的大模型擅长处理已被整理成文本或代码的结构化信息，但在真实物理世界中，模型需要同时做到两件事：持续理解动态变化的现场，并在变化中实时响应与调整。这正是“情境智能”的核心挑战。
10 月 12 日，模思智能宣布完成超 10 亿元 Pre-A 轮融资，由华控基金领投，国开科创、上海科创基金等机构参投。这家由复旦大学特聘教授邱锡鹏创立、成立不足两年的公司，正致力于构建具备全模态实时交互能力的情境智能。
邱锡鹏表示，下一代 AI 将从“回答问题”走向“持续在场”，即模型需持续理解人与环境，在合适时机主动回应与行动。自 2026 年以来，模思已发布 20 多个涉及语音、视觉及实时多模态的模型，其中开源的 MOSS-VL-Realtime 已实现视频流持续接收与实时判断更新。
01 一个为自己造的模型，意外走到了前排
模思智能孵化自复旦大学 OpenMOSS 团队，这是国内最早的大模型团队之一。2023 年，团队发布了国内首批开源类 ChatGPT 对话模型 MOSS，随后陆续推出 SpeechGPT 和 AnyGPT，探索多模态统一模型。2024 年 11 月，模思智能正式商业化运营。
模思智能 CEO 李世民曾参与 SpeechGPT 早期研发。目前公司拥有百余名员工，其中算法与研发人员占比近八成。公司的核心目标是让 AI 进入汽车、机器人等真实终端，理解并交互于不断变化的物理世界。
团队最初的切入点是多人对话语音生成（MOSS-TTSD），旨在端到端生成包含气口、停顿和重叠节奏的自然对话，而非简单的逐句拼接。为训练该模型，团队需要高质量的说话人分割与转写数据。
由于市面现有工具在处理长录音、多人插话时准确率不足，团队决定自研 MOSS-Transcribe-Diarize。该模型创新性地采用单次调用同时完成语音转写、说话人归属和时间戳预测，避免了传统时间轴拼贴带来的错误。
2026 年 1 月，MOSS-Transcribe-Diarize 发布；7 月，其 0.9B 参数版本开源，支持 50 多种语言，并在 INTERSPEECH 2026 MLC-SLM Challenge 中夺冠。出乎意料的是，该工具迅速被多家头部互联网公司用于客服、会议记录及训练数据标注，验证了技术突破可自发激发业务需求。
02 模型开始替模型工作
MOSS-Transcribe-Diarize 的成功确立了模思独特的研发范式：AI for AI。即自研模型不仅作为最终产品，更作为生产下一个模型的工具，形成“模型帮助模型、模型校验模型”的闭环。
MOSS 多模态模型矩阵 ｜ 图片来源：模思
在这一体系下，不同模型各司其职又相互协作：
- MOSS-Transcribe-Diarize：解决“谁在何时说了什么”；
- MOSS-Audio：识别语速、情绪、性别及环境音，找回丢失的非文本声音信息；
- MOSS-TTS：将文本转化为可控音色、情绪的声音；
- MOSS-VL 系列：处理图像及持续视频流。
理解模型为生成模型清洗和标注数据，生成模型创造的新数据再由理解模型筛选。例如，训练可控 TTS 需精细标注笑声、哭腔和韵律转折；训练视频生成需拆解镜头运动与光影。通用大模型难以稳定产出此类结构化数据，而模思通过自研轻量级理解模型接入数据管线，实现了低成本、高精度的细粒度数据生产。
这种分工协作显著提升了研发效率。2026 年 4 月，模思在一周内对 MOSS-VL 和 MOSS-Audio 迭代了 6 个版本；7 月初，连续两天开源了两个重要模型。相比依赖人工标注或昂贵商业 API，自研闭环不仅成本更低，且能通过针对性校验减少幻觉与错误。
03 Omni model，还没有走到终点
随着听、看、说组件的完善，行业趋势指向 Omni model（全模态模型），如 GPT-4o 和 Qwen-Omni，它们能同时接收多种模态输入并输出。但模思认为，现有的 Omni model 尚未真正解决“实时性”与“情境理解”的问题。
当前主流模型仍遵循“用户输入-模型思考-输出回答”的回合制逻辑，难以在处理过程中实时纳入新信息，也无法像人类一样自然地进行打断、停顿或改口。更深层次的问题在于，现有模型缺乏对“时间”的真正理解。
模思的思路是将听、看、说置于同一时间轴，实现全双工实时交互。模型在持续接收音视频流的同时，实时判断是继续倾听、开始发言还是调整回答。MOSS-VL-Realtime 已初步实现边看边更新判断，无需等待视频结束。
为解决连续音频表征可能损害推理能力的问题，模思采取了阶段性架构策略：“声音画面原样进，思考留在文字里”。
即将发布的实时交互系统 MOSS Live 采用前后端分工架构：
- 前台交互模型：持续听、看、理解现场，保持低延迟响应；
- 后台能动性模型：处理复杂推理、工具调用及任务执行。
以视障人士眼镜为例，前台模型可实时描述路况变化（如台阶、车辆靠近），同时后台规划路线或联系家人。任务执行期间，前台观察不中断，待后台结果就绪后自然融入对话。这一过渡形态旨在平衡实时感知与深度推理，最终目标仍是实现全模态统一模型。
当大多数模型公司仍聚焦于文本推理与代码生成时，模思通过提前布局语音、多模态及实时交互，积累了构建“情境智能”的关键能力。在 Omni model 的下半场竞争中，对动态物理世界的实时理解能力或将成为新的护城河。