⚡ 开放的实时视频语言交互系统
一个 8B 规模、完全开放的视觉语言交互模型，以及完整可部署系统。模型、训练配方、时间对齐交互数据和实时流式技术栈都集中在这个仓库中。
📄 arXiv | 🚀 博客 | 💻 代码 | 🤗 模型 | 📦 数据集
🚀 快速开始 | 🧩 能力 | 📊 评测 | 📝 引用
原文档: README.md
🔥 最新动态
- [2026-06-20]
🎉 完整开源发布，模型权重、可部署系统和技术报告现已开放。 - [2026-06-20]
🚀 vLLM-Omni 提供 day-0 部署支持（部署指南）。 - [2026-06-20]
🎉 发布对齐交互训练数据。
✨ 简介
最重要的时刻往往不会等你开口提问。锅里的水在你双手忙碌时溢出，孩子走向炉灶，比赛中最精彩的一瞬在你反应前已经过去。今天的 AI 很难在这些时刻帮上忙，因为这些模型从设计上就是回合制的：它们安静地等待你召唤，然后回答你刚刚提出的问题。
我们认为下一步应该是一个像人一样在场的模型：它会持续观察当下发生的事情，自主判断什么时候值得说一句，重要时主动开口，不重要时保持安静，并在问题较难时把任务交给更强的模型处理。
JoyAI-VL-Interaction 是一个 8B 规模、以视觉为核心的交互模型，并随模型一同发布训练配方、数据和完整可部署系统，且全部开放。只要把摄像头或直播流接入它，它就能立刻进入场景，实时观察并响应。
🌟 关键特性
|
|
|
|
|---|---|---|
|
|
实时在场 |
|
|
|
视觉触发的主动性 |
|
|
|
Agent 委托 |
|
|
|
完全开放的技术栈 |
|
🚀 快速开始
git clone https://github.com/jd-opensource/JoyAI-VL-Interaction.gitcd JoyAI-VL-Interaction# 安装依赖./install/install.sh --with-all# 下载所有模型权重./install/download-models.sh --all# 启动核心服务./services/scripts/run.sh minimal
然后在浏览器中打开 https://127.0.0.1:8099。
👉 如需完整部署 ASR、TTS、后台 agent 以及更多配置细节，请参阅入门指南。
🚑 如果遇到部署问题，请参阅故障排查指南。
🛠️ 系统架构
JoyAI-VL-Interaction 的核心，是模型每秒自主做出的一个决策：说话、保持静默，或进行委托。系统基于 JoyAI-VL-8B 构建，并将语音作为可插拔的输入输出，因此模型的唯一职责就是观察并判断合适的行动时机。预测式视频编码器 AdaCodec 会对可预测帧只消耗少量 token，并在场景真正变化时保留完整细节，从而让长视频流的 token 预算保持可控。模型行为来自超过四百万条时间对齐片段的学习，并通过强化学习进一步优化。
围绕模型，我们构建了一套完整可部署系统：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
📐 完整架构图和组件细节请参阅架构指南。
🧩 能力
一旦交互能力被训练进模型本身，而不是通过外部框架外挂上去，一整类能力就会自然出现：在场感、在正确时机行动、感知时间，以及在长视频流中保持记忆。
除了上图中的九项能力，JoyAI-VL-Interaction 还可以在游戏直播中实时解说，在你做饭时一步步指导菜谱，或者在直播流上自主生成弹幕式评论。更多视频演示请查看博客中的能力章节。
📊 评测
我们在 58 个真实的事件驱动视觉交互场景中评测 JoyAI-VL-Interaction，并由人工评审从响应质量和响应时机两方面进行成对比较。
JoyAI-VL-Interaction vs Doubao
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 总体 | 77.6% | 17.2% | 5.2% |
JoyAI-VL-Interaction vs Gemini
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 总体 | 87.9% | 10.3% | 1.7% |
🚧 局限与未来工作
局限。 我们希望坦诚说明规模上的差异。我们对比的视频通话助手 Doubao 和 Gemini 背后都有更大规模的模型，并经过多年面向真实用户的产品迭代打磨；它们能力全面、知识广泛，在开放式聊天、个性化风格和日常请求长尾上都很强，难以轻易超越。JoyAI-VL-Interaction 是一个紧凑的 8B 模型，我们并不声称它在所有方面都能匹敌这些产品。我们所做的是推开一扇门：在视觉语言交互模型的优势区域，也就是实时在场、视觉触发主动性以及跨视频流的时间感中，一个小得多的开放模型已经能够取得领先。一个紧凑开放模型可以在这些方面对抗大型、深度优化的产品，这正是我们兴奋地把这项工作带给社区的原因。
下一步。 我们相信这还只是开始。我们训练使用的交互数据规模仍然不大，但即便如此，模型也已经涌现出一些从未显式教授的能力，例如在不断变化的应用界面中引导购物者完成操作；我们相信上限仍然很高，继续扩展这类时间对齐数据，并配合训练配方和系统，将让模型走得更远。我们追求的是一个日常瞬间：你结束漫长的一天疲惫回家，还没开口，一个安静的声音就注意到你，并说：“我能看出你很累，今天一定很辛苦。” 这种未经请求的在场感，正是交互模型能够带来的东西，而等待被点名的回合制模型永远无法做到。我们已经开放整套技术栈，包括 8B 模型、时间对齐数据、训练配方和可部署系统，希望降低所有在这个方向上探索的人的门槛。我们期待和大家一起探索，一个真正身处世界之中的模型，最终会成为什么。
📂 仓库结构
.
├── services/
│ ├── scripts/ # 服务编排入口（run/stop）
│ ├── webinfer/ # 实时视频推理（OpenAI 兼容 API）
│ ├── webui/ # 浏览器前端 + WebRTC 流
│ ├── asr/ # 语音识别适配器（Qwen3-ASR）
│ ├── tts/ # 语音合成适配器（Qwen3-TTS）
│ └── background-agent/ # 后台任务委托 agent
├── install/ # 安装脚本、依赖设置、模型下载
├── doc/
│ ├── architecture.md # 系统架构与数据流
│ ├── getting_started.md # 完整部署指南
│ ├── rtsp_streaming.md # 本地 RTSP 推流测试指南
│ └── *.zh-CN.md # 中文文档镜像
├── img/ # 图表和图片
├── README.md
├── README.zh-CN.md
├── LICENSE
└── JoyAI-VL-Interaction-Reportv1.pdf
📋 TODO
-
发布交互模型博客 -
发布可部署系统代码 -
发布技术报告 -
发布时间对齐交互训练数据 -
发布 HuggingFace 模型 -
在线 + 离线统一模型 —— 单一全能模型，同时擅长实时在线（流式）交互与离线视频理解 -
Codec 版本 —— 搭载预测式视频编解码器（AdaCodec）的模型变体，降低长流场景下的 token 开销 -
量化版本 —— 实现更轻量、更低成本的部署 -
最优推理配置 —— 针对 RTX 3090 / 5090 调优的配置方案
🙏 致谢
-
基于 LLaMA-Factory 和 EasyVideoR1 构建 —— 分别用于 SFT 和 RL 训练 -
网页界面基于 Live VLM WebUI 开发 —— NVIDIA 开源的实时 VLM 网页界面 -
兼容 vLLM
📝 引用
如果 JoyAI-VL-Interaction 对你的研究或产品有帮助，请引用：
@techreport{joyai2026vlinteraction, title = {JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence}, author = {{Video Understanding Team of JoyAI-VL @ Joy Future Academy, JD}}, institution = {Joy Future Academy, JD}, year = {2026}, month = {June}}
📄 许可证
本项目基于 Apache License 2.0 授权。详情请参阅 LICENSE。