如何判断AI视频真假？综述动态、可溯源、可解释的检测体系 | ACL26

过去两年，视频生成模型飞速演进。从 Sora 初露锋芒，到 Google Veo、Sora 2、Kling 系列及 Seedance 2.0 等多点爆发，AI 生成视频质量实现质的飞跃，已能生成电影级逼真效果的长视频。

然而，与生成侧的日新月异相比，AI 视频检测研究相对滞后。现实中，AI 生成的虚假视频在数量、质量及覆盖广度上激增，而现有检测手段往往缺乏可解释性与可信度，甚至出现真实视频被误判的情况。

为填补生成与检测之间的巨大鸿沟，来自 MBZUAI、中国人民大学和哈佛大学的研究者联合发布了一篇五十页综述。该研究首次从视觉和语言双视角梳理出从低层视觉感知到高层世界级推理的技术路径，提出构建动态、可溯源、可解释的可信检测体系。该论文已被ACL 2026录用。

论文链接：https://www.researchgate.net/doi/10.13140/RG.2.2.31713.88168

GitHub 链接：https://github.com/dxhou/AI-Generated-Video-Detection

Homepage 链接：https://AIgcvdetection.github.io

图 1｜AI 生成视频检测的完整流程：生成端、双视角检测，到证据集合

早期 Deepfake 场景中，基于帧级的视觉感知侧核验足以应对明显的视觉伪迹。但随着生成式 AI 视频质量跨越临界点，人眼已难以辨别真假，单纯的二分类判断不再适用。核心问题转变为：检测器究竟基于怎样的证据来支持可信的判断。

本综述将检测边界前推，主张从「真假二分类」走向「可解释、可信的结构化判断」，重点核验视频中「虚拟世界」与「现实世界」之间的间隙。

因此，综述将检测目标重定义为「事实保真度验证」，即核查视频内容中关于「谁、何时、何地、发生了什么」的命题，是否在感知和认知上与真实世界一致对齐。除了视觉和模态间核验，还需进一步判断视频内容是否与外部「事实、物理规律与世界知识」存在冲突。

图 2｜本综述定义的三类 AI 生成视频范式

2020 年至今，AI 生成视频经历了从 GAN 局部修改到潜空间扩散模型全合成的范式迁移。综述将其分为以下三种范式：

保留真实载体的局部操控视频（Local Manipulation Video, LMV）

LMV 是传统 Deepfake 检测最成熟的范式，涉及换脸、换背景等局部处理，但保留了大部分原始视频结构（如场景、光照、镜头运动）。随着生成模型融合能力增强及平台二次传播抹除痕迹，检测重点正转向方法在不同场景下的鲁棒性。

跨模态耦合约束下的音视频编辑（Audio-Visual Editing, AVE）

AVE 范式兴起于 2024 年，主要改动画面与声音、口型、身份等内部对应关系（如语音驱动人脸合成、重新配音）。检测端需从单一视觉伪迹转向检查多模态间关系的真实性，通过分析声音、口型、身份与内容的匹配度寻找线索。

端到端生成式视频合成（Generative Video Synthesis, GVS）

2025 年爆发的 GVS 范式直接依靠文本或噪声生成整段视频，无真实视频底子。此类视频虽单帧逼真，但在长时空序列上常出现动作不衔接、物体运动违反物理规律或事件逻辑不成立等漏洞。检测思路需上升至高层，从长程一致性、常识、物理规律及因果叙事等维度，核查内容在真实世界的可信度。

图 3｜Vision-Language Dual-View 四层框架：前两层偏向视觉视角，后两层走向语言视角

当前 AI 视频检测分化为两类核心视角：一是视觉模态，聚焦底层信号取证和时空一致性；二是语言模态，关注跨模态叙事对齐及基于世界知识的推理。综述据此提出从低层感知到高层认知的四层方法图景：

底层视觉线索（Intrinsic Cues Analysis）：第一道筛网

Layer 1 关注底层视觉信号是否符合真实视频的统计规律，以及是否存在 AI 生成引入的伪迹。真实视频天然匹配采集、编码及后处理过程，而 AI 生成视频常留下风格单一、水印伪迹或异常生理信号。检测方法包括：

1. 频域、纹理、边界、噪声模式等像素与几何异常检测；

2. 脉搏耦合、肌肉微动、眨眼节奏等人脸生理信号分析；

3. 特征空间中真实与伪造视频的系统偏移检测。

时空一致性（Spatiotemporal Consistency）：检查视频连贯性

Layer 2 针对多帧时空序列组合，关注图像流是否满足真实物体运动特征。真实视频受限于连续相机轨迹与现实环境，呈现符合物理可行性的连续变化；而 AI 视频常在长时序上出现失真、模糊或不连续。检测重点包括：

1. 局部物体变形、背景漂移、突发模糊及运动残差异常；

2. 表情变化、身份动态及人物互动节奏的行为一致性；

3. 时间频率和画面连续性相关的物理与频率异常。

跨模态一致性（Cross-Modal Consistency）：视频内部多模态核验

Layer 3 是框架的关键转折，进入视频内部多模态核验，关注画面、声音、字幕等各模态是否对齐讲述相同内容。真实视频模态间高度对齐，而 AI 视频常存在口型 - 语音、身份 - 声纹等系统性错配。检测类型包括：

1. 声音与画面的一致性检测；

2. 引入字幕、标题等文本进行文本—视频语义一致性推理；

3. 面向模态间不一致的时间定位鲁棒性学习。

语言引导的世界级推理（Language-Guided World-Level Reasoning）：着眼视频与真实世界的间隙

Layer 4 将视角从「视频内部一致性」提升至「与外部真实世界规则的一致性」，关注视频内容在语义和事实维度上是否合理可能存在。AI 生成内容常难以完全对齐真实世界的事实与物理规则。检测方法包括：

1. 利用提示词、文本先验校准模型表征空间，将异常映射到明确语义类别；

2. 构建具备查证能力的智能体，将判断与证据、工具输出及查证过程对应；

3. 通过微调与强化学习，训练模型输出结构稳定、证据链完整的检测报告。

图 4｜代表性检测方法演化图谱：生成侧威胁升级与检测端提升同步推进

随时间推移，生成侧不断抬高假视频逼真上限，检测技术基座也从深度卷积网络演进至具备推理能力的视觉语言大模型与智能体系统。检测重心持续上移：早期集中于第一、二层，随着生成视频日益逼真，检测更多转向第三、四层的高层推理。

统计显示，高层检测方法占比从 2020 年的 7.7% 升至 2023 年的 40.0%，并在 2025 年过半。

图 5｜检测方法分布变化统计：语言视角占比逐渐上升

面对事实保真度检测目标，评测需回答模型是否掌握可迁移视觉线索、能否识别时空与跨模态不一致、以及是否能对世界约束作出有效判断。综述系统梳理了评估指标与数据集的演进。

共享指标：Acc / AUC 仍然必要，但远远不够

Acc、AUC、Precision、Recall 等基础指标仍是横向比较的共同语言，但无法承载事实忠实性验证所需的可解释性与可信度要求。

视觉视角下的指标：评估真实环境干扰下的鲁棒性

评测重心在于检测器在分布变化、压缩传播及环境干扰下线索的有效性：

1. 低层线索鲁棒性：包括固定阈值下的 TPR@FPR、跨数据集测试及扰动压力测试。

2. 时空与物理一致性：关注 video-level 报告、时序扰动下降及运动消融实验，评估模型是否依赖整段视频连续性而非单帧捷径。

语言视角下的指标：多模态定位及推理评测

语言视角检测路径更广，需分层评估：

1. 跨模态对齐与时间定位：除基础分类指标外，加入 AP、AR、Recall@K、mAP@IoU 等，评估对齐准确性及线索时间定位能力。

2. 世界知识与推理：引入人工评判、成对偏好、问答及 BLEU、ROUGE-L 等指标，评估模型对常识、物理规律及外部知识的推理与解释质量。

数据集沿 AI 生成视频范式分化：

1. 面向 LMV 范式：重点评测视觉线索在失真、压缩及跨域传播下的稳定性，正逐步纳入时间推理和解释性评测。

2. 面向 AVE 范式：强调精细时间标注与跨模态对应关系，考察模型发现音画错位、身份错配及语义不一致的能力。

3. 面向 GVS 范式：应对全合成视频的生成器多样性与语义不对齐挑战，LOKI、GenWorld 等工作已将世界模拟、缺陷级标注及人类感知线索纳入评测。

面向视频生成模型诊断的相关评测

除专用数据集外，针对视频生成质量的诊断及视频理解模型纠错能力的评测亦是重要参照：

1. 评估对象、属性、交互及状态变化是否符合基本物理规律；

2. 考察世界动态与因果关系，即局部规律能否延展为连贯的事件过程；

3. 验证系统能否将各层级错误转化为明确、可理解的判断。

高保真 AI 生成视频持续抬高伪造上限，检测任务需从简单分数概括转向事实保真度检测，评测体系亦需同步拓展：

1. 证据优先的动态评测体系

面对长跨度复杂视频，评测需揭示模型依赖的具体线索。数据标注与结果报告应前推至可核验的命题单元，将「长时序叙事」转化为事件链或实体状态轨迹等结构化对象，追问检测「抓住了哪条命题」及「证据与判断是否一一对应」。

此外，为弥补封闭世界设定下的鲁棒性缺口，需借鉴 arena/leaderboard 式的持续更新机制，流式纳入新生成器与平台转码链路。

1. 协同双视角的可信、可解释检测系统

实现可解释检测需兼顾感知与认知两条链路：结合视觉视角揭露伪迹与时空不一致的能力，以及语言视角进行结构化推理的能力。一方面补充视觉语言模型在感知保真度上的不足，另一方面利用语言视角在语义和事实空间检测高保真视频。

进一步建立「识别—定位—解释」的显式推理路径，确保每个工具调用或知识引用严格绑定到具体论证环节。最终，内容侧检测体系需与来源侧认证信号交叉校验，形成跨层次、多模态的检测体系及可信证据空间。

AI 视频检测是一项日益艰难的任务。该综述提供了一套贴近落地需求的地图，重新界定检测任务，提出「视觉—语言双视角」四层框架，并系统梳理了方法、基准与指标。

未来，可信的 AI 视频检测将成为 CV、NLP、多模态理解和世界模型研究的交叉议题：CV 提供时空证据建模，NLP 提供命题拆解与推理能力，多模态与世界模型则提供更丰富的物理与因果先验。

唯有融合这些能力，视频检测才能超越局部伪迹搜索，走向更严格的「真实观」：不仅关注视频看起来是否可信，更要核查其中的实体、事件与动态过程是否始终忠实于真实世界的约束。

参考资料：

https://www.researchgate.net/doi/10.13140/RG.2.2.31713.88168

编辑：LRST