点击上方蓝字关注我

下岗在家打孩子 闲着也是闲着

正文

一张照片，两段音频，生成自然逼真的角色对话视频

最近做了个小项目，挺有意思的。

简单说就是：你给一张双人（动物也行）合照，再给两段参考音频，系统就能生成一个视频，让照片里的人像真人一样对话，口型对得还挺准。

生成的数字人对话效果，可以看到口型同步非常自然）

技术选型：为什么是ComfyUI

ComfyUI玩AI的人应该不陌生。它是个节点式的AI工作流编辑器，你可以把各种AI模型像搭积木一样组合起来。选它做后端，主要是三点：

第一，它已经集成了很多现成的模型，不用自己从头训练。第二，它的工作流可以可视化，调试起来方便。第三，它提供了REST API，我写个Web前端就能调用。

好比做菜，ComfyUI是那个已经配好料的厨房，只需要按自己的口味组合一下，不用从种菜开始。

ComfyUI的节点式工作流界面，可以看到各种模型节点连接

核心流程：从照片到视频的魔法

整个流程说起来不复杂，但每一步都有门道。

第一步：准备素材

准备三样东西：一张双人合影的照片、两段参考音频、一段对话文本。照片最好是正面清晰的人脸，音频最好是不同说话人的声音，对话文本就是你想让他们说的内容。

系统会先用IndexTTS2把对话文本转成语音，然后用你提供的参考音频做声音克隆。这一步有点像给演员配音，但用的是AI。

第二步：提取特征

这里用到了几个模型：

• CLIP Vision：理解照片里的人物特征，提取视觉嵌入。就像给照片做"阅读理解"，知道这是个人，长什么样，什么表情。

• Wav2Vec2：分析音频，提取语音特征。这个模型能把声音转换成机器能理解的向量，知道这句话的语调、节奏、情感。

• MultiTalk模型：这是核心，专门处理多人对话的场景。它能把两个说话人的特征分开处理，然后合成到视频里。

第三步：生成视频

这是最耗时的部分。系统会把照片、文本描述、语音特征都输入到WanVideo模型里，让它生成每一帧的画面。

WanVideo是个图像到视频的生成模型，14B参数，支持480p分辨率。它会把静态照片"动起来"，根据语音特征调整口型、表情、头部动作。

技术细节：那些值得说的点

口型同步为什么好

这是很多人最关心的。系统用了几个技巧：

1. Wav2Vec2的语音分析：这个模型能精确提取音素级别的特征，知道每个音是怎么发的。就像给每个音标都做了"身份证"。

2. MultiTalk的分离处理：两个说话人的音频是分开处理的，不会互相干扰。这就像两个演员各自排练，最后再合成。

3. VAE的细节增强：视频解码时用了专门的VAE模型，能保留更多细节，让口型变化更自然。

实际效果上，口型同步的准确率大概在90%以上。当然，也取决于你的参考音频质量。如果音频清晰、语速适中，效果会更好。

内存优化

14B的模型，显存占用不小。我做了几点优化：

• 块交换（Block Swap）：把不常用的模型块交换到CPU内存，需要时再加载回来。就像把不常用的工具放到仓库，用的时候再拿。

• 量化：主模型用了Q4_K_S量化，显存占用从24GB降到10GB左右，效果损失很小。

• 动态卸载：生成完成后自动卸载模型，释放显存。

前端设计：让复杂变简单

ComfyUI的界面虽然强大，但对普通用户来说还是太复杂了。做了个Web前端，用FastAPI搭的，界面简洁多了。

用户只需要：

1. 上传一张照片
2. 上传两段参考音频
3. 输入对话文本
4. 点击生成

剩下的交给系统。后台会自动调用ComfyUI的API，处理工作流，生成视频。

前端还做了实时进度显示，用户能看到生成到哪一步了，不会干等着。生成完成后，可以直接下载视频。

实际效果：比我想象的好

实际用下来，有几个地方让我意外：

口型同步：这个最明显。生成的视频里，人物的口型基本能对上语音，不会出现明显的"假唱"感。当然，如果语速太快或者有方言，效果会差一些。

表情自然：系统会根据对话内容调整表情。比如说话时会有轻微的头部动作，眼神也会有变化，需要你在提示词里精确体现。

多人对话：两个说话人能清楚区分，不会出现声音混乱的情况。这主要得益于MultiTalk模型的分离处理。

使用建议：怎么用效果最好

基于我这段时间的使用经验，有几个建议：

照片选择：

• 正面清晰的人脸照片效果最好
• 避免侧脸、遮挡、模糊的照片（略微的侧脸也没问题）
• 分辨率建议在512x512以上

音频准备：

• 参考音频要清晰，背景噪音少
• 语速适中，不要太快或太慢
• 两个说话人的参考声音要有明显区别

对话文本：

• 不要太长，建议每段对话控制在30字以内
• 避免过于复杂的句式
• 可以适当加入语气词，让对话更自然

技术栈总结

最后列一下用到的技术，给想自己做的朋友参考：

后端：

• ComfyUI：AI工作流引擎
• WanVideo 2.1：图像到视频生成模型
• MultiTalk：多人对话处理模型
• Wav2Vec2：语音特征提取
• CLIP Vision：视觉特征提取
• IndexTTS2：文本转语音

前端：

• FastAPI：Web框架
• Jinja2：模板引擎
• WebSocket：实时进度推送

部署：

• Python 3.12
• CUDA 12.x
• 支持Windows和Linux

整个项目代码量不大，核心逻辑也就1000多行。大部分工作其实是在调参和优化工作流。如果你有ComfyUI的基础，照着我的思路，很快就能搭出来。

写在最后

AI工具越来越成熟了。以前做数字人需要专门的团队，现在用现成的模型组合，效果也能接受。当然，这还不是完美的方案。生成速度、效果质量、硬件要求，都还有优化空间。

技术这东西，有时候不需要多高深，能把现有的工具用好，就已经很厉害了。

本期所用到的工作流文件，在公众号【老成教你玩互联网】回复“图片双角色数字人”可获取下载地址。

一键直播换脸软件，开源免费，整合一键包，低配电脑cpu可运行

萌宠视频制作神器，AI动物表情驱动生成视频动图

图片视频高清放大，本地部署开源工具，一键整合包

一键追爆款数字人系统源码，是作弊吗？抖音你在怕什么：数字人+AI改写+一键追爆款，数字人替普通人出镜，24小时自动生产爆款视频

公众号自动化运营神器，一键公众号文章生成配图排版发布工具，本地部署源码#公众号运营 #公众号运营教程

图片人物唱歌模型，本地部署一键整合包，我愿称之为迄今为止最强的模型#图片人物唱歌 #数字人MV #AI唱歌视频

实时对话AI数字人源码，我用一周时间重写了实时数字人：按住说话，就能和你聊天，还会换装，语音识别+大模型+实时视频合成+角色切换

AI自动修图神器，LuminarNeo最新免费版，全网都收费

AI图片高清放大工具，免费下载Upscayl一键秒变高清大图

AI一键生成艺术照，个性面容迁移写真照，免费开源，本地部署