
继此前推出AI个性化视频生成技术后,Tavus本周正式发布实时人类渲染模型Phoenix-4。该模型能创建具备完整面部表情、情绪动态切换及情境化主动倾听能力的AI头像。
Phoenix-4基于数千小时真实人类对话数据训练,可逐帧生成面部与头部像素。其核心优势在于实时处理十余种情绪状态及其过渡,有效避免对话中的不当回应或表情僵硬问题。
作为首个整合情绪控制、主动倾听与持续面部动作的统一系统,Phoenix-4专注于提升实时视频通话流畅度,支持1080p分辨率下40fps稳定运行。
该模型采用混合高斯扩散架构,内置行为模型通过学习并调控面部各部位关联关系,实现精细化表达控制。
Phoenix-4 的核心能力
Phoenix-4支持快乐、悲伤、愤怒、惊讶等十余种情绪的无缝切换与实时生成。用户既可通过LLM指令直接引导情绪表达,也可让模型依据上下文自主响应。配合Raven-1感知模块时,模型还能根据用户语调、表情及意图动态调整情绪反馈,显著提升交互准确性。
除自然鲜明的表情外,Phoenix-4还能通过点头表示认可,或以惊讶、担忧等微表情回应特定情境。说话与倾听状态的过渡无需插值或循环图像,因每帧均为独立生成,视觉衔接极为平滑。
头部运动、眉眼唇额乃至眨眼均由上下文驱动控制,在保持身份一致性的同时,兼顾细微微表情与大幅度情感表达。这些表情源于海量真实情感数据的涌现式学习,而非预设场景拼接。
开发者可通过Tavus平台、API、PALs及更新版Stock Replica库(含40+新复制品)调用该模型,适用于医疗、教育、销售等多种实时交互场景。

