更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】强!MiniMaxH3的又一个精品微调项目:Pika H3 Flex,擅长多镜头叙事、动态图形、产品宣传片、参考引导动画等!更有4步、6步、8步Lora支持
10月29日,社区又出现一个MinimaxH3的微调版本 Pika H3 Flex。来自Pika Labs 团队,这个项目是基于 MiniMax-H3 后训练,将原本需要几十步采样的视频生成流程,压缩到 6 步。它仍然可以生成带同步声音的视频,也保留了首尾帧和多模态参考能力。
亮点是Pika 使用精心挑选视频、音频和参考素材进行了多任务微调,再将 50 步生成器蒸馏到 6 步,并使用奖励反馈和偏好优化进行后续调整。
紧接着,社区又出现了一个更激进的方案。开发者 akhaliq 将 Pika Flex 与 LightX2V Turbo 适配器融合,做出了 4 步、8 步 HD 和轻量版 LoRA。同时comfyUI官方也量化出了两个LORA版本!
下面将分享如何正确使用这些版本。
首先要再简单介绍下这个minimaxH3的微调版:Pika H3 Flex
一、Pika H3 Flex,皮卡丘H3,专为专业迭代而设计
项目地址:https://huggingface.co/Pika-Labs/Pika-H3-Flex
前面讲了,它们使用精心挑选视频、音频和参考素材进行了多任务微调,再将 50 步生成器蒸馏到 6 步,并使用奖励反馈和偏好优化进行后续调整。非常适合多镜头叙事、动态图形、产品宣传片、参考引导动画
示例:
二、如何在comfyUI中使用?
社区快速响应,akhaliq佬快速量化成多个版本的LORA:https://huggingface.co/akhaliq/Pika-H3-Flex-Turbo-LoRA
考虑了不同设备提供了不同版本。目前从测试看已优于pika官方原版模型。
pika仓库的原版我们可以不用看了,因为体量比较大。我们可以看它第三方和comfyUI官方量化的版本。
1、首先是第三方佬的:
作者将Pika 的 Flex 适配器和LightX2V 的 MiniMax-H3 Turbo 加速适配器融合成一个 LoRA 文件,让用户用 4 步或 8 步运行。
六个文件怎么选?
4step_fl2va:4 步、首尾帧/文字,可快速图生视频、文生视频、批量试创意
4step_ref2va:4 步、多参考,可快速测试角色、商品或动作参考组合
8step_hd_fl2va:8 步、首尾帧/文字,可倾向细节表现,且接受更长生成时间
8step_hd_ref2va:8 步、多参考,可参考控制和细节都比较重要的成片候选
4step_fl2va_lite_r32:4 步压缩版,可下载空间、LoRA 占用较紧张时试用
4step_ref2va_lite_r32:4 步压缩版、多参考,同上,但需要多参考输入
像我8G显存设备,直接选择3~6的LORA模型。8步是相对高质量的,5~6是更轻量的。
2、其次是comfyUI官方的
comfyUI 官方提供的是 Pika 原版的 6 步 LoRA
官方仓库有两个文件:
-pika_h3_flex_fl2va_v1_bf16.safetensors:文生视频、首帧、尾帧和首尾帧。
-pika_h3_flex_ref2va_v1_bf16.safetensors:多图、视频、音频等参考生成。
也可以下载。
3、在comfyUI中的使用
像comfyUI的两个LORA,直接在基础工作流中接入,然后使用固定的Sigmas值
以下是closerAi_pika_h3_flex_t2v 工作流:加载 的是pikaH3的Fl2va LORA:
同理re2va的lora也是
文生视频的结果:
多图参考生视频:
而第三方的LORA使用就简单些,就是上面的工作流中,将原来的自定义sigmas引导的修改成基础调度器,如下图所示:
4步就填步数4,8步就填8步。
以上就是这两个版本的不同LORA的正确使用方法。
还有一点要注意的是pika在提示词方面也做了增量的优化。它也进行了说明:https://github.com/Pika-Labs/Pika-H3-Flex/blob/main/docs/prompt-guidance.md
重点加强参考素材分工、保留与迁移边界、动作过程、运镜终点和首尾帧过渡。
我也在我们的minimaxH3套件节点中的提示词增强节点中增加了支持。直接选择使用即可:
本地算力不够怎么办?
如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn
minimax_h3图生视频应用体验地址:https://www.runninghub.cn/ai-detail/2084286858103713794
minimax_h3多参考视频生成应用体验地址:https://www.runninghub.cn/ai-detail/2084287787427262465
国际站邀请码:graufo3b
最后几句:
如果对你有帮助,请一键三连支持下我,感谢!以下是小站主流的一些AI工具应用:
CloserAI AI短剧工作台(本地化解决方案)
https://aigc.douyoubuy.cn/ai-agent/
closerAI FlowStudio本地AIGC无限画布创作工具
https://aigc.douyoubuy.cn/closerai-flowstudio/
closerAI AI绘画大师万象视界:
https://aigc.douyoubuy.cn/closerai-vision/
CLOSERAI POD电商印花批量生产工作站:
https://aigc.douyoubuy.cn/?page_id=420541
closerAI flowStudio Pro万能全链工作台:
https://aigc.douyoubuy.cn/closerai-flowstudio-pro/
以上是就是本期的分享,当然,更多工作流、资讯、插件、工具也可以在我们closerAI会员站上获取(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们:

