更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】MiniMax-H3 视频变清晰!minimaxH3的视频高分辨率细化方案:英伟达团队开源Open-H3-Regenerate-2K,让视频生成直达2K!
10月28日,NVDIA英伟达团队开源了minimaxH3的视频高分辨率细化的模型方案。是由Efficient-Large-Model 团队发布,代码位于 NVIDIA 的 Sana 项目中,项目定位为闭源 H3-Regenerate-2K API 的公开替代方案。
项目地址:https://huggingface.co/Efficient-Large-Model/Open-H3-Regenerate-2K
这个项目解决的问题很具体:先用 MiniMax-H3 生成一段内容和动作已经确定的低分辨率草稿,再把草稿交给细化流程,生成更高分辨率的视频。
项目说明中给出的参考任务是:将 1344×768、121 帧的 MiniMax-H3 草稿,经过潜空间放大和三步细化,输出为 2560×1440 视频。按 24 帧每秒计算,121 帧约为 5 秒。
这个项目开源的不只是一份模型权重,还包括细化 LoRA、3D latent 放大器、快速 VAE 解码器,以及用于运行和加速的代码。它的使用可以分成两阶段:先得到草稿,再执行高分辨率再生成。使用minimaxH3生成一段视频的动作和构图已经不错,但人脸、衣服或背景细节不够清楚时,这正是这个项目要解决的问题。
社区大佬Kijai 随后提供了其中 Refiner 部分的 ComfyUI 格式 LoRA,让我们可以尝试把它接到已有的 H3 工作流中。但这个 Refiner LoRA不是完全复现这个项目的,它仅仅是抽离出来形成通用LORA,让我们可以在自己的工作流中接入使用。这个LORA的作用是参与后续细化。可以把它理解为:原视频决定主要内容和运动,放大器负责扩大 latent 的空间尺寸,Refiner 再参与高分辨率重建。
目前KJ放置在其抱脸仓库中,如下图所示:
本地算力不够怎么办?
如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn
minimax_h3图生视频应用体验地址:https://www.runninghub.cn/ai-detail/2084286858103713794
minimax_h3多参考视频生成应用体验地址:https://www.runninghub.cn/ai-detail/2084287787427262465
国际站邀请码:graufo3b
最后几句:
如果对你有帮助,请一键三连支持下我,感谢!以下是小站主流的一些AI工具应用:
CloserAI AI短剧工作台(本地化解决方案)
https://aigc.douyoubuy.cn/ai-agent/
closerAI FlowStudio本地AIGC无限画布创作工具
https://aigc.douyoubuy.cn/closerai-flowstudio/
closerAI AI绘画大师万象视界:
https://aigc.douyoubuy.cn/closerai-vision/
CLOSERAI POD电商印花批量生产工作站:
https://aigc.douyoubuy.cn/?page_id=420541
closerAI flowStudio Pro万能全链工作台:
https://aigc.douyoubuy.cn/closerai-flowstudio-pro/
以上是就是本期的分享,当然,更多工作流、资讯、插件、工具也可以在我们closerAI会员站上获取(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们:

