在之前的文章中已经给大家介绍过许多关于ID保持的文章,感兴趣的同学可以点击以下链接阅读,也可以在公众号菜单栏查看ID一致保持专栏,创作不易,欢迎大家点点赞和在看~
CrossFaceID模型在训练过程中使用了专门构建的CrossFaceID数据集,该数据集包含丰富的面部特征描述,有助于提升模型在面部定制方面的能力。在面部信息处理上更为精细,它通过GPT-4生成的详细面部特征描述来丰富数据集,从而提高了模型对面部细节的捕捉和生成能力。
那么CrossFaceID模型与InstantID、IP-Adapter相比有哪些技术上的差异?
-
InstantID则主要依赖于预训练的LAION数据集,并结合文本嵌入和面部关键点信息来指导图像生成。CrossFaceID通过进一步训练InstantID模型,显著增强了其面部定制功能。 -
IP-Adapter则倾向于结合粗粒度的面部信息与文本提示,相比之下,CrossFaceID在面部特征的表达上更为细致和准确。此外,CrossFaceID模型在保持FaceID保真度的同时,显著提升了面部定制的能力,而IP-Adapter在这方面的表现则相对有限。
相关链接
-
论文:http://arxiv.org/abs/2501.15407v1 -
代码:https://github.com/ShuheSH/CrossFaceID 模型:https://huggingface.co/InstantX/InstantID
论文介绍
在当今的数字时代,面部定制技术在娱乐、虚拟现实和社交媒体等领域发挥着越来越重要的作用。然而,如何在保证面部识别准确性的同时,实现多样化的面部定制,一直是业界面临的重要挑战。CrossFaceID 是首个大规模、高质量且公开可用的数据集,专门用于提高 FaceID 定制模型的面部修改能力。
数据集构建
CrossFaceID 包含来自约 2,000 人的 40,000 个文本-图像对,每个人由大约 20 幅图像代表,这些图像展示了各种面部属性,例如姿势、表情、角度和装饰。在训练阶段,将使用某个人的特定面部作为输入,然后强制 FaceID 定制模型生成同一个人的另一张图像,但面部特征有所改变。这使 FaceID 定制模型能够在推理阶段获得个性化和修改已知面部特征的能力。
CrossFaceID的显著优势
-
多样性:CrossFaceID数据集涵盖了多种面部表情和角度,为模型提供了丰富的训练素材。 -
准确性:经过CrossFaceID数据集训练的模型,能够保持面部识别的准确性,不会出现身份混淆的情况。 -
开放性:CrossFaceID数据集、代码和模型均向公众开放,有助于推动面部定制技术的进一步发展。
与之前作品的比较
FaceID 保真度
结果展示了 FaceID 定制模型在保持 FaceID 保真度方面的表现。
-
对于官方 InstantID 模型和 LAION 训练的模型,在我们的 CrossFaceID 数据集上微调之前和之后,保持 FaceID 保真度的能力保持一致; -
在我们精选的 LAION 数据集上训练的模型在保持 FaceID 保真度方面实现了与官方 InstantID 模型相当的性能。
FaceID定制
FaceID 自定义模型在自定义或编辑 FaceID 时的性能结果。在 CrossFaceID 数据集上微调后,模型自定义 FaceID 的能力得到了提升。
为了验证CrossFaceID数据集的有效性,作者选择了先进的面部定制模型InstantID及其原始版本IP-Adapter进行实验。实验结果表明,经过CrossFaceID数据集训练的模型,在保持面部识别准确性的同时,显著提升了面部定制能力。无论是生成微笑、悲伤还是其他表情的面部图像,CrossFaceID模型都能轻松应对。
总结
CrossFaceID是一个大型高质量且公开可用的数据集,旨在提升FaceID定制化模型的面部修改能力。CrossFaceID包含来自约2000位名人的40,000对文本-图像配对,每位名人通过20张展示不同面部特征的图像进行表征。这一数据集的构建为模型提供了丰富的训练数据,使其能够在保持FaceID一致性的同时,生成具有多样性的面部图像。
感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~

