极市导读
ImageSentinel 把“哨兵图像 + 随机密钥”埋进私有库,RAIG 系统一旦调用即刻触发高相似生成,3 次查询即可 100% 检出未授权使用,且几乎不掉生成质量,为电商、遥感等高价值图库提供即插即用的版权护盾。>>加入极市CV技术交流群,走在计算机视觉的最前沿
-
论文标题: ImageSentinel: Protecting Visual Datasets from Unauthorized Retrieval-Augmented Image Generation
-
论文链接:https://arxiv.org/abs/2510.12119v1
01 背景与动机
检索增强图像生成(RAIG)技术近年来取得了显著进展,通过在生成过程中检索和利用相关参考图像,这些方法在稀有概念生成和精细图像合成等具有挑战性的任务中实现了卓越性能。然而,由于这些方法严重依赖高质量的参考图像数据库,私有数据集的未授权使用已成为日益严峻的问题。
恶意用户可能在未经授权的情况下将私有图像数据集整合到其检索系统中。这种未授权使用不仅侵犯知识产权,还给数据集所有者带来重大的法律和商业风险。尽管这些担忧日益加剧,目前尚不存在有效的机制来保护视觉数据集免受RAIG系统的未授权使用,也没有可靠的方法来检测此类滥用行为。
一个直接的解决方案是对私有数据集应用数字水印技术。然而,传统水印方法在RAIG系统中并不适用。与文本生成中内容通常被直接引用或转述不同,图像生成涉及复杂的特征提取和重组过程,从根本上改变了视觉元素,通常会破坏任何嵌入的水印,使此类保护策略不适用。
为克服这些局限性,本研究提出了一种新颖的保护策略,将特制的验证图像整合到私有数据集中。这些图像设计为可通过特定预定义密钥检索,同时保持与私有数据集的视觉一致性。本文将此类图像称为哨兵图像,当与独特的检索密钥结合使用时,可作为私有数据集使用的可靠指标。通过检查特定检索密钥是否触发生成与我们保护图像匹配的内容,可以有效检测数据集滥用。
02 方法
本文提出的ImageSentinel框架如图2所示,包含三个关键组件:密钥生成、哨兵图像合成和未授权使用检测。
密钥生成:生成独特的随机字符序列,作为保护验证的触发器。这些随机字符组合在正常用户提示中极少出现,既确保对RAIG系统正常运行的最小干扰,又提供了检测未授权使用的独特触发机制。
哨兵图像合成:如图3所示,哨兵图像合成过程包含两个主要阶段:属性提取和密钥引导的图像嵌入。
首先,利用视觉-语言模型(如GPT-4o)从私有数据集的参考图像中提取全面的语义属性,包括主题内容、视觉风格、构图和色彩等关键特征。这种全面的语义分析确保合成的图像能够保持与私有数据集的视觉和主题一致性。
其次,通过文本到图像模型进行密钥引导的图像合成。对于给定的语义属性集、描述和检索密钥,构建基于模板的提示,在保留原始语义属性的同时描述所需的密钥特定修改。这种精心设计的提示确保生成的哨兵图像既包含参考图像的语义属性,又包含检索密钥信息,同时保持自然的视觉整合。
未授权使用检测:为检测RAIG系统是否未经授权使用了保护数据集,本文利用哨兵图像与其对应密钥之间的嵌入连接:如果系统在使用这些密钥查询时生成的图像与哨兵图像具有高视觉相似度,则表明该系统可能将受保护数据集用作其参考数据库。检测过程使用DINO特征计算生成图像与哨兵图像之间的余弦相似度,当聚合相似度分数超过预定义阈值时,判定发生未授权使用。
03 主要实验结果
定性结果分析:图4和图5展示了在LLaVA-Pretrain数据集和Product-10K数据集上的定性结果。
如图4所示,当RAIG系统恶意整合受保护的私有数据集时,它们生成的图像与哨兵图像高度相似,DINO相似度分数显著较高。相比之下,在没有未授权数据集访问的情况下运行的系统生成的图像明显不同,相似度分数较低,尽管接收相同的随机字符序列作为提示。
在Product-10K数据集上的结果表明,哨兵图像自然地整合了关键字符,同时保留了产品的基本特征,如风格、配色方案和包装设计。具有哨兵图像访问权限的生成图像明显整合了嵌入的哨兵图像,而没有访问权限的图像显示出明显不同的视觉元素。
检测性能评估:表3展示了在不同查询次数下的检测性能比较。
实验结果表明,ImageSentinel在所有评估指标上均大幅优于Ward-HiDDeN和Ward-FIN基线方法。仅使用3次查询,ImageSentinel就已实现了较高的检测性能。当查询次数增加到10次和20次时,该方法在所有三个RAIG系统上达到接近完美的检测性能,AUC分数达到1.0。相比之下,两种基线方法即使增加查询次数,也显示出有限的检测能力,AUC分数仍接近随机水平。
生成质量评估:表5比较了不同保护场景下的生成质量。
结果显示,虽然原始RAIG系统达到最佳性能,哨兵图像替换方案显示出显著的质量下降,但ImageSentinel保持了与原始系统相当的生成质量。这表明本文的保护机制在实现未授权使用检测的同时,有效保留了RAIG系统的正常功能。
04 总结与展望
本工作提出了ImageSentinel框架,这是一种保护视觉数据集免受检索增强图像生成系统未授权使用的创新解决方案。通过精心合成的哨兵图像和相应的检索密钥(独特的随机字符序列),该方法在保持数据集实用性的同时实现了可靠的检测能力。广泛的实验表明,ImageSentinel在检测准确性方面显著优于基线保护方法,同时对生成质量的影响最小。
该方法在多个领域具有广阔的应用前景。在商业领域,摄影机构、设计公司和电商平台可以利用该技术保护其高价值的图像资产,防止竞争对手或第三方未经授权将其图像数据库用于检索增强生成系统。在艺术创作领域,艺术家和画廊可以保护其数字作品集免受未授权的检索增强AI系统使用,维护创作者的知识产权和经济利益。此外,该技术还可应用于卫星遥感图像、工业检测图像等专业数据集的版权保护,为数据资产的安全流通提供技术保障。
公众号后台回复“数据集”获取100+深度学习各方向资源整理
极市干货

点击阅读原文进入CV社区
收获更多技术干货

