人类艺术家创作原创艺术所需的时间与精力,与生成式 AI 模型如今完成任务的速度之间存在不对称性,这正是芝加哥大学学术研究项目 Glaze 引人注目的原因之一。该项目刚刚推出了一款供艺术家使用的免费(非商业)应用,旨在通过高科技“隐身”技术,对抗“艺术知识产权”被抓取到数据集中以训练模仿视觉风格 AI 工具的行为。
该团队发表的研究论文解释了这款(测试版)应用的工作原理:它在每幅应用了该工具的艺术作品上添加几乎不可察觉的“扰动”,这些变化旨在干扰 AI 模型读取艺术风格数据的能力,使生成式 AI 更难模仿原作及其艺术家的风格。相反,系统会被诱骗输出与原始艺术作品相去甚远的其他公共风格。
Glaze 的风格防御效果因制作者的说法而有所不同——某些艺术风格比其他风格更适合被“遮蔽”。其他因素(如反制措施)也会影响其性能。但其目标是向艺术家提供一种反击数据矿工入侵的工具,至少能破坏他们未经同意窃取辛苦创作的艺术风格的能力,同时让艺术家无需放弃在网上公开展示作品的权利。
这是重大的一天。
我们的用于保护艺术家免受 AI 艺术模仿的工具 Glaze,现在可以下载/使用。Glaze 会分析您的艺术作品,并生成一个修改后的版本(变化几乎不可见)。这种“遮蔽”图像会干扰 AI 的模仿过程。
—— Ben Zhao 2023年3月15日
芝加哥大学计算机科学教授、该项目负责人 Ben Zhao 在接受 TechCrunch 采访时解释了该工具的工作原理。
“我们的做法是尝试理解 AI 模型如何感知其自身对‘艺术风格’的定义。然后我们基本上在那个维度上工作——扭曲模型所看到的特定风格。因此,这并非隐藏信息或阻止某些内容……本质上,这是学习如何用机器学习模型的‘语言’说话,并利用它自己的语言——以对人类视觉影响最小的方式扭曲模型对艺术图像的感知。事实证明,由于这两个世界截然不同,我们实际上可以在机器学习视角下实现显著扭曲,同时在人类作为观察者的视觉视角下保持极小的扭曲。”他告诉我们。
“这源于 AI 感知世界的方式与我们感知世界方式之间的根本差异。这种根本差异早已为人所知,并非新事物,也不易消除或避免。这正是我们存在针对机器学习的‘对抗样本’任务的原因。人们一直在尝试修复这一问题——防御这些现象——至今已有近十年时间,但收效甚微。”他补充道。“我们用数学表示法来描述我们看到的世界与 AI 模型看到的世界之间的差距,这似乎是根本且不可避免的……从纯技术角度来看,我们实际上是在进行攻击,而非防御。但我们将其用作防御手段。”
此处另一个显著考量是个体人类创作者(在本例中为艺术家,他们通常靠创作艺术谋生)与生成式 AI 模型背后的商业行为体之间的权力不对称性——后者已筹集巨额风险投资和其他资金(并大量摄取他人的数据),旨在构建能够自动化(即取代)人类创造力的机器。而在生成式 AI 艺术领域,该技术因自动化模仿艺术风格而被指责威胁艺术家的生计。
使用 Stable Diffusion 和 Midjourney 等生成式 AI 艺术工具的用户无需亲自绘制任何笔触,就能生成看似合理(至少看起来专业)的仿作。软件允许用户输入几个词来描述他们希望转化为图像的内容——如果他们愿意,甚至可以直接输入艺术家的名字,要求作品呈现该艺术家的风格——从而即时获得反映所选输入的独一无二视觉输出。这是一项极其强大的技术。
然而,生成式 AI 模型制造商通常并未征求许可,便从公共互联网上抓取数据用于训练其模型。那些在开放平台上展示自己作品的艺术家——这是推广技能以及在现代销售创意服务过程中不可或缺的一环——发现他们的作品被构建生成式艺术模型的 AI 公司用作训练数据,且事先并未征得同意。
在某些情况下,个别艺术家甚至发现自己的名字可以被直接用作提示词,指示 AI 模型以其特定风格生成图像——同样,对于这种赤裸裸地窃取其创意表达的行为,事前并未获得授权(或其他形式的报酬)。(尽管此类诉求可能很快会通过诉讼提出。)
黎明时分拿起画笔:艺术家们感受到生成式 AI 艺术带来的压力
随着法律法规在人工智能发展方面滞后,目前存在明显的权力失衡(甚至可以说是完全真空)。这正是 Glaze 背后的研究人员希望其技术能够发挥作用的地方——通过为艺术家提供一款免费工具,帮助他们抵御那些渴望灵感的 AI 未经同意地“吞噬”他们的作品和创造力,同时为立法者争取时间,以便他们能够更好地理解现有的规则和保护机制(如版权)需要如何演变,以跟上时代步伐。
可迁移性与有效性
赵表示,由于不同生成式 AI 模型在训练底层任务时具有相似性,Glaze 能够对抗多种生成式 AI 模型的风格训练。他借用机器学习中的“可迁移性”概念来解释这一方面。
“虽然我们无法接触到市面上所有的 [生成式 AI 艺术] 模型,但它们之间存在足够的可迁移性,使得我们的效果能够延伸到我们无法直接访问的模型中。当然,这种效果不会那么强——因为可迁移性本身并不完美。因此,虽然属性会有一定的可迁移性,但事实证明我们并不需要它达到完美,因为在风格迁移这个领域,影响是连续的。”他解释道。“这意味着不存在具体的界限……这是一个非常连续的空间。因此,即使你传递的是一个不完整的遮蔽效果版本,在大多数情况下,它仍然会对从其他模型生成的艺术产生显著影响,而这些模型是我们尚未专门优化的。”
据赵介绍,艺术风格的选择可能会对 Glaze 的有效性产生——潜在的——更大的影响,因为某些艺术风格比其他风格更难防御。本质上是因为在插入扰动方面,画布上可供技术操作的空间较少——因此,与视觉丰富的作品相比,极简/干净/单色风格的效果可能较弱。
“由于风格的性质,我们对某些类型的艺术保护能力较弱。例如,想象一下建筑草图,那种线条非常干净、精确且背景大量留白的风格——这种风格很难有效地进行遮蔽,因为没有地方或只有很少的地方可以让效果(即图像 manipulation)真正发挥作用。因为它要么是白色空间,要么是黑色线条,中间几乎没有过渡。因此,对于这类艺术作品来说,挑战更大——效果也可能更弱。但是,例如,对于具有丰富纹理、色彩和背景的油画,则容易得多。你可以使用显著更高的——我们称之为——扰动强度,或者说效果的显著更高强度来进行遮蔽,而不会对艺术品的视觉效果产生太大影响。”
一件经过“釉化”(即被遮蔽)的艺术作品与原始(对AI裸露)艺术作品之间在视觉上有多大差异?凭我们的肉眼观察,该工具确实为图像添加了一些可察觉的噪声:研究团队的研究论文包含了以下示例,展示了原始作品与釉化作品的对比——其中遮蔽作品中的一些模糊性清晰可见。但显然,他们的希望是这种效果足够微妙,以至于普通观众不会真正察觉到有什么不对劲(毕竟他们看到的只是釉化后的作品,而非“前后”对比)。
即使是目光敏锐的艺术家,也一定能察觉到这种细微的变化。但他们或许会觉得这是一种值得做出的轻微视觉妥协——这样他们就可以放心地展示自己的作品,而不必担心自己实际上是在将自己的才华拱手让给人工智能巨头。(此外,研究人员开展的一项核心工作就是通过对艺术家进行调查,了解他们对AI艺术的整体看法,以及Glaze保护措施的具体效果。)
赵表示:“我们正试图解决艺术家们感到无法在网上分享自己作品的这一问题。”“尤其是独立艺术家。他们如今已无法发布、推广和宣传自己的作品以接受委托——而这正是他们的生计所在。因此,仅仅让他们感到更安全这一事实,以及使他人更难模仿他们这一事实,就意味着我们真正实现了目标。对于绝大多数艺术家来说……他们可以借助这项工具,对自己推广作品的方式感到更加安心,并继续推进自己的职业生涯,从而避免大多数来自AI模型模仿其风格的威胁影响。”
模仿的程度
对于那些作品(及风格)已被生成式AI模型吸收的艺术家来说,是否已经木已成舟?赵认为并非如此。他指出,大多数艺术家都在持续创作和推广新作品。当然,AI模型本身也在不断演进,训练通常是一个持续进行的过程。因此,他表示,公开带有伪装的作品有机会改变生成式AI模型对某位特定艺术家风格的认知,并扭转此前已形成的基准。
他辩称:“如果艺术家开始使用Glaze等工具,随着时间的推移,它实际上会产生重大影响。”“不仅如此,还有一个额外的好处是……艺术风格领域实际上是连续的,因此你不需要让占主导地位甚至绝大多数的图像受到保护,就能达到预期效果。”
“即使只有相对低比例的图像被Glaze进行了伪装,当这些模型尝试生成合成艺术时,仍会对它们的输出产生不可忽视的影响。因此,确实存在这样的情况:它们作为训练数据吸收的保护性艺术作品越多,这些模型生成的风格就会越远离原始艺术家。但即使只有一小部分比例,效果依然存在——只是会较弱一些。所以这并不是一个非此即彼的属性。”
“我倾向于这样理解——想象一个三维空间,其中当前对某个特定艺术家(比如毕加索)的 AI 模型认知被定位在某个角落。随着你开始输入更多关于毕加索不同风格的训练数据,它对该风格真正含义的理解会慢慢向另一个方向偏移。摄入的数据越多,它沿该方向的移动就越明显,直到最终偏离原始位置足够远,以至于再也无法生成任何看起来像毕加索作品的有意义内容。”他补充道,并勾勒出一个关于 AI 如何思考艺术的 conceptual model(概念模型)。
一位令人恐惧的 AI 生成女性潜伏在潜在空间的深渊中
这里另一个有趣的元素是 Glaze 如何选择要喂给 AI 的虚假风格——以及它如何选择风格以复用对抗自动化艺术模仿。显然,这里存在需要权衡的道德考量。尤其考虑到,如果用户的提示词被重新引导至非原本意图的方向,可能会导致人为注入风格的仿作增多。
简短的回答是:Glaze 使用的是“公众熟知的”风格(文森特·梵高是其用于演示该技术的一种风格),这些风格被 Zhao 称为“我们的目标风格”,即该技术试图将 AI 的模仿倾向转向的外观。
他表示,该应用还力求为原始艺术作品输出一种截然不同的目标风格,从而为个体艺术家提供显著程度的保护。换句话说,一位纯艺术画家的被遮蔽作品可能会呈现出更加抽象的外观——因此不应被误认为是仿作(即使是拙劣的仿作)。(有趣的是,根据论文所述,受访艺术家认为当被模仿的作品质量较差时,Glaze 成功保护了他们的知识产权。)
“我们实际上并不期望将模型对某位艺术家风格的完全认知彻底转变为那种目标风格。因此,你并不需要达到 100% 的有效性来将某位艺术家精确地转化为另一位艺术家的风格。所以它永远不会真正达到 100%。相反,它产生的是某种混合体。”他说,“我们所做的是尝试寻找那些不侵犯任何单一艺术家风格、但同时也与原始艺术家起点 reasonably different(合理不同)——或许 significantly different(显著不同)——的公众公认风格。”
“因此,实际发生的情况是:软件运行并分析艺术家提供的现有艺术,大致计算出艺术家在当前代表风格的功能空间中的位置,然后分配一个在风格空间中合理不同/显著不同的风格,并将其作为目标。并且它会努力与此保持一致。”
反制措施
该团队的论文讨论了数据饥渴型AI模仿者可能试图部署的几种反制措施,以规避风格伪装——即图像变换(在训练前对图像进行增强,以尝试抵消扰动的影响);以及鲁棒性训练(通过在训练数据中引入部分已伪装的图像及其正确输出,使模型能够适应伪装数据)。
在这两种情况下,研究人员发现这些方法并未削弱他们用于评估工具在破坏风格模仿方面有效性的“艺术家评分保护”(即ARP)成功率指标(尽管论文指出,鲁棒性训练技术可能会降低伪装的效果)。
在讨论反制措施带来的风险时,赵承认,这很可能是一场军备竞赛:一方是防护屏蔽,另一方是AI模型制造商试图破解防御攻击并继续获取有价值数据的努力。但他对Glaze能产生有意义的保护作用持相当乐观的态度——至少在一定时间内如此,这有助于为艺术家争取时间,游说获得针对贪婪AI模型的更好法律保护——他建议,这类工具将通过提高获取受保护数据的成本来发挥作用。
“在机器学习领域,攻击几乎总是比防御更容易……在我们的案例中,我们实际上所做的更接近于传统上被称为‘数据投毒’的攻击,即从内部破坏模型。有可能,也总是有可能,有人会提出更强大的防御手段来抵消Glaze的效果。我真的不知道这需要多长时间。例如,在过去,研究界通常需要一年或更长时间才能开发出针对防御的反制措施。在这种情况下,由于[Glaze]实际上是一种有效的攻击,我认为我们确实可以回过头来,针对Glaze的‘防御’开发出自适应的反制措施。”他补充道。
“在许多情况下,人们会说这是一种‘猫鼠游戏’。从某种意义上说,确实如此。我们希望每一轮或每一次迭代[的反制措施]周期都足够长。更重要的是,任何针对Glaze的反制措施都将极其昂贵,以至于不会发生——不会被大规模应用。”他继续说道。“对于绝大多数艺术家来说,如果他们能够保护自己,并且其保护效果难以被低成本移除,那么对大多数(绝大多数)人来说,攻击者逐个图像地进行计算以尝试构建足够多的干净图像来模仿他们的艺术,将不再具有经济可行性。”
“因此,我们的目标就是抬高门槛,高到让攻击者,或者说那些试图模仿艺术的人,觉得去做其他事情更容易。”
提高获取备受追捧艺术家风格数据的成本,或许无法阻止资金雄厚、资源充沛的AI巨头——它们有能力将大量资源投入价值榨取行为——但这可能会劝退使用开源生成式AI模型的家庭用户。正如赵所言,他们不太可能具备足够的计算能力来绕过Glaze。
他建议:“如果我们至少能减少这些非常受欢迎的艺术家所受到的模仿影响,那仍将是一个积极的结果。”
尽管对于资金充裕的AI巨头来说,成本可能只是一个次要考虑因素,但它们至少必须顾及自身的声誉。如果被发现正在部署措施以抵消艺术家主动施加的保护,那么所谓“仅抓取公开可用数据”的借口将显得更加站不住脚。这样做无异于竖起一面写着“我们窃取艺术”的红旗。
赵再次表示:“在这种情况下,我认为从伦理和道德角度来看,对大多数人来说相当明确:无论你是否认同AI艺术,针对特定艺术家、未经其许可且未提供补偿地试图模仿其风格,似乎是一件在伦理上明显错误或值得质疑的行为。因此,如果有人开发反制措施,他们在伦理上显然不会站在正确的一方。这有望阻止大型科技公司及其他一些大公司采取此类行动并朝相反方向推进。”
他认为,Glaze为艺术家争取到的任何喘息空间,“都是一个机会”,让社会审视应如何演进版权等法规,去考虑所有宏观层面的问题:“我们如何看待在线内容;应授予在线内容哪些权限;以及我们将如何看待那些无视知识产权和版权、在互联网上肆意运行并吞噬一切内容的模型”。
版权滥用
谈及可疑行为,既然谈到监管话题,赵指出了某些生成式AI模型制造商的历史,它们贪婪地吞食创作者的数据——他认为“相当清楚”,这些模型的开发之所以成为可能,是因为它们“掠夺”了“或多或少受版权保护的数据”——并且(至少在部分情况下)“通过一个非营利组织的代理”进行。言下之意是:如果最初是一家逐利实体在攫取数据,舆论的反弹可能会更快爆发。
他虽然没有立即点名,但成立于2015年的ChatGPT生成式AI聊天机器人制造商OpenAI多年来披着开源非营利组织的外衣,直到在2019年转变为‘利润封顶’模式。近来它展现出赤裸裸的商业面貌,对其技术的炒作也甚嚣尘上——例如,不提供用于训练其模型的数据细节(这与其所谓的“开放”AI形象相去甚远)。
这里的反转如此之大,以至于亿万富翁埃隆·马斯克(Elon Musk,OpenAI的早期投资者)在一条最近的推文中质疑,这种转变甚至是否合法?
生成式AI领域的其他商业参与者似乎也在测试反向路线——通过支持非营利性的AI研究。
“这就是我们今天走到这一步的原因,”赵断言。“而且确实有相当明确的证据可以证明,这确实是对版权的滥用——即侵犯了所有这些艺术家的版权。至于应该采取什么补救措施,我也不确定。我不确定是否可行地要求这些模型被销毁——或者退回到其形态的某个早期阶段。这似乎不太可能且不切实际。但展望未来,我至少希望会有相关法规来规范这些模型的后续设计,以便以某种方式对大型科技公司——无论是微软、OpenAI、Stability AI 还是其他公司——进行约束。”
“因为目前人们对伦理的重视程度极低。一切都在这种追求‘你能做的下一个新事物是什么’的全面追逐中。包括媒体和用户群体在内的所有人,似乎都完全接受了那种‘哇,看现在AI能做的酷炫新功能!’的故事——而完全忘记了那些内容实际上被这一整个过程所吸收的人们的处境。”
说到下一个酷玩意儿(咳咳),我们问赵教授,他是否设想有可能开发出能够保护个人写作风格的遮蔽技术——鉴于写作是另一个生成式AI正在颠覆常规规则的创意领域。像OpenAI的ChatGPT这样的工具可以在短短几秒内(最多几分钟)输出各种基于文本的 compositions——从诗歌和散文到剧本、文章、歌词等等。它们还可以响应提示,要求文字模仿著名作家的风格——尽管委婉地说,成功有限。(不要错过尼克·凯夫对此的看法。)
生成式AI对创意作家构成的威胁,可能不像它对视觉艺术家那样一目了然。但是,我们总是被告知这些模型只会越来越好。再加上单纯的生产力规模问题;自动化可能无法产生最好的文字——但在 sheer 的斯塔汉诺夫式(超量)产出方面,没有任何人类文字工作者能够与之匹敌。
赵表示,该研究小组正在与来自不同领域的创意人士和艺术家交谈,他们提出了与艺术家类似的担忧——从配音演员到作家、记者、音乐家,甚至舞蹈编导。但他指出,抄袭写作风格比其他一些创意艺术形式更为复杂。
“我们几乎都在与[所有正在交谈的创意人士]讨论这个问题:当AI试图提取他们的风格、提取他们在各自领域的创造性贡献,然后试图模仿他们时,会发生什么。因此,我们一直在思考许多不同的领域,”他说。“我现在要说的是,AI在不同领域取代人类创意人士的威胁因领域而异。在某些情况下,AI更容易捕捉并尝试提取特定人类创意人士的独特方面。而在某些组成部分上,则会困难得多。”
你提到了写作。在许多方面,提炼出能够以有意义的方式被识别的、代表某人独特写作风格的内容更具挑战性。因此,也许海明威、乔叟或莎士比亚拥有某种广为人知且被公认为属于他们个人的标志性风格。但即便在这些情况下,也很难断言某段文本必定出自乔叟之手、必定是海明威所写,或者必定是斯坦贝克的作品。因此,我认为其中的威胁性质大不相同。我们正试图理解这些不同领域中的威胁具体呈现为何种形态。在某些我们认为可以采取行动的情况下,我们将尝试开发工具,以帮助该领域的创意艺术家。
值得注意的是,这并非赵及其团队首次欺骗AI。三年前,该研究小组开发了一种防御面部识别的工具——名为Fawkes——它同样通过遮蔽数据(在这种情况下是自拍照)来对抗旨在读取面部生物特征的人工智能软件。
如今,随着 Glaze 的发布,团队希望更多研究人员受到鼓舞,投身于构建保护人类创造力——正如凯夫(Cave)所言的“人性”特质——免受无意识自动化之害的技术,并防范一个未来:所有可用渠道都被毫无意义的仿制品淹没,充斥着 AI 生成的喧嚣与愤怒,却毫无意义。
他建议:“我们希望会有后续作品出现,希望它们能比 Glaze 表现得更好——变得更加稳健,更能抵御未来的反制措施。”这在许多方面也是本项目目标的一部分——引起关注,让我们意识到那些具备技术和研究能力的人亟需开发此类技术,以帮助那些在技术领域缺乏代言人(用不太恰当的说法就是缺乏支持者)的人们。如果我们能让研究界更多地关注这个由艺术家和创作者组成的多样化群体,那也将是一种成功。
OpenAI 从非营利组织转为“利润上限”模式以吸引资本
Stability AI、Hugging Face 和 Canva 支持新的 AI 研究非营利组织

