JIC投资观察原创文章
中国建投成员企业建投华科
作者：刘卓然、陈伊荻
本文3292字，阅读时间约8分钟
香港警方于2024年2月5日公布了一起震惊的诈骗案件。此案中，诈骗团伙运用名为“Deepfake”（深度伪造）的AI技术，通过换脸和音频合成手段，假冒一家英国跨国企业的多位高管，成功欺骗了该公司香港分支机构的员工，骗取了高达2亿港币的资金。
事件的开端是一封声称来自英国总部的邮件，内容称公司正在策划一项“机密交易”，需将资金转入特定账户。尽管起初员工对此有所怀疑，但诈骗团伙不断通过邮件施压，并最终安排了一场视频会议来加强其骗局的可信度。
在视频会议中，员工看到了被AI技术合成的英国总部CFO和其他公司高层的影像。诈骗团伙精心设计了这场会议，要求员工进行自我介绍，并模拟了一场关于“机密交易”的讨论。会议最后，CFO“命令”员工尽快完成转账。深信不疑的员工在接下来的一周内分15次向5个香港本地账户转账了2亿港币。直到与真正的英国公司总部沟通后，员工才恍然大悟，意识到自己已陷入骗局。
这起诈骗案凸显了以下几个关键点：
首先，诈骗团伙可能通过“钓鱼”软件或其他技术手段，搜集了公司内部的架构和运营模式等敏感信息，以便设计出一个看似合理的诈骗方案。
其次，视频会议中的“英国高管”影像是基于他们在网上公开的视频资料，通过AI技术换脸和音频合成而成。这些视频资料很可能被诈骗团伙预先下载并用于诈骗活动。会议中，除了受害员工外，其他所有参会者均为AI合成。
再者，由于视频和剧本是预先设计好的，诈骗团伙无法与员工进行实时对话或回答员工的提问。因此，他们采用了让“英国总部高管”直接现身讨论并下达“最高指令”的策略。
最后，为了避免露出马脚，该视频会议持续时间极短，仅几分钟。
01
在数字经济飞速发展的当下，人工智能技术为全社会带来了巨大的机遇和挑战。Deepfake技术作为人工智能的一个分支，虽然在影视文化领域展现了巨大的想象力，但也引发了肖像权、版权和伦理等多重问题。更令人担忧的是，它还可能被用于政治抹黑、军事欺骗和经济犯罪等领域，对国家安全和社会稳定构成严重威胁。
Deepfake这一术语最初起源于Reddit社交网站上的一个名为“deepfakes”的用户。该用户在2017年12月发布了一系列明星的伪造换脸视频，使Deepfake迅速成为AI换脸的代名词。尽管Deepfake在国际上尚未有公认的统一定义，但美国在其《2018年恶意伪造禁令法案》中将其定义为“以某种方式使合理的观察者错误地将其视为个人真实言语或行为的真实记录的方式创建或更改的视听记录”。
Deepfake技术的核心在于利用人工智能算法将被模仿对象的面部替换到原视频中。由于视频由连续的图片组成，需要逐帧替换每一张图片中的脸部，以生成换脸后的新视频。随着深度学习技术的发展，自动编码器和生成对抗网络成为了Deepfake的主流技术。自动编码器是一种神经网络，其本质是一种数据压缩算法，主要用于降维、去噪和图像生成。Deepfake利用这种架构将人类特征编码到低维空间中，再利用特定的训练模型将新的人体特征叠加到原始视频的底层面部和身体特征上。而生成对抗网络则通过生成器和鉴别器两个神经网络的相互博弈进行非监督式学习。生成器的目的是尽可能模仿真实样本以骗过鉴别器，而鉴别器的任务则是从样本中分辨出生成器的输出结果。两者在不断的对抗中调整参数，最终使鉴别器难以判断生成网络的输出结果是否真实。
随着Deepfake技术的普及，互联网上涌现出大量伪造人脸的虚假视频，其滥用对社会产生了巨大的负面影响。为此，各国纷纷出台政策法规以应对这一挑战。我国于2021年1月1日施行的《民法典》第1019条首次规定，任何组织或个人不得利用信息技术手段伪造等方式侵害他人的肖像权。同时，未经肖像权人同意，不得制作、使用、公开肖像权人的肖像。此外，我国还发布了《生成式人工智能服务管理办法（征求意见稿）》，定义生成式人工智能是基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术，要求利用生成式人工智能生成的内容应体现社会主义核心价值观，并禁止生成含有颠覆国家政权、宣扬恐怖主义、暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序等内容。
在应对Deepfake挑战时，除了国家的顶层设计，技术手段也发挥着至关重要的作用。目前，越来越多的研究聚焦于如何识别和检测Deepfake内容，实现技术对抗技术。
纽约州立大学的一项研究发现，利用AI技术生成的假脸在眨眼方面存在明显缺陷，因为它们主要基于睁眼的照片进行训练。此外，每个人的面部都具有独特的微表情，这些被称为“软生物特征”的微妙表情目前还难以被AI模仿。基于这一发现，美国国防部研究机构已经开发出了一款名为“反变脸”的AI检测工具。与此同时，Facebook、微软、谷歌等科技巨头也在积极打击Deepfake滥用行为，通过举办Deepfake检测挑战赛来支持相关研究。
在国内，华为、腾讯、阿里、快手、商汤科技等企业以及众多高校和科研院所也在进行人脸造假的识别与检测研究。然而，有研究人员指出，现有的检测技术可能很快过时，因为随着鉴别技术的不断提升，这些技术就像优秀的“鉴别器”，促使Deepfake技术也在不断进步。这意味着检测与识别技术需要不断迭代升级以应对挑战。从长远来看，这两者可能始终处于不断的对抗之中。
02
除了被动检测和识别Deepfake内容外，另一种主动防御的技术路线是数字水印（Digital Watermark）技术。这种技术通过在图像、视频、音频、文本等数字内容中嵌入特定的信息，实现数据的主动标记和追踪。数字水印的嵌入不会影响数据本身的质量，具有高度的隐蔽性。同时，通过密钥加密等方式可以确保数字水印的鲁棒性，有效抵挡各种未经授权的删除和修改行为。无论文件格式如何变化，数字水印都能保持完整，并通过专门的检测器进行验证。这种技术可以有效证明数据的真实性、准确性和合法性，从源头上遏制Deepfake的滥用行为。
近年来，随着Deepfake等人工智能技术对社会带来的挑战日益凸显，关于AI技术犯罪责任的认定也引发了广泛讨论。
首先，弱人工智能虽能在预设程序范围内独立判断和决策，但缺乏辨识和控制能力，其实质是执行设计者或使用者的意志。在此情境下，AI更像是犯罪行为的工具，而真正的犯罪意图来自人类使用者。因此，当弱人工智能参与犯罪时，其背后的人类应承担相应责任。
而强人工智能则不同，理论上具备辨识和控制能力，能够超越预设程序进行自主决策。这种情境下的犯罪行为与其他具有刑事责任能力的主体相似，使得强人工智能有可能成为犯罪的主体。然而，在现实中，将强人工智能作为犯罪主体追责并非易事。尽管AI的技术强弱可依据自我认知能力划分，但法律上难以确立明确的智能程度标准。此外，传统的刑法措施如管制、拘役等，均针对有生命的人类，难以适用于AI。因此，关于AI是否能成为法律主体，特别是犯罪主体，仍存在巨大争议。这需要在技术、法律等多个层面进行深入研究和探讨。
同时，在AI实施犯罪的情况下，如何界定AI与其设计者、制造者、使用者之间的责任成为一个亟待解决的议题。以自动驾驶汽车为例，其责任归属问题尤为复杂。自动驾驶技术旨在提升道路交通效率并减轻驾驶者的负担，但如果要求驾驶者在智能系统主导驾驶时仍需履行与传统驾驶相同的注意义务，将极大地削弱自动驾驶汽车的吸引力。理论上，在智能系统完全接管汽车运行的过程中发生事故，驾驶者有权根据信赖原则获得免责，只有在自动驾驶系统向使用者发出警示时，使用者才有责任介入以确保驾驶安全。
在这一背景下，对掌握AI技术的研发者和生产者施加相关义务，以规范其行为，成为降低科技风险的关键。如果研发者和生产者明知自动驾驶系统存在可能导致事故的严重算法缺陷，却故意隐瞒，导致使用者发生事故，那么应当承担法律责任。然而，法律设计也不应过度加重研发者和生产者的责任，以免抑制行业技术创新的动力。因此，不能完全免除生产者、研发者以外其他相关主体对人工智能技术所应承担的责任。
为了平衡技术发展与法律责任的矛盾，需要在法律层面探索更为合理的责任划分方案，确保各方利益得到妥善平衡，推动技术的健康发展。
尽管面临诸多挑战，但人工智能的发展仍是大势所趋。应积极推动其良性发展，通过技术和法律手段提高AI的安全性和可靠性，降低技术带来的风险，实现技术向善、造福社会的目标。
图片来源：unsplash.com/pexels.com
文章为作者独立观点，不代表JIC投资观察立场。