AI欺诈升级：人类认知如何抵御技术"拟真"攻击？
当AI学会"说谎"，人类更需要学会"识谎"
2025年7月，上海某科技公司财务总监李女士险些因一段“董事长”的紧急视频通话被骗800万元。对方不仅使用精准的项目代号和会议细节骗取信任，更依靠AI深度伪造技术制造出高仿真画面。这类“AI拟真诈骗”在2025年上半年已达127起，正成为网络安全领域的新威胁。
与传统电信诈骗相比，AI欺诈展现出“低成本、高拟真、强迷惑”的特征。大语言模型（LLM）可模拟特定人物的对话风格；图像和视频生成工具能复刻人脸动态和声纹特征。据2025年Q2全球网络安全报告显示，AI相关欺诈案件同比增长300%，涉及金额超过23亿美元，影响金融、医疗、政务等多个关键领域。
更为严峻的是，AI欺诈已形成完整的黑色产业链。从信息收集、画像构建，到内容生成、诈骗实施，各环节分工明确。高性能计算机与开源模型的普及，大幅降低了犯罪门槛——仅需少量代码即可批量生成高质量伪造内容。
此类攻击之所以成功，核心在于利用了人类对“技术权威”的天然信任。当信息符合预期时，大脑会自动降低警惕性，导致财务人员忽略技术异常，独居老人轻信“孙辈”住院请求。此外，AI模型的“黑箱”特性也加大了事后核查难度。
应对AI欺诈，需建立“技术防御+制度约束+公众教育”的立体防线。目前行业正加速开发“AI指纹”检测系统，通过语义模式、像素分布等特征识别机器生成痕迹；区块链技术则用于为AI内容添加创作者标识，实现全流程溯源。
法律方面，《生成式AI服务管理法》已在多国落地，要求AI生成内容必须添加技术水印，并对恶意应用设定惩罚性赔偿机制。与此同时，提升公众数字素养也成为破局关键。以上海为例，“AI防诈课堂”通过真假视频对比，帮助公众识别光线反射、面部延迟等伪造漏洞。
面对不断进化的AI欺诈手段，人类的安全防线同样需要持续进化。这场攻防战不仅考验技术创新能力，更关乎人性认知、制度建设与信任体系之间的平衡智慧。