人工智能安全内涵与体系架构

（一） 人工智能基本概念与发展历程

1、人工智能基本概念

计算机之父阿兰·图灵在1950年的论文《计算机器与智能》中提出了“机器智能”以及著名的“图灵测试”：如果有超过30%的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。1956年，在美国达特茅斯会议上，科学家麦卡锡首次提出“人工智能”：人工智能就是要让机器的行为看起来更像人所表现出的智能行为一样。在人工智能概念提出时，科学家主要确定了智能的判别标准和研究目标，而没有回答智能的具体内涵。之后，包括美国的温斯顿1、尼尔逊2和中国的钟义信3等知名学者都对人工智能内涵提出了各自见解，反映人工智能的基本思想和基本内容：研究如何应用计算机模拟人类智能行为的基本理论、方法和技术。但是，由于人工智能概念不断演进，目前未形成统一定义。结合业界专家观点，项目组研究认为，人工智能是利用人为制造来实现智能机器或者机器上的智能系统，模拟、延伸和扩展人类智能，感知环境，获取知识并使用知识获得最佳结果的理论、方法和技术。

2、人工智能发展历程

人工智能发展经历多次低谷，本轮发展呈现加速态势。人工智能自1956年诞生至今已有六十多年的历史，在其发展过程中，形成了符号主义、连接主义、行为主义等多个学派，取得了一些里程碑式研究成果。但是，受到各个阶段科学认知水平和信息处理能力限制，人工智能发展经历了多轮潮起潮落，曾多次陷入低谷。进入新世纪以来，随着云计算和大数据技术的发展，为人工智能提供了超强算力和海量数据，另外，以2006年深度学习模型的提出为标志，人工智能核心算法取得重大突破并不断优化，与此同时，移动互联网、物联网的发展为人工智能技术落地提供了丰富应用场景。算力、算法、数据和应用场景的共同作用，激发了新一轮人工智能发展浪潮，人工智能技术与产业发展呈现加速态势。

当前人工智能仍处于弱人工智能阶段，主要是面向特定领域的专用智能。从整体发展阶段看，人工智能可划分为弱人工智能、强人工智能和超人工智能三个阶段。弱人工智能擅长于在特定领域、有限规则内模拟和延伸人的智能；强人工智能具有意识、自我和创新思维，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等人类级别智能的工作；超人工智能是在所有领域都大幅超越人类智能的机器智能。虽然人工智能经历了多轮发展，但仍处于弱人工智能阶段，只是处理特定领域问题的专用智能。对于何时能达到甚至是否能达到强人工智能，业界尚未形成共识。

（二） 人工智能安全内涵

由于人工智能可以模拟人类智能，实现对人脑的替代，因此，在每一轮人工智能发展浪潮中，尤其是技术兴起时，人们都非常关注人工智能的安全问题和伦理影响。从1942年阿西莫夫提出“机器人三大定律”到2017年霍金、马斯克参与发布的“阿西洛马人工智能23原则”，如何促使人工智能更加安全和道德一直是人类长期思考和不断深化的命题。当前，随着人工智能技术快速发展和产业爆发，人工智能安全越发受到关注。一方面，现阶段人工智能技术不成熟性导致安全风险，包括算法不可解释性、数据强依赖性等技术局限性问题，以及人为恶意应用，可能给网络空间与国家社会带来安全风险；另一方面，人工智能技术可应用于网络安全与公共安全领域，感知、预测、预警信息基础设施和社会经济运行的重大态势，主动决策反应，提升网络防护能力与社会治理能力。

基于以上分析，项目组认为，人工智能安全内涵包含：一是降低人工智能不成熟性以及恶意应用给网络空间和国家社会带来的安全风险；二是推动人工智能在网络安全和公共安全领域深度应用；三是构建人工智能安全管理体系，保障人工智能安全稳步发展。

（三） 人工智能安全体系架构

基于对人工智能安全内涵的理解，项目组提出覆盖安全风险、安全应用、安全管理三个维度的人工智能安全体系架构。架构中三个维度彼此独立又相互依存。其中，安全风险是人工智能技术与产业对网络空间安全与国家社会安全造成的负面影响；安全应用则是探讨人工智能技术在网络信息安全领域和社会公共安全领域中的具体应用方向；安全管理从有效管控人工智能安全风险和积极促进人工智能技术在安全领域应用的角度，构建人工智能安全管理体系。

1、人工智能安全风险

人工智能作为战略性与变革性信息技术，给网络空间安全增加了新的不确定性，人工智能网络空间安全风险包括：网络安全风险、数据安全风险、算法安全风险和信息安全风险。

网络安全风险涉及网络设施和学习框架的漏洞、后门安全问题，以及人工智能技术恶意应用导致的系统网络安全风险。

数据安全风险包括人工智能系统中的训练数据偏差、非授权篡改以及人工智能引发的隐私数据泄露等安全风险。

算法安全风险对应技术层中算法设计、决策相关的安全问题，涉及算法黑箱、算法模型缺陷等安全风险。

信息安全风险主要包括人工智能技术应用于信息传播以及人工智能产品和应用输出的信息内容安全问题。

考虑到人工智能与实体经济的深度融合发展，其在网络空间的安全风险将更加直接地传导到社会经济与国家政治领域。因此，从广义上讲，人工智能安全风险也涉及社会安全风险和国家安全风险。

社会安全风险是指人工智能产业化应用带来的结构性失业、对社会伦理道德的冲击以及可能给个人人身安全带来损害。

国家安全风险是指人工智能在军事作战、社会舆情等领域应用给国家军事安全和政体安全带来的风险隐患。

2、人工智能安全应用

人工智能因其突出的数据分析、知识提取、自主学习、智能决策、自动控制等能力，可在网络防护、数据管理、信息审查、智能安防、金融风控、舆情监测等网络信息安全领域和社会公共安全领域有许多创新性应用。

网络防护应用是指利用人工智能算法开展入侵检测、恶意软件检测、安全态势感知、威胁预警等技术和产品的研发。

数据管理应用是指利用人工智能技术实现对数据分级分类、防泄漏、泄露溯源等数据安全保护目标。

信息审查应用是指利用人工智能技术辅助人类对表现形式多样，数量庞大的网络不良内容进行快速审查。

智能安防应用是指利用人工智能技术推动安防领域从被动防御向主动判断、及时预警的智能化方向发展。

金融风控应用是指利用人工智能技术提升信用评估、风险控制等工作效率和准确度，并协助政府部门进行金融交易监管。

舆情监测应用是指利用人工智能技术加强国家网络舆情监控能力，提升社会治理能力，保障国家安全。

3、人工智能安全管理

结合人工智能安全风险以及在网络空间安全领域中的应用，项目组研究提出包涵法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态六个方面的人工智能安全管理思路。实现有效管控人工智能安全风险、积极促进人工智能技术在安全领域应用的综合目标。

法规政策方面，针对人工智能重点应用领域和突出的安全风险，建立健全相应的安全管理法律法规和管理政策。

标准规范方面，加强人工智能安全要求、安全评估评测等方面的国际、国内和行业标准的制定完善工作。

技术手段方面，建设人工智能安全风险监测预警、态势感知、应急处置等安全管理的技术支撑能力。

安全评估方面，加快人工智能安全评估评测指标、方法、工具和平台的研发，构建第三方安全评估评测能力。

人才队伍方面，加大人工智能人才教育与培养，形成稳定的人才供给和合理的人才梯队，促进人工智能安全持续发展。

可控生态方面，加强人工智能产业生态中薄弱环节的研究与投入，提升产业生态的自我主导能力，保障人工智能安全可控发展。