大数跨境
0
0

ChatGPT存在的安全问题及应对

ChatGPT存在的安全问题及应对 键睿智库
2023-02-23
4
导读:01ChatGPT概况及未来发展趋势(一)ChatGPT概述及当前使用情况。ChatGPT (Chat Ge

01

ChatGPT概况及未来发展趋势

(一)ChatGPT概述及当前使用情况。

ChatGPT (Chat Generative Pre-Trained Transformer,全称聊天生成式预训练转换器)是由全球领先的人工智能公司OpenAI推出的人工智能聊天机器人模型,诞生于2022年11月30日,使用了Transformer 神经网络架构。通过利用人类反馈强化模型技术,让人类偏好作为奖励信号来微调模型,从而不断学习人类语言,做到真正像人一样聊天交流。智能聊天机器人模型ChatGPT吸引了无数网民与它进行“人模人样”的交流互动,因为它不仅能充分理解人类提出的问题,给出不再“人工智障”的答复,还会切实投入到诸多生产力实践中,如编程、制图、脚本攥写,甚至能诗情画意地创作诗歌等文案。截至2023年1月底,ChatGPT月活用户数突破1亿,成为全球用户增速最快的爆款应用之一。国内巨头发展优势仍在。人工智能不仅需要巨大的人力、物力、资金投入,还需要庞大的用户数据基础,百度、腾讯等互联网巨头最具潜力,有望异军突起。百度官宣正在研发的大模型类项目“文心一言”,计划在3月完成内侧,随后对公众开放。阿里巴巴、京东等中国企业也表示正在或计划研发类似产品。

(二)ChatGPT在网络安全方面的优势。
一是检测易受攻击的代码。可以帮助安全人员对代码进行安全检测。虽然还存在一些不足,但对于想要快速检查其代码片段是否存在漏洞的开发人员来说确实是一个实用工具。随着越来越多的企业正在推动将安全性内置到软件开发工作流程中,ChatGPT所具备的准确快速的检测能力可以有效提高代码安全性。ChatGPT可以赋能包括事件分析与响应在内的多种安全运营过程,能促进有价值的安全知识的产生和积累,从而帮助安全运营团队更准确地做出决策、实施响应、积累经验,尤其对初级安全工程师有辅导作用。
二是任务自动化。有望进一步加强脚本、策略编排、安全报告的自动化,比如为渗透测试报告编写修复指南。还可以更快地写出大纲,这有助于在报告中添加自动化元素,甚至可以为员工提供网络安全培训课程。
三是将恶意软件攻防提高到新的水平。恶意软件常常含有嵌套循环之类的反逆向工程技术,这就大大加大了逆向工程师跟踪分析发生的事情和最终状态的难度。ChatGPT可以极快地搞清楚问题,比人类快得多。它还可以分析恶意软件的遗传代码,看看哪里可能存在代码重用,以便更快地识别开发者的指纹。

02

ChatGPT或将带来的安全问题

一是存在个人隐私风险。根据OpenAI官网公布的隐私政策,并未提及类似欧盟GDPR等数据保护法则,在“使用数据”条款里,0penAI承认会收集用户使用服务时输入的数据,但未对数据的用途作进一步说明。根据GDPR第17条,个人有权要求删除其个人数据,即“被遗忘权”或“删除权”。但像ChatGPT等大语言模型是否可以“忘记”用于训练自己的数据,业内人士认为,这类模型很难删除个人信息的所有痕迹。此外训练此类模型花费高昂,AI公司也不太可能每次在个人要求删除某些敏感数据后重新训练整个模型。
二是存在恶意使用风险。加拿大黑莓公司1月份以美国、加拿大、英国、澳大利亚的1500名IT决策者为对象实施的调查结果,半数以上的IT决策者已经对恶意利用ChatGPT的网络攻击提高了警惕。对于恶意利用ChatGPT的具体威胁,53%的人选择“制作可信度高,更真实的钓鱼邮件”。另外,认为“网络攻击初学者通过ChatGPT掌握高级攻击技能”和“在传播虚假信息时使用ChatGPT”的人也各占49%。美国新闻可信度评估与研究机构News Guards研究人员经过测试认为,ChatGPT存在阴谋论和误导性叙述的问题,发现它能在几秒钟内改编信息,产生大量令人信服却无信源的内容。目前没有办法可以有效解决这一问题,这将导致ChatGPT或成传播网络谣言最强工具。
三是存在投资泡沫风险。国内外出现了一拨投资人,单笔融资金额甚至高达10亿元,其中不乏多家知名投资机构。当前ChatGPT相关概念已经出现泡沫化现象,例如相关概念股股票大涨,初创企业估值虚高等,随着Chat-GTP、AIGC等相关概念热度的日益升温,短期内或将产生大量的泡沫,行业投资者、创业者以及相关的从业人员需要警惕风险。

03

加强研究及监管措施对策建议

一是必须清醒认识到ChatGPT等高级AI驱动的聊天机器人还无法完全取代人类分析师,更多是提供辅助决策与操作支持。它只是一种语言模型,产生的文字都只不过是常见的单词组合和搭配。它的回答看起来你的贴合需要,但完全不是以你想象的逻辑跟你交流,你无法解释它为什么会做出这样的回答。也正因为如此,它的回答可能有错误、有误导,但因为混杂在正确和你觉得正确的信息中而变得难以分辨。如果你对它的回复一股脑儿照单全收可能会掉进坑里。不过,随着持续高强度的人机会话互动,再借助更大规模更专业(网络安全运营领域)的语料库训练,ChatGPT会不断强化自己的能力,不断减轻人类安全分析师的工作负担。在运用过程中,需要使用广泛的测试数据进行彻底评估,监控模型的性能,对训练数据和模型中任何已知的偏差保持透明。
二是注意内部或涉密数据信息的输入问题。由于ChatGPT需要广泛搜集网络资料以及与人的对话中获取信息来训练模型,预示着它同样具备获取并吸收敏感信息的能力。据硅谷媒体报道,亚马逊律师称,他们在ChatGPT生成的内容中发现了与公司内部机密十分相似的文本,可能是由于一些亚马逊员工在使用ChatGPT生成代码和文本时输入了公司内部数据信息,该律师担心这些数据成为ChatGPT用来进行迭代的训练数据。而微软内部的工程师也警告员工,在日常工作使用时不要将敏感数据发送给0penAI终端,因为OpenAI可能会将其用于未来模型的训练。
三是关注从互联网搜集海量数据是否合规问题。欧洲数据保护委员会(EDPB)成员 Alexander Hanff质疑,ChatGPT是一种商业产品,虽然从互联网上存在许多可以被访问的信息,但从具有禁止第三方爬取数据条款的网站收集海量数据可能违反相关规定,不属于合理使用,此外还要考虑到受GDPR等保护的个人信息,爬取这些信息并不合规,而且使用海量原始数据可能违反GDPR的“最小数据”原则。
四是在社会层面大力推动数据保护、隐私保密等相关法律法规的不断完善,确保处理相关问题时能够遵循明确的政策与法律程序。欧盟正在考虑设立规章制度,以规范其使用,确保向用户提供高质量、有价值的信息和数据。
五是加强学习审核和学术不端行为问责机制以及规章的进一步完善。同时,应不断加强对学术素养和学术诚信的重视,并在各级教育体系中强化学术伦理养成教育。

责任编辑:赵kimi 千古醉羊

【声明】内容源于网络
0
0
键睿智库
键睿智库是一家民间机构,以日本问题研究为专长,同时追踪国际热点问题,定期发布最新成果。本机构致力于搭建活跃的信息聚合平台,为公众思考、学术交流和政策研究提供参考。有意投稿及其他合作,请发邮件至ryoshirikigaku@163.com
内容 3420
粉丝 0
键睿智库 键睿智库是一家民间机构,以日本问题研究为专长,同时追踪国际热点问题,定期发布最新成果。本机构致力于搭建活跃的信息聚合平台,为公众思考、学术交流和政策研究提供参考。有意投稿及其他合作,请发邮件至ryoshirikigaku@163.com
总阅读4.4k
粉丝0
内容3.4k