3月28日，中关村论坛绿色能源国际合作研讨会在北京成功举办。在配套论坛上，中国信息通信研究院（以下简称“中国信通院”）人工智能研究所与北京航空航天大学化学学院等单位联合重磅发布了化工领域AI安全系列成果。
中国信通院人工智能研究所副所长巫彤宁、北京航空航天大学化学学院教授刘宇宙、中能建氢能源有限公司总经理助理李福建、中移联算力生态产业联盟执行理事长高伟等共同发布相关成果。
01
研究背景
近年来，以大模型为代表的人工智能技术已逐步在能源化工领域的研发设计环节落地应用，催生出智能实验室、自动化生化合成工厂等一批新型应用形态。然而，技术应用带来的机遇与风险并存，中国信通院人工智能研究所前期研究表明，当前通用大模型在生化领域的毒性、爆炸性、腐蚀性等关键安全知识方面存在明显短板，若直接应用于研发设计环节，可能引发重大安全风险，严重威胁人员生命安全与生态环境安全。目前，国内外尚未形成成熟的垂直领域安全测试体系，相关安全测试数据仍以英文资料和选择题型为主，难以满足能源化工等垂直领域的场景化安全测试需求，急需构建针对性的生成式人工智能安全评估体系。
02
研究成果
针对上述问题，中国信通院人工智能研究所联合北京航空航天大学化学学院开展了专项研究工作，已初步形成3方面核心成果：
1.立足技术发展与应用落地，构建“底线红线、行业基础安全、行业专业安全”三层安全评估体系，并形成针对性安全测试方案；
2.初步建立了满足国内化工领域实际应用需求、覆盖三层安全评估体系的中文高质量安全测试数据集，涵盖化工基础知识、化学合成、原料获取、纯化等关键环节；
3.依托该评估体系与测试数据集，对国内外通用及垂直领域大模型开展首轮安全能力评估，有效填补了行业测试空白。
本次测试核心发现如下：
底线红线方面：被测模型总体能够识别严禁、严控的危险化学品合成请求，对利用日常原材料违规合成危险化学品的意图具备较好识别能力；但国外模型在理解我国法律法规合规要求方面存在偏差，本土化适配能力不足。
行业基础安全：模型对化工领域基础安全知识掌握程度较高，常规场景下风险输出较少，但在特定压力测试与诱导条件下，仍存在不同程度的风险输出。
行业专业安全：大部分模型在基础化工原理问答上表现尚可，但在涉及深层次、多物理场耦合的复杂化工安全问题上，暴露出严重的认知缺陷，甚至给出具有高度误导性的操作建议，对实际生产安全构成潜在威胁。
03
后续计划
下一步，中国信通院人工智能研究所将紧密跟踪能源、化工等行业与人工智能规模化应用趋势，依托在人工智能安全标准研制、检测评估领域的技术积累，持续深化与北航化学学院等科研院所及行业各方协同合作，系统推进标准制定、评估能力建设与基准测试迭代工作，并将测试拓展至智能实验室等物理场景，探索构建适配行业特点的安全防护技术与手段，助力人工智能技术在能源化工领域实现安全、合规、有序发展，为国家能源与化工安全筑牢数字安全防线。
诚挚期待与各方深化合作，携手共筑人工智能行业应用的安全屏障。
详细测试情况：
04
咨询联系人
邹 皓 13683690412（同微信）
陈文弢 18500022046（同微信）