非常感谢组委会的邀请,今天我将代表华为云分享华为云aPaaS AI原生应用引擎赋能AI应用创新,使能千行万业数字化转型。
面对AI大模型的浪潮,企业加速应用人工智能技术,使能行业应用创新,但过去两年其实面临着很多的问题和挑战,包括行业内如何快速创新AI应用,怎样规避架构复杂度、应用生成难度和多端协同难度,快速生成AI应用,也包括行业内复杂多变的场景,如何快速确立AI应用场景,沉淀行业知识、行业Knowhow。同时,业界现在有多种大模型,我们认为模型在不同场景下的应用是非常复杂的,如何选择更适合场景的应用大模型,进行相应的接入、开放和评测,包括如何用好大模型、管好大模型,都是面向人工智能时代面临的很多挑战。
今年2月,华为云正式发布AI原生应用引擎,面向千行万业使能行业应用快速创新。产品架构分为几个层次:Agent编排中心、知识中心、模型中心,资产中心,以及面向行业应用使能的过程中更加安全、更加高效地使用模型。智能架构如何分钟级创建应用,以前开发应用是非常复杂的,需要大量代码,人工智能时代如何简捷、高效、分钟级创建是我们需要解决的问题。华为云提供智能架构,标准的API屏蔽底层各种模型厂家的差异,面向行业应用提供标准化API,让行业应用充分调用模型能力,通过标准化API让行业应用快速创新,包括超高的效率,快速构建企业知识库,实现应用分钟级的创建和广域生态。云上沉淀行业Knowhow,包括政务、教育、医疗、制造、金融等等,如何把行业的知识沉淀到云上来,然后更加快速地使能上层行业应用创新,我们需要构建广域生态,与行业生态合作伙伴一起,发挥大家的力量构建行业广域生态。面向行业让人工智能更加安全地使用,安全调用底层模型能力并进行交互,需要构建安全可信的管控体系。
AI原生应用引擎包括几个能力:智能架构,面对千行万业不同场景非常复杂,如何快速创建和生成Agent?我们提供可视化的编程能力,让客户自身随时生成Agent。让Agent在云边端一键式生成和部署,华为云提供一键式AI应用构建能力,包括自动化部署和生成能力。同时,电力客户合作时提出海量Agent场景,数量高达千万级,如何让千万级的Agent高效协同,通过超分布的智能架构可以实现。
标准化API面向上层行业应用快速复制是非常重要的,产品平台能力需要兼容业界主流模型,包括几个方面:南向统一接入,行业内的模型厂商都有自身优势,百花齐放,面向行业应用需要提供Agent的作业平台,把不同场景、不同模态接入进来,我们已经接入30多个主流大模型。模型统一治理,包括具体的调度、评测和分发。北向统一开放,我们提供API统一封装,屏蔽模型厂家的接入差异,包括底层模型版本升级和切换本身对上层行业应用和场景提供无感知的变化。
超高效率就是面向不同行业场景快速构建知识飞轮,周级创建、天级迭代,每个行业都会有不同的知识库和Knowhow,如何跟行业伙伴快速提供行业所需要的知识?我们认为周级创建是必须的,天级迭代也是必须的,企业日常的运营数据、用户反馈等可以成为企业面向大模型场景下不断提升和增强的输入,通过这种方式更快更好地提升大模型面向企业应用场景的效果和体验。
华为公司在保障业务场景的安全可信方面也有较多的实践,国家2023年7月发布《生成式人工智能服务管理暂行办法》,强调创新和安全并举。华为在应用人工智能技术的实践中沉淀出三大安全体系:知识安全包括数据集分类、权限管理、安全审计等;模型交互安全非常重要,在企业应用和模型之间做到安全隔离带,针对保险行业非常重要,包括交互信息加密、访问权限等能力。应用内容安全包括注入检测、生成过滤、动态知识输入、场景化数据生产等能力。同时安全体系需要统一的安全治理框架,包括安全策略、合规管理、反馈审计,这是核心。能够让应用自身构建立体式的纵深防护,面向企业构建端到端安全合规的治理框架、治理体系和流程,让企业应用充分调用人工智能的同时更安全、更高效地为企业提供服务。
广域生态需要联合伙伴沉淀行业Know-how,我们认为要真正深入赋能千行万业,需要与合作伙伴一起,包括中科软等行业内头部伙伴。通过联合软件合作伙伴、服务合作伙伴、数字化转型与系统集成等伙伴,通过AI应用引擎一站式服务平台面向千行万业赋能。
过去一年多,华为联合人工智能行业伙伴,不仅联合打造产品,更是面向行业场景进行实践。眼科医疗人员和患者的比例差异非常大,达到1.6:50000,意味着1.6个眼科医生要服务50000个眼科患者。我们与中山眼科企业联合打造出眼科问诊Agent,让医疗服务效率提升2倍,快速把眼科专家经验沉淀到模型,让应用更好地服务眼科患者。艾吉威是制造AGV的企业,我们联合其场景和应用,联合打造智能巡检agent和辅助决策的Agent,让企业的工作效率提升了5倍。我们联合中软面向不同场景、行业,打造全场景大模型应用创新。同时,华为云aPaaS AI原生应用引擎面向医疗、教育、制造、零售、矿山等行业也有很多成功实践,华为云愿意和伙伴一起改变和重塑千行万业。
前面讲的主要是产品能力和行业实践,随着人工智能的广泛应用,我们认为应用新范式已经发生变化。产品应用架构会发生天翻地覆的变化,从构成走向生成;体验从原来键盘鼠标触摸式的方式变成自然生成、自然交互的模式;以人为本,专家经验协作的开发模式,未来以人工智能为代表,数据为主构建生成式开发工程能力;模式从软件即服务转变为服务即软件,快速生成行业应用。最终面向行业应用、行业场景,能够真正把AI First作为新思想、AI Native作为新实践,面向超级智能体的目标实现AI原生应用。
华为云在商业、技术、生态多个方面联合合作伙伴开展全方位的合作。商业使能侧重能力共建、商机共享;技术使能打造基线方案,发挥各自所长联合打造行业解决方案;生态使能提供相关的生态政策,使能软件、服务和咨询与系统集成伙伴积极参与行业数智化转型。
华为云一直与中科软携手同行,通过华为云一切皆服务赋能中科软保险业务系统实现数智化,中科软作为保险业务系统的龙头企业,把保险行业的优秀实践沉淀到云上,通过华为云再反哺行业客户。华为云和中科软联合打造业界保险业务系统,更好地服务保险行业客户。双方通过联合创新打造联合创新实验室,包括云原生分布式核心商业系统、面向新国际会计准则的管理平台、数据中台的联合方案,同时面向人工智能双方在联合孵化创新大模型中心,通过人工智能推进保险行业快速发展。
以上是我的汇报内容,相信华为云联合中科软以及保险行业的客户、伙伴和开发者,通过人工智能,一定能重塑保险行业的业务体验,加速保险行业的数智化进程!
各位领导、各位老师,上午好!我非常荣幸能够在此中科软大会的年度盛会上,与大家再次相聚。去年此时,我有幸与大家探讨了“企业微信如何助力保险行业业务发展”的议题。而今,经过一年的深入实践与探索,我将就企业微信在财产险行业的实践应用及其未来发展趋势,向各位作以汇报。
首先,让我们聚焦于企业微信的发展定位。或许在许多人的印象中,企业微信仅仅是一个用于与微信用户相互沟通、添加好友、进行单聊群聊及发布朋友圈的工具。然而,实际上,企业微信的发展历程中,经历了三个显著且各具特色的阶段。
第一阶段,自2016年至2019年,企业微信初步脱离了个人微信的范畴,其主要着力点在于内部办公的数字化转型。在这一阶段,我们致力于将聊天、会议、文档管理、微盘存储等内部办公功能进行深度集成,以实现企业内部的数字化、集成化办公。
第二阶段,自2019年至2022年,随着私域客户运营成为市场热点,企业微信也顺势而为,打通了与微信的界限。在这一阶段,我们不仅仅局限于沟通、朋友圈发布及会议召开等基础功能,而是将微信生态中的完整数据链条进行了打通。通过标准接口,我们实现了与公众号、小程序、微信支付等微信生态内各环节的深度链接与数据整合。这种方式使我们能够更加精准地理解客户需求,从而提供更加个性化的服务。
第三阶段,自2022年以来,我们欣喜地看到,越来越多的保险公司及其下游渠道开始广泛应用企业微信。针对下游渠道可能存在的开发能力不足的问题,我们借助企业微信的上下游能力,由保险公司进行应用部署,并将其推广至下游厂商。这样一来,下游厂商便能够借助企业微信进行客户获取与管理,而这些数据又能够反过来为保险公司提供更加有力的支持。至今为止,越来越多的保险公司通过企业微信实现了与下游厂商的互联互通,实现了人事物以及数据的相互共通共融。
综上所述,企业微信已经成功连接了内部办公、C端客户与B端产业这三个关键环节。
企业微信具备多项具体能力,以满足企业内外部的各类需求。在内部办公管理方面,它集成了聊天、会议、文档、日程和考勤打卡等功能,极大地提升了团队协作效率。员工们可以实时沟通、共享文档、安排日程,并通过考勤打卡功能确保工作纪律。此外,企业微信还支持内部会议的召开,以及保险公司等特定行业所需的线下产销会联系客户功能。
相较于传统的Office办公方式,企业微信实现了全员及时协作和数据沉淀,使得工作更加高效和便捷。特别是在考勤打卡方面,企业微信不仅满足了基本的考勤需求,还即将上线防作弊功能,这对于HR的精准掌控具有重要意义,同时也解决了许多代理人面临的考勤难题。
在对外客户服务方面,企业微信提供了触达加好友、客户管理等功能。企业可以通过各种渠道将微信生态内部和外部的客户直接添加到企业微信中,围绕客户管理进行精细化运营。当员工离职时,其负责的客户可以相应地调整给下一轮人事继续服务,确保客户服务的连续性和稳定性。此外,企业微信还支持AI智能应用,帮助企业在客户运营方面实现千行千业的精准营销。通过为不同客户打上不同标签,企业可以针对不同客户进行及时回复和个性化服务,包括线上电商、车险渠道、理赔渠道等多个板块内容。
在探讨保险公司数字化转型的路径时,我们明确了三大核心步骤:线上化、一体化、智能化。首要任务便是构建私域流量,即将线上线下客户有效迁移至企业微信平台。然而,此过程虽看似简单,实则挑战重重。
针对客户引流至企业微信的策略,我们需细化为两大方向:企业外部客户与企业内部客户的接入。外部客户主要源自线下渠道,鉴于多数保险公司尚未充分开发线上渠道,线下渠道便成为获取客户的宝贵途径。通过保单服务这一切入点,我们可在客户购买保单后,以提供后续服务的名义邀请其加入企业微信,从而增强客户粘性。
对于线上渠道,广告投流是关键手段之一,包括视频号和朋友圈等平台的利用。我们不仅要在微信生态内吸引客户,还需与第三方平台合作,实现一键链接跳转,简化添加流程。目前,多家保险公司app已支持一键添加企业微信,并通过日常管理提升用户活跃度。针对仅有手机号码的客户信息,我们创新性地在短信中嵌入链接,将传统文本短信转化为高效的营销工具。
在构建线上线下链路方面,我们优化了客户互动流程。客户在关注公众号、投保或续保时,将通过弹窗了解保费信息或添加企业好友。短信中的短链则进一步提升了客户转化率,引导客户点击跳转至微信,完成添加企微的动作。在保单出险页面,我们采用企微二维码替代传统支付二维码,实现个性化定制与自动欢迎语发送,提升客户体验。
此外,数字一体化也是转型的重要一环,涵盖员工职能一体化与企业客户经营一体化两大方面。员工一体化使得销售人员能够承担更多企业服务职能,通过识别客户ID、记录交互行为等方式构建客户画像,实现精准营销与人设打造。在客户经营一体化方面,我们将理赔流程嵌入企微平台,实现报案、核赔、支付及满意度评价的全流程线上操作,提升客户体验。
最后,通过企业微信平台,保险公司能够实现销售流程的线上化、智能化管理。员工可在线上完成出单、报价及报单服务,并接收续保任务提醒。客户则可通过企业微信接收续保关怀信息,并直接在小程序中完成续保操作,享受高效便捷的服务体验。同时,保司还将线下业务流程转至企业微信平台,通过标签画像与千人千面SOP运营策略提升客户信任度与转化率。
在网络销售场景下,我们不难发现,当前时代人们普遍对陌生电话持抵触态度,高端产品仅凭电话介绍难以详尽阐述。因此,众多电销团队纷纷转型为网电团队,通过破冰后的承接,实现客户联系、维护、激活及最终转介绍的全链条服务。线上团队专注于公域流量获取,主要利用短视频或笔记平台投放广告,核心目标在于收集客户手机号码。客户在公域平台完成购买后,保险公司传统上仅能通过电话方式联系,而现今网销模式已转变为公域流量投放,随后在企业微信平台直接进行客户沉淀、订单生成及运营转化。
引入企业微信后,相较于未采用此工具的情况,出单效率显著提升,具体成效因渠道特性而异。线下渠道依赖人力,我们发现部分保险公司的一线销售人员并未涉足非车险产品销售,导致车险业务周期内的客户经营空白,这对保险公司而言是巨大的资源浪费。而线上运营团队则面临数量不足、获客成本高昂的问题,单个客户成本高达300-400元,亟需解决客户数量增长难题。网电销模式因其名单制特性,员工流失率较高,需探索流失后的人员处理策略。
为此,保险公司决定整合所有业务部门,基于企微形成统一客户经营体系。针对线上团队客户经营空白期,保司将线下团队车险客户通过企业微信在职继承机制转移至线上运营团队,利用其专业经验进行客户转化、关怀、提醒及营销。同时,为保护线下团队利益,采取在职继承方式将线上渠道客户返还给线下渠道。对于线上网电销团队的人员流失问题,保险公司通过离职继承机制,将客户从网电销团队转至运营团队,确保客户经营的连续性。这一系列流程通过企业微信实现了公司人员、客户及资源的全面整合,旨在实现利益最大化。
在智能化方面,除AI赋能营销与服务外,我们还关注销保与质检环节。利用AIGC技术,我们可事先准备物料,实现文生图、图生图等功能,并对话术进行过滤与质检。通过大数据手段,对会话内容进行实时监控,确保沟通内容合规性。同时,基于会话的实时监控功能,我们能在客户需要时提供实时帮助,通过Q&A方式上传问题或利用AIGC获取客户问题答案,供员工选择回复。
以上就是我分享的所有内容,保险公司线上化、一体化与智能化构成了我们当前的数字化转型的三大核心流程。若对具体场景有疑问,欢迎添加我的企业微信进行深入交流。期待未来有更多机会与大家分享进展,并希望企业微信的使用体验能不断优化提升。
非常感谢主办方,今天我想分享的是“重塑文档数字化范式,数据要素价值释放,助力保险业务升级”。
合合信息是一家人工智能和大数据科技企业,愿景是希望通过科技创新让世界更高效。
我们的业务涵盖智能文字识别和商业大数据,既服务于C端产品用户,也为B端用户提供解决方案。我相信在座的许多嘉宾都是我们C端产品的用户。
作为一家科技供应商,我们在这些年来服务保险行业的过程中也有深刻的体会,感受到现在开展数字化创新型项目和人工智能项目,衡量标准是与业务是否产生影响直接挂钩,技术也是深度围绕场景进行迭代和演进。
相信大家对OCR非常清楚,但整个行业的发展是经历了很多变革。智能文档处理就是经历一系列的发展过程,OCR只是其中一个环节,经过图像识别、版面分析完成人类对文档理解的过程,在碳达峰、碳中和的背景下很好地支持无纸化办公场景。
围绕企业和保险行业的各种场景,过往几年中,我们也有构建不同开箱即用的成熟应用,可以直接给业务使用,优化流程,支持线上化、智能化,帮助提质增效。
我们最开始就是进行简单的光学数字识别,核保、理赔涉及到标准的卡证识别,这是1.0版本。而在2.0版本,我们发现真实场景中可能出现焦灼和散光问题,通过深度学习技术可以得到很好的解决。大模型时代有很多复杂文本可以挖掘出来,包括金融行业和保险行业是文档密集、数据密集行业,需要用更先进的技术解锁更复杂的场景,识别相对更复杂的文档。
LLM时代下的技术升级也就是智能文档处理技术演进,我们是把合合信息过往积累多年的传统算法引擎,包括结合业务规则,基于大语言模型进行智能文档处理应用,主要有几个核心特性:开箱即用、多模态抽取能力、优秀的泛化性,兼顾长/短文本、准确理解复杂版面。因为我们是基于大语言模型,具备通用知识和专项领域知识,包括金融行业、法律行业。
针对各种内部复杂的单据,我们不需要训练,只需要提供通用抽取模型,配备字段就可以直接达成非常高的识别率。图中就是保险行业涉及到的医院病案,每家医院版式都非常复杂,只要把字段配置好就可以支持全量的场景。
图中就是一个商业保单,样本非常复杂,图像中会有非标专项,我们可以进行专门的识别。针对各种各样模态的样本,包括不同的法律文书,通过一个模型都可以进行识别。
智能文档处理具备的关键特性之一,就是通识能力与专项领域知识。我们如果想去抽取年报中的股票代码,文本中并没有股票代码这几个字,我们可以查询相应的股票代码。
结合AI能力,在服务保险客户的过程中主要有四个核心场景:投保进件、核保承保、理赔给付和运营管理。
我们在投保进件场景围绕不同险种,包括个人、企业涉及到全生命周期所有卡证单据都可以通过合合信息进行自动识别和分类,投保的过程中也有质检功能,提升图像的规范性,降低二次进件的次数,提升整体效率。
理赔环节可以按照影像分类,提供相对比较通用的模型,解决某个场景下的所有识别分类问题。质检、分类和识别嵌入到具体核心业务,可以整体提升效率。
运营管理就是围绕合同提供全场景的管理,包括清算业务会对各种基金确认单和提单进行识别,每家公司的版式都是不一样的,我们基于大语言模型的抽取能力可以快速高精度地识别和抽取,不需要训练。
合合信息提供7+2+N产品架构:七大能力包括平台能力以及围绕场景的解决方案。大模型时代智能文档处理有两个发展方向:围绕某些回执场景提供模型直接赋能业务,文档的识别和处理也是在大模型时代很好的工具,我们跟很多大模型通用厂商提供文档解析,包括企业内部构建Agent,底层能力可以很好地加速开发。
国家发布数据二十条、财政部发布数据资产暂行管理办法以后,今年也有很多上市企业开展这些工作。站在数据资产管理的角度,相信保险行业也在进行大数据的深度治理和数据资产建设,主要分为几个层面:基于业务目标制定符合业务发展方向的数据资产管理体系,深入场景提供解决具体业务问题的解决方案,做到商品化、资产化和智能化。今天我们更多地聚焦于启信宝的视角看一看可以提供哪些资产,财险业务场景中都有哪些应用。
我们希望能够建设数据资产,包括启信全景和启信智慧,基于非常完善的数据资产管理体系,依赖于自有的数据建设能力、数据基础能力,涉及到生态数据合作、数据质量标准、数据建设规范、数据合规保障,包括数据的清洗能力、算法能力和挖掘能力,已经构建相关的商业大数据资产品牌:企业全景数据、标签数据和产业链,花了大量时间和精力加工、研究,赋能金融机构,我们也坚定地认为保险公司可以通过引入启信宝优质的外部数据作为内部数据资产,进一步深入场景应用。
启信宝在财产保险领域到底有哪些应用场景?我们过往解锁了四个类别:
监管报送要求:科创企业、绿色企业识别。无论是保险还是科创都缺少评估科技企业、识别绿色企业的能力,因为缺少外部数据。我们基于这样的痛点开发各类数据产品,把中国全量企业科创数据进行归集,包括创投数据和科技标签,构建一家企业的科创评估,包括结合绿色指导目录构建产业链数据,有效地帮助保险公司识别一家企业科创属性,是否属于新兴产业链和绿色产业链。
主数据管理:战略客户梳理/集团关系梳理。我们跟很多保险公司沟通的过程中发现,很多保司内部的数据非常不一致,希望通过引入启信宝外部存量的优质数据进行匹配,更新主数据,开展一系列相关工作。通过数据可视化的方案,我们可以进一步带来业务相关启发,是否有业务交叉合作的可能。
企业主体信用调查和风险监控:分子公司签约的客户工商信息是否有变更,相关风险信息是否变更,可以定期进行这些数据的监控,反洗钱部门也会定期关注客户受益人是否有变化。
财险企客立体化智能营销管理:针对优质的外部数据,围绕组织客户产业提供相关精准拓客、智能拓客、专业拓客,构建优质的产品画像,帮助客户精准找到客户,提升整体营销效率。解决的核心问题就是围绕客户痛点,找到哪些客户是优质客户,针对优质客户推荐哪些产品。
总结一下,我们的数据按照业务场景分为五大模块:潜客名单挖掘、客户价值分层、客户商机感知、客户触达和客户资信数据。我们可以以插件化、标准化、模块化的方式做到交付数据产品、数据应用。
整体来看,我们已经服务120+家国内和海外的保险公司,围绕寿险、财险等等,我们把核心能力拆成三个板块:大数据类、文本类、图像类,逻辑就是以标准化、模块化、场景化的产品嵌入相关的业务流程,通过某个场景快速看到技术带来的变革,能够帮助科技平台快速、坚决地走这条路。
我们相信数据要素、人工智能技术都会成为保险行业数字化转型的动力,也相信随着保险业务的改革创新可以促进数字经济的发展,最终实现整个社会生产力的跃迁。今天我们也有展台在门口,大家如果有兴趣的话可以跟我们的同事沟通。
今天,我有幸在此与大家共同探讨一个至关重要的话题——在生成式AI ( Gen-AI ), 信创和降本增效等技术和市场的多种挑战情况下, 保险业客户如何面对下一个攻击.
首要问题,是人工智能的应用,是将由我们保险行业的客户先行一步,还是那些意图对我们构成威胁的黑客抢先一步?答案显而易见,我们必须先行一步, 如何利用这项技术进行合规, 运维和攻防, 已成为摆在我们面前的一项紧迫任务。
其次, 在信创环境中, 如何保证性能, 可靠性, 我们必须不断创新,整合包括信创区、传统区以及云原生在内的新技术和产品,确保在不产生安全漏洞的前提下实现技术融合。
第三, 降本增效一直是保险业IT投入的最大目标, 回顾过去十年,随着保险业和IT技术的不断融合, 电销/网销业务的推广, 保险代理人的数量在逐步下降, 中科软在这方面发挥了重要作用。设想一下,如果我们能够将网销和电销的比例提升至银行行业的水平,即手机银行和网上银行的占比超过90%,这将带来怎样显著的降本增效效果?
下面, 我们就外企退出, 人工智能等新科技引入的情况下, 如何设计全新的安全架构, 应对信创的国产化策略, 如何解决性能和稳定性, 同时还要保证低成本的降本增效等3各方面进行阐述:
-
面对外企的退出,我们曾依赖由他们提供的安全性和可用性规划,如今该由谁来接手?正是神州数码(作为过去中国最大的IT分销企业),通过旗下品牌神州云科,致力于整合资源,通过投资并购、控股、投资研发等多种方式,构建了完整的网络和应用安全产品线,包括防火墙、WAF、负载均衡、GSLB, Log日志管理系统等。我们致力于实现端到端的Tracing可观测性,无论在即传统还是微服务架构中,都能通过无探针的应用日志采集能力, 和大数据平台上独特的数据缝合技术,实现智能基线,根因分析, 影响范围判断, 实现一键容灾和攻防配置变更。在保险行业中,AI的攻击需要用AI来防御。我们通过可观测性为基础的SOC安全服务体系, 来实现了真正的安全攻防。
-
针对信创的性能和稳定性, 参考20年前, NetScreen面对网络速度由10/100M到1G的快速上升和CPU处理能力的不足,通过研制ASIC芯片来解决高性能和低成本问题; 信创同样面临了CPU等芯片处理能力不足和网络速度再次从10G到25G/40G和100G/400G的极速上升, 在这种状况下, 我们在投入巨资研发ASIC3.0芯片,为保险行业提供信创架构下,低成本、高性能的产品.
-
在降本增效方面, 我们提倡设备整合,基于信创合规架构和ASIC芯片,实现云边端的统一管理,提供防火墙、VPN和SD-WAN的整合解决方案来降低客户采购和运维成本。
在攻防领域,人是最关键的因素, 无论是架构, 实施, 合规, 渗透还是攻防,都需要人的参与, 神州数码的安全服务团队拥有独特的能力, 就是拥有几乎全部安全厂商的认证工程师, 基于他们的能力和知识库所构建的安服和SOC平台, 来帮助保险客户实现自动的监控、发现汇报, 再等待判断后, 实现一键切换的半自动运维,以适应保险行业的特殊需求。
最后,神州云科依托神州数码的强大资源整合能力,构建了完善的产品线,并与各安全厂商合作,提供从安全架构设计、现场实施安装到后期运维和运营的全方位服务, 为保险行业客户提供应用可用性, 安全性和可持续性的保障。
尊敬的各位来宾,我是中科可控的纪钟,下面由我为大家分享的题目是可控智算“芯”建、财险科技质变,下面将和大家分享如何通过硬件基础设施构建新一代智算架构。
众所周知,金融行业是最早应用IT办理业务的行业,可以说是IT应用最领先的行业。上个世纪七十年代到八十年代,金融行业就已引入IT系统代替手工处理业务,那个时候主要还是以大型机、中型机、UNIX服务器为主,通过基于SAN架构的传统IT系统,逐步实现了城市集中、省集中,最后到全国逻辑集中。传统IT架构的优势是什么?就是其稳定性、可靠性得到了充分的保证。但随着业务的发展也带来了一大堆问题:因为系统相对比较封闭,业务的创新速度在没有互联网金融的时候还感觉不出来,有了互联网对金融的跨界竞争以后,发现创新速度跟不上了。同时运营成本很高,很多金融机构每年光是IT运维成本都是几个亿到十几个亿,高昂的运维费用对财务报表影响比较大。
面对互联网跨界竞争的加剧,很多金融机构也要应对变革,于是就开始出现集中分布式IT架构。大家经常听到一个词叫做”双态”,即稳态和敏态的“双态运营”,原来传统的核心业务系统大部分都是基于稳态,同时为了应对互联网金融竞争,很多金融机构也推出互联网金融服务,部署在基于分布式架构的敏态平台,可以快速应对新的业务变革需求。有效解决了核心系统稳定和创新业务快速灵活的难题。但其也存在一些不足,比如由于账务分散在稳态架构和敏态架构中,一个金融机构管理者需要实时知道整体财务状况很难,往往都要滞后几个小时到一天的时间,等到日终汇总才有准确的结果,于是很多金融机构的领导提出要做数字化转型,改变现在分散式,多帐本模式,逐步实现一本帐。
同时由于全球地缘政治的影响,美国和中国的贸易战、科技战愈演愈烈,国家顺势提出要金融行业要实施自主可控的信创改造,而信创产品对传统SAN架构并不是特别适合,更适合云化改造,依托系统的可用性替代单机的可靠性,以满足业务的7×24小时不间断运行。云化的分布式架构很好地解决了横向扩展问题、可用性问题,也有不少金融机构实现了核心业务全面向云化平台迁移,不少大型金融机构已经制订了主机上云战略。
云化系统的优势是创新速度很快,总拥有成本也极大下降,但也存在一些劣势,因为世界已逐步进入人工智能变革时代,很多新兴智能业务用传统的云化互联网架构不见得能够解决,未来80%的算力都基于智算,于是第四个阶段多云智算架构就出现了。原来很多金融机构最多也就建设了两地三中心,随着新一代的多云智算架构出现,数据中心一定是多云多中心架构,生产云分布在不同的地方以解决7*24小时生产运营支撑,同时会建设一朵基于AIOPS的运维管理云,接入所有IT设备实现自动化运维,云环境下所有IT设备一次故障终身免疫。同时基于DevOps的开发测试云也会建立,以适应敏捷开发,快速创新的需求。另外绿色节能技术的采纳,可有效保障多云智算架构下满足国家双碳目标的要求。
新一代金融智算架构需要CPU、GPU、DPU共同构建,保障保险机构新质生产力的形成。CPU主要用于通用计算,GPU主要用于智算,DPU用于网络控制流和信息流的卸载。在其上面会有异构算力的服务,强调的是能够实现算力的虚拟化、池化,支持算力的快速调度。在安全层面,需要考虑数据安全、系统安全和应用安全。在异构软件开发平台层,要兼容主流软件开发平台,包括我们经常听到的CUDA,ROCm和国产平台等等,目前80%的智算应用都是基于CUDA架构,与之兼容是很重要的考量因素。在AI框架支撑方面,应当支持业界主流的TF/pytorch/飞桨等,在模型支持上对图像识别、文字识别、自然语言处理等各类模型都应有相应的支持能力,再其上应当建立一套AI引擎以实现OCR、生物识别、数字人、NLP等服务,同时应设立一个AI中台,为各类金融业务提供智算服务。
要想加速业务创新,合适的人工智能的架构是非常重要的,到底应该怎样搭建?主要需要考虑三个方面:一是支持全球主流算法;二是算力可横向扩展,保障人工智能应用长时间访问不间断,千亿、万亿参数大模型可在上面平稳运行;三是未来人工智能需要的数据不是GB、TB级,而是PB、ZB级别,海量数据如何互联互通并实现共享非常关键。
算法的支撑是需要考虑四个方面:融合、开放、稳定和可扩展。要能与原有系统融合,要采用开放架构支持全球主流技术,不仅能运行Transformer算法框架,甚至能支持最新推出的TTT算法框架,稳定性也要足够高,不能跑着跑着突然中断,横向扩展能力也要很强以应对千亿万亿大模型的应用。算法支撑平台应当构筑再传统的云计算平台上,AI支撑平台主要用于算子库的服务,能够让我们开发人员快速搭建一套新的智算应用系统,智算管理平台主要用与算子和模型的管理,算力调度平台则是实现智算应用跨服务器甚至跨数据中心的快速调度。
模型的支持主要分两类,一类是大模型比如国外领先的开源模型LLAMA和国内的通义千问、百川等等,另一类是支持OCR、TTS、ASR的小模型,很多金融机构在上人工智能应用的时候需要合适的模型算子快速满足业务的要求。
在算力方面,现在一块算力卡功耗达到400W到700W,一台服务器往往就突破了风冷机柜的功率上限,所以需要实施液冷散热技术,才能够有效保障数据中心单机柜算力,减少占地空间,经过我们通过浸没相变技术可以将PUE降到1.04,可有效保障系统的性能和可靠性。
考虑到现在人工智能大模型几乎是三个月一次迭代,原来很多基于Transformer架构原理去做的NPU,可能到了TTT架构以后就不一定能支持了,所以选取GPU首先要考虑生态的支持能力,其次是稳定性,后面才是性能,因为性能是可以通过横向扩展的提升的。海光推出的加速卡可以有效兼容CUDA,无论是算子库、通讯库都是一一对应的。基于CUDA架构开发的人工智能模型96%都可以通过自动化工具转换过来,通常一个人干3天就可以实现模型的迁移,这在NPU架构上是不可想象的。
服务器算力未来主要是两类机型:一是8卡训推一体服务器,二是推理服务器,通常是两路两卡或者两路四卡,未来海光推出的产品无论是CPU还是GPU,性能和生态都可以做到国内领先的水平。
大模型领域存算分离非常重要,原来小模型的数据都是GB到TB级,到了千亿、万亿参数大模型,数据都是PB甚至ZB级别,一台服务器已经放不下所有数据,所以一定需要分布式存储支撑,实现存算分离。可控的分布式存储源于超算技术,代码全自研,性能很高,性能基本上是开源ceph分布式存储的10倍以上,同时支持块、对象、文件和HDFS,支持infiniband、ROCE等模式接入。
智算中心网络主要是五张网,除了接入网络外,主要包括以下四种:计算节点互联网络,网络需要带宽很高,通常400GB以上,存储节点网络可以稍低一些,通常100Gb以上,另外带内管理网络通常万兆即可,带外管理网络主要用于设备管理千兆即可。
除了算法和算力以外,怎么保证数据孤岛的打通非常重要,国家成立数据局,各地成立数据交易所,要的就是保证数据的互联互通、共享和保护隐私。数据隐私计算包括三种技术:一是基于密码学的,包括多方安全技术和同态加密技术,有点是安全,但是执行速度慢,只有正常速度的1%;二是联邦学习技术,速度上来了,但没有办法用数学论证其是安全的;三是TEE隐私计算技术,也是全球主流技术,目前INTEL、AMD、ARM V9和海光等主流芯片厂商均支持,如黑盒般将数据封装其内高速运行,并有效保证了数据隐私和计算时的安全控制,还打通了CPU\GPU\内存间数据的安全传递。
中科可控在多年的信创工作中已成为金融信创的第一梯队,我们在银行、保险和证券行业已实现了大量部署,海光服务器在金融信创连续几批的试点单位中几乎都被采用。选取基于海光的技术路线对很多用户带来的最大好处就是迁移速度快,尤其是中小型金融机构特别愿意使用海光架构解决原有系统信创改造的问题。
我们在保险公司也实施了很多案例,今天主要谈几个智算相关的项目:某政策性保险公司依托基于海光+ZSTACK的小云平台,实现了OCR应用的改造,替代了原来NV V100,完全能够达到信创改造目标的要求。某个大型财险公司刚刚建立起千卡集群系统,主要应用于车险系统,可实现OCR、智能客服、地址识别、车牌识别等应用,有效解决了车险的营销、核保、定损和理赔的自动化快速处理问题,在实现信创改造的同时增强了客户满意度,并节省了大量的人力成本。
非常高兴参加中科软大会,我叫李凯,现在是在腾讯云,十多年前我在国内财险公司就在服务于财险客户,非常熟悉,所以也看到将近二十年的科技演变和转型压力、创新冲动,今天我会为大家介绍腾讯金融云团队在保险行业能做什么。
我对中科软大会的议题非常认可,就是“向新而行,科技提质”,这里有两个字被放大,一个是“新”,一个是“质”,这些也是目前腾讯整个保险行业方案重点讲的几个点。我想从行业视角、国家视角来讲作为一个财险科技团队或者保险相关行业的方向。最近国家在谈数字中国、数字经济、五篇大文章,什么叫做数字要素、金融科技、金融风险,其实这些概念正在越来越落地。我们今年也明显感觉到安全运行和稳定生产方面的重视度越来越高,会更多地顾及和考虑过去安全、连续性、灾备常态化等等。
过去的一年中,我也跟不少财险客户交流,包括网络安全险、反诈风险等等。整个财险科技也在快速进行架构升级,保险+服务这种趋势已经不是在互联网+时代,大家也会关心保险服务生态怎么支持。
图中介绍的是腾讯金融云能够给财险客户带来什么,主要分为三个方面:
融合创新,主要是向新而行这个方向、趋势和动作。我们通过一些架构的升级、自主创新,满足过去十年的科技,然后满足未来十年的发展。我们的云平台怎么做、数据库怎么替代、大数据如何替代,财险科技架构是否能够走云原生这条路,腾讯会有相应的自研产品能够支撑这些问题的解答。
安全运行,前面更多的是帮助大家进行技术架构的升级,但往往会忽视运行架构,其中会把安全、灾备、业务连续性放进去,甚至会把快速响应和常态化放进去,主要是安全闭环和灾备闭环,大家又在重新去做功课。除了补课以外,我们还会有一些新的做法。
新质提效,也算是扣题。腾讯本身是科技大厂,所以很多能力可以赋能各个行业,不管是微信、企微还是会议,大家可能对腾讯有很多科技认知。除了连接的能力帮助大家进行新质提效,也有很多协同能力,包括大模型AI的持续投入,大家可以陆续感受到很多新质提效的能力。保险行业更关心的是这些能力如何与财险应用场景、伙伴集成和整合。
我们助力架构融合创新、提升安全运行,通过新的科技力量进行降本提效。
针对财险核心业务系统,我们和中科软进行了仔细测试,不是把系统装上来跑一跑就可以了,而是包括所有SQL语言,也包括业务流程测试、性能测试,包括续保和支付都会完成相应的测试。我觉得这是一个云平台本身需要支持关键业务的工作,需要跟伙伴有很紧密的自主创新方面的合作。
TCE平台支持一家全国性财险的关键业务系统,两地四中心,南北互备,全国业务都依赖于此。过去服务的三年中曾经出过机房问题,用户有感觉吗?没有,可能科技行业大家压力很大,我们在跟客户一起保障云的安全稳定运行,很多中间件技术栈自主可控,我们的云平台可以支持分布式架构,也会支持一云多芯。
云原生过去比较像互联网业务、自主电商业务、游戏业务,金融行业讲究长交易,怎么去做云原生、微服务,大家都有疑问。过去两年我们看到财险客户在腾讯云用全栈云原生实现全栈业务,承保、支付、理赔,全部都有。全量云原生会有很大的好处:成本降低40%,其实这是新架构带来的,通过这些想传递的信号是,云原生架构是可以落地的。大家不用担心海外产品和开源中间件是否能够得到很好的支持,我们的团队和开发商有一堆开源产品,是否能够得到很好的技术保障,其实我们会提供一站式云原生技术平台Tencent Cloud Native。
去年的大会上也有好几家国产数据库厂商,过去的两年,国产数据库上市的越来越多,其实这是一个很好的现象,腾讯自己在数据库这条线也是非常战略级的定位和投入。去年我们拿到全球TDSQL榜单,第一名比第二名成绩更优,证明我们在内核和大规模数据库性能方面有非常大的核心自主可控能力。刚刚发布的IDC报告,腾讯云数据库在金融行业排在第一名,所以有着非常多的客户选择腾讯云数据库。
保险行业Oracle的使用比较普遍,开发代码由于历史原因压力更大,跑批的压力也很大,所以腾讯在数据库领域有持续的攻坚,相信会是持续性的工作。前年到去年,我们更多地会把Oracle兼容性完全覆盖,去年到今年也在研发性能,跑批的压力是行业性的。大家应该也发现Oracle运维管理非常不方便,我们有很好的工具把双引擎统一管理,包括数据库灾备、双活和多活架构。
今年是需求爆发年,腾讯云的大数据产品源自于自身科技沉淀,除了整个数据的存算平台以外,我们也在数据治理和数据开发平台,几个产品进行全栈完善,现在已经形成TBDS、SmartBI的全栈产品能力。今年特别突出的就是实时流批一体、湖仓一体,其实对保险新质提效是非常能够看得见的可见能力,因为从T+1变成T+N,1个小时变成10分钟、5分钟,客户提出了很高的要求。作为取数、存数、数据分层和数据应用的开发模式要有重新构建。
中科软财险在数据模型的产品底座是非常完善的,应用也非常丰富,包括分析、报送已经有了很完整的产品线,如何通过湖仓模式支撑数据存算提效,包括国产化替代都有很好的优势,很多需求来自上层的一体化治理平台和开发平台。今年我们会特别重视数据安全、分级分类管理、源数据管理以及数据治理的闭环。
我们跟中科软大数据合作的另一个方面就是I17,无论是寿险还是财险,我们都可以看到数据复杂计算需求,计算时间窗口,数据的可回溯都给数据中台带来明显的技术挑战和应用挑战。除了应用开发商或者咨询公司进行方案设计,技术平台本身会对调优、数据可回溯、云算弹性计算,应用新的技术使得这种应用可实现,这些也是我们联合开发的方案。
腾讯云的安全厂商非常多,大部分都是单点。今年大家都对一个词很关心,就是常态化,不少科技领导都有很大的压力。无论是国家、行业还是区域都是以攻代防,更多的是一种应急。今年下发的监管文件有跨年的安全监督检查,包括前两周发出的两高一弱的高风险关口,作为科技团队怎么面对结构这么复杂、这么多的上下游?安全运营如何常态化?不敢说我们有很完美的答案,但腾讯自身还是做得不错,这么大的一朵云服务全国所有同胞,端点安全、数据安全、运营安全快速响应有很多经验和成果可以给到行业参考。
安全运营如何常态化?靠的是自动化,怎样把安全自动化?把安全加到每个人头上,而不只是安全团队头上?这些都是安全运营的升级。
最近特别热的就是供应链安全,去年谈数据安全,今年谈供应链安全,开发组件其实也有很多安全风险,潜在漏洞不被人用没事,如果被用就是大的风险。
高可用更多的是数据的备份和灾备,我们会通过一些回归的方式使得应用维度的灾备切换和演变更加自动化、常态化。
大家都在提AI,百模也好、千模也好、算力也好,我们比较强调的就是现在AI和大模型还没有到谁好谁坏的时候,大家更关心的是去用。ChatGPT带来的好处就是通过用户体验、用户可获得感的AI能力,做到大家都能够去用AI。可能这是腾讯云在大模型行业应用关注的点,更关注大模型的应用落地和给客户带来的体验。
腾讯云去年开始全面使用代码助手,提效非常明显,今年上半年也在一家保险公司落地代码助手,达到相同的提效目标。代码助手结合软件开发团队的知识应用,其实是能够提效的。大家都在谈未来AI还需要开发人员吗?肯定还需要,现在我们就要准备这项工作,也是明显可落地的场景。
今年腾讯会议和腾讯文档的升级会让大家体验我们大模型的能力,腾讯也有会议记要,二十个人开会,每个人发言的会议记要都可以呈现,这些就是大模型的应用与客户需求的结合,现在大家写文档的话,旁边会有一个小助手,问你要不要我帮你写一段,你来改一改?
我们的团队管理、知识沉淀也可以把大模型放进去,既可以在公有云,也可以在私有云做到解决方案,支持私有化的大模型包括一些搜索能力形成完整的方案组件,这些是对保险公司特别有意义的场景。保险公司有大量产品、服务流程、专家知识、运营经验、案例,怎么沉淀成为大脑,重构所有运营流程,这些是在保险行业落地的场景,目前我们也有完整的方案落地进行快速更新。无论是科技行业、内部办公还是业务侧、运营侧的提效都有作用。
腾讯云团队服务了100多家保险客户,金融云、公有云和专有云,各种形态都有。我们团队本身也会更加持续地帮助保险客户在未来的数字化转型中作为小助手,这里专门加了一个小字,只希望我们在融合创新、安全运行和新质提效方面发挥作用。