大数跨境

重磅 | 辛米尔最新研究成果发表Nature子刊

重磅 | 辛米尔最新研究成果发表Nature子刊 两江科技评论
2024-04-02
3
导读:我司CTO程远博士带领算法团队,发表了公司第一篇Nature子刊



可持续学习的边缘计算系统

人工智能任务日益复杂、多样且动态变化,传统机器学习方法往往基于固定数据集训练任务,无法适应环境变化,如何使AI系统具备多任务持续学习的能力成为亟需解决的问题。近年来,随着摩尔定律的停滞,以衍射神经网络为代表的光学架构作为新的计算模态,在功能和效率方面展现出巨大潜力。然而,当前光电计算模型仍普遍存在“灾难性遗忘”(catastrophic forgetting)的问题,学习新任务会失去先前任务的记忆。


受人脑实现可持续学习的神经突触机制启发,辛米尔研发团队联合清华大学实验室首创了一种可重构终身学习架构,首次以光计算的方式在单一模型中超高效地完成数十种任务。该成果发表于Nature子刊《Light:Science & Applications》,通过稀疏光连接及多光谱并行计算等关键模块,赋予光计算系统超越现有技术的功能、通量与能效,为智能系统在边缘硬件的实际部署提供了光速解决方案。



行业背景与技术挑战

目前的人工智能模型大多只能处理给定的任务,当环境发生变化便无能为力,距离人们需要的通用智能相差甚远。智能系统的可持续学习能力是AI领域发展的重要瓶颈,正受到广泛关注。反观人类本身,在不断成长的过程中,人脑可以终身学习并掌握各种技能。如何借鉴人脑的终身学习机制,挖掘大规模可持续进化的计算范式成为了极具挑战性的研究方向。


然而,随着传统硅基电子计算芯片的算力和功耗严重受限,难以满足现实迫切所需的大规模高通量数据处理需求,因此探索新的计算技术和模态是未来智能系统发展的必然趋势。近年来,以光计算为基础、通过光电融合的方式构建光电神经网络已成为国际前沿的热点研究。发挥光计算高算力低功耗的特有优势,可以突破传统电子计算长延时、高功耗等瓶颈,实现计算性能的颠覆性提升,有望在算力上提升3个数量级,在能效上提升6个数量级,从而引领新一代人工智能领域的变革。


虽然以衍射神经网络为代表的各式光网络不断涌现,但是现有的光电系统中的基本光学计算单元普遍受限于固化的结构与较低的扩展性,极大地限制了光本身的物理潜能和计算能力。导致当前光网络只能实现简单的单一任务,学习新任务时无法克服灾难性遗忘的问题。




L²ONN:稀疏可重构光计算,支撑终身学习智能系统


针对上述问题,辛米尔研发团队联合清华大学实验室提出了终身学习光计算架构L²ONN(Lifelong Learning Optical Neural Network)(如图1所示),创新性实现了可持续学习的多任务智能系统。受益于大规模光连接中固有的稀疏性和并行性,光计算天然地模仿了人脑中神经元和突触的终身学习机制。通过自适应地激活相干光场中的稀疏光连接来学习每个任务,同时逐渐激活光计算来持续获得对各种任务的经验信息,多任务光学特征由分配有不同波长的多光谱表征并行处理。所提出光终身学习架构从理论上确保了光本身物理特性带来的可扩展性和通用性,构建了新型神经形态计算体系,赋予智能系统以光速计算的能力。

图 1. 光终身学习框架示意图。


为评估L²ONN的可持续学习能力,辛米尔研发团队在多个具有挑战性的数据集上进行了仿真验证(如图2所示)。大量实验证实,L²ONN首次避免了普通光神经网络的灾难性遗忘问题,在多种数据(视频理解、语音识别、医学诊断等)上完成多任务终身学习,其学习能力比普通光神经网络高出14倍以上。

图 2. 光终身学习架构在多项数据集下的增量学习结果。


进一步,团队基于衍射计算模型实际制造了光终身学习芯片(如图3所示),并利用其实现了持续学习和并行处理,完成了光学智能系统在边缘硬件的实际部署。最终结果表明,该芯片使用有限的计算资源,计算能效比典型的电神经网络高出一个数量级以上。

图 3. 光终身学习芯片原型系统、增量学习过程以及设计原理。






前景展望



该文提出的稀疏可重构光网络展现了可持续学习在边缘计算架构上的巨大潜力。随着硅光芯片集成技术的发展,光终身学习芯片可实现的规模将越来越大,为智能系统在边缘硬件的实际部署提供了可持续学习的光速解决方案。该光计算架构以其在功能、通量、能效上的优势,有望显著提升通用人工智能在工业制造、智慧城市、自动驾驶等关键领域的发展,使边缘智能计算系统拥有像人类一样对现实世界复杂任务的适应能力。



论文信息


该研究成果以“Photonic neuromorphic architecture for tens-of-task lifelong learning”为题在线发表于Nature子刊《Light:Science & Applications》,影响因子20.26。辛米尔CTO程远博士为论文的第一作者,清华大学方璐教授为论文的通讯作者。该课题得到科技部重大项目、国家自然科学基金面上项目、辛米尔预研项目等基金支持。



关于《自然》(Nature):

创刊于1869年,是全球最知名的科学期刊之一,涵盖各学科领域,已连续10几年名列多学科领域影响因子排名第一。《自然》期刊一直致力于出版最优质、在科学技术各领域经同行评审的研究成果,贯彻并坚持其原创性、重大性、跨学科影响力、时效性、读者亲和力,发表全球最前沿的学术成果。自然系列子刊以满足特定领域科研人员的需求。每一个自然子刊,自创刊之日起,就具有巨大的影响力。










辛米尔研发团队


辛米尔研发团队长期致力于计算机视觉、行为分析、边缘计算、硬件加速架构、人工协同方向的研究。其中自研的事件记录追溯系统、工业安全视觉防护系统、生产过程行为理解系统、视频智能分析平台、人工智能训练平台、设备与数据管理平台、工业存储器等多款产品已广泛应用于如:汽车、3C、新能源、半导体、家电、轨道交通、生物医药等行业。


辛米尔视觉科技是一家专注于打造AI边缘视频理解系统的国家高新技术企业,为各行业提供生产过程管理、实时视频分析的整体解决方案。





推荐阅读


制造业的“鹰眼”——辛米尔工业安全视觉防护系统


制造业的“SOP助手”——辛米尔生产过程行为理解系统


【声明】内容源于网络
0
0
两江科技评论
聚焦“光声力热”超构材料、凝聚态物理、生物医学、智能制造等领域,打造科研人便捷的交流平台,发布优质新鲜的科研资讯。
内容 6001
粉丝 0
两江科技评论 聚焦“光声力热”超构材料、凝聚态物理、生物医学、智能制造等领域,打造科研人便捷的交流平台,发布优质新鲜的科研资讯。
总阅读17.5k
粉丝0
内容6.0k