大数跨境

什么是液体神经网络,究竟是怎么回事?

什么是液体神经网络,究竟是怎么回事? 海外洞察
2023-08-17
2
导读:我们与麻省理工学院计算机科学与人工智能实验室(CSAIL)主任丹妮拉·鲁斯(Daniela Rus)就液态网络这一新兴技术及其对机器人领域的影响进行了交谈。

“液体网络”(或“液体神经网络”)概念虽可追溯至2018年,但直到2020年底《液体时间常数网络》(Liquid Time-constant Networks)论文发表及作者拉明·哈萨尼(Ramin Hasani)通过TEDx等讲座推广后,才进入大众视野。哈萨尼作为Vanguard集团首席AI科学家及MIT CSAIL研究员指出:“这些神经网络即使在训练后也能保持适应性,仍能根据接收到的输入进行自我调整。”

“液体”一词核心指代灵活性与适应性。与传统追求扩大规模不同,哈萨尼强调“缩小规模,拥有更少但更丰富的节点”。例如,MIT团队仅用19个节点的感知模块配合液体神经网络即可驱动汽车,而传统高噪声网络可能需多达10万个节点。该校解释称,微分方程描述了系统中每个节点,闭式解能精确近似系统实际动力学,从而以更少神经元实现更快、更低成本的计算。

该技术在机器人领域潜力巨大。论文指出,在连续时间的观测和行动空间中对机器人进行控制时,LTCs的因果结构有助于提升推理能力。其低算力需求意味着可在树莓派等边缘设备执行复杂推理,无需依赖云端。此外,液体网络还有助于解决深度学习的“黑箱”问题,提高透明度以识别因果关系,避免“垃圾进,垃圾出”导致的偏见与安全隐患。

图片来源: MIT CSAIL

TechCrunch专访:液体神经网络如何重塑机器人安全与效率

TechCrunch:创建液体神经网络的动机是否源于移动机器人硬件限制,使其无法运行极其复杂的神经网络?

Daniela Rus(MIT CSAIL主任):这是原因之一,但更重要的是当今AI系统的局限性阻碍了其在安全关键系统和机器人领域的有效应用。大多数机器人应用都是安全关键的。

从业者通常希望用更少资源做更多事,液体网络是否具备此优势?

是的,但这不仅是资源效率问题。液体网络紧凑且可在树莓派等边缘设备运行,无需依赖云端。更重要的是可解释性:对于庞大且不透明的深度学习模型,很难判断决策是否满足安全约束。特斯拉2016年致命事故即因感知系统将白色卡车误认为云朵所致,这类机器特有的错误在安全关键系统中不可容忍。液体网络体积小、更具可解释性,甚至可提取人类可理解的决策树。结合BarrierNet结构,还能融入控制屏障函数,保证系统稳定性并确保输出处于安全范围内。

这是否意味着有意增加更多约束?

是的,这属于机器人控制理论中的约束类型。通过BarrierNet过滤机器学习输出,可确保机器人不施加超出能力的力或扭矩,防止自损。相比其他方法,液体网络数据需求更少、训练更快、推理时间大幅减少,且在因果性上具有可证明性。其决策更专注于任务内在方面而非环境上下文。例如驾驶时,液体网络关注道路地平线和路边情况,而非像深度网络那样被灌木树木分散注意力,这种高专注度是显著优势。

这些系统是否需要不同类型或数量的训练数据?

实验中我们使用相同数据以公平比较性能。虽然存在减少数据量的方法,但其广泛适用性尚待验证。需注意,液体神经网络必须使用时间序列数据(如视频),不适用于ImageNet等静态数据集。此外,精心策划具备多样性、减少重复的数据集是正确的方向。

当神经元数量较少时,糟糕数据带来的风险是加剧还是减轻?

影响与其他模型无异。虽然参数更少,但计算能力更强,存在任务等效性。不过,网络更小、更透明确实更容易定位问题,也便于可视化性能及自动提取决策树来解释模型行为。

大规模神经网络常被批评随意关联事物而非确定因果关系,液体网络如何解决?

事实上,没人真正理解巨型模型如何做决策。我们希望深入研究,但目前大型模型如同封闭壁垒。液体网络通过动力系统建模框架,提供了理解因果性的新路径。

生成式AI在未来机器人技术中是否会发挥重要作用?

当然。生成式AI将AI带入大众视野,语言已成为一种操作系统和编程语言,“副驾驶”模式显著提升了编程效率。在机器人学中,它能解决现有方法难以处理的复杂问题,提供比模型预测控制更快、更流畅且具人类特征的运动方案。未来机器人动作将减少机械感,更加拟人化。同时,生成式AI也可用于设计,但机器必须在物理和现实世界背景下具有合理性,超越单纯的模式生成。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k