点击蓝字
关注我们
AI TIME 欢迎每一位 AI 爱好者的加入!
本文作者|张子尧
本文编辑|马菁宜
机械臂执行抓取任务时,微小的偏差即可改变后续视觉反馈。为降低机器人模型的能耗,研究者尝试对网络数值进行粗粒度计算,但仅凭单层输出误差难以评估其有效性,更直接的检验标准是闭环任务的成功率。
时维感知研究团队在预训练机器人模型 π0.5 上开展实验,将部分连续数值拆解为少量脉冲,利用硬件低成本运算特性处理数据。实验通过闭环仿真验证任务成功率,并借助成本模型估算算术运算的节能潜力,以此评估该方法距离实际部署的可行性。
arXiv 预印本 · 2026
英文题目:Power-of-Two Leaky Integrate-and-Fire Neurons for Event-Driven Vision–Language–Action Inference
作者:Rui Liu、He Lv、Ziyao Zhang、Rui Ma、Rongxiang Nie
机构:时维感知(杭州)科技有限公司,浙江杭州
版本:arXiv:2610.33658v1,2026 年 10 月 24 日提交的预印本
原文:https://arxiv.org/pdf/2610.33658v1
为什么从乘法入手
视觉-语言-动作模型(VLA)需将摄像头画面与语言指令转化为动作序列。在视觉编码器、视觉语言骨干及动作模块中,通用矩阵乘法(GEMM)反复出现。以拥有约 33 亿参数的 π0.5 模型为例,计算功耗高度集中于 VLM 骨干的 MLP 投影层,这三段 GEMM 是主要热点。尽管动作专家模块参数量较少(约 3 亿),但在 10 步去噪过程中反复执行 GEMM,累积功耗亦不可忽视。
投影乘法是能耗大头。若输入能用简单数值表示,模型便有望减少通用乘法开销。难点在于,权重源自已训练好的策略,改变输入表示方式后,模型仍需准确识别物体、规划路径并及时执行操作。
用 0.6875 看懂一次脉冲发出了什么
以 Heartbeat 模式为例,假设输入值为 0.6875,在无泄漏设置下:第一步选择不超过当前幅度的最大二次幂,发出 0.5,余量 0.1875;第二步从余量中发出 0.125,余量 0.0625。若允许第三步,则可完整表示该数值。负输入同理。
考虑其与权重 w 的乘积。若仅限两步,投影层累加 w/2 和 w/8,得到 0.625w,近似误差为 0.0625w。二进制浮点数乘以二次幂可通过调整指数和符号实现。每个事件仍需累加,内部步数 T 决定了单个输入最多可用多少个事件表达。
Heartbeat 把额外的时间步放在哪里
标准模式下,脉冲沿网络向后传播。当 T 大于 1 时,同一网络需经历多个内部时间步。若在常规硬件上每遍网络重新加载投影权重,节省的乘法开销可能被访存抵消。
Heartbeat 将这些时间步整合至每次投影调用中:输入仅注入一次,投影层从余量中连续提取事件,累加各次贡献生成单一输出后传至下一层。此举使权重有机会驻留计算单元附近,连续服务多个事件。视觉编码器、视觉语言骨干和动作模块中的选定投影层采用此法,注意力掩码、键值缓存及动作接口保持原结构。此处 T=2 指投影内部的事件预算,机器人动作生成仍沿用 10 个外部求解步。
原论文图 2|彩色模块标出 π0.5 中采用事件计算的投影位置。Heartbeat 在单次投影内部累加脉冲贡献,再将结果传给后续模块。
多完成的 11 次任务意味着什么
研究基于 π0.5 预训练权重,对改造后的策略微调 5,000 次,并设置同等微调预算的连续激活对照组。评测采用 LIBERO 的空间、物体、目标和长程四组仿真任务,每组 500 回合。不同配置共享初始状态和推理噪声,支持逐回合对比。
数据出自表 1,每项配置 2,000 回合。
Heartbeat 双步配置比原始模型成功率高出 0.55 个百分点。在 2,000 回合中,51 回合为原模型失败而 Heartbeat 成功,40 回合相反,净差 11 回合。长程任务成功率从 92.4% 升至 94.2%,物体任务则从 98.6% 降至 97.4%。经配对检验并校正多重比较后,四种主要事件配置的差异均未达统计显著水平。这表明改造后的策略能维持接近原模型的表现,但主张性能提升或统计等效仍需更强证据。
原论文表 1|LIBERO 四组任务,每项配置共 2,000 回合。Overall 为总成功率,Δ 为相对原始连续激活模型的百分点差。
86.95% 的节能估算,究竟算了哪笔账
该数据基于 T=1 配置(表 1 中成功率 96.90%)。研究采用示例性 45 纳米算术成本模型,以稠密 FP32 乘加为参照:乘法 3.7 皮焦,加法 0.9 皮焦,合计 4.6 皮焦。事件路径每次发放估算成本为缩放 0.1 皮焦加加法 0.9 皮焦。按 60.01% 的发放率折算,每个参考乘积对应 0.6001 皮焦。与 4.6 皮焦相比,算术能耗降幅约为 86.95%。
原论文表 7|在 T=1、发放率 60.01% 的假设下,每个参考乘积的算术成本是 0.6001 pJ;此表未计入访存等系统开销。
为什么多给两步,机器人反而少完成了任务
数值例子显示,增加步数可更精确重构输入,但机器人任务成功与否取决于整段动作。成功率受训练权重、后续层处理方式及动作误差对观测的影响共同制约。实验中,Heartbeat 从两步增至四步,总成功率从 97.25% 降至 96.90%。这说明不能仅凭重构精度选择 T,但也不足以断言多两个时间步本身损害控制能力。
计算量变化更为清晰。在 8 个固定观测上对 26 个投影位置计数,四步的事件与权重配对运算数约为两步的 1.83 倍。两步配置以较少运算取得较高观测成功率,因此被选为默认 Heartbeat 设置。
对于旨在边缘设备部署 VLA 的团队,建议先选取高频投影类,检查改变数值表示后闭环抓取和操作能否完成。更具判别力的实验是将原始策略与事件策略置于同一目标设备,同步测试成功率、推理延迟及实际能耗,从而判断减少乘法是否真正具备部署价值。
往期精彩文章推荐
倒计时1天!CIPS-SMP 2026最不能错过的一场keynote:田渊栋讲RSI
关于 AI TIME
AI TIME 源起于 2019 年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球 AI 学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。
迄今为止,AI TIME 已经邀请了 2000 多位海内外讲者,举办了逾 800 场活动,超 2000 万人次观看。
我知道你
提出观点,表达想法,欢迎
点击 阅读原文 查看原论文


