新朋友点上方「虚拟现实产品超市」订阅本刊
实现人类级别的灵巧性需要精准、低延迟的人机控制。ByteDexter系统集成了MANUS Quantum Metagloves和Meta Quest 3，能够实时远程操控20自由度连杆驱动的拟人化机械手。该系统可实现精准的捏握、稳定的强力抓取和高级的手内操作，为灵巧机器人、远程操控和具身人工智能研究提供了高质量的演示数据。
机器人灵巧性面临的挑战
机器人灵巧性难以实现，因为机器人面临两个主要挑战：硬件限制和人与机器人运动之间的软件不匹配。
1. 硬件限制
制造一只像人手一样活动的机械手绝非易事。不同的设计方法各有优缺点：
| 直接电机驱动 |
|
|---|---|
| 肌腱驱动 |
|
| 联动驱动 |
|
ByteDexter采用混合设计来解决这些问题：
- 这四个手指采用紧凑的并联-串联连接结构。
- 拇指采用了一种新设计的机制，由三个致动器驱动四个自由度，从而实现了屈曲、伸展和外展等解耦的、类似人类的运动。
该系统由微秒级运动学求解器支持，可实现实时控制。
2. 运动映射失真
人手和机器人手在关节类型、运动范围和几何比例方面存在差异。这些差异会导致诸如捏取、多指协调和手内操作等复杂任务出现失真。传统的指尖反向运动学（IK）和关键点匹配方法难以高保真地再现人体运动。
用于高保真灵巧控制的集成式远程操作架构
ByteDexter 将硬件和软件整合到一个统一的、高性能的远程操作系统中。
- 一款拟人化的20自由度机械手
- 一种优化的运动重定向算法
- 来自 MANUS手套的高保真传感器输入
- 通过 MetaQuest追踪进行实时手臂映射
操作者的手指动作被转化为ByteDexter机械手的关节指令，而Quest控制器则提供持续的手腕姿态输入。FR3机械臂和ByteDexter机械手随后实时复现操作者的动作，从而创建出自然流畅的全手控制界面。
基于关键向量的运动重定向
ByteDexter不直接映射关节角度或指尖位置，而是使用关键向量，即表示手部关键点之间空间关系的几何向量。
这些捕捉到：
- 指尖到指尖的几何形状
- 手指间空间关系
- 拇指-手指协调信号
自适应加权策略优先考虑与捏合动作相关的向量，以实现精确的拇指-食指或拇指-中指控制；优先考虑分离向量，以减少碰撞；优先考虑平滑项，以实现连续稳定的运动。该框架有效地协调了人机手掌的差异，并保持了协调灵巧的运动。
结果
该系统可实现更紧密、更稳定的捏握，精确再现拇指和手指的协调运动，并显著减少意外碰撞。它支持灵巧的手持操作，包括流畅的捏握到推握的转换、双物操作、通过推或控制旋转打开盖子，以及其他协调的多自由度动作。
该图比较了ByteDexter的重定向方法（红色）和基线方法DexPilot（蓝色）在捏合任务中指尖距离跟踪的性能。ByteDexter的重定向方法生成的指尖轨迹能够更忠实地跟随人体运动，从而实现更准确、更稳定的捏合动作。
专为远程操作、数据采集和具身人工智能而构建
该系统结合了MANUS 数据手套和联动驱动的ByteDexter机械手，能够可靠地复制人手运动，保持协调的手臂控制，执行连续的多步骤任务，并高效地在真实环境中操控各种物体。这使得该平台非常适合远程操作、高质量数据采集、模仿学习和具身人工智能开发。
你一定还感兴趣：
《第九届元宇宙数字人设计大赛》在京开幕， 搜维尔科技助推中国数字人产业发展
【搜维尔科技】xsens+manus VR+Faceware 面部动画工作全流程！
Techviz：手指追踪技术在专业工程领域的5个经典使用案例
【搜维尔科技】Manus VR全新的量子追踪技术，视频案例合集！
【搜维尔科技】SenseGlove Nova力反馈手套测试中
数据手套-适用于机器人、人工智能和机器学习解决方案
