{
  "paper_id": "5438aeb9aef17efaf79ef664b0812be0",
  "paper_title": "Bimanual Dexterity for Complex Tasks",
  "paper_authors": [
    "Jiahui Yang",
    "Kenneth Shaw",
    "Yulong Li",
    "Mohan Kumar Srirama",
    "Ray Liu",
    "Haoyu Xiong",
    "Russell Mendonca",
    "Deepak Pathak"
  ],
  "publication_date": "",
  "publication_venue": "CoRL 2024",
  "abstract": "为训练通用机器人策略，机器学习方法通常需要大量高质量的人类遥操作专家数据。理想的数据采集机器人应贴近人类，即配备双臂和灵巧手，但构建这种超过50个自由度的双臂遥操作系统极具挑战。为此，本文提出BiDex，一个极灵巧、低成本、低延迟且便携的双臂灵巧遥操作系统，依靠动捕手套和教师臂实现控制。与Vision Pro遥操作系统和SteamVR系统相比，BiDex能够以更快速度为更复杂任务采集质量更高的数据。论文还展示了BiDex控制移动双臂机器人完成野外任务。该系统成本可接受、易于学术实验室复现，并可用于多种机械臂。\n",
  "keywords": [
    "Bimanual",
    "dexterous hands",
    "behavior cloning"
  ],
  "paper_institutions": [
    "Carnegie Mellon University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:25.207631Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向通用机器人策略所需的大规模高质量人类遥操作数据，指出双臂多指系统虽具有50多个自由度并贴近人类形态，但现有Apple Vision Pro存在腕部跟踪抖动、手指跟踪受光照和遮挡影响的问题，SteamVR依赖外部激光基站而难以移动，Vicon或Optitrack等系统昂贵且难以部署，许多低成本教师臂方案又只支持单自由度夹爪。为此，作者提出BiDex，将Manus Meta动捕手套与GELLO式轻量化关节教师臂结合：手套以120Hz获取指尖位姿和手指关节信息，通过机器人手逆运动学模型Q_{l,r}(G)生成手指关节q，教师臂直接读取双臂关节K，核心控制机制可概括为a_t={K_l,K_r,q_l,q_r}，系统同时记录相机图像、臂关节和手关节，形成用于模仿学习的观测-动作数据。手部重定向通过优化指尖和DIP关节相对腕部的位置来保证捏取一致性与拇指对位；臂部设计将机器人手和教师臂下置，使人臂与教师臂垂直以避免碰撞，并加强轴承、增加橡皮筋回中。实验选用开源、易获得的16自由度LEAP Hand进行公平比较，并使用21自由度、刚柔混合且带主动关节手掌的LEAP Hand V2验证系统向更高自由度硬件的扩展能力；桌面任务包括Pringles罐交接、叠杯和玻璃瓶倒水，移动任务包括搬箱、推椅对齐桌子和清理垃圾，移动平台由两只xArm、两只LEAP手、三台相机、关节躯干和AgileX Ranger Mini组成。评价指标包括任务完成率、完成耗时、新手用户评分以及行为克隆策略成功率；桌面实验中BiDex在交接、叠杯、倒水任务上的完成率分别为95%、75%、85%，耗时分别为6.5、15.5、14.9秒，在倒水等复杂任务上优于Vision Pro和SteamVR，移动任务完成率分别为95%、95%、75%，且无需外部跟踪基站。使用约50条演示训练30Hz、动作时域长度为16的ACT策略时，LEAP Hand在44维动作空间中取得交接7/10、叠杯14/20、倒水16/20；LEAP Hand V2在钻具、提锅、倒水、取盘任务上分别取得15/20、15/20、15/20、13/20，证明采集数据可训练高质量视觉运动策略。新手用户研究还表明BiDex更快、更稳定、更准确且更易用，同等演示数量下其训练出的策略优于Vision Pro数据，原因之一是BiDex直接在关节空间发出命令，动作更平滑。该系统适用于桌面操作、移动开放场景以及长时程餐具整理等真实任务，但当前缺少触觉反馈，操作者只能依赖视觉并控制运动学，难以完成精细力控，且整体成本对爱好者仍不低；未来集成触觉反馈、降低动捕手套成本，将有助于采集更极端的灵巧操作数据。\n\n### 关键要点\n\n- BiDex使用两只Manus Meta Quantum Metagloves跟踪手部，手套以120Hz返回指尖位姿以及MCP侧摆、MCP前摆、PIP和DIP角度，可避免视觉跟踪中的遮挡和光照问题。\n- 臂部跟踪采用GELLO启发的轻量化3D打印教师臂，直接产生关节命令；教师臂针对手套重量加强了基座轴承，并利用橡皮筋帮助关节回中。\n- 机器人手重定向使用逆运动学，使指尖和DIP关节相对腕部的位置在人手与机器人手之间保持一致，从而提高捏取和拇指控制的可靠性。\n- 遥操作算法在每个时刻记录相机图像、左右臂关节和左右手关节作为观测，并将教师臂关节与手套逆运动学得到的手指关节组成动作a_t={K_l,K_r,q_l,q_r}。\n- 桌面系统采用两臂相对布局，任务包括Pringles罐空中交接、杯中叠杯和玻璃瓶倒水；该布局可减少操作者与教师臂碰撞、改善视野并扩大双臂共享工作空间。\n- 移动系统将两只xArm和两只LEAP手安装在带关节躯干的AgileX Ranger Mini上，无需外部基站，可完成搬箱、推椅对齐桌子和清理垃圾等任务。\n- 桌面对比中，BiDex在交接、叠杯、倒水任务上的完成率分别为95%、75%、85%，耗时分别为6.5、15.5、14.9秒，在复杂倒水任务上优于Vision Pro和SteamVR。\n- 移动对比每任务平均20次试验，BiDex在推椅、搬箱、清垃圾任务上的完成率分别为95%、95%、75%；SteamVR因需要外部激光灯塔而无法用于该移动设置。\n- 使用约50条BiDex演示训练动作分块Transformer后，LEAP Hand在44维动作空间中取得交接7/10、叠杯14/20、倒水16/20，LEAP Hand V2在钻具、提锅、倒水任务上均为15/20。\n- BiDex的主要限制是缺少触觉反馈、操作者只能控制运动学而难以实施精细力控，且系统成本对爱好者仍偏高；未来工作将集成触觉并继续降低动捕硬件成本。"
}