{
  "paper_id": "62579a8429b5831a023514f18d402d5c",
  "paper_title": "Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning",
  "paper_authors": [
    "Runyu Ding",
    "Yuzhe Qin",
    "Jiyue Zhu",
    "Chengzhe Jia",
    "Shiqi Yang",
    "Ruihan Yang",
    "Xiaojuan Qi",
    "Xiaolong Wang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "遥操作是采集人类演示数据的关键工具，但控制配备双臂灵巧手的机器人仍具挑战。现有遥操作系统难以协调双手完成复杂操作。本文提出 Bunny-VisionPro，一种利用 VR 头显的实时双臂灵巧遥操作系统。与以往基于视觉的系统不同，作者设计了新型低成本触觉反馈设备，以增强操作者沉浸感。系统通过碰撞避免和奇异点避免优先保障安全，并通过创新设计保持实时性能。Bunny-VisionPro 在标准任务集上优于以往系统，取得更高成功率并缩短任务完成时间。高质量遥操作演示还提升了下游模仿学习性能和泛化能力，使多阶段、长时序灵巧操作任务的模仿学习成为可能。\n",
  "keywords": [
    "双臂遥操作",
    "灵巧手",
    "模仿学习",
    "Vision Pro",
    "触觉反馈",
    "运动重定向",
    "碰撞避免",
    "奇异点避免",
    "实时控制"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:01.733727Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对高自由度双臂手系统在复杂操作中存在的双手时空协调困难、控制延迟、碰撞与奇异点风险以及演示数据质量不足等问题，本文提出 Bunny-VisionPro 实时双臂灵巧遥操作系统；相关研究中，夹爪系统自由度有限，数据手套昂贵且适配性差，AnyTeleop 等视觉方法依赖高端 GPU 且主要面向单臂，因此难以低成本、安全地采集长时序双臂灵巧演示。该系统利用 Apple Vision Pro 跟踪操作者手指和腕部位姿，包含手部运动重定向、手臂运动控制和人体触觉反馈三个解耦模块，其手部重定向通过在线优化最小化缩放后人手指尖向量与机器人正运动学指尖向量的差异，并加入相邻帧关节变化平滑项，核心目标为 L_hand = Σ||αv_i − FK_i(q)||² + β||Δq||²，且满足 q^l≤q≤q^u；对四连杆等环形关节，系统将被动关节由主动关节经 c_j 导出并在反向传播中链式回传梯度，把优化变量从全部关节降到主动关节，避免把非线性等式约束交给 SQP。手臂控制则统一 L_arm = L_ik + L_sin + L_col，同时处理末端位姿跟踪、基于雅可比可操作度的奇异点惩罚和基于球体包络的可微碰撞代价。实验选用 Telekinesis 的十个单臂手任务以便与已发表系统比较，并设计三个短时序和三个长时序双臂任务以检验精细协调；真实机器人采用两台 UFactory xArm-7 手臂和两只 6 自由度 Ability Hand，构成 26 自由度系统，每只手五个指尖共部署 30 个 FSR 触觉传感器，工作区前方和顶部使用 RealSense L515 相机，算法在 i7-12700KF CPU 上运行以验证无需高端 GPU 的实时性。评测指标包括模块延迟、采集成功率、任务完成时间、回合长度、手臂关节变化量，以及模仿学习的原位成功率、空间泛化 SR-SG 和未见物体泛化 SR-U。结果显示，环形关节重定向从约束基线的 34.98ms 降至 3.43ms，提速 10.2 倍，完整手臂控制约 15.93ms、可超过 60Hz；在自定义任务上相对 AnyTeleop+ 平均成功率提高 11%、完成时间减少 45%、回合长度降低 19%，而基线关节变化量高 43%，体现了系统更安全、平滑和适合长时序双手协调。基于 ACT、Diffusion Policy 和 DP3 三类策略的评估表明，该系统采集的数据使平均成功率提高约 22%，SR-SG 提高 14%，SR-U 提高 26%，仅用 30 条长时序演示即可实现约 73% 的子任务成功率和约 38% 的完整任务成功率。低成本 ERM 触觉设备在视觉受遮挡的用户研究中可帮助操作者避免压力不足或过大，但触觉信号作为策略输入并不必然提升性能，冲量表示通常比存在零点漂移的力信号更稳健。未来可融合可穿戴设备改善手指自遮挡时 Vision Pro 跟踪不准的问题，并采用接触面积更大、灵敏度更高的压电致动器解决轻触时触觉变化难以感知的限制；该系统适用于真实家庭、服务和工业场景中的玩具抓取、擦锅、开盖倾倒、擦玻璃、扫地和制作咖啡等多阶段操作，主要约束来自视觉跟踪遮挡、灵巧手自由度、轻触反馈分辨率及真实机器人安全要求。\n\n### 关键要点\n\n- Bunny-VisionPro 使用 Apple Vision Pro 跟踪操作者手指和腕部，将人手动作转换为两台 xArm-7 与两只 Ability Hand 的实时控制指令。\n- 系统由手部运动重定向、手臂运动控制和人体触觉反馈三个解耦模块组成，各模块可分进程运行以避免延迟累积。\n- 手部重定向通过最小化人手指尖向量与机器人正运动学指尖向量误差，并惩罚相邻帧关节变化，实现直观且平滑的灵巧手映射。\n- 对四连杆等环形关节，方法只优化主动关节，被动关节位置由约束函数计算并将梯度回传至主动关节，避免直接求解非线性等式约束。\n- 该环形关节处理方式在 Ability Hand 上达到 3.43ms 延迟，而将环形关节作为约束的基线为 34.98ms，实现 10.2 倍加速。\n- 手臂控制器在统一优化目标中结合逆运动学、奇异点避免和碰撞避免，使用球体包络加速碰撞计算并保持代价可微，完整模块可超过 60Hz。\n- 触觉反馈设备读取机器人指尖 FSR 信号，经过零点漂移校准和低通滤波后，由 ELEGOO UNO 通过 PWM 驱动单价约 1.2 美元的 ERM 振动电机。\n- 真实机器人系统为 26 自由度双臂手系统，每只手有 30 个触觉传感器，并由两台 RealSense L515 相机提供前方和顶部视觉观测。\n- 在 Telekinesis 十个单臂任务中，Bunny-VisionPro 在九项任务上追平或超过 Telekinesis 与 AnyTeleop，但剪刀拾取受 Ability Hand 自由度限制。\n- 在三项短时序和三项长时序自定义双臂任务上，系统相对 AnyTeleop+ 成功率提高 11%、完成时间减少 45%，并产生更少、更平滑的手臂关节运动。\n- 五名未训练操作者的用户研究表明，触觉反馈在视觉部分遮挡的移球任务中明显提升成功率和效率，并增强操作者信心。\n- 系统主要局限是手指自遮挡时 Vision Pro 跟踪不稳、轻触时 ERM 反馈难以分辨，且触觉作为策略输入不必然改善结果，冲量表示通常比力信号更抗漂移。"
}