{
  "paper_id": "49bf5cfb8780cde97104647ad92593a9",
  "paper_title": "DexPilot: Vision-Based Teleoperation of Dexterous Robotic Hand-Arm System",
  "paper_authors": [
    "Ankur Handa",
    "Karl Van Wyk",
    "Wei Yang",
    "Jacky Liang",
    "Yu-Wei Chao",
    "Qian Wan",
    "Stan Birchfield",
    "Nathan Ratliff",
    "Dieter Fox"
  ],
  "publication_date": "2019",
  "publication_venue": "arXiv preprint arXiv:1910.03135",
  "abstract": "遥操作有望让机器人系统借助人类的复杂推理、直觉和创造力完成任务。然而，高自由度多指机器人的遥操作方案通常成本高昂，而低成本方案往往控制自由度有限。本文提出低成本、基于深度视觉的DexPilot系统，仅通过观察裸手即可完整控制23自由度机器人手-臂系统。DexPilot使操作者能够完成多种超越简单抓取放置的复杂操作任务，并通过速度和可靠性指标评估性能。该系统还能低成本生成高维多模态状态-动作数据，为未来学习具挑战性操作任务的感觉运动策略提供基础。\n",
  "keywords": [
    "遥操作",
    "灵巧手",
    "裸手追踪",
    "深度相机",
    "DART",
    "PointNet++",
    "运动学重定向",
    "黎曼运动策略",
    "机器人操作"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:38.315846Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对高自由度多指机器人遥操作设备价格昂贵、而低成本方案控制自由度不足的问题，DexPilot提出一种无标记、无手套、完全基于视觉的低成本遥操作框架，使操作者仅凭裸手动作即可控制由KUKA机械臂和Allegro灵巧手组成的23自由度系统。已有视觉或数据手套方案或依赖标记、动作捕捉设备，或存在成本高、线缆笨重、触觉反馈设备昂贵等限制；DexPilot则利用四台标定并时间同步的Intel RealSense D415 RGB-D相机、两台NVIDIA GPU、多视角点云融合、DART稠密关节体实时跟踪、两阶段PointNet++手部姿态估计、JointNet关节角回归、非线性运动学重定向以及黎曼运动策略，实现直接模仿式遥操作。由于公开数据集在传感器特性和灵巧操作姿态方面不匹配，系统在80×55×38 cm工作空间内自采约10万张融合点云，由DART提供关键点、关节角和分割标注，累计采集7至8小时，并在单张Titan Xp上训练15小时，以验证网络能否为长时跟踪提供可靠先验；在含七千张不同姿态图像的验证集上，平均关键点误差为9.7 mm，单关节平均误差为1.33°。其核心机制是重定向代价函数 C(q_h,q_a)=1/2 Σ s(d_i)||r_i(q_a)-f(d_i)r̂_i(q_h)||²+γ||q_a||²，其中切换权重s(d_i)和距离函数f(d_i)在捏取时让拇指与主手指接近至1×10^-4 m，同时在两个主手指同时与拇指投影时保持3×10^-2 m间隔，以兼顾精密接触、避免手指碰撞并抑制视觉跟踪误差，正则项γ||q_a||²则减少冗余和异常极小值。系统在13类真实任务上由两名操作者完成热身之后各进行5次连续试验，以平均完成时间和成功率衡量速度与可靠性；结果表明系统可完成精密与力量抓取、多指抓取与非抓取操作、手指换位、钱包取钱、容器取物、杯子套接和长时序复合任务，支持了无标记视觉模仿、指尖任务空间重定向和RMP运动生成的有效性，但小方块释放会因投影产生干扰，长时序任务耗时更长，且性能受操作者疲劳、训练、创造力和动机影响。系统当前约束包括约1秒延迟、依赖视线和固定工作室、无操作者触觉反馈、精细小物体控制仍受跟踪精度限制；未来可通过更强深度模型、更大数据集、改进成像硬件、缩小重定向投影距离、加入力调节控制和触觉反馈来提升性能，并利用记录的92路触觉信号、关节位置速度、力矩和图像数据学习复杂长时序感觉运动策略，适用于搜救、太空、医疗、假肢和机器人示范学习等现实场景。\n\n### 关键要点\n\n- DexPilot由四台标定且时间同步的Intel RealSense D415 RGB-D相机和两台NVIDIA GPU构成，覆盖80×55×38 cm工作空间，无需标记或数据手套。\n- 机器人端采用KUKA LBR iiwa7 R800机械臂和Wonik Robotics Allegro手，共同组成23自由度手-臂系统，指尖装有SynTouch BioTac传感器。\n- DART通过将含20个旋转关节的人手关节模型配准到多视角融合点云，连续估计手掌姿态和手指关节角，但初始化不佳时可能陷入错误局部极小值。\n- 两阶段PointNet++先从均匀采样的8192个点中定位手部并估计粗姿态，再从原始点云重采样手部点以细化23个关键点；JointNet随后将关键点映射为20维手指关节角。\n- 约10万张自采点云用于训练网络，原因是公开数据集的传感器特性和操作姿态不满足DexPilot需求；验证集关键点误差为9.7 mm，关节误差为1.33°。\n- 运动学重定向不直接比较人手与Allegro手的关节角，而是优化指尖与手掌之间的任务空间向量，以优先保证抓取接触和精密捏取。\n- 重定向代价通过NLopt中的SLSQP实时求解，并使用前一帧结果热启动和一阶低通滤波；RMP以200 Hz生成机械臂目标，Allegro关节指令以30 Hz发送，整体延迟约1秒。\n- 实验包含13类任务，两名操作者在每类任务热身3至5次后各执行5次连续测试，指标为平均完成时间和成功率。\n- 系统展示了精密抓取、力量抓取、多指操作、非抓取操作、手指换位和复合长时序操作能力，操作者即使意外掉落物体也常能立即恢复并完成任务。\n- 钱包和容器等任务因时序较长而完成时间更高，小方块堆叠则因重定向投影在释放时引发干扰动作而更具挑战。\n- 系统可记录92路触觉信号、23组关节位置与速度、23个力矩指令及相机图像，为模仿学习和从“玩耍数据”中学习长程规划提供高维数据。"
}