# DexPilot：基于视觉的灵巧机械手-臂系统遥操作技术 Ankur Handa $^{*}\dagger$ Karl Van Wyk $^{*\dagger}$ Wei Yang $^{\dagger}$ Jacky Liang $^{\dagger\dagger}$ Yu-Wei Chao $^{\dagger}$ Qian Wan $^{\dagger}$ Stan Birchfield $^{\dagger}$ Nathan Ratliff $^{\dagger}$ Dieter Fox $^{\dagger}$ ![Image](images/9e0308b2dface62dfaf63460553c66a3050a427880f25c6cd04e3160a10318da.jpg) 图1. DexPilot能够实现多种任务的遥操作，例如矫正易拉罐并将其放入红色碗中（左上）、插入杯子（右上）、用四根手指同时抓取两个立方体（左下），以及从钱包中取出纸币（右下）。相关视频可在查看。 摘要—遥操作技术有望赋予机器人系统复杂的推理能力、直觉和创造力，以完成各类任务。然而，针对高自由度（DoA）、多指机器人的遥操作解决方案往往成本过高，而低成本方案通常控制精度较低。本文开发了一种低成本的基于深度信息的遥操作系统DexPilot，仅需观察人类裸手即可实现对包含23个自由度的完整机器人系统的完全控制。DexPilot使操作员能够完成各类复杂的操控任务，而不仅仅是简单的抓取与放置操作，其性能通过速度和可靠性指标来衡量。DexPilot能够以低成本生成高维度、多模态的状态-动作数据，未来可用于学习应对复杂操控任务的感知运动策略。实验相关视频可在查看。 ## 一、引言 机器人遥操作技术已研究数十年，在搜救[^1]、航天[^2]、医疗[^3]、假肢[^4]以及应用机器学习[^5]等领域均有应用。遥操作的主要目标是借助人机交互界面（HMI），利用人类的认知、创造力和反应能力，让机器人系统完成复杂任务。多年来，该研究领域取得了诸多进展，包括引入触觉反馈[^6] [^7]，以及改进人体骨骼和手指追踪技术[^8] [^9] [^10] [^11]。不过，许多高自由度遥操作或追踪系统的成本依然居高不下。本研究填补了这一空白，提供了一种低成本、无需标记物、无需佩戴手套的遥操作解决方案，该方案利用了机器视觉、优化算法、运动生成以及GPU计算方面的创新成果。尽管成本低廉，该系统仍能捕捉并传递精细的灵巧操控信息，驱动高驱动力的机器人系统完成各类抓取与操控任务。整套系统由四台Intel RealSense深度相机和两块NVIDIA GPU组成，结合深度学习与非线性优化技术，最终打造出一款体积小巧的灵巧遥操作系统。尽管缺乏触觉反馈，该系统凭借人类的认知能力仍表现出极高的性能和有效性。这一结果印证了人类视觉相关研究结论：人类在精准控制手部动作前，会先利用视觉进行规划、控制和状态预测[^12]。因此，该遥操作系统充分利用了人类仅凭视觉就能规划、移动并预测自身物理动作后果的能力，而这正是完成各类任务的充分条件。主要贡献总结如下： - 一种无需标记、无需手套且完全基于视觉的遥操作系统，能够通过直接模仿来灵活操控高度驱动的机械手-手臂系统。 - 用于对人体手部关节进行运动学映射至Allegro手的新颖代价函数与投影方案。 --- 无论存在何种跟踪误差，这些关节都能保持手部的灵活性以及精准抓取的可行性。 - 该系统在多种需要精细操作和灵活性的任务中展示了遥操作能力，例如从钱包中取出纸币，以及如图1所示用四根手指抓取两个立方体。 - 对两名经过训练的人类演示者（也称为飞行员）进行的系统评估表明：尽管缺乏触觉反馈，仍能实现较高的任务成功率。 ### II. 相关工作 通过人手实现的遥操作传统上采用纯视觉或基于传感手套的方案。早期的视觉方案包括Dorner等人[^13]的研究，他们利用手上的彩色标记来追踪关节位置和手部姿态。随后，[^14]和[^15]提出了彩色手套的扩展方案，用于为增强现实（AR）和虚拟现实（VR）应用追踪手部关节与姿态。另一种方案是[^16]利用一组动作捕捉摄像头，通过深度学习关联被追踪标记的数据，以应用于各类虚拟现实场景。Li等人[^17]也提出了基于深度学习的视觉遥操作方法，该方法能从观察到的人手深度图像计算出Shadow机械手的关节角度。不过，这种方法并未扩展到完整的机器人系统，且如第VII-A节所述，其映射结果存在性能问题。与视觉方法不同，基于手套的方案为人手测量提供了另一种范式。例如，[^18]和[^19]证明可以构建低成本的基于手套的遥操作系统，不过这类系统往往体积较大且带有连接线。市面上也有少数商业化的基于手套的解决方案，包括CyberGlove [^7]和HaptX [^6]。这些方法确实能为用户提供物理阻力和空间接触形式的触觉反馈，但代价是更高的成本和额外的体积负担。DexPilot的使用经验凸显了解决方案人体工程学设计的重要性，以减少多轮次及长时间演示过程中用户的疲劳程度。不过，研究其他方案对于探究向人类飞行员传递触觉反馈如何提升遥操作能力仍具有重要意义，毕竟众多神经生理学研究已经揭示了触觉反馈在人体手部感觉运动控制中的重要性[^12] [^20] [^21]。 ### III. 硬件 远程操控系统由机器人系统和相邻的人类操作员区域组成，如图3所示。该机器人系统包括一台KUKA LBR iiwa7 R800系列机械臂和一只Wonik Robotics Allegro手。Allegro手的指尖处安装了四个SynTouch BioTac触觉传感器，指骨和手掌的内表面则贴有3M TB641防滑胶带。BioTac传感器和3M胶带的橡胶表面都能提升手的摩擦力，而BioTac传感器本身能产生23个信号，这些信号可用于后续从演示中学习感觉运动控制。工作室是一张铺有黑色布料的桌子，周围布置有四台经过校准且时间同步的Intel Realsense D415 RGB-D摄像头，它们被空间排列以覆盖$80 \times 55 \times 38$厘米×$^3$厘米的工作区域。它紧邻机器人摆放，以改善视线范围和视觉接近性，因为远程操控完全依赖于人类的视觉和空间推理能力。 ![Image](images/c28f7f506ffe7193d3b53fcb911e16e72c1e8c3e710de20c739e7bded58d3839.jpg)
Fig. 3. The studio is composed of four RGBD cameras pointing towards the table over which the user moves their hand with the hand-arm system in close proximity to enable line-of-sight teleoperation.
它与机器人直接相邻，旨在改善视线范围和视觉接近性，毕竟远程操控完全依赖人类的视觉与空间推理能力。 ### 四、系统架构 为了打造体验自然的远程操控系统，我们采用了模仿型范式。视觉感知模块会持续观测并测量人类裸手的运动——包括手部姿态和手指形态。随后，人类手部的运动会被传递给机器人系统，使得复制出的动作一目了然。这种方式能让人类操作员弯曲、排列手指，形成抓握姿势，调整手掌方向或平移手掌，而机器人系统也会以类似的方式跟随。DexPilot高度依赖密集关节实时跟踪（DART）技术[^22]，该技术构成了追踪人类手部姿态和关节角度的核心基础。 接下来，我们将介绍整个系统的主要组成部分[^23]：1）用于手部跟踪的DART（第五节）；2）用于估计人类手部状态并增强DART稳定性的深度神经网络（第六节）；3）通过非线性优化将人类手部状态转换为Allegro手状态的过程（第七节A部分）；4）基于黎曼运动策略（RMPs）和扭矩级阻抗控制器的运动生成与控制方法（第七节B部分）。完整的系统架构及各组件间的连接关系如图4所示。总体而言，该系统的延迟约为一秒。 ### 五、DART DART用于持续追踪人类手部的姿态和关节角度。DART需要基于输入点云注册的手部关节模型。人类手部模型取自[^24]，并在[^25]中转化为单一网格模型。借助CAD软件，该网格模型的手指被拆分为各自的近节、中节和远节连杆，再作为独立网格导出，同时附上描述其运动学结构的XML文件。总体而言，该人类手部模型包含20个旋转关节：每根手指有4个关节，其中包括1个外展关节和3个屈曲关节。 --- ![Image](images/ea7b220023348d42ae4c8e03813913be3d031c1268eb4644d439f46aa729923f.jpg)
Fig. 4. The system is comprised of three threads that operate on three different computers. The learning thread provides hand pose and joint angle priors using fused input point cloud coming from four cameras from the studio. The tracking thread runs DART for hand tracking with the priors as well as kinematic retargeting needed to map human hand configuration to allegro hand. The control thread runs the Riemannian motion policies to provide the target joint commands to the KUKA and allegro hand given the hand pose and joint angles.
### 六、利用神经网络估计手部姿态和关节角度 DART是一种基于模型的跟踪器，它依赖于非线性优化和初始化（通常来自前一帧或初始猜测）。如果这种初始化不在收敛域内，跟踪器就可能无法给出正确的解。在使用DART对点云数据中的人手进行跟踪时，手部模型常常会陷入错误的局部极小值，从而导致每隔几分钟就会出现跟踪失败的情况。因此，为了能够长时间可靠地跟踪人手——这正是远程操作所需的条件——就需要有可靠的手部姿态先验、清晰的手部分割结果，以及多视角摄像系统，以防止手部模型陷入意外的局部极小值。尽管存在各种数据集[^9] [^10]，它们提供了手部姿态和分割所需的标注信息，但由于传感器特性不同，且缺乏DexPilot所需的灵巧操作相关手部姿态数据，这些数据集并不适用。 使用DART进行数据采集分为两个阶段[^23]。在第一阶段，我们借助彩色织物手套来获取手部姿态先验，并收集带有关节位置标注的大规模数据。我们训练神经网络，将深度传感器的点云映射为对应的关节位置。在第二阶段，我们利用DART和最新训练好的、能提供先验信息的神经网络来生成越来越多的数据。该网络会不断用最新的数据集进行更新，从而为DART生成越来越精准的先验信息，最终拓展DART无故障运行的范围。这款手部姿态神经网络是基于PointNet++的[^26]架构，可直接处理相关数据。 ![Image](images/e2e5a744e5315a1d4647ea6bedee9a9b9032494851b9be37a8e98967e32019b4.jpg)
Fig. 5. The input point cloud has points both from the table as well as the human body and arm. A plane was fit to remove points on the table and the remaining points are input to the first stage of PointNet that recovers the pose of the hand. The second stage refines the pose and provides a more accurate result. The hand images on the right show the result from stage 1 (above) and stage 2 (below).
它直接作用于通过外部校准的深度相机将深度图像反投影到单一全局参考系后得到的融合点云数据上，这些数据的标注由DART提供。由于融合点云中既包含桌面上的点，也包含人体和手臂上的点，因此首先定位手部至关重要。我们通过拟合平面来移除桌面上的点，再将剩余包含手臂和人体的点输入网络，该网络不仅能定位手部，还能给出手部姿态（见图5）。我们的网络架构基于[^11]，它通过基于投票的回归机制来估算手部指定关键点的3D位置；这种技术让人联想到常用于2D关键点定位的空间Softmax方法。该网络被训练用于预测手部上23个指定关键点的3D坐标——其中包括四个关节关键点。 --- 用于手部姿态估计的五个手指以及手背上的三个关键点。损失函数是预测关键点与真实关键点之间的欧几里得距离。此外，还加入了用于手部分割的辅助分割损失。出于效率考虑，在将大小为$N \times 3$的输入点云送入网络之前，会先将其均匀下采样为固定的$8192 \times 3$大小。虽然该网络能够实现合理的手部姿态估计和分割，但要得到手指上20个关节关键点的高质量预测结果却较为困难。由于输入时采用了均匀下采样方式，导致手指上的点并未被密集采样，因此需要第二阶段细化处理[^23]：根据第一阶段得到的手部姿态和分割结果，从原始点云中重新对手部上的点进行采样。第二阶段使用相同的损失函数进行训练，但仅使用手部上的采样点而非[^23]，从而能够准确预测23个关键点——每个手指4个关键点，手掌背部3个关键点。为了提高对各类误差的鲁棒性，在第二阶段中对手部姿态添加了随机扰动。图5表明，第二阶段细化处理确实提升了系统性能。总体而言，网络的两个阶段均基于10万个点云样本进行训练；这些样本是在30至45分钟的时间内采集的，总训练时长约为7到8小时，数据采集过程中使用了DART工具来标注关键点、关节角度及分割信息。在单块NVIDIA Titan Xp GPU上，训练耗时15小时。为了给DART提供手指关节角度的先验信息，还训练了第三个神经网络，该网络能将两阶段网络预测的关键点位置映射为对应的关节角度。这个名为JointNet的神经网络是一个两层全连接网络，其输入维度为$23 \times 3$，输出为描述手指关节角度的20维向量[^23]。 所有神经网络均在工作室工作区域内采集的多人手数据上进行训练，从而确保在该应用场景下能实现精确的姿态拟合，并为DART提供合理的先验信息。从定性角度来看，对于几何形状与DART人体手部模型相近的手部，该手部追踪器表现良好。总体而言，在包含七千张不同手部姿态和手指构型图像的验证集上，关键点的平均误差为9.7毫米（这一结果与[^11]中报告的结果相当，不过数据集有所不同），而每个关节的角度误差为1.33度。 ### 七、机器人运动生成 ### A. 运动学重定向 对与人类手部运动学结构不同的机械手进行远程操控时，需要一个能够将观测到的人手关节映射到Allegro关节的模块。文献中提出了多种运动学映射方法。例如，有研究采用BioIK求解器来匹配人手与Shadow手之间从手掌到指尖及内侧关节的位置，以及近端指骨和拇指远端指骨的方向，详见[^17]。这种优化后的映射被用于标记人体深度图像，从而训练出能够接收深度图像并输出Shadow手关节角度的端到端深度神经网络。尽管这一结果颇具价值，但所生成的映射结果并不适用于精密抓取场景（如捏取操作），因为这类场景要求指尖之间的间隙尽可能小甚至为零。运动映射在动画领域也十分常见。例如，有研究通过无监督训练深度循环神经网络来实现不同骨骼模型之间的运动映射，详见[^27]。虽然合成出的运动效果令人满意，但尚不清楚这些方法是否足以满足远程操控的需求——毕竟用于捕捉抓取与操控行为的重要任务空间，很可能与用于保证视觉一致性的空间并不等同。本文提出的方法优先考虑指尖处的任务空间指标，因为从接触频率[^28]、神经支配程度[^12]以及精细的手部操控能力所需的高可控性[^29]来看，远端区域在抓取与操控任务中优先级最高。此外，两只手之间的关节轴线与位置存在显著差异，因此并未采用直接比较两者关节角度的指标。为了精准定位指尖并优化其位置，需同时考虑指尖间的距离与方向。具体而言，运动学映射的成本函数[^23]被定义为： $$ \mathcal{C}(q_{h},q_{a})=\frac{1}{2}\sum_{i=0}^{\mathbb{N}}s(d_{i})||r_{i}(q_{a})-f(d_{i})\hat{r}_{i}(q_{h})||^{2}+\gamma||q_{a}||^{2}, $$ 其中$q_h$、$q_a$分别为人手模型与Allegro手的角度， $r_i \in \mathbb{R}^3$是从一个坐标系原点指向另一个坐标系原点的向量， 该向量以原点坐标系表示（见图6）。此外， 位于原始坐标系中（见图6）。此外， $d_i = ||r_i(q_h)||$ 和 $\hat{r}_i(q_h) = \frac{r_i(q_h)}{||r_i(q_h)||}$。切换权重 函数 $s(d_i)$ 的定义如下： $$ s(d_{i})=\begin{cases}{1,}&{d_{i}>\epsilon}\\ {200,}&{d_{i}\leq\epsilon\;\land\;r_{i}(q_{h})\in\mathcal{S}_{1}}\\ {400,}&{d_{i}\leq\epsilon\;\land\;r_{i}(q_{h})\in\mathcal{S}_{2},}\\ \end{cases} $$ 其中 $S_1$ 和 $S_2$ 是在表I中定义的向量集，距离函数 $f(d_i) \in \mathbb{R}$ 的定义为： $$ f(d_{i})=\begin{cases}{\beta d_{i},}&{d_{i}>\epsilon}\\ {\eta_{1},}&{d_{i}\leq\epsilon\;\land\;r_{i}(q_{h})\in\mathcal{S}_{1}}\\ {\eta_{2},}&{d_{i}\leq\epsilon\;\land\;r_{i}(q_{h})\in\mathcal{S}_{2},}\\ \end{cases} $$ 其中，$\beta = 1.6$ 是一个缩放因子，$\eta_1 = 1 \times 10^{-4} m$ 用于缩小主手指与拇指之间的距离，而 $\eta_2 = 3 \times 10^{-2} m$ 则在两个主手指与拇指同时伸出时强制保持最小分离距离。这些设定确保了主手指与拇指之间的接触紧密，却不会在精密抓取过程中引发手指间的碰撞。在视觉手指追踪存在误差的情况下，这种方法尤为有效。重要的是，向量 $r_i$ 不仅能反映从一个任务空间到另一个任务空间的距离和方向，其在局部坐标系中的表达还包含了各坐标系——也就是指尖——彼此间相对方位的信息。因此，人类手部模型的坐标系必须与Allegro模型中的对应坐标系在方向和位置上保持一致。图6中所示的向量构成了一组能实现预期映射行为的最小集合。最后，$\gamma = 2.5 \times 10^{-3}$ 是一个用于对Allegro角度进行正则化使其归零（相当于完全张开手）的权重系数。这一项大大减少了解决方案中的冗余性，并确保了手部运动的顺畅性。 --- ![Image](images/b687f74ae2aa0994ac994cb14abd165f0234024fd259f1e27092773584051080.jpg)
Fig. 6. Task space vectors between fingertips and palm for both the human hand model and Allegro hand used for retargeting optimization.
TABLE I
DESCRIPTION OF VECTOR SETS USED IN KINEMATIC RETA Targeting.
SetDescription
$S_{1}$Vectors that originate from a primary finger (index, middle, ring) and point to the thumb.
$S_{2}$Vectors between two primary fingers when both primary fingers have associated vectors $\in S_{1}$, e.g., both primary fingers are being projected with the thumb.
系统从未陷入难以恢复的异常极小值状态（例如手指嵌入掌心的情况）。图7展示了通过我们的运动学映射得到的人类手部到Allegro手部的各种对应关系。 在实现过程中，上述代价函数通过NLopt库中的序列最小二乘二次规划（SLSQP）算法 [^30] [^31] 实时最小化 [^32]。程序初始化时，Allegro关节角度被设为0，此后每次求解都以上一次的结果作为初始值。此外，人类手部模型与Allegro手部的各坐标系之间的正运动学计算是通过Orocos运动学与动力学库 [^33] 完成的。最后，为了消除人体手部追踪过程中的高频噪声并平滑那些由投影算法引起的角度阶跃变化等离散事件，会对原始映射后的关节角度应用一阶低通滤波器。 ### B. 黎曼运动策略 黎曼运动策略（RMPs）是一种实时运动生成方法，它根据势能函数的梯度及对应的黎曼度量来计算加速度场 [^34] [^35]。RMPs将多优先级笛卡尔轨迹的生成与碰撞规避行为整合到一个统一的框架中。它们用于根据观测到的人类手部姿态来控制Allegro手掌的笛卡尔位姿，同时利用碰撞平面避免手臂与手掌与桌子或操作者发生碰撞。基于这些目标，生成的RMPs会确定目标手臂关节轨迹，并以200 Hz的频率将其发送至手臂的力矩级阻抗控制器。经过运动学映射后的 ![Image](images/b48feeaa203d6f1b382e9b16687242967d9d97d3fa2c67325596c06c26c03415.jpg)
Fig. 7. Canonical kinematic retargeting results between the human hand model and the Allegro hand model.
Allegro角度则以30 Hz的频率被发送至力矩级关节控制器。遥操作实例的启动需要通过初始静态机器人姿态以及对人类手部的初始观测，将工作室摄像头与机器人基座坐标系对齐。为方便起见，人类手部模型的轴线与机器人末端执行器的轴线大致对齐，从而保留人类手部运动与机器人运动之间的方向一致性。 ### VIII. 实验 DexPilot系统经过了系统性的测试，测试涵盖了多种物理任务，这些任务用于检验系统的精准抓取与强力抓取能力、有约束和无约束操作能力以及手指协调运动能力（见图8）。各任务描述如下： 1) 拾取与放置砖块：拾起砖块并放入红色碗中。 2) 拾取与放置品客薯片盒：拾起薯片盒并将其直立放入红色碗中。 3) 拾取与放置午餐肉罐头：拾起午餐肉罐头并放入红色碗中。 4) 倾倒操作：拿起杯子并将珠子倒入红色碗中。 5) 杯子插入：拾起同心圆杯子并将其插入。 6) 积木堆叠（大号）：堆叠大号积木（蓝色、红色、黄色）。 7) 积木堆叠（中号）：堆叠中号积木（蓝色、红色、绿色）。 8) 积木堆叠（小号）：堆叠小号积木（蓝色、红色、绿色）。 9) 钱包操作：打开钱包并取出纸币。 10) 容器操作：打开塑料容器，取出纸盒并将其打开。 11) 花生酱罐操作：打开花生酱罐并将盖子放在桌上。 12) 砖块手指协调运动：拾起砖块并在手中将其旋转180度后放回原处。 13) 茶叶操作：拉开茶叶抽屉，取出单袋茶叶并放在桌上，随后关闭茶叶抽屉。 在基准测试前，测试人员会经历热身训练阶段，他们会尝试3到5次非连续的操作来完成任务。之后，每位测试人员会对每项任务进行五次连续的测试，以避免结果的选择偏差，最终根据他们的表现打分。这些任务的性能指标包括平均完成时间（CT）和成功率，它们分别反映了遥操作系统的速度和可靠性。该系统由两名测试人员进行测试，相关性能数据如图9至图10所示（视频可在查看）。 --- ![Image](images/b6f1f953ef6706fd33379bbc12a9dd69a1821b4821f307c97ed2b4b7a7f12e3d.jpg)
Fig. 8. Objects used for teleoperation testing. Various tasks performed with these objects can be viewed at > 总体而言，该系统能够可靠地完成各种难度的任务。不同任务间的平均CT差异反映了任务复杂度和操作范围的影响。同一任务中不同测试人员的平均CT差异表明测试结果确实依赖于测试人员的行为，影响因素包括疲劳程度、训练水平、创造力和动机等。能够完成这些任务说明该遥操作系统具备精准抓取与强力抓取能力、多指有约束和无约束操作能力、手中手指协调运动能力以及复合手中操作能力（例如用两根手指抓取物体，同时用其余手指对其进行操作）。某些任务（如容器操作和钱包操作）的平均CT较长，主要是因为这类任务属于操作范围较大的任务。相比之下，积木堆叠（小号）任务尤其具有挑战性，原因在于运动学映射中采用的投影算法。虽然该投影算法能够实现小物体的抓取，但释放物体时往往会引起物体产生不必要的反向运动，进而导致部件放置错误。尽管如此，仅通过观察人类裸手就能展现出如此丰富的灵巧技能，这一事实为本文所提出的方法和架构的有效性提供了实证依据。尽管特定任务的完整遥操作过程可能并不完美（例如出现非故意的部件丢失情况），但测试人员能够立即做出调整并最终完成任务。这些数据对于帮助机器人学习如何从故障中恢复同样具有重要价值。此外，这些数据也可被视为“玩耍数据”，有助于机器人学习长距离规划能力[^36]。 ### 九、讨论 DexPilot能够让高度可驱动的机械手-手臂系统，通过将观察到的人类手部及手指动作转化为机器人手臂和手指的动作，从而为各类操作任务找到可行的解决方案。重要的是，有些任务——比如从钱包中取出纸币、打开塑料容器内的纸盒——复杂度极高，以至于通过手工设计机器人解决方案或直接应用学习方法都难以实现。通过这种具身机器人系统完成这些任务及其他任务后可以发现：确实存在这样的感觉运动解决方案，而且针对多种演示场景都能按需生成这类解决方案。此外，在系统上直接创建这些解决方案，还能实现对机器人指尖采集的92个触觉信号以及23个指令与实测关节数据的读取、访问和存储。 ![Image](images/a667318d3444ff91aa164fc302ee9570fbd9614255b66471a4e1daaae51ffe31.jpg)
Fig. 9. Mean completion time of teleoperation tasks across two pilots run over five successive trials without reset.
![Image](images/8b753f37b997dee2a73f29ed39d2da4a8e179185b8f6863ca55f7584f29e3252.jpg)
Fig. 10. Success rate of teleoperation tasks across two pilots run over five successive trials without reset.
位置和速度信号通过手和手臂传输，系统中共有23个扭矩指令，还有与该系统相关的所有摄像头画面。这些丰富的数据源结合任务演示，对于应用学习方法至关重要；希望这些方法能像演示数据那样，助力解决复杂的多阶段、长周期任务，正如演示数据曾推动《星际争霸》[^37]和Dota2[^38]中的游戏AI取得巨大进步。 此外，未来的DexPilot系统还可以通过多种方式加以改进。例如，借助深度学习架构的进步、更大的数据集以及成像硬件的升级，可以提高人手追踪的精度。理想情况下，人手追踪精度应得到显著提升，从而大幅缩短运动学重定向方法中的投影距离，进而增强对小物体的精细操控能力以及多指精准抓取能力。手部可以搭载抓取与操控控制算法[^29]，实现自动化的力调节控制，减轻用户的负担，同时避免由于握力不当而导致零件意外掉落的情况。 ## 参考文献 ## [^1]: A. Norton, W. Ober, L. Baraniecki, E. McCann, J. Scholtz, D. Shane, A. Skinner, R. Watson, and H. Yanco, "Analysis of human-robot interaction at the darpa robotics challenge finals," The International Journal of Robotics Research, vol. 36, no. 5-7, pp. 483–513, 2017 --- [^2]: M. Diftler, T. Ahlstrom, R. Ambrose, N. Radford, C. Joyce, N. De La Pena, A. Parsons, and A. Noblitt, “Robonaut 2initial activities on-board the iss,” in 2012 IEEE Aerospace Conference. IEEE, 2012, pp. 1–12. [^3]: J. R. Sterbis, E. J. Hanly, B. C. Herman, M. R. Marohn, T. J. Broderick, S. P. Shih, B. Harnett, C. Doarn, and N. S. Schenkman, “Transcontinental telesurgical nephrectomy using the da vinci robot in a porcine model,” Urology, vol. 71, no. 5, pp. 971–973, 2008. [^4]: K. Z. Zhuang, N. Sommer, V. Mendez, S. Aryan, E. Formento, E. DAnna, F. Artoni, F. Petrini, G. Granata, G. Cannaviello, W. Raffoul, A. Billard, and S. Micera, “Shared human-robot proportional control of a dexterous myoelectric prosthesis,” Nature Machine Intelligence, 2019. [^5]: T. Zhang, Z. McCarthy, O. Jow, D. Lee, X. Chen, K. Goldberg, and P. Abbeel, “Deep imitation learning for complex manipulation tasks from virtual reality teleoperation,” in ICRA. IEEE, 2018, pp. 1–8. [^6]: “HaptX,” . [^7]: "CyberGlove Systems," . [^8]: B. Stenger, A. Thayananthan, P. H. Torr, and R. Cipolla, "Model-based hand tracking using a hierarchical bayesian filter," PAMI, 2006. [^9]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin, “Real-time continuous pose recovery of human hands using convolutional networks,” ACM ToG, 2014. [^10]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim, “Big-Hand2.2m benchmark: Hand pose dataset and state of the art analysis,” in CVPR, 2017. [^11]: L. Ge, Z. Ren, and J. Yuan, “Point-to-point regression pointnet for 3d hand pose estimation,” in ECCV, 2018. [^12]: R. S. Johansson and J. R. Flanagan, “Coding and use of tactile signals from the fingertips in object manipulation tasks,” Nature Reviews Neuroscience, vol. 10, no. 5, p. 345, 2009. [^13]: B. Dorner, “Chasing the colour glove: Visual hand tracking,” Ph.D. dissertation, Simon Fraser University, 1994. [^14]: C. Theobalt, I. Albrecht, J. Haber, M. Magnor, and H.-P. Seidel, “Pitching a baseball: tracking high-speed motion with multi-exposure images,” in ACM TOG, 2004. [^15]: R. Y. Wang and J. Popović, “Real-time hand-tracking with a color glove,” ACM ToG, 2009. [^16]: S. Han, B. Liu, R. Wang, Y. Ye, C. D. Twigg, and K. Kin, “Online optical marker-based hand tracking with deep labels,” ACM TOG, 2018. [^17]: S. Li, X. Ma, H. Liang, M. Görner, P. Ruppel, B. Fang, F. Sun, and J. Zhang, “Vision-based teleoperation of shadow dexterous hand using end-to-end deep neural network,” in ICRA, 2019. [^18]: H. Liu, Z. Zhang, X. Xie, Y. Zhu, Y. Liu, Y. Wang, and S.-C. Zhu, “High-fidelity grasping in virtual reality using a glove-based system,” in ICRA, 2019. [^19]: H. Liu, X. Xie, M. Millar, M. Edmonds, F. Gao, Y. Zhu, V. J. Santos, B. Rothrock, and S.-C. Zhu, "A glove-based system for studying hand-object manipulation via joint pose and force sensing," in IROS, 2017. [^20]: R. S. Johansson and G. Westling, “Roles of glabrous skin receptors and sensorimotor memory in automatic control of precision grip when lifting rougher or more slippery objects,” Experimental brain research, vol. 56, no. 3, pp. 550–564, 1984. [^21]: R. S. Johansson and Å. B. Vallbo, “Tactile sensory coding in the glabrous skin of the human hand,” Trends in neurosciences, vol. 6, pp. 27–32, 1983. [^22]: T. Schmidt, R. A. Newcombe, and D. Fox, “Dart: Dense articulated real-time tracking.” in RSS. IEEE, 2014. [^23]: A. Handa, K. V. Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox, "DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm 《System》，arXiv预印本arXiv:1910.03135，2019年。 [^24]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM SIGGRAPH Asia, 2017. [^25]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid, “Learning joint reconstruction of hands and manipulated objects,” in CVPR, 2019. [^26]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” CoRR, vol. abs/1706.02413, 2017. [^27]: R. Villegas, J. Yang, D. Ceylan, and H. Lee, “Neural kinematic networks for unsupervised motion retargeting,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 8639–8648. [^28]: S. Sundaram, P. Kellnhofer, Y. Li, J.-Y. Zhu, A. Torralba, and W. Matusik, “Learning the signatures of the human grasp using a scalable tactile glove,” Nature, vol. 569, no. 7758, p. 698, 2019. [^29]: K. Van Wyk, M. Culleton, J. Falco, and K. Kelly, “Comparative peg-in-hole testing of a force-based manipulation controlled robotic hand,” IEEE Transactions on Robotics, 2018. [^30]: D. Kraft, “A software package for sequential quadratic programming,” Forschungsbericht- Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt, 1988. [^31]: —, “Algorithm 733: Tomp–fortran modules for optimal control calculations,” TOMS, 1994. [^32]: S. G. Johnson, “The nlopt nonlinear-optimization package,” . [^33]: "Orocos kinematics and dynamics library," . [^34]: N. D. Ratliff, J. Issac, D. Kappler, S. Birchfield, and D. Fox, “Riemannian motion policies,” arXiv preprint arXiv:1801.02854, 2018. [^35]: C.-A. Cheng, M. Mukadam, J. Issac, S. Birchfield, D. Fox, B. Boots, and N. Ratliff, "Rmpflow: A computational graph for automatic motion policy generation," arXiv preprint arXiv:1811.07049, 2018. [^36]: C. Lynch, M. Khansari, T. Xiao, V. Kumar, J. Tompson, S. Levine, and P. Sermanet, “Learning latent plans from play,” arXiv preprint arXiv:1903.01973, 2019. [^37]: “AlphaStar,” . [^38] 《OpenAI Five总决赛》，。