# DexMV：基于人类视频的灵巧操作模仿学习秦宇哲、吴岳华、刘少伟、蒋涵文、杨瑞涵、付阳、王晓龙 $^{\boxtimes}$ 美国加州大学圣地亚哥分校，拉霍亚 92093 摘要。尽管计算机视觉领域在理解手-物体交互方面取得了显著进展，但让机器人执行复杂的灵巧操作仍然极具挑战性。在本文中，我们提出了一种新的平台与流程——DexMV（基于视频的灵巧操作），用于模仿学习。我们设计的平台包含：(i) 用于复杂灵巧操作任务的仿真系统，该系统采用多指机械手；(ii) 用于记录人类手部执行相同任务的大规模演示数据的计算机视觉系统。在我们创新的流程中，我们从视频中提取手部与物体的三维姿态，并提出了一种新颖的演示转换方法，将人类动作转化为机器人演示数据。随后，我们利用这些演示数据对多种模仿学习算法进行应用与基准测试。结果表明，这些演示数据确实能大幅提升机器人的学习能力，帮助其解决仅靠强化学习无法解决的复杂任务。代码与视频可在查看。关键词：灵巧操作 · 基于人类演示的学习 · 强化学习 ## 1 引言对物体的灵巧操作是人类与物理世界互动的主要方式。人类在日常任务中会对各种物体进行灵巧操作。为了理解这些任务，计算机视觉领域在手部与物体的三维姿态估计[^28] [^78]以及可操作性推理[^13] [^71]方面取得了显著进展。尽管计算机视觉技术已取得长足进步，但要让机器人具备类似人类的灵巧性仍极具挑战性。近期， --- 研究人员在利用强化学习（RL）实现类人机械手的灵巧操作方面投入了大量精力[^51]。然而，由于多指机械手具有大量自由度的关节以及基于肌腱的非线性驱动机制，使用强化学习时需要大量的训练数据。仅通过强化学习训练的机械手还会表现出不自然的行为。面对这些挑战，我们能否借助计算机视觉技术，利用人类与物理世界的互动经验来指导机器人呢？ ![Image](images/8bf5d15bf9160ba4ce4be7d0457f137fd86cf6612d19db8ed2c81abb18e6b019.jpg)

Fig. 1. We record human videos on manipulation tasks (1st row) and perform 3D hand-object pose estimations from the videos (2nd row) to construct the demonstrations. We have a paired simulation system providing the same dexterous manipulation tasks for the multi-finger robot (3rd row), including relocate, pour, and place inside, which we can solve using imitation learning with the inferred demonstrations.

一种有前景的途径是基于人类演示的模仿学习[^59] [^64]。尤其是在灵巧操作领域，Rajeswaran等人[^59]设计了一个包含四种不同操作任务的仿真环境，并通过虚拟现实（VR）头盔与动作捕捉手套收集了配套的人类演示数据。不过，利用VR进行数据收集的成本较高且难以扩展，每个任务仅收集了25组演示数据。此外，它还限制了任务的复杂度：[^57]指出，在[^59]提出的多数任务中，无论有无演示数据，强化学习都能达到相近的性能。我们并未局限于小规模数据，而是着眼于提升操作任务的难度与复杂度，纳入各类日常物品。这需要大规模的人类演示数据，这类数据用VR难以获取，但从人类视频中却更容易获得。在本文中，我们提出了一种新平台以及一种用于评估复杂且具备泛化能力的灵巧操作任务的新颖模仿学习流程，即DexMV（基于视频的灵巧操作）。我们在仿真环境中利用多指机械手（Adroit Robotic Hand [^41]）针对各类物体设计了新任务。我们收集了人类执行相同任务的真实手部视频作为演示数据。使用人类视频而非虚拟现实技术，不仅能大幅降低数据采集成本，还能让人类完成更复杂、更多样的任务。尽管这些视频演示未必能直接用于生成最优的模仿学习策略（例如行为克隆），但这类多样化的数据集有助于扩充强化学习的训练数据，从而使模型能够从成功与失败的尝试中汲取经验。 --- 虽然视频演示未必适合用来生成完美的模仿学习策略（比如行为克隆）以习得成功的控制策略，但这类多样化的数据集对扩充强化学习的训练数据大有裨益，因为强化学习可以从成功与失败的尝试中同时学习。我们的DexMV平台包含两套相互配对的系统：(i) 计算机视觉系统，用于录制人类执行操作任务的视频（见图1第1行）；(ii) 物理仿真系统，为多指机械手的灵巧操作提供交互式环境（见图1第3行）。这两套系统采用相同的任务设定。借助这一平台，我们的目标是通过新颖的模仿学习流程，将3D视觉技术与机器人灵巧操作技术有机结合起来。我们的DexMV流程包含三个阶段。首先，我们从录制的视频中提取手部与物体的3D姿态信息（见图1第2行）。与以往使用2自由度夹爪的模仿学习研究不同[^69] [^79]，我们需要借助人类视频来引导3D自由度的机械手在三维空间中移动每个手指。解析3D结构能够为我们提供关键且必要的信息。其次，该流程的一项核心贡献是一种全新的演示转换方法，它实现了计算机视觉系统与仿真系统之间的衔接。我们提出了一种基于优化的方法，将人类的3D手部轨迹转换为机械手演示数据。具体而言，其创新点体现在两个步骤：(i) 手部运动映射方法，用于确定机械手的状态；(ii) 机器人动作估算，用于获取用于学习的动作数据。最后，在获得机械手演示数据后，我们在仿真任务中开展模仿学习。我们针对那些将仅含状态的演示数据[^57]以及状态-动作演示数据[^31] [^59]融入强化学习目标的算法进行了研究与基准测试。我们使用YCB物体[^15]开展了三类具有挑战性的任务实验。第一项任务是将物体重新放置到目标位置。与以往仅移动单个球体的任务不同[^59]，我们通过使用各类物体来增加任务难度（见图1前5列）。 La segunda tarea consiste en moverse desde la columna 10 del robot hasta la columna 1 del primer robot, luego a la columna 2 del robot, después a la columna 3 del robot, y así sucesivamente hasta llegar a la columna 215 del robot. - DexMV平台用于利用人类视频学习灵巧操作技术。该平台包含配套的计算机视觉系统与仿真系统，可支持多种复杂的灵巧操作任务。 - DexMV流程用于执行模仿学习，其核心创新在于演示转换技术，能够将人类视频转化为机器人演示数据。借助DexMV平台和流程，我们在多项复杂任务中的灵巧操作性能得到了显著提升，其在未见过的物体实例上的泛化能力也大幅增强。 --- ## 2 相关工作灵巧操作。多指手的操作是最具挑战性的机器人任务之一，目前学界已围绕优化与规划方法展开大量研究^{[^3]}^{[^7]}^{[^10]}^{[^20]}^{[^49]}^{[^62]}。近年来，研究人员开始探索将强化学习应用于灵巧操作领域^{[^50]}^{[^51]}。然而，仅依靠强化学习进行训练需要海量的数据样本。与我们实验中使用的Adroit机械手不同，普通的两自由度机器人夹爪仅有2个自由度，而Adroit机械手拥有30个自由度，这大大增加了优化的复杂度。基于人类演示的模仿学习。模仿学习是机器人学习领域极具前景的研究范式。它不局限于行为克隆^{[^8]}^{[^11]}^{[^54]}^{[^61]}^{[^75]}以及逆强化学习^{[^1]}^{[^5]}^{[^23]}^{[^31]}^{[^44]}^{[^48]}^{[^63]}^{[^76]}，还包括利用演示数据来增强强化学习的训练效果^{[^21]}^{[^53]}^{[^57]}^{[^59]}^{[^77]}。例如，Rajeswaran等人^{[^59]}提出将演示数据与基于策略的强化学习相结合。不过，所有这些方法都依赖于通过专家策略或虚拟现实设备收集的专家演示数据，这种方式难以扩展，也无法适用于复杂任务。事实上，已有研究表明^{[^57]}，在除relocate之外的多数灵巧操作任务中^{[^59]}，无论是否有演示数据，强化学习都能达到相近的性能与采样效率。跳出虚拟现实设备的限制，研究人员近期开始探索基于视频的模仿学习与强化学习应用^{[^17]}^{[^64]}^{[^65]}^{[^68]}^{[^69]}^{[^79]}。不过，这些任务都相对简单（比如推动方块），且使用的是平行夹爪。在本文中，我们提出了新的具有挑战性的灵巧操作任务。我们利用姿态估计技术来生成演示数据，从而大幅提升模仿学习的性能；而仅靠强化学习则无法解决这些任务。手-物体交互。手-物体交互是一个被广泛研究的课题。一类研究聚焦于物体姿态估计 [^29] [^32] [^38] [^52] [^56] [^72] [^78] 以及手部姿态估计 [^6] [^12] [^25] [^28] [^33] [^40] [^45] [^70] [^80]。例如，Berk等人 [^15] 提出了包含真实物体及其3D扫描数据的YCB数据集。除了物体姿态外，也有研究提出了用于联合估计手-物体姿态的数据集与方法 [^18] [^24] [^26] [^45]。另一类研究则聚焦于手-物体接触推理 [^13] [^71]，该成果可应用于功能性抓取场景 [^14] [^34] [^46]。近期，研究人员尝试利用手部姿态估计来控制机械手 [^4] [^27] [^43]。他们需要借助运动重定向技术将手部姿态映射为机械手动作。这类研究主要聚焦于不涉及物体的遥操作场景。在DexMV中，我们采用了演示转换设定，即将一系列手-物体姿态转换为机械手演示。实验表明，转换后的演示对灵巧操控的模仿学习具有显著益处。 ## 3 概述我们提出的DexMV系统可利用人类视频进行灵巧操控的模仿学习，具体包括： --- ![Image](images/989df8766e1e2b4713f1df702d070f5d1aaafdc0f2684d045f453d4e5dfff651.jpg)

Fig. 2. DexMV platform and pipeline overview. Our platform is composed of a computer vision system (yellow), a simulation system (blue), and a demonstration translation module (colored with green). In computer vision system, we collect human manipulation videos. In simulation, we design the same tasks for the robot hand. We apply 3D hand-object pose estimation from videos, followed by demonstration translation to generate robot demonstrations, which are then used for imitation learning. (Color figure online)

(i) DexMV平台：该平台配备成对的计算机视觉系统，用于录制人类操控视频；同时配有物理模拟器来执行相同任务。我们在模拟器中设计了三项具有挑战性的任务，并利用计算机视觉系统在现实世界中收集针对这些任务的人类演示数据。每小时即可高效收集约100组演示数据。 (ii) DexMV流程：这是一种从人类视频中进行模仿学习的新流程。基于计算机视觉系统录制的视频，我们首先执行姿态估计与运动重定向，将人类视频转换为机械手演示。随后利用这些演示数据进行策略学习，我们在此过程中测试了多种模仿学习与强化学习算法。通过从演示中学习，所得到的策略能够应用于具有不同目标与物体配置的环境中，而并非仅能遵循单一轨迹。 ## 4 DexMV平台我们的DexMV平台如图2所示，它由计算机视觉系统与模拟系统两部分组成。计算机视觉系统。该系统用于收集人类操控各类真实物体的演示视频。在该系统中，我们搭建了一个立方体框架（35英寸 $^{3}$），并在其顶部前方和左方各安装了一台RealSense D435相机（RGBD相机），如图2顶部所示。在数据收集阶段，人类会在框架内执行操控任务，例如移动糖盒。操控视频将由这两台相机录制（分别从前视图和侧视图拍摄）。 --- 仿真系统。我们的仿真系统基于MuJoCo [^73] 和Adroit Hand [^41] 构建。我们设计了多种与人类演示相匹配的灵巧操作任务。如图2底部行所示，我们通过将强化学习与收集到的演示数据相结合来进行模仿学习。策略训练完成后，便可在具有不同目标和物体配置的同类型任务上进行测试。任务描述。我们提出了三种涉及不同物体的操作任务。我们选用了尺寸适中、便于人类操作的YCB物体 [^15]。对于所有任务而言，状态由机器人关节读数以及物体姿态组成；在搬运任务中，还会包含目标位置信息。动作则是对每个关节的位置执行器发出的30维控制指令。搬运任务。该任务要求机器人手将桌上的物体拾起并放置到目标位置。其灵感来源于[^59]中最难的任务——机器人手需抓住一个球体并将其移动到目标位置。我们进一步增加了任务难度：如上表所示，使用了5个复杂的物体，这些物体在图1的前5列中也有展示。透明的绿色形状代表目标位置，该位置在训练和测试过程中可能会发生变化（即目标条件化）。只要物体到达目标位置，无需特定的朝向，任务即视为成功完成。针对每种物体，我们都会训练一个对应的搬运策略。倾倒任务。该任务要求机器人手拿到杯子，将杯内的颗粒倒入容器中（见图1第6列）。机器人需先抓住杯子，再对其进行精准操控。评估标准基于倒入容器内的颗粒所占百分比。放入容器任务。该任务要求机器人拾起物体（如香蕉）并将其放入容器中。机器人需将物体旋转至合适的朝向，再小心靠近容器以避免碰撞。评估依据是物体网格体积进入容器的百分比。除了对已训练过的物体进行测试外，我们还评估了训练好的策略在未见过的事物实例上的泛化能力，这些实例既包括易拉罐、瓶子、杯子等训练类别内的物体，也包括ShapeNet数据集中的相机 [^16] 这类训练类别外的物体。 ## 5 姿态估计 ### 5.1 物体姿态估计我们使用6自由度姿态来表示物体的位置和朝向，其中包含平移 $T \in \mathbb{R}^3$ 和旋转 $R \in \mathbf{SO}(3)$。对于视频中的每一帧t，我们采用在YCB数据集 [^29] 上训练的PVN3D [^15] 模型来检测物体并估算其6自由度姿态。该模型以RGB图像和点云作为输入，首先估算实例分割掩码；随后通过对分割后的点云进行密集投票，预测物体关键点的3D位置。通过最小化PnP匹配误差来优化6自由度的物体姿态。 --- ### 5.2 手部姿态估计我们利用MANO模型 [^60] 来表示手部，该模型包含用于描述15个关节3D旋转的手部姿态参数 $\theta_t$、根部全局姿态 $r_t$，以及每帧t对应的形状参数 $\beta_t$。通过手部运动学函数 $j_t^{3d} = \mathbf{J}(\theta_t, \beta_t, r_t)$ 可计算出3D手部关节的位置。给定一段视频，我们利用现成的皮肤分割模型[^39]和手部检测模型[^67]来获取手部掩码$M_t$。我们利用在[^45]中训练好的手部姿态估计模型，根据RGB图像预测每一帧t的二维手部关节$j_t^{2d}$以及MANO参数$\theta_t$和$\beta_t$。我们借助被$r_t$掩码后的深度图像中心来估算根关节$M_t$。给定每一帧t的初始估计值$\theta_t$、$\beta_t, r_t$以及相机姿态$\Pi$后，我们将三维手部关节估计问题转化为一个优化问题。 $$ \theta_{t}^{*},\beta_{t}^{*},r_{t}^{*}=\underset{\theta_{t},\beta_{t},r_{t}}{\arg\min}||\varPi J(\theta_{t},\beta_{t},r_{t})-j_{t}^{2d}||^{2}+\lambda||M_{t}\cdot(\mathbf{R}(\theta_{t},\beta_{t},r_{t})-D_{t})||^{2} $$ 其中$\lambda = 0.001$和$\mathbf{R}$是深度渲染函数[^37]，而$D_t$则是第t帧对应的深度图。我们最小化二维重投影误差，并从深度图中优化手部的三维位置。通过最小化来自不同相机且外参已校准的目标函数，方程1可进一步扩展到多相机场景。默认情况下我们使用两台相机来处理遮挡问题。此外，我们还采用一种后处理流程，旨在最小化各帧之间$\hat{j}_t^{3d}$与$\beta_t$的差异。 ![Image](images/b60582e9ae9b4a192fe25e75e1a41fccb323bf6245fc23a84a29d0532d727dd6.jpg)

Fig. 3. Top row: Kinematic Chains and Task Space Vectors (TSV). The TSV (dash arrows) are ten vectors to be matched between both hands. Bottom row: (i) Hand motion retargeting; (ii) Action Estimation.

![Image](images/e3f849d023f097930b2ea871e5c06d5fe4d1d018a30d558600c6f82af9166b84.jpg)

Fig. 4. Visualization of hand motion retargeting results. Top row: 3D hand-object poses. Mid row: Retargeting results using Finger Tip Mapping as optimization objective. Bottom row: Retargeting results using the proposed optimization objective.

--- ## 6 演示翻译常见的模仿学习算法会利用专家演示中的状态-动作对。它需要机器人的状态和电机的动作作为训练数据，而不会直接使用人类的手部姿态。如图3蓝色框内的运动链所示，尽管机器人和人手都具有类似的五指形态，但它们的运动链却有所不同，每个关节处的手指长度也存在差异。在本文中，我们提出了一种将基于人体的姿态估计结果转化为机器人相关的模仿数据的新方法。具体而言，演示转化分为两个步骤（如图3红色框所示）：(i) 手部运动重定向，使人类手部运动与机器人手部运动对齐，二者在自由度与几何结构上存在差异；(ii) 预测机器人动作，即机器人电机的扭矩：在没有任何有线传感器的情况下，我们必须仅根据姿态估计结果来恢复动作。 ### 6.1 手部运动重定向在计算机图形学和动画领域，运动重定向用于将表演者的动作映射到虚拟角色上，以用于电影和卡通等应用[^2] [^30]。虽然动画界更重视视觉上的真实感，但我们则更侧重于机器人操控场景下重定向运动的物理效果——也就是说，机器人运动必须是可执行的，需符合电机的物理极限，比如加速度和扭矩。正式来说，给定从视频中估计出的一系列人类手部姿态$\{(\theta_t, \beta_t, r_t)\}_{t=0}^T$，手部姿态重定向可以定义为计算一系列机器人关节角度$\{q_t\}_{t=0}^T$，其中t为长度为$T + 1$的序列中的步数。我们将手部姿态重定向问题表述为一个优化问题。基于任务空间向量的优化。在大多数操作任务中，人类和多指机器人手都是通过指尖接触物体。因此，在基于指尖的映射中[^4] [^27]，通过保留从指尖位置到手掌位置的“任务空间向量”（TSV）（绿色箭头），即可解决重定向问题，如图3中的绿色框所示；这样人类和机器人的指尖相对于手掌的位置就会保持一致。然而，仅考虑指尖可能会导致如图4所示的意外优化结果。尽管指尖位置得以保留，但手指的弯曲信息却丢失了，从而导致重定向后物体发生穿透现象。当关节角度接近机器人奇异性时，这种情况会更加严重[^47]。为解决这一问题，我们引入了从手掌到中节指骨的TSV（蓝色箭头），如图3中的绿色框所示。优化目标为： $$ \min_{q_{t}}\sum_{i=0}^{N}||\mathbf{v}_{\mathbf{i}}^{\mathbf{H}}(\theta_{t},\beta_{t},r_{t})-\mathbf{v}_{\mathbf{i}}^{\mathbf{R}}(q_{t})||^{2}+\alpha||q_{t}-q_{t-1}||^{2}, $$ 其中，用于人类的手部正运动学函数$\mathbf{v}_{\mathbf{i}}^{\mathbf{H}}(\theta,\beta,r)$可计算出人类手部的第i个TSV，而机器人正运动学函数$\mathbf{v}_{\mathbf{i}}^{\mathbf{R}}(q)$则用于计算 --- 机器人的第i个TSV。公式2中的第一项旨在找到最佳的$\{q_t\}_{t=0}^T$，使其匹配双手的指尖-手掌TSV以及指尖-指骨TSV。需要注意的是，人类手的TSV$\{v_t^H(\theta_0, \beta_0, r_0)\}_{t=0}^T$在优化前会先经过低通滤波器处理，以获得更平滑的结果。我们还加入了L2归一化项（公式2中的第二项）来提升时间一致性。在优化过程中，我们使用了NLopt中的序列二次规划算法[^35]，具体实现中涉及$\alpha = 8e - 3$。在进行手部姿态重定向时，需针对从$t=0$到$t=T$的每个时间点t对公式2中的目标函数进行优化。对于$t\geq1$，我们利用上一步的优化结果$q_t$来初始化$q_{t-1}$，从而进一步提升时间平滑度。 ### 6.2 机器人动作估计手部运动重定向能够在不同时刻将人类手部姿态转换为时间一致的机器人关节角度$\{q_t\}_{t=0}^T$。但具体的动作——即关节扭矩或控制指令——却是未知的。在机器人领域，可通过机器人逆动力学函数$\tau$来计算关节扭矩$\tau = f_{inv}(q, q', q'')$。使用该函数时，我们首先将关节角度序列拟合为连续的关节轨迹函数$\mathbf{q}(t)$。随后，利用一阶和二阶导数$\mathbf{q}''(t)$及$\mathbf{q}''(t)$来计算扭矩$\tau(t) = f_{inv}(q(t), q'(t), q''(t))$。 $\mathbf{q}(t)$的一个重要特性是：三阶导数的绝对值$\mathbf{q}^{\prime\prime}(t)$（也称为加加速度）应尽可能小。我们将这一要求称为“最小加加速度要求”。原因有二：(i) 首先，生理学研究表明[^22]，人类手部的运动遵循最小加加速度轨迹，这种运动方式所需的能量最低。满足这一要求能模拟人类的行为，进而使机器人运动更加自然。(ii) 其次，最小化加加速度可确保电机[^42]的关节位置误差较小，并减少机器人物理部件[^19]的过度磨损。因此，我们也期望拟合出的轨迹函数$\{q_t\}_{t=0}^T$符合最小加加速度要求。在具体实现中，我们采用了[^74]中提出的模型来实现这一点。 ## 7 模仿学习我们使用翻译后的演示数据来进行模仿学习。我们并未采用行为克隆方法，而是选用了能将演示数据融入强化学习的模仿学习算法。背景。我们考虑由 $\langle S, A, P, R, \gamma \rangle$ 表示的马尔可夫决策过程（MDP），其中 S 和 A 分别表示状态空间和动作空间，$P(s_{t+1}|s_t, a_t)$ 表示在给定动作 $s_{t+1}$ 时，步骤 $t+1$ 下状态 $a_t$ 的转移概率密度。$R(s, a)$ 是奖励函数，而 $\gamma$ 是折扣因子。强化学习的目标是最大化在策略 $\pi(a|s)$ 下的期望奖励。我们将强化学习与模仿学习相结合。给定来自演示数据 $\{(s_i, a_i)\}_{i=1}^n$ 中的轨迹 $\pi_D$，我们利用 $\pi_\theta$ 和奖励 R 来优化智能体策略 $\{(s_i, a_i)\}_{i=1}^n$。我们在两种设置下评估模仿学习的效果：状态-动作模仿和仅状态模仿。 --- ### 7.1 状态-动作模仿学习我们将介绍两种算法。第一种是生成对抗模仿学习（GAIL）[^31]，这是一种最先进的模仿学习方法，通过匹配占据度量来学习策略。占据度量 $\rho_{\pi}$ [^55] 是策略 $\pi$ 下状态-动作元组的概率密度。GAIL 的目标是最小化目标函数 $d(\rho_{\pi_{\mathrm{E}}},\rho_{\pi_{\theta}})$，其中 d 为距离函数，$\pi_{\theta}$ 是由 $\theta$ 参数化的策略。GAIL 利用生成对抗训练来估计该距离，并通过以下目标函数将其最小化： $$ \begin{array}{r}{\underset{\theta}{\mathrm{m i n}}\underset{w}{\mathrm{m a x}}\underset{s,a\sim\rho_{\pi_{s}}}{\mathbb{D}}\left[\log D_{w}(s,a)\right]+\underset{s,a\sim\rho_{\pi_{\mathrm{D}}}}{\mathbb{E}}\left[\log(1-D_{w}(s,a))\right],}\end{array} $$ 其中 $D_{w}$ 是一个判别器。为了给 GAIL 配备奖励函数，我们采用了 [^36] 提出的方法，本文中将其记为 GAIL+。第二种算法是演示增强型策略梯度（DAPG）[^58]。每次迭代 k 时用于策略优化的目标函数如下。 $$ g_{a u g}=\sum_{(s,a)\in\rho_{\pi_{\theta}}}\nabla_{\theta}\ln\pi_{\theta}(a|s)A^{\pi_{\theta}}(s,a)+\sum_{(s,a)\in\rho_{\pi_{\mathrm{D}}}}\nabla_{\theta}\ln\pi_{\theta}(a|s)\lambda_{0}\lambda_{1}^{k}, $$ 其中 $A^{\pi_{\theta}}$ 是策略 [^9] 的优势函数 $\pi_{\theta}$，$\lambda_{0}$ 和 $\lambda_{1}$ 是用于确定演示数据中状态-动作对优势的超参数。 ### 7.2 仅状态模仿学习除了状态-动作模仿学习外，我们还评估了仅状态模仿学习（SOIL）[^57] 算法，该算法不使用演示数据中的动作信息。SOIL 通过利用运行策略时收集的轨迹来学习逆模型 $h_{\phi}$，从而将 DAPG 扩展到仅状态模仿学习场景。逆模型会预测演示数据中缺失的动作，随后按照 DAPG 的方式训练策略。策略和逆模型会同时得到优化。 ## 8 实验实验设置。我们采用 TRPO [^66] 作为强化学习基准算法。我们对 SOIL、GAIL+ 和 DAPG 这三种模仿学习算法进行基准测试。所有算法都使用参数相同的 TRPO 来融合演示数据，因此各算法具有可比性。所有策略均使用相同的三个随机种子进行评估。默认情况下，手部姿态是通过两个摄像头估算得出的。 ### 8.1 基于Relocate任务的实验主要对比结果。我们在Relocate任务上对四种方法进行了基准测试：SOIL、GAIL+、DAPG 以及强化学习。成功率数据见表1，训练曲线也一并展示。 --- 相关内容见图5。只有当物体最终位置（经过200步后）与目标位置的偏差在0.1单位长度以内时，该次试验才被视为成功。物体的初始位置和目标位置都是随机设定的。在图5中，x轴代表训练迭代次数，y轴表示基于三种随机种子的归一化平均回报值。表1和图5均表明，对于所有五项任务而言，模仿学习方法的表现都优于强化学习基线模型。对于芥末瓶和糖盒这类物体，纯强化学习智能体根本无法学到任何有效策略。在糖盒任务上，SOIL的表现最佳；而在马克杯、芥末瓶和番茄汤罐任务上，DAPG的表现与之相当甚至更优。重新放置糖盒是最具挑战性的任务，因为这种物体又高又细且表面平坦，一旦它掉在桌上，就很难再将其抓起。我们推测，SOIL中在线训练逆动力学模型的做法有助于为重新放置任务获取更精准的动作指令。运动映射方法的消融实验。图6(a)展示了采用不同映射方法生成的演示数据下，SOIL在重新放置番茄汤罐任务中的表现。结果显示，我们的映射设计（蓝色曲线）相比基于指尖映射的基线方法（红色曲线），能够显著提升模仿学习的性能。此外，若去掉公式2中的L2范数约束（绿色曲线），性能会出现大幅下滑。这一结果凸显了将平滑的机器人运动作为演示数据的重要性。 ![Image](images/54f75a35c3837874c2ed9c7727d7b11698763e3febd2d0f8a3b421240b579cd1.jpg)

Fig. 5. Learning curves of the four methods on the relocate task with respect to five different objects. The x-axis is training iterations. The shaded area indicates standard error and the performance is evaluated with three individual random seeds. (Color figure online)

Table 1. Success rate of the evaluated methods on Relocate with five different objects. Success is defined based on the distance between object and target, evaluated via 100 trials for three seeds.

Model	Task - Relocate
Model	Mustard	Sugar Box	Tomato Can	Clamp	Mug
SOIL	$0.33 \pm 0.42$	$0.67 \pm 0.47$	$0.98 \pm 0.02$	$0.89 \pm 0.15$	$0.71 \pm 0.35$
GAIL+	$0.06 \pm 0.01$	$0.00 \pm 0.00$	$0.66 \pm 0.47$	$0.52 \pm 0.39$	$0.53 \pm 0.37$
DAPG	$0.93 \pm 0.05$	$0.00 \pm 0.00$	$1.00 \pm 0.00$	$1.00 \pm 0.00$	$1.00 \pm 0.00$
RL	$0.06 \pm 0.01$	$0.00 \pm 0.00$	$0.67 \pm 0.47$	$0.51 \pm 0.37$	$0.49 \pm 0.36$

--- 演示数据数量的消融实验。图6(b)展示了不同数量的演示数据下，SOIL在重新放置番茄汤罐任务中的表现。演示数据越多，SOIL的样本利用效率越高，性能也越好，同时性能波动也会减小。表2列出了使用不同数量演示数据训练出的各策略的成功率。这一结果体现了我们高效平台在扩充演示数据数量和多样性方面的重要性。环境条件的消融实验。图6(c)和(d)表明我们的演示数据能够适配不同的物理环境。针对相同的重新放置番茄汤罐演示数据，我们分别训练物体尺寸在$\times 0.75$到$\times 1.125$之间变化（图6(c)）以及摩擦力在$\times 0.8$到$\times 1.2$之间变化（图6(d)）时的策略。即便演示数据相同，我们仍能在不同环境中进行模仿学习并得到稳定结果。所有策略的表现都远优于纯强化学习方法。该实验证明了我们的流程在应对仿真环境与实际演示数据之间的差距时具有强大的鲁棒性。手部姿态估计的消融实验。我们选取了四种不同的手部姿态估计设置，这些数据均来自视频采集：(i)单摄像头；(ii)单摄像头加后期处理；(iii)双摄像头；(iv)双摄像头加后期处理。 ![Image](images/e5b4931af7d1f0cf768bd787de22434b4e1c3f99177fa732011f26ac0a82819c.jpg)

(a) Retargeting

![Image](images/9394834af1fe0525d80f21930541e97f22b872a5b7883c082b11b7e0b50dd4e6.jpg)

(b) Num of Demo.

![Image](images/0c2d500d2c25376533aec617b983b13ece29da6b4d10e28fb07519c8e21b2977.jpg)

![Image](images/a1fa5118454ec0f75a7b9e48fd98129aa8b1d66bf9ffb56704d27ff9a0f428df.jpg)

(d) Object Friction

Fig. 6. Ablation Study: Learning curves of SOIL on Relocate with tomato soup can. The x-axis is training iterations. We ablate: (a) hand pose estimation methods; (b) number of demonstrations used to train SOIL; (c) scaling of object size; (d) friction of the relocated object. The demonstrations are kept the same for all conditions.

Table 2. Success rate with different number of demonstrations on Relocate task with a tomato soup can, evaluated via 100 trials for three random seeds at 400, 600, and 800 training iterations.

#Demo	400 Iter.	600 Iter.	800 Iter.
SOIL (100)	0.36 $\pm$ 0.13	0.70 $\pm$ 0.25	1.00 $\pm$ 0.00
SOIL (50)	0.19 $\pm$ 0.23	0.40 $\pm$ 0.43	0.59 $\pm$ 0.39
SOIL (10)	0.04 $\pm$ 0.05	0.17 $\pm$ 0.11	0.36 $\pm$ 0.21
RL (0)	0.00 $\pm$ 0.00	0.00 $\pm$ 0.00	0.13 $\pm$ 0.19

Table 3. Hand pose error and the success rate of learned policy for 4 hand pose estimation settings. Smaller MPJPE means better hand pose estimation performance.

Setting	MPJPE	Success (%)
1 Cam	41.7	66.7 $\pm$ 57.7
1 Cam Post	36.2	69.7 $\pm$ 33.3
2 Cam	36.6	84.7 $\pm$ 25.7
2 Cam Post	32.5	93.3 $\pm$ 11.5

--- ![Image](images/63f30aa1d4bbcc36c4592f310e6503252b9f0a8409402772d9cd85f9216dad84.jpg)

(a) Pour

Model	Success (%)
SOIL	3.5 $\pm$ 3.3
GAIL+	3.4 $\pm$ 2.5
DAPG	27.2 $\pm$ 18.4
RL	1.3 $\pm$ 0.7

(b) Pour

![Image](images/7db5b79d449dd01feec88d4f5aa216d440653cc35e8cf2248f92ae77df27e236.jpg)

Model	Inside Score
SOIL	$27.9 \pm 26.5$
GAIL+	$16.0 \pm 14.2$
DAPG	$31.3 \pm 30.0$
RL	$3.2 \pm 5.6$

(d) Place Inside

Fig. 7. Pour and Place Inside. (a) learning curves of Pour; (b) success rate of Pour; (c) learning rate of Place Inside; (d) Inside score of Place Inside.

（详见第5.2节）由于我们的数据集中没有真实的姿态标注，我们选择在提供姿态真值的DexYCB [^18]数据集上评估各种手部姿态估计方法的性能。我们遵循DexYCB的标准，采用平均关节位置误差（MPJPE，数值越小越好）作为评价指标。我们在重新放置番茄汤罐任务上对SOIL进行了实验，四种设置下物体的姿态保持一致。表3显示，总体而言姿态估计效果越好，模仿学习效果也越好，不过1-Cam Post和2-Cam这两组的对比除外。看起来尽管两者的姿态估计结果相近，但2-Cam在模仿学习中的表现却优于1-Cam。我们推测这是因为2-Cam能生成更平滑的运动轨迹。 ### 8.2 倾倒任务的实验倒水任务包含一系列精细的操作：伸手去拿杯子、握住并平稳移动杯子，然后将水倒入容器中。我们在图7(a)和(b)中对四种模仿学习算法进行了基准测试。结果显示，DAPG仅需较少的迭代次数就能收敛到良好的策略：平均有27.2%的水被倒入容器中。如果没有演示数据，纯强化学习方法几乎无法将少量水倒入容器。基于状态-动作方法的DAPG表现优于仅基于状态的方法SOIL。在这项任务中，要利用水粒子来学习逆模型颇具挑战性。 ![Image](images/5b4fbca364e6e2dfda9fb13aa1875e106a52e8e9f9442116a6f86344ea607b9d.jpg)

Setting SOIL GAIL+ DAPG RL

Novel Object Instances, Same Category
tomato.→can	62.0\pm27.3	30.7\pm23.5	83.6\pm4.7	15.9\pm16.7
mustard.→bottle	0.0\pm0.0	0.0\pm0.0	68.5\pm7.0	0.0\pm0.0
mug.→mug	51.4\pm33.2	33.8\pm36.1	79.4\pm11.9	27.7\pm38.8

tomato. $\rightarrow$cam.	$27.1 \pm 13.5$	$5.9 \pm 6.3$	$47.2 \pm 2.5$	$3.8 \pm 2.1$
mustard. $\rightarrow$cam.	$2.6 \pm 2.8$	$0.0 \pm 0.0$	$49.9 \pm 8.5$	$0.1 \pm 0.1$
mug. $\rightarrow$cam.	$25.8 \pm 18.8$	$17.3 \pm 23.1$	$33.4 \pm 3.9$	$7.5 \pm 9.5$

Fig. 8. Relocate generalization. Left: visualization of Relocate with unseen ShapeNet objects from 4 categories. Right: success rate of Relocate. A→B denotes using the policy trained on YCB object A to evaluate the performance on ShapeNet category B.

--- ![Image](images/ae4727ced834ab49dc8d928bdd7c43f48799552cd4543d463f586305cfe77eba.jpg)

Model	Success (%)
SOIL	3.8 $\pm$ 3.2
GAIL+	2.1 $\pm$ 0.8
DAPG	23.3 $\pm$ 10.4
RL	0.5 $\pm$ 0.3

Category	Inside Score
SOIL	21.6 $\pm$ 16.1
GAIL+	10.9 $\pm$ 4.6
DAPG	26.9 $\pm$ 17.3
RL	1.8 $\pm$ 1.5

(a) Visualization of Two Tasks

(b) Pour

Fig. 9. Generalization with Pour and Place Inside. (a) visualization of Pour (top row) with ShapeNet mug, and Place Inside with ShapeNet cellphone; (b) success rate of Pour with ShapeNet Mug; (c) inside score of Place Inside with ShapeNet cellphone.

对于SOIL而言更是如此，而解析式的逆动力学函数仍能给DAPG提供合理的动作。可视化效果可查看我们的视频和网站。 ### 8.3 物体放入实验放入物体任务要求机械手先捡起香蕉，将其旋转到合适方向，再把它放入杯中。我们定义了一个“放入得分”指标，该指标根据香蕉在杯内的体积百分比来计算。我们在图7(c)和(d)中对模仿学习算法进行了基准测试。我们发现DAPG的表现优于其他方法，而强化学习方法几乎无法学会如何操控物体。在仅基于状态的方法（SOIL）和基于状态-动作的方法（DAPG）之间，我们再次观察到：由于任务的复杂性，通过解析方式离线计算动作能取得更好的结果。 ### 8.4 新物体及类别上的泛化能力重新放置任务中的泛化能力。我们针对不同模仿学习算法训练出的策略的泛化能力进行了基准测试。我们直接运用训练好的策略来执行重新放置任务，这些策略是基于以下演示数据得到的：(i)同一类别内未见过的新型物体；(ii)属于新类别的物体实例。为了评估同一类别内未见过的物体实例，我们选取了ShapeNet [^16] 数据集中的罐头、瓶子和杯子类别，分别对应演示中的番茄罐头、芥末酱瓶和杯子。由于ShapeNet中没有对应的类别，我们省略了对夹子和糖盒策略的评估。对于新类别的评估，我们选择了ShapeNet中的相机类别。我们为每个类别选取了100个物体实例，并对它们进行预处理以适应机械手的大小。有关数据预处理的更多细节可在补充材料中找到。我们在图8中报告了测试结果。成功率是指某一类别内所有物体实例的平均准确率。我们发现，在同类别和新类别的实验中，DAPG对未见过的物体的泛化能力都很强，显著优于其他方法。我们还可以观察到，对新类别的泛化会带来更大的挑战。 --- 倒水任务中的泛化性能。我们对四种方法训练出的策略在新杯子实例上的倒水任务泛化性能进行了基准测试。我们选取了ShapeNet杯子类别中的100个物体实例来进行部署。图9(a)的上排展示了使用不同杯子执行任务的情况，图9(b)则显示了成功率。在这次基准测试中，DAPG的表现仍优于所有其他方法。有趣的是，其性能与用训练过的物体执行倒水任务时的表现相差不大（对比图7(b)即可看出）。这体现了利用我们的流程进行模仿学习的鲁棒性。基于“将物体放入指定位置”任务的泛化研究。对于“将物体放入指定位置”任务，我们使用ShapeNet中手机类别的物体来替换YCB香蕉模型，如图9(a)下方行所示。图9(c)展示了直接运用针对香蕉训练出的策略时的泛化性能。我们发现该策略的性能与用香蕉进行的“将物体放入指定位置”任务结果相近（可对比图7(d)）。这一结果表明该策略对物体形状的细微变化具有鲁棒性，而且针对单个物体的人类演示也能助力新物体相关任务的执行。 ## 9 结论据我们所知，DexMV是首个提供计算机视觉/仿真系统平台以及从人类视频中学习灵巧操作流程的研究成果。我们提出了一种新颖的演示转换模块，用以弥合这两个系统之间的差距。我们希望DexMV能为灵巧操作的模仿学习算法基准测试开辟新的研究机遇。致谢。本研究部分得到了DARPA LwLL、NSF CCF-2112665（TILOS）、NSF 1730158 CI-New：认知硬件与软件生态系统社区基础设施（CHASE-CI）、NSF ACI-1541349 CC*DNI太平洋研究平台的项目资助，还得到了Meta、谷歌、高通和Picsart的赞助。 ## 参考文献 [^1]: Abbeel, P., Ng, A.Y.: Apprenticeship learning via inverse reinforcement learning (2004) [^2]: Aberman, K., Wu, R., Lischinski, D., Chen, B., Cohen-Or, D.: Learning characteristic motion for motion retargeting in 2d. arXiv preprint arXiv:1905.01680 (2019) [^3]: Andrews, S., Kry, P.G.: Goal directed multi-finger manipulation: control policies and analysis. Comput. Graph. 37(7), 830–839 (2013) [^4]: Antotsiou, D., Garcia-Hernando, G., Kim, T.K.: Task-oriented hand motion retargeting for dexterous manipulation imitation. In: ECCV Workshops (2018) [^5]: Aytar, Y., Pfaff, T., Budden, D., Paine, T., Wang, Z., de Freitas, N.: Playing hard exploration games by watching youtube. In: NeurIPS (2018) ## [^6]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for RGB-based dense 3d hand pose estimation via neural rendering. In: CVPR (2019) --- [^7]: Bai, Y., Liu, C.K.: Dexterous manipulation using both palm and fingers (2014) [^8]: Bain, M., Sammut, C.: A framework for behavioural cloning. In: Machine Intelligence (1995) [^9]: Baird III, L.C.: Advantage updating. Technical Report (1993) [^10]: Bicchi, A.: Hands for dexterous manipulation and robust grasping: a difficult road toward simplicity. IEEE Trans. Robot. Autom. 16(6), 652–662 (2000) [^11]: Bojarski, M., et al.: End to end learning for self-driving cars. arXiv (2016) [^12]: Boukhayma, A., Bem, R.D., Torr, P.H.: 3d hand shape and pose from images in the wild. In: CVPR (2019) [^13]: Brahmbhatt, S., Ham, C., Kemp, C.C., Hays, J.: Contactdb: analyzing and predicting grasp contact via thermal imaging. In: CVPR (2019) [^14]: Brahmbhatt, S., Handa, A., Hays, J., Fox, D.: Contactgrasp: functional multi-finger grasp synthesis from contact. arXiv (2019) [^15]: Calli, B., Walsman, A., Singh, A., Srinivasa, S., Abbeel, P., Dollar, A.M.: Benchmarking in manipulation research: the YDB object and model set and benchmarking protocols. arXiv (2015) [^16]: Chang, A.X., et al.: Shapenet: an information-rich 3d model repository. arXiv preprint arXiv:1512.03012 (2015) [^17]: Chang, M., Gupta, A., Gupta, S.: Semantic visual navigation by watching Youtube videos. In: NIPS (2020) [^18]: Chao, Y.W., et al.: Dexycb: a benchmark for capturing hand grasping of objects. In: CVPR (2021) [^19]: Craig, J.J.: Introduction to Robotics: Mechanics and Control, 3/E. Pearson Education India, Noida (2009) [^20]: Dogar, M.R., Srinivasa, S.S.: Push-grasping with dexterous hands: mechanics and a method (2010) [^21]: Duan, Y., Chen, X., Houthooft, R., Schulman, J., Abbeel, P.: Benchmarking deep reinforcement learning for continuous control (2016) [^22]: Flash, T., Hogan, N.: The coordination of arm movements: an experimentally confirmed mathematical model. J. Neurosci. 5(7), 1688–1703 (1985) [^23]: Fu, J., Luo, K., Levine, S.: Learning robust rewards with adversarial inverse reinforcement learning. arXiv (2017) [^24]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with RGB-D videos and 3d hand pose annotations. In: CVPR (2018) [^25]: Ge, L., et al.: 3d hand shape and pose estimation from a single RGB image. In: CVPR (2019) [^26]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: a method for 3d annotation of hand and object poses. In: CVPR (2020) [^27]: Handa, A., et al.: Dexpilot: vision-based teleoperation of dexterous robotic hand-arm system. In: ICRA (2020) [^28]: Hasson, Y., et al.: Learning joint reconstruction of hands and manipulated objects. In: CVPR (2019) [^29]: He, Y., Sun, W., Huang, H., Liu, J., Fan, H., Sun, J.: Pvn3d: a deep point-wise 3d keypoints voting network for 6dof pose estimation. In: CVPR (2020) [^30]: Hecker, C., Raabe, B., Enslow, R.W., DeWeese, J., Maynard, J., van Prooijen, K.: Real-time motion retargeting to highly varied user-created morphologies. ACM Trans. Graph. (TOG) 27(3), 1–11 (2008) [^31]: Ho, J., Ermon, S.: Generative adversarial imitation learning. In: NeurIPS (2016) ## [^32]: Hu, Y., Hugonot, J., Fua, P., Salzmann, M.: Segmentation-driven 6d object pose estimation. In: CVPR (2019) --- [^33]: Iqbal, U., Molchanov, P., Breuel Juergen Gall, T., Kautz, J.: Hand pose estimation via latent 2.5 d heatmap regression. In: ECCV (2018) [^34]: Jiang, H., Liu, S., Wang, J., Wang, X.: Hand-object contact consistency reasoning for human grasps generation. arXiv (2021) [^35]: Johnson, S.G.: The nlopt nonlinear-optimization package (2014) [^36]: Kang, B., Jie, Z., Feng, J.: Policy optimization with demonstrations. In: ICML (2018) [^37]: Kato, H., Ushiku, Y., Harada, T.: Neural 3d mesh renderer. In: CVPR (2018) [^38]: Kehl, W., Manhardt, F., Tombari, F., Ilic, S., Navab, N.: Ssd-6d: making RGB-based 3d detection and 6d pose estimation great again. In: ICCV (2017) [^39]: Khaled, S.M., et al.: Combinatorial color space models for skin detection in sub-continental human images. In: IVIC (2009) [^40]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: CVPR (2020) [^41]: Kumar, V., Xu, Z., Todorov, E.: Fast, strong and compliant pneumatic actuation for dexterous tendon-driven hands. In: ICRA (2013) [^42]: Kyriakopoulos, K.J., Saridis, G.N.: Minimum jerk path generation. In: Proceedings. 1988 IEEE International Conference on Robotics and Automation, pp. 364–369. IEEE (1988) [^43]: Li, S., et al.: Vision-based teleoperation of shadow dexterous hand using end-to-end deep neural network. In: ICRA (2019) [^44]: Liu, F., Ling, Z., Mu, T., Su, H.: State alignment-based imitation learning. In: ICLR (2020) [^45]: Liu, S., Jiang, H., Xu, J., Liu, S., Wang, X.: Semi-supervised 3d hand-object poses estimation with interactions in time. In: CVPR (2021) [^46]: Mandikal, P., Grauman, K.: Dexterous robotic grasping with object-centric visual affordances. arXiv (2020) [^47]: Nakamura, Y., Hanafusa, H.: Inverse kinematic solutions with singularity robustness for robot manipulator control (1986) [^48]: Ng, A.Y., Russell, S.J., et al.: Algorithms for inverse reinforcement learning (2000) [^49]: Okamura, A.M., Smaby, N., Cutkosky, M.R.: An overview of dexterous manipulation. In: ICRA (2000) [^50]: Akkaya, I., et al.: Solving rubik's cube with a robot hand. OpenAI, arXiv (2019) [^51]: Andrychowicz, M., et al.: Learning dexterous in-hand manipulation. OpenAI, arXiv (2018) [^52]: Peng, S., Liu, Y., Huang, Q.X., Bao, H., Zhou, X.: Pvnet: pixel-wise voting network for 6 dof pose estimation. In: CVPR (2019) [^53]: Peters, J., Schaal, S.: Reinforcement learning of motor skills with policy gradients. Neural Netw. 21(4), 682–697 (2008) [^54]: Pomerleau, D.A.: Alvinn: an autonomous land vehicle in a neural network. In: NeurIPS (1989) [^55]: Puterman, M.L.: Markov Decision Processes: Discrete Stochastic Dynamic Programming. Wiley, Hoboken (1994) [^56]: Rad, M., Lepetit, V.: Bb8: a scalable, accurate, robust to partial occlusion method for predicting the 3d poses of challenging objects without using depth. In: ICCV (2017) [^57]: Radosavovic, I., Wang, X., Pinto, L., Malik, J.: State-only imitation learning for dexterous manipulation. In: IROS (2021) ## [^58]: Rajeswaran, A., et al.: Learning complex dexterous manipulation with deep reinforcement learning and demonstrations. arXiv (2017) --- [^59]: Rajeswaran, A., et al.: Learning complex dexterous manipulation with deep reinforcement learning and demonstrations (2018) [^60]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: modeling and capturing hands and bodies together. In: ToG (2017) [^61]: Ross, S., Bagnell, D.: Efficient reductions for imitation learning. In: AISTATS (2010) [^62]: Rus, D.: In-hand dexterous manipulation of piecewise-smooth 3-d objects. Int. J. Robot. Res. 18(4), 355–381 (1999) [^63]: Russell, S.: Learning agents for uncertain environments (1998) [^64]: Schmeckpeper, K., Rybkin, O., Daniilidis, K., Levine, S., Finn, C.: Reinforcement learning with videos: combining offline observations with interaction. arXiv (2020) [^65]: Schmeckpeper, K., et al.: Learning predictive models from observation and interaction. arXiv (2019) [^66]: Schulman, J., Levine, S., Abbeel, P., Jordan, M., Moritz, P.: Trust region policy optimization. In: ICML (2015) [^67]: Shan, D., Geng, J., Shu, M., Fouhey, D.: Understanding human hands in contact at internet scale. In: CVPR (2020) [^68]: Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J.: concept2robot: learning manipulation concepts from instructions and human demonstrations. In: RSS (2020) [^69]: Song, S., Zeng, A., Lee, J., Funkhouser, T.: Grasping in the wild: learning 6 dof closed-loop grasping from low-cost demonstrations. Robot. Autom. Lett. 5(3), 4978–4985 (2020) [^70]: Spurr, A., Song, J., Park, S., Hilliges, O.: Cross-modal deep variational hand pose estimation. In: CVPR (2018) [^71]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: Grab: a dataset of whole-body human grasping of objects. In: ECCV (2020) [^72]: Tekin, B., Sinha, S.N., Fua, P.: Real-time seamless single shot 6d object pose prediction. In: CVPR (2018) [^73]: Todorov, E., Erez, T., Tassa, Y.: Mujoco: a physics engine for model-based control. In: IROS (2012) [^74]: Todorov, E., Jordan, M.I.: Smoothness maximization along a predefined path accurately predicts the speed profiles of complex arm movements. J. Neurophysiol. 80(2), 696–714 (1998) [^75]: Torabi, F., Warnell, G., Stone, P.: Behavioral cloning from observation. arXiv (2018) [^76]: Torabi, F., Warnell, G., Stone, P.: Generative adversarial imitation from observation. arXiv (2018) [^77]: Večerík, M., et al.: Leveraging demonstrations for deep reinforcement learning on robotics problems with sparse rewards. arXiv (2017) [^78]: Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: Posecnn: a convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv (2018) [^79]: Young, S., Gandhi, D., Tulsiani, S., Gupta, A., Abbeel, P., Pinto, L.: Visual imitation made easy. arXiv (2020) [^80]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single RGB images. In: CVPR (2017)