# 基于视频的手部与物体交互预训练 Himanshu Gaurav Singh $^{*}$ Antonio Loquercio $^{*}$ Carmelo Sferrazza Jane Wu Haozhi Qi Pieter Abbeel Jitendra Malik 摘要—我们提出了一种从3D手部与物体交互轨迹中学习通用机器人操控先验的方法。我们构建了一个框架，利用自然场景中的视频来生成传感器运动型机器人轨迹。具体做法是将人手与被操纵的物体映射到同一个3D空间中，再将人类动作转化为机器人动作。基于这些数据进行的生成式建模能为我们提供一个与任务无关的基础策略，该策略能够捕捉通用且灵活的操控先验。我们通过实验证明，通过强化学习（RL）和行为克隆（BC）对这一策略进行微调后，能够以更少的样本量适配下游任务，同时相比以往方法，其鲁棒性和泛化能力也得到显著提升。相关定性实验结果可查看：。 ## I. 引言 可复用的传感器运动表征有望让机器人具备利用其传感器运动装置的多功能性，从而实现多种多样的任务目标。与其他人工智能领域的发展类似[^1] [^2]，这类表征很可能需要在大型数据集上通过无监督目标进行训练。在本研究中，我们探讨了利用人类视频训练此类表征在灵巧操控领域的可行性。 将视频作为数据来源具有诸多优势：（1）视频数量庞大；（2）涵盖了我们希望机器人掌握的各类技能；（3）反映了我们希望机器人模仿的自然或社会可接受行为。然而，基于视频训练传感器运动表征是一项极具挑战性的工作。首先，视频只能部分反映智能体与周围环境的交互特性。例如，仅通过观察一个人手持物体的画面，几乎无法估算其手指施加的力大小。此外，人与机器人之间的实体差异越大，为实现相同目标所需的动作差异也就越大[^3]。 由于从视频中学习的难度较大，以往的研究大多聚焦于问题的特定方面。一类研究致力于利用现成的自监督视觉算法在大型视觉数据集上训练视觉表征[4–8]。虽然这种方法简单有效，但这类预训练表征缺乏运动组件，因此在下游任务中的表现较差[^9]。另一类研究旨在通过分析视频来提取感官与运动信息，从而估算人类动作[10–15]。不过，这些方法要求训练视频与机器人的下游任务相匹配，这限制了所学表征的通用性。最后，近期的一些研究试图利用人类活动的第一人称视角视频，学习以接触姿态预测模型形式存在的显式手部与物体交互先验[^16] [^17]。尽管接触姿态先验可能具有任务无关性，但手部与物体轨迹中包含的有用信息远不止接触姿态，还包括接触前/后的轨迹、交互过程中的直观物理规律以及人类偏好等。 在本文中，我们提出了一种从自然场景视频中提取通用操作先验的方法。这种先验隐含地嵌入在因果变换器的权重中，该变换器通过基于条件分布匹配的目标函数在传感器运动机器人轨迹上进行预训练。这些轨迹是通过借助物理模拟器将三维手-物体交互映射到机器人的实体形态而产生的。选择这种隐式先验，与当前视觉和语言研究中的范式相一致，其潜在优势在于随着数据质量和多样性的提升，其表达能力也会越来越强。所得到的先验可以通过强化学习或行为克隆快速适配到任何操作任务中。 总体而言，我们的工作做出了以下贡献： - 我们设计了一种新颖的优化流程，用于将含噪的三维手-物体数据重新映射到高保真的传感器运动机器人轨迹，我们将其称为“模拟器内循环重映射”技术。 - 我们证明，基于重新映射的轨迹训练的基于变换器的操作先验，相较于现有方法能够显著加快技能获取速度，即便这些技能并未出现在训练数据中。此外，它还能提升下游策略的泛化能力和对干扰的鲁棒性。 ### II. 方法 手-物体交互预训练（HOP）的目标是从视频中提取通用的手-物体交互先验。与以往的研究不同，我们并不假设视频中人类意图与下游机器人任务之间存在严格的对齐关系。我们的核心观点是：操作所需的基本技能存在于一个流形上，而无结构的人类-物体交互能够充分覆盖该流形的各个轴。 我们通过将人手和被操纵物体映射到共享的三维空间中，从视频中提取传感器运动信息。随后，我们将这类三维表示输入物理模拟器，从而将人类动作映射为机器人动作。使用模拟器作为视频与机器人传感器运动轨迹之间的中介具有多重优势：(i) 我们可以将视频中丢失的物理特性重新加入交互过程中；(ii) 它能够在不危及物理平台的情况下合成大规模训练数据集；(iii) 我们可以通过…… --- ![Image](images/30f6e7d83f73d799f63effbacd34baba23fe84262c6ac2d69bdcedb20fa8e694.jpg)
Fig. 1: 3-D hand-object trajectories from human manipulation videos are re-targeted to a robot embodiment within a simulator, resulting in physically grounded robot data. General manipulation priors are learnt from this using generative modelling of trajectories. Such representation enables sample-efficient adaptation for new downstream tasks.
随机调整模拟环境，例如改变机器人关节间的摩擦力、场景布局以及物体相对于机器人的位置，从而为数据增添多样性。 我们生成了一个机器人-物体交互数据集$\mathcal{D} = \{\tau_1, \tau_2, \ldots, \tau_N\}$，其中$\tau = \{(o[0], a[0]), (o[1], a[1])$、……、$(o[T], a[T])\}$是单条传感器运动轨迹中的观测-动作对。时间$o[k] \in \mathbb{O}$时的观测$k \in [0, \ldots, T]$包含视觉场景信息（深度图像或点云）以及连续的机器人关节角度$\phi[k] \in \mathbb{A}$，即机器人的本体感知信息。动作$a[k] \in \mathbb{A}$由期望的关节角度组成，这些角度会通过低级PD控制器转换为关节扭矩。我们使用$\mathcal{D}$来基于“根据感官观测历史预测下一个动作”这一无监督目标训练基础策略$\pi_b$，即$\hat{a} = \pi_b(o[t : t - L])$，其中L为固定的上下文长度。我们会对$\pi_b$进行微调，以生成特定任务的策略$\pi_t$，要么通过强化学习优化奖励函数，要么基于少量特定任务的演示数据采用行为克隆目标。后续章节将详细介绍我们方法的各个方面。 ### A. 将手-物体交互视频映射到三维空间 从自然场景中的单目视频恢复手与物体交互的底层3D结构本质上存在歧义。为消除这种歧义，以往的研究利用了这样一个见解：人类手部可作为被操纵物体3D位置和尺度的锚点[18–23]。我们用于从视频中估计手-物交互轨迹的方案，建立在3D视觉领域的最新进展之上。我们的方法严格遵循MCC-HO [^18]算法，仅做了少量修改以适应我们的应用场景。 给定一张RGB图像以及通过HaMeR [^24]得到的手部3D几何估计结果，MCC-HO会共同推断出作为点云的手部与物体几何信息。为了提升预测质量，MCC-HO会通过将物体拟合到CAD模型上来微调其姿态。不过，这种微调过程需要预先知晓人类正在交互的物体类型。为提高算法的通用性，我们放弃了这一假设，跳过了基于CAD的后处理步骤。需要注意的是，这一改动并不会显著延长MCC-HO的计算时间，却能让我们在更多视频上运行该算法。 然而，这种简化会以牺牲重建质量和时间连续性为代价。虽然我们发现第一个问题对于预训练而言并不关键，但我们通过将物体重建结果锚定在时间平滑后的手部检测结果上 [^24]，来提升时间连续性。此外，我们还做了一个简化假设：采集视频的摄像头是静止的。该流程的最终输出是一系列3D手-物姿态。 ### B. 将3D人机交互映射为机器人-物体交互 我们构建了一个非线性优化问题，旨在从一系列3D手-物姿态中生成传感器运动轨迹 $\tau$。在第k步中，我们通过优化下述代价函数来确定动作 $a[k]$： $$ \min_{\boldsymbol{a}[k]}\frac{1}{2}\|\boldsymbol{x}_{h}[k+1]-f(\boldsymbol{a}[k])\|^{2}+\lambda\|\boldsymbol{a}[k]-\phi[k]\|^{2},\quad\boldsymbol{a}[k]\in\mathbb{A}, $$ 其中 $\lambda$ 是一个超参数，f代表机器人的正运动学模型，$\boldsymbol{x}_{h}[\cdot]$ 是人类手部一组关键点的3D坐标。公式1的第一项表示机器人期望关节角度 $\boldsymbol{a}[k]$ 所对应的机器人关键点与人类关键点之间的差异。 第二项旨在最小化期望关节角度 $\phi[k]$ 与高保真模拟器预测的当前关节角度之间的差异。这种方法的主要优势在于：优化过程可使用简化的正运动学模型f，同时以高保真模拟器作为约束条件，从而确保行为的真实性与观测结果的高质量。这与以往的方法 [^13] [^25] [^26] 不同，后者采用速度最小化代价函数来替代该项。我们将这种新方法称为“模拟器闭环重定位”。 虽然有一些方法会在优化过程中纳入物体动力学因素[27–31]，但由于物体姿态估计存在噪声，这些方法难以应用于自然场景视频。此外，自然场景视频中缺乏关于物体物理属性（如质量、摩擦力）的可靠信息。因此，我们忽略了被操纵物体的动力学特性，而是在每一步都将物体的点云放置在视频中观测到的位置，从而生成 $o[k]$。尽管这可能导致物体运动不符合物理规律，甚至无法形成有效抓握，但实际应用中数据质量并未出现明显恶化，因为我们仍能从中学习到有用的行为模式。我们通过实验证明：若缺少物体轨迹数据（见第IV-C节），基础策略的质量会有所下降。 我们对模拟场景进行随机化处理，以增加数据的多样性。具体来说，我们会向场景中添加桌子和墙壁等障碍物。 --- 这些障碍物会被放置在相对于机器人的不同位置。通过这种方式，我们可以为优化问题添加随机约束条件，进而提升提取出的关节轨迹的整体多样性。这对于具有运动学冗余的机器人而言尤为重要，因为对于相同的末端执行器轨迹，它们可能存在多条对应的关节位置轨迹。 随着视频采集环境、模拟场景以及f之间的差异增大，生成的机器人轨迹质量会有所下降。不过，鉴于式(1)所描述的非凸优化特性，我们可以通过多次运行优化过程，每次采用不同的初始位置和场景布局，从而获得优质的轨迹。随后，再根据是否与障碍物发生碰撞、手部与机器人关键点之间的跟踪误差等指标来筛选掉劣质轨迹，从而得到高质量的数据。 ### C. 机器人轨迹预训练 生成的轨迹数据集$\mathcal{T}$中包含了对任意操控任务都有价值的知识。例如，$\mathcal{T}$中包含了关于物体可操作性的信息，即物体的抓取位置和方式；一些直观（尽管较为基础）的物理规律，比如物体在被提起前应先被触及；还有手腕与手部的协调机制，即在移动手腕的同时调整手部朝向和形状以实现最高效率[^32]。 我们的目标是将这些知识作为有用的行为先验融入策略$\pi_b$中，以便针对下游任务进行微调。与以往在语言[^2]、视觉[^33]以及机器人领域[^9] [^34] [^35]的研究类似，我们将$\pi_b$设计为Transformer结构[^36]，并基于生成式建模目标对其进行训练。具体而言，我们通过优化以下损失函数，使$\pi_b$能够捕捉条件分布$\Pi(\boldsymbol{a}[t-L:t]|\boldsymbol{o}[t-L:t])$： $$ \mathcal{L}(\tau;\theta)=\mathbb{E}_{t\sim[1\dots T]}\left[\|\mathbf{a}[t-L:t]-\pi_{b}(\mathbf{o}[t-L:t])\|_{1}\right]. $$ 不过与以往研究不同的是，我们的预训练数据集$\mathcal{T}$既不包含真实世界的演示数据，也不包含完整的任务执行过程。这是因为我们的数据源自无结构的3D手-物交互场景，且在重定位过程中我们忽略了被操控物体的动力学特性（见第II-B节）。然而我们发现，式(2)中的预训练范式能够在$\pi_b$中催生出有用的表征。 下游微调。预训练后的策略$\pi_{b}$已经具备基础的操控技能，比如能以合理的抓取姿势触及物体。我们通过强化学习的奖励优化或基于有限演示数据的行为克隆损失，将这些技能针对特定任务进行微调。微调时会对整个模型进行调整。实验表明，经过微调的策略能够利用$\pi_{b}$中的信息实现更快的训练速度，对干扰的鲁棒性更强，且泛化能力也优于从零开始训练的策略以及各种基线模型。此外我们还发现，即便对于训练视频中未明确涉及的任务，微调过程仍能重新利用$\pi_{b}$中的信息。 ### III. 实验设置 机器人。我们采用一款低成本的7自由度xArm机器人，其末端执行器上垂直安装了一只16自由度的Allegro手[^37]。本体感知观测数据$\phi_{k}$包含了来自两台机器人的关节位置信息。虽然我们对机器人的具体形态不做特殊假设，但我们选用多指手而非平行夹持器，因为随着机器人与人类在形态上的差异减小，演示质量会随之提升[^3]。视觉传感则来自安装在机器人右侧的单个立体摄像头（Zed-2）。 仿真设置。我们的仿真环境是基于IsaacGym [^38]模拟器开发的。机器人的形态与动作空间与真实场景保持一致。不过，由于渲染深度图像的成本过高，我们让智能体直接获取物体的真实点云数据，而非深度图像（详见第??节）。 视频数据集。我们的预训练数据集包含3D手-物体轨迹，由来自两个数据集的序列组成：DexYCB [^39]和100 Days of Hands [^40]。我们使用DeXYCB数据集中标注有真实手-物体轨迹的250个视频（仅限右手）作为高质量数据源。此外，我们还使用了大约200个来自100 Days of Hands数据集的视频。其中60%的视频此前已被标注出手-物体交互轨迹[^12]，我们直接加以利用。其余视频则由我们通过3D估计流程进行标注（见第II-A节）。总体而言，我们的合并数据集包含约450个视频。我们对这些视频进行重定位处理，从而得到约70,000条轨迹的预训练数据集$\mathcal{T}$。 重定位。我们采用NLOpt库[^41]中存储占用低的BFGS算法[^42]来进行优化。我们在简单的仿真场景中执行“仿真内循环”式重定位，该场景中有一个地面，机器人与一张静止的桌子相距65厘米放置。物体从桌子上方随机姿态的位置开始运动。针对每个视频，我们运行700次优化过程，期间随机改变桌子的位置和机器人的初始关节状态。只有当某条轨迹在任何时刻的重定位误差（见公式(1)）低于3厘米，且机械臂不会与桌子或地面发生碰撞时，我们才会将其加入$\mathcal{T}$。我们的代码基于Qin等人的实现[^43]。 Transformer模型。与以往的研究类似[^44]，我们用GPT-2风格的因果Transformer来表示策略$\pi_{b}$。该策略接收过去16个时间步的本体感知与观测输入，并预测下一个动作。 预训练。我们依据公式(2)中的目标函数，在$\mathcal{T}$上对Transformer模型进行训练。虽然我们可以采用自回归预测方式，并为未来的本体感知与图像添加解码头和代理损失（如[^15]中所做），但实践经验表明这些改动对我们的任务帮助不大。因此，为简便起见，我们仅预测未来的动作。我们训练了两种不同的基础策略：一种使用深度观测数据，另一种使用点云观测数据。前者用于现实世界实验，后者用于仿真实验。需要注意的是，这两种策略是在完全相同的轨迹上训练的；唯一的区别在于所关联的传感器观测数据不同。 --- 微调。在仿真环境中，我们使用PPO算法对Transformer进行微调[^45]，并采用[^46]中给出的默认超参数。不过，为了实现更有效的微调，我们借鉴了[^47]的思路做了一些改进：(1) 初始探索噪声设为0.1；(2) 价值网络与策略网络共享观测标记器，但标记器的权重不会因价值函数的梯度而更新；(3) 在最初的200个梯度步中，我们先对价值函数的参数进行预热，同时保持行为者参数不变。由于强化学习需要多达10亿个步骤才能收敛，而我们的仿真器不支持快速的多GPU渲染，因此我们选用点云作为视觉信息，因为点云可以高效模拟。在现实世界中，我们利用预训练时采用的相同目标和超参数，基于有限的演示数据对整个$\pi_{b}$进行微调。在这些实验中，我们将深度图像作为输入提供给策略网络，因为在现实世界中生成点云通常需要多台摄像机，而我们的实验装置仅配备了一台摄像机。 推理阶段。测试时，模型以闭环方式运行：它将过去和当前的观测结果作为输入，预测下一个要执行的动作。预测循环的运行频率为20Hz。预测出的动作会被发送至xArm和Allegro的低级控制器，这两者的运行频率分别为120Hz和300Hz。 ### 四、实验结果 我们设计了实验流程，用以分析HOP在微调效率、泛化能力以及对扰动的鲁棒性方面的优势。具体而言，我们探讨了以下问题：(i) HOP与仅基于视觉的预训练方法在机器人学习中的表现有何差异？(ii) HOP与现有的演示引导型强化学习算法相比如何？(iii) 从手-物体交互轨迹中学习，与仅学习手部姿态先验相比有何区别？我们通过仿真环境和真实世界中的对照实验来回答这些问题。
A. Comparison to visual pre-training baselines (real-world).
MethodGrasp & DropGrasp & PourGrasp & Lift
Ours0.801.00.65
Diff. Policy0.900.200.30
Imagenet-ZS0.900.800.30
Imagenet-F0.800.700.35
R3M0.01.00.0
VIP0.401.00.0
MVP0.201.00.0
TABLE I: Real-robot results (success rate % averaged over 20 rollouts). Baselines in gray use RGB as input, others depth images.
基线对比。我们将我们的方法与视觉预训练系统进行比较。这类系统是在大型图像或视频数据集上训练的，但缺乏运动控制组件。具体而言，我们对比了使用以下预训练数据的方法： - ImageNet：我们用在ImageNet上预训练的VIT-B网络[^48]对深度图像进行编码，再将得到的CLS标记嵌入向量输入到Transformer中，随后用真实世界数据对Transformer进行训练。我们考虑了两种变体：一种是直接使用VIT特征（Imagenet ZS），另一种是在下游数据集上对它们进行微调（ImageNet F）。 • 互联网视频：我们使用来自R3M [^8]、VIP [^4]和MVP [^9]的现成视觉特征。这些特征是通过在大型视频数据集（如Ego4D [^49]）上运用无监督对比学习目标获得的。与我们的方法不同，这些基线方法不使用深度信息，而是以RGB图像作为输入。 我们还对比了以UNet为骨干网络的[^27]，因为我们的任务中期望的动作序列在时间上较为平滑。与我们的方法类似，该基线也以深度图像作为输入。通过上述基线，我们希望了解在仅有单台摄像机和有限演示数据的情况下，传统的行为克隆方法在我们的场景中表现如何。实际上，以往的方法通常是在有大量演示数据和多台RGB摄像机的环境下应用的。为了公平比较，我们对基线的延迟进行了优化，使其与我们的方法相匹配。需要注意的是，基线和我们的方法均无法获取关于物体姿态的特权信息，仅使用原始传感器数据。 我们在现实世界中通过三项复杂度递增的任务来评估我们的方法。在第一项任务“抓取并放置”中，机器人需要将一个立方体从堆叠中取出并放入碗中。第二项任务是“抓取并倾倒”，机器人需要拿起瓶子并将其指向碗的方向。第三项任务是“抓取并提起”，机器人必须拾起四种外观各异的物体，每种物体所需的空间操作特性都不同。我们训练了一个单一模型来拾取所有物体。在这项任务中，我们评估该方法在仅有少量演示的情况下适应不同形状物体的能力。前两项任务我们收集了15个演示样本，第三项任务则收集了50个演示样本。我们建议读者访问我们的项目页面以查看这些任务的可视化效果。为了与基线方法公平比较，这些任务中使用的物体均不在预训练数据集中。 结果 表一总结了我们的研究结果。结果表明，对于涉及单个物体的任务（抓取并放置、抓取并倾倒），所有方法的表现相当，除个别特殊情况外，成功率都接近完美。然而，在最难的任务“抓取并提起”中，单一策略需要拾取四种具有不同操作特性的物体，此时我们的方法相比表现最佳的基线方法ImageNet微调模型，成功率高出30个百分点。我们还发现，使用RGB数据的基线方法在处理单个物体时比处理多个物体时表现更好。这可能是因为用于学习特定物体操作特性的演示样本不足。总体而言，这些结果从实证角度验证了我们的预训练策略的价值。 ### B. 与基于演示的强化学习策略的比较（仿真环境） 我们的仿真实验旨在验证HOP作为基础模型在通过强化学习适配下游任务时的有效性。仿真智能体的形态与实际机器人完全一致。 --- 基线方法 我们将我们的方法与三种基线方法进行比较：(1) 从头开始训练（PPO）；(2) 采用代理模仿目标的基于演示的强化学习[^50]（DAPG）；以及(3) 利用对抗性目标使策略贴近演示样本[^51]（AMP）。DAPG与我们的工作最为接近，它基于行为克隆损失和强化学习损失的加权和进行训练。不过，它假设能获取下游任务中的专家演示样本。我们的预训练数据集并不满足这一条件。实际上，人类的行为未必符合奖励函数的优化要求，或者该任务在预训练数据集中并未得到充分体现。与以往研究类似[^52]，我们发现使用关节位置控制作为动作空间时，从头开始训练无法取得成功，这会导致PPO基线方法始终失败。因此，我们采用了Petrenko等人提出的移动平均动作空间[^46]来提升其性能。所有基线方法与我们的方法采用相同的环境设置和训练策略，例如域随机化参数。 任务与指标 我们通过三项任务来评估各种方法的表现。第一项任务要求拾取物体并将其放置在特定位置（抓取并提起）。第二项任务是拾取物体并将其扔进篮子中（抓取并投掷）。最后一项任务要求机器人打开柜门（打开柜子）。“抓取并提起”和“抓取并投掷”任务改编自Isaac-GymEnvs$^{[38]}$，“打开柜子”任务则改编自PixMC$^{[53]}$基准测试。我们通过在256种不同物体环境下进行的成功次数来评估性能，并报告每种方法在三个随机种子下的平均值和标准差。 HOP能够实现样本效率更高的强化学习，并有效促进探索。如图2所示，我们的方法大幅优于所有基线模型，尤其是在预训练语料库与任务相关性较低时表现更为突出。这一结果在意料之中：因为DAPG会强烈引导智能体在预训练轨迹附近进行探索，而这些轨迹可能与下游任务并不匹配。此外，我们发现AMP的对抗训练机制并不稳定，且难以随着数据量的增加而扩展。最后，我们发现采用HOP后，样本效率相比从零开始训练可提高2到5倍。以HOP初始化能够促使智能体进行比基线模型更明智的探索，同时降低策略梯度的方差。 HOP能够学习到鲁棒且通用的行为模式。基于HOP微调得到的策略有可能引导探索方向趋近于类人行为，从而提升对外部作用的抵抗能力。这一点在图3中得到了体现：采用我们的方法训练的智能体在受到外力作用时的表现，明显优于从零开始训练的智能体。此外，图3还显示，我们的方法相比从零开始训练的策略，泛化能力要强3倍。训练所用的物体与测试物体的质量、长宽比以及与手部的相对尺寸均存在差异。当测试物体对于Allegro手来说过重（如电钻）、过大（如饼干盒）或过小（如记号笔和剪刀）时，性能通常会下降。需要注意的是，在这些实验中，我们从零开始训练的策略是用二十亿个样本训练而成的。 ### C. 与仅学习手部运动先验的方法对比（仿真实验） 以往的研究已经证实了从人类活动视频中学习手部运动先验的好处[^10] [^54] [^55]。本节旨在探究同时学习物体与手部运动先验的优势。我们假设，从手物交互中学习能为基础模型提供超出固有抓取模式（这类模式可由仅手部运动先验捕捉）的有用信息，比如接触前与接触后的轨迹、交互过程中的直观物理规律以及人类偏好等。 我们通过使用掩码化的物体观测数据，在我们的预训练语料库上训练基础策略来验证这一假设。这种方式能促使基础策略主要学习手部运动先验。如图4（左）所示，我们观察到这种预训练策略对抓取干扰的抵抗能力较弱。此外，我们发现仅手部先验不足以让智能体在“抓取与投掷”任务中学会有效的策略（见图4，右）。由于该任务在预训练语料库中占比很低，所需手部动作不太可能被仅手部先验充分捕捉。相比之下，学习手物联合先验能为模型提供更全面的操控认知，从而使其能更快适应这一下游任务。 ### V. 相关工作 从人类视频中学习策略。自然场景中的视频有望解决机器人领域的数据难题。杨等人[^56]是这一方向的先驱，他们利用视频数据生成行动计划。此后有若干研究延续了这一思路，依赖预定义的动作原语[57–62]。然而，摒弃对预定义原语的要求颇具挑战性，因为自然场景视频中缺乏运动相关信息。 从视频中恢复运动信息的一种方法是采用轨迹匹配目标进行训练[63–66]，可能会利用物体分割或光流等中间表示[67–69]。不过，这种方法需要收集人类与机器人在同一工作空间中操作的任务相关及环境特定视频。因此，轨迹匹配框架在很大程度上限制了可用于训练的视频数量。为克服这些限制，研究人员要么专注于从视频中单独学习视觉表示，要么提取三维人体姿态并将其映射到机器人动作上。下文我们将详细探讨这些研究成果。 面向机器人的视觉表征学习。受计算机视觉 [^1] 和自然语言处理 [^70] 成功的启发，机器人学习社区最近专注于在 Ego4D [^49] 等大型视频数据集上预训练表征，并在下游任务 [4–6, 8] 上微调这些表征。然而，由于训练 --- ![Image](images/f5e54d2cd58047a9ece80fda384e259d6d7fd7edfec2e5fa17b270d065312a3e.jpg) ![Image](images/3f5399693440fe3ffd12dbb30c10e14926b49ea54774def6e1557ae0ed94f0bb.jpg) ![Image](images/40a3e945f8c69ebc919bfaaa716828116aaec7edfcd9c91b88564a7d019785a4.jpg)
Fig. 2: Comparison of HOP-initialized actor with baselines. HOP improves sample-efficiency of online RL across multiple tasks, particularly when the downstream task and the behaviors in the data are less aligned, as in Lift & Throw. Runs are averaged across three randomly chosen seeds.
![Image](images/e1cc42679cc5d9c3056a49cc444ea2e17bfa518c9e58dfea8361b8fef6ee3ce8.jpg)
Fig. 3: Evaluating RL finetuning under out-of-distribution scenarios (Left) To test grasp robustness in the task Grasp & Lift, we apply to grasped objects forces equal to their weights in random direction. When initialized with HOP, the resulting policy is more than $3\times$ more robust compared to training PPO from scratch. (Right) We evaluate grasp success on multiple objects from the YCB dataset that were not part of the training set. When initialized with HOP, the resulting policy is more than $2\times$ more robust compared to training PPO from scratch.
![Image](images/698c310fa68e5d2792447279ae0df0d6ab71248eeb77dcf01565a4c3cc4f145b.jpg)
Fig. 4: Pre-training a hand-motion prior leads to decrease in robustness to force disturbances (left). With our approach, the pre-trained policy learns a prior on object affordances which leads to more robust grasps. In addition, pretraining with object poses leads to a more flexible prior and better finetuning to tasks less aligned with the pre-training data (right).
目标完全基于图像重建，这些表征主要关注低级视觉特征，例如形状或边缘。与在标准视觉数据集 [^7] 上训练的表征相比，这使它们获得的益处有限。总体而言，这些工作关注视觉泛化，例如抓取两个形状相同但颜色不同的物体。然而，它们尚未展示动作泛化，即运动技能被调整以完成新的目标。 通过三维数据从视频中提取动作信息是一种常用方法。若实体差异较小，便可通过逆运动学将人类动作映射到机器人动作上。当视频具有任务针对性时——即机器人旨在模仿人类动作时——这种方法尤为有效[11–13, 25, 71–73]。另一些研究并非着眼于学习特定技能，而是致力于从视频中学习可复用的感觉运动先验。不过，这种先验仅能捕捉人类动作[^10] [^54] [^55]，却忽略了被操纵物体的运动轨迹。相比之下，我们的研究旨在利用自然场景视频中的三维手-物交互数据，来学习用于物体操纵的可复用先验。 灵巧操控技术已有数十年的研究历史[3, 74–77]。近年来，基于学习的方法取得了显著进展[^78] [^79]。这些方法大致可分为两类：先在仿真环境中学习再迁移到现实世界[80–85]，以及在现实世界中直接学习[43, 86–89]。Qin等人[^13]利用了手-物轨迹，但仅将其用于收集演示数据。[^90]也进行了功能性抓取生成研究，但成果仅限于仿真环境。这类研究大多从零开始学习策略，并未利用任何互联网数据作为先验。我们的方法则研究如何从人类视频中学习手-物交互先验，该方法在仿真和现实世界中均能有效应用。 ### 六、结论与局限性 本研究提出了一种从人类视频中学习通用且灵活的机器人操控先验的方法。虽然我们的方法展示了在单一物体交互上进行预训练的途径，但在实践中这可能会受到限制。实际上，视频中的人类行为可能依赖于当前场景及先前场景中的多个物体所包含的信息。这会导致从原始视频中提取出的信号有所损失。我们预测，三维重建技术的进步将使我们能够利用更复杂的场景重建和预训练方法。 ## 致谢 本研究得到了DARPA机器常识计划、DARPA从不精确抽象模型到自主技术的转化（TIAMAT）计划、ONR MURI项目N00014-21-1-2801、ONR MURI项目N00014-22-1-2773以及SNSF博士后流动奖学金211086的支持。J. W. 得到了美国国家科学基金会数学科学博士后奖学金和加州大学校长博士后奖学金的支持。Pieter Abbeel同时担任加州大学伯克利分校教授和亚马逊学者。本文描述的是在加州大学伯克利分校开展的工作，与亚马逊无关。我们感谢Adhithya Iyer在遥操作系统方面的协助，感谢Phillip Wu搭建实体机器人，也感谢Jathushan Rajasegaran的有益讨论。 --- ## 参考文献 [^1]: Kaiming He et al. “Masked autoencoders are scalable vision learners”. In: CVPR. 2022. [^2]: Alec Radford et al. “Language models are unsupervised multitask learners”. In: OpenAI blog (2019). [^3]: Matei T. Ciocarlie and Peter K. Allen. "Hand posture subspaces for dexterous robotic grasping". In: IJRR (2009). [^4]: Yecheng Jason Ma et al. “Vip: Towards universal visual reward and representation via value-implicit pre-training”. In: ICLR. 2023. [^5]: Ilija Radosavovic et al. “Real-World Robot Learning with Masked Visual Pre-training”. In: CoRL (2022). [^6]: Arjun Majumdar et al. “Where are we in the search for an artificial visual cortex for embodied intelligence?” In: NeurIPS (2023). [^7]: Sudeep Dasari et al. “An unbiased look at datasets for visuo-motor pre-training”. In: CoRL. 2023. [^8]: Suraj Nair et al. "R3m: A universal visual representation for robot manipulation". In: CoRL. 2022. [^9]: Ilija Radosavovic et al. “Robot learning with sensori-motor pre-training”. In: CoRL. 2023. [^10]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. "Videodex: Learning dexterity from internet videos". In: CoRL. 2022. [^11]: Xue Bin Peng et al. "Sfv: Reinforcement learning of physical skills from videos". In: Transactions On Graphics (2018). [^12]: Austin Patel et al. “Learning to imitate object interactions from internet videos”. In: arXiv:2211.13225 (2022). [^13]: Yuzhe Qin et al. “Dexmv: Imitation learning for dexterous manipulation from human videos”. In: ECCV. 2022. [^14]: Haoyu Xiong et al. “Learning by watching: Physical imitation of manipulation skills from human videos”. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2021, pp. 7827–7834. [^15]: Ilija Radosavovic et al. “Humanoid Locomotion as Next Token Prediction”. In: arXiv:2402.19469 (2024). [^16]: Aditya Kannan et al. “DEFT: Dexterous Fine-Tuning for Real-World Hand Policies”. In: CoRL (2023). [^17]: Priyanka Mandikal and Kristen Grauman. “Dexvip: Learning dexterous grasping with human hand pose priors from video”. In: Conference on Robot Learning. 2022, pp. 651–661. [^18]: Jane Wu et al. “Reconstructing Hand-Held Objects in 3D”. In: arXiv:2404.06507 (2024). [^19]: Hongsuk Choi et al. “HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image”. In: arXiv:2309.07891 (2023). [^20]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. "What's in your hands? 3d reconstruction of generic objects in hands". In: CVPR. 2022. [^21]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. "H+O: Unified egocentric recognition of 3d hand-object poses and interactions". In: CVPR. 2019. [^22]: Yana Hasson et al. “Learning joint reconstruction of hands and manipulated objects”. In: CVPR. 2019. [^23]: Zhe Cao et al. “Reconstructing hand-object interactions in the wild”. In: ICCV. 2021. [^24]: Georgios Pavlakos et al. “Reconstructing Hands in 3D with Transformers”. In: CVPR. 2024. [^25]: Jianglong Ye et al. “Learning continuous grasping function with a dexterous hand from human demonstrations”. In: RA-L (2023). [^26]: Russell Mendonca, Shikhar Bahl, and Deepak Pathak. "Structured world models from human videos". In: arXiv preprint arXiv:2308.10901 (2023). [^27]: Xinghao Zhu et al. "Diff-lfd: Contact-aware model-based learning from visual demonstration for robotic manipulation via differentiable physics-based simulation and rendering". In: CoRL. 2023. [^28]: Arjun Sriram Lakshmipathy et al. “Contact Edit: Artist Tools for Intuitive Modeling of Hand-Object Interactions”. In: Transactions on Graphics (2023). [^29]: Arjun S Lakshmipathy, Jessica K Hodgins, and Nancy S Pollard. “Kinematic Motion Retargeting for Contact-Rich Anthropomorphic Manipulations”. In: arXiv:2402.04820 (2024). [^30]: Yeonjoon Kim et al. “Retargeting human-object interaction to virtual avatars”. In: Transactions on Visualization and Computer Graphics (2016). [^31]: Zerui Chen et al. “Vividex: Learning vision-based dexterous manipulation from human videos”. In: arXiv preprint arXiv:2404.15709 (2024). [^32]: Lynette A Jones and Susan J Lederman. Human hand function. Oxford university press, 2006. [^33]: Mark Chen et al. “Generative pretraining from pixels”. In: ICML. 2020. [^34]: Aviral Kumar et al. “Pre-training for robots: Offline rel enables learning new tasks from a handful of trials”. In: RSS. 2023. [^35]: Octo Model Team et al. "Octo: An open-source generalist robot policy". In: RSS. 2024. [^36]: Ashish Vaswani et al. “Attention Is All You Need”. In: NeurIPS. 2017. [^37]: WonikRobotics. AllegroHand. . 2013. [^38]: Viktor Makoviychuk et al. “Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning”. In: NeurIPS Datasets and Benchmarks. 2021. [^39]: Yu-Wei Chao et al. "DexYCB: A Benchmark for Capturing Hand Grasping of Objects". In: CVPR (2021). [^40]: Dandan Shan et al. “Understanding human hands in contact at internet scale”. In: CVPR. 2020. ## [^41]: Dong C Liu and Jorge Nocedal. "On the limited memory BFGS method for large scale optimization". In: Mathematical programming (1989) --- [^42]: Steven G. Johnson. The NLopt nonlinear-optimization package. . 2007. [^43]: Yuzhe Qin, Hao Su, and Xiaolong Wang. "From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation". In: RA-L (2022). [^44]: Lili Chen et al. “Decision transformer: Reinforcement learning via sequence modeling”. In: NeurIPS (2021). [^45]: John Schulman et al. “Proximal policy optimization algorithms”. In: arXiv:1707.06347 (2017). [^46]: Aleksei Petrenko et al. “DexPBT: Scaling up Dexterous Manipulation for Hand-Arm Systems with Population Based Training”. In: RSS. 2023. [^47]: Ram Ramrakhya et al. “Pirnav: Pretraining with imitation and rl finetuning for objectnav”. In: CVPR. 2023. [^48]: Alexey Dosovitskiy et al. “An image is worth 16x16 words: Transformers for image recognition at scale”. In: arXiv preprint arXiv:2010.11929 (2020). [^49]: Kristen Grauman et al. “Ego4d: Around the world in 3,000 hours of egocentric video”. In: CVPR. 2022, pp. 18995–19012. [^50]: Aravind Rajeswaran et al. “Learning complex dexterous manipulation with deep reinforcement learning and demonstrations”. In: arXiv:1709.10087 (2017). [^51]: Xue Bin Peng et al. "Amp: Adversarial motion priors for stylized physics-based character control". In: Transactions on Graphics (2021). [^52]: Yunfan Jiang et al. "TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction". In: arXiv:2405.10315 (2024). [^53]: Tete Xiao et al. “Masked visual pre-training for motor control”. In: arXiv:2203.06173 (2022). [^54]: Homanga Bharadhwaj et al. “Zero-shot robot manipulation from passive human videos”. In: arXiv:2302.02011 (2023). [^55]: Yanjie Ze et al. “H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation”. In: NeurIPS (2024). [^56]: Yezhou Yang et al. “Robot learning manipulation action plans by” watching” unconstrained videos from the world wide web”. In: AAAI. 2015. [^57]: Anh Nguyen et al. “Translating videos to commands for robotic manipulation with deep recurrent neural networks”. In: ICRA. 2018. [^58]: Jangwon Lee and Michael S Ryoo. “Learning robot activities from first-person human videos using convolutional future regression”. In: CVPR. 2017. [^59]: Visar Arapi et al. “DeepDynamicHand: a deep neural architecture for labeling hand manipulation strategies in video sources exploiting temporal information”. In: Frontiers in neurorobotics (2018). [^60]: Laura Smith et al. “Avid: Learning multi-stage tasks via pixel-level translation of human videos”. In: RSS. 2020. [^61]: Shikhar Bahl et al. “Affordances from human videos as a versatile representation for robotics”. In: CVPR. 2023. [^62]: Homanga Bharadhwaj et al. "Track2Act: Predicting Point Tracks from Internet Videos enables Diverse Zero-shot Robot Manipulation". In: arXiv:2405.01527 (2024). [^63]: Shikhar Bahl, Abhinav Gupta, and Deepak Pathak. “Human-to-robot imitation in the wild”. In: RSS. 2022. [^64]: Chelsea Finn, Ian Goodfellow, and Sergey Levine. “Unsupervised learning for physical interaction through video prediction”. In: NeurIPS (2016). [^65]: Tianhe Yu et al. “One-shot imitation from observing humans via domain-adaptive meta-learning”. In: RSS. 2018. [^66]: Jun Jin et al. “Robot eye-hand coordination learning by watching human demonstrations: a task function approximation approach”. In: ICRA. 2019. [^67]: Homanga Bharadhwaj et al. “Towards generalizable zero-shot manipulation via translating human interaction plans”. In: arXiv:2312.00775 (2023). [^68]: Chuan Wen et al. “Any-point Trajectory Modeling for Policy Learning”. In: RSS. 2023. [^69]: Sateesh Kumar et al. “Graph inverse reinforcement learning from diverse videos”. In: CoRL. 2022. [^70]: Jacob Devlin et al. “Bert: Pre-training of deep bidirectional transformers for language understanding”. In: ACL. 2019. [^71]: Lixin Yang et al. “OakInk: A large-scale knowledge repository for understanding hand-object interaction”. In: CVPR. 2022. [^72]: Zoey Qiuyu Chen et al. “Learning robust real-world dexterous grasping policies via implicit shape augmentation”. In: CoRL. 2022. [^73]: Zoey Qiuyu Chen et al. “Dextransfer: Real world multi-fingered dexterous grasping with minimal human demonstrations”. In: arXiv:2209.14284 (2022). [^74]: Ronald Fearing. “Implementing a Force Strategy for Object Re-orientation”. In: ICRA. 1986. [^75]: Li Han and Jeffrey C Trinkle. “Dextrous Manipulation by Rolling and Finger Gaiting”. In: ICRA. 1998. [^76]: Allison M Okamura, Niels Smaby, and Mark R Cutkosky. “An overview of dexterous manipulation”. In: ICRA. 2000. [^77]: Andrew S. Morgan et al. “Complex in-hand manipulation via compliance-enabled finger-gaiting and multi-modal planning”. In: RA-L (2022). [^78]: OpenAI et al. “Learning Dexterous In-Hand Manipulation”. In: IJRR (2019). [^79]: Chunmiao Yu and Peng Wang. “Dexterous manipulation for multi-fingered robotic hands with reinforcement learning: a review”. In: Frontiers in Neurorobotics (2022). ## [^80]: OpenAI et al. “Solving Rubik’s Cube with a Robot Hand”. In: arXiv:1910.07113 (2019) --- [^81]: Ankur Handa et al. “Dextreme: Transfer of agile in-hand manipulation from simulation to reality”. In: ICRA. 2023. [^82]: Tao Chen et al. “Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes”. In: Science Robotics (2023). [^83]: Haozhi Qi et al. "In-Hand Object Rotation via Rapid Motor Adaptation". In: CoRL. 2022. [^84]: Haozhi Qi et al. “General In-Hand Object Rotation with Vision and Touch”. In: CoRL. 2023. [^85]: Ananye Agarwal et al. “Dexterous functional grasping”. In: CoRL. 2023. [^86]: Chen Wang et al. "DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation". In: RSS. 2024. [^87]: Irmak Guzey et al. “Dexterity from touch: Self-supervised pre-training of tactile representations with robotic play”. In: CoRL. 2023. [^88]: Irmak Guzey et al. “See to touch: Learning tactile dexterity through visual incentives”. In: ICRA. 2024. [^89]: Sridhar Pandian Arunachalam et al. “Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation”. In: ICRA. 2023. [^90]: Yinzhen Xu et al. “Unidexgrasp: Universal robotic dexterous grasping via learning diverse proposal generation and goal-conditioned policy”. In: CVPR. 2023.