# Grasp-and-Lift：通过闭环物理优化实现可执行的3D手-物体交互重建 崔秉杰 $^{1*}$ 吴宇珍 $^{2*}$ 林钟宇 $^{1,2†}$ $^{1}$ME $^{2}$IPAI 首尔大学 {skymap33, woojin.oh, jongwoo.lim}@snu.ac.kr ## 摘要 灵巧手操控技术越来越依赖包含精确手-物体轨迹数据的大规模运动数据集。然而，现有的DexYCB和HO3D等数据集主要面向视觉对齐需求设计，当在物理模拟器中回放时，往往会产生不符合物理规律的互动情况，比如物体穿透、接触失败以及抓取不稳定等问题。 我们提出了一种模拟闭环优化框架，可将这些视觉对齐的轨迹转换为可物理执行的轨迹。我们的核心贡献是将该问题转化为一个易于求解的黑盒优化问题。我们利用基于稀疏时间关键帧的低维度样条曲线表示来参数化手部运动，从而能够借助强大的无梯度优化器CMA-ES，将高保真物理引擎视为黑盒目标函数。我们的方法能够找到既满足物理可行性（如稳定抓取和抬起）又能最大程度贴近原始人类演示的运动轨迹。 与MANIPTRANS近期提出的迁移流程相比，我们的方法在回放过程中能显著降低手部和物体的姿态误差，更能精准还原手-物体的物理互动过程。我们的方法提供了一种通用且可扩展的方案，可将视觉演示转化为符合物理规律的轨迹，从而生成对鲁棒策略学习至关重要的高保真数据。 ### 1. 引言 灵巧机器人操控是下一代机器人技术的核心，但训练此类系统需要大量关于人-物体互动的高保真数据。DexYCB [^1] 和 HO-3D [^2] 等公开数据集在提供高质量、视觉对齐的手部和物体姿态标注方面发挥了重要作用，涵盖了各类任务场景。然而，这些数据集是为视觉一致性而非物理真实性优化的。当在物理模拟器中回放其轨迹时，“视觉-物理不匹配”问题便显现出来：互动过程常出现严重的非物理行为，比如物体穿透、接触失败或抓取不稳定（见图1）。这种不匹配会导致动作执行时物体的实际运动与原始演示偏差极大，进而限制了这些数据在训练具备接触感知能力的操控策略时的实用性。 ![Image](images/2e42b892cd52228c9c9cd4a68b6f0f1ece678e72ab26dba83b9ab57a23434cd5.jpg)
Figure 1. Examples of our physics-based refinement. The original vision-aligned dataset (DexYCB) [^1] often contains physical impossibilities, such as significant gaps (blue boxes) or hand-object interpenetration (orange boxes). Our optimization framework refines these poses into physically plausible interactions, promoting valid and stable hand-object contact.
力扭矩传感器或传感手套是获取这类缺失的物理基准数据的常用设备。但这种方法往往不适用于大规模数据采集场景，存在诸多问题：传感器成本高昂、… 力扭矩传感器或带传感器的手套是广泛用于获取这种缺失的物理真实数据的设备。然而，这种方法在大规模数据采集时往往并不实用。它面临诸多问题：传感器成本高昂、…… --- 侵入式安装方式（可能会改变物体的几何形状和动力学特性）、标记物和线缆造成的视觉遮挡，以及校准漂移和传感器磨损等长期存在的难题。因此，迫切需要一种能够从海量的现有纯视觉数据中直接恢复并验证物理交互的方法。为填补这一空白，我们提出了一种“现实到仿真”的优化框架。我们的目标是将这些视觉上看似合理但存在物理缺陷的演示转化为可实际执行的轨迹。给定一段纯视觉的手部-物体序列后，我们的框架会对其进行优化，从而找到一条在仿真中可行且与原始人类演示保持一致的新运动轨迹。 生成出的轨迹不仅视觉上合理，还经过了动力学验证。我们这种基于物理的方法的一大优势在于，它能无需任何传感器便直接得出明确的六自由度接触力与力矩以及接触位置，这些均为额外的收获。实验表明，与MANIPTRANS [^3]等近期算法相比，我们的框架能显著降低手部与物体轨迹误差，且优化速度更快。经过优化的轨迹可作为面向接触感知的策略学习的高质量基准，从而缩小人类演示、仿真与真实世界部署之间的差距。我们的工作主要贡献有三点： ## • 新颖的“物理环内”优化框架 我们提出了一种“现实到仿真”框架，将轨迹优化问题表述为基于控制的优化问题。该方法并非优化物体姿态，而是能够对最近发生的交互进行参数化描述—— ## • 高效且精确的优化策略 为解决这一复杂的高维控制问题，我们引入了基于样条的时间关键帧参数化方法。该技术大幅缩减了搜索空间并确保了平滑性，使得我们的无梯度优化器（CMA-ES [^4]）能够更快收敛，且相比最先进的MANIPTRANS [^3]算法，能实现更低的手部与物体轨迹误差。 • 从纯视觉数据中估计力与接触信息 我们的方法完全基于视觉，无需动作捕捉设备或力/力矩传感器。作为其基于物理的优化的直接成果，它能生成明确的六自由度接触力与力矩以及时间对齐的接触位置，从而为面向接触感知的操作策略学习提供了宝贵的物理监督信息。 ### 2. 相关工作 #### 2.1. 人类演示到机器人执行的转化 通过重定位、模仿或策略学习，某项工作将人类手部技能转移到机器人实体中。MANIPTRANS [^3] 提出了一种两阶段流程（轨迹模仿 + 残差微调），旨在将人类的双手演示转移到仿真环境中的灵巧机器人手上，该流程着重于精准的跟踪与数据效率。DexMV [^5] 通过视觉到仿真的转换与模仿学习，将人类视频转化为用于灵巧任务的机器人演示。VideoDex [^6] 利用互联网上的大规模人类手部视频来为灵巧操作提供先验知识，从而从自然场景的视频中学习通用技能。近期的研究进一步拓展了从人类到机器人的技能转移技术，这些技术直接利用人类运动数据来施加更合理的约束，重点在于生成在动力学上可行的机器人动作 [^7]。传统的重定位流程也能将人类的RGB-D手部运动映射到机器人手部的运动学模型中，这为演示数据的获取提供了实用的方案 [^8]。 #### 2.2. 接触点与力的估计 为了实现从视觉信息到具有物理意义的交互的过渡，ContactPose [^9] 和 ContactDB [^10] 提供了与手/物体姿态配对的接触图，从而能够学习接触预测器并分析抓取接触的统计数据。基于优化的ContactOpt [^11] 通过可微分的接触模型来优化手部姿态，以实现预测的接触分布。除了静态接触外，还有多项研究从视觉信息中推断力：早期的研究尝试从人类与物体交互的单目视频中估算操控力，而较新的方法则致力于解决基于视觉的机器人抓取交互力估计问题 [^12]。更广泛的基于物理的重建技术利用带有接触约束的轨迹优化，从视频中恢复符合物理规律的运动，这凸显了重建过程中动态一致性的重要性 [^13]。互补的流程则通过RGB序列重建物体姿态/形状以及手部交互情况，从而为具备接触感知的感知系统和后续控制提供依据 [^14]。在理念上最为接近的是Gärtner等人 [^15] 的研究，他们利用完整的物理引擎进行轨迹优化，从单目视频中重建出符合物理规律的3D人体运动，该方法不仅能在受控实验室环境之外实现泛化，还能处理复杂的接触事件——这一方法与我们所采用的物理约束优化思路在概念上是一致的。 #### 2.3. 物理合理性优化 除了仅基于视觉的重定位技术外，大量研究直接针对接触物理特性来优化抓取姿态（及短轨迹）。Grasp'D [^16] 构建了可微分的富含接触信息的抓取合成框架，并证明了对其加以考量的重要性。 --- 接触几何关系能够提升模拟环境下的抓取质量和稳定性。Fast-Grasp'D [^17] 通过基于GPU加速的流水线实现了实时生成。ArtiGrasp [^18] 能在协调手与物体的运动的同时，合成物理上合理的双手抓取方案，并着重保证在接触约束下的真实性。早期图形学与机器人学领域的研究已经确立了用于灵巧操作的接触感知轨迹优化方法：Liu等人 [^19] 针对给定抓取状态优化了抓取后的灵巧操作；Mordatch等人提出的接触不变优化（CIO）[^20] 则通过优化那些接触成本可平滑开启/关闭的轨迹，来发现复杂的接触序列。这些研究均致力于优化物理上可行的抓取方案及短时的交互片段；我们的方法则与之互补，它能从视觉信息中提炼出完整的手-物轨迹，无需传感器即可恢复出明确的接触信号（位置/力），同时还能保持视觉上的对齐性。 ### 3. 方法 我们提出了一种“模拟内循环”框架，用于将视觉对齐的手-物演示数据转化为物理上可执行的轨迹。图2展示了该方法的总体概览。我们将此任务重新表述为一个基于控制的优化问题。该方法并非直接优化手和物体的位姿，而是仅优化手的关节参数，这些参数作为控制输入传递给模拟器。物体的运动并非预先设定，而是模拟产生的物理接触与作用力直接导致的动态结果。 为了使这一高维优化问题变得易于处理，并保障时间上的平滑性，我们并不会对每一帧都进行优化。相反，我们利用稀疏的时间关键帧集，通过三次样条插值来参数化手的控制轨迹。这种基于样条的表示方式大幅缩小了搜索空间。随后，我们将不可微的物理引擎视为一个黑箱目标函数。我们采用协方差矩阵自适应进化策略（CMA-ES [^4]）——一种强大的零阶优化器，来寻找能最小化序列级损失的最优关键帧参数。该目标函数可确保生成的动作在物理上一致，且与原始演示保持一致。我们在MuJoCo [^21] 中实现了该框架，充分利用其快速且稳定的接触动力学计算能力。 #### 3.1. 手-物轨迹参数化 手位姿参数化：直接使用各关节角度来优化手位姿会导致高维搜索空间（例如21个自由度）。这种方法不仅对黑箱优化器而言采样效率低下，还容易产生违背关节限制或引发自碰撞的解剖学上不合理的位姿。 为解决这些问题，我们利用了MANO手部模型的低维潜空间。我们使用其包含45个分量的主成分分析（PCA）基来参数化手的关节运动，但在优化过程中仅采用前10个PCA系数以及腕部旋转（SO(3)）构成的简化集合。具体来说，手的控制向量为 $\mathbf{u}_t^{\text{hand}} = [\theta_t, R_t^{\text{wrist}}]$，它结合了MANO PCA系数与腕部旋转信息。这种低维、数据驱动的参数化方式不仅能天然保证解剖学的合理性，大幅减轻优化器的工作负担，还能稳定并加速收敛过程，从而能够在MuJoCo中实现高效的CMA-ES优化。 此外，人类的手比机械手灵活得多：软组织的顺应性和皮肤滑动即便在远离关节的部位也能引发显著的形状变化（例如，握持物体时手掌的隆起和局部皮肤运动）。在MANO的PCA空间中优化能够以一种紧凑且低秩的形式捕捉这些相关的非刚性变化，而无需引入额外的关节参数。在仿真中，我们将PCA系数解码为具有$\sim$45个关节自由度的关节化MANO模型（“Arti-MANO”），并将其用作MuJoCo手部模型，这一做法借鉴了[^3]中介绍的方法。该方法本身基于最初的MANO公式[^22]以及后续的基于物理的关节化MANO流程，如D-Grasp [^23]。在我们的实现中，我们以这种关节化MANO手为基础，在必要时为其补充少量辅助自由度——例如手指根部附近的有限轴向旋转（“滚动”）或用于适应软组织运动的类似机制——以便更好地捕捉接触过程中的细微手部调整，从而生成自然、类人且符合视觉证据的运动，同时还能满足精确的基于物理的接触推理需求。 参考物体轨迹：我们假设已知物体的精确网格模型。算法会获得根据视觉数据估算出的物体6D姿态轨迹，但该轨迹并不被视作固定的运动目标。相反，它仅作为我们优化的目标参考轨迹。 在“仿真内循环”优化过程中，模拟器会根据优化后的手部姿态所产生的接触力来动态计算物体的运动。我们框架的目标是找到一组手部控制序列，使得物体的模拟运动能够与目标视觉运动相匹配。我们的目标函数（详见第3.2节）通过惩罚模拟物体的姿态与速度同原始视觉轨迹之间的偏差来强制实现这种对齐。这种设定为优化过程提供了约束，确保经过优化且可物理执行的交互动作仍能忠实于最初的人类演示。 --- ![Image](images/50bb59894585abd1981df8817740e0e844cb276b115f935395365bfcb5fdc1f0.jpg)
Figure 2. Overall pipeline. Given vision-aligned object 6D pose and hand pose estimated from multi-view images (e.g., DexYCB), we replay these trajectories in a physics simulator to expose interaction cues (contacts, normals, forces, penetrations), which define physics-informed losses. A black-box optimizer (CMA-ES) then updates a low-dimensional control vector—top-10 MANO PCA coefficients plus wrist rotation in SO(3)—to refine the hand trajectory only, while the object's motion is updated as a result of the simulated physical interaction. The result is a replayable, physically plausible hand–object interaction that remains consistent with image evidence and provides explicit contact positions and forces for downstream use.
时间关键帧优化：在长序列的每一帧上优化手部控制参数在计算上成本极高，还容易导致过拟合或高频抖动现象。因此，我们采用了基于关键帧的时间参数化方法。 具体来说，我们每五帧选取一个关键帧，然后通过三次样条插值生成所有中间帧的控制参数。这种样条耦合是我们方法中的关键组成部分： • 它能通过确保手腕和手指关节的运动连续且抖动极小，从而保证时间上的平滑性。 - 它还能大幅减少CMA-ES需要优化的自由变量数量，使这个高维度的控制问题变得可解。 为了保持整个序列的连续性，我们采用滑动窗口策略，在重叠的片段中优化轨迹。这种设定既能产生平滑、连贯且符合物理规律的运动，又能保证优化过程的高效性。 #### 3.2. 目标函数 为了找到视觉上合理且物理上可执行的手部轨迹，我们最小化一个综合的序列级目标函数$\mathcal{L}(\mathbf{u}_{t}^{\text{hand}})$。该目标函数是多个代价函数的加权和，旨在确保两个关键特性：物理真实性（即模拟的运动在物理上有效且与物体的动力学相匹配）以及视觉保真度（即优化后的运动能忠实于原始的人类演示）。总损失是在时间序列t上聚合得到的。 $$ \begin{aligned}\mathcal{L}(\mathbf{u}_{t}^{\mathrm{hand}})=\sum_{t}\left[\lambda_{\mathrm{op}}\mathcal{L}_{\mathrm{obj-pose}}^{(t)}+\lambda_{\mathrm{ov}}\mathcal{L}_{\mathrm{obj-vel}}^{(t)}+\lambda_{\mathrm{hj}}\mathcal{L}_{\mathrm{hand-joint}}^{(t)}\right.\\ \left.+\lambda_{\mathrm{ct}}\mathcal{L}_{\mathrm{contact}}^{(t)}+\lambda_{\mathrm{hc}}\mathcal{L}_{\mathrm{hand-cons}}^{(t)}+\lambda_{\mathrm{hv}}\mathcal{L}_{\mathrm{hand-vel}}^{(t)}\right],\end{aligned} $$ 其中各组成部分的定义如下。 物体姿态损失$\mathcal{L}_{\text{obj-pose}}$：这一损失是我们的主要目标，它确保手部与物体相互作用时产生的模拟物体运动能与目标视觉轨迹相匹配。我们通过旋转部分的测地距离以及平移部分的$(R_t^{\text{sim}}, \mathbf{t}_t^{\text{sim}})$范数，来惩罚模拟姿态$(R_t^{\text{img}}, \mathbf{t}_t^{\text{img}})$与视觉参考姿态$L_2$之间的差异。 $$ \begin{array}{r}{d_{\mathrm{g e o}}(R_{1},R_{2})=\operatorname{a r c c o s}\left(\frac{\mathrm{t r}(R_{1}R_{2}^{\top})-1}{2}\right),}\end{array} $$ $$ \begin{array}{r}{\mathcal{L}_{\mathrm{o b j-p o s e}}^{(t)}=\eta d_{\mathrm{g e o}}(R_{t}^{\mathrm{s i m}},R_{t}^{\mathrm{i m g}})+(1-\eta)\|{\bf t}_{t}^{\mathrm{s i m}}-{\bf t}_{t}^{\mathrm{i m g}}\|_{2},}\end{array} $$ 其中$(R_t^{\mathrm{sim}}, \mathbf{t}_t^{\mathrm{sim}}) \in SE(3)$表示仿真中的物体姿态，而$(R_t^{\mathrm{img}}, \mathbf{t}_t^{\mathrm{img}})$则是来自视觉数据的、与图像对齐的物体姿态。 物体速度损失$\mathcal{L}_{\mathrm{obj-vel}}$：为了更好地保证动态一致性，我们还会惩罚模拟速度$(v_{t}^{\mathrm{sim}}, \omega_{t}^{\mathrm{sim}})$与目标速度$(v_{t}^{\mathrm{img}}, \omega_{t}^{\mathrm{img}})$之间的线性及角速度差异。这一损失作为姿态项的补充，确保物体在各帧之间以物理上合理的方式运动。 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{o b j-v e l}}^{(t)}=\lambda_{o v}\|\mathbf{v}_{t}^{\mathrm{s i m}}-\mathbf{v}_{t}^{\mathrm{i m g}}\|_{2}^{2}+\lambda_{o\omega}\|\boldsymbol{\omega}_{t}^{\mathrm{s i m}}-\boldsymbol{\omega}_{t}^{\mathrm{i m g}}\|_{2}^{2}.}\end{array} $$ --- 手部三维关节位置损失$\mathcal{L}_{\text{hand-joint}}$：这一损失作为一种视觉先验，引导手部的模拟姿态($\mathbf{j}_{t,i}^{\text{sim}}$)靠近原始的视觉演示($\mathbf{j}_{t,i}^{\text{img}}$)，其中$\mathbf{j}_{t,i}$表示时间t时手部关节i的三维位置。我们对指尖部分($w_{tip} > 1$)赋予更高的权重，因为它们是主要的互动源。 $$ \mathcal{L}_{\mathrm{h a n d-j o i n t}}^{(t)}=\frac{1}{W}\sum_{i=1}^{20}w_{i}\parallel\mathbf{j}_{t,i}^{\mathrm{s i m}}-\mathbf{j}_{t,i}^{\mathrm{i m g}}\parallel_{2}, $$ $$ where w_{i}=\begin{cases}w_{tip}&for fingertips\\1&otherwise\end{cases}and W=\sum_{i=1}^{20}w_{i}. $$ 手-物接触损失$\mathcal{L}_{\text{contact}}$：为了进一步引导可执行的物理交互，我们根据视觉数据预先计算出可能的接触对。对于每一帧，我们会识别出靠近物体表面的指尖(k)，并存储其对应的物体局部接触点($\mathbf{c}_{t,k}^{\text{img,obj}}$)。这一损失会惩罚模拟指尖位置($\mathbf{p}_{t,k}^{\text{sim,hand}}$)与该目标接触点之间的距离，该目标接触点会通过模拟物体的当前姿态进行变换。 $$ \mathcal{L}_{\mathrm{c o n t a c t}}^{(t)}=\frac{1}{\max\big(1,|\mathcal{K}_{t}|\big)}\sum_{k\in\mathcal{K}_{t}}\left\|\mathbf{p}_{t,k}^{\mathrm{s i m,h a n d}}-\big(R_{t}^{\mathrm{s i m}}\mathbf{c}_{t,k}^{\mathrm{i m g,o b j}}+\mathbf{t}_{t}^{\mathrm{s i m}}\big)\right\|_{2}, $$ 其中$K_{t}$表示时间t时匹配的物体-指尖集合。 手部正则化损失$\mathcal{L}_{\text{hand-cons}}$和$\mathcal{L}_{\text{hand-vel}}$：最后，为了确保运动平滑且稳定，我们对手部轨迹应用两项正则化项。一致性损失($\mathcal{L}_{\text{hand-cons}}$)会惩罚手部控制向量$\mathbf{u}_t^{\text{hand}}$在帧与帧之间的变化，从而抑制优化过程中采样带来的抖动。速度损失($\mathcal{L}_{\text{hand-vel}}$)则会惩罚手部实体$\mathcal{B}$过大的线速度和角速度，进一步促进平滑的运动： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{h a n d-c o n s}}^{(t)}=\big\|\boldsymbol{\theta}_{t}-\boldsymbol{\theta}_{t-1}\big\|_{2}^{2}\;+\;d_{\mathrm{g e o}}\big(R_{t}^{\mathrm{w r i s t}},\;R_{t-1}^{\mathrm{w r i s t}}\big),\mathrm{a n d}\;}\end{array} $$ $$ \begin{array}{r l}&{{\mathcal{L}}_{\mathrm{h a n d-v e l}}^{(t)}=\lambda_{h v}\displaystyle\sum_{b\in\mathcal{B}}\big\|\mathbf{v}_{t,b}\big\|_{2}^{2}\;+\;\lambda_{h\omega}\displaystyle\sum_{b\in\mathcal{B}}\big\|\boldsymbol{\omega}_{t,b}\big\|_{2}^{2}.}\end{array} $$ #### 3.3. 优化器与模拟器设置 ##### 3.3.1. 物理模拟器 涉及多接触的操控操作会产生刚性强、不平滑的动力学现象，比如碰撞和粘滑过渡。虽然可微模拟器通过平滑或放宽这些事件（例如采用柔性接触模型）来暴露梯度，但产生的梯度在模式切换附近往往条件不佳，且可能无法捕捉到剧烈的脉冲效应。 我们的目标不是通过动力学模型进行反向传播，而是恢复具有物理合理性且可重现的轨迹，同时保留高保真的接触信号。因此，我们选择了MuJoCo作为物理引擎。MuJoCo能够提供快速、稳定的刚体接触求解功能，其柔顺性可调；更重要的是，它支持针对每个接触点的显式查询（包括两个物体上的接触位置、法线以及6自由度力矩），而这些数据对于生成基准接触数据至关重要。 ##### 3.3.2. 零阶优化器选择 由于接触事件（接触出现/消失）和摩擦模式切换的离散性，我们的目标函数（第3.2节）呈分段平滑特性且在手部参数上不可微分。 因此，我们采用了协方差矩阵自适应进化策略（CMA-ES）——这是一种最先进的免梯度优化器，对这类不连续性和模拟噪声具有极强的鲁棒性。CMA-ES与我们采用“仿真在环”评估方式天然兼容，因为它无需动力学梯度信息。它尤其适合我们的方法，能够高效搜索由基于样条的MANO-PCA参数化方式所定义的低维至中维控制空间（第3.1节）。 ##### 3.3.3. 分窗口优化调度 为了优化完整轨迹，我们对第3.1节定义的关键帧采用滑动窗口策略。若一次性对所有关键帧进行暴力优化，效率低下且稳定性差。因此，我们选取四个连续的关键帧来构成优化窗口（例如$k_{1}$、$k_{2}$、$k_{3}$、$k_{4}$）。 为了构建符合时间上下文约束的合理问题，我们固定“过去”的关键帧$(k_1, k_2)$以及“未来”关键帧$(k_4)$。随后利用CMA-ES仅优化第三个关键帧$(k_3)$的参数。这一策略是我们方法稳定性的关键：由于三次样条曲线会关联所有四个点，优化器必须为$k_3$找到一种姿态，使其既能从固定的过去状态平滑过渡，又能预判固定的未来状态。每个窗口内的损失函数会汇总该窗口内所有帧的相关项，从而强制实现这种预判性行为（例如，在接触前调整抓取姿势以确保后续能稳定提起物体）。一旦确定最优的$k_3$，我们就将窗口向前滑动一个关键帧并重复该过程，最终将经过样条平滑处理的解推送到整个序列中。 ### 4. 实验 在本节中，我们首先介绍实验设置，包括数据集、评估指标和实现细节（第4.1节）。随后，我们将与最先进的方法进行对比分析（第4.2节），展示物理重建的定性分析结果（第4.3节），并进行消融研究（第4.4节）。 #### 4.1. 实验设置 数据集与基线：我们所有实验均采用DexYCB [^1]数据集。由于完整数据集规模庞大， --- 我们整理出包含120个序列的具有挑战性的评估集。该评估集通过选取三名不同受试者、20种YCB物体以及多种抓取类型来测试模型的泛化能力。每个序列以30帧/秒的速度录制，时长约为60–70帧。为确保交互的有效性，我们排除了最初的10帧。 我们的主要基线是MANIPTRANS——一种最先进的基于策略的迁移方法。我们使用了其官方公开的实现版本，并开发了定制的DexYCB数据加载器，以便在相同设置下进行公平比较。 为了进行公平比较，我们采用了MANIPTRANS中的主要评估指标，同时报告两种方法的整体优化时间。 - 物体姿态误差：我们测量模拟物体姿态与图像对齐的参考姿态之间的平均旋转误差（$E_{r}$，单位为度）和平移误差（$E_{t}$，单位为厘米）： $$ E_{r}=\frac{1}{T}\sum_{t=1}^{T}d_{\mathrm{g e o}}(R_{t}^{\mathrm{s i m}},R_{t}^{\mathrm{i m g}}),\ E_{t}=\frac{1}{T}\sum_{t=1}^{T}\Big\|\mathbf{t}_{t}^{\mathrm{s i m}}-\mathbf{t}_{t}^{\mathrm{i m g}}\Big\|_{2}. $$ - 手部姿态误差：我们报告平均关节位置误差$(E_{j}, \text{in cm})$以及平均指尖位置误差$(E_{ft}, \text{in cm})$： $$ E_{j}=\frac{1}{T\cdot F}\sum_{t=1}^{T}\sum_{f=1}^{F}\left\|\mathbf{j}_{t,f}^{\mathrm{sim}}-\mathbf{j}_{t,f}^{\mathrm{img}}\right\|_{2}, $$ $$ E_{f t}=\frac{1}{T\cdot M}\sum_{t=1}^{T}\sum_{m=1}^{M}\left\|\mathbf{j}_{t,m}^{\mathrm{s i m}}-\mathbf{j}_{t,m}^{\mathrm{i m g}}\right\|_{2}. $$ • 成功率（SR）：我们采用MANIPTRANS设定的失败阈值（例如$E_r > 30^\circ$、$E_t > 3$厘米）。由于我们的优化框架是确定性的，因此一个序列的成功率为二元值：若所有帧均达标则成功率为100%，只要有一帧不达标则成功率为0%。 实现细节：我们在MuJoCo中搭建了我们的框架，并使用DexYCB官方提供的物体质量参数以确保物理准确性。对于MANIPTRANS基线模型，我们将其IsaacGym仿真[^24]时间步长设置为1/30秒，以匹配DexYCB的数据采集速率。所有实验均在配备NVIDIA RTX A6000 GPU和Intel i7-14700K CPU的工作站上进行。 #### 4.2. 实验结果 我们在精心整理的DexYCB测试集上，将我们的方法与MANIPTRANS基线模型进行了对比。对于基于策略的MANIPTRANS模型，我们遵循其协议，对每个序列执行100次随机试验，且仅针对成功的试验计算误差指标。相比之下，我们的确定性框架对每个序列仅进行一次优化。 如表1和表2所示，我们的方法在几乎所有评估指标上均显著优于基线模型。值得注意的是，我们的方法在达到更高精度的同时，所需的计算时间却少得多。这些结果表明，我们的优化框架能够高效地找到可实际执行的手部姿态，不仅能稳定抓取并抬起物体，还能精准追踪输入图像中的物体轨迹。 我们方法的出色性能很大程度上得益于其对数据噪声的强鲁棒性。MANIPTRANS模型是基于高精度动作捕捉数据训练的，似乎难以应对DexYCB数据集中存在的较大姿态估计噪声，从而导致性能下降。而我们的基于优化的框架对这种噪声表现出更强的鲁棒性。 尽管我们的方法更具鲁棒性，但我们仍观察到不同受试者间的性能存在差异（见表1）。我们推测这源于受试者的真实手部与固定尺寸的Arti-MANO仿真模型之间的形态差异。这种差异，尤其是手指长度上的差异，会使某些抓取动作变得困难，不过我们的方法仍能成功处理基线模型常常无法完成的复杂运动序列。 #### 4.3. 物理重建的定性分析 我们框架的一个关键优势在于能够从纯视觉数据中重建隐藏的物理现象，比如接触位置和作用力。原始的视觉对齐轨迹虽然视觉上准确，但往往存在物理一致性问题：它们会出现接触点缺失、物体相互穿透或抓取不稳定等情况，导致物体在仿真中运行时发生偏移或掉落（见图1）。 我们的优化算法通过恢复两个关键属性来明确解决这些问题： • 几何合理性：经过优化的手部轨迹会被调整，以在合理的指尖和手掌位置形成稳定的抓取。这消除了原始纯视觉手部与物体轨迹中常见的穿透现象以及“悬浮式”抓取问题。 • 动态合理性：我们在“抓取并提起”和“按压并稳定”两种动作序列中均观察到了这一现象。未经优化的重放结果往往表现出微弱的影响或不现实的受力情况，而我们的方法能够施加持续且稳定的压力。恢复得到的接触力足以支撑物体抵抗重力，由此产生的运动既稳定又符合视觉推断出的轨迹。 总体而言，我们的方法成功地将仅依赖视觉的姿势数据转化为可重放、具备物理基础的交互数据，在还原几何与动态合理性的同时，生成了解释运动过程的底层接触力。图3展示了重建后的手-物体轨迹、接触位置及受力情况，证实了我们的方法能够还原出真实且物理上稳定的抓取并提起模式。 #### 4.4. 消融实验 我们对两个关键的目标项进行了消融研究：物体速度损失（$L_{obj-vel}$）以及手部 ---
SubjectsManipTransOurs
Time (s)$E_t$$E_r$$E_j$$E_{ft}$SR (%)Time (s)$E_t$$E_r$$E_j$$E_{ft}$SR (%)
Subject-11546.860.884.010.991.2061.76533.240.542.260.981.1885.0
Subject-22184.100.9712.072.552.1755.23583.570.722.671.091.4277.5
Subject-32229.770.959.432.652.2620.79554.040.753.982.582.9352.5
Total(Avg.)1986.910.938.502.061.8745.93556.950.672.971.551.8471.67
Table 1. Per-subject quantitative comparison on DexYCB. Each subject corresponds to a distinct human demonstrator, so all sequences in a row share the same operator. Across all subjects, our method is about $3\sim4\times$ faster to optimize than ManipTrans and attains lower pose errors on both hand and object with a substantially higher success rate. (Note: $E_{t}$, $E_{j}$, $E_{ft}$ are in cm and $E_{r}$ is in degrees.)
ObjectManipTransOurs
Time (s)$E_t$$E_r$$E_j$$E_{ft}$SR (%)Time (s)$E_t$$E_r$$E_j$$E_{ft}$SR (%)
002_master_chef_can1937.920.584.211.811.9249.74641.120.421.470.851.0683.33
003_cracker_box2018.040.504.091.021.0833.33515.420.411.290.760.9683.33
004_sugar_box1890.380.605.751.711.7766.15717.210.482.191.011.26100.00
005_tomato_soup_can1874.240.646.601.851.6264.84537.160.341.711.441.6683.33
006_mustard_bottle1909.550.945.041.451.4732.81652.700.652.261.341.6083.33
007_tuna_fish_can1730.410.666.211.701.5466.67499.620.221.330.500.6050.00
008_pudding_box1620.010.886.691.861.7583.33530.880.642.300.921.1283.33
009_gelatin_box1601.290.992.460.881.100.00497.160.401.511.041.2050.00
010_potted_meat_can1402.830.717.241.671.5652.60610.070.462.331.561.8066.67
011_banana1899.470.755.672.061.9166.67497.270.362.621.391.5666.67
019_pitcher_base2123.260.815.961.942.0746.21725.940.581.520.901.1766.67
021_bleach_cleanser1512.400.636.671.231.3816.67824.980.882.501.621.9683.33
024_bowl2400.900.819.031.941.8990.10498.040.865.140.931.2383.33
025_mug2300.230.855.641.451.5750.00529.740.422.270.520.7150.00
035_power_drill1097.891.801.911.261.530.00565.600.532.061.992.2283.33
036_wood_block1421.610.603.621.361.5816.67503.090.792.561.261.57100.00
037_scissors2398.003.4322.702.341.8325.00489.470.231.020.300.3933.33
040_large_marker1016.870.7522.331.641.6516.93459.930.070.480.150.1616.67
052_extra_large_clamp2179.480.927.552.001.5867.77463.350.201.360.270.3633.33
061_foam_brick1694.440.855.782.091.7073.08485.180.472.611.441.6883.33
Total(Avg.)1823.510.847.601.661.6345.91572.290.482.011.041.2564.58
Table 2. Per-object quantitative comparison on DexYCB. Each row corresponds to a distinct YCB object, so the table reveals how performance varies with object geometry (e.g., cans, thin bowls, elongated tools). Across most objects, our method is about 3~4× faster to optimize than ManipTrans and consistently achieves lower position errors ( $E_t$, $E_j$, $E_{ft}$) and comparable or better rotation error $E_r$, resulting in higher success rates even for challenging shapes. (Note: $E_t$, $E_j$, $E_{ft}$ are in cm and $E_r$ is in degrees.)
Time (s)$E_{t}$$E_{r}$$E_{j}$$E_{ft}$SR (%)
Ours529.800.431.990.470.59100.00
Ours w/o $\mathcal{L}_{obj-vel}$688.070.532.080.881.0296.78
Ours w/o $\mathcal{L}_{hand-joint}$619.510.732.181.401.9493.33
Table 3. Ablation on our objective losses. Ours denotes the full optimization pipeline, and each variant zeroes out the corresponding loss weight to isolate its effect on the final optimization performance. Refer to the text for the experiment setup.
3D关节位置损失（$L_{hand-joint}$）。为了进行可控对比，我们选取了受试者01的30个序列，我们的完整方法（Ours）在这些序列上的成功率达到100%。随后我们针对这一特定子集运行每种消融变体，以分离出移除各组件所产生的影响。结果总结在表3中。 物体速度损失（$L_{obj-vel}$）。移除该项损失后，优化器只能依赖每帧的静态物体姿势。如表3所示，这会导致所有误差指标和成功率下降，同时还会增加优化时间。虽然优化器仍能匹配静态姿势，但它忽略了连续帧所编码的轨迹级动力学信息（线速度和角速度的一致性）。从定性角度看，这会导致运动在动力学上不一致：物体可能会出现轻微抖动、响应延迟或过于“僵硬”的运动。通过显式匹配速度，$L_{obj-vel}$为物体的运动方式提供了强有力的时间先验，而不仅仅是其所在位置，从而得出更可靠的重建结果。 --- ![Image](images/f0664d7ca9bc5645f977d090e75f68400b201fd41fe209ac4ccf68091723a4d9.jpg)
Figure 3. Qualitative comparison. Top row: original vision-aligned hand–object poses from DexYCB [^1], which often contain gaps or interpenetration. Second row: retargeted trajectories produced by ManipTrans, which can still exhibit unstable or physically implausible grasps. Third row: trajectories refined by our method, yielding more natural motion and physically plausible, stable grasps that remain consistent with the image evidence. The bottom two rows visualize per-vertex contact force magnitudes on the hand and object obtained from MuJoCo, showing that our physics-based refinement exposes dense force information unavailable in the original dataset or in purely kinematic baselines.
注释。 手部3D关节位置损失（$\mathcal{L}_{\text{hand-joint}}$）。这项消融实验旨在验证优化器应仅关注物体运动、而非手部关节这一假设。然而表3显示这种方法危害极大，会显著恶化所有指标，包括物体平移误差（$E_t$），并使成功率降低超过6%。这表明图像对齐的手部关键点提供了关于手部如何接近并支撑物体的重要视觉先验。缺少这一先验时，优化器可能会找到看似能移动物体但实则不自然的手部姿态（如扭曲的手腕），进而导致更大的误差和更不稳定的交互。因此，$\mathcal{L}_{\text{hand-joint}}$对于将搜索范围限定在视觉上一致且物理上合理的抓取方案中至关重要。 ### 5. 结论与未来工作 我们提出了一种受物理约束的轨迹优化框架，能够成功将仅依赖视觉的手部-物体演示转化为可实际执行的互动。我们的核心贡献在于一种易于求解的黑盒优化方案。通过将手部运动参数化为基于样条的时间表示，并仅用CMA-ES算法优化手部的控制输入，我们使得物体的运动能够直接源于与手及手指的模拟物理交互。这种方法解决了“视觉-物理不匹配”问题，消除了穿透现象并稳定了抓取动作。实验表明，与最先进的MANIPTRANS方法相比，我们的方法不仅能产生更低的轨迹误差和更快的收敛速度，还能顺带生成明确的接触力与位置数据。 尽管有这些优势，我们的方法仍存在局限性，这为未来的研究指明了有前景的方向。这种优化属于离线、逐序列进行的处理过程，目前假设物体几何形状精确且为刚性，同时物体姿态能被较好地追踪；而较大的重建误差或变形物体仍对其构成挑战。下一步很自然就是利用我们的流程，从各类仅依赖视觉的记录中构建大规模、带有接触标注的数据集。这些经过优化且基于物理的数据，随后可作为训练富含接触信息的机器人操控策略的宝贵新监督源，用于实现抓取、手中操控以及工具使用等任务，而无需依赖力矩传感器。将该框架扩展到双臂场景、不同机器人形态以及更复杂的接触关系，也是未来研究中令人期待的方向。 ## 参考文献 ## [^1]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Liu, D. Matsetuk, J. Kautz, and D. Fox, "Dexycb: A benchmark for capturing hand grasping of objects," in CVPR, 2021. 1, 5, 8 --- [^2]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnimate: A method for 3d annotation of hand and object poses,” in CVPR, 2020. 1 [^3]: Y. Li, Z. Yang, Y. Wang, F. Wu, Y. Zhu, and H.-X. Yu, “Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning,” in CVPR, 2025. 2, 3, 1 [^4]: N. Hansen, “The cma evolution strategy: A tutorial,” arXiv preprint arXiv:1604.00772, 2016. 2, 3 [^5]: Y. Shen, J.-H. Chen, P. Du, Z. Geng, Z. Geng, and C. Lu, "Dexmv: Imitation learning for dexterous manipulation from human videos," in ECCV, 2022. 2 [^6]: K. Shaw, Z. P. Li, Z. Huang, A. Prakash, M.-Y. Liu, J. Song, T.-C. Chang, T.-H. K. Huang, T.-Y. Yang, S.-H. Sun, and A. Garg, “Learning dexterity from internet videos,” in CoRL, PMLR, 2023. 2 [^7]: Y. Li, Z. Yang, Y. Wang, F. Wu, Y. Zhu, and H.-X. Yu, “Learning to transfer human hand skills for robot manipulation,” 2025. 2 [^8]: J. Orbik, S. Li, and D. Lee, “Human hand motion retargeting for dexterous robotic hand.” , 2021.2 [^9]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays, “Contactpose: A dataset of grasps with object contact and hand pose,” in ECCV, 2020. 2 [^10]: S. Brahmbhatt, C. Ham, C. C. Kemp, and J. Hays, “Contactdb: Analyzing and predicting grasp contact via thermal imaging,” in CVPR, 2019. 2 [^11]: P. Grady, C. Tang, C. D. Twigg, M. Vo, S. Brahmbhatt, and C. C. Kemp, “Contactopt: Optimizing contact to improve grasps,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1471–1481, 2021. 2 [^12]: Z. Li, J. Sedlar, J. Carpentier, I. Laptev, N. Mansard, and J. Sivic, “Estimating 3d motion and forces of person-object interactions from monocular video,” in CVPR, 2019. 2 [^13]: D. Rempe, L. J. Guibas, A. Hertzmann, B. Russell, R. Villegas, and J. Yang, “Contact and human dynamics from monocular video,” in Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2 [^14]: S. Hampali, T. Hodan, L. Tran, L. Ma, C. Keskin, and V. Lepetit, “In-hand 3d object scanning from an RGB sequence,” CVPR, 2023. 2 [^15]: E. Gärtner, M. Andriluka, H. Xu, and C. Sminchisescu, “Trajectory optimization for physics-based reconstruction of 3d human pose from monocular video,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13106–13115, 2022. 2 [^16]: D. Turpin, L. Wang, E. Heiden, Y.-C. Chen, M. Macklin, S. Tsogkas, A. Garg, S. Fidler, and D. Meger, “Grasp’d: Differentiable contact-rich grasp synthesis,” in ECCV, 2022. 2 [^17]: D. Turpin, L. Wang, E. Heiden, Y.-C. Chen, M. Macklin, S. Tsogkas, D. Meger, S. Fidler, and A. Garg, “Fast-grasp’d: Real-time arbitrary-object grasp synthesizer,” in ICRA, 2023. 3 [^18]: H. Zhang, S. Christen, Z. Fan, L. Zheng, J. Hwangbo, J. Song, and O. Hilliges, “Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation,” in 3DV, 2024. 3 [^19]: C. K. Liu, “Dexterous manipulation from a grasping pose,” ACM Trans. Graph., 2009. 3 [^20]: I. Mordatch, E. Todorov, and Z. Popović, “Discovery of complex behaviors via contact-invariant optimization,” in NIPS, 2012. 3 [^21]: E. Todorov, T. Erez, and Y. Tassa, “Mujoco: A physics engine for model-based control,” in 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 5026–5033, 2012. 3 [^22]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graph., vol. 36, no. 6, pp. 245:1–245:17, 2017. Presented at SIGGRAPH Asia 2017. 3 [^23]: S. Christen, M. Kocabas, E. Aksan, J. Hwangbo, J. Song, and O. Hilliges, “D-grasp: Physically plausible dynamic grasp synthesis for hand–object interactions,” in CVPR, pp. 20577–20586, 2022. 3, 2 [^24]: V. Makoviychuk, L. Wawrzyniak, Y. Guo, M. Lu, K. Storey, M. Macklin, D. Hoeller, N. Rudin, A. Allshire, A. Handa, et al., “Isaac gym: High performance gpu-based physics simulation for robot learning,” arXiv preprint arXiv:2108.10470, 2021. 6 ### [^25]: D. Yang, S. Li, B. Wang, Y. Ni, J. Zhang, J. Chen, P. Du, S. Cao, T. Wang, Z. Hu, and C. Lu, “Oakink2: Scaling up dexterous hand–object interaction understanding,” in CVPR, 2024. 1, 2 --- #### 抓取与抬起：通过物理循环优化实现可执行的3D手部-物体互动重建 补充材料 ##### A. 在其他手部-物体数据集上的结果 为了验证我们方法的鲁棒性，我们在OakInk-V2 [^25]数据集上进一步进行了测试，该数据集主要在ManipTrans [^3]中被使用。对于双臂操控任务，我们为每只手独立运用CMA-ES实例来简化实现过程，分别采样姿态。按照ManipTrans中的协议，我们使用60Hz频率下的OakInk-V2数据集，因此将关键帧间隔从5调整为10以保持时间一致性。 如图4所示的定性结果表明，我们的方法成功优化了动作捕捉演示。与ManipTrans相比，我们的方法能生成平滑得多的轨迹。通过三次样条插值生成中间控制参数，我们有效减轻了高频伪影，确保了单手及双臂任务的时间一致性（详见补充视频）。不过需要注意的是，优化时间与帧数呈线性比例关系。 ##### B. 重建的物理手部-物体互动 #### B.1. 物理互动 原本对齐视觉的轨迹仅为图像一致性而优化，往往存在诸如指尖悬空或深度穿透等物理层面的瑕疵，进而导致模拟失败（见图1）。我们的物理循环优化机制能将这些轨迹转化为具有几何上合理接触的、可重放的交互序列。优化后的结果既紧密贴合原始的视觉轨迹，又确保了符合物理规律的抓取与操控行为。 图6展示了在问题场景中的这种改进效果。香蕉示例中的明显悬浮现象以及碗示例中的严重穿插问题，都被转化为稳定且符合物理规律的抓取动作。这些结果表明，优化过程能够消除视觉与物理之间的不一致性，从而重建逼真的交互效果。图7中的更多示例进一步证实了该流程在不同物体几何形状及交互类型下的鲁棒性。 ##### B.2. 接触力 在将运动轨迹优化为符合现实的运动后，我们可以直接通过模拟器获取密集的接触信息。每一帧中，我们都会提取出时间对齐的接触位置、法向量以及手部和物体上的六自由度力矩，如图6右侧列所示。这使得每条优化后的序列都变成了包含丰富标注的物理交互记录，而不仅仅是一条纯运动轨迹。这些接触力可作为下游任务的宝贵监督信号，包括学习感知接触的策略、分析抓取稳定性以及力估计等。 ##### C. 实现细节 ##### C.1. 框架损失权重 我们优化了多项损失的加权和：包括被操纵物体的SE(3)位姿上的物体位姿损失$\mathcal{L}_{obj}$；基于3D MANO关键点（指尖部分权重更高）的手部位姿损失$\mathcal{L}_{hand}$；用于匹配模拟物体的六自由度速度与视觉对齐的物体轨迹所得到的有限差分速度的物体速度损失$\mathcal{L}_{obj-vel}$；指尖与推断出的物体接触点之间的接触距离损失$\mathcal{L}_{contact}$；以及两个平滑正则化项$\mathcal{L}_{cons}$（帧间控制一致性）和$\mathcal{L}_{hand-vel}$（手部本体速度）。 所有基于距离和速度的项均采用公制单位（米或米/秒）表示，而$L_{obj}$的旋转部分则以弧度为单位计量，并通过较小的旋转到平移比例与平移量混合，从而使厘米级的位姿误差比微小的方向差异更具主导性。在我们的主要3D关键点设置中，最大的权重被赋予$L_{obj}$和$L_{hand}$，$L_{obj-vel}$的权重与之相当，用于抑制物体的抖动；接触项$L_{contact}$的权重适中（约为位姿项的几分之一），而平滑项$L_{cons}$和$L_{hand-vel}$的权重则小两到三个数量级，仅作为软性正则化项使用。 ##### C.2. MuJoCo实现 所有优化过程均采用0.00416秒（240 Hz）的固定时间步长运行，使用隐式快速积分器以及迭代次数为10次、无滑移迭代次数为10次的牛顿求解器。仅启用手部与物体之间（以及物体与桌面之间）的碰撞检测。我们对所有发生碰撞的几何体使用同一组软接触参数，其中solimp设为(0.9, 0.99, 0.001)，solref设为(0.003, 1)，这样既能保证接触的稳定性，又能避免过度穿插现象。 --- ![Image](images/7872b9e05d3e26290cfed0a1d5a651e86184355894ffbc1cdab6cbfa6e08f1d6.jpg)
Figure 4. Qualitative comparison on OakInk-V2 [^25] dataset. Top row: original ground truth hand trajectory from OakInk-V2. Second row: retargeted trajectories produced by ManipTrans. Third row: trajectories refined by our method.
![Image](images/b70610b4d3b44c988f966846a9825c2202f1934603938cd416d0189e06b60b7c.jpg)
Figure 5. The PCA pose space of Arti-MANO [^23] hand model. The left-most image depicts the zero pose, while the remaining columns illustrate the effect of the first ten principal components (PCs). The effect of each PC is visualized by adding $\pm2$ standard deviation (std) to the mean pose, as indicated.
对于每个YCB物体，我们直接从DexYCB规范中获取其质量（例如香蕉的质量为0.066千克），并根据碰撞网格和该质量来计算对角惯性张量，以确保模拟动力学与数据集保持一致。经过改装的Arti-MANO手腕被刚性焊接到一个运动控制体上，我们通过solimp（0.8、0.95、0.01）和solref（0.01、1）来直接驱动该控制体沿优化后的视觉对齐轨迹移动。这个非物理的控制体使我们能够按需求精确重新定位手腕（相当于将其“瞬移”），同时手的其余部分仍会进行完整模拟并与物体发生物理交互。所有手指关节均由位置伺服电机驱动，其增益分别为$k_p = 50$、$k_v = 3$，关节控制范围约为$[-1, 1]$，这样改装后的Arti-MANO手就能精准地跟踪任意PCA姿态；这些参数在所有实验中均保持不变。 图5展示了Arti-MANO手模型对应于每个主成分（PC）的变化情况。如图所示，初始几个主成分会引起最显著的几何变化，而后续主成分的影响则逐渐减弱。这一观察结果表明，前10个主成分足以表示大多数合理的手部姿态。 --- ![Image](images/1de81183a50b96cd4dabb492b9ce2f76f29193d5f3011686cfa64735c29ce984.jpg) ![Image](images/aecce5b780bff4a6bfd11cb4d859f0dca7f2185205e7ab7ce876cf9c63928cba.jpg) ![Image](images/76815a4bb52f476e7ba8d5976b5a4b94ca9e541948b288355eff2cac5ae08b8f.jpg)
Figure 6. Reconstructed physical hand–object interactions. Left: ground-truth RGB frames overlaid with the optimized simulated hand and object meshes, visualized on both the hand and the object. Middle: replay of the same optimized hand trajectory in the physics simulator using only the interactable object. Right: contact information visualized (contact locations and force magnitudes). The top four rows show a banana scene and the bottom four rows a bowl scene. In both cases, refinement eliminates the original fingertip–object gaps and severe interpenetration, yielding physically plausible trajectories and stable interactions.
--- ![Image](images/4de97ec76ea9c0c2137aa4da372bbab4e3e7a53b78fbecbfe91a8cd816196d74.jpg)
Figure 7. Additional examples across diverse scenes. We show multiple DexYCB sequences containing different objects and grasp types. For each sequence, our refinement produces physically valid hand–object interactions and yields diverse, object-dependent contact locations and force patterns.