# STABLEGRASP：从单张图像重建物理稳定的人手抓取姿态 江涵、埃蒂安·武加、黄启星、乔治奥斯·帕夫拉科斯 计算机科学系 德克萨斯大学奥斯汀分校 美国德克萨斯州奥斯汀市，邮编78712 , , ![Image](images/e695cd98f087b73722cd6e67b4e850119d844f9e9c83595a2f8b8f676c738518.jpg)
Figure 1: Given a single image of a human hand grasping an object, our method reconstructs the object, the pose of the human hand, and how the hand physically applies forces. Our reconstructed grasps are not only faithful to the images, but also physically stable.
## 摘要 从单张RGB图像中重建物理稳定的人手抓取姿态是一项极具挑战性的任务，因为对抓取过程的物理建模本身就十分困难，且该问题不仅需要估计受视觉约束的手部姿态，还要确定能够稳定抓取的控制目标。现有方法要么仅建模视觉层面的手部几何结构而忽略物理因素，要么依赖合理性较低的物理建模方式，这限制了最终生成抓取姿态的物理有效性。在本文中，我们提出了StableGrasp——一种基于可微模拟的优化框架，它能够明确分离视觉层面的手部姿态与决定抓取力的控制目标。我们的方法通过在一个可微模拟器中最小化抓取过程中的动能，来联合优化手部几何结构与控制参数，同时对手部几何结构施加正则化约束，以保留视觉一致性与几何合理性。经严格物理模拟验证，重建出的抓取姿态稳定性显著提升，且仍能与输入图像保持视觉一致，具备几何合理性。实验表明，与其他手部控制策略相比，我们的方法能生成稳定性更高的抓取姿态，能够助力仅依赖视觉的抓取重建流程，将其输出结果转化为物理稳定的抓取姿态。 ## 1 引言 理解人类如何抓取物体，是具身智能、计算机视觉与计算机图形学交叉领域的一个基础性问题。从图像中精确重建手-物抓取姿态，对于数字人建模、AR/VR、基于人类演示的机器人学习，以及对灵巧操作的一般性理解等诸多应用场景而言都至关重要。 --- 现有的手-物重建方法在从图像中恢复视觉上合理的抓取姿态方面已取得令人瞩目的进展。无论是基于优化的方法（Liu等人，2024年），还是前馈模型（Chen等人，2025年；Pavlakos等人，2024年；Potamias等人，2025年；Wang等人，2025年），如今都能生成高质量的3D手部姿态，其手-物空间关系也与输入图像保持一致。然而，这些方法大多止步于视觉保真度层面：对姿态的评估仅基于重建精度、姿态一致性及/或几何合理性（即手部与物体接触但不会穿透物体）。某些抓取姿态在3D渲染中看起来颇具说服力，但在现实中却无法执行，或是物理上并不稳定。 近期的研究（下文第2节将进行综述）意识到了物理因素在抓取重建与合成中的重要性。常见做法是分析被抓取物体的稳定性，即依据力闭合特性来判断：在固定的一组接触点上，摩擦接触力是否原则上足以抵抗重力将物体固定在原位。但这种分析并未涉及手部应有的姿态与驱动方式，即便如此，若手部无法产生并维持所需的接触力，相应的抓取仍可能无法实现。 我们认为，稳定的抓取重建本质上是一个控制问题，不能将其视为脱离关节扭矩推断的视觉或几何优化任务——只有依靠这些扭矩才能长时间将物体稳定地固定在原位。例如，一只手看似捏住了杯子，但如果捏合力不足或分布不均，杯子就会滑落或倾倒，而无法保持稳固。因此，我们提出了StableGrasp，一种单目稳定人类抓取重建方法，它从手与物体在模拟环境中的耦合动力学角度来评估稳定性。StableGrasp还具备出色的视觉稳定性：重建后的姿态与图像观测结果高度吻合，且在模拟过程中，重建的抓取状态几乎保持静止。据我们所知，StableGrasp是首个同时追求严格的物理稳定性和视觉保真度的方法。 我们在多个经典数据集（DexYCB（Chao等人，2021年）、HO3D（Hampali等人，2020年）和CORe50（Lomonaco & Maltoni，2017年））上对我们的方法进行了评估，并与启发式方法（Zhong等人，2025年）及基于学习的方法（Christen等人，2022年）等基线模型进行了对比。结果表明，与这些基线方法相比，StableGrasp在大幅提升物理稳定性的同时，还能生成在视觉上与图像一致且几何上合理的重建抓取结果。 总结如下： - 我们通过对手-物系统进行全面前向模拟，定义了物理稳定性的概念，并以此为基础构建单目稳定人类抓取重建框架； - 我们提出了一种两阶段基于物理的优化框架，该框架引入了以动能驱动的优化算法来实现稳定抓取重建，同时保留了重建抓取的视觉与几何保真度； - 我们利用这一框架搭建了一套完整的单目重建流程，既能恢复视觉上的抓取构型，也能得到能在物理模拟中稳定抓取的关节扭矩控制目标。 ## 2 相关工作 人类手部抓取重建：从图像观测中恢复人手及被抓取物体的三维姿态，一直是计算机视觉领域的研究热点。仅针对手部重建的方法旨在估计三维手部的姿态与形状（Boukhayma等人，2019年；Ge等人，2019年；Lin等人，2021b;a；Pavlakos等人，2024年；Potamias等人，2025年）。手-物重建方法则还会估计物体的几何形状以及手与物体之间的空间关系。针对这一问题的研究提出了多种思路，包括利用交互约束（Tekin等人，2019年；Hasson等人，2019年）、考虑接触情况的优化（Grady等人，2021年）、隐式手-物表示（Chen等人，2022年；2023b；Qi等人，2024年）、统一的手-物估计（Wang等人，2025年；Liu等人，2024年），或是通过手部引导来重建被握物体的几何形状（Ye等人，2022年；Zhang等人，2023年；Li等人，2023b；Fu等人，2024年；Aytekin等人，2026年；Chen等人，2025年；Wu等人，2024年）。其中许多方法采用MANO（Romero等人，2017年）这一参数化模型来表示手部，该模型能将手部姿态与形状映射为蒙皮网格。 --- 然而，这些方法仅致力于恢复与输入观测一致的、视觉上合理的手部与物体姿态，而StableGrasp的重建结果则具有物理稳定性，这一点已通过手-物系统的前向模拟得到了验证。 考虑静态手部的物理感知抓取：恢复在重力作用下仍能保持稳定的抓取这一更严格的问题也受到了广泛关注。“物理稳定性”有多种建模方式。一种简化的方法是仅考虑单向的手部→物体耦合，并根据物体与静态手部接触的一组接触点处所施加的接触力来分析物体的稳定性。 机器人领域的经典抓取理论通过力闭合和抓取力矩空间分析来研究这一问题（Ferrari & Canny, 1992; Bicchi & Kumar, 2001），该方法用于评估接触力是否能够抵抗外部物体力矩。这类准静态准则已被广泛用于灵巧抓取的合成与评估（Liu et al., 2022; Zurbrüg et al., 2025; Wang et al., 2022; Zhang et al., 2024a; Chen et al., 2023a; Li et al., 2023a）。类似地，Grasp'D（Turpin et al., 2022）和Fast-Grasp'D（Turpin et al., 2023）等研究通过基于仿真的稳定性目标来优化手部配置，而DeepSimHO（Wang et al., 2023）和UGG（Lu et al., 2024）则利用学习到的仿真替代模型来优化重建的相互作用过程。其他方法将指尖处的显式接触力作为优化变量（Hu et al., 2022; Luo et al., 2024），或者强制在接触点处遵循受物理规律约束的滑动与穿透先验（Zhang et al., 2024b）。 对于静态手部而言，物体的稳定性并不能说明驱动型手部能否产生所需的接触力，也无法保证能长时间维持抓取状态。相比之下，我们的方法对驱动型手部与物体之间的完整双向耦合进行建模。我们不仅重建出符合接触要求的手部姿态，还确定了控制目标——该目标产生的关节扭矩能够实现这些接触，并能在前向仿真中保持抓取的稳定性。 具有双向耦合的物理感知抓取：视觉或几何上看似合理的手部姿态并不等同于稳定的抓取，除非它搭配了合适的控制策略，能够在长时间内将手部与物体固定在原位。正如机器人领域的一系列研究所示（Chen et al., 2024; Jiang et al., 2024; Xu et al., 2023; Yuan et al., 2024; Lum et al., 2024），稳定的抓取本质上是一个控制问题，而不仅仅是几何优化或姿态估计问题。 尽管有几项研究纳入了手部控制环节，但并未严格建模双向耦合关系。Zhao等人（2022）在模拟的稳定性准则下优化单目重建结果，通过从未经过优化的启发式控制将手部保持在重建的姿态下，这限制了最终结果的稳定性。HOIC（Hu et al., 2024）在仿真中模拟手-物相互作用，但它允许直接对物体施加额外的补偿力和力矩，因此物体并非仅由双向耦合的物理规律驱动。相比之下，D-Grasp（Christen et al., 2022）和Grasp-and-Lift（Choi et al., 2026）建模了严格的双向耦合：D-Grasp学习了一种通过PD目标来控制手部的策略，Grasp-and-Lift则利用带物理反馈的优化来细化视觉对齐的手-物轨迹。不过，这两项研究都聚焦于动态场景，即控制策略会随时间变化以维持抓取。我们的方法则应用于静态场景：不可观测的控制量由一个固定的PD目标表示。这对抓取重建提出了独特的约束，因为必须在不随意改变可见的抓取形态、也不调整动态轨迹上的控制目标的前提下解释稳定性。 ## 3 方法论 我们的目标是从一张人类手部握住物体的单张RGB图像中，重建出：(a)物体的几何形状，(b)手部的形状和姿态，以及(c)在仿真中维持手-物系统稳定的关节力矩和接触力表示。 要判定重建成功，不仅要求重建结果在视觉上与图像中观察到的手部和物体一致；还要求抓取动作是稳定的：即重建出的手部和关节力矩能够在摩擦接触的作用下将物体固定在原位，且手部和物体均无明显运动，这一结果需通过物理仿真来验证。 --- 手部与物体的表示：我们采用MANO（Romero等人，2017年）作为视觉手部模型。一个MANO手部网格$\mathcal{M}_h^v = \mathcal{M}_{\text{MANO}}(\mathbf{q}_h^v, \boldsymbol{\beta}_h^v)$由手部形状参数（如手指长度）$\boldsymbol{\beta}_h$和手部姿态$\mathbf{q}_h^v = (\mathbf{t}_h^v, \boldsymbol{\theta}_h^v) \in \mathbb{R}^{51}$共同描述，其中$\mathbf{t}_h^v \in \mathbb{R}^3$表示手部的全局平移量，$\boldsymbol{\theta}_h^v \in \mathbb{R}^{48}$包含一个3D腕部旋转参数和十五个3D手指关节旋转参数（五个手指各三个关节）。对于物体而言，我们的目标是重建出能表征其边界的封闭流形三角网格$\mathcal{M}_o$。 上述表示仅具备视觉和几何属性，不具备物理特性，因此需要进行仿真适配处理。对于手部，我们使用一个代理模型$\mathcal{H}(\mathbf{q}_h^v; \boldsymbol{\beta}_h)$：该代理模型是一个刚体，其参数与MANO手部的姿态和形状参数一致。对于物体，我们假设它是一个密度已知且均匀的单一刚体$\rho_o$。 什么是稳定抓取？仅有适配仿真的手部和物体还不足以评估抓取是否稳定。手部姿态决定了与物体的接触点，但这些接触点的受力情况取决于手部关节力矩（即手部握持物体的方式），而这些信息在输入图像中无法被察觉。因此，重建稳定抓取需要推断出这些未知的关节力矩。 已知物体因重力产生的加速度$\mathbf{g} \in \mathbb{R}^3$（我们假设该数值已知），从概念上讲，如果接触力和力矩能够恰好平衡重力（针对物体而言）以及关节力矩（针对手部而言），使得两者随时间均保持静止，那么这种抓取就是稳定的。不过，要将这一关于抓取稳定性的概念具体化时存在若干复杂情况： 首先，模拟抓取过程需要选择接触模型、时间积分器以及其他仿真参数。我们选用最先进的MuJoCo（Todorov等人，2012年）库作为仿真引擎。时间步t时的完整手-物配置为$\mathbf{x}_t = (\mathbf{q}_{h,t}, \mathbf{q}_{o,t})$，其中$\mathbf{q}_{o,t} \in \mathbb{R}^6$代表物体的平移和旋转信息。从初始配置$\mathbf{x}_0 = (\mathbf{q}_h^v, \mathbf{0})$且初始配置速度为零开始，我们利用MuJoCo将系统演化T个时间步，若满足$\mathbf{x}_t \approx \mathbf{x}_0$且$t \leq T$，则判定该抓取是稳定的。 其次，即便在一开始的仿真时间步中，一组关节力矩及其产生的接触力恰好能平衡重力，但并不能保证在整个时间范围T内，每个时间步都施加相同的力矩就能产生静止的仿真轨迹$\mathbf{x}_t = \mathbf{x}_0$。任何微小的力或力矩残差（比如由浮点误差或时间积分误差导致）都会开始加速手和物体，以至于随着时间的推移，$\mathbf{x}_t$会逐渐偏离$\mathbf{x}_0$。遵循机器人领域的常规做法（Andrychowicz等人，2020年），我们并不直接重构固定的关节力矩，而是重构一个目标手姿$\mathbf{q}_{h}^{target} \in \mathbb{R}^{51}$。每个仿真时间步的关节力矩由PD（比例微分）控制器给出。直观来说，这是一种手试图通过关节驱动来到达的独立手姿（通常会与物体相交）。 ![Image](images/c7892a37b7c733c28ec25aac3e1d2ec19b97396129c917c3adab7105ae41b426.jpg)
Figure 2: Pipeline overview. We first obtain a visual reconstruction of the hand and the object and make them simulation-ready. Then we refine the grasp with two-phase optimization. Starting from the second phase, a physics-based kinetic energy (KE) loss jointly optimizes the visual hand pose and the control target. The visual hand pose is also constrained by regularization terms.
### 3.1 流程 给定单张RGB图像I，以及物体密度$\rho_o$和重力$\mathbf{g}$，我们的流程会重构出：物体的网格$\mathcal{M}_o$；MANO手形参数$\boldsymbol{\beta}_h$；以及视觉手姿参数$\mathbf{q}_h^v$， --- 所有这些都与图像保持一致；同时还会得到目标手姿$\mathbf{q}_{h}^{\text{target}}$，使得物体和手在物理仿真的T个时间步之后仍能保持静止。 如图2所示，我们的流程包含两步。视觉初始化步骤无需考虑物理因素，仅从图像中估算出$\mathcal{M}_o$、$\beta_h$和$\mathbf{q}_h^v$。基于可微物理的优化（下文第3.2节会详细介绍）会对估算出的手姿进行精细化调整。在此过程中，我们会固定$\mathcal{M}_o$和$\beta_h$，寻找能够解释抓取稳定性的目标手姿$\mathbf{q}_h^{\text{target}}$。视觉手姿$\mathbf{q}_h^v$也会同时被优化。 我们使用HORT（Chen等人，2025年）来进行初始的手和物体重建。HORT的手部分支会从输入图像中预测MANO手姿$\mathbf{q}_h^v$和形状参数$\beta_h$；其物体分支则预测3D物体点云。随后我们利用alpha-shape网格化技术（Edelsbrunner & Mucke，1994年）从点云中重构出封闭的物体表面，再使用CoACD（Wei等人，2022年）对网格进行凸分解，使其能在MuJoCo中用于仿真。 ![Image](images/2a933ababeedd546d50aaa6a713fec66573c611600b2f01163bf68a1f6b5f196.jpg)
Figure 3: Differentiable physics-based optimization. The visual hand pose $\mathbf{q}_{h}^{v}$ initializes the hand–object system, while the fixed control target $\mathbf{q}_{h}^{\text{target}}$ drives a PD controller during simulation. During physics-based refinement, both poses are jointly optimized using the total hand–object kinetic energy accumulated over the first $T_{o}$ timesteps and visual and geometric regularization of the visual pose.
### 3.2 基于可微物理的优化 如图3所示，我们流程的第二步会同时精细化视觉手姿$\mathbf{q}_{h}^{v}$并计算目标手姿$\mathbf{q}_{h}^{\text{target}}$。我们通过优化一个直接衡量稳定性的目标函数来实现这一点，同时加入视觉和几何正则项，以保证手姿与图像一致且不会穿透物体内部。 动能目标 回想一下，若视觉手姿和目标手姿对$\left(\mathbf{q}_{h}^{v}, \mathbf{q}_{h}^{target}\right)$在时间步之间广义构型的变化可以忽略不计，则该对手姿就是稳定的：$\mathbf{x}_{t+1} \approx \mathbf{x}_{t} \approx \mathbf{x}_{0}$。由于构型位移上自然的无坐标度量就是动能，因此我们使用仿真手-物系统的总动能——在$T_{o}$个前向仿真步长内积分得到（其中$T_{o} \ll T$）——来衡量稳定性。我们选用较短的时间范围，是因为不稳定性会在最初几个时间步内就显现出来。这在实际操作中也便于高效地进行反向传播。 令 $\dot{x}_t$ 表示系统的构型速度，而 $\mathbf{M}(\mathbf{x}_t)$ 表示广义质量矩阵（其中包括手和物体的质量和惯性张量）。随后，我们累加前 $T_o$ 个仿真步长内的动能，并将物理稳定性项定义为 $$ \mathcal{L}_{\mathrm{K E}}=\sum_{t=1}^{T_{o}}\frac{1}{2}\dot{\mathbf{x}}_{t}^{\top}\mathbf{M}(\mathbf{x}_{t})\dot{\mathbf{x}}_{t}. $$ 视觉与几何目标：我们通过四项约束来规范视觉手姿态 $\mathbf{q}_h^v$，以确保其与图像一致且不会穿透物体。二维重投影项 $\mathcal{L}_{\text{obs}}$ 会惩罚投影后的三维手关节与 HORT 估算的二维关节位置之间的 $L_1$ 距离。在手部代理模型 $\mathcal{H}$ 上采样 N 个点，并计算它们到物体表面的有符号距离；穿透项 $\mathcal{L}_{\text{int}}$ 会对位于物体内部的点进行惩罚，同时 --- 粘附项 $\mathcal{L}_{\mathrm{adh}}$（遵循 Liu 等人于 2024 年提出的视觉抓取优化方法）会将外部非手掌点拉向物体表面以促进接触形成。手掌点被排除在外，因为刚性的手掌代理模型无法像可变形的真人手掌那样对稳定性做出贡献。关节限制项 $\mathcal{L}_{\mathrm{lim}}$ 会阻止不合理的姿态，同时不影响可行的姿态。我们将这四项及其对应权重合并为正则化损失 $\mathcal{L}_{\mathrm{reg}}$。 两阶段优化：我们以 HORT 在视觉初始化步骤中提供的视觉手姿态作为 $\mathbf{q}_h^v$ 的初始猜测值。随后分两个阶段进行优化。在第一阶段，我们执行视觉预热过程，此时仅最小化 $\mathcal{L}_{\text{reg}}$。这一阶段旨在减少严重的穿透现象，并在基于仿真的精细化处理之前建立起合理的手-物接触姿态。在此阶段，$\mathbf{q}_h^v$ 会被更新为 $\mathbf{q}_{warmup}^v$。在第二阶段，我们将目标姿态 $\mathbf{q}_{target}^v$ 初始化为 $\mathbf{q}_{warmup}^v$，激活动能项，并优化完整的目标函数。 $$ \mathcal{L}_{\mathrm{f u l l}}=\lambda_{\mathrm{K E}}\frac{\mathcal{L}_{\mathrm{K E}}(\mathbf{q}_{h}^{v},\mathbf{q}_{h}^{\mathrm{t a r g e t}})}{\mathcal{L}_{\mathrm{K E}}^{(0)}}+\lambda_{\mathrm{r e g}}\frac{\mathcal{L}_{\mathrm{r e g}}(\mathbf{q}_{h}^{v})}{\mathcal{L}_{\mathrm{r e g}}^{(0)}}. $$ 此处，$\mathcal{L}_{\mathrm{KE}}^{(0)}$ 和 $\mathcal{L}_{\mathrm{reg}}^{(0)}$ 是在第二阶段开始时——即预热结果基础上——评估得到的两个损失项的值。这种归一化处理补偿了两个损失项之间的尺度差异，从而使其相对影响由 $\lambda_{\mathrm{reg}}$ 和 $\lambda_{\mathrm{KE}}$ 来控制，而非仅仅取决于损失的原始数值大小。 ## 4 实验 ### 4.1 实验设置 数据集：我们在 DexYCB（Chao 等人，2021）、HO3D（Hampali 等人，2020）和 CORe50（Lomonaco & Maltoni，2017）数据集上进行评估，其中 DexYCB 和 HO3D 使用 HORT（Chen 等人，2025）的测试集。我们的基准测试包含来自 81 个 DexYCB 序列的 242 张图像、来自 10 个 HO3D 序列的 100 帧画面，以及 20 张人工挑选的、包含多样化物体和手姿的非实验室环境 CORe50 图像。DexYCB 图像是选定相机视角下的最终帧，能清晰显示手-物交互情况；HO3D 帧则是在序列末尾进行时间采样得到的，可展现正在进行的操作过程。 对于 DexYCB 和 HO3D，物体密度遵循 YCB 统计数据（Calli 等人，2015）。而对于既无三维标注也无物体质量的 CORe50，我们采用 1000 kg/m³ 的数值。重力方向近似为相机朝下，其大小为 9.8 m/s²。 实现细节：我们采用MuJoCo XLA（MJX）（Todorov等人，2012年；Bradbury等人，2018年），利用固定模板根据HORT估算的MANO形状自动生成每个手部代理模型，该模型包含方形手掌（Christen等人，2022年）和胶囊状手指连杆（Bogo等人，2016年）。每次优化迭代会通过$T_{o} = 20$个仿真步骤进行微分计算，每个步骤时长为2毫秒。基于物理的优化在200次迭代后若损失改善不足则会提前终止。评估时采用0.2毫秒的步长，持续时间为T = 5秒，以减少积分误差，且所有场景均采用统一的PD增益参数。 ### 4.2 评价指标 物理稳定性：我们通过3D MPJPE（Ionescu等人，2013年）来衡量从初始状态到最终状态的手部运动情况，该指标对比的是仿真中初始与最终关节位置；同时还会考察物体的质心平移量和旋转角度。成功率为那些在整个仿真过程中物体中心始终位于初始位置1厘米范围内的抓取次数占比。掉落时间则是指在抓取失败的情况下，物体首次超出该阈值所需的平均时间。 视觉稳定性：我们通过物体掩码IoU和手部PCK（Yang & Ramanan，2012年）来对比初始与最终的图像投影结果。PCK@$\tau$指的是在归一化图像坐标下，位移小于$\tau$的21个投影关节所占的比例。 --- ![Image](images/b7a3f5f07e9bdacf2f5aeffe47cc3048057a68bbed89e5a247855fe2af20d223.jpg)
Table 1: Qualitative comparisons. Examples from all three datasets show object drops or visible hand–object motion with PPO and Pinching, while our method preserves stable grasps. Even when the baselines retain the object, their larger shifts are readily noticeable. The target visualizations (control targets shown in blue) show how our method flexibly adjusts the control target to achieve stability, compared with the prescribed inward displacement of Pinching.
重建质量：对于DexYCB和HO3D数据集，我们利用3D MPJPE和2D PCK指标将$q_h^v$与对应的标注结果进行对比。这些基于RGB-D观测数据得到的MANO拟合模型（Chao等人，2021年；Hampali等人，2020年）并未考虑抓取动力学因素，且可能存在物体穿透现象（Wang等人，2023年；Hampali等人，2021年）。接触效果取决于精细的表面几何形状和组织形变（Grady等人，2021年）；因此，要让刚性代理模型和重建物体之间保持稳定接触，可能需要相对于这些视觉参考系调整姿态。 ### 4.3 基线对比 我们将StableGrasp与用于通过手部控制来稳定重建抓取的其他方法进行对比：包括启发式捏取策略，以及经过训练的实例特定PPO基线。每种基线都明确了手部的控制方式，从而能够在手部-物体系统的前向仿真中比较不同方法的抓取稳定性。对于所有基线而言，我们均将手部姿态初始化为通过视觉预热优化计算得到的结果。 启发式捏取：一种常用的（Wang等人，2022年；Liu等人，2024年）无需物理驱动优化即可稳定抓取的启发式方法，是设定一个目标手部姿态$\mathbf{q}_{h}^{target}$，使每个手指沿接触法线方向插入物体一定固定距离。随后利用PD控制器根据该目标姿态计算关节扭矩。我们选取DexGraspAnything（Zhong等人，2025年）的方法作为此类方法的代表。 PPO：我们研究了基于学习的抓取稳定方法，采用了从D-Grasp（Christen等人，2022年）改进而来的实例特定PPO基线。每个策略均以预热后的抓取姿态为起点，分别进行训练，并且在评估仿真过程中能够实时更新手指的PD目标值。在我们的实验中，有5个样本因策略训练时出现数值错误而被排除。 ---
Table 2: Physical and visual stability (mean $\pm$ standard deviation) on 357 common examples (DexYCB: 239; HO3D: 99; CORe50: 19), excluding five PPO training failures. All methods use a 1 cm displacement threshold. Motion, IoU, and PCK compare initial and final saved states of successful grasps; Success Rate uses all examples. Our method achieves substantially higher success rates while maintaining much more stable hand and object poses.
DatasetMethodMPJPE (mm) $\downarrow$Obj. trans. (mm) $\downarrow$Obj. rot. (°) $\downarrow$Object IoU $\uparrow$PCK $\uparrow$ @0.025PCK $\uparrow$ @0.05Success rate $\uparrow$Drop time (s) $\uparrow$
DexYCBPPO$4.6 \pm 2.5$$4.5 \pm 2.8$$6.40 \pm 4.57$$0.88 \pm 0.09$$0.86 \pm 0.10$$0.93 \pm 0.07$39.33%$0.28 \pm 0.70$
Pinching$2.7 \pm 0.8$$5.9 \pm 1.9$$4.66 \pm 2.79$$0.87 \pm 0.08$$0.95 \pm 0.06$$1.00 \pm 0.01$64.02%$0.52 \pm 0.91$
Ours$0.2 \pm 0.2$$1.2 \pm 1.9$$1.07 \pm 1.57$$0.97 \pm 0.05$$1.00 \pm 0.00$$1.00 \pm 0.00$87.45%$0.80 \pm 1.09$
HO3DPPO$4.2 \pm 1.5$$5.8 \pm 2.2$$9.87 \pm 5.18$$0.84 \pm 0.05$$0.81 \pm 0.10$$0.92 \pm 0.08$32.32%$0.59 \pm 0.94$
Pinching$2.6 \pm 0.6$$5.3 \pm 1.8$$3.40 \pm 2.47$$0.89 \pm 0.05$$0.93 \pm 0.07$$1.00 \pm 0.00$63.64%$0.53 \pm 1.06$
Ours$0.2 \pm 0.2$$1.2 \pm 1.4$$0.88 \pm 1.03$$0.97 \pm 0.03$$1.00 \pm 0.00$$1.00 \pm 0.00$88.89%$0.36 \pm 0.64$
CORe50PPO$5.2 \pm 1.7$$3.5 \pm 1.2$$7.52 \pm 7.12$$0.91 \pm 0.04$$0.83 \pm 0.06$$0.90 \pm 0.04$47.37%$0.51 \pm 0.98$
Pinching$2.3 \pm 0.8$$6.1 \pm 1.4$$4.03 \pm 1.76$$0.86 \pm 0.06$$0.98 \pm 0.04$$1.00 \pm 0.00$73.68%$0.28 \pm 0.38$
Ours$0.3 \pm 0.5$$1.4 \pm 2.1$$2.27 \pm 4.30$$0.96 \pm 0.07$$1.00 \pm 0.00$$1.00 \pm 0.00$78.95%$1.27 \pm 1.95$
Table 3: Hand reconstruction quality before optimization (HORT), after visual warm-up, and after the full pipeline (mean $\pm$ standard deviation).
DatasetStageMPJPE-3D (mm) $\downarrow$PCK@0.025 $\uparrow$PCK@0.05 $\uparrow$
DexYCBHORT$7.7 \pm 3.2$$0.68 \pm 0.20$$0.92 \pm 0.11$
After warm-up$11.0 \pm 3.8$$0.62 \pm 0.20$$0.91 \pm 0.12$
Ours$11.3 \pm 3.8$$0.60 \pm 0.20$$0.89 \pm 0.12$
HO3DHORT$5.6 \pm 3.9$$0.72 \pm 0.24$$0.94 \pm 0.11$
After warm-up$10.7 \pm 4.5$$0.60 \pm 0.22$$0.88 \pm 0.14$
Ours$11.0 \pm 4.4$$0.59 \pm 0.22$$0.87 \pm 0.15$
#### 4.3.1 定性结果 表1对比了输入图像、重建的抓取结果、最终的仿真状态，以及优化后的目标姿态可视化结果。仅仅不掉落物体并不能证明抓取是稳定的，因为明显发生偏移的手部并非图像中所呈现的稳定状态。与基线方法相比，StableGrasp显著减少了手部和物体的运动幅度。 #### 4.3.2 定量结果 表2显示，在所有三个数据集上，StableGrasp的成功率均高于两个基线模型，且手部与物体的运动幅度更小，图像空间稳定性也更好。需要注意的是，成功率并不能完全反映抓取的稳定性：物体可能会随时间显著偏离输入图像中所描绘的姿态，但并不会完全掉落。表2中的指标表明，StableGrasp成功重建出了在严格的正向物理模拟下仍能保持稳定的抓取。 表3量化了沿处理流程手部姿态的变化情况。大部分变化发生在视觉预热阶段，而基于物理的优化对姿态的调整幅度很小。这是由于我们用于模拟的手部代理、重建的物体以及作为参考的数据集标注之间存在差异，因此物理上有效的抓取未必会与标注姿态完全一致。这是追求几何与物理合理性及稳定性的必然结果；定性结果也表明，我们的重建结果在视觉上与输入图像保持一致。 ### 4.4 消融实验 我们选取了86个样本（61个来自DexYCB数据集，25个来自HO3D数据集）进行预热阶段的消融实验，两组实验的最大迭代预算相同：一组为600次预热迭代加2000次基于物理的迭代，另一组则直接进行2600次基于物理的迭代，不进行预热。 --- 两组实验均采用第4.3节实验中使用的提前停止机制。去除预热阶段后，成功率从90.70%降至76.74%，且两个数据集上的手部运动幅度均有所增加（见表4），这证明了接触点初始化的重要性。
Table 4: Visual warm-up ablation on 86 test cases. Metrics and aggregation follow Table 2; values are mean $\pm$ standard deviation.
DatasetMethodMPJPE (mm) $\downarrow$Obj. trans. (mm) $\downarrow$Obj. rot. ( $^{\circ}$) $\downarrow$Object IoU $\uparrow$PCK $\uparrow$ @0.025Success rate $\uparrow$Drop time (s) $\uparrow$
DexYCBNo warm-up0.4 $\pm$ 0.61.1 $\pm$ 1.71.15 $\pm$ 2.170.98 $\pm$ 0.041.00 $\pm$ 0.0078.69%0.07 $\pm$ 0.05
Warm-up0.2 $\pm$ 0.21.1 $\pm$ 2.10.94 $\pm$ 1.560.97 $\pm$ 0.041.00 $\pm$ 0.0091.80%0.06 $\pm$ 0.01
HO3DNo warm-up0.3 $\pm$ 0.31.1 $\pm$ 1.90.88 $\pm$ 1.470.98 $\pm$ 0.051.00 $\pm$ 0.0072.00%0.04 $\pm$ 0.01
Warm-up0.2 $\pm$ 0.31.3 $\pm$ 1.40.93 $\pm$ 1.020.97 $\pm$ 0.041.00 $\pm$ 0.0088.00%0.05 $\pm$ 0.00
Figure 4 further shows how each warm-up regularizer contributes to a plausible initial grasp.
![Image](images/e581050dd8527731b6079f64661487757bfd15e0f6307af7f76fb75275e12767.jpg)
Figure 4: Visual warm-up ablations. Left: input and HORT initialization as references. Right: complete warm-up (top) and individual regularizer ablations (bottom), with matching views in each column. Without $\mathcal{L}_{\mathrm{obs}}$, the reconstructed grasp drifts from the input image. Without $\mathcal{L}_{\mathrm{lim}}$, the middle finger's distal joint exhibits severe, biomechanically implausible twisting. Without $\mathcal{L}_{\mathrm{int}}$, the hand penetrates deeply into the object. Without $\mathcal{L}_{\mathrm{adh}}$, the fingers make insufficient contact with the object.
## 5 结论 我们提出了StableGrasp，这是一种从单张RGB图像中重建稳定人类抓取的方法。该方法通过联合优化视觉手部姿态与PD控制目标，在满足视觉与几何约束的同时，最小化手-物耦合系统的动能。实验表明，与基线模型相比，该方法能提升抓取稳定性，同时还能保持与输入图像的一致性。 局限性与未来工作：我们的局部姿态优化将物体几何形状视为固定不变，因此依赖于初始重建结果。Alpha形状网格化可能会扭曲薄型物体，还会填充凹面或中空结构。在我们测试的362个样本中，有27例失败是由于物体重建误差导致的，占全部失败案例的27%。刚性的手部代理忽略了局部组织形变，这会影响接触几何与力的传递。未来的研究可以将更精准的物体重建技术与可变形手部模型相结合。 --- ## 参考文献 OpenAI：Marcin Andrychowicz、Bowen Baker、Maciek Chociej、Rafal Józefowicz、Bob McGrew、Jakub Pachocki、Arthur Petron、Matthias Plappert、Glenn Powell、Alex Ray、Jonas Schneider、Szymon Sidor、Josh Tobin、Peter Welinder、Lilian Weng和Wojciech Zaremba。学习灵巧的手持操作。《国际机器人研究杂志》，第39卷第1期：3–20页，2020年1月。ISSN 0278-3649。doi:10.1177/0278364919887447。URL 。 Ayce Idil Aytekin、Helge Rhodin、Rishabh Dabral和Christian Theobalt。跟随我的握持：通过几何引导重建手-物交互。《国际3D视觉会议》，2026年。 Antonio Bicchi和Vijay R. Kumar。机器人抓取与操纵。2001年。URL 。 Federica Bogo、Angjo Kanazawa、Christoph Lassner、Peter Gehler、Javier Romero和Michael J. Black。Keep it smpl：从单张图像自动估计三维人体姿态与形状。收录于Bastian Leibe、Jiri Matas、Nicu Sebe和Max Welling主编的《计算机视觉——ECCV 2016》一书，第561–578页，Cham，2016年。Springer International Publishing出版。ISBN 978-3-319-46454-1。 Adnane Boukhayma、Rodrigo de Bem和Philip HS Torr。基于野外图像的3D手部形状与姿态估计。收录于《IEEE计算机视觉与模式识别会议论文集》，第10843–10852页，2019年。 James Bradbury、Roy Frostig、Peter Hawkins、Matthew James Johnson、Yash Katariya、Chris Leary、Dougal Maclaurin、George Necula、Adam Paszke、Jake VanderPlas、Skye Wanderman-Milne和Qiao Zhang。JAX：Python+NumPy程序的可组合变换工具，2018年。网址：。 Berk Calli、Aaron Walsman、Arjun Singh、Siddhartha Srinivasa、Pieter Abbeel和Aaron M. Dollar。操控研究中的基准测试：使用耶鲁-卡内基梅隆-伯克利物体与模型集。《IEEE机器人与自动化杂志》，第22卷第3期：36–52页，2015年。ISSN 1070-9932。doi: 10.1109/mra.2015.2448951。网址：。 Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S. Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。DexYCB：用于捕捉物体抓取过程的基准测试。收录于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR）。 Jiayi Chen、Yuxing Chen、Jialiang Zhang和He Wang。通过可微分的抓取力矩边界估计器实现面向任务的灵巧抓取合成。arXiv预印本arXiv:2309.13586，2023a年。 Sirui Chen、Jeannette Bohg和C. Karen Liu。Springgrasp：一种用于鲁棒且柔顺的灵巧预抓取合成的优化流程，2024年。 Zerui Chen、Yana Hasson、Cordelia Schmid和Ivan Laptev。AlignSDF：用于手-物体重建的姿态对齐有符号距离场。收录于ECCV 2022会议。 Zerui Chen、Shizhe Chen、Cordelia Schmid和Ivan Laptev。gSDF：用于3D手-物体重建的几何驱动有符号距离函数。收录于CVPR 2023b会议。 Zerui Chen、Rolandos Alexandros Potamias、Shizhe Chen和Cordelia Schmid。HORT：基于Transformer的单目手持物体重建方法。收录于ICCV 2025会议。 Byeonggyeol Choi、Woojin Oh和Jongwoo Lim。Grasp-and-lift：通过物理循环优化实现可执行的3D手-物体交互重建，2026年。网址：。 Sammy Christen、Muhammed Kocabas、Emre Aksan、Jemin Hwangbo、Jie Song和Otmar Hilliges。D-grasp：用于手-物体交互的物理可信动态抓取合成方法。收录于《IEEE/CVF计算机视觉与模式识别会议（CVPR）》论文集，2022年。 --- Herbert Edelsbrunner和Ernst Mucke。三维alpha形状。《ACM图形学交易》，第13卷，1994年10月。doi: 10.1145/147130.147153。 Carlo Ferrari和John F. Canny。最优抓取规划。收录于1992年IEEE国际机器人与控制会议论文集，第2290–2295页（第3卷），1992年。网址：。 Bowen Fu、Gu Wang、Chenyangguang Zhang、Yan Di、Ziqin Huang、Zhiying Leng、Fabian Manhardt、Xiangyang Ji和Federico Tombari。D-sco：用于单目手持物体重建的双流条件扩散模型，2024年。网址：。 刘浩歌、周仁、李云成、薛泽豪、王莹莹、蔡建飞和袁俊松。基于单张RGB图像的三维手形与姿态估计。载于CVPR，2019年。 帕特里克·格雷迪、唐承诚、克里斯托弗·D·特威格、明·沃、萨马斯·布拉姆巴特和查尔斯·C·肯普。ContactOpt：通过优化接触点来改善抓取效果。载于计算机视觉与模式识别会议（CVPR），2021年。 什雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格和文森特·勒佩蒂。Honnotate：一种用于三维手与物体姿态标注的方法。载于CVPR，2020年。 什雷亚斯·汉帕利、萨扬·德布·萨卡尔和文森特·勒佩蒂。Ho-3D_v3：提升HO-3D数据集中手-物体标注的准确性。CoRR，abs/2107.00887，2021年。网址：。 雅娜·哈桑、古尔·瓦罗尔、季米特里斯·齐奥纳斯、伊戈尔·卡列瓦特克、迈克尔·J·布莱克、伊万·拉普捷夫和科迪莉亚·施密德。学习手部与被操纵物体的联合重建。载于CVPR，2019年。 胡浩宇、易欣雨、张浩、雍俊海和徐峰。物理交互：利用物理原理重建手-物体交互过程。载于2022年SIGGRAPH Asia会议论文集，SA '22会议论文集，美国纽约，2022年。计算机协会出版。ISBN 。doi: 10.1145/3550469.3555421。网址：。 胡浩宇、易欣雨、曹哲、雍俊海和徐峰。手-物体交互控制器（HOIC）：基于深度强化学习的物理交互重建方法。ACM SIGGRAPH 2024会议论文集，2024年。网址：: 269604838。 卡塔林·约内斯库、德拉戈斯·帕帕瓦、弗拉德·奥拉鲁和克里斯蒂安·斯明奇塞斯库。Human3.6M：自然环境下大规模三维人体感知数据集及预测方法。IEEE模式分析与机器智能交易刊，36(7)：1325–1339，2013年。 蒋永鹏、余明瑞、朱星昊、鸟山正之和黎翔。用于灵巧手内操作的接触隐式模型预测控制：一种长时域且鲁棒的方法，2024年。网址：。 阿尔伯特·H·李、普雷斯顿·卡尔伯特森、乔尔·W·伯迪克和亚伦·D·艾姆斯。Frogger：基于最小权重度量的快速鲁棒抓取生成方法。arxiv:2302.13687，2023年2月a版。 李凯琳、杨立新、甄浩宇、林泽南、詹欣宇、钟立成、徐健、吴克健和卢策吾。Chord：基于形状变形的类别级手持物体重建方法，2023年b版。网址：。 凯文·林、王丽娟和刘子程。Mesh Graphormer。载于ICCV，2021年a版。 凯文·林、王丽娟和刘子程。基于Transformer的端到端人体姿态与网格重建。载于CVPR，2021年b版。 刘腾宇、刘泽宇、焦子渊、朱毅新和朱松春。利用可微力闭合估算器合成具有任意手部结构的多样化且物理稳定的抓取方案。IEEE机器人学与自动化快报，7(1)：470–477，2022年1月。ISSN 2377-3774。doi:10.1109/lra.2021.3129138。网址：。 --- 刘玉萌、龙晓晓、杨泽民、刘远、马克·哈伯曼、克里斯蒂安·特博尔特、马跃新和王文平。EasyHOI：释放大模型的潜力以重建野外场景中的手-物体交互过程。arXiv预印本arXiv:2411.14280，2024年。 文森佐·洛莫纳科和达维德·马尔托尼。Core50：用于连续物体识别的新数据集与基准测试。载于第一届机器人学习年会论文集，第78卷，第17–26页，2017年。 陆佳欣、康浩、李浩翔、刘波、杨一鼎、黄启星、华刚。Ugg：统一生成式抓取。载于《计算机视觉——ECCV 2024：第18届欧洲会议论文集》，意大利米兰，2024年9月29日至10月4日，第LXVII部分，第414–433页，柏林、海德堡，2024年。施普林格出版社。 Tyler Ga Wei Lum、Martin Matak、Viktor Makoviychuk、Ankur Handa、Arthur Allshire、Tucker Hermans、Nathan D. Ratliff、Karl Van Wyk。DextrAH-g：基于几何织物的像素到动作灵巧手臂-手部抓取方法。载于第8届机器人学习年会论文集，2024年。网址：。 罗浩文、刘云泽、李立。物理感知的手部-物体交互去噪技术，2024年。网址：。 Georgios Pavlakos、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey、Jitendra Malik。利用Transformer重建三维手部模型。载于CVPR 2024会议论文集。 Rolandos Alexandros Potamias、张静蕾、邓建康、Stefanos Zafeiriou。Wilor：野外环境下的端到端三维手部定位与重建技术。载于IEEE/CVF计算机视觉与模式识别会议论文集，2025年。 齐浩哲、赵晨、Mathieu Salzmann、Alexander Mathis。Hoisdf：利用全局有符号距离场约束三维手部-物体姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10392–10402页，2024年。 Javier Romero、Dimitrios Tzionas、Michael J. Black。具身化手部模型：手部与身体的联合建模与捕捉技术。载于《ACM图形学交易》（SIGGRAPH Asia会议论文集），第36卷第6期，2017年11月。 Bugra Tekin、Federica Bogo、Marc Pollefeys。H+o：端到端的以自我为中心的三维手部-物体姿态与交互识别技术，2019年。网址：。 Emanuel Todorov、Tom Erez、Yuval Tassa。Mujoco：一种用于基于模型的控制的物理引擎。载于2012年IEEE/RSJ智能机器人与系统国际会议论文集，第5026–5033页。IEEE出版社，2012年。doi: 10.1109/IROS.2012.6386109。 Dylan Turpin、王立权、Eric Heiden、陈云春、Miles Macklin、Stavros Tsogkas、Sven Dickinson、Animesh Garg。Grasp'd：面向多指手部的可微接触丰富型抓取合成技术，2022年。网址：。 Dylan Turpin、钟涛、张书彤、朱光磊、Eric Heiden、Miles Macklin、Stavros Tsogkas、Sven Dickinson、Animesh Garg。Fast-grasp'd：通过可微模拟实现灵巧多指抓取生成技术。载于ICRA 2023会议论文集。 王荣、毛伟、李宏东。DeepsimHO：基于物理模拟的稳定手部-物体交互姿态估计技术。载于第37届神经信息处理系统会议论文集，2023年。网址：。 王瑞成、张佳良、陈嘉怡、徐银珍、李普浩、刘腾宇、王赫。Dexgraspnet：基于仿真的大规模通用物体灵巧抓取数据集。arXiv预印本arXiv:2210.02697，2022年。 王银超、许浩、郑衡安、傅志伟。Unihope：一种统一的仅手部及手部-物体姿态估计方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第12231–12241页，2025年6月。 --- 魏欣悦、刘明华、凌展、苏浩。面向三维网格的近似凸分解算法：兼顾碰撞感知的凹面处理与树搜索技术。载于《ACM图形学交易》（TOG），第41卷第4期，第1–18页，2022年。 Jane Wu、Georgios Pavlakos、Georgia Gkioxari和Jitendra Malik。三维重建手持物体。arXiv预印本arXiv:2404.06507，2024年。 Yinzhen Xu、Weikang Wan、Jialiang Zhang、Haoran Liu、Zikang Shan、Hao Shen、Ruicheng Wang、Haoran Geng、Yijia Weng、Jiayi Chen等。Unidexgrasp：通过学习多样化的提案生成和目标条件策略来实现通用机器人灵巧抓取。arXiv预印本arXiv:2303.00938，2023年。 Yi Yang和Deva Ramanan。基于灵活部件混合的关节型人体检测。IEEE模式分析与机器智能交易，35(12):2878–2890，2012年。 Yufei Ye、Abhinav Gupta和Shubham Tulsiani。你手中拿的是什么？手中通用物体的三维重建。收录于CVPR，2022年。 Haoqi Yuan、Bohan Zhou、Yuhui Fu和Zongqing Lu。基于强化学习的跨本体灵巧抓取。arXiv预印本arXiv:2410.02479，2024年。 Chenyangguang Zhang、Yan Di、Ruida Zhang、Guangyao Zhai、Fabian Manhardt、Federico Tombari和Xiangyang Ji。Ddf-ho：基于条件有向距离场的手持物体重建，2023年。网址：。 Jialiang Zhang、Haoran Liu、Danshi Li、XinQiang Yu、Haoran Geng、Yufei Ding、Jiayi Chen和He Wang。Dexgraspnet 2.0：在大规模合成杂乱场景中学习生成式灵巧抓取。收录于第八届机器人学习年会，2024a年。 Shutong Zhang、Yi-Ling Qiao、Guanglei Zhu、Eric Heiden、Dylan Turpin、Jingzhou Liu、Ming Lin、Miles Macklin和Animesh Garg。Handypriors：利用可微先验实现物理上一致的手-物交互感知。收录于2024年IEEE国际机器人与自动化会议（ICRA），2024b年。doi: 10.1109/ICRA57147.2024.10610748。 Zimeng Zhao、Binghui Zuo、Wei Xie和Yangang Wang。基于单目彩色图像的稳定性驱动接触点重建。收录于2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），第1633–1643页，美国加利福尼亚州洛斯阿拉米托斯，2022年6月。IEEE计算机协会。doi: 10.1109/CVPR52688.2022.00169。网址：。 Yiming Zhong、Qi Jiang、Jingyi Yu和Yuexin Ma。Dexgrasp anything：迈向具备物理认知的通用机器人灵巧抓取。arXiv预印本arXiv:2503.08257，2025年。 René Zurbrügg、Andrei Cramariuc和Marco Hutter。Graspqp：针对多样且鲁棒的灵巧抓取进行可微优化的力闭合控制。收录于机器人学习会议（CoRL），2025年。网址：。