# VPHO：用于手-物体姿态估计的视觉-物理线索联合学习与聚合周军 $^{1,2,3,4}$，徐驰 $^{1,2,3*}$，唐凯峰 $^{1,2,3}$，葛雨婷 $^{1,2,3}$，郭廷瑞 $^{1,2,3}$，程立 $^{4}$ $^{1}$中国地质大学自动化学院，武汉 430074，中国， $^{2}$湖北省复杂系统先进控制与智能自动化重点实验室，武汉 430074，中国， $^{3}$教育部地球探测智能技术工程研究中心，武汉 430074，中国， $^{4}$加拿大阿尔伯塔大学电气与计算机工程系，埃德蒙顿，AB T6G 2R3，加拿大 {jchow, xuchi, tkf, gyting, guotingrui}@cug.edu.cn， ## 摘要从单张RGB图像中估计手和物体的3D姿态是一个基础但极具挑战性的问题，在增强现实和人机交互领域有着广泛的应用。现有方法主要依赖视觉线索，往往会产生违反物理约束的结果，比如物体相互穿透或没有接触。近期尝试融入物理推理的方法通常依赖于后期优化或非可微的物理引擎，这会损害视觉一致性以及端到端训练能力。为克服这些局限，我们提出了一种全新的框架，将视觉与物理线索联合用于手-物体姿态估计。这一整合通过两个关键思路实现：1）视觉-物理线索联合学习：训练模型提取2D视觉线索和3D物理线索，从而实现对手-物体交互更全面的表征学习；2）候选姿态聚合：一种新颖的优化流程，利用视觉与物理预测结果对多个由扩散模型生成的候选姿态进行聚合，最终得到既视觉一致又符合物理规律的估计结果。大量实验表明，我们的方法在姿态精度和物理合理性方面均显著优于现有的最先进方法。代码 — ## 引言基于单张RGB图像的手-物体姿态估计（Hasson等人，2019年）在虚拟与增强现实（Mueller等人，2019年；Chen等人，2019年）、人机交互（Ren和Bao，2020年）以及机器人领域（Billard和Kragic，2019年）有着广泛应用。大多数现有方法（Hampali等人，2022年；Liu等人，2021年；Lin等人，2023年；Wang、Mao和Li，2023b年）主要依靠基于图像的视觉线索，以确保3D姿态估计与2D观测结果一致（Zhou等人，2024年；Pavlakos等人，2024年）。例如，分割一致性损失被广泛采用（Qi等人，2024年；Zhang等人，2024年；Xu等人，2023年），用于对齐投影后的3D网格。 ![Image](images/2d89e5f6ddf0c35998328a6881981289b9fd6111c189311aacb8f54aaef54baf.jpg)

Figure 1: Visual comparison between a state-of-the-art visual-only method, HFL, and a method that incorporates physical cues, DeepSimHO. HFL yields visually aligned yet physically implausible results (red circles), while DeepSimHO improves physical plausibility at the cost of visual alignment (blue circles).

结合2D分割掩码，而帧间光度一致性则在Hasson等人（2020年）的研究中有所探讨。然而，这些基于视觉的方法往往忽略了物理约束，导致出现穿透或无接触等不符合物理规律的现象。如图1所示，HFL方法（Lin等人，2023年）在原始相机视角下看起来合理，但从不同视角渲染时却会出现不当抓取的情况，如红色圆圈内所示。 ## 为了提升物理合理性，多项研究（Brahmbhatt等人，2020年；Chen等人，2022年；Yang等人，2024a年）提出了融入物理约束的优化后策略。虽然这些方法能有效减少物体穿插或接触缺失等瑕疵，但它们对初始姿态的质量极为敏感；一旦初始化不准确，往往会产生不稳定或次优的输出。为了在视觉保真度与物理合理性之间取得更好平衡，较新的方法（Hasson等人，2019年；Ehsani等人，2020年；Yang等人，2024b年；Cho等人，2023年；Wang、Mao和Li，2023a年；Hu等人，2024a年）提出了端到端训练方案。 --- 这类方法融入了物理线索。虽然这种整合提升了物理合理性，但往往以牺牲视觉一致性为代价。如图1所示，DeepSimHO（Wang、Mao和Li，2023a年）相比仅基于视觉的基线模型（Yang等人，2022年）确实改善了物理真实感；然而，预测的物体姿态与图像观测结果（蓝色圆圈）存在偏差，影响了姿态精度。为解决这些局限，我们提出了一种新颖的方法，能够有效整合视觉与物理线索，从而确保视觉一致性与物理合理性。这一目标的实现依托于两个核心思路：1）视觉-物理线索联合学习：我们的模型被训练用于提取二维视觉线索（如手部与物体的热图）以及三维物理线索（如力矢量），从而实现更丰富的手-物交互表征学习。2）候选姿态聚合：我们提出了一种全新的聚合流程，利用预测的视觉与物理线索，将扩散模型生成的多个候选姿态整合为一个既符合物理规律又具备视觉一致性的估计结果。由于以下原因，三维交互力的预测是一项核心挑战：（1）其维度较高；（2）接触动力学与摩擦建模较为复杂；（3）缺乏真实的力标注数据。为解决这一问题，我们引入了力预测模块，该模块利用摩擦锥来建模局部接触力，并将其从局部坐标转换到全局坐标，进而计算出整体的手-物交互力。该模块采用半监督策略进行训练，利用物理约束与伪力标签，无需依赖真实标注数据。综上所述，本工作的贡献如下：由于姿态参数的自由度较高（如多关节手部）且手-物交互存在相互依赖性，姿态聚合也面临着独特挑战。为解决这一问题，我们提出了两阶段聚合方案：1）基于视觉的聚合：利用视觉线索沿运动链对候选姿态进行分层聚合，有效减少了误差累积并提升了视觉一致性。2）基于物理的聚合：根据接触与扭矩平衡等物理约束对候选姿态进行排序与筛选，从而改善接触质量并增强物理合理性。 - 我们提出了一种新颖的手-物姿态估计方法，能够同时整合视觉与物理线索，且不会牺牲任一方面的性能。 - 我们引入了力预测模块，该模块通过摩擦锥与局部到全局的坐标转换来建模交互力，并借助物理约束与伪力标签进行训练。 - 我们提出了一种两阶段的姿态聚合策略，充分利用视觉与物理线索，从而得出精确且符合物理规律的手-物姿态。在标准基准测试上进行的大量实验表明，我们的方法在姿态精度和物理合理性方面均达到了最先进的水平。 ## 相关工作现有大多数研究（Xu等人，2023年；Hasson等人，2020年；Tse等人，2022a年；Zhou等人，2024年；Potamias等人，2025年）主要通过利用基于图像的视觉线索来估计手和物体的姿态，以确保所估计的3D姿态的2D投影与对应的图像观测结果保持一致。一些方法（Qi等人，2024年；Zhang等人，2024年；Xu等人，2023年）引入了分割损失，以强制使投影的3D网格与2D图像分割保持一致。同样，Park等人（Park等人，2022年）采用Transformer模块将手部信息注入到被遮挡的2D区域中。然而，这些方法主要侧重于视觉信息，并未显式地纳入物理约束，因此容易产生物理上不合理的预测结果，比如物体相互穿透或缺乏接触。为解决这一局限性，一些方法（Grady等人，2021年；Yang等人，2024a年；Zhao等人，2024年）提出了后优化策略，通过引入物理线索来优化初始姿态估计。例如，Grady等人（Grady等人，2021年）和Tse等人（Tse等人，2022b年）从初始姿态中推断出理想的手-物体接触区域，随后对手和物体进行优化，使其更符合这些推断出的区域。同样，Hu等人（Hu等人，2022年）根据初始运动轨迹调整指尖力和接触点，从而优化手-物体交互。虽然这些方法在提升物理合理性方面效果显著，但它们严重依赖准确的初始化。不准确的初始姿态可能导致结果与视觉证据相悖，进而产生视觉上不一致的估计结果。最近，一些研究探索了在端到端学习框架内统一视觉与物理推理（Hasson等人，2019年；Cho等人，2023年；Wang、Mao和Li，2023a年；Hu等人，2024a年）。Hu等人（Hu等人，2024b年）通过建模部件级和顶点级的接触概率来构建物体的隐式神经表示，从而实现物体姿态推断。Wang等人（Wang、Mao和Li，2023a年）将物理引擎集成到训练循环中，以根据模拟的物理结果监督稳定性感知姿态的学习。虽然这些方法在统一视觉-物理建模方面取得了进展，但它们往往为了追求物理合理性而牺牲了视觉保真度。相比之下，我们的方法在推理阶段整合了视觉与物理线索，通过聚合扩散模型生成的多个候选姿态，从而选出既视觉一致又物理合理的解决方案。 ## 方法我们方法的框架如图2所示。 ## 特征提取给定输入的RGB图像，我们采用改进的ResNet50骨干网络（Lin等人，2023年）来提取手和物体的特征。随后，这些特征会经过反卷积层（Xiao、Wu和Wei，2018年）处理，生成手部热图$H^{h}$和物体热图$H^{o}$，它们将作为姿态聚合模块中的视觉线索。两个残差块（He等人，2016年）会进一步细化手和物体的特征，为后续的力量预测和候选姿态生成做好准备。损失函数 --- ![Image](images/901d6ad80c02fb7387ec941dd9f3e6ee5d584a4b2bbdfb5e3322502474bdef63.jpg)

Figure 2: The framework of our approach, consisting of the following four modules: feature extraction, force prediction, candidate generation and pose aggregation.

用于监督热图预测的损失函数定义如下： $$ \mathcal{L}_{h m}=\lambda_{h m}\left(\mathcal{L}_{m s e}(H^{h},\bar{H}^{h})+\mathcal{L}_{m s e}(H^{o},\bar{H}^{o})\right), $$ 其中，$\mathcal{L}_{mse}$ 表示均方误差损失函数，$H^h \in \mathbb{R}^{|J^h| \times h_m \times w_m}$ 和 $\tilde{H}^h \in \mathbb{R}^{|J^h| \times h_m \times w_m}$ 分别表示手部关节的预测热图与真实热图$J^h$。$H^o \in \mathbb{R}^{|J^o| \times h_m \times w_m}$ 和 $\tilde{H}^o \in \mathbb{R}^{|J^o| \times h_m \times w_m}$ 分别表示物体关键点的预测热图与真实热图$J^o$。$h_m$ 和 $w_m$ 表示热图的高度和宽度，而 $\lambda_{hm}$ 是一个用于加权热图损失的超参数。所有超参数的详细设置可在扩展版本中查看。 ## 力预测我们专注于从单张图像中进行手-物体姿态估计，此类场景中无法推断出加速度等运动相关量。因此，我们采用了静态平衡假设作为必要的简化，该假设在我们的消融研究中被证明是有效的。局部受力：手-物体接触交互本身十分复杂（Hu等人，2022年）。遵循（Yang等人，2024a年）的研究思路，我们通过手部表面的32个稀疏锚点$\{O_k^a\}_{k=1}^{32}$来近似这种复杂性。每个锚点$O_k^a$都对应一个局部坐标系，如图3(a)所示。根据库仑摩擦定律（Morin，2008年），接触力必须位于由摩擦系数$\mu$确定的摩擦锥内。我们使用一组基向量$\{v_j\}_{j=1}^{N_v}$来对该摩擦锥进行建模，每个向量的定义如下： $$ v_{j}=\left(\mu\sin(\frac{2\pi j}{N_{v}}),\mu\cos(\frac{2\pi j}{N_{v}}),1\right). $$ ![Image](images/d00384ffbe7cf9e331803ef00d465b760f845dfb839db62fec2999e7b40cd7b8.jpg)

Figure 3: Friction cone and force representations in (a) local and (b) global coordinate frames.

局部受压情况为 $$ F_{k}^{\prime}=s_{k}\sum_{j=1}^{N_{v}}w_{k,j}v_{j}, $$ 其中，$s_k \in \mathbb{R}$ 和 $w_{k,j} \in \mathbb{R}$ 分别为学习得到的缩放系数和权重系数。全局受力：如图3(b)所示，局部受力$F'_k$通过MANO手部模型（Romero、Tzionas和Black，2017年）的线性混合蒙皮过程转化为全局受力$F_k$。每个锚点$\{O_k^a\}$都附着在手部网格顶点上的某个三角形$\{\triangle p_k^1 p_k^2 p_k^3\}$上。 --- $V^{h}$。其变换公式定义为： $$ \left\{\begin{aligned}{F_{k}}&{{}=\mathbf{R}_{k}^{L2G}F_{k}^{\prime},}\\ {O_{k}^{a}}&{{}=\sum_{i\in\{1,2,3\}}\alpha_{k}^{i}p_{k}^{i}.}\\ \end{aligned}\right. $$ 此处，$F_k'$ 和 $F_k$ 分别代表锚点$O_k^a$的局部受力和全局受力。$\mathbf{R}_k^{L2G} = [\mathbf{x}_k, \mathbf{y}_k, \mathbf{z}_k]$ 表示旋转矩阵，$\mathbf{x}_k$ 是通过对向量$p_k^2 - p_k^1$归一化得到的，$\mathbf{z}_k$ 是通过对向量$(p_k^2 - p_k^1) \times (p_k^3 - p_k^2)$归一化得到的，而 $\mathbf{y}_k = \mathbf{z}_k \times \mathbf{x}_k$。$O_k^a$ 是 $\{p_k^i\}$ 的加权和，$\alpha_k^i$ 为权重系数。物理约束：基于静态平衡假设（Morin，2008年），作用在物体上的所有力必须共同满足牛顿物理约束。这些约束既用于训练力预测模块，也用于指导姿态聚合过程。力平衡：作用在物体上的所有外力之和必须为零。由此可得出力平衡约束： $$ \mathcal{L}_{f o r c e}=\left\|\sum_{k=1}^{32}F_{k}+\mathbf{G}\right\|_{2}^{2}, $$ 其中G表示重力矢量。遵循（Hu等人，2022年）的研究设定，G的大小取为1N的相对值。力矩平衡：作用在物体上的所有力矩之和必须为零。因此，力矩平衡约束可表述为： $$ \mathcal{L}_{t o r q u e}=\left\|\sum_{k=1}^{32}F_{k}\times r_{k}\right\|_{2}^{2}, $$ 此处，$r_k$ 表示第k个锚点的位置矢量，$\times$ 是两个矢量之间的叉积。接触力关系：在手与物体的交互中，锚点只有在与物体表面接触时才能对物体施加力。因此，接触力的大小应根据锚点与物体之间的接触状态来约束。锚点距物体表面的距离正是这种接触状态的关键指标。具体而言，距离越短，接触的可能性越高；距离越大，接触概率则越低。受此启发，我们将接触力约束近似表示为： $$ \mathcal{L}_{c o n t a c t}=\sum_{k=1}^{32}\|F_{k}\|_{2}\cdot\left|d_{k}\right|, $$ 其中，$|d_k|$ 表示锚点距物体表面的距离，$\|F_k\|_2$ 代表力的大小。这一约束是我们基于物理的聚合过程中至关重要的物理线索。物理网络如图4所示，我们的物理网络以1）手部特征$\psi^{h't}$、2）物体特征$\psi^{o'}$以及3）重力矢量$\mathbf{G} \in \mathbb{R}^3$作为输入。在训练期间，$\mathbf{G}$会相对于桌面垂直向下对齐。在推理阶段，我们采用摄像头的y轴来近似表示$\mathbf{G}$，这一做法与（Wang、Mao和Li 2023a）中的方法一致。该网络输出1）权重矩阵$\mathbf{w} \in \mathbb{R}^{32 \times N_v}$、2）缩放矢量$\mathbf{s} \in \mathbb{R}^{32}$以及3）物体的质心位置。 ![Image](images/37af34e558c9a039d894c9c8c7f11d631ca42fafae20c69875546df0a7dd2ff0.jpg)

Figure 4: The architecture of our physics network.

$c \in \mathbb{R}^3$。预测的局部力$F'_k$是根据公式3中定义的w和s计算得出的。该网络通过以下损失函数进行监督训练： $$ \begin{aligned}\mathcal{L}_{phy}&=\lambda_{F}\mathcal{L}_{mse}(F^{\prime},\tilde{F}^{\prime})+\lambda_{c}\mathcal{L}_{mse}(c,\bar{c})\\&+\lambda_{force}\mathcal{L}_{force}+\lambda_{torque}\mathcal{L}_{torque},\end{aligned} $$ 其中，$F'$ 和 $\tilde{F}'$ 分别为预测的力和伪力标签，c 和 $\bar{c}$ 分别是预测的与真实的物体质心位置，$\lambda_F$、$\lambda_c$、$\lambda_{force}$ 和 $\lambda_{torque}$ 则是用于平衡各项损失项的超参数。伪力标签 $\tilde{F}'$ 是通过受物理约束的优化过程预先计算得出的，更多细节可在补充材料中找到。 ## 姿态聚合给定一组候选手部姿态 $\{(\theta_i, \beta_{reg})\}_{i=1}^N$，其中 $\theta_i \in \mathbb{R}^{16 \times 3}$ 代表16个手部关节的MANO姿态参数，$\beta_{reg} \in \mathbb{R}^{10}$ 为MANO形状参数；同时给定一组刚性物体姿态候选，其中 $\{(R_i, T_i)\}_{i=1}^N$、$R_i \in \mathbb{R}^3$、$T_i \in \mathbb{R}^3$ 分别表示旋转和平移参数。姿态聚合模块旨在通过两个连续阶段——基于视觉的聚合和基于物理的聚合——来优化这些候选姿态，如图2所示。初始的姿态候选是由基于评分的扩散模型（Song等人，2021）生成的候选生成模块产生的。该模块的更多细节可在补充材料中查看。在诸如人手之类的关节系统中，由于运动学上的依赖性，较高层次的关节位置取决于较低层次的关节位置。因此，误差往往会在各层次间累积，导致较高层次上的关节预测越来越不准确。为解决这一问题，我们提出了一种逐层聚合策略：利用热图作为视觉引导，从低层次到高层次逐步优化关节参数。如图5(a)所示，具有自由度的手部关节被划分为四个层次，第l层的关节索引集记为$L_{l}$。聚合过程从第1层迭代到第4层（见图5(b)）。每聚合完一个层次后，优化后的关节参数会被用来更新所有候选姿态中对应的关节，从而减少误差向更高层次传播。对于第$L_{l}$层中第j个关节，我们会计算其视觉得分。 --- ![Image](images/26562ba938f9bc0bebb7e71f009f7b7a636add35c6857bcc6e930c122c77f205.jpg)

Figure 5: (a) The levels of hand pose parameters; (b) The visual-based aggregation hierarchically aggregate hand joints from lower to higher levels.

针对每个候选手姿态$s_{i}^{h}$，我们使用以下公式来计算$(\theta_{i}, \beta_{reg})$： $$ s_{i}^{h}=\sum_{c\in{C h i l d r e n}_{j}}H_{c}^{h}\left(\mathrm{P r o j2D}^{h}\left(c,\theta_{i},\beta_{r e g}\right)\right), $$ 其中，$\text{Children}_j$表示与关节j属于同一运动链的高阶关节集合，$\text{Proj2D}^h(\cdot)$表示候选关节$(\theta_i, \beta_{reg})$中第c个关节的二维投影，而$H_c^h(\cdot)$则用于获取关节c在投影二维位置处的热图值。利用这些得分$\{ s_i^h \}_{i=1}^N$，即可选出排名前K的候选关节$\{\theta_i\}_{i \in K^h}$。关节j的聚合姿态参数$\tilde{\theta}[j, :]$则是通过所选候选关节的加权平均值来计算得出的： $$ \tilde{\theta}[j,:]=\frac{\sum_{i\in K^{h}}s_{i}^{h}\theta_{i}[j,:]}{\sum_{i\in K^{h}}s_{i}^{h}}. $$ 这个聚合值随后会替换掉所有$\theta_i[j,:]$中的对应值$i = 1, \ldots, N$。这一过程会对每个层次重复进行，直至所有手部姿态参数都被聚合完毕。同样的原则也适用于物体姿态的聚合。物体姿态参数被分为两个层次：1）平移参数$T_{o}$；2）旋转参数$R_{o}$。每个物体候选姿态的视觉得分通过以下方式计算： $$ s_{i}^{o}=\sum_{c=1}^{27}H_{c}^{o}\left(\mathrm{P r o j2D}^{o}\left(c,R_{i},T_{i}\right)\right), $$ 其中，$\text{Proj}2D^{o}(c, R_{i}, T_{i})$是在对物体模型应用变换$(R_{i}, T_{i})$之后，第c个物体关键点的二维投影，而$H_{c}^{o}(\cdot)$则用于获取该投影二维位置处的热图值。物体平移参数会先被聚合，并用来更新所有候选姿态的平移参数；随后再利用更新后的平移参数来聚合旋转参数。基于物理的聚合为了进一步提升手-物交互的物理合理性，我们引入了

Method	Hand		Object
Method	MJE	PA-MJE	MCE	OCE	ADDS
Liu et al. (2021)	15.2	6.58	-	-	-
HandOccNet (2022)	14.0	5.80	-	-	-
H2ONet (2023)	14.0	5.70	-	-	-
HandBooster (2024)	11.9	5.2	-	-	-
SimpleHand (2024)	12.4	5.5	-	-	-
HFL (2023)	12.6	5.47	48.0	42.7	33.8
HOISDF (2024)	10.1	5.13	35.8	27.6	18.6
Ours	10.0	5.08	26.2	23.7	13.5

Table 1: Comparison of pose accuracy on DexYCB Full (metrics are in mm).

Method	Hand		Object
Method	PA-MJE	MJE	OCE	ADDS
Hasson et al. (2019)	11.0	-	67.0	22.0
Hasson et al. (2020)	11.4	-	80.0	40.0
Hampali et al. (2022)	10.8	25.5	68.0	21.4
Liu et al. (2021)	10.1	-	-	-
DMA (2023b)	10.1	23.8	45.5	20.8
HFL (2023)	8.9	28.9	64.3	32.4
HandBooster (2024)	8.5	21.1	-	-
LCP (2024)	8.5	21.5	-	-
HOISDF (2024)	9.2	19.0	35.5	14.4
Ours w/o pretraining	8.9	21.1	29.3	15.2
Ours	8.5	19.9	27.1	14.3

Table 2: Comparison of pose accuracy on HO3Dv2 Full (metrics are in mm).

一种基于物理的聚合步骤，该步骤利用物理约束来指导候选姿态的聚合。对于手部而言，我们计算如下的基于物理的得分： $$ \begin{array}{r}{s_{p h y}^{h}=-\mathcal{L}_{f o r c e}\cdot\mathcal{L}_{c o n t a c t}.}\end{array} $$ ---

Method	Hand MJE $\downarrow$	Object SMCE $\downarrow$	Physics CP(%) $\uparrow$	PD $\downarrow$	SD $\downarrow$
Ground Truth	-	-	100	9.1	6.4
Hasson et al. (2020)	12.5	-	84.35	18.0	48.3
DMA (2023b)	11.5	-	89.16	15.7	35.3
ArtiBoost (2022)	10.7	16.0	94.23	15.0	27.8
DeepSimHO (2023a)	11.2	17.3	95.90	14.8	24.2
Ours	8.5	15.1	98.85	13.4	17.3

Table 3: Comparison of hand-object physics plausibility on DexYCB Phy (metrics, except CP, are in mm).

Method	Object\nSMCE $\downarrow$	Physics
Method	Object\nSMCE $\downarrow$	CP(%) $\uparrow$	PD $\downarrow$	SD $\downarrow$
Hasson et al. (2020)	5.35	78.52	2.02	6.40
CPF (2024a)	5.74	96.47	1.65	3.16
DMA (2023b)	4.79	93.07	1.88	3.47
ArtiBoost (2022)	4.86	94.47	1.27	2.83
DeepSimHO (2023a)	5.28	96.64	1.17	2.42
Ours	3.12	98.80	0.96	2.21

Table 4: Comparison of hand-object physics plausibility on HO3Dv2 Phy (metrics, except CP, are in cm).

我们重点优化最高层次结构中的关节$L_4$。设$K_4^h$表示此前在第$L_4$层聚合出的排名前K的手部姿态候选集。我们收集其中的关节参数$\{\theta_i[j, :]\}_{i \in K_4^h, j \in L_4}$，并根据公式12计算出的基于物理的得分对其进行重新排序。最终，排名前K的关节参数$\{\theta_n[j, :]\}_{n \in K_{\text{phy}}^h}$会被取平均值，从而得出第$L_4$层的最终手部姿态估计值。对于物体而言，基于物理的得分定义为： $$ s_{{p h y}}^{o}=-\mathcal{L}_{{t o r q u e}}\cdot\mathcal{L}_{{c o n t a c t}}. $$ 我们从基于视觉的聚合阶段获取前K个翻译候选结果$\{T_i\}_{i \in K_T^o}$以及前K个旋转候选结果$\{R_j\}_{j \in K_R^o}$。随后将这些结果组合成新的物体姿态候选集$\{(T_i, R_j)\}_{i \in K_T^o, j \in K_R^o}$。每一对候选结果会通过公式13进行评分，最终选出前K个最佳组合$\{(T_n, R_m)\}_{(n,m) \in K_{\text{phy}}^o}$。通过对这些排名靠前的姿态对取平均值，即可得到最终的物体姿态。关于候选数量及前K值大小的详细分析，请参阅扩展版本。 ## 实验我们的方法在两个广泛使用的基准测试集上与其他最先进的方法进行了比较：DexYCB（Chao等人，2021年）和HO3D v2（Hampali等人，2020年）。遵循（Lin等人，2023年；Qi等人，2024年）的研究思路，我们专注于从单张RGB图像中同时估计手部姿态和物体6D姿态，且假设已知相机内参和物体的CAD模型。像（Prakash等人，2024年）这类仅重建手持物体的网格而并不估计手部姿态或物体6D姿态的方法，不属于本问题的研究范畴，因此未纳入我们的比较范围。 ![Image](images/41f739eb99529e0240edc5d33865c3d57381c2b2c83167a6d7ad4ceb0812ed3d.jpg)

Figure 6: Qualitative results on DexYCB Phy. Red circles indicate incorrect hand object interaction. Blue circles point out the incorrect pose estimation. For more qualitative results, please refer to the extended version.

这类方法既不估计手部姿态也不估计物体的6D姿态，因此不符合本研究的问题设定，故被排除在比较之外。 DexYCB：训练模型时，采用官方“S0”划分的训练集（Chao等人，2021年）。为了评估姿态估计精度，使用了两个常用的测试集：DexYCB Full是官方“S0”划分的测试集，包含手接近物体以及手接触物体的场景；为了评估结果的物理合理性，遵循（Wang、Mao和Li，2023a）的方法，采用DexYCB Phy作为测试集，该测试集中的手能稳定地握住物体。 HO3Dv2：训练模型时采用标准训练集。评估姿态估计精度时使用标准测试集HO3Dv2 Full。为了评估结果的物理合理性，遵循（Wang、Mao和Li，2023a；Yang等人，2024a）的方法，采用HO3Dv2 Phy作为测试集，其物理合理性已由（Yang等人，2024a）手动验证。部分方法会使用额外数据来训练模型（Qi等人，2024年；Pavlakos等人，2024年；Xu等人，2023年；Wang、Mao和Li，2023b）。遵循（Xu等人，2023年）的做法，我们可选择在DexYCB数据集上预训练5个周期，并分别报告有/无该预训练的结果。 ## 评估指标姿态指标：对于手部，会报告平均关节误差（MJE）和经过Procrustes对齐的平均关节误差（PA-MJE）。 ---

Force Prediction	Visual-based Aggregation	Physics-based Aggregation	Hand		Object		Physics
Force Prediction	Visual-based Aggregation	Physics-based Aggregation	MJE $\downarrow$	PA-MJE $\downarrow$	OCE $\downarrow$	ADDS $\downarrow$	CP(%) $\uparrow$	PD $\downarrow$	SD $\downarrow$
			12.54	5.45	35.30	20.14	95.42	14.4	30.4
✓			12.16	5.33	29.81	16.66	96.51	14.1	25.9
✓	✓		10.05	5.09	26.12	15.21	97.95	13.9	20.0
✓	✓	✓	10.01	5.08	23.72	13.47	98.85	13.4	17.3

Table 5: Ablation study (metrics, except CP, are in mm). Hand and object metrics are evaluated on DexYCB Full. Physics metrics are evaluated on DexYCB Phy.

对于物体，会评估物体中心误差（OCE）、平均角点误差（MCE）、考虑对称性的平均角点误差（SMCE）以及平均最近点距离（ADD-S）。物理指标：通过计算接触百分比（CP）来评估手与物体接触的预测结果所占比例。穿透深度（PD）用于衡量手与物体预测结果之间的最大穿透距离。为了评估手握住物体的稳定性，采用模拟位移（SD）（Wang、Mao和Li，2023a）来计算在虚拟物理模拟器中200毫秒后物体中心的平均位移。 ## 姿态估计精度我们将所提出的方法与最先进的姿态估计方法进行了比较，其中包括手-物姿态估计器（Hasson等人，2019年；Kuang、Ding和Yao，2024年；Hasson等人，2021年；Chen等人，2023年；Yang等人，2022年；Wang、Mao和Li，2023b；Hasson等人，2020年；Liu等人，2021年；Lin等人，2023年；Qi等人，2024年）以及手部姿态估计器（Park等人，2022年；Hampali等人，2022年；Xie等人，2024年；Xu等人，2023年、2024年；Zhou等人，2024年）。 DexYCB Full数据集上的结果如表1所示。所提出的方法在手部与物体估计方面均优于对比方法。尤其在物体相关指标上，所提出的方法表现显著优于排名第二的方法，它将MCE、OCE和ADDS误差分别降低了26.8%、14.1%和27.4%。 HO3Dv2 Full数据集上的结果如表2所示。与现有最先进的方法相比，所提出的方法在手部-物体姿态估计方面取得了更好的性能。在与手部相关的指标上，所提出的方法与最先进的方法相当；而在物体相关指标上，所提出的方法则取得了最佳性能。 ## 物理合理性我们将所提出的方法与基于物理的方法（Wang、Mao和Li 2023a；Yang等人2024a；Hasson等人2021）以及基于视觉的方法（Yang等人2022；Wang、Mao和Li 2023b）进行了比较。 DexYCB Phy数据集上的结果如表3所示。在现有方法中，DeepSimHO（Wang、Mao和Li 2023a）的物理性能最佳，但其在手部和物体上的精度欠佳。与DeepSimHO相比，ArtiBoost（Yang等人2022）的姿态估计精度更高，但其物理合理性较差。现有方法无法同时兼顾物理合理性与姿态估计精度。相比之下，所提出的方法在物理合理性与姿态精度两方面均显著优于现有方法。 HO3Dv2 Phy数据集上的结果如表4所示。我们的方法在所有物理指标上均达到了最先进的水平。与最强的基准方法DeepSimHO相比，我们的方法进一步降低了PD和SD，同时提高了接触率与物体精度，这证明了我们的方法在生成物理合理且精确的姿态方面的有效性。定性结果如图6所示。基于视觉的方法HFL（Lin等人2023）在相机视角下看起来具有良好的视觉一致性；然而在侧视图中，却观察到了不正确的手-物交互情况。与HFL相比，基于物理的方法DeepSimHO（Wang、Mao和Li 2023a）的手-物交互更合理，但在正面视角下的视觉一致性较差。与这些方法相比，所提出的方法在视觉一致性与物理合理性两方面均表现更佳。更多定性结果请参见扩展版本。 ## 消融研究表5中的消融结果显示，没有力预测或聚合功能的基线模型表现最差。加入力预测后，物体姿态精度得到提升，这表明物理线索确实能够改善估计质量。基于视觉的聚合进一步降低了手部与物体的误差。采用基于物理的聚合功能的完整模型取得了最佳的整体性能，在精度与物理合理性方面均有明显提升。关于姿态聚合模块的更多分析详见扩展版本。 ## 结论本文提出了一种手-物体姿态估计方法，该方法融合了视觉线索与物理线索，以解决视觉一致性与物理合理性方面的挑战。该方法在半监督学习框架下，结合局部到全局的变换过程，同时学习二维视觉特征与三维物理线索。这些线索会引导候选聚合模块，从而选出物理上合理且视觉上连贯的手-物体姿态。实验表明，该方法在姿态精度与物理合理性方面均达到了最先进的水平。未来的工作包括引入时间信息来建模手-物体交互中的动态平衡，以及利用物理线索改进物体重建。 --- ## 致谢作者感谢匿名审稿人提出的宝贵意见。本研究得到了国家自然科学基金（项目编号：62273318）、中国电建集团科技项目经费以及中国电建八局水利水电工程有限公司科技项目的支持。项目名称是：绿色智能矿山关键技术应用研究（中国电建重大科技专项），课题11：智能终端关键技术研究。 ## 参考文献 Billard, A.; 和 Kragic, D. 2019. 机器人操控领域的趋势与挑战。《科学》杂志，364(6446): eaat8414。 Brahmbhatt, S.; Tang, C.; Twigg, C. D.; Kemp, C. C.; 和 Hays, J. 2020. ContactPose：包含物体接触与手部姿态的抓取数据集。载于ECCV会议论文集。 Chao, Y.-W.; Yang, W.; Xiang, Y.; Molchanov, P.; Handa, A.; Tremblay, J.; Narang, Y. S.; Van Wyk, K.; Iqbal, U.; Birchfield, S.; Kautz, J.; 和 Fox, D. 2021. DexYCB：用于捕捉物体抓取情况的基准测试。载于CVPR会议论文集。 Chen, Y.; Wang, Q.; Chen, H.; Song, X.; Tang, H.; 和 Tian, M. 2019. 增强现实技术概述。《物理学杂志：会议系列》，1237(2): 022082。 Chen, Z.; Chen, S.; Schmid, C.; 和 Laptev, I. 2023. gSDF：用于三维手-物体重建的几何驱动有符号距离函数。载于CVPR会议论文集。 Chen, Z.; Hasson, Y.; Schmid, C.; 和 Laptev, I. 2022. AlignSDF：用于手-物体重建的姿态对齐有符号距离场。载于ECCV会议论文集。 Cho, H.; Kim, C.; Kim, J.; Lee, S.; Ismayilzada, E.; 和 Baek, S. 2023. 基于Transformer的双手操作物体的统一识别方法。载于CVPR会议论文集。 Ehsani, K.; Tulsiani, S.; Gupta, S.; Farhadi, A.; 和 Gupta, A. 2020. 利用“原力”，卢克！通过模拟效果来预测物理力。载于CVPR会议论文集。 Grady, P.; Tang, C.; Twigg, C. D.; Vo, M.; Brahmbhatt, S.; 和 Kemp, C. C. 2021. ContactOpt：优化接触点以改善抓取效果。载于CVPR会议论文集。 Hampali, S.; Rad, M.; Oberweger, M.; 和 Lepetit, V. 2020. HOnnotate：一种手与物体姿态的三维标注方法。载于CVPR会议论文集。 Hampali, S.; Sarkar, S. D.; Rad, M.; 和 Lepetit, V. 2022. Keypoint Transformer：解决复杂手-物体交互中的关节识别问题，以实现精确的三维姿态估计。载于CVPR会议论文集。 Hasson, Y.; Tekin, B.; Bogo, F.; Laptev, I.; Pollefeys, M.; 和 Schmid, C. 2020. 利用随时间变化的光度一致性来实现稀疏监督下的手-物体重建。载于CVPR会议论文集。 Hasson, Y.; Varol, G.; Schmid, C.; 和 Laptev, I. 2021. 面向RGB视频的无约束手-物体联合重建研究。发表于3DV会议。 Hasson, Y.; Varol, G.; Tzionas, D.; Kalevatykh, I.; Black, M. J.; Laptev, I.; 和 Schmid, C. 2019. 手与操控物体的联合重建学习。发表于CVPR会议。 He, K.; Zhang, X.; Ren, S.; 和 Sun, J. 2016. 用于图像识别的深度残差学习。发表于CVPR会议。 Hu, H.; Yi, X.; Cao, Z.; Yong, J.-H.; 和 Xu, F. 2024a. 手-物体交互控制器（HOIC）：基于深度强化学习的物理交互重建。发表于SIGGRAPH会议。 Hu, H.; Yi, X.; Zhang, H.; Yong, J.-H.; 和 Xu, F. 2022. 物理交互：基于物理原理的手-物体交互重建。发表于SIGGRAPH Asia会议。 Hu, J.; Zhang, H.; Chen, Z.; Li, M.; Wang, Y.; Liu, Y.; 和 Sun, Z. 2024b. 从单目图像中隐式重建手持物体时的显式接触建模。发表于AAAI会议。 Kuang, Z.; Ding, C.; 和 Yao, H. 2024. 结合先验知识的3D交互手-物体姿态估计学习。发表于MM会议。 Lin, Z.; Ding, C.; Yao, H.; Kuang, Z.; 和 Huang, S. 2023. 面向交互式手-物体姿态估计的和谐特征学习。发表于CVPR会议。 Liu, S.; Jiang, H.; Xu, J.; Liu, S.; 和 Wang, X. 2021. 结合时间交互信息的半监督3D手-物体姿态估计。发表于CVPR会议。 Morin, D. 2008. 经典力学导论：附习题与解答。剑桥大学出版社。 Mueller, F.; Davis, M.; Bernard, F.; Sotnychenko, O.; Verschoor, M.; Otaduy, M. A.; Casas, D.; 和 Theobalt, C. 2019. 利用单个深度相机实时重建两只交互手的运动姿态与形状。发表于《ACM图形学汇刊》，第38卷第4期。 Park, J.; Oh, Y.; Moon, G.; Choi, H.; 和 Lee, K. M. 2022. HandOccNet：抗遮挡的3D手部网格估计网络。发表于CVPR会议。 Pavlakos, G.; Shan, D.; Radosavovic, I.; Kanazawa, A.; Fouhey, D.; 和 Malik, J. 2024. 基于Transformer的3D手部重建技术。发表于CVPR会议。 Potamias, R. A.; Zhang, J.; Deng, J.; 和 Zafeiriou, S. 2025. WiLoR：面向野外场景的端到端3D手部定位与重建技术。发表于CVPR会议。 Prakash, A.; Chang, M.; Jin, M.; Tu, R.; 和 Gupta, S. 2024. 无需真实世界3D监督的手持物体3D重建技术。发表于ECCV会议。 Qi, H.; Zhao, C.; Salzmann, M.; 和 Mathis, A. 2024. HOISDF：利用全局有符号距离场约束3D手-物体姿态估计。发表于CVPR会议。 Ren, F.; 和 Bao, Y. 2020. 人机交互与智能机器人研究综述。《国际信息技术与决策制定杂志》，第19卷第01期：5–47页。 Romero, J.; Tzionas, D.; 和 Black, M. J. 2017. 具身化手部模型：手与身体的同步建模与捕捉。发表于《ACM图形学汇刊》，第36卷第6期。 Song, Y.; Sohl-Dickstein, J.; Kingma, D. P.; Kumar, A.; Ermon, S.; 和 Poole, B. 2021. 基于随机微分方程的分数阶生成建模。发表于ICLR会议。 --- Tse, T. H. E.; Kim, K. I.; Leonardis, A.; 和 Chang, H. J. 2022a. 基于注意力引导图卷积的手与物体重建协同学习。发表于CVPR会议。 Tse, T. H. E.; Zhang, Z.; Kim, K. I.; Leonardis, A.; Zheng, F.; 和 Chang, H. J. 2022b. S $^{2}$Contact：基于图神经网络的三维手物接触估计方法，采用半监督学习。发表于ECCV。 Wang, R.; Mao, W.; 和 Li, H. 2023a. DeepSimHO：通过物理仿真实现稳定的手物交互姿态估计。发表于NeurIPS。 Wang, R.; Mao, W.; 和 Li, H. 2023b. 通过密集互注意力机制进行手物交互姿态估计。发表于WACV。 Xiao, B.; Wu, H.; 和 Wei, Y. 2018. 人体姿态估计与跟踪的简单基准模型。发表于ECCV。 Xie, P.; Xu, W.; Tang, T.; Yu, Z.; 和 Lu, C. 2024. MS-MANO：结合生物力学约束的手部姿态跟踪方法。发表于CVPR。 Xu, H.; Li, H.; Wang, Y.; Liu, S.; 和 Fu, C.-W. 2024. Hand-Booster：通过手物交互的条件合成与采样来提升三维手部网格重建效果。发表于CVPR。 Xu, H.; Wang, T.; Tang, X.; 和 Fu, C.-W. 2023. H2ONet：一种能够感知手部遮挡与朝向的实时三维手部网格重建网络。发表于CVPR。 Yang, L.; Li, K.; Zhan, X.; Lv, J.; Xu, W.; Li, J.; 和 Lu, C. 2022. ArtiBoost：通过在线探索与合成来提升关节化三维手物姿态估计效果。发表于CVPR。 Yang, L.; Zhan, X.; Li, K.; Xu, W.; Zhang, J.; Li, J.; 和 Lu, C. 2024a. 学习接触势场以建模手物交互过程。《IEEE模式分析与机器智能汇刊》，46(8)：5645–5662。 Yang, Y.; Zhai, W.; Luo, H.; Cao, Y.; 和 Zha, Z.-J. 2024b. LEMON：从二维图像中学习三维人物交互关系。发表于CVPR。 Zhang, C.; Jiao, G.; Di, Y.; Wang, G.; Huang, Z.; Zhang, R.; Manhardt, F.; Fu, B.; Tombari, F.; 和 Ji, X. 2024. MOHO：利用多视角遮挡感知监督学习单视图下的手持物体重建方法。发表于CVPR。 Zhao, Y.; Kwon, T.; Streli, P.; Pollefeys, M.; 和 Holz, C. 2024. EgoPressure：用于自中心视觉中手部压力与姿态估计的数据集。arXiv。 Zhou, Z.; Zhou, S.; Lv, Z.; Zou, M.; Tang, Y.; 和 Liang, J. 2024. 一种高效手部网格重建的简单基准模型。发表于CVPR。