# 日常图像中的双手3D手部运动与关节动作预测阿迪蒂亚·普拉卡什大卫·福赛斯索拉布·古普塔伊利诺伊大学厄巴纳-香槟分校 ![Image](images/317648fd79de9987e276825de871d98fe09f31d7006ccbc671582a9cb13b6c4e.jpg)

Figure 1. ForeHand4D forecasts bimanual 3D hand motion from single RGB image input: (left) on 2 lab datasets (ARCTIC, H2O), (right) zero-shot forecasts on challenging EgoExo4D. Left hand shown in pink, right hand in blue. Color saturation decreases as time proceeds, i.e. further out timesteps are denoted by lighter shades. We render the predicted motion on the input image & from another view. Our predictions span longer trajectories, are smoother & better placed in the scene compared to the baseline, especially on everyday images from EgoExo4D.

## 摘要我们致力于解决从日常场景下的单张图像中预测双手3D手部运动及关节动作的问题。针对多样化场景中缺乏3D手部标注的问题，我们设计了一套标注流程：利用扩散模型将2D手部关键点序列转化为4D手部运动数据。在预测模型方面，我们采用扩散损失函数来应对手部运动分布的多模态特性。我们在6个数据集上开展的大量实验表明，使用带有填补标签的多样化数据进行训练可带来14%的性能提升；我们的数据升维模型性能提升了42%，预测模型性能则提升了16.4%，均优于现有最佳基线模型，尤其是在对日常图像的零样本泛化能力方面表现突出。 ### 1. 引言本文提出了ForeHand4D系统，该系统能够以单张日常RGB图像为输入，预测双手的3D手部运动。ForeHand4D可在各类日常图像上运行，仅凭借单张RGB图像就能输出双手在长时间范围内的完整3D关节动作信息。这一成果在泛化能力、预测时域以及输出完整性等多个维度实现了突破，从而提升了这类模型在下游人机交互及AR/VR应用中的实用性。图1展示了ForeHand4D的输出示例，其中包括来自EgoExo4D且从未用于训练的图像上的输出结果。预测手部运动十分困难，因为双手之间以及与环境之间的相互作用方式极为复杂。由于手部未来可能呈现多种状态（即输出结果具有多模态特性），因此不适合用回归器进行训练。正因如此，我们采用扩散损失函数来训练模型。我们发现这种方法能有效缓解多模态带来的问题，从而在一系列实验室数据集上显著提升预测性能，如表3所示，这也是针对这一难题的首批实验结果。 --- ![Image](images/bc7bcce3a154718c99ee5fc5b0d8875e714419a1ce2bf1b482ff77975142469b.jpg)

Figure 2. Overall Training Pipeline. We first use the 2D & 3D annotations in lab datasets to train a lifting diffusion model, L that maps 2D keypoints sequences to 3D MANO hands. We then run L on diverse datasets with 2D annotations to generate 3D annotations. Finally, the forecasting model F is trained on lab & diverse datasets with complete 3D supervision.

周围的环境。由于手部在未来能执行多种不同动作（即输出结果是多模态的），因此使用回归模型并不合适。所以，我们采用扩散损失函数来训练模型。我们发现这种方法成功解决了由多模态引发的问题，并在一系列实验室数据集上显著提升了预测性能，如表3所示，这也是针对这一难题的首批实验结果。然而，可用于训练此类扩散模型的数据（即包含完整3D真实值的实验室数据集，也就是MANO [^43] 参数）与我们希望该扩散模型处理的数据（实验室环境之外的日常图像，可能仅有2D标注而无3D标签）之间存在不匹配。由于扩散模型训练需要完整的真实值（前向扩散过程会在去噪前向真实值添加噪声），以往利用重投影损失进行弱监督的技术[^35] [^51] [^56] 无法应用，因为这类技术依赖MANO参数。从现有的2D标注生成3D伪标签是显而易见的解决方案，但现有方法（如EasyMocap [^47]）直接利用2D重投影损失优化MANO参数，效果并不理想，因为它们对初始化、优化目标和超参数调优极为敏感。我们的创新之处在于开发了一种可学习的提升模型，能将现有的2D标注转化为完整的3D标注。这增加了用于训练预测模型的数据多样性，进而提升了模型在保留数据集上的性能（见表3）。我们的整体流程如图2所示。首先，我们利用带有3D标注的实验室数据集来开发提升扩散模型L。该模型以序列中所有时间步的2D手部关键点及相机参数（内参和外参）作为输入，输出对应的3D手部姿态与位置。我们借助L将不同数据集上的2D标注提升为3D真实标签。随后，利用这些推断出的3D标签，结合实验室数据集上的真实3D标签，来训练我们的预测扩散模型F。由于2D标注在各类数据集上更易获取，这显著提升了预测模型的训练数据多样性。实验表明，通过我们的方法利用多样化数据进行训练，能够大幅提升学习模型在EgoExo4D日常图像（零样本泛化）及实验室数据集上的预测性能（见表3），其效果比LatentAct [^40]（经适配并重新训练以适应我们的场景）高出16.4%。该方法的表现也优于通过辅助2D预测头注入弱监督信息的其他方案。此外，我们的提升模型生成的3D标签更为精确，相比近期的HaWoR方法[^66]准确率提升了65.3%（见表1）。代码与模型将在论文发表后开源。 ### 2. 相关工作基于图像和视频的3D手部预测。针对图像或视频输入，近期诸多研究会对其中的手部进行预测（而非预报），这些数据既包含以自我为中心的观测[^13] [^14] [^24] [^25]，也包含非自我中心的观测[^18] [^19] [^28] [^31] [^32] [^37] [^44] [^60] [^63]。HaMeR [^35]是近期性能优异的研究成果，能够从单张图像中预测3D手部姿态；而Dyn-HaMR [^61]则能从视频输入中生成时间上连贯的3D手部预测结果。视频预测可通过前馈模型[^59]、测试时优化[^66]或混合方法[^21]来实现。手部预测。以往的研究在不同场景下对手部运动的特定方面进行了预测。这些研究在输出内容和输入条件上存在差异。从输出层面来看：[^7] [^40]可生成手部运动、姿态及接触图；Bao等人[^4]预测的是3D手腕位置，而Liu等人[^29]仅预测2D手腕位置。从输入层面讲，[^4] [^6] [^15] [^29] [^57]仅以RGB图像作为输入；而[^7] [^9] [^40] [^65] [^68]则以3D物体姿态或物体上的3D接触点等先验信息作为条件。相关研究涉及的场景也有所不同：全身预测[^6] [^57]、单手-物体交互[^4] [^15] [^40]，或是双手交互[^7] [^9] [^29] [^65] [^68]。因此，以往的研究仅解决了问题的单个方面，没有一项能像我们这样全面：要么是从更强的输入（3D物体模型）生成丰富的3D输出，要么是使用RGB图像却只能预测粗略的2D/3D结果。基于2D关键点估计3D姿态。在人体姿态研究领域，已有多项工作尝试通过不同方法从2D关键点估计3D姿态，例如线性模型[^41]、概率模型[^48]，以及直接优化3D姿态的方法[^1]。 --- ![Image](images/74de17405b8f4a17c6b6f8f77fca684e35f7cc5c1c3dad805d8ab143fef3a364.jpg)

Figure 3. Architecture for Forecasting Model. We modify MDM [^49] to condition on images features extracted from a ViT backbone. Each input & output token is 198-dimensional: 2 hands $\times$ (16 (joints) $\times$ (6 (6D rotation for each joint) + 3 (wrist translation))).

多层感知机（MLP）[^30] [^33]、卷积网络[^33] [^36] [^50]、基于图的方法[^5] [^10] [^53]、Transformer[^27] [^45] [^64] [^69]、扩散模型[^23] [^26]以及归一化流[^52]。这些研究采用的输入类型各不相同，比如静态2D姿态[^1] [^30] [^52]、从图像中估计出的2D姿态[^33] [^48]、2D关键点序列[^5] [^23] [^45] [^53] [^64] [^69]，或是多视角2D姿态[^26]。这些思路也被拓展到利用2D关键点[^71]或2D/2.5D热图[^19] [^22]来估计3D手部姿态。基于上述研究成果，我们设计了一种基于扩散的升维模型，用于从2D关键点估计3D手部姿态，从而为各种场景生成大规模的3D手部标注数据。从不完整的3D真实数据中学习。以往的研究通常通过2D投影损失[^35] [^51] [^56]将弱监督信息引入3D回归模型：将预测的3D数据可微地渲染或投影为2D形式，并使其与2D标注相匹配。然而，这种方法无法直接应用于扩散模型——扩散模型需要知道不同位置x处的分数$\nabla_{\mathbf{x}}p(\mathbf{x})$。虽然我们可以渲染出去噪后的3D形状，并利用投影损失对其计算部分监督信号（即我们虽不知道$\nabla_{\mathbf{x}}p(\mathbf{x})$的具体值，但能获取其投影），但我们并不清楚空间中的哪个点x对应这种部分监督信号。近期有研究尝试利用损坏或部分数据[^2] [^11]训练扩散模型，采用EM算法[^20]或激进的掩码策略[^55]。不过我们的场景有所不同：我们并没有部分真实数据，只有3D形状投影到2D的结果而已。 ### 3. 4D手部预测给定一张显示手部物体场景的RGB图像I，任务是预测双手的3D手部运动。我们采用MANO手部表示方法[^42]，该方法包含形状参数$\beta$、关节角度参数$\theta$以及全局手腕姿态$c_T$w，其中c表示位于摄像机中心的世界坐标系。我们的目标是学习一个函数$F(I)$，它以图像I为输入，预测预测时间范围内所有时间步的$\Phi_t = \{(\theta_t^l, c_T^l, \theta_t^r, c_{T,w}^r)\}$，此处上标l和r分别表示左手和右手。我们并不预测$\beta$（当$\beta$不可用时，我们使用MANO模型中的平均形状参数$\beta$）。我们的预测模型F是基于Transformer实现的，并采用扩散损失函数进行训练（见第3.1节）。由于扩散损失函数要求训练数据包含完整的3D标注信息，因此我们只能使用精心构建的、含有完整3D标注的实验室数据集（如ARCTIC [^13]、H2O [^24]、H2O-3D [^19]、HOT3D [^3]以及DexYCB [^8]）来训练F。这严重限制了F所能接触到的数据多样性，进而影响了它的泛化能力。为缓解这一局限，我们开发了提升模型L，用于将2D关键点标注转化为完整的3D标注（见第3.2节）。最终，我们的预测模型是在3D实验室数据集与经提升处理后的2D自然场景数据集基础上联合训练的，如图2所示。 #### 3.1. 预测模型F 由于时序预测结果具有多模态特性，我们采用条件扩散模型来表示F：给定输入以及期望输出的含噪版本，F会预测出施加在输出上的噪声。F使用ViT [^12]作为骨干网络来对图像I进行编码。我们针对自身场景对MDM [^49]中的扩散模型进行了修改，具体是将输入条件调整为图像特征。遵循[^49]中的设计思路，我们使用Transformer编码器来进行去噪处理（见图3），并采用6D表示法 [^70]来描述旋转参数。所有3D姿态均以$t = 0$处的相机坐标系为基准进行表示，预测结果同样在$t = 0$处的相机坐标系中给出。 #### 3.2. 提升模型L 提升模型以一段序列中的2D手部关键点和相机参数为输入，输出从第一帧开始、以相机坐标系表示的3D手部位置及MANO表示下的关节活动情况。该模型基于Transformer骨干网络的条件扩散模型实现（见图4）。条件模块。由于2D手部关键点和相机参数相互关联，我们将不同的表示形式拼接起来，用作扩散模型的条件输入：（1）外部参数：6D旋转表示和3D… --- ![Image](images/1a83b62899470305e23e6f028bfe9f7092cdb91fd2a2e8782e2b21e405da83c7.jpg)

Figure 4. Architecture for Lifting Model. We modify MDM [^49] to condition on a sequence of 2D hand keypoints & camera parameters. The conditioning module combines different input representations: 3D pose (rotation, translation) of camera, Plücker rays [^67] & KPE [^38].

翻译。（2）普吕克射线：这类射线描述了连接相机中心与图像中2D关键点的相机光线。具体而言，设$\boldsymbol{x}_t^k = (x_t^k, y_t^k, 1)$表示时间步t时第$k^{\text{th}}$个手部关键点的2D坐标（采用齐次坐标表示），K代表相机内参，$\boldsymbol{R}_t, t_t$表示相机的旋转和平移参数，使得$\boldsymbol{K}[\boldsymbol{R}_t | t_t] \boldsymbol{X}$能将世界点$\boldsymbol{X}$映射到相机坐标系中。连接相机中心与$\boldsymbol{x}_t^k$的射线可由$\lambda \boldsymbol{R}_t^{-1} \boldsymbol{K}^{-1} \boldsymbol{x}_t^k - \boldsymbol{K}^{-1} \boldsymbol{t}_t$表示。我们采用6D普吕克表示法 [^67]来描述这条射线。（3）KPE编码 [^38]：该方法用于捕捉每个2D关键点在相机视野中的位置（其中主点为$(p_x, p_y)$，焦距为$(f_x, f_y)$）。对于每个$(x_t^k, y_t^k)$，我们先估算角度$\phi_x = \tan^{-1}((x_t^k - p_x)/f_x)$和$\phi_y = \tan^{-1}((y_t^k - p_y)/f_y)$，再计算出正弦编码。训练数据。为了训练提升模型，我们将实验室数据集中的3D手部和相机轨迹渲染成2D手部关键点轨迹。我们还在相机轨迹中引入增强处理，以增加训练数据的多样性。由于采用了这些增强手段且未使用任何视觉信息，该提升模型对训练阶段未曾见过的数据集也能表现出良好的泛化能力。 #### 3.3. 利用提升模型L生成3D标签，用于训练预测模型F 我们通过在各类数据集上的二维标注上运行提升模型L，来推断MANO标签（AssemblyHands [^34] 和 HoloAssist [^54]）。我们并非直接使用提升模型输出的三维结果，而是对其进行调整，使其更贴合二维标注。具体来说，我们将提升模型生成的全部三维预测结果输入到可微分的MANO模型 $\mathcal{M}$ 中，以获取三维手部关节位置，随后利用已知的相机内参将其投影到图像上，从而得到二维关键点。我们利用梯度下降算法对二维关键点标签（要么来自AssemblyHands等数据集，要么由现成的模型估计得出 [^35]）的投影误差进行优化，迭代1000次，学习率设为0.01，并限制梯度范数不超过1以实现正则化。对于含有三维关键点标签但无MANO标签的数据集，我们还会额外加入针对三维关键点的L2损失。 #### 3.4. 实现细节 F和L中的去噪器均采用Transformer编码器实现，包含16层、4个注意力头，隐层维度为1024，dropout率为0.1。用于提取图像特征的ViT骨干网络初始化参数来自 [^35]。遵循 [^49] 中的做法，我们采用余弦噪声调度方式，进行1000步去噪处理。我们还会以0.1的概率掩码掉条件化标记（F对应的图像特征以及L对应的二维关键点+相机参数），以模拟各种场景下的噪声干扰。在数据增强方面，预测任务中会添加像素级噪声和图像缩放操作，而提升任务则会对二维关键点进行抖动和缩放处理。F和L均预测归一化的平移值（基于训练数据集中所有手腕平移值的均值和标准差计算得出）。对于L而言，我们发现外参、普吕克射线和KPE的组合效果最佳。预测过程共涵盖256个时间步。F和L均在4块NVIDIA L40S或4块A40 GPU上采用混合数据集设置进行训练。由于不同数据集的序列长度存在差异，我们会掩码掉多余的时间步。 ### 4. 实验我们的实验旨在验证：(a) 预测任务的难度；(b) 与以往相关方法相比，我们的模型从单张图像预测手部运动和关节活动的能力如何；(c) 扩散头相较于回归头的有效性；(d) 引入多样化的二维标注数据是否能提升性能；(e) 我们的提升方法与其他注入二维监督信息的方式相比表现如何；(f) 我们推断出的标签的质量；(g) 哪些设计决策至关重要？评估指标。我们采用了人体运动文献中的指标 [^16] [^17] [^46] [^49] [^58] [^62]，用以衡量预测运动的准确性和质量。在准确性方面，我们使用：(a) 三维环境下各关节位置的平均误差（M）（单位：厘米），该数值是对时间、关键点和两只手取平均值得到的结果；(b) 三维环境下的平均相对根部位置误差（MR）（单位：厘米），用于衡量左右手根部之间的平移量。我们还定义了两种M的变体：(c) M-G（计算M之前先将预测结果与真实值进行全局对齐）和(d) M-F（在第一时间步将预测结果与真实值对齐）。通过某种形式的对齐，M-G和M-F能够反映预测关节活动的准确性。数值越低越好。 --- ![Image](images/df0d260627dd103c10507578ff737515948edc9aee9c6f896d8b310ca951ab77.jpg) ![Image](images/c6db4e20e93aed283657fbe7c32693416098900eb204dfe7da317708916dda50.jpg)

Figure 5. 4D hand predictions from the lifting model, that predicts 3D MANO parameters from 2D keypoints & camera parameter inputs. We show 4 frames with the MANO mesh rendered onto the image for visualization (images are not used as input).

Method	Assembly Hands
Method	M	M-G	M-F	MR
HaMeR [^35]	29.7	6.8	16.1	36.9
EasyMocap [^47]	36.3	7.7	16.8	15.4
HaWoR [^66]	61.6	6.1	46.3	131.1
(Ours) Lifting	9.6	5.1	10.0	11.7
Ours + 2D refinement	3.2	2.7	2.5	3.7

Table 1. Our Lifting model is better than other methods for estimating 3D MANO labels for video trajectories on Assembly.

用于衡量左右手根关节之间平移误差的3D误差（单位：厘米）。我们还引入了两种M的变体：(c) M-G（在计算M之前将预测结果与世界真实值进行全局对齐）以及(d) M-F（在第一时间步将预测结果与世界真实值对齐）。通过这种对齐方式，M-G和M-F能够更精准地反映预测关节角度的准确性。数值越小越好。为了评估质量（仅限预测任务）：(a) 多样性：衡量整个数据集中预测或真实动作集合内的方差。具体来说，我们计算这些动作在MANO空间中的平均成对L2距离。正如[^16]中所述，预测出的多样性应与真实动作的多样性相当。(b) 多模态性：衡量同一输入下预测出的动作之间的差异，计算方法为每个输入对应的5个样本间的平均成对L2距离（数值越高越好）。数据集。我们使用了5个实验室数据集：H2O [^24]、H2O-3D [^19]、ARCTIC [^13] Ego、HOT3D [^3]以及DexYCB [^8]，这些数据集包含完整的3D标注（即MANO标签），但数据多样性有限。为了获取多样化的图像数据，我们纳入了HoloAssist [^54]和AssemblyHands [^34]（即标注不完整的数据集）。HoloAssist上的2D关键点是通过HaMeR [^35]估算的；AssemblyHands包含3D和2D关键点，但没有MANO标签。我们在三种场景下进行评估：(a) 域内数据集：来自训练数据集的保留测试集（用于测试对新实例的泛化能力）；(b) AssemblyHands：一个未用于标签推断的保留测试集；(c) EgoExo4D：零样本泛化场景（完全不用于训练）。

Method	Assembly Hands
Method	M	M-G	M-F	MR
No camera poses	26.3	8.2	16.1	15.5
Extrinsics + KPE	17.9	7.6	16.4	15.8
Plicker rays	14.0	5.5	12.5	12.6
Extrinsics + Plücker + KPE	9.6	5.1	10.0	11.7

Table 2. Analysis of input representation for Lifting model (Sec. 3.2). Different ways of encoding camera parameters help with Plücker rays being the most effective.

#### 4.1. 提升结果我们首先评估提升模型以及推断出的标签质量（见表1、表2）。我们使用AssemblyHands上的3D关键点标签进行评估（该数据集并未用于训练提升模型）。与现有的伪标签方法的对比。我们考虑了三种替代方案：(a) 来自HaMeR [^35]的预测结果，这是一种性能出色的3D手部姿态估计器；(b) EasyMocap [^47]：它会对3D MANO参数进行优化，使其符合给定的2D手部关键点，同时加入时间平滑处理和姿态正则化；(c) HaWoR [^66]，这是一种近期提出的方法，利用数据驱动的运动先验来重建世界坐标系下的3D手部运动。表1显示，我们的提升模型在所有指标上都能生成最精确的伪MANO标签。借助输入2D关键点，这些标签还能进一步精细化。为了公平比较，我们对EasyMocap进行了修改，使其在全局运动初始化时使用真实的相机姿态，并且给HaWoR提供与我们的提升模型所使用的相同的关键点轨迹。拟合模型设计的消融实验。从表1ab.2中可以看出，仅基于2D关键点轨迹进行条件设定的效果较差。在第2行中，通过2D关键点的角度编码（KPE）注入相机的外部参数（旋转、平移）和内部参数后，效果有了明显提升。第3行中使用Plücker射线也带来了益处。最终，综合使用所有编码方式的模型表现最佳。定性可视化结果。图5展示了我们的模型实现的2D到3D转换的定性示例。该提升模型能够准确地定位并呈现手部的关节运动。 ---

Method	In-domain datasets				AssemblyHands				EgoExo4D (Zero-shot)
Method	M	M-G	M-F	MR	M	M-G	M-F	MR	M	M-G	M-F	MR
Static Pose (trained in our setting)	23.3	8.4	15.4	16.8	29.8	8.9	16.1	26.2	28.8	13.5	19.2	18.9
Static Pose (from HaMeR [^35])	26.8	8.5	15.5	18.5	31.9	9.0	14.2	38.8	32.7	13.6	18.3	29.8
LatentAct [^40] (adapted for our task)	17.7	7.4	16.2	17.6	21.3	9.1	17.2	22.8	26.4	13.5	19.5	49.9
Transformer Regressor (3D sup.)	15.3	6.7	14.7	14.8	30.0	8.6	21.6	25.5	29.2	12.9	21.7	20.9
Transformer Regressor (3D + 2D sup.)	15.1	6.9	14.6	14.9	27.5	8.5	18.4	19.3	28.9	13.0	21.3	19.0
(Ours) ForeHand4D (3D sup.)	14.8	5.9	13.3	12.4	27.9	8.4	18.1	18.1	24.0	13.0	20.9	19.6
(Ours) ForeHand4D (3D + 2D sup.)	17.1	6.5	15.3	13.5	20.3	8.4	15.4	16.5	18.8	13.2	18.9	13.5

Table 3. Baseline comparisons. Our ForeHand4D model improves M & MR by 36.02% compared to static pose methods, indicating significant hand movement in our setting. Compared to the transformer regressor baseline (Row 4 vs Row 6), we see improvements in 11/12 metrics. Adding weak supervision from 2D labels leads to further gains in M & MR, especially in the zero-shot generalization to EgoExo4D.

Method	Diversity	Multimodality
Reference (ground truth distribution)	39.16	N/A
Transformer Regressor	187.82	N/A
LatentAct [^40] (adapted for our task)	302.45	13.04
(Ours) ForeHand4D	41.14	19.64

Table 4. ForeHand4D produces multimodal output that better matches the diversity of the ground truth trajectories on ARCTIC.

#### 4.2. 预测结果由于目前尚无针对该问题的现有研究，我们借鉴近期提出的LatentAct [^40]方法并将其适配到我们的场景中，以此构建多个基准模型： • 静态姿态基准模型假设手部保持静止，将输入图像上的3D手部姿态估计值作为预测结果。我们考虑了两种变体：一种是在我们的场景中训练姿态预测器，另一种则直接使用现成的HaMeR [^35]的输出（该模型在10个数据集上训练而成，性能优异）。 • Transformer Regressor采用了与我们模型相同的架构，但直接对未来的手部运动和关节位置进行回归预测。我们考虑了两种变体：3D监督版本使用与ForeHand4D相同的3D真实数据来训练；3D监督+2D监督版本则通过预测出的3D结果上的重投影损失来引入2D监督（参见[^35] [^39]）。只有在该模型直接回归3D输出时，这种做法才可行。我们联合在5个包含3D标签的数据集以及2个包含2D标签的数据集上进行训练。 • LatentAct [^40]以图像、文本、接触点以及交互码本（表示为VQVAE的潜在空间）作为输入，来预测单只手未来的3D手部运动及接触轨迹。我们调整了LatentAct，使其仅以单张图像为输入，并在我们的实验设置中重新训练该模型。 • （我们的模型）ForeHand4D。我们根据所使用的监督方式，考虑了两种ForeHand4D模型的变体。3D监督版本仅在5个包含3D标签的数据集上训练；3D监督+2D监督版本则是我们的最终模型，它在5个包含3D标签的数据集以及由我们的提升模型生成的估算3D标签上联合训练。 • 我们将其与其他利用2D标签配合扩散模型的方法进行了比较。这种方法是在模型中增加另一个头来进行2D预测，从而使图像主干网络也能从2D标签中获得梯度信息。我们考虑了两种方法：2D回归头和2D扩散头（针对2D关键点进行去噪处理）。静态姿态结果。静态姿态方法中M和MR值较大，这表明在不同时间步确实存在显著的手部运动，因为M和MR是侧重于平移情况的评估指标。我们的ForeHand4D模型在所有设定下都能使M和MR指标提升36.02%。HaMeR在EgoExo4D/Assembly数据集上的M-F指标得分最高，这很可能是因为它在来自10个数据集的多样化图像上进行了训练。扩散模型的表现优于基于Transformer的回归器。对比表3中的第6行和第4行可知，在12个指标中有11个得到了改善。尤其在零样本设定下，M和MR指标的提升尤为明显。此外，我们可以从ForeHand4D模型中采样出不同的合理预测结果（见图6）。注入2D监督信息能提升在新数据集上的性能。对比表3中的第6行和第7行可知，注入2D监督信息后，Assembly和EgoExo4D数据集上的各项指标均有大幅提升。值得注意的是，M、M-F和MR指标提升了10%到30%。Transformer Regressor基线模型从这些额外的2D标签中获益较少（第4行 vs 第5行），总体而言，ForeHand4D在8个指标中的7个上表现优于它（第4、5行 vs 第7行）。这一结果说明：a) 在ForeHand4D中融入弱监督信息的做法是有效的；b) 我们提出的相关方案确实行之有效。此外，我们发现注入2D监督信息会轻微损害模型在领域内数据集上的性能（第6行 vs 第7行，第4行 vs 第5行），这两种模型均如此。我们认为这是因为同一模型现在需要学习比领域内数据集所涵盖的更广泛的数据分布：从80个物体扩展到300个物体，且涉及多种视角和摄像头。ForeHand4D的性能受损也可能源于其使用的估算标签并不完美（见表1）。不过，对于没有完整3D标注的数据集而言，注入2D标签能带来显著帮助。与LatentAct的比较。使用我们的ForeHand4D模型可获得16.4%的性能提升，其中MR指标的改善最为明显。这很可能是因为LatentAct需要额外的输入，即接触点和文本，才能更准确地确定预测运动在3D空间中的位置，而这些输入在我们的实验设定中并不可用。 --- ![Image](images/277f31c3e8a8095113ea5ef7f17733e11ed602efcc3874f06d6465b6194dbd8f.jpg)

Figure 6. Different forecasts from the same input image. We show 4 samples for 2 input images from ForeHand4D, indicating different modes of interaction with the object: (top) the box lifted in different directions, (bottom) the right hand moves towards different objects.

Method	In-domain datasets				AssemblyHands				EgoExo4D (Zero-shot)
Method	M	M-G	M-F	MR	M	M-G	M-F	MR	M	M-G	M-F	MR
No Additional 2D Supervision	14.8	5.9	13.3	12.4	27.9	8.4	18.1	18.1	24.0	13.0	20.9	19.6
Inject 2D Sup. via a 2D Regression Head	15.5	6.4	14.0	13.8	26.8	8.5	16.6	16.9	25.9	13.0	21.2	16.6
Inject 2D Sup. via a 2D Diffusion Head	16.2	6.1	13.8	15.0	31.9	8.4	18.2	19.8	24.8	13.2	18.3	16.6
(Ours) Inject 2D Sup. via Imputed Labels	17.1	6.5	15.3	13.5	20.3	8.4	15.4	16.5	18.8	13.2	18.9	13.5

Table 5. Labels from lifting model (Row 4) better incorporate 2D supervision than alternatives based on attaching auxiliary 2D forecasting heads based on diffusion (Row 3) or regression (Row 2).

3D空间中的运动数据，在我们的实验设置中无法获取。运动多样性与多模态性。我们在包含真实MANO标签的ARCTIC数据集上计算了这些标准的运动质量指标[^16] [^49]。如表4所示，真实分布下的多样性得分为39.16。ForeHand4D的预测运动分布的多样性得分达到41.14，相比LatentAct（多样性得分302.45）和Transformer回归器（多样性得分187.82）而言，更接近真实分布。我们还发现我们的模型在多模态性得分上也更优（19.64对比LatentAct的13.04）。图6展示了基于同一输入生成的多个预测结果示例：（上方）盒子向不同方向被抬起，（下方）右手移向不同的物体。所提出的提升方案与其他方案的对比。在表5中，通过引入2D回归头或2D扩散头进行监督后，性能并未有显著提升。然而，通过我们的提升模型输入标签的效果相当显著，能够大幅改善M和MR指标。随时间变化的性能趋势。从图8中可以看出，M（MPJPE）的初始值并非0。这是因为模型难以精确预测给定帧中的手部平移位置（很可能是由于从单张图像预测3D坐标时存在尺度歧义）。M-F通过将模型与第一帧中的真实手部位置对齐来消除这种误差，呈现出明显的上升趋势。定性比较。我们在图7中可视化了我们的模型与Transformer回归器（3D + 2D监督）基线模型的预测运动。与基线相比，我们的运动预测轨迹更长、更平滑，且在场景中的位置也更合理，预测结果明显…… --- ![Image](images/845d24b3d32c6ae64c076983b565b34a7012474460686a910ef4d330f5c8406e.jpg)

Figure 7. Qualitative comparison: ForeHand4D vs. Transformer Regressor (3D + 2D sup.) (Left) forecasts on 3 lab datasets (ARCTIC, H2O, DexYCB), (Right) zero-shot forecasts on challenging EgoExo4D. Left hand in pink, right hand in blue. Color saturation decreases as time proceeds, i.e. further away timesteps in future are in lighter shades. We render motions in camera frame & another view. Our predictions span longer trajectories, are smoother, better placed in the scene & significantly more plausible on zero-shot generalization to EgoExo4D.

![Image](images/e73e2b956135f4d85abc6091ba6f346f5fa4d888c59fa6cd2ffcc4a5fcb5eea1.jpg) ![Image](images/10b5a145297a1bec717eac2f2eff5b621cbf44b3213619ee1422b22873fee506.jpg)

Figure 8. Performance trends over time. Forecasting gets harder for longer prediction horizons for both (top) M & (bottom) M-F.

在全新的EgoExo4D数据集上，预测结果的合理性也显著更高。补充材料中提供了更多的可视化结果与分析。 ### 5. 结论、局限性与未来工作我们提出了一种在日常场景下基于单张图像预测双手法部3D运动与关节状态的系统。我们的预测模型是一个条件扩散模型，采用了多种监督方式进行训练：实验室数据集中的3D标签，以及利用我们的提升模型从各类数据集中获取的估算3D标签。我们的预测结果在时间跨度上更长、更平滑、位置更合理，且能捕捉到多种交互模式，尤其在零样本泛化场景下表现突出。在所有模型中，在全新数据集上进行零样本预测都是极具挑战性的。在图7中，我们可以看到EgoExo4D数据集上部分案例中手部的位置并不准确。虽然为了通用性我们考虑使用单张图像作为输入，但将上下文信息（如过往帧或意图）作为额外输入加入预测模型可能会有所帮助。最后，物体运动也是交互中的重要环节，值得在未来研究中进一步探索。 --- 致谢。本研究得到了美国国家科学基金会CAREER奖（IIS2143873）和美国国家科学基金会项目（IIS-2007035）的支持。我们也感谢DURIP项目（N0001423-1-2166）提供的计算资源支持。 ## 参考文献 [^1]: Ijaz Akhter and Michael J. Black. Pose-conditioned joint angle limits for 3d human pose reconstruction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. 2, 3 [^2]: Weimin Bai, Yifei Wang, Wenzheng Chen, and He Sun. An expectation-maximization algorithm for training clean diffusion models from corrupted observations. In Advances in Neural Information Processing Systems (NeurIPS), 2024. 3 [^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv:2406.09598, 2024. 3, 5 [^4]: Wentao Bao, Lele Chen, Libing Zeng, Zhong Li, Yi Xu, Junsong Yuan, and Yu Kong. Uncertainty-aware state space transformer for egocentric 3d hand trajectory forecasting. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2 [^5]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat-Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2019. 3 [^6]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2021. 2 [^7]: Junuk Cha, Jihyeon Kim, Jae Shin Yoon, and Seungryul Baek. Text2hoi: Text-guided 3d motion generation for hand-object interaction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2 [^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 3, 5 [^9]: Sammy Christen, Shreyas Hampali, Fadime Sener, Edoardo Remelli, Tomas Hodan, Eric Sauser, Shugao Ma, and Bugra Tekin. Diff $^{2}$o: Diffusion-based synthesis of hand-object interactions from textual descriptions. In SIGGRAPH Asia 2024 Conference Papers, pages 1–11, 2024. 2 [^10]: Hai Ci, Chunyu Wang, Xiaoxuan Ma, and Yizhou Wang. Optimizing network structure for 3d human pose estimation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2019. 3 [^11]: Giannis Daras, Kulin Shah, Yuval Dagan, Aravind Gollakota, Alex Dimakis, and Adam R. Klivans. Ambient diffusion: 从受损数据中学习干净的分布。载于《神经信息处理系统大会论文集》（NeurIPS），2023年3月。 [^12]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16×16 words: Transformers for image recognition at scale. In Proceedings of the International Conference on Learning Representations (ICLR), 2021. 3 [^13]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2, 3, 5 [^14]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xuanyang Zhang, Xue Zhang, Fei Li, Zheng Liu, Feng Lu, Karim Abou Zeid, Bastian Leibe, Jeongwan On, Seungryul Baek, Aditya Prakash, Saurabh Gupta, Kun He, Yoichi Sato, Otmar Hilliges, Hyung Jin Chang, and Angela Yao. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In Proceedings of the European Conference on Computer Vision (ECCV), 2024. 2 [^15]: Alexey Gavryushin, Florian Redhardt, Gaia Di Lorenzo, Luc Van Gool, Marc Pollefeys, Kaichun Mo, and Xi Wang. SIGHT: single-image conditioned generation of hand trajectories for hand-object interaction. arXiv, 2503.22869, 2025. [^16]: Chuan Guo, Xinxin Zuo, Sen Wang, Shihao Zou, Qingyao Sun, Annan Deng, Minglun Gong, and Li Cheng. Action2motion: Conditioned generation of 3d human motions. In Proceedings of the 28th ACM international conference on multimedia, pages 2021–2029, 2020. 4, 5, 7 [^17]: Chuan Guo, Yuxuan Mu, Muhammad Gohar Javed, Sen Wang, and Li Cheng. Momask: Generative masked modeling of 3d human motions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 4 [^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 2 [^19]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 2, 3, 5 [^20]: Trevor Hastie, Robert Tibshirani, Jerome H Friedman, and Jerome H Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer, 2009. 3 ## [^21]: Charlie Hewitt, Fatemeh Saleh, Sadegh Aliakbarian, Lohit Petikam, Shideh Rezaeifar, Louis Florentin, Zafiirah Hosnie, Thomas J. Cashman, Julien Valentin, Darren Cosker, and Tadas Baltrusaitis. Look ma, no markers: holistic performance capture without the hassle. ACM Transactions on Graphics, 43, 2024. 2 --- [^22]: Umar Iqbal, Pavlo Molchanov, Thomas M. Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5d heatmap regression. In Proceedings of the European Conference on Computer Vision (ECCV), 2018. 3 [^23]: Roy Kapon, Guy Tevet, Daniel Cohen-Or, and Amit H. Bermano. MAS: multi-view ancestral sampling for 3d motion generation using 2d diffus,ion. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 3 [^24]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2021. 2, 3, 5 [^25]: Jiaman Li, Karen Liu, and Jiajun Wu. Ego-body pose estimation via ego-head pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2 [^26]: Jiaman Li, C. Karen Liu, and Jiajun Wu. Lifting motion to the 3d world via 2d diffusion. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 3 [^27]: Wenhao Li, Hong Liu, Hao Tang, Pichao Wang, and Luc Van Gool. Mhformer: Multi-hypothesis transformer for 3d human pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 3 [^28]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 2 [^29]: Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 2 [^30]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J. Little. A simple yet effective baseline for 3d human pose estimation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017. 3 [^31]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single RGB image. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2 [^32]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3d hand pose estimation for whole-body 3d human mesh estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPR Workshops), 2022. 2 [^33]: Francesc Moreno-Noguer. 3d human pose estimation from a single image via distance matrix regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 3 [^34]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 12999–13008, 2023. 4,5 [^35]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2, 3, 4, 5, 6 [^36]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^37]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. arXiv preprint arXiv:2409.12259, 2024. 2 [^38]: Aditya Prakash, Arjun Gupta, and Saurabh Gupta. Mitigating perspective distortion-induced shape ambiguity in image crops. In Proceedings of the European Conference on Computer Vision (ECCV), 2024. 4 [^39]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In Proceedings of the European Conference on Computer Vision (ECCV), 2024. 6 [^40]: Aditya Prakash, Benjamin E Lundell, Dmitry Andreychuk, David Forsyth, Saurabh Gupta, and Harpreet S. Sawhney. How do I do that? synthesizing 3d hand motion and contacts for everyday interactions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 2, 6 [^41]: Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Reconstructing 3d human pose from 2d image landmarks. In Proceedings of the European Conference on Computer Vision (ECCV), 2012. 2 [^42]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6):245:1–245:17, 2017. 3 [^43]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG), 2017. 2 [^44]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3D hand and body motion capture by regression and integration. Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCV Workshops), 2021. 2 [^45]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Shanshe Wang, Siwei Ma, and Wen Gao. P-STMO: pre-trained spatial temporal many-to-one model for 3d human pose estimation. In Proceedings of the European Conference on Computer Vision (ECCV), 2022. 3 [^46]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J. Black. WHAM: reconstructing world-grounded humans with accurate 3d motion. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 4 [^47]: Qing Shuai, Qi Fang, Junting Dong, Sida Peng, Di Huang, Hujun Bao, and Xiaowei Zhou. Easymocap - make human motion capture easier. Github, 2021. 2, 5 ## [^48]: Edgar Simo-Serra, Ariadna Quattoni, Carme Torras, and Francesc Moreno-Noguer. A joint model for 2d and 3d --- 基于单张图像的姿态估计。载于《IEEE计算机视觉与模式识别会议论文集》（CVPR），2013年。第2、3页。 [^49]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit Haim Bermano. Human motion diffusion model. In Proceedings of the International Conference on Learning Representations (ICLR), 2023. 3, 4, 7 [^50]: Denis Tomè, Chris Russell, and Lourdes Agapito. Lifting from the deep: Convolutional 3d pose estimation from a single image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 3 [^51]: Shubham Tulsiani, Tinghui Zhou, Alexei A Efros, and Jitendra Malik. Multi-view supervision for single-view reconstruction via differentiable ray consistency. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2626–2634, 2017. 2, 3 [^52]: Bastian Wandt, James J. Little, and Helge Rhodin. Elepose: Unsupervised 3d human pose estimation by predicting camera elevation and learning normalizing flows on 2d poses. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 3 [^53]: Jingbo Wang, Sijie Yan, Yuanjun Xiong, and Dahua Lin. Motion guided 3d pose estimation from videos. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 3 [^54]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. Holoassist: an egocentric human interaction dataset for interactive AI assistants in the real world. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2023. 4, 5 [^55]: Sirui Xie, Zhisheng Xiao, Diederik P. Kingma, Tingbo Hou, Ying Nian Wu, Kevin P. Murphy, Tim Salimans, Ben Poole, and Ruiqi Gao. EM distillation for one-step diffusion models. In Advances in Neural Information Processing Systems (NeurIPS), 2024. 3 [^56]: Xinchen Yan, Jimei Yang, Ersin Yumer, Yijie Guo, and Honglak Lee. Perspective transformer nets: Learning single-view 3d object reconstruction without 3d supervision. Advances in neural information processing systems, 29, 2016. 2, 3 [^57]: Ji Yang, Youdong Ma, Xinxin Zuo, Sen Wang, Minglun Gong, and Li Cheng. 3d pose estimation and future motion prediction from 2d images. Pattern Recognition, 124:108439, 2022. [^58]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 4 [^59]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J Black. Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329, 2025. 2 [^60]: Brent Yi, Vickie Ye, Maya Zheng, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. arXiv preprint arXiv:2410.03665, 2024. 2 [^61]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dynamr: Recovering 4d interacting hand motion from a dynamic camera. arXiv preprint arXiv:2412.12861, 2024. 2 [^62]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. GLAMR: global occlusion-aware human mesh recovery with dynamic cameras. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 4 [^63]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45, 2023. 2 [^64]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 3 [^65]: Jiajun Zhang, Yuxiang Zhang, Liang An, Mengcheng Li, Hongwen Zhang, Zonghai Hu, and Yebin Liu. Manidext: Hand-object manipulation synthesis via continuous correspondence embeddings and residual-guided diffusion. arXiv preprint arXiv:2409.09300, 2024. 2 [^66]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: World-space hand motion reconstruction from egocentric videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 2, 5 [^67]: Jason Y. Zhang, Amy Lin, Moneish Kumar, Tzu-Hsuan Yang, Deva Ramanan, and Shubham Tulsiani. Cameras as rays: Pose estimation via ray diffusion. In Proceedings of the International Conference on Learning Representations (ICLR), 2024. 4 [^68]: Wanyue Zhang, Rishabh Dabral, Vladislav Golyanik, Vasileios Choutas, Eduardo Alvarado, Thabo Beeler, Marc Habermann, and Christian Theobalt. Bimart: A unified approach for the synthesis of 3d bimanual interaction with articulated objects. arXiv preprint arXiv:2412.05066, 2024.2 [^69]: Ce Zheng, Sijie Zhu, Matías Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3d human pose estimation with spatial and temporal transformers. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2021. 3 [^70]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^71]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single RGB images. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017. 3