# DanceHMR：基于单目视频的手部感知全身人体网格恢复沈文浩 $^{*}$、周明 $^{*,\dagger}$、张恒远、卞思远、徐友江、张远字节跳动智能创作部 $^{*}$贡献相同，${}^{†}$通讯作者 ## 摘要单目视频人体网格恢复对于数字人、虚拟形象动画以及具身仿真而言至关重要，这类应用既需要时间上的稳定性，也需要富有表现力的全身运动。现有的视频人体网格恢复方法能够生成连贯的身体运动，但往往忽略了手部的精细关节活动；而基于图像的全身恢复方法则是逐帧独立恢复SMPL-X网格，常常导致手部运动抖动且不够准确。我们针对具有挑战性的野外单目视频，提出了一种时间上连贯的全身人体网格恢复框架。该模型通过残差式身体-手部融合机制，将身体上下文与特定于部位的手部观测信息统一起来，从而能够在单一的时间架构内实现稳定的身体运动和精细的手部恢复。我们还引入了特写感知增强技术，以提升模型在上半身构图下的鲁棒性。在全身及仅身体基准测试上的实验表明，我们的方法在手部重建方面表现更优，且身体恢复精度也具备竞争力。该方法还能在具有挑战性的真实视频中生成时间稳定且符合2D视觉一致性的SMPL-X运动。日期：2026年6月4日通讯联系人：周明，邮箱：项目页面： ## 1 引言从视频中恢复单目人体网格是大规模人体数字化的基础技术，可应用于运动生成数据采集、虚拟形象动画以及具身人工智能等工业领域。对于这些下游系统而言，时间连贯性至关重要；若帧间存在抖动或物理不连续现象，提取出的运动数据便无法用于训练流程或物理仿真。此外，在直播、舞蹈以及人机交互等现实场景中，手部在传递运动语义和视觉真实感方面发挥着核心作用。因此，同时恢复出准确、富有表现力且时间稳定的身体与手部关节活动是一项关键挑战。近期提出的视频人体网格恢复方法 [^3] [^13] [^21] [^22] [^29] [^33] 能够稳定身体运动，但通常忽略手部的精细关节活动。因此，对于特写及以手部为中心的视频而言，这些方法并不适用，因为这类视频对手指运动的精确度以及手腕与身体的协调性要求很高。一种直接的解决方案是将基于视频的身体估计器与手部重建模型相结合。然而，对身体和手部的独立估计往往会导致手腕朝向在物理上不连贯。此外，真实视频中常见的手部自遮挡、模糊以及部分可见性问题，会使得基于图像的手部预测结果出现严重抖动，且姿态也不符合实际。 --- ![Image](images/d40f40318c9dff26c61b6e5497007006566fc113412cd6958c4e959d0f2450b7.jpg)

Figure 1 Given a monocular video, our method reconstructs temporally coherent and 2D consistent whole-body motion. Previous video-based HMR methods focus predominantly on the body; when combined with hand models (e.g., GVHMR [^21] + HaMeR [^16]), they often produce unnatural wrist orientations and temporal inconsistencies. Image-based whole-body models such as SMPLer-X [^2] process frames independently and struggle with small hand crops, resulting in inaccurate and jittery hand motion. In contrast, by modeling the body and hands together, our approach produces temporally stable hand articulation and fluid whole-body dynamics.

另一个挑战源自真实视频的拍摄构图。许多网络视频并非像典型的动作捕捉基准数据集那样采用标准全身序列拍摄。直播、视频日志以及演讲类视频多以特写或上半身构图为主，手部会频繁进出画面边界。主要在全身裁剪图像上训练的现有模型在这些场景下会出现严重的分布差异，从而导致身体与图像的对齐不准确、头部投影扭曲以及姿态估计不稳定。这些观察结果催生了一个简单却重要的设计原则：身体运动、手部动作以及时间上下文应当被联合建模，而非独立处理。身体姿态为手腕方向和手部整体位置提供了强有力的空间和解剖学约束，而局部的手部图像裁剪和二维关键点则能为复杂的手指动作提供互补的局部证据。此外，当肢体的视觉观测存在噪声、模糊、截断或暂时缺失时，时间上下文对于推断合理的手部姿态至关重要。在本文中，我们提出了一种针对具有挑战性的野外单目视频设计的时序连贯全身人体运动恢复框架。给定一段视频序列，我们的模型会在统一的时间架构中共同预测身体和手部参数。它通过一个感知手部的时序变换器来整合特定部位的信息。我们并未直接采用基于图像的手部模型所提供的硬性姿态约束，而是分别通过独立的左手和右手分支来编码手部视觉特征以及显式的二维手部几何信息。随后，编码后的手部证据会以残差细化的形式注入到以身体为锚点的时间表示中。这些残差项相当于一组互补的软性观测数据，使得模型能够在手部可见时自适应地利用可靠的视觉线索，而在手部被遮挡时则依赖时间上下文和几何先验。为了弥合基准测试风格的全身数据与真实场景下的特写视频之间的差距，我们提出了一种考虑截断情况的训练策略。通过从现有数据集中模拟时序上连贯的半身图像裁剪，我们让网络接触到多种多样的部分身体构图以及手部进入/退出画面的情况。我们采用两阶段课程式训练方法：首先利用质量参差不齐的数据学习宽泛的身体和手部运动先验，随后重点利用高质量手部数据和远端指尖监督信息来优化精细的手指动作。 ## 总结来说，我们的主要贡献如下： - 我们提出了DanceHMR，这是一种时序连贯的全身人体运动恢复框架，能够从单目视频中恢复稳定的身体和手部运动。我们针对上半身及截断视频构图提出了一种考虑特写情况的增强策略，从而提升了在vlog、直播和以手为中心的视频等具有挑战性的真实场景中的鲁棒性。 • 大量实验表明，我们的 --- 该方法在手部重建精度和时序稳定性方面相比现有的全身方法有了显著提升。 ## 2 相关工作 ### 2.1 基于图像的全身及手部网格恢复近期基于图像的人体网格恢复方法将单目人体运动恢复技术扩展到了更具表现力的SMPL-X估计领域。ExPose [^5] 和 PIXIE [^7] 结合了针对身体、手部和面部的专门模块以提升局部重建质量。PyMAF-X [^36] 则通过网格对齐反馈进一步优化了全身对齐效果。更近期的方法 [^2] [^14] [^19] [^34] 借助更强大的变换器骨干网络、可扩展的训练策略或适配机制，进一步提升了大规模表现力人体重建的效果。这些方法在单帧重建质量上取得了令人瞩目的成果，堪称身体和手部网格恢复的优秀基准。不过，它们主要针对单张图像设计，因此在逐帧应用于视频时并未明确强制要求时序一致性。除了全身网格恢复外，近期的研究也聚焦于单目手部重建。HaMeR [^16] 利用基于Transformer的图像建模技术来重建精细的3D手部网格，而WiLoR [^17] 则进一步提升了在复杂场景下手部定位与重建的鲁棒性。更前沿的方法如HaWoR [^37] 将手部重建拓展为从单目视频中恢复与世界坐标系相关的手部运动。当手部清晰可见时，这些方法能够取得出色的逐帧手部重建效果。然而，直接将独立估计出的手部图像拼接进视频人体序列中，往往会导致手部运动不稳定以及手腕部位的不连贯。相比之下，我们的方法在统一的时间框架内对Body和手部的运动进行联合建模。 ### 2.2 视频人体网格恢复视频HMR方法通过利用帧间的运动上下文，来解决基于图像的回归器所存在的时间不一致性问题。早期的视频HMR方法 [^4] [^12] [^18] [^20] [^30] 主要通过时间动态建模和运动先验正则化来提升时间的身体一致性。后续的研究 [^8] [^25] [^32] [^35] 则将这一方向拓展至动态摄像头下的视频级跟踪与全局运动恢复。不过，它们的输出空间和评估重点仍主要以身体为中心，主要目标是SMPL人体运动，而非精细的手部关节活动、手腕与身体的协调性，以及在特写或遮挡视频中的稳健的身体和手部恢复。另一类研究致力于改进基于世界坐标系的视频HMR。WHAM [^22] 提出了一种结合视频特征、摄像头运动以及接触感知优化的人体运动恢复框架。TRAM [^27] 通过结合基于SLAM的摄像头运动估计与视频Transformer，来估算全球人类轨迹和局部人体运动。GVHMR [^21] 进一步将全局运动恢复问题置于重力视角坐标下求解，以减少摄像头运动带来的歧义。WHAC [^33] 和Human3R [^3] 也探索了在世界坐标系下具有表现力或场景感知的视频重建方法。与此同时，PromptHMR-Vid [^28]、DUOMO [^29] 以及GENMO [^13] 则研究了用于视频人体运动恢复的可提示或生成式框架，为模糊观测引入了更强的时间和运动先验。这些方法显著推进了基于视频的人体运动恢复技术，尤其是在时间稳定性和全局轨迹估计方面。尽管有这些进展，现有的视频HMR方法仍主要关注人体运动和全局重建，而精细且时间连贯的手部恢复仍未得到充分探索。相比之下，我们的工作专注于在存在频繁手部遮挡和截断现象的挑战性真实视频中，实现时间连贯的身体和手部恢复。 ## 3 方法 ### 3.1 方法概述给定单目视频序列$\mathcal{I}_{1:T} = \{I_t \}_{t=1}^T$，我们的目标是恢复出时间上连贯的SMPL-X运动序列，包括人体姿态、手部关节活动、相机空间位移、考虑重力影响的全局运动以及接触状态。对于每一帧，我们提取与帧对齐的观测数据$\mathcal{C}_t = \{C_t^b, C_t^{lh}, C_t^{rh}\}$。人体观测数据$\mathcal{C}_t^b = \{K_t^b, F_t^b, B_t^b, \Omega_t\}$包含人体二维关键点$K_t^b$、人体裁剪特征$F_t^b$、考虑相机因素的人体框标记$B_t^b$以及相机角速度$\Omega_t$。类似地，左右手观测数据$\mathcal{C}_t^{lh} = \{K_t^{lh}, F_t^{lh}, B_t^{lh}\}$和$\mathcal{C}_t^{rh} = \{K_t^{rh}, F_t^{rh}, B_t^{rh}\}$也分别包含手部二维关键点、手部裁剪特征以及考虑相机因素的手部框标记。我们的架构采用以身体为中心但兼顾手部感知的设计。我们首先将人体观测数据编码为稳定的逐帧标记。左右手观测数据则作为特定部位分别进行编码。 --- ![Image](images/96751983e345de7fcb58d3a9d8a860feed4c577f9d492b5eb59f67194b249b9c.jpg)

Figure 2 Framework overview. Given an input video, we separately encode part-specific body and hand observations. Hand evidence is fused into the body representation as residual cues before temporal modeling. A temporal motion encoder then reconstructs temporally coherent SMPL-X motion sequences. During training, we additionally employ close-up-aware augmentation to improve robustness to upper-body views and hand truncation scenarios.

这些手部特征被融合成一个残差手部向量，在时间建模之前注入到人体标记中。融合后的标记序列会经过时序运动编码器处理，最终解码为耦合的相机-重力SMPL-X表示$\mathbf{x}_{1:T}$。为了提升在真实视频中的鲁棒性，我们进一步引入了特写感知训练策略，让模型接触到部分可见的人体和手部观测数据，比如特写镜头以及手部进入或离开画面的情况。在推理阶段，我们可选择应用基于物理规律的轨迹优化步骤，以减少脚部滑动并稳定全局运动。 #### 3.1.1 相机-重力SMPL-X表示现有的视频人体运动重建方法通常将人体运动表示在相机坐标系中，这样便于图像对齐和二维投影监督。然而，仅依赖相机空间的运动难以在相机移动时保持时间上的稳定运动。遵循重力视图坐标系[^21]，我们采用了一种耦合表示方式，能够同时建模与相机对齐的人体运动以及考虑重力影响的运动线索。与以往以身体为中心的表示方法不同，我们将这种表示扩展到SMPL-X，并显式地对关节化的手部进行建模。具体来说，对于每一帧t，全局运动分量包括重力视图方向$\Gamma_t^GV \in \mathbb{R}^6$和局部根速度$\mathbf{v}_t^{root} \in \mathbb{R}^3$。局部人体姿态由完整的SMPLX姿态旋转$\theta_t^x \in \mathbb{R}^{55 \times 3}$表示，涵盖身体关节、手部、下颌和眼部姿态。我们还包括形状参数$\beta_t \in \mathbb{R}^{10}$。为了保持图像空间的对齐，我们加入了相机空间的人体轨迹信息，即相机帧方向$\Gamma_t^c$和位移$\tau_t^c$。此外，我们还预测选定脚部和腕关节的静态接触状态$\mathbf{p}_t$，这些状态可为全局轨迹优化提供线索。完整的运动序列记为$\mathbf{x}_{1:T} = \{\mathbf{x}_t\}_{t=1}^T$，其中每一帧的运动表示定义为 $$ \mathbf{x}_{t}=\left(\Gamma_{t}^{G V},\mathbf{v}_{t}^{r o o t},\theta_{t}^{x},\beta_{t},\Gamma_{t}^{c},\tau_{t}^{c},\mathbf{p}_{t}\right). $$ 这种表示方法结合了与相机对齐的重建结果以及考虑重力影响的运动线索。相机空间的分量能够直接从图像观测中获取监督信息，而重力视图方向和根速度则提升了相机移动时的时序运动稳定性。通过在SMPL-X中显式建模关节化的手部，我们的模型能够保持手腕与手部的运动一致性。 ### 3.2 兼顾手部感知的全身运动模型 #### 3.2.1 以身体为锚点的帧标记我们首先构建一个以人体为中心的帧标记，用于聚合全局人体上下文信息。为此，我们将来自二维关键点的显式几何约束与人体裁剪区域的外观特征相结合。 --- 我们还引入了一个与摄像头相关的边界框标记，用以确定主体在整幅图像中的尺度与位置；同时结合摄像头角速度，将人体运动与摄像头的自身运动区分开来。这些不同的观测数据流会被投影到一个共享的潜空间内，并通过加法融合形成人体标记$z_{t}^{b}$： $$ z_{t}^{b}=E_{K}^{b}(K_{t}^{b})+E_{F}^{b}(F_{t}^{b})+E_{B}^{b}(B_{t}^{b})+E_{\Omega}(\Omega_{t}). $$ 该人体标记能够为整个人体提供可靠的全局上下文。由于手部位置和手腕朝向受到上半身、肩部、肘部以及整体人体姿态的强烈约束，因此我们将人体标记作为核心表征，随后再将手部相关信息注入其中。 $$ z_{t}^{h}=E_{K}^{h}(K_{t}^{h})+E_{F}^{h}(F_{t}^{h})+E_{B}^{h}(B_{t}^{h}),\quad h\in\{l h,r h\}. $$ #### 3.2.2 特定部位的手部标记与此同时，我们使用特定部位的流来编码左手和右手标记：手部裁剪特征能够保留那些在人体裁剪区域中常常丢失的精细视觉细节，而手部关键点和手部边界框标记则提供了关于手指排列、手部位置和尺度的显式几何证据。左手和右手的观测数据在融合前会分别进行编码，从而避免详细的手部信息被更强的人体信号所掩盖。对于关键点观测数据，我们采用基于置信度感知的编码方式。可见关节会通过线性投影从其二维坐标中嵌入，而低置信度的关节则会被替换为学习得到的缺失关节嵌入向量。这样，网络就能在不依赖不可靠的检测器坐标的情况下，保留缺失关节的身份信息。同样的原则也适用于人体和手部关键点，我们分别针对人体、左手和右手使用独立的编码器。关键在于，这些手部流并非独立的手部预测器；它们属于局部证据编码器，其输出会被注入到共享的人体-手部时序表征中。 #### 3.2.3 残差式人体-手部融合我们通过残差融合设计将手部证据注入到以人体为中心的表征中。左手和右手标记会被拼接起来，再通过一个单独的手部融合多层感知机（MLP）进行投影，记为$\phi_{h}$。得到的手部证据向量会在时序建模之前被加到人体标记上： $$ z_{t}=z_{t}^{b}+\phi_{h}\left([z_{t}^{l h},z_{t}^{r h}]\right). $$ 这种设计避免了两种常见的失效模式：通过单一编码器直接压缩全身观测数据会稀释精细的手部细节；而事后拼接手部与人体预测结果则难以保证手腕与人体的一致性。通过在时序推理之前注入手部证据，模型能够同步优化人体姿态、手腕朝向以及手部关节活动。与通过聚合所有观测数据进行早期融合的方式不同，我们的残差融合将人体表征保留为主要的时序载体，而将手部证据视为结构化的细化信息。这种残差形式还能提升模型的鲁棒性：当手部观测数据不可靠时，人体标记能提供稳定的运动先验；当手部证据可靠时，残差分支会将局部手部细节注入时序模型中。这一点对于特写视频、运动模糊以及手部部分可见的情况尤为重要。最终，融合后的帧标记会被送入时序运动编码器，该编码器会在各帧之间传递信息，并生成具有上下文信息的运动特征$h_{1:T}$： $$ h_{1:T}=\mathcal{T}(z_{1:T}). $$ 我们采用相对时间注意力机制[^23]来处理变长序列，并为长视频片段设置局部注意力窗口。 #### 3.2.4 运动解码上下文相关的时间特征$h_{t}$会被解码为人体运动和与摄像头相关的输出： $$ \left(\theta_{t}^{x},\beta_{t},\Gamma_{t}^{G V},\mathbf{v}_{t}^{r o o t},\Gamma_{t}^{c},\tau_{t}^{c},\mathbf{p}_{t}\right)=H(h_{t}). $$ 为了减少脚部滑动和不稳定的地面接触问题，我们有选择地应用一种考虑接触情况的轨迹优化方法，该方法通过静态接触约束和抖动抑制约束来优化根节点的速度。 ### 3.3 特写感知训练 #### 3.3.1 自适应特写视图增强现实世界的视频中常常包含特写或上半身构图，尤其是在直播、vlog和演讲场景中。为了缩小标准全身训练数据与这类视频之间的分布差异，我们利用现有的视频数据集，通过2D人体关键点来合成特写视图。 --- 具体来说，给定视频片段中的2D人体关节点，我们会根据上半身比例来自适应地裁剪人物图像： $$ r_{\mathrm{u p}}=\frac{d_{\mathrm{h e a d-h i p}}}{h_{\mathrm{b o d y}}}, $$ 其中$d_{head-hip}$表示头部到髋部的关节距离，$h_{body}$代表总的可见高度。对于站立姿势（$r_{up}$值较大），下边界会被抬高以优先保留上半身部分，这与直播和vlog风格的构图一致；而对于坐姿（$r_{up}$值较小），我们会保留更大的下半身区域以防止肢体被截断。这种基于姿态的条件化方法比固定裁剪策略能生成更逼真的特写视图，适用于各种场景。 #### 3.3.2 部分手部观测建模为了进一步增加视图多样性，我们对裁剪后的图像施加缩放和平移扰动，模拟不同的摄像距离和偏心构图。这种扰动是在视频片段层面采样的，并在所有帧间共享，从而保持时间上的构图一致性并避免人为的裁剪抖动。在将图像调整至网络输入分辨率之前，如果裁剪后的图像被大幅缩小，我们会施加轻微的高斯模糊以减少混叠现象。训练时，我们将合成的特写视图与原始的全身视图混合使用。特写视图合成会改变手部的可见性：手部可能完全可见、部分被截断、缩小成一个小区域，或者移出裁剪范围。因此，我们在视图合成后会重新计算手部观测结果，而不是沿用原来的手部框。对于每只手，我们定义一个可见性标志 $$ v_{h}=\begin{cases}1,&N_{h}\geq N_{\min}and s_{h}\geq s_{\min},\\0,&otherwise,\end{cases} $$ 其中$N_{h}$表示合成裁剪区域内可靠可见的手部关键点数量，$s_{h}$则是最终得到的手部框尺寸。只有当足够多的可靠关键点仍然可见，且手部区域尺寸大于最小手部框尺寸时，该手部观测才被视为有效；否则，对应的手部裁剪图像和手部相关观测结果会被屏蔽。这能防止无效的手部裁剪图像或幻觉式的检测器输出被当作可靠证据。这种设计让模型在训练过程中接触到真实的手部可见性情况。当有直接的手部证据时，模型可以利用局部手部观测来进行精细的动作建模；否则，它也能从身体上下文和时间线索中推断出合理的手部运动，从而匹配现实中存在的遮挡、运动模糊以及手部超出画面等情况。 ### 3.4 训练目标与课程学习我们采用紧凑的SMPL-X重建目标来训练模型，并为视频全身恢复引入了三项针对特定任务的设计：手部强调监督、课程式训练以及可见性感知的手部监督。 #### 3.4.1 手部强调对所有SMPL-X关节采用统一的损失函数，对于全身恢复而言并非最优选择。由于身体运动的可视性较强，它会主导重建损失，导致手部关节的监督力度不足。这种不平衡在特写视频中尤为明显——细微的手指误差就会导致手部动作显得极不自然。因此，我们重新调整了手部姿态和关节监督的权重，同时额外加强对远端关节和指尖关节的重视： $$ \mathcal{L}_{t i p}=\sum_{t}\sum_{j\in\mathcal{T}}\|\mathbf{J}_{t,j}-\hat{\mathbf{J}}_{t,j}\|_{1}, $$ 其中$\mathcal{T}$代表远端关节和指尖关节。这一考虑指尖因素的项直接约束手部末端执行器，在保留完整SMPL-X重建目标的同时，促使更精确的细粒度关节运动建模。 #### 3.4.2 课程式训练训练数据包含异质的监督信息：大规模以身体为中心的视频提供了广泛的运动覆盖范围，而富含手部细节的全身数据则提供了更精细的手部关节信息。若采用单一统一的训练计划，模型可能会偏向占主导地位的身体信号，从而忽视细粒度的手部运动。因此我们采用了两阶段的课程式训练策略。第一阶段：通用先验学习。在第一阶段，我们利用完整的数据混合集进行训练，采用标准的SMPL-X重建目标和时间正则化约束。这一阶段旨在让模型学习稳定的身体运动、粗略的手部姿态、相机空间下的重建结果以及符合重力规律的全局运动。其目标是在专注于精细的手部细节之前，先建立广泛的全身运动先验。第二阶段：手部精细化。在第二阶段，我们提高高质量手部及全身数据的采样比例， --- 同时加强对手部关节的监督，尤其是远端关节和指尖关节。此阶段仍保持身体和运动方面的监督，以维持全身一致性。这种课程式设计将具有不同数据需求的两个学习目标区分开来：利用多样化的视频数据学习稳健的身体和全局运动先验，而在后续以手部为重点的阶段则细化对视觉质量至关重要的局部关节运动。 #### 3.4.3 可见性感知的监督现实场景中，手部观测常常因模糊、遮挡或截断而受损，导致2D检测器预测出错误的关键点。直接利用这些噪声输入进行监督会降低手部的时间恢复效果。因此，我们仅对可靠的2D手部观测应用手部投影损失。具体而言，每个检测到的手部关键点都会根据其检测置信度被赋予一个有效性权重： $$ \mathcal{L}_{v i s}=\frac{1}{\sum_{t,j}w_{t,j}}\sum_{t,j}w_{t,j}\left\|\Pi(\mathbf{J}_{t,j})-\hat{\mathbf{x}}_{t,j}\right\|_{1}. $$ 此处，$\Pi$表示相机投影，$\hat{\mathbf{x}}_{t,j}$是检测到的2D手部关键点，$w_{t,j}$则是源自检测器置信度的有效性权重。我们还会剔除包含可靠关键点过少或边界框尺寸极小的手部图像块。通过屏蔽不可靠的观测数据，可防止噪声数据干扰训练，从而使时序模型能够基于身体上下文和相邻的有效帧推断出合理的手部运动。 ## 4 实验 ### 4.1 实验设置数据集。为了评估，我们考虑两类基准测试。我们首先在ARCTIC [^6]和UBody [^14]数据集上评估全身重建结果。ARCTIC是一个受控的多视角手-物体交互数据集，配有精确的SMPL-X标注，因此非常适合用于评估关节手部重建以及身体与手的协调能力。UBody包含各种自然场景下的上半身视频，包括生活记录视频、视频会议录像以及手语视频，其中严重的截断现象和富有表现力的手势给全身重建带来了巨大挑战。我们还在标准的视频HMR基准测试中报告仅身体重建的结果，包括3DPW [^26]和EMDB [^11]。评估指标。对于SMPL-X全身数据集，我们报告全身和手部的评估指标，包括PA-PVE、PVE和PA-MPJPE。PA-PVE衡量经过Procrustes对齐后的顶点误差，PVE衡量原始顶点误差，而PA-MPJPE则衡量经过Procrustes对齐后的关节误差。这些重建误差均以毫米为单位进行报告。对于仅身体的视频HMR基准测试，我们评估其身体重建误差。为了进一步评估时序运动质量，我们报告MPJVE、Accel和Jitter指标，它们分别对应3D关节的一阶、二阶和三阶时间导数误差，分别以$mm/s$、$m/s^{2}$和$m/s^{3}$为单位进行测量。MPJVE和Accel衡量相对于真实值的速度和加速度偏差，而Jitter则量化运动的时间不稳定性。这些指标通过捕捉运动动力学、加速度一致性以及帧间平滑度，对静态的逐帧评估形成了补充。实现细节。我们分别采用HMR2.0 [^8]和HaMeR [^16]作为冻结的身体和手部图像特征提取器。我们使用ViTPose [^31]和RTMW [^9] [^10]来提取2D身体和手部关键点。训练期间，所有外部检测器和特征提取器均保持冻结状态，仅优化我们的时序重建网络。置信度低于0.55的手部关键点会被屏蔽掉。对于特写增强样本，我们在裁剪后重新计算手部框，如果可见的有效手部关键点少于5个，或者手部框尺寸小于20像素，则丢弃该手部观测数据。时序窗口大小为120。我们分两个阶段训练模型：第一阶段使用完整的混合训练集，训练207k步；第二阶段再训练88k步，期间增加高质量SMPL-X和手部相关数据的采样比例。 ### 4.2 全身重建 #### 4.2.1 定量结果表1报告了在ARCTIC和UBody上的全身重建结果。ARCTIC侧重于手-物体交互中的关节手部运动，而UBody则更关注存在截断现象且手势富有表现力的自然场景上半身视频。因此，这两个基准测试分别用于评估手部重建的精确度以及所提方法在特写全身重建场景中的鲁棒性。在ARCTIC数据集上，所提方法在所有报告的手部指标上均优于现有方法。具体而言，与之前的最优方法SMPLest-X相比，我们的方法使手部PA-PVE降低了28.6%，PVE降低了13.9%。同样，我们的方法在UBody上也取得了最低的手部PVE值。这些定量改进表明，时序身体-手部建模能够显著提升在受控交互环境以及具有挑战性的无约束视频环境中的重建精度。 ---

Table 1 Quantitative comparison of whole-body reconstruction on ARCTIC [^6] and UBody [^14]. The best performance is in boldface.

Method	ARCTIC [^6]						UBody [^14]
	PA-PVE $\downarrow$		PVE $\downarrow$		PA-MPJPE $\downarrow$		PA-PVE $\downarrow$		PVE $\downarrow$		PA-MPJPE $\downarrow$
	All	Hands	All	Hands	All	Hands	All	Hands	All	Hands	All	Hands
PIXIE [^7]	-	-	-	-	-	-	61.7	12.2	168.4	55.6	66.8	12.3
Hand4Whole [^15]	63.4	18.1	136.8	54.8	-	-	44.8	8.9	104.1	45.7	45.5	9.0
OSX [^14]	33.0	18.8	58.4	39.4	-	-	42.4	10.8	92.4	47.7	42.9	11.0
PyMAF-X [^36]	49.4	14.3	70.5	45.1	56.7	15.6	-	-	-	-	-	-
SMPLer-X-B [^2]	54.0	17.9	85.2	53.4	55.1	18.4	35.5	11.0	65.3	46.9	37.2	10.9
SMPLer-X-L [^2]	46.9	18.1	76.9	50.8	47.3	17.8	33.2	10.6	61.5	43.3	36.6	10.5
AiOS [^24]	30.2	19.2	47.1	38.3	-	-	32.5	7.3	58.6	39.0	-	-
SMPLest-X [^34]	26.3	11.9	43.5	28.8	-	-	31.6	9.5	59.8	37.7	-	-
GVHMR [^21]+HaMeR [^16]	41.0	13.9	71.0	54.6	55.1	11.7	-	-	-	-	-	-
Ours	28.1	8.5	44.7	24.8	29.8	8.1	31.3	7.4	61.0	22.2	34.6	4.8

Table 2 Quantitative comparison of body-only reconstruction on 3DPW [^26] and EMDB [^11].

Method	PA-MPJPE $\downarrow$	MPJPE $\downarrow$	PVE $\downarrow$	Accel $\downarrow$
3DPW [^26]
GVHMR [^21]	37.0	56.6	68.7	5.2
GENMO [^13]	34.6	53.9	65.8	5.2
PromptHMR-Vid [^28]	35.5	56.9	67.3	-
OSX [^14]	60.6	86.2	-	-
SMPLer-X-B [^2]	53.4	80.3	90.3	-
Multi-HMR [^1]	41.7	61.4	75.9	-
SMPLest-X [^34]	43.2	70.5	-	-
Ours	35.2	53.6	65.1	4.9
EMDB [^11]
GVHMR [^21]	44.5	74.2	85.9	3.9
GENMO [^13]	42.5	73.0	84.8	3.8
PromptHMR-Vid [^28]	40.1	68.1	79.2	-
DUOMO [^29]	41.8	67.1	78.2	-
Multi-HMR [^1]	50.1	81.6	95.7	-
Ours	40.1	64.3	75.4	3.5

PVE以及手部PVE降低了13.9%。同样，我们的方法在UBody数据集上实现了最低的手部PVE值。这些定量改进表明，时序性身体-手部建模能够显著提升重建精度，无论是在受控交互场景还是具有挑战性的无约束视频环境中均是如此。值得注意的是，我们的方法所使用的模型比近期推出的全身基础模型要小得多，却能达到相当甚至更优的性能。SMPLerX-B、SMPLer-X-L和SMPLest-X的可训练参数数量分别为1.03亿、3.27亿和6.87亿，而我们的模型仅有约4600万个参数，且训练所用的数据量也少得多。尽管效率更高，该方法仍能在全身重建任务中取得具有竞争力的精度，在手部重建方面更是表现显著优越。 #### 4.2.2 定性结果图3展示了在UBody和ARCTIC数据集上的定性对比结果。在半身及以手部为中心的场景中，我们的方法明显优于基于图像的基线模型SMPLest-X。当手部位于图像可见区域之外时，SMPLest-X仍会生成不合理的手部姿态，如案例(b)、(e)和(f)所示。相比之下，我们的方法能给出更合理的预测结果，避免了这类错误的手部重建。在手部遮挡（案例(d)、(g)和(h)）和运动模糊（案例(b)和(f)）等挑战性条件下，我们的方法同样更为稳健，仍能恢复出合理的手部姿态以及连贯的肢体-手部运动关系。我们将这些改进归功于对肢体和手部的联合时序建模，这种建模方式使模型能够利用时序上下文和肢体运动线索来稳定手部重建。而基于图像的逐帧基线模型缺乏时序推理能力，因此生成的手部预测结果明显可靠性较低。 ### 4.3 仅人体部分的评估表2列出了在标准仅人体视频HMR基准测试集（包括3DPW和EMDB）上的对比结果。我们将我们的方法与基于视频的仅人体方法以及近期的全身模型进行了比较。尽管我们的模型是为全身SMPL-X重建设计的，但它在这两个数据集上均取得了最先进的人体重建性能，显示出强大的人体姿态精度。与先前性能最优的方法DUOMO [^29]相比，我们的方法在EMDB基准测试中可将MPJPE降低4.2%。这些结果表明，我们的方法在支持时序连贯的全身及手部重建的同时，也能实现最先进的仅人体重建效果。 ---

Table 3 Temporal stability comparison on ARCTIC [^6]. Lower values indicate smoother and more accurate temporal motion.

Method	All			Hands
Method	Jitter $\downarrow$	Accel $\downarrow$	MPJVE $\downarrow$	Jitter $\downarrow$	Accel $\downarrow$	MPJVE $\downarrow$
SMPLer-X-B [^2]	127.5	23.8	482.6	52.1	9.9	219.9
SMPLest-X [^34]	95.1	17.8	364.6	55.4	10.4	228.5
GVHMR [^21]+HaMeR [^16]	6.0	1.8	109.0	7.4	1.6	100.7
Ours	5.4	1.5	81.3	4.2	1.5	67.7

Table 4 Ablation study on ARCTIC [^6]. We report whole-body (All) PVE to measure overall whole-body reconstruction quality, and Hand PA-PVE, Hand PVE, and Hand Jitter to evaluate hand accuracy and temporal stability.

Variant	ARCTIC [^6]
Variant	All PVE $\downarrow$	Hand PA-PVE $\downarrow$	Hand PVE $\downarrow$	Hand Jitter $\downarrow$
Ours	44.7	8.5	24.8	4.2
(1) w/o Res fusion	49.2	9.4	28.2	6.6
(2) w/o Hand obs.	55.2	15.8	44.8	10.1
(3) w/o Close-up aug.	48.4	9.2	31.1	5.9
(4) w/o Two-stage	49.9	10.5	31.7	4.8
(5) w/o $\mathcal{L}_{vis}$	46.1	9.3	27.3	5.7

### 4.4 时序运动质量表3使用Jitter、Accel和MPJVE指标在ARCTIC数据集上评估了时序一致性。这些指标分别衡量运动稳定性的不同方面：Jitter反映高频时序波动，Accel衡量加速度层面的运动误差，而MPJVE则评估与真实运动的速度一致性。基于图像的全身重建方法（如SMPLer-X和SMPLest-X）由于是逐帧独立重建，因此存在严重的时序不一致问题。相比之下，GVHMR+HaMeR通过结合基于视频的躯体模型和基于图像的手部估计器，提供了更强的基线性能，其时序误差明显低于纯图像-based方法。不过，由于手部仍由HaMeR独立估计后再与躯体拼接，该流程无法完全保证肢体-手部运动的时序连贯性。而我们的方法在时序框架内联合预测躯体和手部，从而实现了更稳定的全身运动以及更平滑的手部轨迹。与GVHMR+HaMeR相比，我们的方法将手部Jitter降低了43.2%，手部MPJVE降低了32.8%，充分体现了联合时序肢体-手部建模的优势。 ### 4.5 消融研究如表4所示，我们开展了消融实验，以验证该框架的核心架构与训练设计。我们在ARCTIC数据集上评估了五种变体，重点关注整体重建质量以及手部相关的性能表现。具体而言，(1)将我们的残差式身体-手部融合方式替换为所有特征的早期融合；(2)移除特定部位的手部观测信息，主要依赖身体层面的线索；(3)在训练期间禁用特写视图增强操作；(4)取消第二阶段以手部为重点的训练环节；(5)移除考虑可见性因素的手部监督项$L_{vis}$。对比结果表明，每种设计都对手部重建质量和时间稳定性有积极贡献。变体(1)验证了结构化身体-手部融合的重要性：通过早期融合直接压缩所有身体和手部特征，会削弱全局身体上下文与局部手部证据之间的交互，进而导致手部精度下降且出现抖动现象。变体(2)的手部相关指标明显下滑，这证实了仅靠身体层面的观测信息不足以捕捉精细的手部动作，特定部位的手部线索至关重要。变体(3)主要影响模型的鲁棒性，在上半身构图、肢体截断以及手部进出画面等常见场景下，特写增强对野外视频的处理效果更为显著。变体(4)表明，第二阶段训练通过侧重高质量的SMPL-X数据和手部相关样本，进一步提升了手部重建效果。最后，变体(5)凸显了考虑可见性因素的监督机制的重要性：若不屏蔽不可见或不可靠的手部区域，来自被遮挡或画面外手部的噪声监督会损害手部精度和时间稳定性。总体而言，完整模型在全身精度、手部重建质量和时间平滑度之间实现了最佳平衡。 ### 4.6 真实场景视频的定性结果图5展示了具有挑战性的野外互联网视频上的定性结果。我们的方法在多种场景下都能生成稳定且连贯的全身运动，包括灵活的手部互动、严重的运动模糊以及复杂的身体动作。图4展示了一个手部频繁被截断的具有挑战性的特写视频。与基于图像的SMPLest-X基线相比，我们的方法在部分可见的情况下能生成稳定得多且时间上更连贯的手部运动。更多定性结果可在补充视频中查看。 ## 5 结论在本文中，我们提出了DanceHMR——一种面向单目视频的时序连贯的身体与手部人体网格恢复框架。我们的方法将…… --- 通过统一的时间架构内的残差式身体-手部融合来建模身体运动和手部动作，同时借助特写感知增强技术提升模型的鲁棒性。实验表明，该方法在具有挑战性的真实场景视频中能够实现更优的手部重建效果、具备具竞争力的身体精度，以及稳定的SMPL-X运动表现。 ## 参考文献 [^1]: Fabien Baradel, Matthieu Armando, Salma Galaaoui, Romain Brégier, Philippe Weinzaepfel, Grégory Rogez, and Thomas Lucas. Multi-hmr: Multi-person whole-body human mesh recovery in a single shot. In European Conference on Computer Vision, pages 202–218. Springer, 2024. [^2]: Zhongang Cai, Wanqi Yin, Ailing Zeng, Chen Wei, Qingping Sun, Wang Yanjun, Hui En Pang, Haiyi Mei, Mingyuan Zhang, Lei Zhang, et al. Smpler-x: Scaling up expressive human pose and shape estimation. Advances in Neural Information Processing Systems, 36, 2024. [^3]: Yue Chen, Xingyu Chen, Yuxuan Xue, Anpei Chen, Yuliang Xiu, and Pons-Moll Gerard. Human3r: Everyone everywhere all at once. $\underline{\text{arXiv preprint arXiv:2510.06219}}$, 2025. [^4]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1964–1973, 2021. [^5]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Monocular expressive body regression through body-driven attention. In $\underline{\text{Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part X 16}}$, pages 20-40. Springer, 2020. [^6]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. [^7]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Collaborative regression of expressive bodies using moderation. In 2021 International Conference on 3D Vision (3DV), pages 792–804. IEEE, 2021. [^8]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. 《4D环境下的人类：基于Transformer的人体重建与跟踪》。载于$\underline{\text{Proceedings of the IEEE/CVF International Conference on Computer Vision}}$，第14783–14794页，2023年。 [^9]: Tao Jiang, Peng Lu, Li Zhang, Ningsheng Ma, Rui Han, Chengqi Lyu, Yining Li, and Kai Chen. Rtmpose: Real-time multi-person pose estimation based on mmpose, 2023. URL . [^10]: Tao Jiang, Xinchen Xie, and Yining Li. Rtmw: Real-time multi-person 2d and 3d whole-body pose estimation. arXiv preprint arXiv:2407.08634, 2024. [^11]: Manuel Kaufmann, Jie Song, Chen Guo, Kaiyue Shen, Tianjian Jiang, Chengcheng Tang, Juan José Zárate, and Otmar Hilliges. EMDB: The Electromagnetic Database of Global 3D Human Pose and Shape in the Wild. In International Conference on Computer Vision (ICCV), 2023. [^12]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. [^13]: Jiefeng Li, Jinkun Cao, Haotian Zhang, Davis Rempe, Jan Kautz, Umar Iqbal, and Ye Yuan. Genmo: A generalist model for human motion. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025. [^14]: Jing Lin, Ailing Zeng, Haoqian Wang, Lei Zhang, and Yu Li. One-stage 3d whole-body mesh recovery with component aware transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21159–21168, 2023. [^15]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3d hand pose estimation for wholebody 3d human mesh estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2308–2317, 2022. [^16]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In $\underline{\text{Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}}$, pages 9826–9836, 2024. [^17]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. ## [^18]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J Guibas. Humor: 3d human motion model for robust pose estimation --- ……载于$\underline{\text{Proceedings of the IEEE/CVF international conference on computer vision}}$，第11488-11499页，2021年。 [^19]: Wenhao Shen, Wanqi Yin, Hao Wang, Chen Wei, Zhongang Cai, Lei Yang, and Guosheng Lin. Hmradapter: A lightweight adapter with dual-path cross augmentation for expressive human mesh recovery. In Proceedings of the 32nd ACM International Conference on Multimedia, pages 6093–6102, 2024. [^20]: Xiaolong Shen, Zongxin Yang, Xiaohan Wang, Jianxin Ma, Chang Zhou, and Yi Yang. Global-to-local modeling for video-based 3d human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8887–8896, 2023. [^21]: Zehong Shen, Huaijin Pi, Yan Xia, Zhi Cen, Sida Peng, Zechen Hu, Hujun Bao, Ruizhen Hu, and Xiaowei Zhou. World-grounded human motion recovery via gravity-view coordinates. In SIGGRAPH Asia 2024 Conference Papers, pages 1–11, 2024. [^22]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J Black. Wham: Reconstructing world-grounded humans with accurate 3d motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2070–2080, 2024. [^23]: Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. Roformer: Enhanced transformer with rotary position embedding. Neurocomputing, 568:127063, 2024. [^24]: Qingping Sun, Yanjun Wang, Ailing Zeng, Wanqi Yin, Chen Wei, Wenjia Wang, Haiyi Mei, Chi-Sing Leung, Ziwei Liu, Lei Yang, et al. Aios: All-in-one-stage expressive human pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1834–1843, 2024. [^25]: Yu Sun, Qian Bao, Wu Liu, Tao Mei, and Michael J Black. Trace: 5d temporal regression of avatars with dynamic cameras in 3d environments. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8856–8866, 2023. [^26]: Timo Von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In $\underline{\text{Proceedings of the European conference on computer vision (ECCV)}}$ pages 601-617, 2018. [^27]: Yufu Wang, Ziyun Wang, Lingjie Liu, and Kostas Daniilidis. Tram: Global trajectory and motion of 3d humans from in-the-wild videos. In $\underline{\text{European Conference on Computer Vision}}$, pages 467-487. Springer, 2024. [^28]: Yufu Wang, Yu Sun, Priyanka Patel, Kostas Daniilidis, Michael J Black, and Muhammed Kocabas. Prompthmr: Promptable human mesh recovery. In Proceedings of the computer vision and pattern recognition conference, pages 1148–1159, 2025. [^29]: Yufu Wang, Evonne Ng, Soyong Shin, Rawal Khirodkar, Yuan Dong, Zhaoen Su, Jinhyung Park, Kris Kitani, Alexander Richard, Fabian Prada, and Michael Zollhofer. Duomo: Dual motion diffusion for world-space human reconstruction. $\underline{\text{arXiv preprint arXiv:2603.03265}}$, 2026. [^30]: Wen-Li Wei, Jen-Chun Lin, Tyng-Luh Liu, and Hong-Yuan Mark Liao. Capturing humans in motion: Temporal-attentive 3d human pose and shape estimation from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13211–13220, 2022. [^32]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 21222–21232, 2023. [^31]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose++: Vision transformer foundation model for generic body pose estimation. $\underline{\text{IEEE}}$ Transactions on Pattern Analysis and Machine Intelligence, 46:1212-1230, 2024. doi: 10.1109/TPAMI.2023.3330016. [^33]: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhi-tao Yang, Qingping Sun, Atsushi Yamashita, et al. Whac: World-grounded humans and cameras. In European Conference on Computer Vision, pages 20–37. Springer, 2024. [^34]: Wanqi Yin, Zhongang Cai, Ruisi Wang, Ailing Zeng, Chen Wei, Qingping Sun, Haiyi Mei, Yanjun Wang, Hui En Pang, Mingyuan Zhang, Lei Zhang, Chen Change Loy, Atsushi Yamashita, Lei Yang, and Ziwei Liu. SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation. IEEE Transactions on Pattern Analysis & Machine Intelligence, 48(02):1778–1794, February 2026. ISSN 1939-3539. doi: 10.1109/TPAMI.2025.3618174. [^35]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11038–11049, 2022. ## [^36]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. $\underline{\text{IEEE Transactions on Pattern Analysis and Machine Intelligence}}$, 2023 --- ## [^37]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1805–1815, 2025 --- ![Image](images/eac73fe7b294c962646876ff2b2cd90b67f4b6dc353fc3b634c670faf003ebea.jpg)

Figure 3 Qualitative results on UBody [^14] (a~f) and ARCTIC [^6] (g~h). Compared with the image-based SMPLestX [^34] baseline, which often fails in close-up and partial-body scenes, especially for hand pose estimation, our method produces more stable and plausible body-hand reconstructions across diverse half-body and hand-centric scenarios. Please zoom in for better visualization.

![Image](images/12b138286f38fb1c10f98b4fab0e0bb067f5f3658675b561f031c21344f4d987.jpg)

Figure 4 Qualitative comparison on a close-up internet video with frequent hand truncation. Since the right hand repeatedly enters and leaves the frame, SMPLest-X produces inconsistent hand poses across neighboring frames, resulting in visible jitter. Our method recovers more natural and temporally coherent hand motion, while preserving plausible body poses.

--- ![Image](images/74a67d2e0e5a227d51373e1047a45766e8c663bf6e21571b1bc862f475d4bf2c.jpg)

Figure 5 Qualitative results of our DanceHMR on challenging in-the-wild internet videos. For each example, we show input video frames and our reconstructed SMPL-X overlay. DanceHMR recovers high-quality body and hand motion in fast dance, close-up, and livestream scenarios, maintaining stable hands and coherent whole-body dynamics. Please zoom in for better visualization.