# SAM 3D Body：鲁棒的全身人体网格恢复杨希同 $^{*}$、库克雷贾·德万什 $^{*}$、平卡斯·唐 $^{*}$、萨加尔·阿努什卡、范涛莎、朴珍亨 $^{\circ}$、申昭英 $^{\circ}$、曹金坤、刘佳伟、乌格里诺维奇·尼古拉斯、费斯尔利·马特 $^{\dagger}$、马利克·吉滕德拉 $^{\dagger}$、多拉尔·皮奥特 $^{\dagger}$、基塔尼·克里斯 $^{\dagger}$ Meta超级智能实验室 $^{*}Core Contributor,^{\circ}Intern,^{\dagger}Project Lead$ 我们推出了SAM 3D Body（3DB），这是一款可基于提示词输入的单图像全身3D人体网格恢复（HMR）模型，其性能处于业界领先水平，在各类真实场景中具有强大的泛化能力和稳定的准确性。3DB能够估算人体、双脚和双手的姿态；它也是首个采用新型参数化网格表示——动量人体骨骼模型（MHR）的模型，该模型可将骨骼结构与表面形状分离。3DB采用编码器-解码器架构，支持包括2D关键点、掩码在内的辅助提示词输入，从而能像SAM系列模型一样实现用户引导式推理。我们通过多阶段标注流程生成高质量标注数据，该流程结合了手动关键点标注、可微优化、多视角几何计算以及密集关键点检测等多种技术。我们的数据引擎能高效筛选和处理数据以确保数据的多样性，涵盖特殊姿态和罕见成像条件下的样本。我们还构建了一个按姿态和外观类别划分的新评估数据集，便于对模型行为进行细致分析。实验结果表明，无论是在定性用户偏好测试中还是传统定量分析中，3DB均展现出卓越的泛化能力，相比以往方法有明显优势。3DB和MHR均已开源。演示：代码：网站： Meta ![Image](images/2b2293a2d8c39b41b9bbed138d920faf8267cf641cddce97d7d123e937fa1724.jpg)

Figure 1 Full-body human mesh recovery results using SAM 3D Body (3DB). Our model demonstrates robust performance in estimating challenging poses across diverse viewpoints and produces accurate body and hand pose estimations within a unified framework.

## 1 引言从图像中估算3D人体姿态（骨骼姿态与结构）和形状（软组织）是视觉与具身人工智能系统理解和与人交互的关键能力。尽管人体网格恢复（HMR）领域已取得显著进展（Goel等人，2023年；Dwivedi等人，2024年；Patel和Black，2025年；Wang等人，2025b,c），但现有方法应用于真实场景图像时仍表现出不尽如人意的鲁棒性，这限制了它们在机器人（Peng等人，2018年；Patel等人，2022年；Vasilopoulos等人，2020年）和生物力学（Pearl等人，2023年）等现实场景中的应用。尤其是，当前模型往往难以处理姿态复杂、遮挡严重或拍摄视角特殊的个体，也无法在一个统一的全身框架内可靠地估算整体身体姿态以及手部和脚部的精细细节。 --- 双手和双脚在一个统一的全身框架中。我们认为，开发鲁棒的全身人体网格恢复模型所面临的主要挑战源于数据和模型两个方面。首先，收集大规模且多样化、带有高质量网格标注的人体姿态数据集本身就十分困难且计算成本高昂。大多数现有数据集要么由于实验室采集环境限制而导致多样性不足（Chao等人，2021；Ionescu等人，2013；Joo等人，2017），要么由于伪标注问题导致网格质量较低（Von Marcard等人，2018；Andriluka等人，2014）。其次，当前的人体姿态恢复架构未能充分应对身体和手部姿态估计所需的不同优化机制，也缺乏有效的训练策略来处理单目图像带来的不确定性和模糊性。在这项工作中，我们提出了SAM 3D Body（3DB）——一种由我们研发的数据引擎所生成的大规模、高质量人体姿态数据驱动的鲁棒全身人体姿态恢复模型。鲁棒的全身人体姿态恢复模型。为了提升模型在身体和手部姿态估计方面的性能，我们做出了三项主要贡献：(i) 我们提出了一种新颖的可提示式编码器-解码器架构（Kirillov等人，2023；Ravi等人，2024），该架构使模型能够依据可选的2D关键点、掩码或相机信息来进行可控的姿态估计。这种可提示式设计在训练过程中自然地为模糊或复杂场景提供了交互式引导，同时也为整合手部和身体预测结果提供了一种统一的方法。(ii) 我们的模型采用共享的图像编码器以及分别用于身体和手部的两个独立解码器。这种双解码器设计有效缓解了因输入分辨率、相机估计及监督目标差异而产生的身体和手部姿态估计优化冲突。(iii) 与大多数依赖SMPL模型（Loper等人，2015）的先前工作不同，我们在3DB中采用了一种新的参数化网格表示方式——MHR（Ferguson等人，2025）。这种方式将骨骼姿态和身体形状解耦，从而为全身重建提供了更丰富的控制能力和可解释性。用于多样化人体姿态和高质量标注的数据引擎。为了获得更高的性能，人体姿态恢复方法越来越依赖大规模训练数据（Goel等人，2023；Cai等人，2023；Yin等人，2025）。然而，高质量的3D监督数据依然稀缺，现有的自然场景数据集在规模和多样性方面仍显不足。为此，我们设计了一条全新的数据创建流程，其特点包括：(i) 数据质量：我们的标注流程结合了几何约束、参数化先验以及密集关键点回归等多种组件，能够自动生成高质量的人体3D网格标注。(ii) 数据数量：我们从大型授权图库、多个多视角采集数据集以及合成数据中筛选数据，最终构建了包含700万张图像的大规模高质量标注数据集。(iii) 数据多样性：我们利用基于视觉语言模型的数据引擎来挖掘具有挑战性的自然场景图像并进行标注，从而确保数据集涵盖罕见姿态、复杂视角以及多样的外观特征，为模型训练提供更丰富的监督信息。数据引擎与全身HMR模型协同工作，使3DB能够仅凭单张图像就恢复出高保真度的全身人体网格。在身体和手部姿态估计方面，3DB均取得了业界领先的性能。大量实验表明，在标准指标上3DB的表现始终优于以往的HMR方法；它对未见数据集的泛化能力更强；在一项涉及7,800名参与者的研究中，用户更青睐3DB，其在视觉质量方面的胜率高达5:1。据我们所知，它是首个性能超越专门的人体模型、且与专门的手部模型性能相当的单模型，同时还能提供交互式控制功能，并在复杂姿态及真实场景下展现出强大的鲁棒性。 ## 2 相关工作人体网格模型：应用最广泛的人体网格模型是SMPL（Loper等人，2015年），它将人体参数化为姿态和形状。SMPL-X（Pavlakos等人，2019年）进一步纳入了手部（MANO，Romero等人，2022年）和面部（FLAME，Li等人，2017年）。SMPL模型将骨骼结构与软组织质量交织在形状空间中，这可能会限制其可解释性（例如，参数并不总能直接对应骨骼长度）以及可控性。另一种模型Momentum Human Rig（Ferguson等人，2025年）是对ATLAS（Park等人，2025年）的改进，它明确分离了骨骼结构和身体形状，我们将其作为人体的表示方式。 --- ![Image](images/de70299f4e2d1e00bbc0ddd37584a3c8a1561f64e2f5dbeefa30ca34d3a32122.jpg)

Figure 2 SAM 3D Body Model Architecture. We employ a promptable encoder-decoder architecture with a shared image encoder and separate decoders for body and hand pose estimation.

人体网格恢复（HMR）：早期的HMR方法如HMR 2.0（Goel等人，2023年）仅为仅针对身体的方法，只能预测身体而无法还原关节相连的手部和脚部。这类方法包括Kolotouros等人（2019年）、Li等人（2022年）以及Dwivedi等人（2024年）的研究。相比之下，3DB遵循更新型的全身建模范式（Baradel等人，2024年；Choutas等人，2020年；Rong等人，2021年；Cai等人，2023年；Wang等人，2025c），能够同时估计身体、手部和脚部。此外还有专门针对手部的网格恢复方法（Pavlakos等人，2024年；Potamias等人，2025年），它们仅估计手部的姿态和形状，通常比全身方法具有更高的精度。而3DB在手部及全身估计方面均表现出强劲的性能。可提示推理：可提示推理由SAM系列模型（Kirillov等人，2023年；Ravi等人，2024年）推广开来，它允许用户或系统提供的提示（如2D关键点或掩码）来引导模型预测。与Wang等人（2025c）的方法类似，我们的方案支持多种提示类型，包括2D关键点和掩码；通过将提示标记直接集成到Transformer架构中，实现了用户引导下的网格恢复。数据质量与标注流程：HMR领域的一大瓶颈在于训练数据的质量。许多数据集依赖从单目拟合得到的伪真值（pGT）网格（Kolotouros等人，2019年；Kanazawa等人，2018年），这些网格往往在姿态、形状和相机参数上存在系统性误差（Patel和Black，2025年）。Dwivedi等人（2024年）以及Wang等人（2025b）的最新研究强调了标注噪声对指标报告和模型泛化能力的影响。为解决这一问题，我们在研究中采用了多视角数据集（Martinez等人，2024年；Khirodkar等人，2024年；Moon等人，2020年）和合成数据，以提供更高保真度的监督。我们的方法基于这些研究成果，采用可扩展的数据引擎通过视觉语言模型挖掘具有挑战性的样本，并利用多阶段标注流程结合密集关键点检测、强参数先验以及稳健的优化手段。 ## 3 SAM 3D人体模型架构我们的目标是从单张图像中准确、稳健且交互式地恢复3D人体网格（即MHR参数）。为此，我们设计了3DB这一可提示的编码器-解码器架构（见图2），它包含丰富的提示词元。3DB具备交互性，因为它能够接受2D关键点或掩码，从而让用户或下游系统引导推理过程。 ### 3.1 图像编码器经过裁剪的人体图像I会被归一化，并输入视觉骨干网络以生成密集特征图F。也可以提供一组可选的手部裁剪区域$I_{hand}$，以获取手部裁剪特征图$F_{hand}$： $$ F=\operatorname{I m g E n c o d e r}(I), $$ $$ F_{\mathrm{h a n d}}=\mathrm{I m g E n c o d e r}(I_{\mathrm{h a n d}}). $$ --- 3DB考虑了两种可选的提示：2D关键点和分割掩码。关键点提示通过位置编码与学习到的嵌入向量相加后进行编码，并作为额外词元提供给姿态解码器。掩码提示则通过卷积进行嵌入，再与图像嵌入逐元素相加（Kirillov等人，2023）。 ### 3.2 解码器词元 3DB有两个解码器：身体解码器输出全身人体骨骼模型，可选的手部解码器则能提供更精准的手部姿态结果。姿态解码器以一组查询词元为输入，来预测MHR参数和相机参数。查询词元共有四种类型：MHR+相机词元、2D关键点提示词元、辅助的2D/3D关键点词元以及可选的手部位置词元。 MHR+相机词元：MHR及（可选的）相机参数的初始估计值会被嵌入为可学习的词元，用于MHR参数估计： $$ T_{\mathrm{p o s e}}=\mathrm{R i g E n c o d e r}(E_{\mathrm{i n i t}})\in\mathbb{R}^{1\times D}, $$ $$ E_{\mathrm{i n i t}}\in\mathbb{R}^{d_{\mathrm{i n i t}}}. $$ 2D关键点提示词元：如果提供了2D关键点提示K（例如来自用户或检测器），它们的编码方式如下： $$ T_{\mathrm{p r o m p t}}=\mathrm{P r o m p t E n c o d e r}(K)\in\mathbb{R}^{N\times D}, $$ $$ K\in\mathbb{R}^{N\times3}, $$ 其中每个关键点由$(x, y,$标签表示。）手部位置词元：手部词元$T_{\text{hand}} \in \mathbb{R}^{2 \times D}$在身体解码器中用于定位人体图像中的手部位置。这组词元是可选的，即便没有它们，3DB仍能生成全身人体骨骼模型，因为身体解码器的输出本身已包含手部信息。辅助关键点词元：为了进一步提升交互性和模型能力，我们为所有2D和3D关键点加入了可学习的词元。 $$ T_{\mathrm{k e y p o i n t2D}}\in\mathbb{R}^{J_{2D}\times D}, $$ $$ T_{\mathrm{k e y p o i n t3D}}\in\mathbb{R}^{J_{3D}\times D}. $$ 这些词元让模型能够针对特定关节进行推理，同时支持关键点预测或不确定性估计等下游任务。 ### 3.3 MHR解码器所有词元会被拼接起来，形成完整的查询集： $$ T=[T_{\mathrm{p o s e}},~T_{\mathrm{p r o m p t}},~T_{\mathrm{k e y p o i n t2D}},~T_{\mathrm{k e y p o i n t3D}},~T_{\mathrm{h a n d}}] $$ 这种灵活的组装方式使模型既能以全自动模式运行，也能在用户引导模式下工作，从而适配可用的提示信息。身体解码器会关注查询词元T和全身图像特征F， $$ O=\operatorname{D e c o d e r}(T,F)\in\mathbb{R}^{(3+N+J_{2D}+J_{3D})\times D}. $$ 通过交叉注意力机制，身体解码器将提示信息与视觉上下文融合，从而实现稳健且可编辑的网格恢复。可选地，手部解码器可以接收相同的提示信息，同时关注手部裁剪特征$F_{hand}$，以生成另一个输出词元$O_{hand}$。 O的第一个输出词元会通过多层感知机回归出最终的网格参数：$\theta = \text{MLP}(O_0) \in \mathbb{R}^{d_{\text{out}}}$，其中$\theta = \{\mathbf{P}, \mathbf{S}, \mathbf{C}, \mathbf{S}_k\}$分别是预测的MHR参数：姿态、形状、相机姿态和骨骼结构。另外，还可以从$O_{\text{hand}}$计算出一对MHR手部的输出，将其合并到身体输出中，以改善手部参数的估计效果。 --- ## 4 模型训练与推理模型训练。3DB采用综合性的多任务损失项进行训练，即$\mathcal{L}_{\text{train}} = \sum_{i} \lambda_i \mathcal{L}_i$，其中每个$\mathcal{L}_i$都是针对特定预测头或解剖结构的任务专属损失。$\lambda_i$是经经验设定的超参数。为了稳定训练过程，某些损失项（如3D关键点）会采用预热机制，在训练过程中逐步增加其权重。我们还模拟了Kirillov等人（2023年）以及Sofiuk等人（2022年）提出的交互式训练设置，即对每个样本随机采样多轮提示。这种多任务且能感知提示的损失设计，为所有输出提供了强有力的监督。下文我们将详细介绍这些损失函数。 2D/3D关键点损失：我们采用$L_1$损失函数来监督2D/3D关节位置，该函数引入了可学习的逐关节不确定性参数，以便根据预测置信度调节损失大小。对于3D身体和手部关键点，在计算损失前会先以其各自的骨盆和手腕位置为基准进行归一化。手部关键点的权重会根据标注的可用性进行调整。2D关键点则在裁剪后的图像空间中进行监督，同时我们会提高用户提供的关键点的损失权重，以便在有关键点提示时确保提示的一致性。参数损失：MHR参数（姿态、形状）通过$L_{2}$回归损失进行监督，同时会施加关节限制惩罚，以避免出现解剖学上不合理的姿态。手部检测损失：3DB可通过内置的手部检测器定位手部位置。我们采用GIoU损失和$L_{1}$损失来监督手部框的回归。我们还会预测手部框的不确定性，并在推理阶段对手部被遮挡的样本关闭手部解码器。全身推理。推理时，我们默认使用身体解码器的输出，当检测到手部时也可合并手部解码器的输出。手部解码器的优势源于训练时使用的手部专属数据，以及专用预测头所带来的手腕自由活动能力。通过将手部解码器的输出统一到身体解码器中，我们的模型能够给出全身预测结果，同时提升手部姿态估计的准确性。不过我们发现，若直接将手部解码器的输出整合到Momentum Human Rig运动学树的中间节点，可能会导致相邻关节出现误差，尤其是肘关节处。因此，我们利用3DB的可提示性来消除手部解码器输出引发的这些误差。具体而言，我们用手部解码器输出的手腕位置以及身体解码器预测的肘部位置来提示身体解码器，从而生成更精细的全身姿态估计结果。最后，将预测得到的局部MHR参数按照网格模型的运动学树合并为完整的全身配置。我们在图9中展示了该策略的定性对比结果。 ## 5 用于提升多样性的数据引擎获取与图像配对的高精度人体网格标注需要耗费大量计算资源。因此，常见的策略是标注大量的视频数据，再利用时间约束来获取更可靠的伪标注。虽然可以从视频中获取大量训练图像，但这些图像的姿态、外观、成像条件和背景可能极为相似。为了增加训练数据集的多样性，我们开发了一个自动化数据引擎，能够筛选出难以标注的图像进行人工标注，从而实现可扩展且高效的数据集整理。我们数据引擎的核心是一种基于视觉-语言模型（VLM）的挖掘策略。我们并非依赖简单的启发式方法或随机采样，而是利用VLM自动生成并更新用于识别高价值图像以供标注的挖掘规则。VLM能够识别出在姿态估计方面具有挑战性的图像，包括遮挡（人体被物体或其他人部分遮挡）、特殊姿势（如杂技或舞蹈等罕见或复杂的身体形态）、交互行为（手持工具或群体活动等人-物或人-人互动）、极端尺度（物体在相机中呈现非典型距离）、低可见度（光线不足、运动模糊或部分可见）以及手-身协调（如手语或体育运动中手部与身体的紧密配合）。根据当前模型的失败分析，挖掘规则会迭代地自动更新，从而使引擎能够自适应地聚焦于最具挑战性或信息量最大的样本。失败分析采用半手动方式执行：先在当前的标注图像集上运行3DB，通过关键点位置误差来可视化最具挑战性的图像，随后人工用几个词对图像进行标注。这些词语和图像会被用来为VLM创建文本提示。VLM筛选出的新图像随后会被送往人工标注环节。通过将标注工作集中在最具信息量的样本上，我们的数据引擎能够高效地从数千万张图像中筛选出有价值的内容，同时最大化每张标注图像的价值与多样性。通过收集高度多样化的数据集，我们为构建能够在各种真实场景图像上表现优异的稳健HMR模型奠定了坚实基础。 --- ![Image](images/51c51834950b1fd886b9214d2f456d43ce4ee0a7adb6c5769d18cdef231f3379.jpg)

Figure 3 Left: GUI of our annotation tool for annotating 2D keypoints. Right: Comparison of the dense (thin) and sparse (thick) keypoints for pseudo annotation.

![Image](images/0ab2d89191a56553e27bed23e1452d16b0b9e740df34eb01ef9d7c24da37b7c5.jpg)

Figure 4 Example of single-image MHR mesh fitting for ITW datasets. Source: SA-1B Kirillov et al. (2023).

## 6 数据标注与网格拟合 ### 6 数据标注与网格拟合除了依托数据引擎提供的多样化数据所带来的鲁棒性外，我们模型的准确性在很大程度上还取决于标注的质量。为此，我们设计了一个多阶段标注流程，该流程能够利用人工2D关键点标注、稀疏与密集关键点检测、几何约束、时间约束、强参数先验以及稳健的优化方法等多种手段，从真实场景单图像数据集和各种多视角数据集中生成精确的3D网格伪真值。 ### 6.1 人工标注对于数据引擎筛选出的图像集，我们首先使用当前版本的3DB来估算初始的2D关节位置。随后，由经过培训的专业标注员进行审核，并在必要时手动修正估算出的关节位置，如图3(a)所示。标注员还会根据严格的标准为每个关节分配可见性标签。那些存在严重遮挡或其他会影响精确放置的因素（如遮挡面积超过50%、运动模糊）的关节会被标记为不可见。 --- ![Image](images/0eaa812acd4216ae93baa8d884b86bc8c68c43369c48dc58832a99de1fc1afdc.jpg)

(a)

![Image](images/1dd65da6e41e5fa54f3aafc52a89ebfd1b4b68ba2628d9abfaaa2d35497cb2a0.jpg)

(b)

Figure 5 Examples of MHR mesh fitting results. (a) Multi-view mesh fitting. Source: EgoExo4D Grauman et al. (2024). (b) Scan-based mesh fitting. Source: Re:Interhand Moon et al. (2023).

### 6.2 单图像网格拟合对于每张图像，我们首先利用3DB预测结果的当前版本来获取MHR参数的初始估计值，同时利用高容量关键点检测器预测的595个密集2D关键点。随后通过基于梯度的模型参数优化来实施MHR拟合，以最小化复合拟合损失$\mathcal{L}_{\mathrm{fit}} = \sum_{j} \lambda_{j} \mathcal{L}_{j}$，其中每个$\mathcal{L}_{j}$都是特定于任务的损失项，包括2D关键点损失、以初始估计值为基准的正则化项以及先验约束。超参数$\lambda_{j}$是通过交叉验证来设定的。我们采用了多种损失项和先验约束来实现拟合目标：2D关键点损失是指投影点与检测到的密集2D关键点之间的L2距离，旨在确保最小的2D投影误差；以初始估计值为基准的正则化项通过对动量人体骨骼参数及其对应的3D关键点施加L2损失，来惩罚与初始预测的偏差，从而防止模型偏移；姿态和形状先验则通过学习得到的高斯混合先验及L2正则化来保证解剖学上的合理性。按照上述流程，我们如示意图4所示，将图像到MHR的拟合结果作为训练监督信号。密集关键点检测器。选择595个密集关键点是因为它们代表了捕捉多样化人体形状和手部姿态所需的人体网格的最小流形。该密集关键点检测器采用标准的Transformer编码器-解码器架构。然而，与以往仅利用像素视觉线索的模型（Patel和Black，2025；Hewitt等人，2024；Cuevas-Velasquez等人，2025）不同，我们的密集关键点检测器还利用了手动标注步骤中获得的额外稀疏关键点引导信息，从而能够从自然场景图像中预测精确的2D密集关键点，如图3(b)所示。我们首先在3D数据集（如Goliath和Synthetic）上训练该模型，然后将其用于自然场景数据集（如COCO、AI Challenger、MPII）上的多阶段网格拟合。之后，我们将MHR网格投影为密集关键点，以此进行第二轮密集关键点检测器训练，这种迭代训练方案共执行两次。 ## 6.3 多视角网格拟合尽管单视角网格拟合对大量多样化图像而言效果显著，但由于深度模糊和自然遮挡问题，标注结果的保真度往往较低。因此，我们也在合适的数据集上采用多视角网格拟合技术。对于多视角视频数据集，我们进一步扩展了该流程，利用空间和时间线索在所有帧和相机视角下联合拟合网格。针对每个相机和帧提取同步的2D关键点，再通过三角测量得到稀疏3D关键点。网格模型以这些三角测量得到的点和相机参数为初始值，随后通过基于二阶优化的模型参数更新来对其进行优化，目的是最小化复合拟合损失$\mathcal{L}_{\text{multi}} = \sum_{k} \lambda_{k} \mathcal{L}_{k}$，其中每个$\mathcal{L}_{k}$都是特定于任务的损失项，包括2D关键点损失、正则化项以及单视角网格拟合中所用的先验约束，此外还包括额外的3D关键点损失和时间平滑性约束：3D关键点损失是指网格关节点与从多视角几何关系得到的三角测量3D关键点之间的L2距离，可提供强大的空间监督信息；时间平滑性损失则促使估计出的姿态参数在时间上保持连贯性。 ---

Table 1 List of 3DB training datasets. $*$ denotes the datasets providing samples to train the hand decoder.

Dataset	# Images/Frames	# Subjects	# Views
MPII human pose Andriluka et al. (2014)	5K	5K+	1
MS COCO Lin et al. (2014)	24K	24K+	1
3DPW Von Marcard et al. (2018)	17K	7	1
AIChallenger Wu et al. (2019)	172K	172K+	1
SA-1B Kirillov et al. (2023)	1.65M	1.65M+	1
Ego-Exo4D Grauman et al. (2024)	1.08M	740	4+
DexYCB Chao et al. (2021)	291K	10	8
EgoHumans Khirodkar et al. (2023)	272K	50+	15
Harmony4D Khirodkar et al. (2024)	250K	24	20
InterHand Moon et al. (2020) $^{{*}}$	1.09M	27	66
Re:Interhand Moon et al. (2023) $^{{*}}$	1.50M	10	170
Goliath Martinez et al. (2024) $^{{*}}$	966K	120+	500+
Synthetic $^{{*}}$	1.63M	-	-

该模型运行平滑，能减少运动中的突变，从而生成更真实的时间动态效果。$\lambda_{k}$是通过交叉验证来设定的。优化过程会在更新相机参数、形状、骨骼和姿态之间交替进行，同时采用鲁棒的关键点过滤技术（如鲁棒损失函数、RANSAC算法和平滑处理）。身体特定参数（如形状、骨骼参数）会在各帧中联合优化。网格拟合是基于全身及手部数据进行的，如图5所示。 ## 7 训练数据集我们的模型在表1所列的单视图、多视图及合成数据集上进行训练，这些数据集涵盖了普通人体姿态、手部、交互动作以及“自然场景”条件，以此确保训练数据的质量、数量和多样性。单视图自然场景数据：我们选用能在无约束环境中捕捉人物图像的数据集，这些数据集包含多样的外观、姿态和场景条件。具体包括AIChallenger Wu等人（2019年）、MS COCO Lin等人（2014年）、MPII Andriluka等人（2014年）、3DPW Von Marcard等人（2018年），以及SA-1B Kirillov等人（2023年）的子集。多视图一致性数据：为了引入几何一致性以获得更可靠的标注结果，我们使用了来自Ego-Exo4D Grauman等人（2024年）、Harmony4D Khirodkar等人（2024年）、EgoHumans Khirodkar等人（2023年）、InterHand2.6M Moon等人（2020年）、DexYCB Chao等人（2021年）以及Goliath Martinez等人（2024年）的多视图数据。高保真合成数据：我们使用了Goliath数据集的马蒂内兹等人（2024年）发布的照片级真实感合成扩展版本。该数据集提供了数百万帧包含不同身份、服装和场景下的真实MHR参数数据。合成数据能为人体网格恢复提供精确的监督信息，从而补充那些更注重多样性而非质量的真实数据集。手部数据集：这类数据集（在表1中用$\star$标记）如Re:Interhand Moon等人（2023年），用于训练身体和手部解码器。我们提供截去腕部后的手部样本来训练手部解码器。 ### 8 评估我们遵循以往HMR研究的方法，报告标准的姿态和形状评估指标：MPJPE Martinez等人（2017年）、PA-MPJPE Zhang等人（2020年）、PVE Li等人（2021年）以及PCK Zhang等人（2020年）。在基于SMPL的数据集上进行评估时，会将MHR网格映射到SMPL网格格式。我们展示了模型的两种变体：3DB-H采用常用的ViT-H（632M）骨干网络，而3DB-DINOv3则使用最新的DINOv3（840M）Siméoni等人（2025年）编码器。我们将输入图像提供给$512 \times 512$作为图像编码器，并使用现成的视场角（FOV）估算器（如Wang等人（2025a）的MoGe-2）来为模型推理提供相机内参。 ---

Table 2 Comparison on five common benchmarks. The best results are highlighted in bold, while the second-best results are underlined. Results evaluated using publicly released checkpoint denoted by $\dagger$. Models trained using RICH denoted by $*$.

		3DPW (14)			EMDB (24)			RICH (24)			COCO	LSPET
Models		PA-MPJPE $\downarrow$	MPJPE $\downarrow$	PVE $\downarrow$	PA-MPJPE $\downarrow$	MPJPE $\downarrow$	PVE $\downarrow$	PA-MPJPE $\downarrow$	MPJPE $\downarrow$	PVE $\downarrow$	PCK@0.05 $\uparrow$	PCK@0.05 $\uparrow$
IMAGE	HMR2.0b Goel et al. (2023)	54.3	81.3	93.1	79.2	118.5	140.6	48.1 $^{\dagger}$	96.0 $^{\dagger}$	110.9 $^{\dagger}$	86.1	53.3
	CameraHMR Patel and Black (2025)	35.1	56.0	65.9	43.3	70.3	81.7	34.0	55.7	64.4	80.5 $^{\dagger}$	49.1 $^{\dagger}$
	PromptHMR Wang et al. (2025c)	36.1	58.7	69.4	41.0	71.7	84.5	37.3	56.6	65.5	79.2 $^{\dagger}$	55.6 $^{\dagger}$
	SMPLex-X-H Cai et al. (2023)	46.6 $^{\dagger}$	76.7 $^{\dagger}$	91.8 $^{\dagger}$	64.5 $^{\dagger}$	92.7 $^{\dagger}$	112.0 $^{\dagger}$	37.4 $^{\dagger}$	62.5 $^{\dagger}$	69.5 $^{\dagger}$	-	-
	NLF-L+fit $^{*}$ Sárándi and Pons-Moll (2024)	33.6	54.9	63.7	40.9	68.4	80.6	28.7 $^{\dagger}$	51.0 $^{\dagger}$	58.2 $^{\dagger}$	74.9 $^{\dagger}$	54.9 $^{\dagger}$
VIDEO	WHAM Shin et al. (2024)	35.9	57.8	68.7	50.4	79.7	94.4	-	-	-	-	-
	TRAM Wang et al. (2024)	35.6	59.3	69.6	45.7	74.4	86.6	-	-	-	-	-
	GENMO Li et al. (2025)	34.6	53.9	65.8	42.5	73.0	84.8	39.1	66.8	75.4	-	-
3DB-H (Ours)		33.2	54.8	64.1	38.5	62.9	74.3	31.9	55.0	61.7	86.8	68.9
3DB-H (Ours)		3DB-DINOv3 (Ours)	33.8	54.8	63.6	38.2	61.7	72.5	30.9	53.7	60.3	86.5	67.8

### 8.1 在常用数据集上的性能评估我们首先在表2所示的五个标准基准数据集上对3DB进行评估，并与各类最先进的网格恢复方法进行比较。3DB的性能优于所有其他单图像方法，甚至能与利用时间信息的视频基方法相媲美。尤其值得一提的是，我们的模型在EMDB和RICH数据集上取得了优异的结果，这两个数据集属于域外数据（即未包含在训练集中），这表明其泛化能力优于以往的最先进方法。除RICH数据集外，3DB在所有数据集上的3D指标均优于排名第二的模型NLF；RICH数据集正是NLF的训练数据，而我们的模型并未使用该数据集。在COCO和LSPET数据集的2D评估中，3DB的PCK值也达到了最先进水平，显示出强大的2D对齐能力。 ### 8.2 在新数据集上评估性能在我们的实验过程中发现，由于相机、外观和姿态的差异，网格恢复模型在域外环境中表现得尤为脆弱。为了了解各方法在全新的、未见过的数据分布上的表现，我们还在表3中对五个新数据集（共38.6K张图像）进行了评估。这五个新数据集包括：(1) Ego-Exo4D（Grauman等人，2024年），(2) Harmony4D（Khirodkar等人，2024年），(3) Goliath（Martinez等人，2024年），(4) 内部合成数据，以及(5) SA1B-Hard。Ego-Exo4D记录了人类在各类复杂技能活动中的表现，分为物理领域（EE4D-Phys）和程序性领域（EE4D-Proc）。Harmony4D专注于动态体育场景中的多人近距离互动。Goliath则在精确控制的摄影棚环境中呈现多样化的动作。合成数据集由单个人物图像组成，具有多样的拍摄角度和参数。SA1B-Hard是我们利用数据引擎从SA1B中提取出的2.6K张图像的子集。这五个新数据集共同构成了对网格恢复方法极具挑战性的全新测试平台。由于受限于昂贵的数据使用许可、训练数据描述不清以及缺乏训练代码（CameraHMR、PromptHMR和NLF分别基于6个、9个和48个数据集训练），很难用完全相同的训练数据和方法对各方法进行比较。因此，我们采用留一法训练流程来公平测试3DB的泛化能力。这一做法能确保与那些同样未接触过这些数据集的先前研究进行公平对比。作为域内性能的上限参考，我们还展示了3DB在完整数据集上训练时的表现（即训练数据也取自这些新数据集）。对于基准模型和我们的模型，除SA1B-Hard外，我们在所有3D数据集的模型推理中均使用真实的相机内参；对于SA1B-Hard，我们采用了MoGe-2（Wang等人，2025a）估算的视场角。表3展示了相关结果。尽管先前的研究是在大量数据集上训练的，但我们发现它们在这五个领域仍面临困难，性能出现显著下降。相比之下，我们的留一法模型表现出强大的泛化能力，这得益于我们更丰富的数据分布和更强大的训练框架。有趣的是，我们注意到现有方法在不同数据集上的排名经常互换，反映出强烈的数据集特异性偏差。这表明每个基准模型都过度拟合了底层数据分布的某一狭窄部分。 ---

Table 3 Comparison on five new benchmark datasets. The best results are highlighted in bold, while the second-best results are underlined. MPJPE is computed on 24 SMPL keypoints.

Models	EE4D-Phy		EE4D-Proc		Harmony4D		Goliath		Synthetic		SA1B-Hard
Models	PVE $\downarrow$	MPJE $\downarrow$	PVE $\downarrow$	MPJE $\downarrow$	PVE $\downarrow$	MPJE $\downarrow$	PVE $\downarrow$	MPJE $\downarrow$	PVE $\downarrow$	MPJE $\downarrow$	Avg-PCK $\uparrow$
CameraHMR Patel and Black (2025)	71.1	58.8	70.3	60.2	84.6	70.8	66.7	54.5	102.8	87.2	63.0
PromptHMR Wang et al. (2025c)	74.6	63.4	72.0	62.6	91.9	78.0	67.2	56.5	92.7	80.7	59.0
NLF Sárandi and Pons-Moll (2024)	75.9	68.5	85.4	77.7	97.3	84.9	66.5	58.0	97.6	86.5	66.5
3DB-H Leave-one-out (Ours)	49.7	44.3	52.9	47.4	63.5	54.0	54.2	46.5	85.6	75.5	73.1
3DB-H Full dataset (Ours)	37.0	31.6	41.9	36.3	41.0	33.9	34.5	28.8	55.2	47.2	76.6

Table 4 Comparison on Freihand for hand pose estimation. Methods using Freihand for training are denoted by $\dagger$.

Method	PA-MPVPE $\downarrow$	PA-MPJPE $\downarrow$	F@5 $\uparrow$	F@15 $\uparrow$
LookMa Hewitt et al. (2024)	8.1	8.6	0.653	-
METRO Lin et al. (2021) $^{\dagger}$	6.3	6.5	0.731	0.984
HaMeR Pavlakos et al. (2024) $^{\dagger}$	5.7	6.0	0.785	0.990
MaskHand Saleem et al. (2025) $^{\dagger}$	5.4	5.5	0.801	0.991
WiLoR Potamias et al. (2025) $^{\dagger}$	5.1	5.5	0.825	0.993
3DB-H (Ours)	6.3	5.5	0.735	0.988
3DB-DINOv3 (Ours)	6.2	5.5	0.737	0.988

### 8.3 评估手部姿态估计性能 3DB的一个显著特点是其在估计手部形状和姿态方面表现优异。以往的全身体姿估计方法（Cai等人，2023；Baradel等人，2024；Lin等人，2023）在手部姿态精度上明显逊色于专门的手部姿态估计方法（Pavlakos等人，2024；Potamias等人，2025）。这种性能差距主要源于两个因素：首先，专门的手部方法能够利用大规模的手部姿态数据集，而全身体姿估计方法由于缺少全身图像和标注，无法使用这些数据集；其次，手腕的自由活动使得手部姿态模型更容易使手指姿态与二维、三维对齐，而对于全身体姿估计方法而言，手腕的旋转和位置会受到身体姿态和位置的严格限制。尽管存在这些挑战，3DB仍展现出出色的手部姿态估计精度。3DB得益于灵活的模型训练设计——该设计同时纳入了手部与身体数据以及手部解码器。此外，由于3DB支持提示输入，因此它能自然地实现身体预测中的手腕与手部手腕的对齐。我们在表4中通过具有代表性的FreiHand基准测试集（Zimmermann等人，2019）对3DB的手部估计性能进行了评估。为了与专门的手部模型进行公平比较，我们采用手部解码器的输出结果进行评估。尽管3DB并未在FreiHand数据集上训练（该数据集能为模型带来显著的领域内性能提升），但其手部姿态估计精度已经可与那些以FreiHand及其他众多手部相关数据集为训练基础的当前最先进手部姿态估计方法相媲美。 ### 8.4 二维类别性能评估为了更深入地了解模型在各种图像类型上的优缺点，我们针对SA1B-Hard（Kirillov等人，2023）定义的24个类别对模型性能进行了对比。我们提出的评估集旨在涵盖图像中各类人体外观与活动，从而确保在真实场景下的稳健评估。该评估集共包含24个类别，可归为几个大类：体型、相机视角、手部、多人场景、姿态以及可见性。我们采用PCK（关键点正确百分比）指标来评估17个身体关键点和6个脚部关键点。结果以Avg-PCK形式呈现，即PCK在一系列阈值（分别为人体边界框尺寸的0.01、0.025、0.05、0.075、0.1）上的平均值。表5的结果显示，3DB在所有类别上的表现均优于所有基线模型。图6给出了定性示例。其中，在“可见性-截断”类别上，3DB的优势尤为明显，其性能远超CameraHMR和PromptHMR。本质上，3DB在处理图像中的身体截断问题时，学到了更强大的姿态先验。其他性能提升显著的类别包括“姿态-身体倒置”以及“姿态-腿部或手臂分裂”。我们将这些改进主要归因于数据引擎筛选出的困难姿态分布更加广泛。 ---

Table 5 2D categorical performance analysis on the SA-1B Hard dataset.

	CameraHMR Patel and Black (2025)		PromptHMR Wang et al. (2025c)		3DB
	APCK(body)	APCK(feet)	APCK(body)	APCK(feet)	APCK(body)	APCK(feet)
Body_shape - In-the-wild	87.64	78.56	85.73	77.87	90.76	92.12
Camera_view - Back or side view	59.69	46.64	61.92	47.74	76.27	66.81
Camera_view - Bottom-up view	55.18	34.84	46.56	29.25	69.62	55.35
Camera_view - Others	51.48	33.80	54.39	38.55	76.62	71.52
Camera_view - Overhead view	55.08	39.46	43.65	24.63	73.33	66.94
Hand - Crossed or overlapped fingers	73.20	62.85	72.48	62.43	81.36	84.04
Hand - Holding objects	76.73	72.11	73.57	68.92	83.40	85.92
Hand - Self-occluded hands	73.22	58.06	72.43	56.19	80.07	80.82
Multi_people - Contact or interaction	63.23	51.65	61.77	47.60	74.81	69.92
Multi_people - Overlapped	53.11	41.88	57.17	41.43	70.82	64.71
Pose - Contortion or bending	47.08	32.78	42.61	20.98	65.20	53.04
Pose - Crossed legs	63.95	32.24	56.15	27.35	76.40	58.80
Pose - Inverted body	46.12	30.01	39.83	24.64	78.18	72.19
Pose - Leg or arm splits	57.51	31.43	54.76	33.11	83.69	72.49
Pose - Lotus pose	63.19	14.38	54.85	12.87	74.53	57.97
Pose - Lying down	51.29	35.88	44.59	26.88	71.35	66.53
Pose - Sitting on or riding	79.66	71.65	70.15	61.16	84.85	81.51
Pose - Sports or athletic activities	78.93	69.34	73.62	60.37	85.10	82.80
Pose - Squatting or crouching or kneeling	62.74	41.47	54.41	33.84	72.85	61.85
Visibility - Occlusion (foot cues)	62.93	26.83	58.00	30.81	75.43	54.74
Visibility - Occlusion (hand cues)	61.01	53.89	58.55	51.13	76.04	72.01
Visibility - Truncation (lower-body truncated)	39.27	-	46.50	-	61.95	-
Visibility - Truncation (others)	79.18	74.82	77.06	74.99	84.23	86.72
Visibility - Truncation (upper-body truncated)	62.37	54.90	56.01	49.28	64.49	70.99

### 8.5 三维类别性能评估利用现有的单视图数据集进行三维类别分析颇具挑战性，因为其背后的伪真实值只是真实几何结构的低保真近似。为了对HMR方法进行更细致的三维类别分析，我们利用多视图数据集中的合成数据与真实数据混合构建了评估集，这些多视图数据集的摄像头数量超过100个。为了全面评估HMR中3D人体网格重建的性能，我们基于可解释的场景和人体属性（如遮挡、截断、视角、姿态难度、形状和交互）定义了一组包含28个类别的指标。与用于2D类别的人工分类不同，这些3D类别是通过对元数据和几何特征应用基于规则的标准自动生成的。这种系统化的方法能够对模型在各类现实条件下的性能进行一致、可扩展且客观的分析。根据表6的结果，3DB在具有挑战性的场景中表现出更优的性能。尤其是在极难姿态类别中，3DB在pose_3d:very_hard类别以及pose_2d:very_hard类别中的表现始终优于CameraHMR和PromptHMR。这些结果表明，3DB在最具挑战性的条件下准确估计姿态方面具备固有优势。此外，与CameraHMR相比，3DB在处理truncation:severe场景时展现出显著优势；与PromptHMR相比，它在viewpoint:topdown_view类别中的表现也更为出色。 ### 8.6 定性结果除了定量指标上的提升外，我们的模型在定性表现上也明显优于基线模型。图6将SAM 3D Body与SA1B-Hard数据集上的六种最先进方法进行了对比，重点展示了具有复杂姿态、形状和遮挡的困难案例。如图所示，SAM 3D Body在身体姿态和形状恢复方面始终能取得更精确的结果，尤其是四肢和手部等细节部分。图6中的2D叠加图像进一步说明了其与输入图像更好的对齐程度，证明了我们的方法即使在困难条件下也具有鲁棒性。当我们关注人体不可见或从图像中截断的手部裁剪图像时，如图7所示，模型的有效性得到了验证。为简洁清晰起见，此处仅展示手部解码器输出的网格。 ## 8.7 人类偏好研究我们在SA1B-Hard数据集上开展了一项大规模用户偏好研究，旨在评估3DB生成的人体重建结果与现有方法相比在感知质量上的差异。虽然定量指标 ---

Table 6 3D categorical performance analysis.

	CameraHMR Patel and Black (2025)			PromptHMR Wang et al. (2025c)			3DB
	PVE	MPJPE	PA-MPJPE	PVE	MPJPE	PA-MPJPE	PVE	MPJPE	PA-MPJPE
aux:depth_ambiguous	126.25	102.25	81.33	109.58	91.77	69.24	64.38	52.72	39.85
aux:orient_ambiguous	84.26	71.77	45.07	83.79	72.93	46.17	42.35	36.64	25.16
aux:scale_ambiguous	118.18	104.77	50.93	112.95	102.28	47.26	58.64	51.16	27.67
fov:medium	82.88	68.81	46.86	76.31	64.84	42.85	43.58	36.97	25.57
fov:narrow	82.15	69.82	49.73	90.41	77.95	53.49	52.14	43.89	36.18
fov:wide	71.55	60.05	38.66	74.98	64.55	42.87	37.97	33.06	22.44
interaction:close_interaction	107.59	90.95	57.62	115.19	98.12	64.87	54.23	44.98	29.76
interaction:mild_interaction	89.98	75.28	52.93	106.55	90.38	62.74	42.63	34.65	27.16
pose_2d:hard	117.91	107.74	77.16	117.73	110.64	79.16	62.93	57.50	45.58
pose_2d:very_hard	150.20	140.61	92.66	150.15	145.07	95.40	62.22	56.84	42.39
pose_3d:hard	133.89	121.11	84.21	129.30	118.59	81.82	71.42	63.68	49.10
pose_3d:very_hard	213.66	206.34	143.23	186.35	179.46	129.51	114.20	110.62	86.43
pose_prior:average_pose	68.52	56.70	37.22	70.32	59.73	39.42	36.06	30.95	21.35
pose_prior:easy_pose	57.83	47.31	29.92	62.85	53.58	32.80	29.53	24.66	17.20
pose_prior:hard_pose	94.64	80.04	54.53	88.12	76.19	51.15	51.65	44.24	31.09
shape:average_bmi	70.35	58.07	38.08	71.01	60.25	39.90	36.58	31.41	21.31
shape:high_bmi	84.52	69.96	47.55	79.49	67.83	43.04	43.33	36.49	22.45
shape:low_bmi	80.93	65.70	42.71	69.92	58.76	37.30	38.74	32.73	21.82
shape:very_high_bmi	87.18	72.91	47.54	81.17	69.05	44.03	48.51	41.11	24.80
shape:very_low_bmi	108.16	91.25	47.26	94.16	81.12	38.64	51.76	45.69	22.97
truncation:left_body	135.30	113.17	87.98	127.53	110.67	91.33	91.28	76.46	62.23
truncation:lower_body	127.81	97.84	75.82	151.52	118.65	83.79	92.87	67.10	60.77
truncation:right_body	110.28	91.58	71.17	115.71	98.43	72.15	75.04	62.84	50.62
truncation:severe	230.51	213.64	124.01	186.57	168.22	122.70	126.53	113.66	88.42
truncation:upper_body	85.59	79.68	56.36	86.06	80.88	56.94	50.83	48.79	38.39
viewpoint:average_view	75.61	62.69	41.90	74.17	62.80	41.81	41.25	35.22	24.41
viewpoint:bottomup_view	89.83	72.25	53.00	95.46	78.87	55.57	56.50	47.07	34.03
viewpoint:topdown_view	101.69	91.13	59.15	104.29	97.92	63.39	42.84	38.78	27.90

![Image](images/392c97c7a878e0184dac199d930bb375193afb3d5f5191a5ea42f29dda7a892b.jpg) CameraHMR HMR2.0b

Figure 6 Qualitative comparison of 3DB against state-of-the-art HMR methods. Source: SA-1B Kirillov et al. (2023).

能够反映几何和数值上的准确性，但它们并不总能与人眼的感知准确性相吻合。我们设计了六项独立的成对比较研究，每项研究都将3DB与一个基线方法进行对比：HMR2.0b（Goel等人，2023年）、CameraHMR（Patel和Black，2025年）、NLF（Sárándi和Pons-Moll，2024年）、PromptHMR（Wang等人，2025c年）、SMPLer-X（Cai等人，2023年）以及SMPLest-X（Yin等人，2025年）。该研究共涉及7,800名独特参与者（每种对比方式对应1,300名参与者），总共收到超过20,000份回复。每位参与者都会观看一段视频刺激材料。视频的左右两侧分别显示 --- ![Image](images/412049c16620207b94d08c7ba2233dbcf6cbde0c69b2aa56132b056997a4e384.jpg)

Figure 7 Qualitative results of hand estimation using the hand decoder of 3DB. Source: Freihand Zimmermann et al. (2019).

![Image](images/ca23707e2a3b90832bbd2b5704509f61d1b04c2d33e0788764fcea1d624e5852.jpg)

Figure 8 Comparison of 3DB win rate against baselines for human preference study. Win rate (%) and number of wins out of 80.

两种方法的重建结果，并采用视频过渡效果使重建结果逐渐淡入图像。参与者被要求通过回答“哪一侧的人体3D模型与原图更匹配？左还是右？”来选择与原图匹配度更高的3D重建结果。我们使用胜率和投票份额来量化结果。胜率是指3DB获得比基线方法更多投票的刺激材料所占的百分比。如图8所总结的，3DB的表现始终优于所有基线方法。以最强的基线NLF为例，3DB的胜率达到了83.8%。 ## 9 结论我们提出了3DB，这是一种用于人体和手部建模的稳健HMR模型。我们的方法利用了Momentum Human Rig参数化人体模型，采用了灵活的编码器-解码器架构，并支持诸如2D关键点或掩码等可选提示来引导推理过程。本研究的核心突破在于监督流程方面。我们并未依赖嘈杂的单目伪真值，而是利用多视角捕捉系统、合成数据源以及能够主动挖掘和标注困难样本的可扩展数据引擎。这一策略产生了更纯净且更多样的训练信号，从而支持模型在精心策划的基准测试之外也能实现泛化。同时，3DB采用独立的手部解码器，以手部裁剪图像作为输入来增强手部姿态估计能力，这使得其性能可与最先进的手部姿态估计方法相媲美。 ## 致谢我们衷心感谢以下各位的贡献与支持：Vivian Lee、George Orlin、Nikhila Ravi、Andrew Westbury、Jyun-Ting Song、Zejia Weng、Xizi Zhang、Yuting Ye、Federica Bogo、Ronald Mallet、Ahmed Osman、Rawal Khirodkar、Javier Romero、Carsten Stoll、Shunsuke Saito、Jean-Charles Bazin、Sofien Bouaziz、Yuan Dong、Su Zhaoen、Alexander Richard、Michael Zollhoefer、Roman Radle、Sasha Mitts、Michelle Chan、Yael Yungster、Azita Shokrpour、Helen Klein、Mallika Malhotra、Ida Cheng、Eva Galper。 --- ## 参考文献 Mykhaylo Andriluka、Leonid Pishchulin、Peter Gehler和Bernt Schiele。2D人体姿态估计：新基准与最新技术分析。载于IEEE计算机视觉与模式识别会议论文集，第3686–3693页，2014年。 Fabien Baradel、Matthieu Armando、Salma Galaaoui、Romain Brégier、Philippe Weinzaepfel、Grégory Rogez和Thomas Lucas。Multi-HMR：单次拍摄即可实现多人全身人体网格恢复。载于欧洲计算机视觉会议论文集，第202–218页。Springer出版社，2024年。 Zhongang Cai、Wanqi Yin、Ailing Zeng、Chen Wei、Qingping Sun、Wang Yanjun、Hui En Pang、Haiyi Mei、Mingyuan Zhang、Lei Zhang等。SMPLER-X：扩展表达性人体姿态与形状估计能力。《神经信息处理系统进展》，第36卷：11454–11468页，2023年。 Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield等。DexYCB：用于捕捉物体抓取动作的人体基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页，2021年。 Vasileios Choutas、Georgios Pavlakos、Timo Bolkart、Dimitrios Tzionas和Michael J Black。通过身体驱动的注意力机制实现单目表达性人体回归。载于欧洲计算机视觉会议论文集，第20–40页。Springer出版社，2020年。 Hanz Cuevas-Velasquez、Anastasios Yiannakidis、Soyong Shin、Giorgio Becherini、Markus Höschle、Joachim Tesch、Taylor Obersat、Tsvetelina Alexiadis、Eni Halilaj和Michael J Black。MAMMA：无标记且自动化的多人动作捕捉技术。arXiv预印本arXiv:2506.13040，2025年。 Sai Kumar Dwivedi、Yu Sun、Priyanka Patel、Yao Feng和Michael J Black。TokenHRM：利用令牌化姿态表示推进人体网格恢复技术。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1323–1333页，2024年。 Aaron Ferguson、Ahmed AA Osman、Berta Bescos、Carsten Stoll、Chris Twigg、Christoph Lassner、David Otte、Eric Vignola、Fabian Prada、Federica Bogo等。MHR：Momentum Human Rig。arXiv预印本arXiv:2511.15586，2025年。 Shubham Goel、Georgios Pavlakos、Jathushan Rajasegaran、Angjoo Kanazawa和Jitendra Malik。人类在4D空间中：利用Transformer重建并追踪人体。载于《IEEE/CVF国际计算机视觉会议论文集》，第14783–14794页，2023年。 Kristen Grauman、Andrew Westbury、Lorenzo Torresani、Kris Kitani、Jitendra Malik、Triantafyllos Afouras、Kumar Ashutosh、Vijay Baiyya、Siddhant Bansal、Bikram Boote等。Ego-exo4D：从第一人称和第三人称视角理解熟练的人类活动。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第19383–19400页，2024年。 Charlie Hewitt、Fatemeh Saleh、Sadegh Aliakbarian、Lohit Petikam、Shideh Rezaeifar、Louis Florentin、Zafiirah Hosenie、Thomas J Cashman、Julien Valentin、Darren Cosker和Tadas Baltrušaitis。瞧，无需标记：轻松实现整体动作捕捉。载于《ACM图形学交易（TOG）》，第43卷第6期，2024年。 Catalin Ionescu、Dragos Papava、Vlad Olaru和Cristian Sminchisescu。Human3.6M：自然环境下大规模3D人体感知数据集及预测方法。载于《IEEE模式分析与机器智能交易》，第36卷第7期：1325–1339页，2013年。 Hanbyul Joo、Tomas Simon、Xulong Li、Hao Liu、Lei Tan、Lin Gui、Sean Banerjee、Timothy Scott Godisart、Bart Nabbe、Iain Matthews等。Panoptic Studio：用于社交互动的大规模多视角系统。载于《IEEE模式分析与机器智能交易》，第16页，2017年。 Angjoo Kanazawa、Michael J Black、David W Jacobs和Jitendra Malik。端到端人体形状与姿态恢复。载于《IEEE计算机视觉与模式识别会议论文集》，第7122–7131页，2018年。 Rawal Khirodkar、Aayush Bansal、Lingni Ma、Richard Newcombe、Minh Vo和Kris Kitani。Ego-Humans：一种以自我为中心的3D多人行为基准测试集。载于《IEEE/CVF国际计算机视觉会议论文集》，第19807–19819页，2023年。 Rawal Khirodkar、Jyun-Ting Song、Jinkun Cao、Zhengyi Luo和Kris Kitani。Harmony4D：一个用于野外近距离人类互动的视频数据集。载于《神经信息处理系统进展》，第37卷：107270–107285页，2024年。 Alexander Kirillov、Eric Mintun、Nikhila Ravi、Hanzi Mao、Chloe Rolland、Laura Gustafson、Tete Xiao、Spencer Whitehead、Alexander C Berg、Wan-Yen Lo等。Segment Anything。载于《IEEE/CVF国际计算机视觉会议论文集》，第4015–4026页，2023年。 --- Nikos Kolotouros、Georgios Pavlakos、Michael J Black和Kostas Daniilidis。通过循环中的模型拟合学习重建3D人体姿态与形状。载于《IEEE/CVF国际计算机视觉会议论文集》，第2252–2261页，2019年。 Jiefeng Li、Chao Xu、Zhicun Chen、Siyuan Bian、Lixin Yang和Cewu Lu。Hybrik：一种用于3D人体姿态与形状估计的混合解析-神经逆向运动学解决方案。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第3383–3393页，2021年。 Jiefeng Li、Jinkun Cao、Haotian Zhang、Davis Rempe、Jan Kautz、Umar Iqbal和Ye Yuan。GenMo：一种通用人体运动模型。载于《IEEE/CVF国际计算机视觉会议论文集》，第11766–11776页，2025年。 Tianye Li、Timo Bolkart、Michael J Black、Hao Li和Javier Romero。从4D扫描中学习面部形状与表情模型。载于《ACM图形学交易》，第36卷第6期：194–1页，2017年。李志豪、刘建壮、张振松、徐松岑和严有亮。Cliff：将完整帧中的位置信息应用于人体姿态与形状估计。载于《欧洲计算机视觉会议》，第590–606页。施普林格出版社，2022年。林静、曾爱玲、王浩谦、张雷和李宇。基于组件感知Transformer的单阶段3D全身网格恢复方法。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第21159–21168页，2023年。林凯文、王丽娟和刘子程。基于Transformer的端到端人体姿态与网格重建方法。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1954–1963页，2021年。林宗义、Maire Michael、Belongie Serge、Hays James、Perona Pietro、Ramanan Deva、Dollár Piotr和Zitnick C Lawrence。Microsoft COCO：场景中的常见物体。载于《欧洲计算机视觉会议》，第740–755页。施普林格出版社，2014年。刘景远、魏立毅、Shamir Ariel和五十岚武夫。iPose：从视频中交互式重建人体姿态。载于《2024年CHI人机交互系统会议论文集》，第1–14页，2024年。 Loper Matthew、Mahmood Naureen、Romero Javier、Pons-Moll Gerard和Black Michael J. SMPL：一种带骨骼的多人线性模型。《ACM图形学交易》（SIGGRAPH Asia会议论文集），34(6)：248:1–248:16，2015年10月。 Martinez Julieta、Hossain Rayat、Romero Javier和Little James J. 一种简单却有效的3D人体姿态估计基线方法。载于《IEEE国际计算机视觉会议论文集》，第2640–2649页，2017年。 Martinez Julieta、Kim Emily、Romero Javier、Bagautdinov Timur、Saito Shunsuke、Yu Shoou-I、Anderson Stuart、Zollhöfer Michael、Wang Te-Li、Bai Shaojie等。Codec Avatar Studio：用于创建完整、可驱动且具备泛化能力的人形虚拟形象的配对人体捕捉数据。《神经信息处理系统进展》，第37卷：83008–83023页，2024年。 Moon Gyeongsik、Yu Shoou-I、Wen He、Shiratori Takaaki和Lee Kyoung Mu。InterHand2.6M：基于单张RGB图像的3D交互手部姿态估计数据集及基线方法。载于《欧洲计算机视觉会议》，第548–564页。施普林格出版社，2020年。 Moon Gyeongsik、Saito Shunsuke、Xu Weipeng、Joshi Rohan、Buffaloini Julia、Bellan Harley、Rosen Nicholas、Richardson Jesse、Mize Mallorie、De Bree Philippe等。一组重新打光后的3D交互手部数据集。《神经信息处理系统进展》，第36卷：17689–17701页，2023年。 Park Jinhyung、Romero Javier、Saito Shunsuke、Prada Fabian、Shiratori Takaaki、Xu Yichen、Bogo Federica、Yu Shoou-I、Kitani Kris和Khirodkar Rawal。Atlas：用于表达性参数化人体建模的骨骼与形状参数解耦方法。载于《IEEE/CVF国际计算机视觉会议论文集》，第6508–6518页，2025年。 Patel Austin、Wang Andrew、Radosavovic Ilija和Malik Jitendra。从互联网视频中学习模仿物体交互行为。arXiv预印本arXiv:2211.13225，2022年。 Patel Priyanka和Black Michael J. CameraHMR：基于透视关系对齐人体模型。载于《2025年3D视觉国际会议（3DV）》论文集，第1562–1571页。IEEE出版社，2025年。 Pavlakos Georgios、Choutas Vasileios、Ghorbani Nima、Bolkart Timo、Osman Ahmed AA、Tzionas Dimitrios和Black Michael J. expressive Body Capture：从单张图像中恢复3D手部、面部及身体模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第10975–10985页，2019年。 --- 乔治奥斯·帕夫拉科斯、单丹丹、伊利亚·拉多萨沃维奇、安朱·金纳扎瓦、大卫·福伊和吉滕德拉·马利克。基于Transformer的3D手部重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第9826–9836页，2024年。欧文·珀尔、申昭英、阿什温·戈杜拉、莎拉·伯格布赖特和埃尼·哈利拉杰。通过生物力学模型的动态优化融合视频与惯性传感数据。《生物力学杂志》，第155卷：111617页，2023年。彭学斌、安朱·金纳扎瓦、吉滕德拉·马利克、皮特·阿贝尔和谢尔盖·莱文。SFV：从视频中通过强化学习获取物理技能。《ACM图形学交易（TOG）》，第37卷第6期：1–14页，2018年。罗兰多斯·亚历山德罗斯·波塔米亚斯、张静玲、邓建康和斯特凡诺斯·扎费里乌。WILOR：野外环境下的端到端3D手部定位与重建。载于《计算机视觉与模式识别会议论文集》，第12242–12254页，2025年。尼基拉·拉维、瓦伦丁·加布尔、胡元廷、胡荣航、查塔尼亚·里亚利、马腾宇、海瑟姆·凯德尔、罗曼·雷德尔、克洛伊·罗兰、劳拉·古斯塔夫森等。SAM 2：图像与视频中的任意物体分割。arXiv预印本arXiv:2408.00714，2024年。哈维尔·罗梅罗、季米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。具身化手部：手部与身体的联合建模与捕捉。arXiv预印本arXiv:2201.02610，2022年。荣宇、白鸟贵明和朱汉彪。FrankMocap：一种通过回归与整合实现单目3D全身姿态估计的系统。载于《IEEE/CVF国际计算机视觉会议论文集》，第1749–1759页，2021年。穆罕默德·乌萨玛·萨利姆、埃卡西特·皮诺安通蓬、梅尤尔·贾格迪什巴伊·帕特尔、薛宏飞、艾哈迈德·赫尔米、斯里詹·达斯和王璞。MaskHand：用于野外环境下鲁棒手部网格重建的生成式掩码建模。载于《IEEE/CVF国际计算机视觉会议论文集》，第8372–8383页，2025年。伊什特万·萨兰迪和杰拉德·庞斯-莫尔。用于连续3D人体姿态与形状估计的神经定位场。《神经信息处理系统进展》，第37卷：140032–140065页，2024年。申昭英、金柱永、埃尼·哈利拉杰和迈克尔·J·布莱克。WHAM：重建具有精确3D运动的地面锚定人体模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第2070–2080页，2024年。奥丽安娜·西梅奥尼、武辉V、马克西米利安·塞策尔、费德里科·巴尔达萨雷、马克西姆·奥夸布、奇乔·何塞、瓦西尔·哈利多夫、马克·萨法里内茨、尹善根、米歇尔·拉莫蒙吉萨奥等。DINOv3。arXiv预印本arXiv:2508.10104，2025年。康斯坦丁·索菲乌克、伊利亚·A·彼得罗夫和安东·科努辛。利用掩码引导恢复迭代训练以实现交互式分割。载于《2022年IEEE国际图像处理会议（ICIP）》论文集，第3141–3145页。IEEE出版社，2022年。瓦西勒奥斯·瓦西洛普洛斯、乔治奥斯·帕夫拉科斯、肖恩·L·鲍曼、J·迭戈·卡波拉莱、科斯塔斯·达尼伊利迪斯、乔治·J·帕帕斯和丹尼尔·E·科迪切克。利用深度感知反馈在未探索的语义环境中进行响应式语义规划。《IEEE机器人与自动化快报》，第5卷第3期：4455–4462页，2020年。蒂莫·冯·马尔卡尔德、罗伯托·亨舍尔、迈克尔·J·布莱克、博多·罗森汉和杰拉德·庞斯-莫尔。利用IMU与移动摄像头在野外环境中恢复精确的3D人体姿态。载于《欧洲计算机视觉会议（ECCV）论文集》，第601–617页，2018年。王瑞程、徐思成、董月、邓宇、向建峰、吕泽龙、孙广中、童欣、杨娇龙。Moge-2：具有度量尺度和精细细节的精确单目几何重建。arXiv预印本arXiv:2507.02546，2025a。王圣泽、李杰峰、李天野、袁烨、Henry Fuchs、Koki Nagano、Shalini De Mello、Michael Stengel。Blade：通过精确深度估计实现单视图人体网格重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第21991–22000页，2025b。王宇夫、王子云、刘凌杰、Kostas Daniilidis。Tram：从自然场景视频中恢复三维人体的全局轨迹与运动。载于《欧洲计算机视觉会议》，第467–487页。Springer出版社，2024年。王宇夫、孙宇、Priyanka Patel、Kostas Daniilidis、Michael J Black、Muhammed Kocabas。Prompthmr：可提示的人体网格恢复方法。载于《计算机视觉与模式识别会议论文集》，第1148-1159页，2025c。吴佳宏、郑赫、赵博、李一欣、闫宝明、梁睿、王文佳、周世佩、林国森、付彦伟等。用于深化图像理解的大规模数据集。载于《国际多媒体与博览会会议（ICME）》，第1480–1485页。IEEE出版社，2019年。 --- 杨杰、曾爱玲、李峰、刘诗龙、张瑞茂、张雷。神经交互式关键点检测。载于《IEEE/CVF国际计算机视觉会议论文集》，第15122–15132页，2023年。尹万奇、蔡忠昂、王瑞思、曾爱玲、魏晨、孙庆平、梅海燕、王彦军、庞慧恩、张明远等。Simplest-x：用于表达性人体姿态与形状估计的终极缩放方案。《IEEE模式分析与机器智能交易》，2025年。尹一飞、郭晨、Manuel Kaufmann、Juan Jose Zarate、宋杰、Otmar Hilliges。Hi4D：近距离人体互动的4D实例分割。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第17016–17027页，2023年。张建峰、聂学成、冯嘉石。跨场景三维人体姿态估计的推理阶段优化。《神经信息处理系统进展（NeurIPS）》，第33卷：2408–2419页，2020年。 Christian Zimmermann、Duygu Ceylan、杨继梅、Bryan Russell、Max Argus、Thomas Brox。Freihand：基于单张RGB图像的无标记手姿与形状捕捉数据集。载于《IEEE/CVF国际计算机视觉会议论文集》，第813–822页，2019年。 --- ## 附录 ## A 作者贡献 SAM 3D Body是整个团队共同努力的成果——所有成员均参与了论文撰写与项目发布，每位作者在以下领域做出了贡献：模型方面：杨希彤（模型负责人）；曹金坤（手部姿态、模型改进）；Park Jinhyung（MHR集成、模型改进）；Nicolas Ugrinovic（多人互动）；刘佳伟（SAM 3D统一）。数据方面：Devansh Kukreja（数据引擎与基础设施）；Don Pinkus（手动标注工具）；范涛莎（多视角网格拟合）；Soyong Shin（单视角网格拟合、密集关键点检测器）；Park Jinhyun（MHR网格拟合）；曹金坤（手部及全身数据）。评估方面：杨希彤（内部/外部基准测试）；曹金坤（手部姿态评估）；刘佳伟（人类偏好研究、可视化）；Nicolas Ugrinovic（多人评估）。领导团队与XFN成员：Kris Kitani、Anushka Sagar、Piotr Dollar、Matt Feiszli、Jitendra Malik。 ## B 3DB提示词跟随能力评估 3DB是一款支持提示词输入的模型，能够通过2D关键点或分割掩码作为条件输入，实现可控的人体姿态估计。在本节中，我们评估该模型遵循给定提示词的能力，并分析其对姿态估计性能的影响。 2D关键点提示词：2D关键点提示词提供了一种用户友好的机制，通过指定图像中的关节位置来调整姿态估计结果（Liu等人，2024；Yang等人，2023）。在表7中，我们针对推理过程中提供的关键点提示词数量进行了消融实验，其中选择误差最大的关键点用于提示。我们发现模型能够有效遵循这些提示词，且随着提示词数量的增加，2D和3D性能均有所提升（噪声尺度=0）。值得注意的是，尽管关键点提示词是在2D图像空间中提供的，但3DB仍能利用这些信息推断出更精确的三维人体姿态。我们进一步评估了模型对关键点提示词质量的敏感度，如表7中#Prompt=1所示。噪声尺度是相对于边界框大小定义的，与PCK中的定义一致。我们发现模型对微小的关键点误差具有鲁棒性（噪声尺度<0.05），因为这种噪声在真实场景数据集的标注中自然存在。当噪声水平增大时，性能会下降，因为模型往往会遵循错误的关键点提示词。最后，我们的全身推理流程利用2D关键点提示功能来提升手部姿态估计的质量，具体如第4节所述。为了说明这一策略的效果，我们在图9中提供了定性对比。从对比中可以看出，没有关键点提示时，手腕和手部关节处的2D关键点对齐效果明显差于默认推理结果。另一方面，如果在推理过程中不集成手部解码器，预测出的手腕旋转往往不够理想，进而导致2D手指关节对齐效果较差。掩码提示：在处理有紧密互动的多人场景时，掩码条件化能力至关重要，因为此时标准的边界框信息不足以明确指定模型需要关注的人物（Yin等人，2023；Wang等人，2025c）。为了评估将掩码作为额外输入对模型的影响，我们在三个多人（MP）数据集上比较了有无掩码条件化的模型推理结果。我们遵循先前的研究方法，在可用的情况下提供真实的分割掩码（Yin等人，2023；Wang等人，2025c），并针对ITW数据集SA1B，利用边界框提取SAM2掩码（Ravi等人，2024）。如表8所示，用特定人物的分割掩码对模型进行条件化后，能带来显著提升——采用掩码条件化的同一模型（3DB-DINOv3）在Hi4D数据集上的PVE提升了33.1，MPJPE提升了29.4。值得注意的是，Hi4D（Yin等人，2023）和Harmony4D（Khirodkar等人，2024）都是捕捉两人之间紧密互动的多人数据集，其中包含大量遮挡帧，这对大多数HMR模型而言都是挑战。 ---

Table 7 Ablation on 2D keypoint prompting with 3DB-H. We report results under varying numbers of prompts, as well as different noise scales for a single prompt.

# Prompts	0	1					2
Noise scale	0	0	0.01	0.03	0.05	0.1	0
COCO (PCK@0.05 $\uparrow$)	86.7	90.2	90.2	89.5	87.6	80.9	93.0
EMDB (MPJPE $\downarrow$)	63.3	60.1	60.3	61.5	63.3	67.8	58.9

Table 8 Comparison on mask-conditioned inference with 3DB-DINOv3 on multi-person datasets.

Models	Hi4D Yin et al. (2023)		Harmony4D		SA1B-Hard	SA1B-MP
Models	PVE $\downarrow$	MPJPE $\downarrow$	PVE $\downarrow$	MPJPE $\downarrow$	Avg-PCK $\uparrow$	Avg-PCK $\uparrow$
3DB (w/o mask)	91.4	76.4	42.7	35.6	75.4	67.9
3DB (w/ mask)	58.3	47.0	36.5	30.1	76.3	72.3

方法，尤其是在区分不同个体方面。通过将每个人的分割掩码作为额外输入，3DB能够有效应对这一挑战，并准确预测对应的个体。在我们对SA1B-Hard数据集进行的实验中发现，“多人”子集上的性能提升（+4.4%）比整个数据集上的提升（+0.9%）更为显著，这体现了掩码条件化在多人体场景中的重要性。 ## C 局限性我们探讨了本文中介绍的3DB的一些局限性，并提出了应对这些局限性的可能后续步骤。首先，3DB分别处理每个个体，并未考虑多人体或人与物体之间的交互作用，这限制了其准确解读相对位置和物理交互的能力。自然的下一步是将人、物体与环境之间的交互纳入模型的训练过程。其次，虽然该模型在全身姿态估计任务中的手部姿态估计方面取得了显著提升，但其精度仍不及专门的手部姿态估计方法。此外，由于训练期间高质量全身数据的可用性有限，仅依靠身体解码器得到的手部估计性能也不尽如人意。通过为3DB的训练引入更多样化的全身数据，便可解决这一局限。第三，3DB及其底层网格模型MHR在建模各年龄段的人体形状方面均存在不足，因此它们在儿童的姿态估计和形状建模方面可能产生欠佳的结果。 --- ![Image](images/521c61366b912877889bf0f4e70b614164f69cf68c115cc4043fa809e6ff68be.jpg) ![Image](images/8f103d44e68f8382b349325deb3605d640ebf4e5112f39afcff8059de54e0d30.jpg) ![Image](images/b948130b6f3e54990b46a96e693e1cdc3e653aee5e5a4d2bdc8df65919aba427.jpg) ![Image](images/f1e83280d28a7408c4e191a223230aded1f6f9b717cd125e9bb8b473219a1b12.jpg) ![Image](images/b28a9ed1e0204d51dfc926a4dc9bc7015a878f02bc56e62b73a1ab6ec62d8204.jpg) ![Image](images/72c61abb2c83f79515749779aa52451cfe2e1f950a0810b2379f5d8641d44d32.jpg) ![Image](images/3b18f0106635ef0c718467dc013cc2a13239b5cf3e8c43b99b62328662f0cceb.jpg) 图像裁剪 ![Image](images/69a5cfa7ca57399b2a6c78a8c158d75d214f13709f62a48c86fb9b0512b9c384.jpg) 无关键点提示 ![Image](images/4858d2a3ccbf1bb8304838ab2b147522f35799ade167e0bb16fd17c9604a0681.jpg) 无解码器统一 ![Image](images/a79b4de157140b444dbbb6dfbcc27dbf1c8a12016b20ce809b75c089d4f852b5.jpg) 默认推理

Figure 9 Qualitative comparison to show the impact from using keypoint prompting and unifying the predictions from hand decoder and body decoder.