{
  "paper_id": "4208718930d6210930cd248f2af1c5a1",
  "paper_title": "SAM 3D Body: Robust Full-Body Human Mesh Recovery",
  "paper_authors": [
    "Xitong Yang",
    "Devansh Kukreja",
    "Don Pinkus",
    "Anushka Sagar",
    "Taosha Fan",
    "Jinhyung Park",
    "Soyong Shin",
    "Jinkun Cao",
    "Jiawei Liu",
    "Nicolas Ugrinovic",
    "Matt Feiszli",
    "Jitendra Malik",
    "Piotr Dollar",
    "Kris Kitani"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 SAM 3D Body（3DB），一种面向单张图像全身三维人体网格恢复的可提示模型。3DB能够估计身体、双脚和双手姿态，并首次采用新型参数化网格表示 Momentum Human Rig（MHR），将骨骼结构与表面形状解耦。模型采用编码器-解码器架构，支持二维关键点、掩码等辅助提示，可实现类似 SAM 系列模型的用户引导推理。论文通过结合人工关键点标注、可微优化、多视图几何和密集关键点检测的多阶段标注流程生成高质量标注，并利用数据引擎高效筛选和处理罕见姿态与稀有成像条件。实验表明，3DB在定量指标、定性用户偏好研究和域外泛化方面均显著优于先前方法；3DB与MHR均已开源。\n",
  "keywords": [
    "全身人体网格恢复",
    "三维人体姿态估计",
    "SAM 3D Body",
    "Momentum Human Rig",
    "可提示推理",
    "编码器-解码器架构",
    "手部姿态估计",
    "数据引擎",
    "多视图几何",
    "野外图像"
  ],
  "paper_institutions": [
    "Meta Superintelligence Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:42:39.784865Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有HMR方法在野外图像中遇到挑战姿态、严重遮挡、少见视角时容易失败，且难以在统一框架中兼顾身体与手脚细节的问题，论文指出其核心瓶颈在于高质量多样化三维标注稀缺，以及身体和手部需要不同的优化机制。为此提出SAM 3D Body（3DB）：它基于显式解耦骨骼结构与表面形状的MHR，采用共享图像编码器加身体、手部双解码器的可提示编码器-解码器架构，支持可选二维关键点、掩码和相机信息；核心机制是将MHR+相机、提示、辅助2D/3D关键点和手部位置令牌拼接为T，经交叉注意力计算O=Decoder(T,F)，并由首输出令牌回归θ={P,S,C,Sk}，手部解码器再通过腕部与肘部关键点提示和身体结果融合。训练数据约700万张图像，混合COCO、MPII、AIChallenger、3DPW、SA-1B等单视图数据以保证野外外观和姿态多样性，使用Ego-Exo4D、Harmony4D、EgoHumans、InterHand、DexYCB、Goliath等多视图数据及逼真合成数据以提供几何一致性和高保真监督；VLM数据引擎围绕遮挡、罕见姿态、交互、极端尺度、低能见度、手身协调挖掘难例，并依据模型失败分析迭代更新规则，多阶段标注结合人工关键点、595个密集关键点、多视图三角化、可微与二阶优化、时序平滑和参数先验。实现中输入分辨率为512×512，提供ViT-H（632M）和DINOv3（840M）两个版本，推理时可用MoGe-2估计视场角，这些设置分别验证数据多样性、MHR表示和双解码器架构对域外泛化、二维对齐及手部精度的作用。论文采用MPJPE、PA-MPJPE、PVE、PCK以及手部PA-MPVPE和F-score等指标，在3DPW、EMDB、RICH、COCO、LSPET等常用基准上超过单图像方法并可比视频方法，留一法在五个新域显著降低误差，FreiHand上未使用该数据集训练即接近手部专用SoTA，2D/3D分类分析显示其在难姿态、截断和少见视角上优势明显；7800名参与者、逾2万条反馈的用户研究取得约5:1的整体视觉质量胜率，对最强基线NLF胜率达83.8%，支持双解码器、可提示融合和多样化数据引擎的有效性。该方法适用于机器人、生物力学等需要理解人体姿态和形状的场景，但当前逐人处理，不建模多人或人物交互，手部精度仍未超越专用模型，且MHR对儿童等全年龄体型建模不足；未来可引入交互感知训练、更多样的全身数据以及覆盖全年龄的形状模型。\n\n### 关键要点\n\n- 3DB在单一模型中统一估计身体、双脚和双手，并且是首个采用MHR表示的HMR模型，MHR将骨骼结构与表面形状解耦。\n- 模型使用共享图像编码器和相互独立的身体解码器、手部解码器，以缓解输入分辨率、相机估计和监督目标差异造成的优化冲突。\n- 3DB支持可选的二维关键点和分割掩码提示；关键点经位置编码与学习嵌入后作为查询令牌，掩码经卷积嵌入后与图像特征逐元素相加。\n- 解码器查询由MHR+相机令牌、关键点提示令牌、辅助2D/3D关键点令牌和手部位置令牌组成，通过交叉注意力融合提示与视觉上下文。\n- 训练采用多任务损失、3D关键点损失预热和交互式提示采样；手部检测使用GIoU与L1损失，推理时仅在检测到手部时启用手部解码器。\n- VLM数据引擎自动识别遮挡、罕见姿态、人物或人物交互、极端尺度、低能见度和手身协调等高价值样本，并根据失败分析迭代更新挖掘规则。\n- 多阶段标注流程结合人工二维关键点、595个密集关键点、单视图优化、多视图三角化、时序约束和参数先验，生成约700万张高质量标注图像。\n- 在常用基准上，3DB-H取得3DPW PA-MPJPE 33.2、EMDB PA-MPJPE 38.5、RICH PA-MPJPE 31.9，COCO PCK@0.05达到86.8。\n- 在五个新数据集的留一法评估中，3DB-H在EE4D-Phy上PVE为49.7，在SA1B-Hard上Avg-PCK为73.1，显著优于CameraHMR、PromptHMR和NLF。\n- FreiHand评估中，未使用FreiHand训练的3DB-DINOv3取得PA-MPJPE 5.5和F@5 0.737，已接近手部专用SoTA方法。\n- 用户偏好研究包含7800名参与者和逾2万条反馈，3DB整体取得约5:1的视觉质量胜率，对NLF的胜率为83.8%。\n- 3DB的主要限制包括逐人处理而不理解多人或人物交互、手部精度尚未超过专用手部模型，以及对儿童等全年龄体型的建模仍不充分。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}