{
  "paper_id": "6371983c7c5e6f2818efa3714a8d1b41",
  "paper_title": "Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset",
  "paper_authors": [
    "Jing Lin",
    "Ailing Zeng",
    "Shunlin Lu",
    "Yuanhao Cai",
    "Ruimao Zhang",
    "Haoqian Wang",
    "Lei Zhang"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 36",
  "abstract": "本文提出 Motion-X，一个大规模3D富有表现力的全身人体运动数据集。现有运动数据集主要包含仅身体姿态，缺少面部表情、手势和细粒度姿态描述，而且大多在有限的实验室场景中采集并由人工标注文本描述，严重限制了可扩展性。为克服这些问题，作者开发了一套全身运动与文本标注流水线，能够自动标注来自单视角或多视角视频的运动，为每个视频提供全面语义标签，并为每帧提供细粒度全身姿态描述。该流水线精度较高、成本较低且具备可扩展性。基于该流水线构建的 Motion-X 包含1560万个精确的3D全身姿态标注（SMPL-X），覆盖来自海量场景的8.11万条运动序列；此外还提供1560万条帧级全身姿态描述和8.11万条序列级语义标签。综合实验表明，该标注流水线准确，且 Motion-X 能显著增强富有表现力、多样化和自然的运动生成，以及3D全身人体网格恢复。\n",
  "keywords": [
    "3D全身运动数据集",
    "SMPL-X",
    "文本驱动运动生成",
    "全身姿态标注",
    "面部表情",
    "手势",
    "人体网格恢复",
    "自动标注流水线"
  ],
  "paper_institutions": [
    "International Digital Economy Academy (IDEA)",
    "Shenzhen International Graduate School, Tsinghua University",
    "The Chinese University of Hong Kong, Shenzhen"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:54.133643Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有文本-运动数据集多为室内身体动作、缺少面部表情与手势、规模和多样性不足且人工文本标注不可扩展的问题，论文在文本驱动运动生成与无标记视觉动作捕捉的研究背景下提出 Motion-X 及自动化全身运动与文本标注流水线。该流水线从单目或多视角视频出发，经过视频收集与筛选、分层全身关键点估计、置信度引导的自适应时序平滑、3D关键点估计或三角化、渐进式学习化SMPL-X拟合、全局轨迹优化和人工核验生成标注；其核心运动状态可表示为 x = {θ_b, θ_h, θ_f, ψ, r}，分别对应身体姿态、手部姿态、下颌姿态、面部表情和全局平移，并通过2D/3D关节对齐损失以及平滑、碰撞和物理约束联合优化。数据整合 AMASS、HAA500、AIST、HuMMan、GRAB、EgoBody、BAUM、IDEA400 和在线视频，共81.1K条序列、15.6M帧、144.2小时，提供SMPL-X标注、81.1K条序列级语义标签和15.6M条帧级全身姿态描述；选择这些来源是为了覆盖室内外、专业表演、游戏动画、日常活动和体育运动等场景，并验证流水线的可扩展性与标注丰富度。实验在COCO-WholeBody上以AP和AR评估2D关键点，在EHF上以PA-MPJPE、PA-MPVPE和MPVPE评估3D拟合，并在Motion-X按80%、5%、15%划分的训练/验证/测试集上使用R-Precision、FID、多模态距离、多样性和多模态性评测MDM、MLD、T2M-GPT与MotionDiffuse。结果显示，2D全身AP达到73.5，较对比方法提升约15.7%至16.3%；EHF上MPVPE为44.7mm，误差降低30.1%，使用真值3D关键点时PA-MPVPE可降至19.7mm；MotionDiffuse的Top-1 R-Precision为0.559，整体精度最好但多模态性最低；在语义标签外加入面部、身体和手部帧级姿态文本后，FID从0.914降至0.565；将10%的Motion-X单目数据加入Hand4Whole训练后，EHF和AGORA上的MPVPE总体降低7.8%。这些结果支持分层关键点估计、自适应平滑、学习化拟合和细粒度全身文本标注的有效性。未来方向包括提升无标记标注质量、改进运动生成评价指标与运动表示、探索运动先验学习和多模态预训练，以及结合大语言模型；其应用场景包括机器人、动画、游戏、虚拟现实、人机交互和生成创作，但主要约束是无标记标注精度低于多视角标记式动捕、部分不可见下半身或缺失面部需通过增强机制填充，且数据和多个子集受非商业或特定许可证限制。\n\n### 关键要点\n\n- Motion-X包含81.1K条运动序列、15.6M帧和144.2小时数据，全部采用SMPL-X表示身体、手部和面部运动。\n- 数据来自AMASS、HAA500、AIST、HuMMan、GRAB、EgoBody、BAUM、IDEA400以及32.5K条在线视频，覆盖室内外、舞蹈、功夫、奥运项目、乐器演奏和游戏动画等场景。\n- 数据采集流程包括LLM辅助设计运动提示、收集视频、人体与转场检测、全身运动捕捉、序列和帧级文本生成以及人工检查。\n- 2D关键点模块先由ViT-WholeBody估计133个全身关键点，再裁剪手部和面部区域并用独立ViT网络细化，以增强遮挡情况下的鲁棒性。\n- 分数引导的自适应平滑在Savitzky-Golay滤波中根据关键点置信度调整窗口大小，低置信点使用更大窗口以抑制异常值并保留运动细节。\n- SMPL-X拟合先由OSX和EMOCA提供初始参数，再通过2D/3D关节对齐、初始参数先验、时序平滑、碰撞惩罚和物理约束减少穿模、脚滑和不合理姿态。\n- 序列语义标签来自动作标签、Video-LLaMA、字幕OCR、LLM搜索词或人工标注，帧级姿态描述则由情绪分类、身体posecodes规则和手指弯曲/间距规则自动生成。\n- 在COCO-WholeBody上，该方法的手部、面部和全身AP分别为64.9、91.6和73.5，全身AP较RTMPose-1提高16.3%。\n- 在EHF数据集上，渐进式拟合取得33.5mm PA-MPJPE、31.8mm PA-MPVPE和44.7mm MPVPE，其中MPVPE相比PyMAF-X降低30.1%。\n- Motion-X生成基准显示MotionDiffuse的Top-1 R-Precision为0.559且多数指标领先，但多模态性最低；MDM多模态性最高但精度最低，说明该基准仍具挑战性。\n- 文本消融实验表明，在语义标签之外依次加入面部、身体和手部姿态描述可持续改善FID，使用完整全身姿态文本时FID降至0.565。\n- 论文明确指出无标记动捕质量仍低于多视角标记式系统，且现有指标有时与视觉结果不一致；Motion-X整体按CC BY-NC-SA许可分发，子集还需遵守各自原始许可。"
}