{
  "paper_id": "475f2a403346259417b8aa3e66ff525f",
  "paper_title": "AssemblyHands-X: Modeling 3D Hand-Body Coordination for Understanding Bimanual Human Activities",
  "paper_authors": [
    "Tatsuro Banno",
    "Takehiko Ohkawa",
    "Ruicong Liu",
    "Ryosuke Furuta",
    "Yoichi Sato"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "双手人类活动本质上涉及双手与身体的协调运动，但由于缺乏合适的数据集，这种协调在活动理解中的作用尚未得到系统评估。该评估需要手部和身体的运动学层级标注（如3D姿态），而现有3D活动数据集通常只标注手部或身体姿态；另一类工作使用基于标记点的动作捕捉提供全身姿态，但物理标记会造成视觉伪影，限制模型向自然无标记视频的泛化。为此，本文提出AssemblyHands-X，这是首个面向双手活动的无标记3D手部-身体基准，用于研究手部-身体协调对动作识别的影响。作者首先构建了从同步多视角视频生成3D姿态标注的流程，将多视角三角化与SMPL-X网格拟合相结合，实现手部和上半身可靠的3D配准。随后，在基于图卷积或时空注意力的近期动作识别模型上，评估了视频、手部姿态、身体姿态以及手部-身体姿态等不同输入表示。大量实验表明，基于姿态的动作推理比视频基线更高效、更准确；同时，联合建模手部与身体线索优于仅使用手部或上半身，说明建模相互依赖的手部-身体动态对于整体理解双手活动具有重要意义。\n",
  "keywords": [
    "AssemblyHands-X",
    "双手活动理解",
    "3D手部-身体协调",
    "无标记3D姿态",
    "多视角三角化",
    "SMPL-X拟合",
    "动作识别",
    "骨架动作识别"
  ],
  "paper_institutions": [
    "The University of Tokyo, Tokyo, Japan"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:42:54.935836Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n双手装配等日常活动包含紧密耦合的双手、前臂、肘部和上半身运动，但现有基准通常只提供视频标签、仅身体3D姿态或仅手部3D姿态，基于标记点的动作捕捉虽精确却会引入视觉伪影并削弱向自然无标记视频的泛化，因此手部-身体协调对动作识别的贡献一直缺少系统检验。本文提出首个面向双手活动的无标记3D手部-身体基准AssemblyHands-X，并基于Assembly101的同步多视角视频构建自动标注流程：分别裁剪身体与手部区域，手部采用高精度三角化方案，身体则通过2D关键点检测、时序中值滤波、裁剪边界置信度衰减、阈值τ=0.15和置信度加权三角化恢复3D关节，其核心机制可表示为$(\\boldsymbol{w}'\\circ A)\\boldsymbol{X}=0$；合并手部与身体关键点后，再结合多视角分割掩码拟合SMPL-X参数，以关节项、轮廓项及形状和姿态正则项获得运动学一致的表示。实验选择能同时清楚看到身体与双手的View 3视频，采用Assembly101的pick up、put down、position、remove、screw、unscrew六个动词类别，并将所有姿态序列统一为T=100帧、短序列重复填充，以公平比较视频、手、身体和手部-身体表示所验证的信息增益；模型包括零样本Gemini 2.5 Pro、TSM、MS-G3D、BlockGCN和FreqMixFormer，指标采用准确率、GFLOPs以及标注质量评估中的PA-MPJPE。结果显示，最佳姿态模型FreqMixFormer使用手部-身体姿态达到78.7%准确率，比最佳视频模型TSM的62.3%高16.4个百分点，且GFLOPs从32.88降至4.03、约减少8.2倍；三种姿态模型中联合表示均优于单独手部或身体，例如MS-G3D从身体53.0%、手部63.4%提升至69.6%，BlockGCN提升至73.9%，FreqMixFormer提升至78.7%，混淆矩阵还显示position和remove等困难类别改善明显。标注质量实验表明，本文8视角标注训练的MS-G3D达到69.6%，高于SMPLer-X的59.7%和SMPLer-X+HaMeR的61.2%，支持高质量3D姿态能提升动作识别。该基准面向真实装配与程序性操作理解，可服务于机器人学习、人机协作和活动监测，但其约束在于当前聚焦上半身与双手、装配场景、六个动词类别并依赖同步多视角输入；后续可向更复杂自然场景、遮挡与有限视角、全身建模以及单目无标记部署进一步探索。\n\n### 关键要点\n\n- AssemblyHands-X是首个用于研究双手活动中手部-身体协调作用的无标记3D手部-身体基准。\n- 数据构建在Assembly101同步多视角视频之上，避免了物理标记点造成的视觉伪影。\n- 标注流程分别进行手部和身体多视角三角化，再合并成统一的3D手部-身体关键点。\n- 身体三角化通过边界置信度衰减、低置信度阈值过滤和置信度加权最小二乘缓解视角有限与身体截断问题。\n- SMPL-X拟合同时使用3D关节损失、多视角人体轮廓损失以及形状和姿态正则项，使投影网格与观测人体更一致。\n- 动作识别实验使用六个Assembly101动词类别、View 3视频和固定100帧的姿态序列，短序列通过重复填充补齐。\n- 对比方法涵盖零样本多模态大模型Gemini 2.5 Pro、视频模型TSM，以及MS-G3D、BlockGCN和FreqMixFormer等骨架模型。\n- FreqMixFormer使用联合手部-身体姿态取得78.7%准确率，比TSM高16.4个百分点，同时计算量约减少8.2倍。\n- 联合手部-身体表示在所有测试的姿态模型中都优于单独身体或单独手部表示，证明互补动态信息的重要性。\n- 与单视图SMPLer-X及SMPLer-X+HaMeR相比，本文多视角标注带来更高动作识别准确率，说明3D姿态质量会直接影响下游识别。\n- 该研究的适用范围目前受限于装配场景、上半身与双手标注、六个动词类别以及多视角采集条件。"
}