{
  "paper_id": "09a0ece8879f6fc2966e0d4be73486e9",
  "paper_title": "AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation",
  "paper_authors": [
    "Takehiko Ohkawa",
    "Kun He",
    "Fadime Sener",
    "Tomas Hodan",
    "Luan Tran",
    "Cem Keskin"
  ],
  "publication_date": "2023",
  "publication_venue": "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "我们提出 AssemblyHands，这是一个带有精确 3D 手部姿态标注的大规模基准数据集，用于研究包含挑战性手物交互的自我中心活动。数据集包含从近期 Assembly101 数据集采样的同步自我中心图像与外部中心图像，参与者在其中组装和拆卸可拆分玩具。为了给自我中心图像获取高质量 3D 手部姿态标注，作者开发了高效流程：使用初始人工标注集训练模型，再由模型自动标注规模大得多的数据集。该标注模型采用多视图特征融合与迭代细化机制，平均关键点误差为 4.20 毫米，比 Assembly101 原始标注误差低 85%。AssemblyHands 提供 300 万张标注图像，其中包括 49 万张自我中心图像，是现存最大的自我中心 3D 手部姿态估计基准数据集。利用这些数据，作者构建了从自我中心图像估计 3D 手部姿态的强单视图基线，并设计了新的动作分类任务来评估预测的 3D 手部姿态。研究表明，更高质量的手部姿态能够直接提升动作识别能力。\n",
  "keywords": [
    "自我中心活动理解",
    "3D 手部姿态估计",
    "基准数据集",
    "手物交互",
    "多视图特征融合",
    "迭代细化",
    "动作分类",
    "2.5D 热图"
  ],
  "paper_institutions": [
    "Meta Reality Labs",
    "The University of Tokyo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:36.145370Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决自我中心活动理解中 3D 手部姿态标注质量不足、以及手姿质量如何影响动作识别这一未被系统回答的问题。相关背景是 AR/VR 头显需要从第一视角理解用户与物体的交互，Assembly101 已表明 3D 手姿比单纯视频特征更适合装配动作分类，但其原始标注由面向单色自我中心图像的 UmeTrack 生成，在手部远离图像中心、手物遮挡和深度估计时容易失准。作者提出 AssemblyHands 基准，基于 Assembly101 的 8 个外部 RGB 视图和 4 个头戴单色相机同步图像，先通过多视图 2D 关键点标注与三角化获得世界坐标人工标注，再训练 MVExoNet 自动标注网络；该网络用 EfficientNet 提取各视图 2D 特征，通过 softmax 加权平均聚合到以第三掌指关节为中心、边长 300 mm 的 3D 特征体中，再由 V2V-PoseNet 体卷积输出 3D 热图，并用 soft-argmax 将热图转换为 21 个关节坐标，核心机制可表示为 J_k = Σ_x xH_k(x) / Σ_xH_k(x)，并在 y、z 维度同理计算。推理时网络保持冻结，反复利用上一轮预测的关键点重新生成手部裁剪框和体根节点，从而迭代改善输入。选择外部视图是为了在严重遮挡下提供互补视角，自动标注则把 1 Hz 人工子集高效扩展到 30 Hz 的更大子集；最终数据集包含 3.03M 张标注图像、490K 张自我中心图像和 34 名受试者，其中人工集覆盖 62 个序列、22K 帧，并划分为 54 个训练序列和 8 个测试序列，作者还在 Aria Pilot Dataset 的 Desktop Activities 子集上用 1105 帧、12 台相机和未见过的 YCB 物体验证跨相机配置泛化能力。在基线实现上，作者以 ResNet-50 构建 SVEgoNet，采用表示 x-y 位置和腕部相对相机 z 距离的 2.5D 热图，并加入左手、右手或双手身份分类分支，以适应自我中心鱼眼视角、头部运动模糊和视角偏差；下游使用 MS-G3D 图卷积网络，将每段双手共 42 个关键点的序列分类为 pick up、position、screw、put down、remove、unscrew 六类动词。实验采用 MPJPE、PCK-AUC 和动词准确率，MVExoNet-R3 在人工测试集上达到 4.20 mm MPJPE 和 83.4% PCK-AUC，相比原始标注的 27.55 mm 误差降低 85%，两次迭代相对首轮再降低 22.5%；在 Desktop Activities 上，其误差由 2D 三角化的 49.21 mm 降至 13.38 mm。SVEgoNet 达到 21.92 mm MPJPE，比 UmeTrack 的 32.91 mm 低 33%，且人工加自动标注的组合训练效果最好；在动作分类中，SVEgoNet 的平均动词准确率为 54.7%，高于 UmeTrack 的 50.3%，并达到自动标注经验上界 60.0% 的 91.1%，其中 position 等类别提升显著，支持了高质量手姿直接改善动作识别的结论。该研究适用于 AR/VR 装配辅助、程序化操作理解和轻量头戴相机交互，主要约束包括严重手物遮挡、小零件众多、物体位姿标注困难、手腕明显弯曲时初始手部中心不准，以及左右手初始识别错误可能在迭代中累积；未来工作将把标注扩展到完整 Assembly101 和更高采样率，增加物体边界框与物体位姿标注，并通过多任务学习探索手、物体和动作之间的联系。\n\n### 关键要点\n\n- AssemblyHands 基于 Assembly101 构建，提供 3.03M 张带 3D 手姿标注的图像，其中包括 490K 张自我中心图像和 34 名受试者。\n- 人工标注采用多视图 2D 关键点三角化，在 1 Hz 采样率下标注 62 个序列、22K 帧，每帧包含 8 个 RGB 视图，并按 54 个训练序列和 8 个测试序列划分。\n- MVExoNet 使用 EfficientNet 提取多视图 2D 特征，将特征聚合到 3D 特征体，再通过 V2V-PoseNet 和 soft-argmax 输出 3D 关节坐标。\n- 迭代细化在推理时冻结 MVExoNet，仅根据上一轮预测重新确定手部裁剪框和 3D 体根节点，使首轮 5.42 mm 的误差降至三轮后的 4.20 mm。\n- 在 AssemblyHands 人工测试集上，原始自我中心标注误差为 27.55 mm，2D 三角化为 7.97 mm，MVExoNet-R3 为 4.20 mm 并取得 83.4% PCK-AUC。\n- 在 Desktop Activities 跨数据集测试中，2D 三角化退化到 49.21 mm，而 MVExoNet-R3 达到 13.38 mm，显示其对新相机配置和新物体更鲁棒。\n- SVEgoNet 是面向单色自我中心图像的单视图基线，采用 ResNet-50、2.5D 热图优化和手部身份分类，输出腕部相对坐标下的 21 个关节。\n- 自动标注集规模约为人工训练集的 21 倍；单独使用自动标注会在人工测试集上略微增加误差，但人工加自动标注的组合训练在各评估集上整体最优。\n- 动作分类任务使用 MS-G3D 处理双手 42 个关键点构成的时序图，六个高频动词覆盖 Assembly101 中约 70% 的动词标签。\n- SVEgoNet 的 MPJPE 为 21.92 mm，比 UmeTrack 的 32.91 mm 低 33%，其动词平均准确率为 54.7%，高于 UmeTrack 的 50.3%。\n- 论文的主要局限是尚未标注大量小零件的物体信息，初始手部检测在手腕弯曲或左右手混淆时可能不准，未来计划补充物体框、物体位姿并开展手物动作多任务学习。"
}