{
  "paper_id": "bbaf90cb3657f504c59d91e27f4fe833",
  "paper_title": "HandOS: 3D Hand Reconstruction in One Stage",
  "paper_authors": [
    "Xingyu Chen",
    "Zhuheng Song",
    "Xiaoke Jiang",
    "Yaoqing Hu",
    "Junzhi Yu",
    "Lei Zhang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "现有手部重建方法主要采用检测、左右手分类和姿态估计的多阶段框架，会产生冗余计算与累积误差。本文提出端到端的HandOS框架，以冻结检测器为基础，并加入2D和3D关键点估计辅助模块。该方法通过交互式2D-3D解码器从检测线索中获取2D关节语义，再将2D表示提升为3D表示；同时设计层级注意力，同时建模2D关节、3D顶点和相机平移。由此，手部检测、2D姿态估计和3D网格重建被整合进单阶段框架，并不再需要左右手分类作为前置条件。HandOS在公开基准上达到先进性能，包括FreiHand上5.0的PA-MPJPE和HInt-Ego4D上64.6%的PCK@0.05。\n",
  "keywords": [
    "三维手部重建",
    "单阶段方法",
    "端到端学习",
    "冻结检测器",
    "交互式2D-3D解码器",
    "查询提升",
    "层级注意力",
    "手部网格",
    "左右手识别"
  ],
  "paper_institutions": [
    "Department of Advanced Manufacturing and Robotics, College of Engineering, Peking University",
    "International Digital Economy Academy (IDEA Research)",
    "University of Chinese Academy of Sciences"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:32.351685Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有单目3D手部重建普遍沿用检测、左右手识别、姿态估计的多阶段流程，而手部在图像中占比小、左右表示对称、ViTPose在HInt上检测与左右分类错误率可达11.2%，多阶段计算冗余且误差逐级累积的问题，论文在参数化MANO、体素、顶点回归及Transformer方法仍依赖外部检测和裁剪的背景下，提出HandOS单阶段端到端框架。该方法以Grounding DINO 1.5等DETR式检测器为基础，冻结全部检测参数以保留成熟检测能力、便利数据收集并加速收敛，同时利用浅层视觉特征经side tuning生成互补特征；交互式2D-3D解码器先通过SimOTA筛选实例查询，再以实例到关节查询扩展生成21个2D关节查询，随后用初始化为MANO蒙皮权重的提升矩阵将查询和参考框提升到778个顶点与1个相机平移，核心关系为J3D=J_reg V、Jproj=Π_K(J3D+t)以及[QV,Qt]=L◇QJ2D，并由层级注意力规定2D关节与3D顶点互相可见、相机平移可见二者但二者不看相机，从而同时回归2D关节、3D顶点和相机平移。实验选用FreiHand检验标准右手网格精度，HO3Dv3与DexYCB检验物体操作和遮挡，HInt的New Days、VISOR、Ego4D检验日常生活与第一视角，COCO-WholeBody和Onehand10K用于补充2D数据；HInt训练仅聚合204K样本，少于HaMeR等2,749K数据的十分之一。模型输入完整图像、长边1280像素，使用Adam训练40轮、批大小16、初始学习率0.001且第25轮后余弦衰减，FreiHand上8块A100-80G约训练6天，该设置验证冻结检测特征与可学习关键点解码器在全图、不裁剪条件下的有效性。采用PA-MPJPE、PA-MPVPE、F@5/F@15、PCK@0.05/@0.1/@0.15和AUC评估，HandOS在FreiHand取得5.0 PA-MPJPE、5.3 PA-MPVPE和0.812 F@5，在HO3Dv3实际检测框设置下取得8.4 PA-MPJPE、加额外数据后为6.8，在DexYCB取得5.2 PA-MPJPE、5.0 PA-MPVPE和0.896 AUC，在HInt-Ego4D取得64.6% PCK@0.05并在Ego4D各项领先；这些结果支持统一左右表示、2D-3D信息交互和不完美检测框鲁棒性等创新。真实场景中它可处理长尾纹理、拥挤手部、物体遮挡和未见卡通或绘画风格，但单目、无几何先验、无时序建模和极端光照、遮挡、形状条件仍会造成误检、左右误判、姿态不准或网格伪影；后续可引入VAE等隐式几何先验、逆运动学旋转姿态、时序一致性，并扩展分割、纹理、接触点及人类操作技能理解。\n\n### 关键要点\n\n- HandOS以Grounding DINO为冻结检测器，使用“Hand”文本提示且不区分左右手，另通过side tuning把4尺度浅层视觉特征映射为关键点任务所需的互补特征。\n- 训练阶段使用SimOTA按分类误差和IoU代价自适应选择正样本查询，推理阶段则以0.1的分数阈值和0.9的NMS阈值筛选手部实例。\n- 实例到关节查询扩展为每个选中实例加入21个可学习关节嵌入，并由实例框推导2D关节参考框的中心和尺寸。\n- 2D到3D查询提升使用尺寸为(V+1)×J的可学习矩阵L，将21个关节查询线性组合为778个顶点查询和1个相机平移查询，矩阵以MANO蒙皮权重初始化。\n- 层级注意力允许2D关节与3D顶点互相交换信息，允许相机平移关注2D和3D查询，但禁止关节和顶点查询关注相机平移，以保持相对结构稳定。\n- 模型不设置独立左右手分类器，而是依据右手面拓扑产生的法向量方向判断左右：左手法向量朝几何内部，右手法向量朝几何外部。\n- 损失包含2D L1与OKS、3D顶点和关节L1、边长度、法向、投影误差以及相邻面法向一致性，使仅有2D标注的样本也可用于弱监督网格学习。\n- 训练数据包括FreiHand、HO3Dv3、DexYCB、HInt、COCO-WholeBody和Onehand10K；评估HInt时使用204K个聚合样本，训练规模显著小于HaMeR和Hamba。\n- FreiHand上HandOS取得5.0 mm PA-MPJPE、5.3 mm PA-MPVPE和0.812 F@5；DexYCB上取得5.2 mm PA-MPJPE、5.0 mm PA-MPVPE和0.896 AUC。\n- HO3Dv3结果基于实际检测框而非理想GT框，基础设置为8.4 mm PA-MPJPE，使用额外训练数据后达到6.8 mm PA-MPJPE和6.7 mm PA-MPVPE。\n- HInt对比显示直接2D预测更擅长可见关节，3D网格投影更擅长遮挡关节；在Ego4D上HandOS-2D达到64.6% PCK@0.05，体现第一视角场景优势。\n- 方法适用于长尾纹理、拥挤手部、遮挡和零样本风格迁移，但单帧处理缺少时序一致性，且极端光照、严重遮挡和复杂形状仍可能导致失败。"
}