{
  "paper_id": "7c127b62a0d8cb505d2d284736ea04de",
  "paper_title": "ScaleHP: Scale-Mediated Optimization of Coupled Errors for Metric-Space Hand Pose Estimation",
  "paper_authors": [
    "Ruitao Jing",
    "Xingyu Chen",
    "Hongyang Li",
    "Qing Jiang",
    "Yukai Shi",
    "Lei Zhang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 ScaleHP，一个通过显式建模每个实例的度量尺度来解决校准相机空间手部姿态估计中耦合误差的统一框架。在常见的“根节点相对姿态到全局姿态”范式中，相机空间精度同时取决于相对几何、根节点定位以及二者随尺度相乘产生的级联误差。ScaleHP 将尺度作为这些误差项之间的共享接口，而不是孤立优化各部分。其度量感知 2D–3D Transformer 解码器引入专门的尺度令牌，并与稀疏、具有语义索引的 2D/3D 关节查询交互，使全局度量推理和局部关节几何能够相互修正；随后无参数校准模块根据预测的单位尺度关节、度量尺度和已知相机内参恢复根节点平移。ScaleHP 在 FreiHand 上取得 35.8 mm 的当前最优 CS-MPJPE，并在各基准特定训练协议下于 FreiHand、DexYCB 和 HO3Dv3 上取得 5.0、4.6 和 5.9 mm 的当前最优 PA-MPJPE，表明全局度量定位与局部关节形变可以同时改善。消融实验进一步证明，尺度—姿态交互能够同时提升相机空间精度和相对深度几何。\n",
  "keywords": [
    "手部姿态估计",
    "相机空间姿态估计",
    "度量尺度",
    "尺度令牌",
    "Transformer 解码器",
    "2D-3D 关节查询",
    "根节点定位",
    "手物交互"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Zhongguancun Academy",
    "Visincept",
    "International Digital Economy Academy (IDEA Research)",
    "South China University of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:11.811137Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对校准相机空间手部姿态估计中相对几何、根节点定位和尺度级联误差相互补偿的问题，本文指出相机空间关节可写为 $\\mathbf{Q}^{cam}=s(\\mathbf{J}^{rel}+\\mathbf{t}^{norm})$，其中尺度误差会因 $\\|\\mathbf{t}\\|\\gg\\|\\mathbf{J}\\|$ 被放大为显著深度偏移；已有 CMR、HandDGP、HandOS 等方法或令尺度隐含在几何与平移中，或面临全局定位与相对几何此消彼长的问题。ScaleHP 将每个实例的度量尺度作为局部结构与全局坐标之间的显式接口，使用冻结的 Grounding DINO 1.5 检测全图中的手，再由联合训练的度量感知 2D–3D Transformer 解码器为每只手生成 21 个语义 2D 查询、21 个 3D 查询和一个尺度令牌，通过双向自注意力与可变形交叉注意力同时预测 2D 关节、单位尺度根节点相对 3D 关节和实例尺度；尺度监督目标取食指、中指和无名指度量骨长的平均值，以保留个体间尺寸差异并抑制单根短骨噪声。已知内参时，无参数最小二乘模块由透视约束求解 $t_z^{norm}=\\mathbf{A}^\\dagger\\mathbf{b}$，再恢复根节点 xy 平移并重组度量姿态，无需学习平移头或迭代配准。实验在 FreiHand、DexYCB 和 HO3Dv3 上进行，这些基准分别覆盖受控单手、复杂抓握和严重手物遮挡；模型以 1280 像素长边输入、45 个 epoch、批大小 16、Adam、初始学习率 $10^{-4}$、余弦衰减和 8 张 A100 训练，主要用不做对齐的 CS-MPJPE 检验绝对定位，并用 R-MPJPE、PA-MPJPE 分离局部几何。结果显示 FreiHand CS-MPJPE 从已有最佳 42.4 mm 降至 35.8 mm，PA-MPJPE 为 5.0 mm；DexYCB 与 HO3Dv3 的 PA-MPJPE 分别达 4.6 和 5.9 mm，跨数据集 FreiHand 训练模型在 DexYCB、HO3Dv3 上取得 136.3 和 50.7 mm CS-MPJPE，且不使用目标集训练或测试真值尺度；数据集内消融中双向交互模型达到 30.0 和 33.4 mm。这些结果支持实例尺度、早期联合训练和尺度—姿态双向交互三项创新，根节点深度误差、相对深度误差和白背景干预进一步说明增益来自手部证据而非场景捷径。该方法面向 VR/AR、具身智能和机器人遥操作，但单目尺度本质上是数据驱动先验，透视投影不能唯一确定手大小，系统还依赖已知内参且训练数据以成人手为主；未来将扩展年龄与人群覆盖、检验标定扰动鲁棒性，并加入时序约束以支持稳定视频跟踪。\n\n### 关键要点\n\n- ScaleHP 将相机空间手部姿态分解为单位尺度根节点相对几何、归一化根节点平移和每实例度量尺度，并用尺度协调三类耦合误差。\n- 解码器中的单个尺度令牌与 21 个语义 2D 关节查询和 21 个 3D 关节查询进行双向自注意力，使关节证据改善尺度估计、尺度上下文也改善关节表示。\n- 尺度令牌和关节查询还分别通过可变形注意力从冻结 Grounding DINO 1.5 提供的多尺度全图特征中采样手部外观与 occupancy 证据。\n- 训练目标包括 2D $L_1$ 与 OKS、单位尺度 3D $L_1$、尺度 MSE、相对边约束以及可微最小二乘重投影 $L_1$ 和 OKS。\n- 无参数校准求解器只使用预测 2D 关节、单位尺度 3D 关节、实例尺度和已知相机内参，通过最小二乘恢复归一化根节点平移，不回归学习平移也不做迭代配准。\n- 尺度标签由食指、中指和无名指的度量骨长平均得到；该目标在个体间/个体内方差比和与全手尺寸的秩相关性上优于拇指或小指目标。\n- FreiHand 上 ScaleHP 取得 35.8 mm CS-MPJPE 和 5.0 mm PA-MPJPE，其中 CS-MPJPE 较所列最佳 42.4 mm 降低 15.6%。\n- 使用同一 FreiHand 检查点跨数据集测试时，ScaleHP 在 DexYCB 和 HO3Dv3 上取得 136.3 与 50.7 mm CS-MPJPE，且未使用目标集训练或测试时真值尺度。\n- 在数据集特定训练协议下，DexYCB 的 R-MPJPE 和 PA-MPJPE 分别为 10.3 和 4.6 mm，HO3Dv3 的 PA-MPJPE 为 5.9 mm，说明绝对定位提升没有牺牲局部形变精度。\n- 交互消融显示双向尺度—关节注意力比更强的单向交互在三个数据集上继续降低 4.4 至 5.4 mm CS-MPJPE；联合引入尺度令牌也优于延迟引入。\n- FreiHand 根节点分析中 ScaleHP 的根节点 L2 误差为 35.74 mm，深度误差为 34.36 mm，明显低于复现的 CMR 和 HandDGP，表明显著增益主要来自相机深度定位。\n- 白背景干预使 FreiHand CS-MPJPE 仅从 35.854 mm 变为 37.225 mm，但方法仍受限于成人手训练分布和已知相机内参假设。"
}