{
  "paper_id": "baeb5e6541c2a5716a5e042639153771",
  "paper_title": "TransHands: Repurposing Human Pose Encoders as Hand Pose Encoders",
  "paper_authors": [
    "Milo Piccioli",
    "Gianluca Amprimo",
    "Claudia Ferraris",
    "Gabriella Olmo"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "从单目二维表示中提升三维手部姿态仍然具有挑战性，原因是缺乏大规模、多样化的三维标注手部数据集，而人体运动数据则相对丰富。本文通过将从大型人体姿态语料中学到的运动表示迁移到手部领域来缓解这一限制。作者提出 TransHands，这是一种与骨干网络无关的迁移学习框架，可使预训练人体运动编码器有效适配基于二维姿态输入的三维手部姿态估计。TransHands 并非从头训练手部专用生物力学模型，而是将两阶段训练与微调策略和轻量级手部专用输入适配模块相结合，使手部运动学与为全身运动学习到的表示空间对齐。作者在四种先进运动建模架构上评估了该框架，包括基于 Transformer、图和频域的模型。结果表明，从人体姿态数据中学到的运动先验可在不同架构间稳定迁移，带来持续的精度提升、较强的跨域泛化能力（尤其是在具有挑战性的自我中心场景中）以及在真实环境中支持下游任务的能力。\n",
  "keywords": [
    "三维手部姿态估计",
    "二维到三维姿态提升",
    "迁移学习",
    "人体运动编码器",
    "拓扑适配",
    "神经常微分方程",
    "Transformer",
    "图卷积网络",
    "跨域泛化",
    "手势识别"
  ],
  "paper_institutions": [
    "Politecnico di Torino, Torino, Italy",
    "Consiglio Nazionale delle Ricerche, Torino, Italy"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:45.994059Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对大规模三维手部标注数据稀缺、而人体运动捕捉数据丰富的问题，论文在现有数据驱动人体运动编码器和基于 MANO 等显式手部模型的方法之外，提出将人体运动先验跨拓扑迁移到手部领域的 TransHands 框架。相关工作中的 MotionBERT、MixSTE、PoseFormerV2 和 ST-GCN 等编码器已能从 AMASS、Human3.6M 等大型人体数据集中学习时序平滑、关节协调和长程依赖，但传统迁移通常假设共享骨骼拓扑，无法直接处理 21 个 MANO 手部关节与 17 或 18 个人体关节之间的结构差异。TransHands 将任务定义为序列到序列的二维到三维提升，核心机制为 $\\hat{Y}=\\mathcal{D}_{out}(\\mathcal{P}(\\mathcal{E}_{body}(\\mathcal{A}_{in}(X))))$：输入拓扑适配器 $\\mathcal{A}_{in}$ 使用 Neural ODE 和固定步长 RK4 积分器，将手部关节连续、非线性地投影到人体编码器潜空间，并完成通道对齐；预训练人体编码器 $\\mathcal{E}_{body}$ 提取时空特征；多尺度 RetNet 投影 $\\mathcal{P}$ 将不同骨干输出统一到 256 维潜空间；三层 MLP 解码器 $\\mathcal{D}_{out}$ 重建 21 个关节的三维坐标。训练采用 S1 几何对齐、S2-A 域内精炼和 S2-B 多数据集泛化：S1 冻结骨干并训练适配器、投影头和解码器，同时使用 L-MMM 增强遮挡鲁棒性；S2-A 仅解冻最后块并以差分学习率适配手部微动；S2-B 通过平衡采样适配 AssemblyHands 与 GigaHands。实验选择 Re:InterHand 作为主要高保真交互手部基准，并用自我中心 AssemblyHands 和双手活动 GigaHands 检验跨场景鲁棒性；这些数据提供二维真值和三维标注，可将姿态提升能力与二维检测噪声分离，而真实部署时框架也可接入任意二维跟踪器。模型基于 PyTorch、AdamW 和 Cosine Warmup 实现，S1 学习率为 $10^{-4}$，S2 中解冻骨干层和适配器分别使用 $5\\times10^{-6}$ 与 $5\\times10^{-5}$，以兼顾先验保留和领域适配。评价采用根对齐后的 MPJPE 以及刚性对齐后的 PA-MPJPE；域内结果显示 MixSTE 最优，达到 7.16 mm MPJPE 和 5.41 mm PA-MPJPE，MotionBERT 为 7.47 mm/5.62 mm，PoseFormerV2 从 12.62 mm 降至 8.01 mm并取得 36.53% 的最高相对增益，ST-GCN 因容量限制仅达 11.56 mm。与随机初始化相比，人体先验在所有骨干上均更优，PoseFormerV2 的 S2 误差降低 35.7%，并且使用不足 25% 的标注即可达到从头模型使用全部数据时的 12.46 mm，体现数据效率。跨域实验中 S2-B 将 MixSTE 在 AssemblyHands 上提升至 10.92 mm，将 MotionBERT 在 GigaHands 上从超过 115 mm 的零样本误差降至 2.21 mm；零样本阶段较高 MPJPE 与相对可接受的 PA-MPJPE 表明主要问题是尺度、旋转等全局刚性错位而非结构畸变。真实测试中，接入 MediaPipe 噪声关键点且不使用目标域标注时，MotionBERT 在 AssemblyHands 上达到 92.97 mm MPJPE 和 23.82 mm PA-MPJPE，优于 ArcticNet-SF 的 110.76 mm 和 MediaPipe 3D 的 130.77 mm，并以约 67.7M 参数在 MPJPE 上低于 703.58M 参数的 SMPLer-X；冻结的 S2-B 表示配合 TCN 还在 Jester 和 EgoGesture 上取得约 88% 的 Top-1 准确率，说明骨架表示具有语义信息、高效率和隐私优势。未来方向包括与更多手部专用二维到三维提升方法比较、联合优化二维检测与三维提升，以及在真实部署中处理检测器误差；主要约束是当前多数控制实验依赖二维真值，实际精度仍受二维关键点质量和单目深度歧义限制。\n\n### 关键要点\n\n- TransHands 将长度为 T、包含 21 个 MANO 关节的二维手部序列映射为同长度的三维关节坐标序列，专注于几何提升而非直接从 RGB 图像端到端回归。\n- 输入 Topological Adapter 使用 Neural ODE 描述连续潜状态变换，并通过四阶 Runge-Kutta 积分器把 21 个手部关节映射到骨干所需的 17 或 18 个人体关节兼容表示。\n- 适配器还负责通道对齐，例如为 MotionBERT 合成第三维置信通道，同时为 MixSTE 和 PoseFormerV2 保留二维坐标输入。\n- 框架验证了四种骨干：MotionBERT、MixSTE、PoseFormerV2 和 ST-GCN，覆盖双流时空 Transformer、混合时空注意力、频域 DCT 模型和图卷积网络。\n- 部分解冻策略先在 S1 完全冻结人体骨干，再在 S2 仅解冻最后块及相关嵌入、输出层，从而保留人体运动先验并适配手指高频微动。\n- RetNet 投影利用层归一化、残差连接和指数时间衰减将异构骨干特征统一到 256 维，后续 MLP 以 256→512→512→63 的维度变换恢复三维手部坐标。\n- Re:InterHand 用于主要域内训练和测试，AssemblyHands 用于自我中心场景，GigaHands 用于双手活动场景；二维真值设置可隔离检测噪声并专门检验运动先验迁移。\n- 在 Re:InterHand 上，MixSTE 的 S2-A MPJPE 最低，为 7.16 mm；MotionBERT 为 7.47 mm；PoseFormerV2 取得 36.53% 的最高相对增益；ST-GCN 误差最高，为 11.56 mm。\n- 消融实验表明人体先验初始化全面优于随机初始化，PoseFormerV2 获得 35.7% 的 MPJPE 降低，并且使用不足 25% 数据即可匹配从头训练使用全部数据的 12.46 mm。\n- 多数据集适配后，MixSTE 在 AssemblyHands 上达到 10.92 mm MPJPE，MotionBERT 在 GigaHands 上达到 2.21 mm，说明全局错位被消除后跨域性能可显著恢复。\n- 在无目标域微调并使用 MediaPipe 检测关键点时，MotionBERT 在 AssemblyHands 上达到 92.97 mm MPJPE 和 23.82 mm PA-MPJPE，显示对真实检测噪声的零样本鲁棒性。\n- 冻结表示在 Jester 和 EgoGesture 上均达到约 88% Top-1 准确率，但论文也指出现实精度受二维检测器限制，后续需加强二维估计与三维提升的联合优化。"
}