{
  "paper_id": "8e1032b9c73823cf882623a5623e2022",
  "paper_title": "TokenHand: Discrete Token Representation for Efficient Hand Mesh Reconstruction",
  "paper_authors": [
    "Xinguo He",
    "Yixin Shen",
    "Rahul Chaudhari"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2026), Pp. 8921-8931",
  "abstract": "手部网格重建近年来受到越来越多的关注。尽管已有显著进展，现有方法仍难以兼顾重建质量与推理效率。本文提出 TokenHand，一种用于单视图三维手部网格重建的新颖框架，可同时实现高精度与实时推理。该方法用 M 个离散令牌表示三维手部模型，每个令牌描述手部的一个特定子结构。这种组合式表示能够以最小重建误差进行高效建模。此外，作者将手部网格重建从回归任务重新表述为分类问题：分类器根据输入图像预测 M 个令牌的类别，预训练解码器随后根据预测令牌重建三维手部网格，无需任何后处理。大量实验表明，TokenHand 在标准基准上取得与现有方法相当或更优的性能，同时在实际场景中保持高效率。\n",
  "keywords": [
    "三维手部网格重建",
    "离散令牌表示",
    "单视图重建",
    "令牌分类",
    "VQ-VAE",
    "Point Transformer",
    "实时推理",
    "FastViT"
  ],
  "paper_institutions": [
    "Chair of Media Technology, Technical University of Munich",
    "Munich Institute of Robotics and Machine Intelligence, Technical University of Munich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:33.357185Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单视图三维手部网格重建需要在增强现实、行为理解和模仿式机器人学习等场景中同时满足精确、鲁棒和实时要求，但基于 MANO 的参数化方法会沿运动链逐级累积误差，直接回归顶点的方法又缺少形状先验并容易产生手指融合、表面不连续或几何缺失。针对这一矛盾，论文提出 TokenHand：第一阶段使用 Point Transformer 将 778 点手部点云编码为 M 个令牌特征，并通过共享码本执行最近邻量化，即当 k=argmin_j||t_i-c_j||_2 时 q(t_i=k|H)=1，再由四级级联上采样解码器重建点云，从而学习兼具强几何先验与局部子结构独立性的紧凑离散表示；第二阶段将图像到网格的重建转化为 M 个令牌的分类任务，网络经 FastViT-MA36 主干、四倍上采样后的二维关键点引导采样、残差卷积块和四个 MLP-Mixer 块输出 M×K 分类 logits，并以软推理 S=L̂×C 将梯度传回分类头，冻结的预训练解码器直接输出遵循 MANO 拓扑的 778 顶点网格。令牌化训练使用 FreiHAND、DexYCB、InterHand2.6M、OakInk、HO3D 和 ReInterHand，并对同一姿态仅保留一个视角以避免多视图冗余；重建实验采用 FreiHAND 官方划分（130240/3960）验证主要精度与速度，采用 DexYCB 的 S0 划分（406888/78768）验证跨数据集泛化。模型基于 PyTorch，在单张 RTX A5000 上训练，重建网络使用 AdamW、批大小 64、300 epochs，并采用噪声、翻转、旋转和缩放增强；评价指标包括 PA-MPJPE、PA-MPVPE、MPJPE、MPVPE 和 F-Score。在 FreiHAND 上，TokenHand 取得 PA-MPJPE 5.7 mm、PA-MPVPE 5.9 mm、F@05 0.768、F@15 0.986 和 65 FPS，非主干参数仅 3.0M；在 DexYCB 上取得 PA-MPJPE 5.4 mm、PA-MPVPE 5.5 mm、MPJPE 12.3 mm、MPVPE 12.0 mm，相对 H2ONet 的 MPJPE/MPVPE 分别改善 1.7 mm 和 1.0 mm。这些结果支持离散令牌分类、结构化码本先验和轻量解码器三项核心创新，说明该方法能在无测试时增强、无 TensorRT 优化的条件下实现更好的精度—效率平衡。其约束在于输入为裁剪后的单视图 RGB 图像，输出固定为 MANO 拓扑，训练依赖三维手部标注或 MANO 参数，且严重遮挡仍会限制令牌预测；未来可探索与文本等离散模态结合、多模态手部建模以及 AR/VR 和机器人实时部署。\n\n### 关键要点\n\n- TokenHand 用 M 个离散令牌表示一只手，每个令牌对应学习码本中的一个索引并编码一个手部子结构，令牌间允许一定重叠冗余以增强表达能力。\n- 第一阶段用 Point Transformer 编码 778×3 的手部点云，通过大小为 512×512 的共享码本量化，再用四级级联上采样解码器重建点云。\n- 级联解码器的每层包含降维 MLP、带多头自注意力 token mixer 的 MetaFormer 块和上采样 MLP，令牌数按 48、97、194、389 逐步扩展到 778。\n- 令牌化训练联合优化编码器、码本和解码器，重建损失权重为 10，承诺损失权重 β 为 5，并使用 EMA 更新与 Code Reset 缓解码本坍缩。\n- 第二阶段不再直接回归网格，而是由图像分类 M 个令牌类别，再由预训练且冻结的解码器生成三维网格，推理时无需后处理。\n- 令牌生成器先预测二维关节位置，将主干特征图四倍上采样到 28×28，再在关键点对应位置采样空间对齐特征；消融表明该策略优于全局池化、网格采样和粗网格采样。\n- 分类头包含两个残差卷积块、线性投影和四个 MLP-Mixer 块，输出形状为 M×K 的令牌 logits；训练使用交叉熵以及顶点、三维关节和二维关节的 L1 重建损失。\n- 为使冻结解码器能够接收梯度，训练阶段用软推理 S=L̂×C 得到线性插值令牌特征，而不是直接选择离散码本条目。\n- 令牌化训练汇集六个公开三维手部数据集，并依据各数据提供的 MANO 参数生成点云，同一姿态的多视图样本只保留一个视角。\n- FreiHAND 上，TokenHand 以 65 FPS 达到 5.7 mm PA-MPJPE 和 5.9 mm PA-MPVPE，速度比 METRO、MeshGraphormer 等非实时方法至少高 35 FPS，且精度更优。\n- 与 transformer 类方法相比，TokenHand 不含主干的参数仅 3.0M，约为 METRO 102M 参数的一小部分，同时在 PA-MPJPE 和 PA-MPVPE 上均更优。\n- DexYCB 上的全部四项指标均优于所列单图像方法，说明离散令牌先验在手物交互和大规模跨数据集场景中具有泛化能力。"
}