{
  "paper_id": "9f34af688f5ab7e7d0dc92fe8f1dddae",
  "paper_title": "Estimating Accurate Hand Pose in Camera Space with Vision Transformer",
  "paper_authors": [
    "Kaiwen Ren",
    "Yiran Jiang",
    "Yongjing Ye",
    "Shihong Xia"
  ],
  "publication_date": "2026-11-10–14",
  "publication_venue": "Proceedings of the 34th ACM International Conference on Multimedia (MM '26), Rio de Janeiro, Brazil",
  "abstract": "基于单目RGB的手部姿态估计已成为计算机视觉的关键研究前沿。局部手部姿态估计方法预测相对于手腕的手部姿态，而全局手部姿态估计还需要估计手腕在相机坐标系中的位置。然而，相机空间估计面临两个根本挑战：单目设置下的深度模糊，以及手部局部姿态与全局手腕位置在透视投影中的耦合效应；这种耦合具体表现为投影由局部手部姿态、手腕位置和相机内参共同决定。为克服这些挑战，该框架提出两项关键创新：用于提取手部深度信息的变换同构监督，以及用于解决局部姿态与手腕位置耦合的透视信息嵌入，二者均集成于主流编码器-解码器架构中。此外，论文提出一种帧率感知的多数据集训练策略，用于序列姿态细化。完整方法在HO3D上的CS-MJE相对最先进方法最高取得37.1%的优势。项目页：<https://github.com/Mine268/CS-ViT。>\n",
  "keywords": [],
  "paper_institutions": [
    "Institute of Computing Technology, Chinese Academy of Sciences",
    "University of Chinese Academy of Sciences"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:21.659490Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目RGB相机空间手部姿态估计需同时恢复手腕相对关节运动和手腕在相机坐标系中位置的问题，论文指出局部姿态方法难以处理单目深度模糊，且透视投影使局部姿态、手腕平移和相机内参共同决定二维投影，即“透视耦合效应”；多数现有方法忽略相机内参，或仅把虚拟内参用于辅助二维投影损失，从而引入系统误差。论文以Swin-Transformer为骨干构建编码器-解码器管线，提出透视信息嵌入（PIE）：在手部检测框内均匀采样像素p_ij，利用u_ij=K^-1[p_ij,1]^T将其转换为归一化相机射线并生成透视图，经MLP得到透视向量后叠加到所有潜在线补丁，使模型在特征空间实现X=Π^-1(Y,K)的透视条件化恢复；同时提出变换同构监督（TIS），通过可学习的潜在线缩放-旋转网络、共享解码器和三维逆变换后的真值约束，强化sr_pose(θ,β,t)=D(sr_latent(E(I)))的同构关系，把尺度与深度关联嵌入潜空间。训练分为空间与时间两阶段：空间阶段更新骨干、空间模块、PIE和TIS，时间阶段冻结前述模块并只训练时序模块；帧率感知多数据集训练（MDT）用Time-indexed RoPE将真实时间戳纳入旋转位置编码，以适配不同采集帧率，并用零初始化末层保证从空间模型平滑过渡。实验选用HO3D的强手物遮挡数据、DexYCB的大尺度自然交互与更宽手腕分布、InterHand2.6M的大规模双手数据，以验证遮挡、宽分布和多帧率条件下的泛化能力；实现采用Swin-B、256×256输入、64个768维补丁、6层空间模块、3层PIE MLP、2层自注意力潜变换和三条2层交叉注意力时序分支，便于在相近骨干容量下检验几何建模而非单纯参数规模。评价指标包括相机空间平均关节误差CS-MJE、根对齐关节误差RS-MJE、Procrustes对齐误差PA-MJE和手腕平移误差RTE；HO3D上MDT达到31.7、17.9、8.1和31.4 mm，相对HandDGP的50.3 mm CS-MJE在单帧、多帧和多数据集设置下分别降低约7.8%、11.7%和37.1%，并在CS-MJE、RS-MJE和RTE上优于HaMeR-H+PnP，仅PA-MJE略高，DexYCB上MDT达到43.7、15.5、6.4和42.7 mm且首次报告该任务结果。消融显示PIE主要改善xy平面定位、TIS主要改善z轴深度、密集透视信息加到补丁效果最好、零初始化优于随机初始化，支持显式内参和透视几何对全局定位的核心作用。该方法面向VR/AR和自然人机交互场景，主要约束是依赖手部检测框与校准内参，框偏移、焦距或主点误差会降低精度，FreiHAND类长焦归一化数据还可能诱发全局定位过拟合；未来将进一步利用镜头畸变信息与时序线索。\n\n### 关键要点\n\n- 单帧空间阶段先用现成检测器获取手部边界框，再由Swin骨干编码裁剪区域，姿态解码器输出关节旋转θ、形状β和手腕平移t，监督覆盖关节、网格顶点、形状参数与TIS。\n- PIE在边界框内均匀采样P×Q个像素，按u_ij=K^-1[p_ij,1]^T归一化为相机射线，保留xy方向组成密集透视图，经MLP生成向量并叠加到每个潜在线补丁。\n- TIS用随机缩放s和旋转α驱动可学习的sr_latent，变换后的补丁经同一解码器得到姿态，再在三维空间按1/s和-α逆变换，最后与真值计算L_TIS。\n- 时序阶段冻结骨干和空间模块，只训练插在其后的时序模块；MDT通过Time-indexed RoPE使用真实时间戳而非令牌索引，以适配不同数据集帧率，并对最后一帧查询做交叉注意力聚合。\n- 实现采用Swin-B、256×256输入、64×768补丁、6个空间模块、3层PIE MLP、2层自注意力潜变换，以及姿态、平移、形状各2层交叉注意力的三条时序分支。\n- 实验使用HO3D、DexYCB和InterHand2.6M，分别覆盖强手物遮挡、自然手物交互与宽手腕分布、大规模双手与多视角场景；DexYCB因需要连续时间戳而采用S1划分。\n- 在HO3D上，MDT的CS-MJE、RS-MJE、PA-MJE和RTE分别为31.7、17.9、8.1和31.4 mm；相对HandDGP的50.3 mm CS-MJE，完整方法最高降低约37.1%。\n- 论文称首次在DexYCB上报告相机空间结果，MDT取得43.7 mm CS-MJE、15.5 mm RS-MJE、6.4 mm PA-MJE和42.7 mm RTE，且未因分布更宽而出现显著性能崩溃。\n- 消融表明PIE主要改善x/y平面定位，TIS主要降低z轴与RTE误差；将密集透视向量加到图像补丁优于加到查询令牌或仅用四角稀疏点，时序末层零初始化也优于随机初始化。\n- 方法依赖检测框和相机内参：20%框中心偏移、焦距缩放至0.8或1.2、主点偏移都会增大CS-MJE；FreiHAND的长焦归一化图像还会使相机空间指标在测试集高位振荡并表现为过拟合。"
}