{
  "paper_id": "bdadc806a402379ec8fb7b6d862e55c7",
  "paper_title": "Pose-Guided Temporal Enhancement for Robust Low-Resolution Hand Reconstruction",
  "paper_authors": [
    "Kaixin Fan",
    "Pengfei Ren",
    "Jingyu Wang",
    "Haifeng Sun",
    "Qi Qi",
    "Zirui Zhuang",
    "Jianxin Liao"
  ],
  "publication_date": "",
  "publication_venue": "CVPR 2025",
  "abstract": "3D手部重建对非接触式人机交互至关重要，但现有方法在稍远交互场景常见的低分辨率图像上表现不佳。利用时序信息可弥补单张低分辨率图像缺少外观细节的问题，增强手部重建的鲁棒性与精度；但现有时序方法通常以关节特征表示时序信息，虽能避免冗余背景干扰，却过度忽略视觉特征的空间上下文，限制了重建精度。本文提出将时序关节特征与视觉特征相结合，构建鲁棒的低分辨率视觉表征。为消除二者在表征形式和语义上的错位，采用具有3D空间感知的稠密表示Triplane Features：通过正交投影关节特征，将手部结构信息嵌入3D空间上下文；再通过Spatial-Aware Fusion把三个平面的空间信息压缩为2D稠密特征以增强视觉特征。在DexYCB、HanCo和H2O上，使用富含时序信息的增强视觉特征进行重建时，本文方法以远低于SOTA方法所用的高分辨率输入取得了有竞争力的性能。代码公开于<https://github.com/NewbieFan/Temp-LowRes-hand。>\n",
  "keywords": [
    "低分辨率手部重建",
    "三维手部姿态估计",
    "时序增强",
    "关节特征",
    "三平面特征",
    "空间感知融合",
    "视觉Transformer",
    "非接触式人机交互"
  ],
  "paper_institutions": [
    "State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:35.291673Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向非接触式人机交互、远距离XR教学等场景中裁剪手部图像仅为32×32或64×64、外观细节不足导致关节自相似与深度歧义的问题。相关单帧方法通常依赖256×256等高分辨率输入，超分辨率方法易引入手部结构畸变和伪影，低分辨率专用学习方法仍受限于固有信息损失；已有时间方法多将每帧压缩为关节特征以降低背景干扰和计算开销，却过度舍弃视觉特征的空间上下文，而直接用交叉注意力融合又难以让稠密2D视觉特征理解稀疏3D关节特征的表征形式与几何语义。为此，作者提出姿态引导的时序增强框架，从历史帧构造关节特征，并以交替堆叠的空间注意力和时间注意力建模帧内不同关节关系与帧间同一关节关系；其核心初始关节特征可表示为 $J^{init}=J^{pose}+J^{region}$，随后将融合后的关节特征解码为3D姿态并生成x-y、x-z、y-z距离感知热图，形成 $F_{triplane}=\\{F_{x,y},F_{x,z},F_{y,z}\\}$，把骨骼尺度、骨架长度等3D结构先验嵌入空间上下文。空间感知融合进一步将与视觉平面正交的两个平面沿不同方向压缩为1D全局表征，通过交叉注意力引导$F_{x,y}$逐像素整合深度上下文，减少冗余并增强当前帧ViT视觉特征，最后采用回归式网格重建头输出手部网格。实验选用DexYCB、HanCo和H2O，分别覆盖手物遮挡的多视角抓取、带相机标定的多视角视频以及双手与物体交互，可验证不同场景下的泛化能力，其中HanCo还用于全部消融研究；实现上将ViTPose-B改造为低分辨率LR-ViT，把patch embedding替换为两层零填充卷积、将token数降至64并重排为8×8特征图，默认输入64×64并测试32×32，时序长度$T=6$且历史帧间隔为5，历史特征提取阶段冻结骨干，之后联合训练，并使用PyTorch、RTX 4090、批大小64、AdamW和余弦学习率调度保证可复现。评估采用根对齐空间的MPJPE/PA-MPJPE、MPVPE/PA-MPVPE、AUC、F@5和F@15；DexYCB上64分辨率方法达到PA-MPJPE 5.72、PA-MPVPE 5.52、AUC 88.5、F@5 78.4，32分辨率仍达到6.03和5.82，H2O上MPJPE为18.15、PA-MPJPE为6.11，HanCo上J-PA为5.77、V-PA为5.74、F@5为77.6，表明该方法以远低于高分辨率SOTA方法的输入取得竞争性能，并支持时序关节信息、三平面编码和1D压缩融合的有效性。其现实约束是需要可用的历史帧，且未显式建模跨视频序列的长时运动线索，可能在长序列中缺少运动一致性约束；未来可利用长序列运动线索更好地约束重建手形并提升时序稳定性。\n\n### 关键要点\n\n- 面向稍远距离交互中常见的32×32或64×64低分辨率裁剪手部图像，解决单帧外观细节不足造成的关节自相似和深度歧义问题。\n- 现有基于关节特征的时序方法虽能减少背景干扰，但丢弃了视觉特征的空间上下文，直接交叉注意力又难以传递3D结构先验。\n- 框架使用前5个历史帧增强第6个当前帧，先将历史帧压缩为关节特征，再通过时空Transformer增强当前帧的视觉表征。\n- 姿态感知token按手指语义捕获高层骨骼结构和低层纹理细节，并用于预测2D关节坐标和采样关节中心局部特征。\n- 时空Transformer由空间注意力和时间注意力交替堆叠，前者建模同一帧内不同关节关系，后者建模不同帧中同一关节的关系。\n- 三平面编码将融合关节特征正交投影到x-y、x-z和y-z平面，通过距离感知热图生成稠密2D特征，完整保留低冗余的3D手部结构信息。\n- 空间感知融合把x-z和y-z平面沿不同方向压缩为1D全局特征，再引导x-y平面逐像素整合空间上下文，避免完整平面融合带来的冗余重叠。\n- 训练损失由手部重建损失、token姿态损失和时序姿态损失组成，重建损失包含顶点/关节L1误差以及法向量和边长的网格平滑约束。\n- DexYCB包含1000个序列、582K帧和8个视角，HanCo包含1517个多视角视频、860304帧，H2O包含4名参与者的36种双手动作。\n- DexYCB上本文方法在64分辨率时PA-MPJPE为5.72、PA-MPVPE为5.52，在32分辨率时仍保持6.03和5.82，显著优于同分辨率的HMR或VIBE基准。\n- 消融表明手指语义姿态感知token优于单个token或21个关节token，三平面编码优于交叉注意力和单平面编码，中间多层融合优于仅在最后一层融合。\n- 方法适用于低分辨率视频手部交互，但依赖历史帧且未显式建模长时运动，长序列中的手形一致性仍可能不足。"
}