{
  "paper_id": "9029402600f0b32b38e46dae3cadc8dc",
  "paper_title": "HandFlow: Fully Generative 4D Hand Recovery with Flow Matching",
  "paper_authors": [
    "Mingxi Xu",
    "Bowen Duan",
    "Yi Gu",
    "Zhengyang Shen",
    "Renjing Xu",
    "Yutao Yue"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "精确的单目4D手部重建仍然充满挑战。逐帧判别式回归器缺乏时序上下文，常产生抖动的预测。时序模型通过跨帧聚合信息提升一致性，但它们通常是确定性回归器，在遮挡和运动模糊引起的歧义观测面前十分脆弱。生成式建模通过学习合理手部运动序列的先验提供了自然的替代方案，在视觉证据不完整或不可靠时仍能恢复连贯的手部状态。基于这一观察，我们提出HandFlow，一个用于从单目视频进行时序连贯3D手部姿态与形状估计的完全生成式流匹配框架。给定视觉与骨骼观测，HandFlow通过单次ODE积分去噪整个时间窗口的MANO参数。为此，我们采用Flux风格的双流Transformer在全序列上进行注意力计算以捕获长程依赖而无需自回归解码，并采用置信度感知的连续掩码机制将观测特征与可学习的mask token混合以处理噪声或缺失观测。在DexYCB和HOT3D上的实验表明，HandFlow实现了最先进的性能，在世界空间精度和时序平滑性方面增益尤为显著。与最强基线相比，它将世界空间姿态误差降低了30%以上，并在所有评估方法中取得最低的加速度误差，同时在逐帧姿态精度上保持竞争力。此外，在单GPU上HandFlow以47 fps的速度重建150帧序列，比最快的先前视频方法快约12倍，且重建本身仅占端到端延迟的一小部分。我们的模型和代码已公开于 https://mxxu00.github.io/HandFlow/",
  "keywords": [
    "4D手部重建",
    "动作捕捉",
    "流匹配"
  ],
  "paper_institutions": [
    "The Hong Kong University of Science and Technology (Guangzhou)",
    "Google"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:26.613899Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目RGB视频的4D手部重建因观测的固有歧义而长期存在时序抖动与预测不可靠问题：逐帧判别式回归器（如HaMeR、WiLoR）缺乏时序上下文，时序确定性回归方法（如Deformer、HaWoR、Dyn-HaMR）虽聚合多帧信息但无法表示多模态后验，在遮挡与运动模糊下易产生过平滑或运动学上不合理的输出。本文提出HandFlow，一个完全生成式的整流流匹配框架，将重建表述为MANO参数空间中的条件生成：把形状系数β∈R^10、逐帧关节姿态θ_i∈R^48与全局平移τ_i∈R^3打包为归一化向量后，以线性插值路径 x̄_t=(1-t)·x̄_0+t·x̄_1 构造中间状态，训练去噪器以流匹配损失 L_fm=‖f_φ(x̄_t,t,c)-v*‖²₂ 预测目标速度 v*=x̄_1-x̄_0，推理时仅需3步Euler积分即可从噪声生成整个时间窗口的连贯手部运动。架构上采用Flux风格双流Transformer（z流token化手部参数、c流承载视觉-骨骼条件，联合注意力实现双向融合），并引入置信度感知连续掩码cmask（ĉ_i^k=m_i·c_i^k+(1-m_i)·c_mask^k，m_i为HaMeR检测置信度）在不可靠观测时回退到学习的运动先验；长视频通过中心距加权的速度混合重叠滑窗推理沿单一连续积分路径扩展。实验选用DexYCB（受控多相机抓取场景，s0协议）验证遮挡鲁棒性、HOT3D（自我中心多视角桌面交互，自划分按参与者验证集）验证世界空间轨迹精度与时序平滑性；指标涵盖RA/PA-MPJPE、AUC、W-MPJPE、WA-MPJPE、加速度误差与RTE。结果显示HandFlow在DexYCB全测试集RA-MPJPE为8.12mm（较次优Deformer的13.64mm相对降低41%），在HOT3D上WA-MPJPE为16.17mm（较最强基线降低超30%）、加速度误差4.18 m/s²为所有方法最低、RTE 2.32%最优，支持了生成式先验与双流融合的创新贡献；单张H100上以47 fps重建150帧序列（约12倍于最快先前视频方法），重建仅占总延迟小部分而SLAM占84%，意味着未来SLAM加速可直接受益。进一步探索包括前端通用性（约88M参数的DINOv3+MediaPipe弱前端下仍优于强基线）与ODE步数、初始噪声的鲁棒性；实际应用面向AR/VR、机器人与人机交互，但受限于cmask无法区分手部遮挡与出画、依赖相机内参精度以及MANO模型表达力上界。\n\n### 关键要点\n\n- HandFlow将单目4D手部重建表述为MANO参数空间中的条件生成问题，采用整流流匹配以线性路径连接噪声与数据，推理时通过单次ODE积分（3步Euler，位于精度平台期的稳定工作点）去噪整个时间窗口的手部运动序列。\n- 受Flux启发的双流Transformer中，z流将噪声状态token化为1+2T个token（1个形状、T个姿态、T个平移），c流接收2T个条件token，块内QKV分别投影后拼接共享注意力实现双向融合；消融显示朴素交叉注意力使MPJPE从18.73升至22.04mm，证明双向信息交换是关键。\n- 置信度感知连续掩码cmask按HaMeR检测置信度m_i在观测条件token与可学习mask token间插值，训练时对约20%帧随机掩码作为正则化；禁用推理时置信度加权会使MPJPE上升86%而PA-MPJPE几乎不变，表明其主要用于稳定低置信度帧的全局平移。\n- 条件表示由冻结HaMeR前端提供：视觉特征经ViT-Huge骨干提取并由8层交叉注意力池化压缩为每帧图像token；21个2D关键点反投影为相机归一化3D射线、经6频带正弦编码与两层MLP得到骨骼token，从而将相机内参纳入条件。\n- 训练与评估在DexYCB（s0协议，右手裁剪，10名受试者8相机视角80%序列训练）与HOT3D（按参与者每第7个序列留出验证，1347训练片段）上进行；模型隐藏维度512、16注意力头、8双流+16单流块、窗口T=16帧，4×H100以AdamW训练200 epoch约24小时。\n- DexYCB全测试集上HandFlow的RA-MPJPE为8.12mm，较次优Deformer的13.64mm相对降低41%，AUC_RA达0.839；重度遮挡（75%-100%）下PA-MPJPE为4.85mm，远低于WiLoR的5.68mm与HandOccNet的7.37mm，证实生成式建模而非特定架构驱动遮挡鲁棒性。\n- HOT3D上世界空间指标全面领先：WA-MPJPE为16.17mm，对比UniHand的25.24mm、HaWoR的27.37mm、Dyn-HaMR的31.01mm；加速度误差4.18 m/s²为所有评估方法最低；RTE为2.32%最优，表明准确的全局运动源于时序连贯性而非单帧精度。\n- 150帧HOT3D序列上重建仅需3.19秒（Dyn-HaMR为288.58秒、HaWoR为38.13秒），总运行时19.40秒且SLAM占84%，即47 fps、约12倍于最快先前视频方法；13.1GB的较高VRAM源于所有时间窗口并行去噪，内存受限时可降低窗口并行度以换取吞吐。\n- 长视频采用速度混合重叠滑窗推理：按窗口中心距离权重融合各窗口在每步ODE的速度，消除后验平均引入的边界速度跳变（o=2时重叠帧加速度误差从18.9降至5.43 m/s²），且各窗口每步可并行批处理，仅带来少量额外推理开销。\n- 鲁棒性分析显示10次不同初始噪声推理的PA-MPJPE变异系数仅0.16%、所有空间指标CV低于1%；ODE步数从2步起进入性能平台；替换为约88M参数的DINOv3-Base+MediaPipe通用前端后PA-MPJPE仅上升15%-16%，仍优于HaWoR等强基线。\n- 局限包括：cmask将手部遮挡与出画混为一谈（均表现为低检测置信度），手完全出画时无视觉证据可用且模型无法标记该失败模式；重建质量依赖相机内参精度，相机运动不足时在线估计显著退化；精度受MANO模型表达力与标注精度的上界约束。"
}