{
  "paper_id": "7cb74f3d0e5d0acb4c2f32a196a53e39",
  "paper_title": "WildGHand: Learning Anti-Perturbation Gaussian Hand Avatars from Monocular In-the-Wild Videos",
  "paper_authors": [
    "Hanhui Li",
    "Xuan Huang",
    "Wanquan Liu",
    "Yuhao Cheng",
    "Long Chen",
    "Yiqiang Yan",
    "Xiaodan Liang",
    "Chenqiang Gao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "尽管近年来单目视频3D手部重建取得了进展，但大多数现有方法依赖在良好受控环境中采集的数据，因此在存在严重扰动（如手物交互、极端姿态、光照变化和运动模糊）的真实场景中性能退化。为解决这些问题，我们提出WildGHand——一个能够在野外视频上实现自适应3D高斯泼溅并生成高保真手部化身的优化式框架。WildGHand包含两个关键组件：(i) 动态扰动解耦模块，在优化过程中将扰动显式表示为3D高斯属性上的时变偏置；(ii) 扰动感知优化策略，生成逐帧各向异性加权掩码以引导优化。这些组件共同使框架能够在空间和时间两个维度上识别并抑制扰动。我们进一步整理了一个在多样扰动下采集的单目手部视频数据集，用于对野外手部化身重建进行基准测试。在该数据集和两个公开数据集上的大量实验表明，WildGHand达到了最先进的性能，并在多个指标上大幅超越其基线模型（例如PSNR相对提升最高达15.8%，LPIPS相对降低最高达23.1%）。我们的实现和数据集可在 https://github.com/XuanHuang0/WildGHand 获取。",
  "keywords": [
    "手部化身",
    "3D高斯泼溅",
    "扰动建模",
    "真实场景视频"
  ],
  "paper_institutions": [
    "中山大学",
    "联想研究院",
    "联想集团"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:04.725538Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现有基于单目视频的3D手部重建方法大多依赖受控环境下采集的数据，在存在手物交互、极端姿态、光照变化与运动模糊等严重扰动的真实场景中性能显著退化；而RobustNeRF、SpotlessSplats等面向瞬态干扰的动态重建方法难以处理手部视频中全局且持续的扰动，且手部高度关节化的运动与频繁自遮挡使朴素优化陷入欠拟合真实手部与过拟合扰动之间的两难困境。为此，本文提出优化式3D高斯泼溅框架WildGHand，其核心机制是将扰动显式解耦为3D高斯属性的时变偏置，即 Δg_l = ω_l·φ([z_l, g_l])，ω_l = 2σ(ψ(z_l))−1，其中 z_l 由帧索引的位置编码经MLP编码器得到，ω_l 为控制偏置影响力的全局缩放因子，训练时学习该偏置、推理时将其移除以避免过拟合；同时配合扰动感知优化（PAO）策略，利用SAM分割与区域重建误差生成逐帧各向异性加权掩码，对不可靠区域自适应降权。为填补基准空白，作者构建了HWP数据集（4个单手与7个交互手序列、超13.8K帧，系统覆盖四类扰动并附带干净测试片段），并在其上连同InterHand2.6M、AnchorCrafter及在线视频进行评估，以在受控与真实扰动条件下全面验证方法的鲁棒性与泛化能力；实现上采用MANO-HD参数化手部模型与在InterHand2.6M上预训练的高斯属性预测网络，在2块NVIDIA A6000 GPU上以batch size 4、50 epochs的Adam优化器进行逐场景优化。实验以PSNR、SSIM、LPIPS为指标，WildGHand在全部数据集上取得最先进性能（如HWP单手PSNR 26.24、交互手26.29，在线视频PSNR 27.39），相较基线模型最高获得15.8%的PSNR相对提升与23.1%的LPIPS相对降低，消融实验证实DPD与PAO的有效性，且学到的时间权重与扰动强度正相关，支持了抗扰动机制的设计。未来可探索更丰富的扰动类型建模、更高效的外部先验利用与双手联合建模；该方法适用于VR/AR、具身智能等需要真实个性化手部化身但采集条件受限的真实场景，但依赖现成手部参数估计器的准确性并需逐场景优化，需在效率与鲁棒性之间权衡。\n\n### 关键要点\n\n- WildGHand是面向单目野外视频的优化式3D高斯泼溅手部化身重建框架，针对手物交互、复杂姿态、光照变化与运动模糊四类严重扰动设计，采用逐场景优化范式并可扩展至交互手场景。\n- 动态扰动解耦（DPD）模块以轻量MLP（约75k参数，仅占全模型约4亿参数的0.018%）将扰动建模为带时间权重的3D高斯属性偏置，在训练帧上学习、推理时移除，从而缓解对扰动的过拟合。\n- 核心公式为 Δg_l = ω_l·φ([z_l, g_l])，ω_l = 2σ(ψ(z_l))−1，其中 z_l 由帧索引 l 的位置编码 γ(l) 经MLP得到；训练中以30%概率将 ω_l 置零，促使高斯预测网络独立拟合各帧并捕捉属性主成分。\n- 扰动感知优化（PAO）策略利用可提示的SAM（以手根为提示）将图像分割为多个区域，依据区域重建误差、手部前景占比与时间权重计算各向异性损失权重，对渲染质量低（更可能被扰动污染）的区域自适应降权。\n- 总体损失为 L = W⊙L_rec + L_reg，正则项包含高斯属性偏置的L1约束、阴影系数与不透明度约束、拉普拉斯正则以及防止权重全零的 ‖W‖₁ 项；交互手训练额外引入左右手纹理特征一致性L1正则，利用双手双边对称性补全遮挡区域纹理。\n- 自建HWP数据集含4个单手与7个交互手序列、超13.8K帧，以固定相机或手持手机拍摄，涵盖洗牌、转笔、涂护手霜等日常动作，每序列包含多种扰动类型并提供干净测试片段以支持公平评测。\n- 实验在HWP、InterHand2.6M（3个交互手序列）、AnchorCrafter（tune/1_0序列）及在线视频上进行，帧按80%/10%/10%划分为训练/验证/测试；实现采用2块NVIDIA A6000 GPU、batch size 4、50 epochs，可学习阈值初始学习率为1e-6、其余参数为1e-4并每5个epoch衰减一半。\n- 与UHM、Handy、InterGaussianHand对比，WildGHand在所有数据集与指标上均达到SOTA：HWP单手PSNR 26.24/SSIM 0.916/LPIPS 0.116，交互手26.29/0.893/0.122；InterHand2.6M交互手28.25/0.894/0.151；在线视频27.39/0.920/0.080。\n- 相较基线模型最高取得15.8%的PSNR相对提升与23.1%的LPIPS相对降低；在四类扰动场景（手物交互、复杂姿态、光照变化、运动模糊）下均优于Handy与InterGaussianHand，验证了跨扰动类型的鲁棒性。\n- 消融实验显示DPD与PAO均带来增益且PAO贡献更大；PAO相比SAM二值掩码（PSNR 25.36 对 26.44）能自适应保留信息丰富的手部区域；移除顶点偏移与手部参数精化两个预测头会导致重建精度与感知质量下降。\n- 学到的时间权重与扰动强度正相关：严重扰动帧的权重约为干净帧的5倍，绝对值介于0.0066至0.034之间；更高扰动水平对应更大的平均时间权重与更低的PSNR，证实了模型的自适应抗扰动行为。\n- 约束与局限：方法依赖现成估计器获取MANO-HD手部参数与相机参数，需逐场景优化；设计上不依赖重型外部生成模型以在效率与鲁棒性间取得平衡；对比方法UHM因手部模型与MANO-HD不兼容仅报告单手结果。"
}