# WildGHand：从单目自然场景视频中学习抗扰动高斯手模型 李汉辉 $^{*}$、黄轩 $^{*}$、刘万全（IEEE高级会员）、程宇浩、陈龙、严一强、梁晓丹（IEEE高级会员）、高晨强 $^{\dagger}$ 摘要—尽管近期在基于单目视频的3D手部重建领域取得了进展，但现有方法大多依赖在受控环境中采集的数据，因此在存在严重扰动的真实场景中性能会显著下降，这些扰动包括手与物体的交互、极端姿态、光照变化以及运动模糊等。为解决这些问题，我们提出了WildGHand——一种基于优化的框架，能够在自然场景视频上实现自适应3D高斯泼溅，从而生成高保真的手部模型。WildGHand包含两个关键组件：(i)动态扰动解耦模块，该模块在优化过程中将扰动显式表示为3D高斯属性上的时变偏差；(ii)感知扰动的优化策略，该策略会生成逐帧的各向异性加权掩码来指导优化过程。这两个组件共同作用，使框架能够识别并抑制空间和时间维度上的扰动。我们还专门整理了一个包含多种扰动条件下采集的单目手部视频的数据集，用于评估自然场景下手部模型的重建效果。在该数据集以及两个公开数据集上的大量实验表明，WildGHand的性能达到了业界领先水平，且在多个指标上相比其基础模型有显著提升（例如PSNR相对提升高达15.8%，LPIPS相对降低23.1%）。我们的实现代码和数据集可在获取。 索引词—手部模型、3D高斯泼溅、扰动建模、自然场景视频。 ## 一、引言 手部在现实世界的交互以及沉浸式数字体验中均发挥着核心作用。随着虚拟现实/增强现实和具身智能的快速发展，对逼真、个性化的手部模型的需求日益增加，而可微渲染技术的最新进展[^1]、[^2]也大幅提升了重建模型的保真度。现有方法[^3]、[^4]、[^5]、[^6]利用在精心控制的环境下采集的大规模数据（例如配备数百个校准摄像头的摄影棚[^7]），在生成高质量手部模型方面展现出了出色的性能。 然而，现有方法对数据的较高要求以及有限的数据多样性严重限制了它们的实用性和泛化能力。为缓解这些问题，近期有几项研究利用短单目视频[^8]、[^9]甚至单张图像[^3]、[^10]进行手部重建。为了简化重建问题，这些方法通常假设手部及其周围环境保持静止。虽然这一假设减少了对大规模数据采集的需求，但在无控制的真实场景中却不再成立——在这些场景中，手部观测结果往往会受到遮挡和极端姿态的影响，采集到的图像也可能因运动模糊和光照变化而进一步劣化。 另一条相关的研究方向聚焦于动态或干扰感知的重建[^11] [^12] [^13] [^14] [^15] [^16]，该方法利用帧间的几何、外观或语义一致性来提升鲁棒性。例如，[^15]结合了无监督分类器、分割模型和物体跟踪器来识别瞬时物体，而[^16]则利用DINO特征[^17]结合不确定性感知优化，以更好地应对外观变化。总体而言，这些方法在存在瞬时物体的情况下，能够提升以静态场景为主的重建质量，这也凸显了显式建模扰动的重要性。 不过，由于两个关键原因，这些动态模型无法直接应用于真实场景下的手部虚拟形象重建。首先，它们大多旨在处理瞬时干扰，比如可通过分割或跟踪等辅助线索从目标中分离出来的移动物体或短期遮挡物。相比之下，真实场景下以手部为中心的视频中的扰动往往是全局性的（例如影响整幅图像的光线变化）且持续时间较长。因此，我们任务中的扰动不能被视作稀疏、短暂的异常值。其次，这些方法主要针对刚性或轻微变形的场景设计，而手部具有高度复杂的运动、频繁的自遮挡或手-物体遮挡现象，以及快速的姿态变化。这些特性使得手部虚拟形象重建对受损的监督信息极为敏感。结果就是，简单的优化要么无法准确拟合真实的手部外观或几何结构，要么会过度拟合于扰动，从而在真实世界的扰动下陷入“欠拟合-过拟合”的困境。 为了克服上述局限，实现在扰动条件下从单目真实场景视频中重建高保真度的手部虚拟形象，我们提出了一种名为WildGHand的新框架。WildGHand的核心思路是在优化过程中将扰动与底层的手部内容显式分离。具体来说，WildGHand在基于优化的3D高斯泼溅（3DGS）框架$^{[2]}$基础上增加了两个组件：动态扰动解耦（DPD）模块和扰动感知优化模块。 --- ![Image](images/d45936f82be84ae2480c5f8a2bf82d951dd5ca7f5ca85b3bd1e2e72d3824bda9.jpg)
Fig. 1. We present WildGHand, a novel Gaussian splatting framework for generating realistic hand avatars from short monocular videos exhibiting challenging perturbations, including hand-object interactions, complex poses, illumination variations, and motion blur.
其中，DPD模块采用轻量级多层感知机，将扰动建模为3D高斯属性的时间加权偏差。这些偏差在训练帧上学习得到，推理时会被移除，从而降低过度拟合扰动的风险。同时，扰动感知优化策略利用手部的语义结构和重建误差来定位受扰动的区域，并生成各向异性的权重掩码，为模型优化提供可靠的监督信息。如图1所示，这两个组件使我们的框架能够在各种扰动条件下生成鲁棒且逼真的手部渲染结果。 此外，由于现有的基准测试要么是在控制良好的环境中收集的 [^7]、[^18]、[^19]，要么包含的扰动多样性有限 [^8]、[^20]、[^21]、[^22]，因此它们不足以评估在真实的野外环境下手部虚拟形象的重建效果。为填补这一缺口，我们系统地分类了常见的扰动类型，并据此整理出一套具有挑战性的数据集。如表I所总结的，我们的带扰动手部（HWP）数据集涵盖了单手场景和双手交互场景中的四种典型挑战因素，包括手与物体的交互、复杂姿态、光照变化以及运动模糊。重要的是，每个序列包含多种扰动类型，以反映现实世界的采集条件；同时我们还提供了干净的测试视频片段，以便进行可靠且公平的评估。该数据集还包含了多样的手部动作和日常交互场景，例如洗牌、转笔以及涂抹护手霜。在该数据集及两个公开基准测试上的实验表明，WildGHand能够从复杂的野外采集数据中生成高质量的个性化手部虚拟形象，并取得了业界领先的性能。 综上所述，本文的贡献可概括如下： • 我们提出了WildGHand，这是一种基于优化的3D高斯泼溅框架，能够在严重扰动条件下，从短小的单目野外视频中重建高保真的手部虚拟形象。 在推理阶段消除这些偏差，以减轻对图像损坏情况的过拟合现象。 • 我们提出了动态扰动解耦（DPD）模块，该模块在优化过程中将扰动建模为随时间加权的属性偏差，并予以消除。 • 我们设计了扰动感知优化（PAO）策略，该策略会生成各向异性的逐帧加权掩码，以降低不可靠区域的权重，从而提升对空间和时间扰动的鲁棒性。 • 我们整理了一套包含多种扰动类型的具有挑战性的野外手部视频数据集，用于评估鲁棒的手部虚拟形象重建性能。 ### II. 相关工作 ### A. 可微渲染 通过可微渲染进行的3D重建因其能够利用图像观测数据联合优化几何结构与外观而受到广泛关注。代表性方法包括神经辐射场（NeRF）[^1]和3D高斯泼溅（3DGS）[^2]，它们在新视角合成[^23]、[^24]、[^25]及人体虚拟形象创建[^26]、[^27]、[^28]、[^29]、[^30]等多种下游应用中均展现出了高保真效果。从物体和场景表示的角度来看，现有的可微渲染器大致可分为两类：(i) 隐式方法，即将目标参数化为连续函数（如NeRF及其变体）；(ii) 显式方法，即利用具有可学习属性的离散图元来表示目标（如3DGS中的高斯点）。隐式表示具有较强的表达能力，天然支持连续且分辨率任意高的建模，但渲染时的计算开销往往较大。相比之下，显式表示——尤其是3DGS——能够实现基于光栅化的高效渲染，且视觉质量颇具竞争力，因此在实践中越来越受欢迎。 具体而言，由于基于函数的表示方法具备统一的建模与优化范式这一优势，近期基于NeRF的方法已被拓展以融入额外的归纳偏置与信号，例如显式物理模型[^31]、[^32]、更高层次的关系或功能推理[^33]、[^34]，以及互补模态[^35]。例如，[^31]提出了一种通用的辐射物理公式，该公式结合了发射、吸收与散射过程，能够处理水下场景及低光照场景等各类介质。[^33]则提出了一种能够从NeRF中推断物体间关系的框架。 ---
TABLE I
DETAILED COMPARISON BETWEEN THE PROPOSED HWP DATASET AND EXISTING HAND VIDEO DATASETS.
DatasetEnv.CleanTestsetSingle HandInt. HandHand-Object Int.Complex PosesIllum. Var.Motion Blur
InterHand2.6M [^7]Lab✓✓✓
HARP [^20]Wild✓✓
UHM [^8]Wild✓✓
DexYCB [^18]Lab✓✓
EpicKitchen [^48]Wild✓✓✓✓✓
HInt [^21]Wild✓✓✓✓✓
ARCTIC [^19]Lab✓✓✓
Ego4D [^22]Wild✓✓✓✓✓
HWP (Ours)Wild✓✓✓✓✓✓✓✓
NeRF中的物体间关系。[^35]利用视频扩散模型提供的场景先验，来提升重建结果的一致性。 至于3DGS，近期的研究重点在于提升其表征能力，以便更好地处理复杂的外观与运动模式，比如具有强反射特性的镜面表面[^36]、铰接物体[^37]、参数化物体[^38]，以及精细的人体细节（如面部与头发）[^39]。这些扩展往往得益于更强的先验知识与额外的优化目标的引入。尤其是视频扩散先验受到了越来越多的关注[^40] [^41] [^42] [^43]，因为它们能够编码丰富的几何与外观统计信息，并有助于保证跨视角的一致性。除了视频扩散模型外，还有多项研究引入了来自多模态大语言模型的语义先验[^44]、[^45]，或是来自图像扩散模型的纹理先验[^46]、[^47]。虽然这类大规模先验能够提升在苛刻采集条件下的鲁棒性与泛化能力，但它们通常会带来巨大的计算与工程开销，从而限制其在逐场景优化流程中的应用。相比之下，我们的方法旨在无需依赖复杂的外部生成模型的情况下，提升对自然场景中干扰因素的鲁棒性。具体而言，我们采用轻量级的MLP将干扰因素建模为带有时间权重的属性级偏差，并将其与扰动感知的优化策略相结合，以减少训练过程中不可靠区域的影响。这种设计在效率与效果之间实现了实用的平衡，非常适合从单目自然场景视频中重建鲁棒的手部虚拟形象。 ### B. 动态建模 尽管可微渲染技术取得了成功，但大多数现有方法都隐含地假设底层场景或物体在视角与时间上是一致的，也就是说，观测结果不会受到移动干扰物、光照变化或运动模糊等环境变化的显著影响。然而，在现实世界的采集条件下，这一假设往往并不成立。 为了提高鲁棒性，针对NeRF的研究将干扰物视为异常值并加以处理，通过重新加权或截断重建损失来降低它们的影响[^11]，[^12]，[^49]，[^50]。例如，RobustNeRF[^12]通过排序像素残差并应用模糊核来利用它们的空间平滑性，从而检测出异常值。NeRF-W[^11]则通过学习每张图像的外观嵌入并将场景分解为静态和瞬态成分，放宽了一致性假设。NeRF-HuGS[^49]进一步结合启发式方法与分割模型，以增强对手部的鲁棒识别能力，并减轻来自手无关区域的干扰。 最近，有几种方法研究了针对野外采集数据的3DGS鲁棒训练[^13]，[^51] [^52] [^53] [^54]。与RobustNeRF类似，SpotlessSplats[^13]在学到的特征空间中执行无监督异常值检测，以从渲染误差中识别出干扰物。Robust-3DGS[^14]则将Segment Anything[^51]与神经分类器相结合，以优化分割掩码。 有几种方法[^55] [^56] [^57] [^58]致力于利用时变高斯属性或形变场将3DGS扩展为4DGS。例如，RigGS[^57]提出通过带有可学习皮肤形变和姿态相关细节形变的稀疏3D骨架来驱动标准3D高斯动画。除了骨架外，像Hermite样条这样的稀疏运动控制[^59]也被用于驱动3D高斯。MoSca[^60]引入了4D运动支架的概念，这是一种结构化图，高斯可以锚定在上面，并通过视觉基础模型提取的先验来进行操控。7DGS[^61]甚至将3D观察方向纳入4D高斯表示中，其性能相比4DGS更为优越。 不过，这些方法大多侧重于短暂的瞬态干扰物（如移动物体），而野外环境下的手部虚拟形象重建往往涉及更广泛且持续时间更长的扰动（如全局光照变化），这仍然难以处理。 ### C. 3D手部虚拟形象 众多研究[^3] [^4] [^5] [^6]，[^62]利用摄影棚采集的数据集在创建手部虚拟形象方面取得了令人瞩目的成果。基于NeRF构建的LiveHand[^4]通过低分辨率训练和3D一致的超分辨率技术实现了实时渲染。HandAvatar[^5]引入了高分辨率的MANO-HD模型，并根据姿态分离手部反照率和光照。RelightableHands[^62]则提出了一种用于手部渲染的新颖重新光照方法。 然而，这些方法依赖于专门收集的数据，这类数据获取需要昂贵的摄像机、跟踪设备和标注工具，因此限制了它们在现实世界中的应用。为了解决这一问题， --- 面对这些挑战，近期的研究主要集中于利用短单目视频 [^8]、[^20] 甚至单张图像 [^9]、[^10]、[^63] 来创建个性化的手部虚拟形象。HARP [^20] 能够利用手机拍摄的视频序列优化手部虚拟形象；此外，它并未采用神经隐式模型，而是使用基于网格的参数化手部模型以及显式的纹理表示，从而具备更好的鲁棒性。UHM [^8] 提供了一种通用解决方案，可用于表示不同身份的手部网格，并能通过手机扫描适配个体特征。通过将跟踪与建模整合到同一个阶段，UHM [^8] 克服了误差累积问题，从而输出更精确的结果。从信息有限的单张图像创建手部虚拟形象需要强大的先验知识。Handy [^63] 在包含超过1,200名受试者的多样化数据集上训练而成，它采用基于GAN的方法精准重建手部的3D形状、姿态和纹理。OHTA [^9] 将手部表示拆分为特定身份的反照率和可迁移的几何结构，以实现逼真的单次重建。InterGaussianHand [^10] 结合了用于跨受试者泛化的学习特征与用于优化的身份映射，还配备了交互感知注意力模块和高斯细化机制，从而提升交互式手部的渲染效果。 此外，从扰动建模的角度来看，现有方法主要聚焦于手部与物体的交互 [^64] [^65] [^66]，而光照变化等其他具有挑战性的因素则相对未被充分探索。而且，这类方法通常利用图像或视频扩散模型来合成动画手部，而非通过可微渲染来优化显式的3D表示。例如，[^67] 利用约1,000万张图像训练手部图像生成模型。虽然这种数据驱动的生成流程能产出视觉上逼真的结果，但它们往往会产生高昂的训练成本，且由于缺乏显式的几何约束，可能会出现结果不一致或“双面人”问题。 尽管单目手部重建领域取得了上述重大进展，但当前方法与现实环境中的应用之间仍存在显著差距，因为这些方法都假设拍摄条件近乎理想。另一方面，我们的目标是应对存在多种扰动的场景，从而实现更鲁棒且贴近实际应用的效果。 ### 三、方法论 在本节中，我们将详细介绍所提出的WildGHand框架（第三节B部分）的细节，该框架用于从存在手部与物体遮挡、复杂姿态、运动模糊和光照变化等挑战因素的单目视频中重建手部虚拟形象。具体而言，WildGHand引入了两个核心组件，以提升手部逆向渲染对上述因素引发的扰动的鲁棒性：(i) 动态扰动解耦范式，它将扰动显式表示为3D高斯点的时间加权偏差（第三节C部分）；(ii) 扰动感知优化策略（第三节D部分），它为将3D高斯点拟合到视频提供了各向异性的逐帧加权掩码。这两个组件使我们的方法能够在动态手部的欠拟合与对扰动的过拟合之间取得更好平衡，进而生成高保真的个性化手部虚拟形象。 ### A. preliminaries 我们采用3D高斯泼溅（3DGS）[^2]来实现可微渲染器，这是一种高效的基于光栅化的渲染方法，能够将一组3D高斯球体投影到图像平面上。每个高斯球体$g = [p, o, q, s, c]$由多个属性控制，即中心位置$p \in \mathbb{R}^3$、不透明度值$o \in \mathbb{R}$、表示旋转的四元数$q \in \mathbb{R}^4$、各向异性缩放向量$s \in \mathbb{R}^3$以及颜色值$c \in \mathbb{R}^3$。传统方法[^10]、[^26]、[^68]通过直接拟合输入视频来确定3D高斯的数量和属性，但这些结果难免会受到噪声和手部无关信息的干扰。因此，我们没有采用这种简单的拟合策略，而是提出了一种用于WildGHand的自适应优化范式来应对这一挑战。 ### B. 整体框架 任务定义：给定一段单目手部短视频，我们的目标是重建一个可动画化的手部虚拟模型，使其能够在任意姿态和视角下渲染出高质量的图像。为此，我们采用了MANO-HD手部模型[^5]，该模型通过手部姿态向量$SE(3)$、手部形状向量$\theta \in \mathbb{R}^{16 \times 3}$以及描述手部全局位置的平移向量$\beta \in \mathbb{R}^{10}$来对3D手部网格模板的$t \in \mathbb{R}^{3}$变换进行参数化。令$h = [\theta, \beta, t]$表示这些参数的拼接结果。给定手部h以及描述相机内外参的相机参数向量$d \in \mathbb{R}^{25}$ [^69]，手部虚拟模型便可以在可微渲染框架内被表述出来，即$\mathcal{R}(h, d) = I$，其中$I \in \mathbb{R}^{H \times W \times 3}$表示分辨率为$H \times W$的渲染后RGB图像。为清晰起见，此处我们假设给定的视频中仅包含一只手；不过我们的框架可以无缝扩展到多只手交互的场景，只需对每只手独立处理即可。与专为干净且静态环境下拍摄的视频设计的现有方法[^3]、[^8]、[^9]、[^10]不同，我们的目标是处理存在未知扰动、会阻碍重建过程的野外手部视频。 WildGHand的整体框架如图2所示，它采用了遵循[^9]、[^10]的逐场景优化范式。给定一个从包含L帧的视频中采样的训练帧$I_l$，即$l \in \{1, \ldots, L\}$，我们使用现成的估计器[^70]来获取手部参数h和相机参数向量d。这些手部参数用于对MANO-HD[^5]的3D手部网格模板进行变形，从而生成姿态化的手部网格。设$\overrightarrow{V}, \boldsymbol{V} \in \mathbb{R}^{N \times 3}$和$N = 49,281$分别表示该模板和姿态化网格的顶点。我们以$\mathcal{G} = \{g_n \mid n = 1, \ldots, N\}$为中心初始化一组3D高斯体$\mathcal{V}$，并通过联合优化潜在身份图和高斯预测网络来迭代估计它们的属性。这种优化能保证渲染出的图像$\mathcal{R}(h, d)$与$I_l$近似。潜在身份图$m \in \mathbb{R}^{H \times W \times D}$有D个通道，用于 --- ![Image](images/11409a21d5b1df2476c08fe91666ed4a53b739fdf38de8e2b75c7435f4467f98.jpg)
Fig. 2. The proposed WildGHand framework. Given a monocular video affected by perturbations, WildGHand introduces two key components to achieve the robust estimation of 3D Gaussians, including a lightweight dynamic perturbation disentanglement (DPD) module and a perturbation-aware optimization (PAO) strategy. The DPD module represents potential perturbations by biases of Gaussian attributes, which are optimized guided by the weighted masks predicted by the PAO strategy. During inference, the optimized biases are removed to render perturbation-free images.
编码目标手部的特征，而高斯预测网络f则在大规模InterHand2.6M数据集[^7]上预训练，以利用跨个体先验。 具体而言，f以从$\mathcal{V}$中提取的几何特征以及从m中提取的纹理特征作为输入，进而预测每个高斯的属性。f由一个双分支编码器-解码器骨干网络以及四个基于MLP的预测头组成。该骨干网络的结构与我们之前的工作[^10]中提出的结构相同，能够分别从$x_g$中提取几何特征$\mathcal{V}$，从m中提取纹理特征$x_t$。这四个预测头各有不同的用途：(i)第一个预测头根据$x_g$和$x_t$来预测高斯属性g；(ii)第二个预测头从$\xi \in (0,1)$中预测一个阴影系数$x_g$，用于调节g中的颜色属性为$c \cdot \xi$，从而提升渲染时阴影与反照率的解耦效果；(iii)第三个预测头将$x_t$与位置编码$\gamma$ [^1]相结合，来预测模板$\overrightarrow{V}$的偏移量，以便更灵活地变形以适应不同手型；(iv)第四个预测头通过基于$\Delta h$和$x_g$估计相应的偏差$x_t$，来优化手部参数h。随后，我们将每个3D高斯的中心更新为下一个优化步骤的值$p' = p_g + v',$，其中$p_g$表示第一个预测头预测的中心位置，$v'$则表示根据第三、第四个预测头的输出得到的对应网格顶点。 为了建模输入视频中可能出现的扰动，我们假设这些扰动可以表现为对预测的高斯属性的加性偏差。具体而言，训练帧中的每个高斯属性定义如下： $$ \tilde{g}=g+\Delta g, $$ 其中$\Delta g$表示这些偏差。为了有效估计$\Delta g$，我们在高斯预测网络旁引入了一个轻量级模块，并设计了感知扰动的优化策略来指导其优化。这两部分的细节将在后续章节中详细阐述。我们的设计基于以下观察：基于网格的手部表示在帧与帧之间相对稳定，而扰动则是突发的且带有噪声。因此，建模能力更强的高斯预测网络更适合捕捉规范成分g，而轻量级模块则专注于建模$\Delta g$。如此一来，我们便能在逐场景优化过程中优化$\tilde{g}$，同时利用g进行推理，从而缓解过度拟合扰动与无法准确拟合手部外观之间的矛盾。 ### C. 动态扰动解耦 鉴于扰动随时间变化且难以用静态表示来建模，我们引入了动态扰动解耦（DPD）模块，该模块将时间权重纳入高斯属性偏差的估计过程中。DPD模块采用由三个基于MLP的模块组成的浅层架构，以避免其干扰高斯属性预测网络的正常运作。 具体来说，受[^1]中提出的位置编码机制的启发，DPD模块首先计算帧索引l对应的高维位置编码$\gamma(l)$，以实现细粒度的时间建模。随后应用基于MLP的编码器来获取时间嵌入$z_{l}$，具体过程如下： $$ z_{l}=\phi(\gamma(l)), $$ $$ \begin{align*}\gamma(l)=\big[\begin{array}{c}\sin(2^{0}\pi l/L),\cos(2^{0}\pi l/L),\ldots,\\\sin(2^{K}\pi l/L),\cos(2^{K}\pi l/L)\end{array}\big],\end{align*} $$ 其中，K为用户指定的编码长度，本文中我们将其设为$K = 9$。时间嵌入$z_l$具有两个作用：首先，$z_l$会与预测得到的高斯属性$g_l$（为简洁起见，此处省略了$g_l$中的高斯/顶点索引）相拼接，用以预测偏差；其次，$z_l$用于预测一个全局缩放因子$\omega_l \in (-1,1)$，该因子可调控预测偏差的影响程度。这一关系可表示为： $$ \Delta g_{l}=\omega_{l}\cdot\varphi([z_{l},g_{l}]),\quad\omega_{l}=2\sigma(\psi(z_{l}))-1, $$ --- ![Image](images/ec9fb61fcd8276359dd0f8d55a3dae84337e195976746b16f607c927d7d090d1.jpg) 目标图像 语义掩码 背景掩码 手部区域 损失权重
Fig. 3. Illustration of the proposed PAO and DPD modules. Left: Our perturbation-aware optimization (PAO) strategy segments the hand regions and leverages reconstruction error to generate weighted masks to guide the optimization of 3DGS. Right: The temporal weights estimated by our dynamic perturbation disentanglement (DPD) module that reflects the strengths of perturbations. Partial perturbations (e.g., occlusions) tend to have smaller weights (labeled in green), while holistic perturbations (e.g., motion blur) have larger weights (labeled in red).
其中，$\varphi$和$\psi$均通过多层感知机实现，$\sigma$表示Sigmoid函数。此外，我们以30%的概率将$\omega_l$随机设为0，以便高斯属性预测网络能够独立拟合每一帧，从而促使网络捕捉高斯属性的主要成分。 讨论：与现有的可变形3D高斯和4D高斯方法[^71]、[^72]相比，我们提出的时间加权高斯属性偏差的作用机制存在本质差异。大多数现有方法利用偏差来实现更灵活的形变，也就是说，较大的偏差值往往更有利；而我们的方法则是利用偏差来显式建模并缓解扰动，因此更倾向于较小的偏差值。图3支持了这一结论，该图可视化了受遮挡和运动模糊影响的帧的学习到的时间权重。我们发现时间权重与扰动强度成正比：例如，在图3底部，扰动最严重帧的权重（最后一列）约为干净帧（第二列）的五倍；此外，这些时间权重的绝对值较小（介于0.0066到0.034之间），这是合理的，因为时间权重用于缩放偏差项，而非决定高斯属性的主要成分。 ### D. 扰动感知优化 除了用于建模时间扰动的DPD模块外，我们还提出了一种扰动感知优化（PAO）策略，该策略能够在空间上识别帧内扰动，从而实现在空间和时间维度上的全面抑制。PAO的核心思路是：受扰动影响的区域本身就更难以合成，因此渲染质量较低的区域更容易被扰动所破坏。因此，我们在优化过程中自适应地降低分配给这些区域的损失权重，以减轻其负面影响。 具体来说，我们利用Segment Anything Model（SAM）[^51]将输入图像$I_l$分割为U个区域，并用$\mathcal{Y} = \{y_u \mid u = 1, \ldots, U\}$表示对应的二值掩码。SAM的一个优势在于它支持提示输入，因此我们可以用手部根部作为提示来便捷地定位手部；令$y_h$表示目标手部的掩码。我们为每个区域分配各向异性的损失权重，计算公式如下： $$ \lambda_{u}=\alpha\cdot\kappa\big(\mathcal{T}_{\mathcal{E}}-\mathcal{E}_{u}\big)\cdot\kappa\big(\mu_{u}-\mathcal{T}_{\mu}\big)\cdot\big(1/(1+\beta\cdot\omega_{l})\big). $$ 这里，$\alpha$ 和 $\beta$ 是用户自定义的缩放因子。$\kappa$ 表示ReLU函数，当 $\kappa(x) = x$ 时取值为 $x > 0$，否则为0。$\mathcal{T}_{\mathcal{E}}$ 和 $\mathcal{T}_{\mu}$ 是可学习的阈值。$\mathcal{E}_{u} = \|(I_{l} - I) \odot y_{u}\|_{1}$ 是在第u个区域上的平均 $\ell_{1}$ 损失，其中 $\odot$ 表示逐元素乘积。$\mu_{u}$ 是属于手部前景的第u个区域所占的比例，其计算公式为 $\mu_{u} = \|y_{u} \odot y_{h}\|_{0} / \|y_{h}\|_{0}$。因此，公式(5)可以被视为一个分段函数：它选取手部区域（通过 $\kappa(\mu_{u} - \mathcal{T}_{\mu})$）并保留具有可接受渲染质量的部分（通过 $\kappa(\mathcal{T}_{\mathcal{E}} - \mathcal{E}_{u})$）。此外，我们还将给定帧的时间权重 $\omega_{l}$ 纳入公式(5)，以调节 $\lambda_{u}$。 因此，整合所有区域的整体加权掩码定义如下： $$ \mathcal{W}=\sum_{u=1}^{U}\lambda_{u}\cdot y_{u}+(1-y_{h})\cdot\kappa(\mathcal{T}_{b}-\left\Vert I_{l}-I\right\Vert_{1}), $$ 其中公式(6)中的第二项用于控制背景的权重，而 $\mathcal{T}_{b}$ 同样是一个可学习的阈值。图3展示了一个存在手部遮挡的场景，在此场景中，所提出的PAO策略会给可见的手部区域分配更高的权重。 ### E. 优化目标 我们利用PAO策略计算出的加权掩码 $\mathcal{W}$，通过最小化以下损失函数来优化WildGHand： $$ \mathcal{L}=\mathcal{W}\odot\mathcal{L}_{\mathrm{r e c}}(I_{l},I)+\mathcal{L}_{\mathrm{r e g}}, $$ ---
TABLE II
DETAILED DESCRIPTION OF THE PROPOSED HWP DATASET, COVERING HAND TYPE, PRIMARY ACTION, RECORDING DEVICE, NUMBER OF FRAMES, AND THE PRESENCE OF PERTURBATIONS.
CaptureHandActionCapture Device#FramesPerturbations
InteractionComplexPosesIllumination
Changes
0SingleGrabbing blocksMobile phone901✓✓
1SingleMultiple gesturesMobile phone742✓
2SingleMultiple gesturesMobile phone828✓
3SingleSpinning a penMobile phone1086✓
4InteractingSpinning a penWebcam1662✓
5InteractingSticking stickersWebcam1216✓
6InteractingApplying lotionWebcam1524✓✓
7InteractingMultiple gesturesWebcam1360✓✓
8InteractingPutting on a watchWebcam1444✓✓
9InteractingScrolling on a phoneMobile phone1533✓✓
10InteractingShuffling cardsMobile phone1525✓✓
其中 $\mathcal{L}_{\mathrm{rec}}$ 表示输入帧 [^10] 与渲染图像I之间的重建损失 $I_{l}$。$\mathcal{L}_{\mathrm{reg}}$ 是由以下组成部分构成的正则化项： $$ \begin{aligned}\mathcal{L}_{\mathrm{reg}}=\sum_{n=1}^{N}&\lambda_{\mathrm{bias}}\|\Delta g_{n}\|_{1}+\lambda_{\xi}\|\xi_{n}-1\|_{2}+\lambda_{o}\|o_{n}-1\|_{2}\\&+\lambda_{\mathrm{Lap}}\mathcal{L}_{\mathrm{Lap}}-\lambda_{\mathcal{W}}\|\mathcal{W}\|_{1}.\end{aligned} $$ 这里，$\lambda_{\text{bias}}$、$\lambda_{\xi}$、$\lambda_o$、$\lambda_{\text{Lap}}$ 和 $\lambda_{\mathcal{W}}$ 是用户定义的损失权重。公式(8)的前三项分别对高斯属性偏差 $\Delta g$、阴影系数 $\xi$ 以及不透明度o施加逐点正则化约束。$\mathcal{L}_{\text{Lap}}$ 是一种拉普拉斯正则化器 [^26]，用于提升顶点之间的连通性。最后，我们将项 $\|\mathcal{W}\|_1$ 纳入优化目标中，以防止出现平凡的权重赋值情况（例如所有区域权重都被设为零）。借助这些加权目标，我们可以在优化过程中动态调整每个区域的贡献，从而确保输入视频能够被精确重建。 在交互式手部序列的训练过程中，我们引入了一个额外的 $\ell_{1}$ 正则化项，用以强制左右手的纹理特征保持一致： $$ \mathcal{L}_{\mathrm{c r o s s}}=\|\mathbf{T}_{\mathrm{l e f t}}-\mathbf{T}_{\mathrm{r i g h t}}\|_{1}, $$ 其中 $T_{left}$ 和 $T_{right}$ 分别表示提取出的左手和右手的纹理特征。该项利用了人手固有的双侧对称性，使得一只手的可视区域能够为重建另一只手的遮挡区域提供有效线索。因此，即便没有显式的关节建模，系统也能稳健地推断缺失的纹理，并在双手相互遮挡的情况下保持外观一致性。 为表述清晰起见，我们在主要公式中主要关注单手场景，而交叉手一致性项仅在交互式手部序列的训练阶段才会被纳入考虑。 ### IV. HWP数据集 如表I所示，现有大多数手部视频数据集都存在明显的局限性，比如交互多样性有限、对现实世界干扰的覆盖不足，或者缺乏干净且可靠的测试子集。因此，我们 ![Image](images/dc11466af73fd7c83c2063b47e7e013d74848f9653a6e3a05acf5550f26276a2.jpg)
Fig. 4. Visual examples of our HWP dataset, which covers diverse challenging scenes like motion blur, hand-object interactions, illumination variations, and complex poses (from top left to bottom right).
介绍HWP数据集，这是一个在不受约束的环境中采集的单目手部视频数据集，旨在解决上述问题。 具体而言，HWP上的视频是通过固定的单摄像头或手持手机录制的。我们针对四种主要的扰动类型：(i) 手-物体交互、(ii) 复杂姿态、(iii) 光照变化以及(iv) 运动模糊。为了提升真实感与交互多样性，我们选取了日常动作和手势，比如转笔或涂抹护手霜。总体而言，该数据集包含四个单手序列和七个双手交互序列，共计超过1.38万帧。 表二总结了所提出的HWP数据集的组成，包括手部类型（单手或双手交互）、主要动作类别、录制设备（固定摄像头或手持手机）、帧数以及相关的扰动类型。图4展示了来自不同序列的典型视觉样本。 通过这种方式，所提出的HWP数据集在分类清晰的条件下涵盖了广泛且系统分类的扰动类型，同时保留了独立、纯净的测试子集以实现客观评估。这种设计既能在特定挑战下进行细粒度评估，也能在真实的野外场景中实现公平的方法间比较。 ### 五、实验 在本节中，我们通过大量实验验证了所提出的WildGHand框架的有效性。我们在公开可用的数据集上进行了评估，同时也… ---
TABLE III
COMPARISON WITH STATE-OF-THE-ART METHODS ON THE THREE DATASET, INCLUDING WILDGHAND, INTERHAND2.6M AND ANCHORCRAFTER. “SINGLE” AND “INTER.” DENOTE SINGLE-HAND AND INTERACTING-HAND SCENARIOS, RESPECTIVELY.
MethodWildGHand (Single)WildGHand (Inter.)InterHand2.6M (Inter.)AnchorCrafter (Inter.)
PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
UHM [^8]20.240.8670.203---------
Handy [^63]22.990.8740.12724.100.8640.14124.340.8670.19825.880.9120.074
InterGaussianHand [^10]23.060.8580.14724.690.8510.14826.700.8610.17324.280.9120.098
WildGHand (Ours)26.240.9160.11626.290.8930.12228.250.8940.15127.680.9480.072
TABLE IV
COMPARISON ON ONLINE VIDEOS.
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
Handy [^63]21.460.8090.191
InterGaussianHand [^10]22.950.8200.157
WildGHand (Ours)27.390.9200.080
使用了自行采集及在线视频，这些视频涵盖了广泛的野外扰动情况。 ### A. 数据集 我们在HWP数据集、InterHand2.6M [^7]、AnchorCrafter数据集 [^73]以及野外在线视频上对所提出的方法进行评估。对于每段视频，我们使用80%的帧进行优化，10%用于验证，10%用于测试。除HWP外的三个数据集的详情如下： InterHand2.6M。InterHand2.6M [^7]是一个广泛用于手部交互研究的实验室基准数据集。我们选取了三个序列进行评估：Capture21/0390_dh_touchROM/cam400015、Capture21/0390_dh_touchROM/cam400016以及Capture21/0286_handscratch/cam400016。 AnchorCrafter数据集。AnchorCrafter数据集 [^73]提供了野外的人-物交互视频。我们使用tune/1_0序列来评估其在手-物体交互场景下的性能。 在线视频。为了进一步评估泛化能力，我们在从在线平台收集的手部视频上进行了测试，这些视频具有多样的光照条件、摄像头运动、背景以及遮挡情况。 ### B. 实验设置 实现细节。根据[^10]的描述，我们在大规模Inter-Hand2.6M数据集[^7]（采用CC BY-NC 4.0许可）上预训练高斯属性预测网络。对于每段视频，我们在两张NVIDIA A6000 GPU上优化模型，批量大小为4，训练50个周期，优化器采用Adam[^74]。可学习阈值的初始学习率设为$1 \times 10^{-6}$，其余参数的初始学习率设为$1 \times 10^{-4}$；每五个周期这两种学习率都会衰减为原来的一半。潜在身份映射D的特征维度设为33。公式(8)中的损失权重分别设为$\lambda_{\text{bias}} = 0.1$、$\lambda_{\xi} = 0.001$、$\lambda_o = 0.1$、$\lambda_{\text{Lap}} = 0.1$和$\lambda_{\mathcal{W}} = 0.5$。交互手视频的初始可学习阈值设为$\mathcal{T}_{\mathcal{E}} = 1.0$、$\mathcal{T}_\mu = 0.3$和$\mathcal{T}_b = 10.0$，单手视频的初始可学习阈值则设为$\mathcal{T}_{\mathcal{E}} = 1.0$、$\mathcal{T}_\mu = 0.3$和$\mathcal{T}_b = 3.0$。 基线方法与评估指标。我们将WildGHand与三种开创性的手部虚拟形象方法进行比较，包括UHM[^8]、Handy[^63]以及InterGaussianHand[^10]。所有方法均基于其开源实现，在相同的实验设置下进行训练和评估。在这些方法中，UHM和Handy均采用各自的手部模型。不过，UHM仅提供了在其自有数据集上拟合的右手模型，该模型与MANO-HD不兼容且难以转换，因此我们仅报告UHM的单手性能。至于Handy，它与MANO-HD兼容，我们据此对其进行转换，并利用可微渲染技术优化其纹理模型的潜在向量。根据[^8]、[^10]、[^20]、[^63]的描述，我们采用PSNR[^75]、LPIPS[^76]和SSIM[^77]来评估渲染图像的质量。 ### C. 与最先进方法的比较 定量比较。表III报告了我们的方法与最先进方法在HWP、InterHand2.6M和AnchorCrafter上的定量结果。所提出的WildGHand框架在单手和交互手场景下，各项指标均始终优于所有基线方法，充分体现了其有效性与鲁棒性。表IV进一步报告了在互联网视频上的结果，凸显了该方法在真实环境下的强大泛化能力。 我们此前的InterGaussianHand方法专为单次重建设计，依赖采集良好的图像和精确的手部网格估计，因此极易受目标帧中扰动的影响，进而导致性能大幅下降。同样，Handy方法将显式手部网格与隐式纹理优化相结合，对扰动较为敏感；此外，其纹理优化容易过度拟合到无关细节，进一步降低了性能。由于UHM与MANO-HD不兼容，它需借助现成的估计器来获取前景掩码和关节坐标，再优化其动画目标。但这一过程常因扰动而受阻，导致拟合不稳定且性能下降。相比之下，WildGHand通过引入DPD模块和PAO策略，有效缓解了这些问题，从而生成高质量的结果。 定性比较。图5展示了我们的方法与基线方法在……上的定性比较 --- ![Image](images/6608fdc4da95e8c51655f3fb52482b43e4774e9ec74669147d4bf42dabfb13aa.jpg)
Fig. 5. Qualitative comparisons between our proposed WildGHand model with state-of-the-art methods on interacting-hand videos (top) and single-hand videos (bottom).
TABLE V
COMPARISON WITH STATE-OF-THE-ART METHODS ON THE INTERACTING-HAND VIDEOS OF THE HWP DATASET, EVALUATED ACROSS FOUR SCENARIOS: HAND-OBJECT INTERACTIONS, COMPLEX POSES, ILLUMINATION VARIATIONS, AND MOTION BLUR.
MethodHand-object InteractionsComplex PosesIllumination VariationsMotion Blur
PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
Handy24.670.8720.13824.140.8630.13820.650.8140.15624.330.8720.139
InterGaussianHand25.110.8580.14624.510.8480.14222.180.8050.15824.710.8600.145
WildGHand (ours)26.870.9020.11825.290.8810.12422.810.8390.14826.680.9010.116
交互手和单手视频。在存在扰动的情况下，InterGaussianHand无法生成准确的手部几何形状和外观。由于缺乏专门处理干扰和遮挡的机制，它会受到移动物体和运动模糊的严重影响，从而导致效果欠佳。Handy虽然能够恢复基本的手部几何形状及合理的外观，但无法捕捉到细微的身份特征。尽管其在预训练隐空间中的纹理优化相对稳定，但仍会被扰动所误导，进而影响最终结果。例如，Handy合成的皮肤色调与真实情况相差甚远，尤其是在交互手场景中。UHM则受不可靠的前景掩码和关节坐标影响，生成扭曲且不自然的手部结构（如单手结果中的第一行所示）。相比之下，WildGHand能够在各种视角和姿势下成功重建复杂的手部细节，如指甲、皱纹和血管。这些定性比较进一步验证了我们的方法在生成准确且逼真的手部虚拟形象方面的鲁棒性和强大性能。 --- ![Image](images/5b406247d47d7d5ee6aee5e6a9a3ba28502856b849892b2cb8650c4598bea16e.jpg)
Fig. 6. Visual example of the ablation study on the proposed modules. Left: Weight masks learned by the proposed PAO strategy, light hand regions indicate higher weights. Right: Results of the variants of the proposed method. The full model obtains the best results consistently on various videos.
TABLE VI ABLATION STUDY ON THE PROPOSED MODULES.
DPDPAOSingle HandInteracting Hands
PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$PSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
22.650.8620.15124.860.8670.123
☑23.000.8690.13825.010.8680.122
☑☑26.240.9160.11626.290.8930.122
### D. 消融实验 我们在数据集上开展消融实验，以验证所提出的DPD模块和PAO策略的有效性。我们将高斯属性预测网络作为基线。 DPD的有效性。我们轻量级的DPD模块仅有75k个可学习参数，约占整个模型（400M）参数的0.018%。尽管其规模很小，DPD仍能提升基线的性能（见表VI），并解决一些诸如漂浮物和结构破损之类的伪影问题（见图6）。 PAO的有效性。如表VI所示，采用PAO带来的性能提升比DPD更为显著。这是合理的，因为仅仅增加网络容量而不设定恰当的优化目标，并不一定能保证增强对扰动的鲁棒性。图6还展示了PAO预测的加权掩码，它们清晰地指出了基线生成的伪影区域。在这些加权掩码的引导下，完整的WildGHand模型避免了过度拟合扰动，成功消除了渲染图像中的伪影。我们还发现，单手场景下的性能提升明显大于交互手场景（例如，前者的LPIPS分数相对降低了23.1%）。这是因为当扰动出现时，在单手视频中保留手部信息难度更大，而所提出的方法恰好解决了这一问题。 对扰动的鲁棒性。表V在四种具有挑战性的场景下，将WildGHand与两种最先进的方法Handy和Inter-GaussianHand进行了比较：手物交互、复杂姿势、光照变化和运动模糊。WildGHand的表现始终优于这两种基线，在所有设置下均取得了最佳的PSNR、SSIM值以及最低的LPIPS值。这些结果证明了WildGHand在各种现实世界扰动下的鲁棒性和有效性。 二值掩码与PAO。我们将所提出的扰动感知遮挡（PAO）策略与基于SAM的二值掩码进行了比较。如表VII所示，二值掩码缺乏几何约束，在具有挑战性的野外条件下无法可靠地区分遮挡物和背景。相比之下，PAO能够自适应地降低不可靠区域的权重，同时保留有信息的手部区域，从而提升了重建质量。 预测头的有效性。我们的网络采用了四个预测头（见第III-B节）：(i)–(ii)用于估计核心高斯属性（如颜色、位置、阴影），这些在3D高斯泼溅模型中很常见；(iii)用于预测顶点偏移量，以捕捉形状和姿态的变化；而(iv)则用于精细化处理。 ---
TABLE VII
COMPARISON BETWEEN PAO AND SAM-BASED BINARY MASK.
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
WildGHand (ours)26.440.8710.179
WildGHand w/ binary mask25.360.8440.184
TABLE VIII
ABLATION ON PREDICTION HEADS.
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
WildGHand (ours)26.440.8710.179
w/o Heads (iii) & (iv)26.200.8640.177
通过残差校正来提取手部专属参数。如表VIII所示，移除预测头(iii)和(iv)会导致重建精度和感知质量出现明显下降。 ### E. 偏差强度与解读 如第III-C节所述，我们的偏差模型用于描述帧级扰动。因此，较大的偏差幅度意味着更强的扰动，这是不被青睐的。这一点可以通过图3得到验证：时间权重与视觉干扰程度呈相关关系。我们在表IX中进一步报告了不同噪声水平下采集数据的时间权重平均值。显然，扰动程度越高，权重越大且图像质量越低，这证实了模型的自适应行为。 ### VI. 结论 在本文中，我们提出了WildGHand，用于从单目自然场景视频中重建高保真手部虚拟形象，该过程需应对各种扰动。WildGHand引入了动态扰动解耦模块，在优化过程中将扰动建模为3D高斯属性的时间加权偏差，并在推理阶段消除这些偏差，从而降低对扰动过度拟合的风险。此外，WildGHand还采用了一种感知扰动的优化策略，为不可靠区域生成各向异性的加权掩码，并提供稳健的监督信号。我们在两个公开数据集以及自行收集的数据集上评估了WildGHand，涵盖单手和双手交互场景。结果表明，WildGHand能够持续生成高质量的手部虚拟形象，且在多项定性和定量指标上均优于现有最先进方法。 ## 参考文献 [^1]: B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng, "Nerf: Representing scenes as neural radiance fields for view synthesis," Communications of the ACM, vol. 65, no. 1, pp. 99–106, 2021. [^2]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3d gaussian splatting for real-time radiance field rendering,” ACM TOG, vol. 42, no. 4, pp. 139–1, 2023.
TABLE IX
[^3]: X. Huang, H. Li, Z. Yang, Z. Wang, and X. Liang, "3d visibility-aware generalizable neural radiance fields for interacting hands," in AAAI, vol. 38, no. 3, 2024, pp. 2400–2408.
AVERAGE TEMPORAL WEIGHT VS. PERTURBATION LEVEL. HIGHER PERTURBATION CORRELATES WITH LARGER WEIGHTS AND DEGRADED QUALITY. WEIGHTS ARE SCALED BY $10^{-3}$ FOR READABILITY.
CaptureDisturbancePSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$Avg. T. Wt. ( $\times 10^{-3}$) $\uparrow$
4Low29.590.9310.1150.234
5Medium28.000.9150.1161.581
6High27.830.9070.1237.572
TABLE X
MEAN AND STANDARD DEVIATION OF THE PERFORMANCE OF INTERGAUSSIANHAND AND WILDGHAND.
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
InterGaussianHand26.2518 $\pm$0.07700.8723 $\pm$0.00090.1582 $\pm$0.0012
WildGHand (ours)29.5859 $\pm$0.10280.9313 $\pm$0.00150.1146 $\pm$0.0029
[^4]: A. Mundra, J. Wang, M. Habermann, C. Theobalt, M. Elgharib et al., "Livehand: Real-time and photorealistic neural hand rendering," in ICCV, 2023, pp. 18035–18045. [^5]: X. Chen, B. Wang, and H.-Y. Shum, "Hand avatar: Free-pose hand animation and rendering from monocular video," in CVPR, 2023, pp. 8683–8693. [^6]: Z. Guo, W. Zhou, M. Wang, L. Li, and H. Li, "Handnerf: Neural radiance fields for animatable interacting hands," in CVPR, 2023, pp. 21078–21087. [^7]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, “Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image,” in ECCV. Springer, 2020, pp. 548–564. [^8]: G. Moon, W. Xu, R. Joshi, C. Wu, and T. Shiratori, “Authentic hand avatar from a phone scan via universal hand model,” in CVPR, 2024, pp. 2029–2038. [^9]: X. Zheng, C. Wen, Z. Su, Z. Xu, Z. Li, Y. Zhao, and Z. Xue, “Ohta: One-shot hand avatar via data-driven implicit priors,” in CVPR, 2024, pp. 799–810. [^10]: X. Huang, H. Li, W. Liu, X. Liang, Y. Yan, Y. Cheng, and C. GAO, “Learning interaction-aware 3d gaussian splatting for one-shot hand avatars,” in NeurIPS, 2024. [^11]: R. Martin-Brualla, N. Radwan, M. S. M. Sajjadi, J. T. Barron, A. Dosovitskiy, and D. Duckworth, “Nerf in the wild: Neural radiance fields for unconstrained photo collections,” in CVPR, Jun 2021. [^12]: S. Sabour, S. Vora, D. Duckworth, I. Krasin, D. Fleet, and A. Tagliasacchi, “Robustnerf: Ignoring distractors with robust losses,” in CVPR, 2023, pp. 20626–20636. [^13]: S. Sabour, L. Goli, G. Kopanas, M. Matthews, D. Lagun, L. Guibas, A. Jacobson, D. J. Fleet, and A. Tagliasacchi, “Spotlesssplats: Ignoring distractors in 3d gaussian splatting,” ACM TOG, vol. 44, no. 2, pp. 1–11, 2025. [^14]: P. Ungermann, A. Ettenhofer, M. Nießner, and B. Roessle, “Robust 3d gaussian splatting for novel view synthesis in presence of distractors,” in DAGM German Conference on Pattern Recognition. Springer, 2024, pp. 153–167. [^15]: A. Markin, V. Pryadilshchikov, A. Komarichev, R. Rakhimov, P. Wonka, and E. Burnaev, "T-3dgs: Removing transient objects for 3d scene reconstruction," arXiv preprint arXiv:2412.00155, 2024. [^16]: J. Kulhanek, S. Peng, Z. Kukelova, M. Pollefeys, and T. Sattler, "Wildgaussians: 3d gaussian splatting in the wild," in NeurIPS, 2024. [^17]: M. Oquab, T. Darcet, T. Moutakanni, H. Vo, M. Szafraniec, V. Khalidov, P. Fernandez, D. Haziza, F. Massa, A. El-Nouby et al., “Dinov2: Learning robust visual features without supervision,” Transactions on Machine Learning Research Journal, pp. 1–31, 2024. [^18]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield et al., “Dexycb: A benchmark for capturing hand grasping of objects,” in CVPR, 2021, pp. 9044–9053. [^19]: Z. Fan, O. Taheri, D. Tzionas, M. Kocabas, M. Kaufmann, M. J. Black, and O. Hilliges, "ARCTIC: A dataset for dexterous bimanual hand-object manipulation," in Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. ## [^20]: K. Karunratanakul, S. Prokudin, O. Hilliges, and S. Tang, "Harp --- “基于单目RGB视频的个性化手部重建”，载于CVPR，2023年，第12802–12813页。 [^21]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik, "Reconstructing hands in 3D with transformers," in CVPR, 2024. [^22]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu et al., “Ego4d: Around the world in 3,000 hours of egocentric video,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 18995–19012. [^23]: D. Chen, H. Li, W. Ye, Y. Wang, W. Xie, S. Zhai, N. Wang, H. Liu, H. Bao, and G. Zhang, "Pgsr: Planar-based gaussian splatting for efficient and high-fidelity surface reconstruction," IEEE TVCG, 2024. [^24]: S. Zheng, B. Zhou, R. Shao, B. Liu, S. Zhang, L. Nie, and Y. Liu, "Gps-gaussian: Generalizable pixel-wise 3d gaussian splatting for real-time human novel view synthesis," in CVPR, 2024, pp. 19680–19690. [^25]: S. Niedermayr, J. Stumpfegger, and R. Westermann, “Compressed 3d gaussian splatting for accelerated novel view synthesis,” in CVPR, 2024, pp. 10349–10358. [^26]: G. Moon, T. Shiratori, and S. Saito, “Expressive whole-body 3d gaussian avatar,” in ECCV. Springer, 2024, pp. 19–35. [^27]: W. Jiang, K. M. Yi, G. Samei, O. Tuzel, and A. Ranjan, “Neuman: Neural human radiance field from a single video,” in ECCV. Springer, 2022, pp. 402–418. [^28]: C. Guo, T. Jiang, X. Chen, J. Song, and O. Hilliges, “Vid2avatar: 3d avatar reconstruction from videos in the wild via self-supervised scene decomposition,” in CVPR, 2023, pp. 12858–12868. [^29]: T. Jiang, X. Chen, J. Song, and O. Hilliges, “Instantavatar: Learning avatars from monocular video in 60 seconds,” in CVPR, 2023, pp. 16922–16932. [^30]: K. Shen, C. Guo, M. Kaufmann, J. J. Zarate, J. Valentin, J. Song, and O. Hilliges, "X-avatar: Expressive human avatars," in CVPR, 2023, pp. 16911–16921. [^31]: S. Liu, L. Gu, Z. Cui, X. Chu, and T. Harada, “I2-nerf: Learning neural radiance fields under physically-grounded media interactions,” in NeurIPS, 2025. [^32]: Z. Li, D. Wang, K. Chen, Z. Lv, T. Nguyen-Phuoc, M. Lee, J.-B. Huang, L. Xiao, Y. Zhu, C. S. Marshall et al., “Lirm: Large inverse rendering model for progressive reconstruction of shape, materials and view-dependent radiance fields,” in CVPR, 2025, pp. 505–517. [^33]: S. Koch, J. Wald, M. Colosi, N. Vaskevicius, P. Hermosilla, F. Tombari, and T. Ropinski, “Relationfield: Relate anything in radiance fields,” in CVPR, 2025, pp. 21706–21716. [^34]: L. Weijler, S. Koch, F. Poiesi, T. Ropinski, and P. Hermosilla, “Open-hype: Hyperbolic embeddings for hierarchical open-vocabulary radiance fields,” in NeurIPS, 2025. [^35]: J. Cao, H. Wu, Z. Feng, H. Bao, X. Zhou, and S. Peng, “Universe: Unleashing the scene prior of video diffusion models for robust radiance field reconstruction,” in ICCV, 2025, pp. 27031–27041. [^36]: J. Tang, F. Fei, Z. Li, X. Tang, S. Liu, Y. Chen, B. Huang, Z. Chen, X. Wu, and B. Shi, “Spectre-gs: Modeling highly specular surfaces with reflected nearby objects by tracing rays in 3d gaussian splatting,” in CVPR, 2025, pp. 16133–16142. [^37]: J. Guo, Y. Xin, G. Liu, K. Xu, L. Liu, and R. Hu, “Articulatedgs: Self-supervised digital twin modeling of articulated objects using 3d gaussian splatting,” in CVPR, 2025, pp. 27 144–27 153. [^38]: Z. Gao, R. Yi, Y. Dai, X. Zhu, W. Chen, C. Zhu, and K. Xu, "Curve-aware gaussian splatting for 3d parametric curve reconstruction," in ICCV, 2025, pp. 27 531–27 541. [^39]: B. Kim, S. Saito, G. Nam, T. Simon, J. Saragih, H. Joo, and J. Li, "Haircup: Hair compositional universal prior for 3d gaussian avatars," in ICCV, 2025, pp. 9966–9976. [^40]: Y. Zhong, Z. Li, D. Z. Chen, L. Hong, and D. Xu, “Taming video diffusion prior with scene-grounding guidance for 3d gaussian splatting from sparse inputs,” in CVPR, 2025, pp. 6133–6143. [^41]: K. Schwarz, N. Mueller, and P. Kontschieder, “Generative gaussian splatting: Generating 3d scenes with video diffusion priors,” in ICCV, 2025, pp. 27510–27520. [^42]: J. Li, Z. Song, and B. Yang, “Trace: Learning 3d gaussian physical dynamics from multi-view videos,” in ICCV, 2025, pp. 8820–8829. [^43]: H. Go, B. Park, H. Nam, B.-H. Kim, H. Chung, and C. Kim, "Videorfsplat: Direct scene-level text-to-3d gaussian splatting generation with flexible pose and multi-view joint modeling," in ICCV, 2025, pp. 26706–26717. [^44]: H. Zhao, H. Wang, X. Zhao, H. Fei, H. Wang, C. Long, and H. Zou, "Physsplat: Efficient physics simulation for 3d scenes via mllm-guided gaussian splatting," in ICCV, 2025, pp. 5242–5252. [^45]: W. Li, R. Zhou, J. Zhou, Y. Song, J. Herter, M. Qin, G. Huang, and H. Pfister, "4d langsplat: 4d language gaussian splatting via multimodal large language models," in CVPR, 2025, pp. 22001–22011. [^46]: W. Zhang, J. Zhou, H. Geng, W. Zhang, and Y.-S. Liu, “Gap: Gaussianize any point clouds with text guidance,” in ICCV, 2025, pp. 25627–25638. [^47]: Z. Ma, H. Li, Z. Xie, X. Luo, M. Kampffmeyer, F. Gao, and X. Liang, "Ergo: Excess-risk-guided optimization for high-fidelity monocular 3d gaussian splatting," arXiv preprint arXiv:2602.10278, 2026. [^48]: D. Damen, H. Doughty, G. M. Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, T. Perrett, W. Price, and M. Wray, “Scaling egocentric vision: The epic-kitchens dataset,” in European Conference on Computer Vision (ECCV), 2018. [^49]: J. Chen, Y. Qin, L. Liu, J. Lu, and G. Li, “Nerf-hugs: Improved neural radiance fields in non-static scenes using heuristics-guided segmentation,” in CVPR, 2024, pp. 19436–19446. [^50]: T. Wu, F. Zhong, A. Tagliasacchi, F. Cole, and G. Research, “D 2 nerf: Self-supervised decoupling of dynamic and static objects from a monocular video,” NeurIPS, vol. 35, pp. 32 653–32 666, 2022. [^51]: A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. Berg, W.-Y. Lo, P. Dollár, and R. Girshick, “Segment anything,” in ICCV, 2023, pp. 4015–4026. [^52]: Y. Wang, J. Wang, and Y. Qi, "We-gs: An in-the-wild efficient 3d gaussian representation for unconstrained photo collections," arXiv preprint arXiv:2406.02407, 2024. [^53]: J. Xu, Y. Mei, and V. M. Patel, "Wild-gs: Real-time novel view synthesis from unconstrained photo collections," NeurIPS, vol. 37, pp. 103334–103355, 2024. [^54]: D. Zhang, C. Wang, W. Wang, P. Li, M. Qin, and H. Wang, “Gaussian in the wild: 3d gaussian splatting for unconstrained image collections,” in ECCV. Springer, 2024, pp. 341–359. [^55]: S. Sun, C. Zhao, Z. Sun, Y. V. Chen, and M. Chen, “Splatflow: Self-supervised dynamic gaussian splatting in neural motion flow field for autonomous driving,” in CVPR, 2025, pp. 27487–27496. [^56]: J. Kwon, H. Cho, and J. Kim, “Efficient dynamic scene editing via 4d gaussian-based static-dynamic separation,” in CVPR, 2025, pp. 26855–26865. [^57]: Y. Yao, Z. Deng, and J. Hou, “Riggs: Rigging of 3d gaussians for modeling articulated objects in videos,” in CVPR, 2025, pp. 5592–5601. [^58]: Z. Luo, H. Ran, and L. Lu, “Instant4d: 4d gaussian splatting in minutes,” in NeurIPS, 2025. [^59]: J. Park, M.-Q. V. Bui, J. L. G. Bello, J. Moon, J. Oh, and M. Kim, “Splinegs: Robust motion-adaptive spline for real-time dynamic 3d gaussians from monocular video,” in CVPR, 2025, pp. 26866–26875. [^60]: J. Lei, Y. Weng, A. W. Harley, L. Guibas, and K. Daniilidis, “Mosca: Dynamic gaussian fusion from casual videos via 4d motion scaffolds,” in CVPR, 2025, pp. 6165–6177. [^61]: Z. Gao, B. Planche, M. Zheng, A. Choudhuri, T. Chen, and Z. Wu, "7dgs: Unified spatial-temporal-angular gaussian splatting," in ICCV, 2025, pp. 26316–26325. [^62]: S. Iwase, S. Saito, T. Simon, S. Lombardi, T. Bagautdinov, R. Joshi, F. Prada, T. Shiratori, Y. Sheikh, and J. Saragih, "Relightablehands: Efficient neural relighting of articulated hand models," in CVPR, 2023, pp. 16663–16673. [^63]: R. A. Potamias, S. Ploumpis, S. Moschoglou, V. Triantafyllou, and S. Zafeiriou, “Handy: Towards a high fidelity 3d hand shape and appearance model,” in CVPR, 2023, pp. 4670–4680. [^64]: Y. Pang, R. Shao, J. Zhang, H. Tu, Y. Liu, B. Zhou, H. Zhang, and Y. Liu, "Manivideo: Generating hand-object manipulation video with dexterous and generalizable grasping," in CVPR, 2025, pp. 12209–12219. [^65]: Y. Fan, Q. Yang, K. Wang, H. Zhou, Y. Li, H. Feng, E. Ding, Y. Wu, and J. Wang, "Re-hold: Video hand object interaction reenactment via adaptive layout-instructed diffusion model," in CVPR, 2025, pp. 17550–17560. [^66]: L. Wang, Z. Xia, T. Hu, P. Wang, P. Wei, Z. Zheng, M. Zhou, Y. Zhang, and M. Gao, "Dreamactor-h1: High-fidelity human-product demonstration video generation via motion-designed diffusion transformers," arXiv preprint arXiv:2506.10568, 2025. [^67]: K. Chen, C. Min, L. Zhang, S. Hampali, C. Keskin, and S. Sridhar, "Foundhand: Large-scale domain-specific learning for controllable hand image generation," in CVPR, 2025, pp. 17448–17460. [^68]: L. Zhao, X. Lu, R. Fan, S. K. Im, and L. Wang, “Gaussian hand: Real-time 3d gaussian rendering for hand avatar animation,” IEEE TVCG, 2024. ## [^69]: R. Hartley and A. Zisserman, Multiple view geometry in computer vision. Cambridge university press, 2003 --- [^70]: D. Lin, Y. Zhang, M. Li, Y. Liu, W. Jing, Q. Yan, Q. Wang, and H. Zhang, “Omnihands: Towards robust 4d hand mesh recovery via a versatile transformer,” arXiv preprint arXiv:2405.20330, 2024. [^71]: G. Wu, T. Yi, J. Fang, L. Xie, X. Zhang, W. Wei, W. Liu, Q. Tian, and X. Wang, “4d gaussian splatting for real-time dynamic scene rendering,” in CVPR, 2024, pp. 20310–20320. [^72]: Z. Yang, X. Gao, W. Zhou, S. Jiao, Y. Zhang, and X. Jin, “Deformable 3d gaussians for high-fidelity monocular dynamic scene reconstruction,” in CVPR, 2024, pp. 20331–20341. [^73]: Z. Xu, Z. Huang, J. Cao, Y. Zhang, X. Cun, Q. Shuai, Y. Wang, L. Bao, J. Li, and F. Tang, “Anchorcrafter: Animate cyberanchors saling your products via human-object interacting video generation,” arXiv preprint arXiv:2411.17383, 2024. [^74]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” arXiv preprint arXiv:1412.6980, 2014. [^75]: U. Sara, M. Akter, and M. S. Uddin, “Image quality assessment through fsim, ssim, mse and psnr—a comparative study,” Journal of Computer and Communications, vol. 7, no. 3, pp. 8–18, 2019. [^76]: R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang, “The unreasonable effectiveness of deep features as a perceptual metric,” in CVPR, 2018, pp. 586–595. [^77]: Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: from error visibility to structural similarity,” IEEE TIP, vol. 13, no. 4, pp. 600–612, 2004. ![Image](images/793545d82a926aaa82b1608f34e712348c49ebf4e1f9ee29bc8b9054ce541ae8.jpg) 李汉辉于2018年在中国广州中山大学获得计算机软件与理论专业博士学位，并于2012年在该校获得计算机科学与技术专业学士学位。他现为中山大学深圳校区的研究型副教授。此前，他于2019年至2021年在新加坡南洋理工大学担任研究员。他的研究方向包括图像处理、3D内容创作以及人工智能生成内容。 ![Image](images/d2933be3aefb2e4e0ad4cfcf9bfbb136e3ba0b1fb4aae6f29b5dcdb8d790b2a6.jpg) 黄璇于2023年在中国广东深圳中山大学智能工程学院获得智能工程专业的工学学士学位。她目前正在该校攻读智能工程专业的硕士学位。她曾在NeurIPS和AAAI等顶级会议上发表论文。她的研究兴趣集中在3D重建、视频生成及其在数字人领域的应用。 ![Image](images/f8ee5aada2e28fac1681253b8a3a3c6256148ceee46e3f823d4f12db07ef4fa8.jpg) 刘万全于1985年在中国曲阜师范大学获得应用数学专业学士学位，1988年在中国科学院获得控制理论与运筹学硕士学位，1993年在上海交通大学获得电气工程博士学位。他曾获得ARC、U2000和JSPS奖学金，并从各类渠道获得了超过240万美元的研究经费。他是中国广州中山大学智能工程学院的全职教授。他的研究方向包括 大规模模式识别、机器学习以及控制系统。 ![Image](images/aceb16b1dc14f64f5f4477f6854399420419303869e5b5aa2c1f1c1971f4f124.jpg) 程宇浩于2018年在中国北京获得北京邮电大学工学学士学位，同年在英国伦敦获得伦敦玛丽女王大学一等荣誉工学学士学位，并于2021年在中国北京再次获得北京邮电大学硕士学位。他目前就职于联想研究院。他当前的研究方向包括大语言模型、以人为中心的计算机视觉、视频表示等。 ![Image](images/e91120f3e031ca51ef9725184873aef164ebbdd1492c217f79b73d01f13ac8ad.jpg) 陈龙于2016年在中国沈阳获得东北大学学士学位，于2019年在中国天津获得天津大学硕士学位。他目前是联想研究院的顾问研究员。他的研究兴趣包括计算机视觉、图像生成以及模式识别。 ![Image](images/36551237e089fd42705a51e25d91a6c1c833511b534bba5f8841b0c2b5256bb3.jpg) 严义强是联想集团的杰出研究员，长期致力于智能设备的研发工作。他主导开发了多款行业首创的设备，包括无线显示设备、智能电视、柔性设备、智能零售设备以及平板/笔记本二合一设备。他主导研发的产品在CES和MWC上斩获超过120个奖项，并于2021年荣获CCF技术发明奖。目前，他负责大语言模型相关的计算架构与人机交互方面的PC创新工作。他共拥有78项发明专利，其中19项为美国专利。 ![Image](images/003ef5ddc9fe20d637c465201f833fc49d4eb4fae2d8e61f816b931fbd1f64bf.jpg) 梁晓丹目前是中山大学的教授。2016年至2018年，她曾在卡内基梅隆大学机器学习系担任博士后研究员，师从Eric Xing教授。她于2016年在中山大学获得博士学位。她在人体相关分析领域发表了多项前沿成果，包括人体解析、行人检测、实例分割、2D/3D人体姿态估计以及行为识别等。 ![Image](images/5a033947f5b86a6050e2f9e5f0462d5e252d7b715b2d7cf48f7c9c2d900f04c4.jpg) 高晨强于2004年在中国武汉获得中国地质大学计算机科学学士学位，于2009年在中国武汉获得华中科技大学控制科学与工程博士学位。2009年8月，他加入位于中国重庆的重庆邮电大学通信与信息工程学院。2012年9月，他加入位于美国宾夕法尼亚州匹兹堡的卡内基梅隆大学计算机学院Informedia小组，从事多媒体事件检测（MED）和监控事件检测（SED）相关研究，直至2014年3月返回重庆邮电大学。2023年9月，他加入位于中国广东深圳的中山大学智能工程学院。他的研究兴趣包括图像处理、红外目标检测、动作识别以及事件检测。