# 基于多视角时空跟踪与物理感知高斯模型的高保真4D手物捕捉技术 鲍鹏 $^{1,2,*}$、陈旭 $^1$、顾毅 $^{1,3}$、松木秀信 $^1$、窦明松 $^1$、沈静静 $^1$、孔德英 $^1$、张举勇 $^2$、沈正阳 $^1*$ $^{1}$ Google XR $^{2}$ 中国科学技术大学（USTC） $^{3}$ 香港科技大学（广州） $^{*}$ 贡献相同 摘要：在具身智能与空间计算领域，对高保真4D手物交互数据的需求日益增长，但目前这类数据的获取受限于对预扫描物体模板和物理标记的依赖。尽管近期的一些方法在从视频中重建4D手物交互方面取得了不错的效果，但它们对手部和物体姿态的初始估计极为敏感。而从图像中估计这些姿态颇具挑战性，尤其是在手物交互场景中常见的严重遮挡情况下。我们提出了一种全新的系统，无需任何模板或标记，即可从同步且经过校准的多视角视频中稳健、精确地重建手部和物体。该系统包含两大核心创新组件：（1）多视角前馈Transformer模型，能够整合跨视角几何信息与时间线索，为手部和物体的姿态以及密集物体几何结构提供可靠且符合度量标准的初始估计；（2）基于物理感知高斯模型的手物优化框架，用于优化初始估计结果，该框架集成了四面体约束、碰撞修正和外观分解机制，最终生成物理合理且视觉上精准的重建结果。我们在公开基准测试及大规模内部数据集上验证了该流程的有效性，结果表明其能够实现高度稳健、无伪影的重建，为自动化4D资产生成奠定了高效基础。本项目页面可访问 。 关键词：4D重建 · 手物交互 · 高斯泼溅 · 时空先验 · 数字资产 ## 1 引言 具身智能与沉浸式空间计算的快速发展，催生了对高保真4D手物交互数据的巨大需求[3, 11, 16–18, 20, 21, 48, 61]。传统上，采集此类数据需要已知的物体模板和物理标记 [^16]，或是手动标注的关键点 [^3] 来追踪物体和手部姿态。这种严格的依赖关系导致 --- 这些方法无法推广到自然界中种类繁多的未知物体，严重制约了现有采集流程的数据产出效率。 近期，已有多种方法试图仅通过视频来重建双手与物体的4D交互场景[^9] [^15] [^17] [^41]，这些方法通过优化3D高斯或NeRF表示来绕过标记和模板的限制。尽管前景广阔，但这些方法对初始参数极为敏感。若双手或物体的初始姿态估计不准确，优化过程往往会陷入糟糕的局部极小值，甚至完全发散。尽管相关研究进展迅速[^8] [^49] [^56] [^65]，但由于固有的深度歧义与严重的动态遮挡现象，从图像中估计双手及物体的姿态仍极具挑战性。因此，现有的基于视频的捕获方法往往缺乏鲁棒性，或者必须施加限制性假设，例如要求物体保持静止[^41]，或以低速运动[^9]。 为填补这一缺口，我们提出了一种新颖的系统，该系统能够利用经过校准、可覆盖360度视野且同步采集的多视角视频（由21台摄像头组成，帧率为30帧/秒），在自然交互过程中重建双手与未知物体，且鲁棒性与精度均有显著提升。我们的框架采用两阶段设计，每个阶段都包含关键创新：首先运用一种新颖的多视角时空前馈模型来实现可靠的初始化，随后通过基于物理约束的高斯优化框架来精细化几何结构与外观细节。 我们的第一项创新是通过手部-物体时空变换器（HOST）来解决初始化难题。现有的手部或物体姿态估计器[^8] [^49] [^56] [^65]主要针对单目输入设计，且高度依赖学习得到的先验知识，往往无法解决复杂交互中存在的严重深度歧义与遮挡问题。虽然近期出现的一些基础3D模型（如VGGT [^52]）能够有效利用多视角线索，但它们通常专为静态场景的重建而设计。HOST将这些基础模型拓展至动态交互场景下双手与物体的多视角跟踪任务。通过引入分解式时空注意力机制，HOST能够高效聚合不同视角与帧间的信息，从而生成准确且时间上连贯的物体与手部姿态估计结果。此外，即便物体在某些帧中部分被遮挡，HOST也能利用所有帧和视角中的几何线索，重建出完整且密集的点云。HOST能有效消除单目跟踪器无法解决的深度歧义问题，确保度量级的3D一致性，为后续的精细化处理提供可靠的几何基础。 我们的第二项创新是一个手部-物体物理感知高斯（HOPG）优化框架，它将这一初始化提升为高保真 4D 资产。我们使用独立的 2D 高斯 [^25] 云来对双手和未知物体进行建模；这些云使用跟踪得到的姿态参数以及来自 HOST 的重建稠密点云进行初始化。我们通过最小化 photometric loss 来联合优化 2D 高斯以及物体和手部姿态。为防止手部在紧密交互 [^9] [^40] 期间发生不合理的形变或体积塌缩，我们将手部高斯锚定在 tetrahedral mesh proxy 上，并使用 volumetric As-Rigid-As-Possible 对优化进行正则化 --- (ARAP)能量[^47]。此外，我们引入了专门的物理感知碰撞解决步骤，以确保不会发生穿透现象。为了重建手部与物体的高保真外观，我们进一步提出了一种时间批处理策略以及一种解耦模型[^45]，该模型能够将与视角无关的反照率以及与视角相关的镜面反射分离开来。这种分解方式可防止环境光照被“烘焙”到几何结构中，从而恢复出物体表面的固有颜色。 借助我们的框架，我们处理了包含32个具有复杂几何形状的独特物体的77个复杂序列所构成的大规模数据集。我们的系统自动化成功率超过了93%，这证明了其在自动化4D资产生成方面的卓越鲁棒性。我们在公共基准测试[^37]、VEPHand数据集[^1]以及自定义数据集上，对我们的独立模块（HOST和HOPG）以及完整流程进行了全面评估。结果证明了我们的框架在三项核心任务中的有效性：它能实现更稳健的姿态跟踪，在动态新视图合成方面表现优异，还能恢复出高度精确的密集几何结构。 综上所述，我们的主要贡献如下： 该系统能够利用同步多视角视频（例如使用21个摄像头的360度拍摄设备），无需预先扫描的模板或标记，就能稳健且准确地重建手部与物体的交互过程，从而实现高效数据采集流程的自动化。 – 一种时空Transformer模型，它能充分利用跨视角和时间线索，即便在严重遮挡的情况下也能提供可靠的几何初始化结果。 – 一个物理感知的高斯优化框架，它集成了四面体约束、碰撞细化以及外观分解功能，能够生成物理上合理且视觉上精准的4D重建结果。 ## 2 相关工作 神经手部与HOI渲染。重建高保真的动态手部-物体交互（HOI）一直是长期存在的挑战。为解决这一问题，早期研究首先聚焦于裸手神经渲染。早期的神经隐式方法，如HandAvatar [^6]，通过分离手部几何结构与纹理实现了高保真效果，但渲染速度较慢。后续的研究如LiveHand [^38]通过网格引导采样克服了这一难题，实现了实时性能；而3DGS最近则作为一种效率更高的替代方案崭露头角。GauHuman [^24]通过线性混合平滑技术对3D高斯进行变形，从而建模关节化的人体；HandSCS [^13]则通过引入结构坐标空间来连接稀疏的骨骼关节与密集的高斯点，专门应对手部的复杂关节运动。 在这些裸手重建基础之上[^13] [^19] [^27]，大量研究[^59] [^64]通过逐场景优化来恢复精确的表面与接触力学特性，进而解决HOI问题。近期的方法利用关节化的3D高斯（如MANUS [^41]、DyTact [^9]）、组合式隐式场（如HOLD [^15]），或针对未观测区域的生成式扩散先验[34,53， --- 68]。然而，这些优化框架存在两个关键局限性：当所需的跟踪初始化在严重遮挡下发生偏移时，它们必然会崩溃；而且它们经常会将环境光照信息“固化”到几何模型中。为了规避传统跟踪机制的脆弱性，诸如EasyHOI [^36]之类的最新方法利用大型视觉语言模型，在执行优化之前直接从单目自然场景输入中估算手与物体的几何结构。 手-物体姿态跟踪。为了提供上述优化流程所需的跟踪先验，一类新兴的基于推理的方法会训练前馈模型，直接从图像中回归手和物体的状态。例如，HORT [^8]采用由粗到精的Transformer架构，高效重建手持物体的密集3D点云及其相对于手部的姿态。对于复杂的手部运动，Dyn-HaMR [^65]通过结合分层手部跟踪、生成式运动先验以及SLAM技术，从单目视频中恢复全局4D轨迹。为了捕捉不同视角下的手部形态，人们也探索了多视图框架；其中，POEM [^62]提出了一种用于单帧多视图手部重建的点嵌入Transformer。此外，像SAM 3D [^5]这样的基础模型拓展了单图像3D感知能力，展现出从自然场景的2D图像中直接预测物体几何结构、纹理和场景布局的卓越能力。 不过，单目方法本质上仍易受严重的深度歧义影响，而单帧多视图融合方法往往无法保持时间一致性。相比之下，我们的HOST模块会显式聚合连续的跨视图和时间线索以解决这些歧义，从而为后续的优化流程提供度量上可靠且时间上连贯的初始化条件。 前馈几何估计。大规模预训练的成功推动3D几何估计向前馈回归方向演进 [^23] [^55]。由DUSt3R [^32] [^54] [^60]开创性提出的基础研究证明，可以直接从未经定位的图像中回归出密集的3D点图。在此基础上，VGGT [^52]及其后续模型 [^46] [^58]引入了大型网络 [^14]，用于同时预测相机参数和场景几何结构。为了使这些空间先验能够适配动态4D环境，又不会带来过高的计算开销，4D-VGGT [^51]和MonST3R [^66]等最新研究引入了时空解耦机制，分别建模结构一致性和运动连续性。与此同时，受这些以视觉几何为基础架构的启发，HGGT [^35]能够从未校准的任意视角中同时推断3D手部网格和相机姿态。与这些主要输出通用场景点云或仅专注于裸手的基础模型/单一实体模型不同，HOST被专门设计用于解析复杂的手-物体交互。通过引入时空注意力机制，我们能高效聚合多视图和时间线索，从而共同回归手和物体的状态以及特定实体的密集几何结构。这有效地将强大的通用3D先验转化为一种专门的—— --- ![Image](images/046b51d1fe071123e3c8eb478b904c5c199341e8ea06baec3252d4e5f0f5b54e.jpg)
Fig. 1: Overview of our framework. Our pipeline operates in two stages. First, the Hand Object Spatiotemporal Transformer (HOST) processes multi-view videos to robustly regress parametric hand/object poses, dense object point clouds, and segmentation masks, yielding a metric 3D initialization. Second, the Hand Object Physics-aware Gaussian (HOPG) module leverages this initialization to optimize a hybrid 2D Gaussian representation. By enforcing structural constraints and explicitly decoupling diffuse and specular appearance, HOPG effectively prevents illumination bake-in, reconstructing high-fidelity 4D assets.
可articulated追踪器，为后续的HOPG流程提供可靠的4D初始化条件。 ## 3 方法 给定同步的多视角RGB视频和经过校准的相机参数，我们的框架首先利用手部物体时空变换器（第3.1节）来建立稳健的多视角时空先验，随后通过手部物体物理感知高斯优化器（HOPG）（第3.2节）进行细化。完整流程如图1所示。 ### 3.1 HOST：手部物体时空变换器 我们框架的第一阶段旨在建立稳健的几何先验，以指导后续的体积细化工作。给定来自V个同步静态视角的F帧序列，HOST能够回归出时间上连贯的4D属性与密集几何特征。具体来说，HOST定义的映射关系$\mathcal{F}$如下： $$ \left(\mathbf{D}_{1:F,1:V},\boldsymbol{\Theta}_{1:F}^{h},\boldsymbol{\Theta}_{1:F}^{o}\right)=\mathcal{F}\left(\mathbf{I}_{1:F,1:V},t_{1:F},\mathbf{E}_{1:V},\mathbf{K}_{1:V}\right), $$ 其中，$\mathbf{D}_{1:F,1:V}$表示所有F帧和V个视角下的密集预测结果（即语义分割掩码、深度图和点云图）；$\Theta_{1:F}^{h}$和$\Theta_{1:F}^{o}$分别指代手部和物体的完整参数序列； --- $I_{1:F,1:V}$表示输入的多视角视频序列；$E_{1:V}$和$K_{1:V}$分别表示所有视角的相机外参和内参，而$t_{1:F}$则代表相对帧标识符。 时空特征骨干网络。HOST基于VGGT [^52]变换器骨干网络构建，但对其进行了空间与时间结构上的扩展。为了编码空间和时间信息，每张图像$\mathbf{I}_{f,v}$会被分割成标记$\mathbf{T}_{\text{image}}$，这一过程由冻结的DINOv2 [^39]骨干网络完成，同时还会加入基于光线的视角一致相机嵌入[^28]。与此同时，相对帧标识符$t_f$会被映射为视图共享的时间标记$\mathbf{T}_{\text{time}}$，随后与$\mathbf{T}_{\text{image}}$拼接，形成因子化注意力层的最终输入序列$(\mathbf{T}_{\text{time}}, \mathbf{T}_{\text{image}})$。 若采用类似VGGT中的帧级全局注意力机制来处理庞大的4D序列（V个视角、F帧、N个补丁），其计算复杂度将达到$\mathcal{O}((VFN)^2)$这一难以承受的程度。为了克服这一瓶颈同时保留丰富的4D上下文信息，我们提出了时空机制。该机制保留了基础的帧内注意力，但将难以处理的全局注意力显式分解为交替的空间块与时序块（见图1），第k组的特征更新周期可表示为： $$ \mathcal{B}_{\mathrm{s p a t i a l}}:\mathbf{T^{\prime}}_{k}=\mathcal{A}_{\mathrm{v i e w}}\left(\mathcal{A}_{\mathrm{f r a m e}}(\mathbf{T}_{k})\right), $$ $$ \begin{array}{r}{\mathcal{B}_{\mathrm{t e m p o r a l}}:\mathbf{T}_{k+1}=\mathcal{A}_{\mathrm{t e m p o r a l}}\left(\mathcal{A}_{\mathrm{f r a m e}}(\mathbf{T}^{\prime}{}_{k})\right),}\end{array} $$ 此处，$\mathcal{A}_{\text{frame}}$负责执行局部帧内自注意力计算（成本为$\mathcal{O}(VFN^2)$）。空间块（$\mathcal{B}_{\text{spatial}}$）通过跨视角注意力$\mathcal{A}_{\text{view}}$独立地为每一帧聚合立体线索，其成本被限制在$\mathcal{O}(F(VN)^2)$以内。相反，时序块（$\mathcal{B}_{\text{temporal}}$）通过时间注意力$\mathcal{A}_{\text{temp}}$独立地为每个视角聚合运动线索，其成本为$\mathcal{O}(V(FN)^2)$。这种分解式设计成功聚合了全局4D上下文信息，同时大幅降低了二次方的计算开销。在实际应用中，我们采用分块策略训练框架，例如训练时常用的分块大小为5帧、6个视角。 密集几何头模块。我们采用密集预测变换器（DPT）架构[^42]，将提取的特征解码为每帧、每视角的密集图谱D：包括左手、右手以及交互物体的多类别概率图；深度图和点云图。这种联合监督机制能够促使网络隐式地分离紧密交互的物体，从而为后续处理提供干净且针对特定物体的几何基础。 全局运动学头。为了估计全局的4D运动学状态，我们将编码整体时空动力学的最终阶段时间标记$\hat{\mathbf{T}}_{time}$传递给专用的MLP头，以回归每一帧中手部与物体的运动学状态。此处所说的手部参数$\Theta^h = \{\alpha, \beta\}$指的是相对于给定参数化手部模型$\alpha$的标识$\beta$和姿态[^44]。 对于刚性物体的变换，我们采用一种混合状态表示方式，包括世界坐标系下的绝对质心平移$\mathbf{t}_{f}^{\text{abs}}$以及相对旋转$\Delta\mathbf{R}_{1\rightarrow f}$（相对于输入片段的第一帧）。这种非对称设计明确解决了平移与旋转在可观测性上的差异。因为未见物体的基准朝向本身具有 --- 模糊性，若无预定义模板则无法确定，因此预测相对旋转是必不可少的。虽然预测相对平移看似直观，但整合帧间偏移量必然会导致轨迹随时间累积漂移。相反，由于物体的绝对3D几何中心可通过时空线索持续观测到，我们直接回归其绝对平移量。这能牢牢锚定空间轨迹，消除长期位置漂移，并将任何不可避免的错误累积严格限制在旋转维度内。 训练损失。我们遵循VGGT [^52]的方法进行密集预测（分割、深度和点云图）训练，并对旋转应用测地距离损失[^22] [^26]，对平移及正向运动学生成的网格则采用L2损失。 推理过程。为了在内存限制下处理任意长度的视频，我们使用步长为1的滑动窗口将序列拆分为重叠的片段。对于手部而言，简单平均重叠预测结果即可实现足够的时间平滑；但对于刚性物体，我们通过两步操作来防止长期轨迹漂移： 我们首先利用位姿图优化（PGO）[^12] [^31]将每个窗口的位姿估计合并为连续轨迹。具体而言，我们优化绝对物体位姿估计$\boldsymbol{\Theta}^{o} = (\mathbf{R}, \mathbf{t})$，结合预测的相对旋转边$\mathcal{E}$以及绝对平移量： $$ \arg\min_{\left\{\mathbf{R}_{f},\mathbf{t}_{f}\right\}}\sum_{(i,j)\in\mathcal{E}}\left\|\mathbf{R}_{i}^{T}\mathbf{R}_{j}-\Delta\mathbf{R}_{i\rightarrow j}\right\|_{F}^{2}+\lambda_{\mathrm{abs}}\sum_{f}\left\|\mathbf{t}_{f}-\mathbf{t}_{f}^{\mathrm{abs}}\right\|^{2}. $$ 为消除残余漂移，我们随后将掩码深度图反投影为3D点云，并通过帧到模型的ICP算法[^2] [^69]将其与PGO轨迹对齐，以此作为可靠的初始化。通过这种方式，即便在处理长视频时也能推断出精确的物体位姿轨迹。融合这些对齐后的观测数据即可得到物体的标准点云$V_{obj}^{cano}$。 总而言之，这种推理策略将各窗口的预测结果聚合为全局一致的手部参数$\Theta^h$、绝对物体位姿$\Theta^o$，以及可选的物体标准点云$\mathbf{V}_{obj}^{cano}$。这些输出随后被用于初始化后续的HOPG优化过程。 ### 3.2 HOPG：基于物理感知的手物高斯优化 在此阶段，我们利用HOST输出的位姿和形状估计作为初始化，共同优化三个独立的2D高斯场：手部、物体和背景。 体积手模型。我们采用受VEPHand启发的体积变形模型[^1]作为几何代理。为了精确模拟解剖学上的厚度并解决近距离交互时的碰撞问题，我们将手部表面嵌入到规范的四面体网格中。不过，我们并非逐帧优化体积变量，而是通过小型MLP网络动态预测这些固有的四面体变形。 --- 具体来说，令$\mathbf{v}_c$表示规范表面顶点，$\boldsymbol{\rho}_c$代表底层规范四面体网格的顶点。与直接将线性混合蒙皮（LBS）应用于基础表面的传统参数化模型不同，我们的体积模型首先在四面体域内应用非刚性的、依赖于姿态的变形： $$ \mathrm{(S t a n d a r d~S u r f a c e)}\quad\mathbf{v}_{p}=\mathrm{L B S}(\mathbf{v}_{c},\alpha,\beta), $$ （我们的体积模型） $$ \boldsymbol{\rho}_{c}^{\prime}=\boldsymbol{\rho}_{c}+\mathrm{M L P}(\boldsymbol{\rho}_{c},\boldsymbol{\beta}), $$ $$ \mathbf{v}_{c}^{\prime}=\mathcal{M}_{\mathrm{t e t}\to\mathrm{s u r f}}(\boldsymbol{\rho}_{c}^{\prime}), $$ $$ \mathbf{v}_{p}=\mathrm{L B S}(\mathbf{v}_{c}^{\prime},\alpha,\beta), $$ 其中，$\alpha$和$\beta$分别代表身份形状参数和运动姿态参数。在我们的公式中，轻量级的MLP会预测四面体控制点的、依赖于姿态的偏移量，从而得到变形后的体积$\boldsymbol{\rho}_c'$。随后，我们通过预定义的重心映射算子$\mathbf{v}_c'$计算出更新后的规范表面顶点$\mathcal{M}_{\text{tet} \to \text{surf}}$。从几何角度来看，每个表面顶点最初都位于某个特定的四面体内。该算子只需利用固定的重心权重对位移后的四面体顶点$\boldsymbol{\rho}_c'$进行插值，就能得到变形后的表面位置。因此，表面就像是一层连续的外皮，严格依附于底层的体积状“肉体”。最后，标准的线性混合蒙皮（LBS）会将这些考虑体积因素后的规范表面顶点变换到最终的姿态空间$\mathbf{v}_p$。 遵循PICA的方法[^40]，我们利用重心插值将2D高斯分布锚定在这个变形后的网格上，从而确保辐射场严格继承手部模型的运动一致性。 刚性物体。该物体由一组规范的2D高斯分布来表示，这些高斯分布是从HOST提供的融合后的规范点云$V_{obj}^{cano}$中无缝初始化而来的。在优化过程中，我们会同时优化这些规范高斯分布的属性以及每帧的刚性变换参数。 背景。我们使用另一组初始化在一个大型包围球上的2D高斯分布来对静态环境进行建模。 外观模型。标准的高斯泼溅技术[^29]会将视点相关的光照信息编码到每个图元的球面谐波（SH）中。在高度动态的手部与物体交互场景中，这种极端旋转与光照之间的耦合会导致严重的闪烁现象和纹理烘焙问题。为了重建物理和时间上一致的资产，我们显式地将固有反照率、漫反射着色和高光成分分解开来。遵循Saito等人的方法[^45]，高斯分布的动态漫反射颜色$C_{diff}$是通过将环境光球面谐波系数L与动态旋转的规范传递系数$\mathbf{d}(\mathbf{R})$进行卷积，再乘以可学习的、与视点无关的反照率$\mathbf{a}$得到的： $$ \mathbf{C}_{\mathrm{d i f f}}=\mathbf{a}\odot\sum_{i=1}^{(n+1)^{2}}\mathbf{L}_{i}\mathbf{d}_{i}(\mathbf{R}), $$ --- ![Image](images/5d948ddfa4322aa6122c4553e1be571b610c67b5996591d00e5a58edc6854226.jpg)
Fig. 2: Overview of our composite training dataset. Left: Multi-view captures from the VEPHand [^1] dataset. Middle: Synthetic data rendered in Blender using diverse textured objects from Texverse [^67] Dataset. Right: Custom captures refined via our HOPG module.
其中 n 表示 SH 阶数，而 $\mathbf{R}$ 定义了高斯从规范空间到世界空间的旋转。显式应用 $\mathbf{R}$ 可确保传递系数与全局环境光保持一致，从而有效将光照效果与几何体的运动解耦。此外，为防止视点相关的高光干扰这种固有反照率的计算，我们采用一个轻量级的专用 MLP [^50] 来建模镜面反射效果。该网络会处理反射向量的集成方向编码（IDE）$\mathbf{r}$ 以及高斯可学习的表面粗糙度 $\rho$，进而输出镜面残差。最终合成颜色通过 $\mathbf{C}_{\text{total}} = \mathbf{C}_{\text{diff}} + s \cdot \text{MLP}_{\text{spec}}(\text{IDE}(\mathbf{r}, \rho))$ 计算得出，其中 s 是一个可学习的、与几何体相关的镜面强度参数。 损失函数。数据项由标准光度损失（L1、D-SSIM、LPIPS）驱动。为确保物理真实性，我们对底层四面体网格施加“尽可能刚性”（ARAP）能量约束 [^47]，以保证变形后的规范四面体仍能保持体积不变 $\rho'_c$；同时，针对已设定姿态的表面网格 [^1] 引入基于光线追踪的碰撞损失 $\mathbf{v}_p$，以防止物体间或物体自身的相互穿透。 ### 3.3 数据集规划 为确保运动多样性与几何泛化能力，HOST 模型是在一个综合型数据集上训练的。该数据集的基础部分包含来自 VEPHand 数据集的 1,600 组多视角序列 [^1]，涵盖了 17 种 3D 打印 CAD 模型的高质量扫描数据与手-物体配准信息。为弥补该数据集在物体多样性上的不足，我们在 Blender 中合成了一个补充数据集，渲染出 500 个高分辨率带纹理的物体 [^67]，并为其赋予随机的 6D 运动轨迹。最后，为捕捉现实世界的复杂性，我们收集了包含 47 件日常物品的定制数据集，这些物品上标有微型 ArUco 标记，以便可靠地获取初始相对位姿。随后，这些采集数据会经由我们的 HOPG 细化器处理。一旦收敛，HOPG 便能作为可靠的伪标签生成器，产出精细化的真实标签（更干净的掩码、精确的深度信息以及无碰撞的位姿）。这些高保真标注随后会被用于微调 HOST，无需人工干预即可逐步缩小域差距。 --- ## 4 实验 为全面评估该框架在照片级新视图合成（NVS）、物理上合理的几何恢复以及工业级可扩展性方面的能力，我们在由公开基准测试集和多种内部采集数据组成的综合评估套件上开展了大量实验。 ### 4.1 实验设置 ![Image](images/edce81d1bb9b3970a27ee2671e996655d9ee0e6e9c48ab672d84028871a435b3.jpg)
Fig. 3: Automated, Scalable High-Fidelity Capture across Diverse Objects. Given calibrated multi-view images (GT), HOST provides robust tracking initialization. HOPG then achieves photorealistic rendering by decomposing appearance into diffuse and specular components. This explicit lighting decoupling prevents artifacts from baking into the geometry, yielding clean normal maps and high-fidelity 3D meshes.
实现细节：HOST 基于 ViT-Large 骨干网络构建，其 DINOv2 [^39] 补丁嵌入层被冻结，并初始化为预训练的 VGGT [^52] 权重。我们使用 AdamW 优化器以 bfloat16 精度对网络进行优化。为稳定训练初期过程，我们设置了 2,000 步的几何热身阶段，在此期间仅优化骨干网络与密集几何头。该模型首先会在 --- 64 个 TPU v5 加速器 $lr = 8.0 \times 10^{-5}$ 上针对 VEPHand 数据训练 20 万步，随后在 8 块 NVIDIA H100 GPU $lr = 1.0 \times 10^{-5}$ 上针对合成数据及经 HOPG 细化后的数据再训练 2 万步。在进行 HOPG 细化时，我们采用 5 帧的批量大小，以强制实现外观模型的解耦。一个包含 21 个视图、共 600 帧的典型序列，在单块 NVIDIA A100 GPU 上大约需要 3 万次迭代（约 5 小时）才能收敛。 可扩展性验证。为了验证可扩展性，我们在新采集的多视角数据集上部署了我们的流水线，该数据集包含多种物体。如图3所示，我们的框架能够完全自动运行，成功重建了32个独特物体上的77组交互序列中的72组，成功率高达约93.5%。此外，我们还在图4中展示了通过TSDF融合得到的高分辨率3D物体网格[^10]。少数失败案例源于物体的特殊属性，比如几何形状细长的物体（笔）以及高度对称且无纹理的表面（胶带），这些特性会在HOST初始化阶段引发严重的姿态歧义。 评估数据集。我们在三个不同领域对我们的框架进行了全面评估。首先，从我们自定义采集的数据中选取的10组代表性序列作为整体流水线的对比测试基准。其次，我们在InterHand2.6M数据集上对我们的独立HOPG模块进行基准测试[^37]。最后，为了严格评估我们的前馈初始化方法及最终的密集几何重建效果，我们采用了VEPHand数据集[^1]，该数据集提供了7组复杂序列中每帧的高质量体素伪真值。 ### 4.2 新视角合成 在本节中，我们首先在InterHand2.6M数据集上评估HOPG的新视角合成能力，随后在我们的自定义数据集上评估完整流水线。 InterHand2.6M上的HOPG。我们遵循HandSCS协议[^13]（10个训练视图，15个保留视图），在其选定的9组序列上进行测试。如表1（左侧）所示，我们的方法具有极强的竞争力。标准的NeRf[^7] [^38]或3DGS基线[^13]会依赖半透明体积累积和预置光照来人为抬高光度分数。相比之下，我们的方法通过强制要求严格的不透明2D表面，并明确区分反照率与镜面成分，以牺牲无约束的光度记忆为代价来换取物理准确性。我们也在图6a中提供了定性渲染结果。 自定义数据上的完整流水线。为了评估完整的框架，仅以原始多视角视频和相机参数作为输入，我们将其与具有代表性的动态场景方法进行对比：4DGS[^57]和可变形3DGS[^63]。为了专注于交互过程，我们利用SAM2[^30] [^43]来分离前景的手部和物体。如表1（右侧）所报告，我们这种受显式约束的表示方法比这些基线高出巨大优势（PSNR超过4.5 dB）。从定性结果（图5）来看，通用动态方法缺乏结构先验，导致其优化过程在高度非线性的运动下会退化为严重的运动模糊和灾难性的几何坍塌。相反，在HOST提供的精确度量先验指导下，我们的框架能够无缝追踪这些运动，同时保持清晰的视觉边界。 --- ![Image](images/3b4de695adcfcdd2f5e0719509c28dd4f7a4e67c6e50a212f4b40769c08d2622.jpg)
Fig. 4: High-Fidelity Object Geometry. Detailed 3D meshes of complex, real-world objects extracted via TSDF fusion.
![Image](images/d6877bbd05b580c83f3d9e7f8df6e7542cbb41dde7c18edee4d7481e772dc653.jpg)
Fig. 5: Qualitative comparison on our Custom-Captured Dataset. Our method successfully tracks difficult motions and recovers complex object geometries, whereas prior-free baselines suffer from severe motion blur and geometric collapse.
### 4.3 几何评估 为了验证我们的框架恢复的是3D几何而非仅仅拟合光度投影，我们在带有逐帧真实扫描数据的VEPHand数据集上对其进行了评估。我们报告单向表面精度指标（即预测顶点到真实扫描数据的点到表面距离，其中包含前臂部分）。重要的是，由于我们的目标是捕捉完整的交互过程，表2中所有报告的指标都是基于合并后的手-物体网格计算的。具体而言，我们将HOST初始化结果与最先进的前馈跟踪器进行对比，并评估由完整流水线优化后的最终密集几何效果（表2）。 我们首先通过将HOST的结果与在稀疏的6视图设置下的先进姿态估计器进行对比，来评估前馈方法。我们将其与HORT [^8]进行比较，HORT是一种复合基线，包含用于手部建模的DynHaMR [^65]以及用于物体建模的MV-SAM3D [^33]；此外还有多视图手部重建框架POEM [^62]与MV-SAM3D的结合体。为了为这些方法建立具有最佳竞争力的多视图基线，我们赋予了它们显著的信息优势。对于本质上属于单目类型的手部追踪器（HORT和DynHaMR），我们利用真实的相机参数将其预测结果转换到度量空间中，通过在所有6个视图上计算稳健的3D空间中位数来聚合其根节点相关的关节角度，随后再执行刚性配准步骤。对于物体重建基线，我们采用了开源的多视图扩展模型MV-SAM3D。为确保评估具有高度竞争性，我们特意为其提供真实的相机参数和深度图。这使得模型能够可靠地判断跨视图可见性，从而有效处理遮挡问题。 ---
Table 1: Quantitative NVS results. Comparison against specialized hand avatars on InterHand2.6M (left, 10-view train / 15-view test) and general dynamic baselines on our Custom-Captured Dataset (right, 17-view train / 4-view test).
InterHand2.6M
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
LiveHand [^38]31.060.9770.0384
HandAvatar [^7]32.140.9620.0437
GauHuman [^24]31.730.9570.0462
HandSCS [^13]35.510.9740.0292
Ours (HOPG)35.070.9700.0348
Custom Dataset
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$
4DGS [^57]26.340.9430.0814
Dfm3DGS [^63]26.320.9470.0809
Ours (Full)30.860.9680.0370
![Image](images/34f55c59d489745fecdc4279df4976bab786b9422a0c4a92e967c52274c0e693.jpg) ![Image](images/7c6f91da5c689b95bd46f332a6f964dc459c2ab2718bfed546916cd676732ccd.jpg)
Fig. 6: InterHand2.6M Validation and View Robustness. (a) Our HOPG module achieves high-fidelity rendering and accurate geometry on bare-hand benchmarks. (b) End-to-end reconstruction remains highly stable across varying numbers of input cameras, maintaining strong accuracy even under extreme sparsity (4 views).
尽管我们为这些基线配备了最优的3D坐标提升机制和伪真实深度数据，但我们的HOST模块在端到端性能上仍优于它们（其误差仅为3.07毫米，而单目提升基线的误差为5.81毫米，多视图POEM基线的误差则为5.30毫米）。这种性能差距源于：虽然POEM利用了多视图线索，但它依赖的是静态的逐帧融合方式；相比之下，我们的分解时空注意力机制能够有效利用连续的4D上下文信息来维持精确且稳定的轨迹，而静态多视图追踪器在复杂交互过程中仍可能出现轨迹漂移和时间上的不一致性。基于这一稳健的初始结果，我们的HOPG模块成功优化了密集几何结构，进一步将表面误差降低至2.35毫米。 ### 4.4 消融实验 我们研究了核心设计组件对自定义采集数据集的影响。关于物理约束与碰撞优化的全面分析详见图7。 物理感知几何约束。我们评估了四面体表示（Tet + 3D ARAP）相较于传统基于表面的方法（Surf + 2D ARAP）的必要性。由于我们的流程完全无需 ---
Table 2: Geometry Evaluation. One-way Surface Accuracy (mm, $\downarrow$) evaluated on combined hand-object meshes of the VEPHand Dataset. Our HOST module provides a superior metric initialization compared to feed-forward baselines, including multi-view alternatives, while our full pipeline further refines the geometry to achieve highly competitive dense accuracy. Processing time denotes the average time per frame measured on a single NVIDIA A100 GPU.
MethodAccuracy (mm) $\downarrow$Processing Time $\downarrow$
HORT [^8]7.222s
DynHaMR [^65] + MV-SAM3D [^33]5.811min
POEM [^62] + MV-SAM3D [^33]5.301min
HOST (Ours)3.072s
Full Pipeline (Ours)2.350.5min
![Image](images/a4e81338040541a8002419728e295c8ae490a7c512f45b7632ccea35cacc1b9e.jpg) Surf +2D ARAP ![Image](images/18837e0b3d2e415967f1d175fde676cd008b3615d52b17eae29c60e29ed3a066.jpg) Tet + 3D ARAP
(a)
![Image](images/326cd495ddd984772feb754225643a88d83480e65d27a709c42d815215f66dbc.jpg) 之前 ![Image](images/5fd315c29599cacbf350dfa1a6f5480158f86ca82a8c451cb51364966678895f.jpg) 之后
(b)
Fig. 7: Ablation studies. (a) Geometry: Our tetrahedral formulation (Tet + 3D ARAP) prevents the severe geometric flattening and volume loss seen in surface-only baselines. (b) Collision: Our offline collision optimization successfully resolves non-physical inter-penetrations.
真实分割掩码，仅通过光度渲染损失进行优化会暴露出2D ARAP的关键缺陷：它无法约束内部体积，如图7(a)所示。相比之下，在3D四面体域上计算ARAP能量能够明确锁定内部结构。这严格保留了解剖学上的厚度，成功防止了由纹理驱动的扁平化现象以及背景引起的几何坍塌。 碰撞优化。虽然光度损失能确保视觉上的对齐，但它无法约束不可见区域。如图7(b)所示，我们采用的离线物理碰撞惩罚机制对于解决非物理性的相互穿透问题至关重要，它能在不牺牲渲染质量的前提下实现合理的接触力学效果。 外观解耦。如图3所示，我们的基于物理的模型成功地将渲染过程分解为漫反射和镜面反射分量。通过显式建模与视角相关的高光效果，可防止光照伪影错误地嵌入几何结构中。虽然标准的3DGS常常会通过扭曲表面或产生不自然的凸起来模拟镜面反光，但我们的严格解耦机制消除了这些结构上的幻觉现象。由此生成的法线贴图纯净且无噪点，为提取高质量、可重新照明的4D数字资产提供了至关重要的几何与光度学纯度。 摄像机视图数量。我们还评估了系统在不同数量的输入摄像机视图下的性能。在此消融实验中，视图限制被严格应用于整个流程。如图6(b)所示，重建质量会随着摄像机数量的增加而呈可预测地提升。 --- 值得注意的是，即便在仅有4个视图的稀疏设置下，来自HOST的强大时空先验也能防止优化过程崩溃，从而保持近27.89 dB的PSNR值。这证实了我们的框架在视图极度稀缺的情况下仍具备极高的鲁棒性。 ## 5 局限性 尽管我们的框架能够实现高保真的4D重建，但仍存在一定局限性。首先，该系统依赖于同步且经过校准的多视角摄像机设置，这限制了其在无约束的日常环境中的直接应用。其次，当前流程仅适用于刚性物体，因此无法处理交互过程中高度变形的物品。最后，虽然我们的时空先验具有极强的鲁棒性，但在极具挑战性的场景下仍可能出现系统性故障：我们观察到几何形状纤细或微小的物体（如硬币）会出现跟踪不稳定现象，而极端运动模糊或长时间的双手遮挡也可能导致轨迹偏移。未来的工作将整合非刚性变形场，并丰富训练数据来源，以实现无需校准的野外场景捕获。 ## 6 结论 我们提出了一种统一的框架，可将精确的运动跟踪与逼真的新视角合成技术相结合，用于4D手物交互场景。通过将手物时空变换器（HOST）与物理感知高斯模块（HOPG）相耦合，该方法能够有效解决无约束渲染中常见的严重几何扁平化与体积损失问题。此外，通过显式分离漫反射与镜面反射，可得到纯净且无噪点的法线贴图，从而避免底层3D资产被嵌入光照伪影。该框架实现了从多视角视频到高保真数字资产的工作流自动化，为大规模4D资产创建提供了高效的解决方案。 ## 参考文献 [^1]: Anonymous: View-efficient photometric hand performance capture at scale (2026), under review [^2]: Besl, P.J., McKay, N.D.: Method for registration of 3-d shapes. In: Sensor fusion IV: control paradigms and data structures. vol. 1611, pp. 586–606. Spie (1992) [^3]: Chao, Y.W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Van Wyk, K., Iqbal, U., Birchfield, S., et al.: Dexycb: A benchmark for capturing hand grasping of objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9044–9053 (2021) ## [^4]: Chen, D., Li, H., Ye, W., Wang, Y., Xie, W., Zhai, S., Wang, N., Liu, H., Bao, H., Zhang, G.: Pgsr: Planar-based gaussian splatting for efficient and high-fidelity surface reconstruction. IEEE Transactions on Visualization and Computer Graphics 31(9), 6100–6111 (2024) --- [^5]: Chen, X., Chu, F.J., Glieize, P., Liang, K.J., Sax, A., Tang, H., Wang, W., Guo, M., Hardin, T., Li, X., et al.: Sam 3d: 3dfy anything in images. arXiv preprint arXiv:2511.16624 (2025) [^6]: Chen, X., Wang, B., Shum, H.Y.: Hand avatar: Free-pose hand animation and rendering from monocular video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023) [^7]: Chen, X., Wang, B., Shum, H.Y.: Hand avatar: Free-pose hand animation and rendering from monocular video. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 8683–8693 (2023) [^8]: Chen, Z., Potamias, R.A., Chen, S., Schmid, C.: Hort: Monocular hand-held objects reconstruction with transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 6046–6057 (2025) [^9]: Cong, X., Xing, A., Pokhariya, C., Fu, R., Sridhar, S.: Dytact: Capturing dynamic contacts in hand-object manipulation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 7191–7203 (2025) [^10]: Curless, B., Levoy, M.: A volumetric method for building complex models from range images. In: Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. pp. 303–312 (1996) [^11]: Damen, D., Doughty, H., Farinella, G.M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., et al.: Scaling egocentric vision: The epic-kitchens dataset. In: Proceedings of the European conference on computer vision (ECCV). pp. 720–736 (2018) [^12]: Dellaert, F.: Factor graphs and gtsam: A hands-on introduction. Georgia Institute of Technology, Tech. Rep 2(4) (2012) [^13]: Dong, Y., Wang, W., Wang, Q., Yang, J., Liu, H., Zhu, X., Slabaugh, G., Yuan, S.: Handscs: Structural coordinate space for animatable hand gaussian splatting. arXiv preprint arXiv:2503.14736 (2025) [^14]: Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., et al.: An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929 (2020) [^15]: Fan, Z., Parelli, M., Kadoglou, M.E., Chen, X., Kocabas, M., Black, M.J., Hilliges, O.: Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 494–504 (2024) [^16]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: Arctic: A dataset for dexterous bimanual hand-object manipulation. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 12943–12954 (2023) [^17]: Fu, R., Zhang, D., Jiang, A., Fu, W., Funk, A., Ritchie, D., Sridhar, S.: Gigahands: A massive annotated dataset of bimanual hand activities. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 17461–17474 (2025) [^18]: Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., et al.: Ego4d: Around the world in 3,000 hours of egocentric video. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 18995–19012 (2022) [^19]: Guo, Z., Zhou, W., Wang, M., Li, L., Li, H.: Handnerf++: Modeling animatable interacting hands with neural radiance fields. IEEE Transactions on Pattern Analysis and Machine Intelligence (2025) ## [^20]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: CVPR (2020) --- [^21]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In: CVPR (2022) [^22]: Hartley, R., Trumpf, J., Dai, Y., Li, H.: Rotation averaging. International journal of computer vision 103(3), 267–305 (2013) [^23]: Hong, Y., Zhang, K., Gu, J., Bi, S., Zhou, Y., Liu, D., Liu, F., Sunkavalli, K., Bui, T., Tan, H.: Lrm: Large reconstruction model for single image to 3d. arXiv preprint arXiv:2311.04400 (2023) [^24]: Hu, S., Hu, T., Liu, Z.: Gauhuman: Articulated gaussian splatting from monocular human videos. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 20418–20431 (2024) [^25]: Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S.: 2d gaussian splatting for geometrically accurate radiance fields. In: ACM SIGGRAPH 2024 conference papers. pp. 1–11 (2024) [^26]: Huynh, D.Q.: Metrics for 3d rotations: Comparison and analysis. Journal of Mathematical Imaging and Vision 35(2), 155–164 (2009) [^27]: Ivashechkin, M., Mendez, O., Bowden, R.: Handocc: Nerf-based hand rendering with occupancy networks. In: 2025 IEEE 19th International Conference on Automatic Face and Gesture Recognition (FG). pp. 1–10. IEEE (2025) [^28]: Keetha, N., Müller, N., Schönberger, J., Porzi, L., Zhang, Y., Fischer, T., Knapitsch, A., Zauss, D., Weber, E., Antunes, N., et al.: Mapanything: Universal feed-forward metric 3d reconstruction. arXiv preprint arXiv:2509.13414 (2025) [^29]: Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G., et al.: 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42(4), 139–1 (2023) [^30]: Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S., Berg, A.C., Lo, W.Y., et al.: Segment anything. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 4015–4026 (2023) [^31]: Kümmerle, R., Grisetti, G., Strasdat, H., Konolige, K., Burgard, W.: g 2 o: A general framework for graph optimization. In: 2011 IEEE international conference on robotics and automation. pp. 3607–3613. IEEE (2011) [^32]: Leroy, V., Cabon, Y., Revaud, J.: Grounding image matching in 3d with mast3r. In: European conference on computer vision. pp. 71–91. Springer (2024) 33. Li, B.: Mv-sam3d: 自适应多视角3D重建。（2025年），访问日期：2026年3月 [^34]: Liu, X., Ren, P., Qi, Q., Sun, H., Zhuang, Z., Wang, J., Liao, J., Wang, J.: Generalizable hand-object modeling from monocular rgb images via 3d gaussians. In: The Thirty-ninth Annual Conference on Neural Information Processing Systems (2025) [^35]: Liu, Y., Long, X.X., Habermann, M., Yang, X., Lin, C., Liu, Y., Ma, Y., Wang, W., Liu, L.: Hggt: Robust and flexible 3d hand mesh reconstruction from uncalibrated images. arXiv preprint arXiv:2603.23997 (2026) [^36]: Liu, Y., Long, X., Yang, Z., Liu, Y., Habermann, M., Theobalt, C., Ma, Y., Wang, W.: Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 7037–7047 (2025) [^37]: Moon, G., Yu, S.I., Wen, H., Shiratori, T., Lee, K.M.: Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In: European Conference on Computer Vision. pp. 548–564. Springer (2020) ### [^38]: Mundra, A., Wang, J., Habermann, M., Theobalt, C., Elgharib, M., et al.: Live-hand: Real-time and photorealistic neural hand rendering. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 18035–18045 (2023) --- [^39]: Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., Fernandez, P., Haziza, D., Massa, F., El-Nouby, A., et al.: Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193 (2023) [^40]: Peng, B., Tao, Y., Zhan, H., Guo, Y., Zhang, J.: Pica: Physics-integrated clothed avatar. IEEE Transactions on Visualization and Computer Graphics (2025) [^41]: Pokhariya, C., Shah, I.N., Xing, A., Li, Z., Chen, K., Sharma, A., Sridhar, S.: Manus: Markerless grasp capture using articulated 3d gaussians. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2197–2208 (2024) [^42]: Ranftl, R., Bochkovskiy, A., Koltun, V.: Vision transformers for dense prediction. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 12179–12188 (2021) [^43]: Ravi, N., Gabeur, V., Hu, Y.T., Hu, R., Ryali, C., Ma, T., Khedr, H., Rädle, R., Rolland, C., Gustafson, L., et al.: Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714 (2024) [^44]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36(6) (Nov 2017) [^45]: Saito, S., Schwartz, G., Simon, T., Li, J., Nam, G.: Relightable gaussian codec avatars. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 130–141 (2024) [^46]: Shen, Y., Zhang, Z., Qu, Y., Zheng, X., Ji, J., Zhang, S., Cao, L.: Fastvggt: Training-free acceleration of visual geometry transformer. arXiv preprint arXiv:2509.02560 (2025) [^47]: Sorkine, O., Alexa, M., et al.: As-rigid-as-possible surface modeling. In: Symposium on Geometry processing. vol. 4, pp. 109–116 (2007) [^48]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: Grab: A dataset of whole-body human grasping of objects. In: European conference on computer vision. pp. 581–600. Springer (2020) 49. Team, S.D., Chen, X., Chu, F.J., Glieze, P., Liang, K.J., Sax, A., Tang, H., Wang, W., Guo, M., Hardin, T., Li, X., Lin, A., Liu, J., Ma, Z., Sagar, A., Song, B., Wang, X., Yang, J., Zhang, B., Dollár, P., Gkioxari, G., Feiszli, M., Malik, J.: SAM 3D：图像中任意物体的3D重建。arXiv预印本arXiv:2511.16624（2025年）， [^50]: Verbin, D., Hedman, P., Mildenhall, B., Zickler, T., Barron, J.T., Srinivasan, P.P.: Ref-nerf: Structured view-dependent appearance for neural radiance fields. IEEE Transactions on Pattern Analysis and Machine Intelligence 47(11), 9426–9437 (2024) [^51]: Wang, H., Zhou, H., Liu, H., Yan, L.: 4d-vggt: A general foundation model with spatiotemporal awareness for dynamic scene geometry estimation. arXiv preprint arXiv:2511.18416 (2025) [^52]: Wang, J., Chen, M., Karaev, N., Vedaldi, A., Rupprecht, C., Novotny, D.: Vggt: Visual geometry grounded transformer. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 5294–5306 (2025) [^53]: Wang, S., He, H., Parelli, M., Gebhardt, C., Fan, Z., Song, J.: Magichoi: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 5957–5968 (2025) ### [^54]: Wang, S., Leroy, V., Cabon, Y., Chidlovskii, B., Revaud, J.: Dust3r: Geometric 3d vision made easy. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 20697–20709 (2024) --- 55. Wang, Y., Zhou, J., Zhu, H., Chang, W., Zhou, Y., Li, Z., Chen, J., Pang, J., Shen, C., He, T.: $\pi^{3}$：排列等变的视觉几何学习。arXiv预印本arXiv:2507.13347（2025年） [^56]: Wang, Y., Xu, H., Heng, P.A., Fu, C.W.: Unihope: A unified approach for hand-only and hand-object pose estimation. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 12231–12241 (2025) [^57]: Wu, G., Yi, T., Fang, J., Xie, L., Zhang, X., Wei, W., Liu, W., Tian, Q., Wang, X.: 4d gaussian splatting for real-time dynamic scene rendering. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 20310–20320 (2024) [^58]: Wu, X., Bai, Y., Li, M., Wu, X., Zhao, X., Lai, Z., Liu, W., Wang, X.: 4d langvgg: 4d language-visual geometry grounded transformer. arXiv preprint arXiv:2512.05060 (2025) [^59]: Xie, X., Wen, B., Chang, Y., Rabeti, H., Li, J., Yuan, Y., Pons-Moll, G., Birchfield, S.: Cari4d: Category agnostic 4d reconstruction of human-object interaction. arXiv preprint arXiv:2512.11988 (2025) [^60]: Yang, J., Sax, A., Liang, K.J., Henaff, M., Tang, H., Cao, A., Chai, J., Meier, F., Feiszli, M.: Fast3r: Towards 3d reconstruction of 1000+ images in one forward pass. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 21924–21935 (2025) [^61]: Yang, L., Li, K., Zhan, X., Wu, F., Xu, A., Liu, L., Lu, C.: Oakink: A large-scale knowledge repository for understanding hand-object interaction. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 20953–20962 (2022) [^62]: Yang, L., Zhong, L., Zhu, P., Zhan, X., Kong, J., Xu, J., Lu, C.: Multi-view hand reconstruction with a point-embedded transformer. IEEE Transactions on Pattern Analysis and Machine Intelligence (2025) [^63]: Yang, Z., Gao, X., Zhou, W., Jiao, S., Zhang, Y., Jin, X.: Deformable 3d gaussians for high-fidelity monocular dynamic scene reconstruction. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 20331–20341 (2024) [^64]: Ye, Y., Gupta, A., Tulsiani, S.: What's in your hands? 3d reconstruction of generic objects in hands. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 3895–3905 (2022) [^65]: Yu, Z., Zafeiriou, S., Birdal, T.: Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 27716–27726 (2025) [^66]: Zhang, J., Herrmann, C., Hur, J., Jampani, V., Darrell, T., Cole, F., Sun, D., Yang, M.H.: Monst3r: A simple approach for estimating geometry in the presence of motion. arXiv preprint arXiv:2410.03825 (2024) [^67]: Zhang, Y., Zhang, L., Ma, R., Cao, N.: Texverse: A universe of 3d objects with high-resolution textures. arXiv preprint arXiv:2508.10868 (2025) [^68]: Zhenyuan, L., Guo, Y., Li, X., Bickel, B., Zhang, R.: Bigs: Bidirectional primitives for relightable 3d gaussian splatting. In: 2025 International Conference on 3D Vision (3DV). pp. 1022–1031. IEEE (2025) ### [^69]: Zhou, Q.Y., Park, J., Koltun, V.: Fast global registration. In: European conference on computer vision. pp. 766–782. Springer (2016) --- ## 补充材料 本补充文档提供了因篇幅限制而未包含在正文中的额外细节。文档分为两个主要部分：A节介绍了详细的消融实验；B节则给出了完整的实现与训练细节，包括HOST模型、多任务损失函数的完整公式，以及HOST和HOPG模块的超参数设置。此外，我们还提供了补充演示视频来展示研究成果。该视频特别对比了HOST模型所提供的稳健初始化效果与最终生成的高保真4D重建结果。 ### A 额外的消融实验 ### A.1 HOST：网络架构与训练数据 为了分离出网络架构设计与训练数据所产生的影响，我们对原始网络预测结果进行了消融实验，跳过了姿态图优化（PGO）和ICP等后续优化步骤。我们采用直接回归指标来评估性能：手部顶点重建误差（由预测的MANO参数与真实MANO参数推导出的顶点之间的均方误差）、物体旋转误差（测地距离）以及物体平移误差（均方误差）。评估在包含200个非合成样本（5帧×6个视角）的预留验证集上进行，结果汇总于表3中。
Table 3: Ablation Study on HOST Architecture and Data. Performance of core modules and data components using direct regression metrics on raw network outputs. All MSE metrics are scaled by $10^{3}$ for readability.
Model ConfigurationHand Vertices $\downarrow$ (MSE $\times 10^{3}$)Obj. Rot. $\downarrow$ (Geodesic)Obj. Trans. $\downarrow$ (MSE $\times 10^{3}$)
(a) Naive VGGT Attn. (Frame-Global)6.650.092855.10
(b) w/o Camera Embedding7.120.093364.30
(c) w/o Time Token7.360.101174.10
(d) w/o Dense Geometry Heads6.860.093965.20
(e) w/o Synthetic Data Training7.280.284987.80
(f) w/o HOPG Pseudo-GT8.060.113578.50
HOST (Full Model)6.640.090154.50
网络架构设计。若用VGGT中的简单帧级全局注意力机制替换我们的分解式时空注意力机制（第a行），虽然回归精度相当，但会显著增加计算复杂度和内存占用，从而限制了多视图处理的高效性。相机嵌入（第b行）和时间令牌（第c行）对于网络解析时空线索至关重要。具体而言，若省略时间令牌，模型会通过平均视觉图像令牌来预测手部和物体的状态，这会导致定位精度和时序一致性均有所下降。此外，尽管移除密集几何头（第d行）仅会使原始回归指标出现轻微下降，但这些头部对于提供姿态图优化和ICP细化阶段所需的3D空间先验（如深度和掩码）而言是必不可少的。 --- ![Image](images/b44452c8ca0b64104504d3e708dad3305760220d18dfe7192ec5312593d830dd.jpg) 相对 平移 ![Image](images/a9db1634100f3c611848f6a2919e29c9388253c3108ba0fb6cba3465d5f76923.jpg)
(a)
绝对 平移 ![Image](images/62aba7ddcb24c215fe1610cb03b5ac6329f15e8b3d999ce49a3af8fc84e5e2da.jpg) 无 ICP ![Image](images/657e77556effd0449f513ca745f19cff2011fc4d4a0363314b621c64513f80fb.jpg)
(b)
Fig. 8: Qualitative Ablation on Kinematic Representation and ICP Refinement. (Left) Compared to relative offsets, our absolute centroid regression provides a global anchor that eliminates cumulative translational drift. (Right) PGO aggregates short-window predictions but is susceptible to rotational drift over long sequences. Our ICP stage uses predicted geometric priors as absolute anchors to correct these offsets and ensure long-term pose consistency.
时空线索。具体而言，当省略时间令牌时，模型会通过平均视觉图像令牌来预测手部和物体的状态，这会导致定位精度和时序一致性均有所下降。此外，尽管移除密集几何头（第d行）仅会使原始回归指标出现轻微下降，但这些头部对于提供姿态图优化和ICP细化阶段所需的3D空间先验（如深度和掩码）而言是必不可少的。 训练数据分布。第(e)行和第(f)行用于评估训练数据的影响。排除合成物体数据集（第e行）会降低网络对未见过的物体进行6D旋转估计的泛化能力。此外，必须使用经过HOPG细化的伪真实标签进行微调（第f行），才能弥合域差异。 ## A.2 HOST：平移表示 正如正文中所述，我们采用了相对旋转与绝对质心平移相结合的非对称运动学表示方式。我们通过将其与完全相对的表示方式进行对比来验证这一设计。如图8（左）所示，相对平移必然会导致累积误差以及长序列下的严重位置漂移。相比之下，回归绝对几何中心能为轨迹提供一个全局锚点。这确保了无论序列长度如何，平移误差都能被限制在合理范围内且保持一致。 ### A.3 HOST：ICP校正 尽管我们的PGO模块能够成功地将短窗口Transformer预测的相对旋转组合成连续轨迹，但生成的全局姿态在长序列中仍容易出现累积性旋转漂移。为解决这一问题，我们引入了基于ICP的优化阶段，该阶段利用由密集头网络预测的密集几何先验（深度和掩码）。通过将物体点云与这些逐帧空间锚点对齐，ICP校正能够提供绝对的几何参考，从而修正累积的漂移。如图8（右侧）所示，这一步骤确保了长期姿态的一致性。 --- 由我们的密集头网络预测的密集几何先验（深度图和掩码）。通过将物体点云与这些逐帧空间锚点对齐，可利用ICP校正获得绝对的几何参考，从而修正累积的漂移。如图8（右侧）所示，这一步确保了长期的姿态一致性。 ## B 方法与实现细节 在本节中，我们将详细介绍手部物体时空Transformer（HOST）以及手部物体物理感知高斯（HOPG）优化模块的架构细节、损失函数公式及训练超参数。 ### B.1 手部物体时空Transformer（HOST） ![Image](images/e92c8ea35a6dd6454e91ec64f83fbd3a2a5b354c764058b1a25cc5aa8b94e26f.jpg)
Fig. 9: Detailed Architecture of HOST. The network extracts features using a frozen DINOv2 backbone integrated with camera and time embeddings. Given an input sequence of F frames from V views ($S = F \times V$ images total), 12 spatiotemporal blocks process the tokens by alternating between spatial (cross-view) and temporal (cross-frame) attention. These shared feature representations are then fed into task-specific heads: a dense geometry decoder for depth, point, and mask prediction, and parametric heads for hand and object pose regression. In the pose heads (bottom), updated time tokens from all V views are adaptively pooled into canonical per-frame features, which are then processed by a temporal trunk to ensure motion continuity prior to kinematic parameter regression.
图像块与相机嵌入。我们使用冻结的DINOv2 $308 \times 308$（ViT-L/14）图像块嵌入层来处理[^39]图像。为了注入几何与时间信息，我们借鉴MapAnything [^28]的方法，为每个图像块令牌添加基于光线的相机嵌入，这类嵌入通过4层MLP编码相机几何信息。对于时间信息，我们通过可学习的时间嵌入层将相对帧ID映射为特定于帧的时间令牌。这些时间令牌 --- 会与图像令牌及4个注册令牌[^52]拼接起来，随后被送入时空聚合器。 时空注意力机制。核心聚合器由$L = 12$个Transformer块构成。如主论文所述，为了保持计算可行性，我们将完整的全局注意力分解为顺序化的分解方案（帧$\to$空间$\to$帧$\to$时间）。在我们的实现中，每个子注意力层的隐藏维度$C = 1024$均与VGGT骨干网络保持一致[^52]。为了有效利用预训练的几何先验，我们通过从VGGT映射权重来初始化聚合器：帧注意力权重直接转移至我们的帧注意力层，而VGGT全局注意力层的权重则依次映射以初始化我们的空间和时间注意力块。 任务特定头。对于深度、掩码和点云图等密集预测任务，我们采用遵循VGGT [^42]设计的基于DPT的解码器[^52]，这类解码器利用来自中间层{2, 5, 8, 11}的多尺度特征。 对于运动学状态，我们首先从所有视角提取更新后的时间令牌$\mathbf{T}_{time}^{f,v}$。为了解决遮挡问题并计算出鲁棒的帧级特征$\mathbf{z}_f$，我们针对每个实体单独引入了一种视角自适应注意力机制。对于手或物体而言，专用的MLP会将对应的时间令牌映射为在所有V个视角上的softmax归一化可见度权重$\alpha_{f,v}$： $$ \alpha_{f,v}=\frac{\exp(\mathrm{MLP}_{\mathrm{attn}}(\hat{\mathbf{T}}_{\mathrm{time}}^{f,v}))}{\sum_{k=1}^{V}\exp(\mathrm{MLP}_{\mathrm{attn}}(\hat{\mathbf{T}}_{\mathrm{time}}^{f,k}))} $$ 随后，生成的聚合特征 $\mathbf{z}_f = \sum_{v=1}^V \alpha_{f,v} \mathbf{\hat{T}}_{time}^{f,v}$ 会被送入一个独立的时间主干网络进行处理——该网络由针对时间维度 F 的自注意力模块构成——以确保每个实体的运动平滑且连续。最后，专门的 MLP 解码器会将这些经过时间平滑处理的特征转化为运动学参数。具体而言，物体头部负责预测绝对的 3D 平移量和相对的 6D 旋转量，而手部头部则输出 10D 形状参数、9D 全局姿态以及 63D 局部关节欧拉角 [^44]。 损失函数定义：HOST 通过多任务损失函数进行端到端的训练。 $$ \mathcal{L}_{t o t a l}=\lambda_{d e p t h}\mathcal{L}_{d e p t h}+\lambda_{p o i n t}\mathcal{L}_{p o i n t}+\lambda_{m a s k}\mathcal{L}_{m a s k}+\lambda_{o b j}\mathcal{L}_{o b j}+\lambda_{h a n d}\mathcal{L}_{h a n d} $$ 在联合训练阶段，我们设置 $\lambda_{depth} = 0.5$、$\lambda_{point} = 0.5$、$\lambda_{mask} = 1.0$、$\lambda_{obj} = 1.0$ 和 $\lambda_{hand} = 1.0$。 密集损失：我们使用标准的二元交叉熵损失来监督分割掩码。对于深度图和 3D 点云图，我们采用与 VGGT 相同的损失函数定义 [^52]。 运动学损失：我们对所有 3D 旋转采用测地损失函数： $$ \mathcal{L}_{g e o}(\mathbf{R}_{p r e d},\mathbf{R}_{g t})=\operatorname{a r c c o s}\left(\frac{\operatorname{t r}(\mathbf{R}_{p r e d}\mathbf{R}_{g t}^{T})-1}{2}\right) $$ --- 物体姿态是通过全局平移误差和旋转误差来监督的： $$ \mathcal{L}_{o b j}=\lambda_{t r a n s}\|\mathbf{t}_{p r e d}-\mathbf{t}_{g t}\|_{2}+\lambda_{r o t}\mathcal{L}_{g e o}(\mathbf{R}_{p r e d},\mathbf{R}_{g t}) $$ 为了准确恢复关节化的手部模型，我们同时监督全局姿态、局部关节旋转、形状参数以及由此生成的网格顶点。 $$ \begin{aligned}\mathcal{L}_{h a n d}&=\lambda_{t r a n s}\|\mathbf{t}_{p r e d}-\mathbf{t}_{g t}\|_{2}+\lambda_{r o t}\mathcal{L}_{g e o}(\mathbf{R}_{p r e d},\mathbf{R}_{g t})\\&\quad+\lambda_{j o i n t}\mathcal{L}_{g e o}(\mathbf{R}_{p r e d}^{j o i n t},\mathbf{R}_{g t}^{j o i n t})+\lambda_{s h a p e}\|\alpha_{p r e d}-\alpha_{g t}\|_{2}\\&\quad+\lambda_{v e r t}\|\mathbf{V}_{p r e d}-\mathbf{V}_{g t}\|_{2}\end{aligned} $$ 对于物体和手部的损失，我们将损失权重分别设为 $\lambda_{trans} = 5.0$ 和 $\lambda_{vert} = 5.0$，而其他系数均设为 1.0。 训练策略与超参数：HOST 是基于 JAX/Flax 实现的，采用 AdamW 优化器并以 bfloat16 精度进行优化。由于主干网络初始化时使用了鲁棒性强的预训练权重，我们对新增的掩码头、手部头和物体头应用了 5.0 的学习率乘数，以使它们的优化过程与深层主干网络相协调。训练流程分为两个阶段： 阶段 1：大规模预训练。我们利用 VGGT 的预训练权重 [^52] 来初始化网络，从而利用其中强大的几何先验知识。具体来说，我们直接加载 DINO 主干网络、注意力聚合器、深度头和点云头的权重。该模型在 64 个 TPU v5 加速器上训练 200,000 步，总批处理大小为 64，所用数据集为论文中介绍的大规模 VEPHand 数据集 [^1]。基础学习率为 $8.0 \times 10^{-5}$，前 5,000 步采用线性热身策略，随后在步数达到 60k、80k、120k 时分别按 {0.5, 0.2, 0.1} 的比例逐步降低学习率。 阶段 2：微调。该网络在 8 块 NVIDIA H100 GPU 上微调 200,000 步，总批处理大小为 16，所用数据混合了 VEPHand 数据集、合成物体数据集 [^67] 以及经 HOPG 精炼的伪真实序列。基础学习率被下调至 $1.0 \times 10^{-5}$，同样经过 5,000 步的线性热身，以适应目标数据分布。 几何热身：在两个训练阶段的初始阶段，我们都会强制进行 2,000 步的几何热身，具体做法是将 $\lambda_{obj} = \lambda_{hand} = 0.0$ 设为特定值。这样做是为了在回归运动学姿态之前，先让密集的几何特征稳定下来。 ### B.2 手部-物体物理感知高斯模型（HOPG）详情 为了实现高保真表面的重建并同时保持运动一致性，我们将二维高斯直接锚定到手部模板网格上。借鉴 PICA 中的重心参数化方法 [^40]，我们采用了一种混合采样策略来扩展该公式，这种策略将高斯同时锚定在三角面片和网格顶点上。对于每一个 --- 以顶点为锚点的高斯而言，其法向量 $\mathbf{v}_0$ 源自顶点法线，而切向量 $\mathbf{v}_1$ 和 $\mathbf{v}_2$ 则是通过针对参考轴进行 Gram-Schmidt 正交化得到的。这种混合参数化方式确保了二维高斯与变形的网格紧密耦合，从而防止空间散乱，并在关节运动过程中保障表面的完整性。 基于姿态的体积形变：如主论文所述，我们使用一个由5层组成、隐藏层维度为256的轻量级多层感知机来预测四面体顶点的非刚性位移 $\rho_c$。该网络以规范坐标 $\rho_c$ 以及63维的轴角姿态 $\beta$ 作为输入，以生成依赖于姿态的体积偏移量。为确保数值稳定性，最终的线性层采用限定在 $[-10^{-5}, 10^{-5}]$ 范围内的均匀分布进行初始化。这种初始化方式能产生接近零的初始偏移量，从而使“尽可能刚性”（ARAP）能量函数和线性混合蒙皮（LBS）在模型学习精细的非刚性形变之前，就能提供一个稳定的几何起点。 法线与深度的一致性：为了提升表面的平滑度和几何精度，我们采用了 2DGS 中提出的法线-深度一致性损失 [^25]。具体而言，我们强制使渲染出的法线与从深度图的空间梯度中得出的伪真实法线之间保持 L1 对齐。我们并未使用常规的中值深度，而是利用基于平面的高斯泼溅（PGSR）技术生成的深度 $Z_{pgsr}$ [^4]，因为该技术能提供更可靠的几何约束： $$ Z_{pgsr}=\frac{\sum\alpha_{i} d_{i}}{\sum\alpha_{i}|\mathbf{n}_{i}\cdot\mathbf{r}|+\epsilon} $$ 与原始的 2DGS 公式类似，我们应用了软混合掩码来忽略那些观测角度较小的像素，从而确保一致性损失能够稳定地传播梯度。 ARAP 与离线碰撞优化：为防止非刚性形变过程中出现内部体积塌陷，我们在四面体网格上施加“尽可能刚性”（ARAP）能量约束。该能量是在规范四面体顶点 $\rho_c$ 与变形后的顶点 $\rho'_c$ 之间计算的： $$ \mathcal{L}_{a r a p}=\sum_{i}\sum_{j\in\mathcal{N}(i)}w_{i j}\left\|\left(\boldsymbol{\boldsymbol{\rho}}_{c,i}^{\prime}-\boldsymbol{\boldsymbol{\rho}}_{c,j}^{\prime}\right)-\mathbf{R}_{i}(\boldsymbol{\boldsymbol{\rho}}_{c,i}-\boldsymbol{\boldsymbol{\rho}}_{c,j})\right\|_{2}^{2} $$ 其中 $\mathbf{R}_i$ 是通过奇异值分解（SVD）为第 i 个四面体单元的局部邻域估算出的最优旋转矩阵。 离线碰撞解决：由于仅靠光度监督可能无法完全消除物理穿透现象，因此我们引入了具备物理感知能力的优化阶段来强制执行接触约束。我们将碰撞分为自碰撞 --- （手部内部碰撞）和相互碰撞（手与物体之间的碰撞）。具体来说，对于一组查询顶点 $\{\mathbf{p}_q\}$，我们首先利用高性能的 CUDA 内核执行点是否在网格内的包含性检测，从而生成一个二进制掩码 $\mathcal{M}$，其中当顶点位于参考几何体内时 $\mathcal{M}_q = 1$。对于每个识别出的穿透点，我们计算其最近的参考表面点 $\mathbf{p}_{ref}$，并最小化沿查询顶点法线 $\mathbf{n}_q$ 方向投影到表面的距离： $$ \mathcal{L}_{c o l l}=\sum_{q}\mathcal{M}_{q}\cdot\left(\left(\mathbf{p}_{q}-\mathbf{p}_{r e f}\right)\cdot\mathbf{n}_{q}\right)^{2} $$ 每进行 15,000 次全局训练步骤，我们便会启动专门的离线优化阶段。在此阶段中，我们会利用 Adam 优化器执行 1,000 次迭代，仅用于更新手部姿态参数 $\Delta\beta$，从而有效消除任何累积的交叉现象。 损失函数与优化细节：为了将环境光照参数与高斯图元的固有外观明确分离，HOPG 模块采用 $N_b = 5$ 的批量大小进行优化。通过跨多个帧的联合优化，模型能够区分视点相关的光照效果与一致的底层几何结构和纹理。对于一个包含 21 个视角、共 600 帧的典型序列，优化过程会运行 30,000 次迭代，在单张 NVIDIA A100 GPU 上大约需要 5 小时。整体目标函数定义如下： $$ \begin{aligned}\mathcal{L}_{H O P G}&=\lambda_{p h o t o}\mathcal{L}_{L1}+\lambda_{d s s i m}\mathcal{L}_{D-S S I M}+\lambda_{l p i p s}\mathcal{L}_{L P I P S}\\&\quad+\lambda_{a r a p}\mathcal{L}_{a r a p}+\lambda_{l a p}\mathcal{L}_{l a p}+\lambda_{n o r m}\mathcal{L}_{n o r m}+\lambda_{s m o o t h}\mathcal{L}_{s m o o t h}\end{aligned} $$ 主要的光度损失权重分别设为 $\lambda_{photo}=1.0$、$\lambda_{dissim}=0.2$ 和 $\lambda_{lpips}=2.0$。在几何正则化方面，我们采用 $\lambda_{arap}=5000.0$ 的 Tet-ARAP 权重以及 $\lambda_{lap}=20000.0$ 的拉普拉斯平滑权重来保持网格结构的完整性，同时引入 $\lambda_{norm}=1.0$ 的 PGSR 法向一致性权重。时间平滑惩罚项 $\mathcal{L}_{smooth}$ 既应用于手部姿态 $\theta$，也应用于物体轨迹 $\lambda_{smooth}=10.0$，以确保运动连续性。 ## C 计算效率与可扩展性 由于我们的系统旨在实现高保真的离线 4D 资产重建，因此我们优先确保系统的鲁棒性与准确性。下文我们将详细介绍两个主要阶段的计算需求。 主机端推理：在时间窗口为 $F = 5$ 的情况下，HOST 的计算成本包括模型推理（由于注意力机制的影响，其计算量随视角数量 V 呈平方级增长）以及与视角无关的后处理（PGO+ICP，速度约为 1 帧/秒）。表 4 列出了在单张 NVIDIA H100 GPU 上的运行时间与峰值内存占用情况。 ---
Table 4: HOST Inference Runtime and Peak Memory relative to the number of views (V) on a single H100 GPU.
Number of Views (V)461019
HOST Infer Time (s)0.340.821.244.38
Peak VRAM (GB)~7.4~11.5~23.8~75.6
HOPG 优化：在 HOPG 细化阶段，每个序列在 NVIDIA A100 GPU 上的优化时间约为 5 小时。这种计算开销对于高保真、具备物理特性的离线资产重建而言属于正常范围。此外，为了适应大型数据集，这种基于序列的优化过程本质上是解耦的，可以轻松地在计算集群中并行执行。