# MANUS：基于关节化3D高斯的无标记手抓握捕捉技术 Chandradeep Pokhariya $^{1}$ * Kefan Chen $^{2}$ Ishaan Nikhil Shah $^{1}$ ** Avinash Sharma $^{1}$ Angela Xing $^{2}$ ** Zekun Li $^{2}$ Srinath Sridhar $^{2}$ $^{1}$印度信息技术学院海得拉巴分校 $^{2}$布朗大学 ivl.cs.brown.edu/research/manus ![Image](images/c32af226d68a832676bd6219e7c0523274611b134c14a5c3a10994d0b711b16e.jpg)
Figure 1. We introduce MANUS, a novel markerless approach for capturing grasps by employing an articulated 3D Gaussian representation to accurately model hand shapes. This approach improves contact estimation accuracy in comparison to other template-based approaches when evaluated against ground truth contacts.
## 摘要 理解人类用手抓取物体的机制在机器人技术和混合现实等领域有着重要应用。然而，这一极具挑战性的问题需要对手与物体之间的接触进行精准建模。为了捕捉抓握动作，现有方法采用骨架、网格或参数化模型，但这些模型无法准确描述手部形状，从而导致接触建模不精确。我们提出了MANUS——一种基于关节化3D高斯的无标记手-物体抓握捕捉方法。我们构建了一种全新的关节化3D高斯表示方式，该方式对3D高斯泼溅技术[^29]进行了扩展，能够以高保真度呈现关节运动中的手部形态。由于我们的表示方法采用从多视角像素对齐损失中优化得到的高斯基元，因此能够高效且准确地估算手与物体之间的接触情况。为了获得最精确的结果，我们的方法需要数十个相机视角，而当前的数据集并不具备这一条件。因此，我们构建了MANUS-Grasps数据集，该数据集包含来自30多个场景、3名受试者、由50多个相机拍摄的超过700万帧的手-物体抓握图像。 除了大量的定性实验结果外，我们还证明，在采用“从物体到手部的颜料转移”这一定量接触评估方法中，我们的方法性能优于其他算法。 ### 1. 引言 普通人每天会轻松抓取上百种不同物体[^74] [^76]。这种看似平常的抓取动作对机器而言却是一项巨大挑战，计算机视觉[^16]和机器人技术[^3] [^4]领域的大量相关研究便印证了这一点。高精度捕捉自然状态下的人类抓握动作能够为机器人技术和混合现实等领域开辟新的应用场景，但要解决这一难题，首先需准确估算手与物体之间的接触情况[^5]。 以往的研究通过佩戴手套或使用特殊传感器来解决这一问题[^20] [^49]，但这些设备 --- 十分笨重，还会限制手部活动。因此，大量研究聚焦于利用一个或多个相机实现无标记抓握捕捉[^1] [^6] [^9] [^21] [^59]。 这些方法大多采用骨架[^21]、网格[^1]或参数化模型[^26] [^52]来建模手部和物体。尽管这些表示方法灵活且易于使用，但它们往往无法准确描述手部形状，进而导致接触精度下降（见图1）。近期，关节化神经隐式表示[^14] [^40] [^45]被提出作为替代方案，但在隐式表示中建模接触关系颇具挑战性，且需要耗费大量算力进行采样。 为了克服这些局限，我们提出了MANUS——一种基于关节化3D高斯模型的无标记手-物体抓取捕捉方法。MANUS的核心组件是一种3D高斯泼溅技术[^29]，用于构建MANUSHand——一种由3D高斯构成的关节化手部模型。相较于许多采用隐式表示的模型，该模型在优化和推理速度上更具优势。同样，我们也会用静态3D高斯来表征物体。由于MANUSHand和物体均采用具有明确位置和方向的高斯基元进行建模，因此我们能够高效计算出二者之间的瞬时接触和累积接触情况（详见第4.2节）。当在包含数十个相机视角的数据集上训练时，我们的方法能够精准捕捉抓取动作；因为3D高斯能实现精确的像素级对齐，从而比现有方法得出更精准的形状和接触估计结果。 以往的数据集[5, 17, 21–23, 36, 60, 75]在解决抓取捕捉问题方面发挥了重要作用，但存在以下局限：(1)它们依赖专用硬件（热敏相机[^5]或标记点[^60]）来捕捉手-物体抓取动作，难以规模化应用；(2)仅基于RGB相机的数据集[^6] [^9] [^17] [^31]包含的视角较少且存在遮挡现象，难以学习精确的接触关系；(3)它们依赖参数化模型或骨架来估计接触关系，导致接触估计结果不准确。我们的核心发现是：视角数量越多，自遮挡的影响就越小，精准的接触建模也就越容易实现。因此，我们精心制作了一个独一无二的真实场景多视角RGB数据集——MANUS-Grasps，该数据集包含超过700万帧图像，由50多台高帧率相机拍摄而成，能够全方位覆盖30多种日常场景中的抓取序列。此外，该数据集还包含15个评估序列，这些序列会在物体上涂抹湿颜料，从而在手上留下接触痕迹[^27]，无需额外设备或标注就能自然评估接触质量。我们通过大量实验验证了MANUS-Hand及MANUS抓取方法各组成部分的有效性。同时，我们还提出了一种新的接触质量指标，用于评估MANUS相较于基于模板的方法的性能。虽然我们的方法并非为追求照片级真实感而设计，但我们发现所捕捉的抓取序列在视觉质量上与最优秀的隐式手部模型不相上下。 综上所述，我们的贡献包括： - MANUS-Hand：一种用于关节化手部的高效新表示方式，它利用3D高斯泼溅技术实现精准的形状和外观表示。 - MANUS：一种利用MANUS-Hand和物体的3D高斯表示来精准建模接触关系的方法。 - MANUS-Grasps：一个大型真实场景多视角RGB抓取数据集，包含来自50多台相机的超过700万帧图像，能够全方位覆盖30多种日常生活场景中的抓取动作。 - 一种利用物体与手部之间的颜料转移来验证接触精度的独特创新方法。 ### 2. 相关工作 表征方式：骨架和形状基元集合是最早用于手-物体交互建模的表征方式[^49] [^59]，但这些表征在接触估计方面往往不够精确。网格[^1]和参数化模型[^26] [^52]目前是最常用的替代方案，但由于其低维表征特性，仍可能与观测结果存在偏差（见图1）。 基于坐标的隐式神经网络，即神经场[^68]，在精确建模静态场景[^10] [^12] [^29] [^37] [^39] [^40] [^44] [^46] [^57] [^64] [^70] [^72]以及动态场景[^19] [^33] [^38] [^63] [^69] [^71]方面展现出巨大潜力。有几种方法专门针对关节型物体[^32]，比如人体[^32] [^35] [^47] [^48] [^66]或手部[^14] [^28] [^34] [^45] [^50]。不过，它们所使用的表征在采样和接触估计方面效率较低。相比之下，我们提出了一种新的关节型神经场表征，它将3D高斯泼溅技术[^29]扩展到手部建模中，从而实现高效的训练/推理及接触估计。 手-物体交互捕捉：以往的研究尝试使用骨架[^21] [^31]或定制网格[^1]作为手部表征来建模手-物体交互，但并未明确估计接触情况。大多数其他研究[^9] [^17] [^23] [^36] [^60]采用MANO模型结合动作捕捉数据，或一个或多个摄像头视角。虽然使用参数化网格模型更容易估计接触情况，但偏差现象仍很常见（见图1）。为了克服精确接触估计的难题，一些方法转而采用物理仿真[^13] [^62] [^73]，但这些方法仅适用于合成抓取场景。相比之下，我们提出了一种无模板的关节型3D高斯泼溅模型，它能自然地实现精确的接触估计。 抓取数据集：人类抓取相关数据集的构建颇具挑战性 ---
Dataset#N Images (Views)Annot. Type
w/o Contacts Annotation
H2O-3D [^22]76k (5)multi-kinect
FHPA [^20]105k (1)magnetic
HOI4D [^36]2.4M (1)single-manual
FreiHand [^75]37k (8)semi-auto
HO3D [^21]78k (1-5)multi-kinect
DexYCB [^9]582k (8)multi-manual
ARCTIC [^17]2.1M (9)mocap
w/ Estimated Contacts Annotation
ContactPose [^6]2.9M (3)multi-kinect
GRAB [^60]- (-)mocap
H2O [^31]571k (5)multi-kinect
w/ Ground-Truth Contacts Annotation
MANUS-Grasps (Ours)7M (50+)multi-auto
Table 1. Dataset Comparison of existing Real World Datasets. The hands in previous datasets are represented by skeleton and MANO. Different from other works, we use Gaussian to model the hand. The keyword “single/multi-manual” denotes whether single or multiple views being used to annotate manually.
由于获取这些数据需要专门的硬件、大量的标注工作以及繁重的后处理步骤才能使其发挥作用。有些数据集利用标记或特殊手套来追踪手和物体的位置 [^2] [^15] [^20] [^61]，但这会妨碍手的自然运动，还会改变图像外观。合成数据集 [^23] [^42] [^43] 存在域差异问题，导致难以推广到真实数据。因此，相关研究主要集中在手动标注 [^1] [^7] [^51] [^59]、优化 [^21] 或基于RGB或深度数据的自动标注 [^9] [^56] 上。这些数据集中的许多仅提供3D手部姿态信息，缺乏接触相关信息。像InterHand2.6M [^41] [^75] 这样的数据集仅局限于手部数据，不包含任何物体；而其他数据集 [^55] 则仅关注2D理解。为克服这些局限，HOnnotate [^21] 提出了一种无需标记的系统，可自动标注多达77K帧的数据。不过，该数据集中的物体种类和抓取方式仍较为有限。ContactDB [^5] 和ContactPose [^6] 解决了这一局限，涵盖了更多种类的抓取方式。ContactDB采用热成像技术采集数据，而ContactPose则使用多视角RGB-D数据。不过，这两种方法都仅限于3D手部姿态，使用的物体不符合现实情况，且用于神经场建模的视角也不够充分。 相比之下，我们推出的MANUS-Grasps包含了来自50多个摄像头的多样化抓取数据，拍摄帧率高达120 FPS，专为支持神经场方法而设计。总共而言，我们提供了超过7M帧的数据，其中包含真实的相机姿态、分割结果以及估算的接触信息。 ### 3. 背景 我们简要总结了近期在利用3D高斯模型对静态和动态场景的辐射场进行建模方面的进展 [^29] [^38] [^67]。我们的方法（见第4节）将3D高斯表示扩展到手部等关节物体上，并用于抓取捕捉。 静态3D高斯：给定多视角图像和场景的稀疏点云，可以在世界空间中定义一组3D高斯图元 $x \in \mathbb{R}^{3 \times 1}$，具体如下： $$ \begin{array}{r}{G(x)=e^{\frac{-1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)},}\end{array} $$ 其中每个高斯图元包含3D位置 $(\mu)$、不透明度、各向异性协方差矩阵 $(\Sigma)$ 以及球面谐波（SH）系数。在辐射场训练过程中，初始3D高斯的特性会与平铺光栅化器一起被优化 [^29]，目标是最小化像素损失。 动态3D高斯：3D高斯方法最近已被扩展到动态场景 [^29] [^67]。[^67] 引入了变形场，用于追踪不同时间步下的高斯位置。类似地，[^38] 使高斯能够随时间移动和旋转，同时保持其颜色、不透明度和大小不变。虽然这些方法能够捕捉动态和可变形场景，但它们无法控制动态运动，例如通过骨骼来控制。此外，在这些方法中，高斯可以在场景中自由移动且不受任何限制，这不适合用于表示手部，因为手部具有特定的运动结构。用于抓取捕捉的关节式3D高斯表示将具有明显优势，因为它能够实现基于低维骨骼的手部控制。 ### 4. 方法 MANUS旨在通过从多视角RGB视频中精确估计手部的形状、外观以及手部与物体之间的接触情况，从而实现无需标记的人手抓取动作捕捉。我们通过将MANUS-Hand与物体模型相结合来实现这一目标，二者均以3D高斯形式表示，这使得我们能够比基于采样的隐式表示方法更高效地计算接触情况。图3概述了我们的方法。 #### 4.1. MANUS-Hand 我们提出的无模板、可活动手部模型MANUS-Hand采用3D高斯泼溅技术作为手部形状和外观建模的表示方法。该模型可以在任何多视角数据集的序列上进行训练，从而构建出适用于任意新姿态的可活动手部模型。 表示方法：MANUS-Hand（见图2）由一个包含21根骨头的骨骼组成，具有26个自由度（关于各骨头对应的自由度详情请参见补充材料）。 --- ![Image](images/ab5c713004e370e8ec24c356147598ee291525b435753c2e5aaca2318868a248.jpg)
Figure 2. MANUS-Hand is a template-free, articulable hand model learned from multi-view hand sequences which utilizes 3D Gaussian splatting representation for accurate modelling of the shape and appearance of hands.
![Image](images/6f0a0f2be8086c571474c7212b661727df0f37e358541e62ac2d6b248011719b.jpg)
Figure 3. MANUS leverages a driving pose to get MANUS-Hand in grasp scene. It is combined with an object model to get instantaneous and accumulated contacts between the two.
我们搭建了一个定制的姿态估计流程，先利用AlphaPose [^18] 来估计3D关节位置，再进行逆向运动学拟合（详见补充材料）。由于不同人的骨骼长度存在差异，我们会从数据集中估算出这些长度并相应调整骨骼结构。一个人在标准姿态下的手部独特形状和外观由3D高斯的状态决定，即位置 $\mu$、协方差 $\Sigma$、不透明度 $\alpha$ 以及球面谐波系数 $\phi$。标准空间中每个高斯的协方差进一步定义为 $\Sigma = RSS^T R$，其中R和S分别表示高斯的旋转和平移参数。 优化过程：针对每位受试者，我们会从包含约20种手部姿态的密集多视角数据中单独优化出专属的MANUS-Hand模型。为了初始化MANUS-Hand中的高斯状态，我们将它们的均值设为标准手部姿态下每根骨头中点处呈正态分布的点，且分布的标准差会调整为与该骨头长度相匹配（如图2所示）。对于协方差、不透明度和SH系数的初始化，我们采用了与 [^29] 类似的方案。 为了获取姿态空间中的高斯位置，需对规范高斯应用正向运动学和线性混合蒙皮技术。一种获取蒙皮权重的方法是将MANO权重[^52]直接分配给最邻近的高斯。然而，这种方法会产生伪影，因为训练过程中高斯可能会以不可预测的方式移动，从而导致蒙皮权重不匹配（在消融研究中有所展示）。为解决这一问题，我们借鉴Fast-SNARF的思想创建了规范网格[^11]。随后采用最近邻方法将蒙皮权重分配给网格体素，这些权重被称为网格权重。现在，为了获取规范空间中查询到的高斯W所对应的蒙皮权重，需对这些网格权重执行三线性插值。我们使用每个骨骼的变换矩阵——记为$T_b$，以及线性混合蒙皮技术来计算变换后的高斯位置：$T_g = WT_b$、$\mu_p = T_g\mu$，其中$\mu_p$表示高斯在姿态空间中的位置，$T_g$则表示每个高斯对应的变换矩阵。为了计算姿态空间中高斯的协方差，需使用旋转矩阵$R_g$对其进行变换，该旋转矩阵由$T_g$推导而来。其表达式为$\Sigma_p = R_g\Sigma R_g^T$。在外观方面，我们对规范空间中每个高斯$\phi_g$的球谐系数进行优化。要获取变换后或姿态空间中的颜色，首先需将姿态空间的观察方向$\nu_p^g$转换到规范空间$\nu_c^g$，即$\nu_c^g = T_g^{-1}\nu_p^g$，此过程针对每个高斯使用$T_g$。完成这一步后，我们利用这些变换后的观察方向$\mu_c^g$来查询规范空间中的球谐系数，进而得到每个姿态高斯对应的RGB颜色。为了生成最终图像，当前处于姿态空间中的所有高斯状态会被作为输入传递给可微光栅化器[^29]，记为$\mathcal{R}$。 $$ \mathcal{I}=\mathcal{R}\big(\mu_{p},\nu_{c},\Sigma_{p},\alpha,\phi\big), $$ 其中$\mathcal{I}$为渲染后的图像。在优化过程中，通过最小化姿态手部的像素损失来对高斯状态进行优化。为了优化所有高斯状态，我们引入了渲染损失$\mathcal{L}_1 = \|\hat{\mathcal{I}} - \mathcal{I}\|$以及结构相似性[^65]损失$\mathcal{L}_{SSIM}$，用于衡量合成图像$\mathcal{I}$与 --- 姿态手部的真实图像$\tilde{I}$之间的差异。为了进一步提升合成图像的感知质量，我们额外添加了感知损失$\mathcal{L}_{perc}$ [^25]。 为了避免出现可能导致接触渲染伪影的高度各向异性高斯，我们引入了各向同性正则化项，以确保优化后的高斯尽可能保持各向同性。若$\min_s \in R^3$和$\max_s \in R^3$分别为优化后高斯的最小和最大尺度，则各向同性正则化项$\mathcal{L}_{iso}$定义为 $$ \mathcal{L}_{i s o}=(\frac{\operatorname*{m i n}_{s}}{\operatorname*{m a x}_{s}}-s)^{2}, $$ 其中s的取值为0.4。我们最终的损失函数为$L_h = \alpha \mathcal{L}_1 + \beta \mathcal{L}_{SSIM} + \gamma \mathcal{L}_{perc} + \delta \mathcal{L}_{iso}$。 推理阶段：一旦高斯状态被优化完毕，我们就可以利用从姿态估计流程中获得的骨架来驱动MANUS-Hand（详见补充材料）。在推理时给定新姿态，MANUS-Hand会输出变换后的高斯以及特定视角下的渲染图像。 #### 4.2. MANUS：抓取捕捉 虽然MANUS-Hand能够实现高保真的关节手部建模，但它并非专为捕捉抓取和接触行为而设计。为了捕捉抓取动作，我们需要物体的表征以及接触估计方法。 物体表示：为了准确表示物体，我们按照第4.1节的描述构建一种非关节化的高斯表示，并做了一些改进以保持几何一致性和精确度。为了防止优化过程中出现游离的高斯点，我们会通过投影到图像上并剔除那些位于物体掩码之外的点来修剪异常高斯点。抓取捕获：为了在特定序列中捕获抓取动作，我们首先根据估计的手部姿态来驱动MANUS-Hand手部模型。随后，我们按照上述方法构建物体模型。接下来，我们将手部与物体的高斯点合并。具体来说，如果$G_h$和$G_o$分别代表抓取场景中的手部高斯点和物体高斯点，我们只需将这两组高斯点进行拼接$G_f = \{G_o, G_h\}$。由于我们使用了高斯泼溅技术，这种拼接操作能够自然实现——而若采用隐式表示方法则无法做到这一点[^14] [^32] [^45]。由于光栅化模块仅需一组高斯点及其状态信息，因此我们可以为每一帧无缝合并手部与物体的高斯点。最终的抓取图像是通过公式(1)对这些高斯点进行光栅化合成得到的。 接触估计：接触图是根据手部与物体高斯点在三维空间中的邻近程度来计算的。对于手部的每一个高斯点，我们都会找到物体上最靠近它的高斯点。若两者之间的距离小于某一阈值，则这对高斯点被视为处于接触状态；从物体的角度评估接触时也是如此。具体而言，如果$G_{h}$代表姿态空间中的手部高斯点，而$G_{o}$代表物体上的高斯点，那么它们之间的三维接触图可定义为： $$ C=\begin{cases}{d(G_{h},G_{o}),}&{\mathrm{i f~}d(G_{h},G_{o})<\tau}\\ {0,}&{\mathrm{o t h e r w i s e}}\\ \end{cases}, $$ 其中d表示高斯点位置之间的欧几里得距离。若该距离小于预设的接触阈值$\tau$，则认为发生了接触。我们利用这种方法估算手部和物体上的两种接触图：(1) 表示特定时间步接触情况的瞬时接触图；(2) 表示抓取完成后累积的接触情况的累积接触图。为了得到累积接触图$C_{acc}$，我们只需将上一帧的累积接触图与当前帧的结果相加即可。在渲染接触图时，我们采用公式(1)，将接触距离作为每个高斯点的颜色值。 #### 4.3. MANUS-Grasps 为了使我们的抓取捕获方法能够良好运行，一个关键要求是具备包含数十个摄像头视角的多视角RGB数据集，以辅助解决自遮挡问题。许多现有数据集（详见第2节和表1）包含了手部抓取的多视角图像或视频[^21] [^56] [^61]，但要么没有足够多的视角来支持神经场表示，要么仅限于手部数据[^41]。因此，我们推出了MANUS-Grasps——一个大型真实世界多视角RGB抓取数据集，包含来自50多个摄像头的超过$\tilde{7}$百万帧图像，能够对包含30多种不同物体的抓取序列提供完整的360度覆盖。 采集系统：我们定制的数据采集装置由53台RGB摄像头组成，这些摄像头均匀分布在立方体采集区域内，每个面上各布置9台摄像头。立方体各侧面均通过LED灯均匀照明。每台RGB摄像头以120 FPS的速率拍摄，分辨率为$1280 \times 720$。摄像头通过软件同步，帧对齐误差不超过3毫秒。该多视角系统利用COLMAP[^53] [^54]对摄像头的内外参数进行校准，墙上还设置了基准标记。 采集协议：我们的采集协议包含四个步骤。首先，我们记录受试者右手在执行简单抓握动作时的多视角视频。接着，我们只采集物体本身的图像，而不包括手。然后，在不移动物体的情况下，记录受试者手抓取该物体的多视角视频。我们对每位受试者重复这一过程30次以上，每个物体场景下进行2-5次抓握。在评估序列中，我们还会在最后采集一个基准姿态，以记录转移上去的颜料所形成的接触痕迹（见下文）。 真实接触数据：我们数据集的独特之处在于采集了15个评估序列，这些序列中的物体表面有 --- 抓取过程中会涉及未干的油漆[^27]。因此，油漆会被转移到手上，形成可视化的接触痕迹。这种接触痕迹是对手与物体之间真实（累积）接触情况的物理准确反映，可视为真正的基准数据（即便像[^5]这类方法也会受到热量散失的影响）。我们选用亮绿色油漆是为了便于自动分割，进而建立接触评估的黄金标准。 数据标注：MANUS-Grasps还提供了二维和三维手部关节位置信息，以及手和物体的分割掩码。我们通过AlphaPose [^18] 获取关节位置，随后进行三维三角测量和逆向运动学计算 [^58]。我们设置了约束条件，限制骨骼旋转的自由度和关节角度。为了使序列具有时间平滑性，我们对估算出的参数应用1€滤波器 [^8]。为了从背景中分割出手和物体，我们使用Segment Anything Model (SAM) [^30]，随后拟合Instant-NGP模型 [^44] 来提取二值掩码，以确保多视角下的一致性。 #### 5.1. 评估MANUS-Hand ### 5. 实验与结果 在本节中，我们将展示我们方法的定性和定量结果。我们的目标是评估MANUSHand和MANUS抓握采集方法，并与现有方法进行比较。 ![Image](images/2fdc6dbad414f8917fc533b71432ef1717add419d43ff9ffdf1964a79ab8fc6c.jpg)
Figure 4. Qualitative comparison of MANUS-Hand with Live-Hand [^45] and TAVA [^32]. It's noteworthy that our renderings closely resemble those of LiveHand and surpass TAVA in quality, even in the absence of any components designed to enhance photorealism.
我们首先展示仅与MANUS-Hand相关的结果和实验。我们从定量和定性两个维度评估我们的手部模型与当前最先进的方法LiveHand [^45] 和TAVA [^32] 相比的视觉质量。指标、数据集与设置：我们采用PSNR、SSIM和LPIPS指标（分数越高表示性能越好）来评估我们的手部模型在Interhand2.6M数据集上的视觉质量，具体结果如表3所示。我们选取Interhand2.6M中的两名受试者（Capture0和Capture1），重点分析测试集中“ROM07-RT-Finger-Occlusions”序列的数据。我们将75%的数据用于优化，剩余部分用于评估。 定量评估：MANUS-Hand并非专为照片级真实感而设计，因为我们省略了环境光遮蔽和阴影映射，仅关注几何精度。如表3所示，我们的结果优于TAVA，但就所评估的指标（PSNR/LPIPS）而言，LiveHand的表现最佳；这些指标会对缺乏环境光遮蔽和阴影的情况给出严厉惩罚（[^32]也提到了这一点）。我们想强调，我们的主要目标并非在视觉质量上超越现有的手部模型，而是专注于精确的接触点估计。LiveHand和TAVA都学习隐式体积密度场，这使得计算接触图既复杂又昂贵，而我们基于高斯的方法则更高效。与LiveHand和TAVA进行比较，旨在说明尽管我们的模型并非为照片级真实感而设计，但其视觉质量仍可与它们相媲美。 定性评估：我们对MANUS-Hand与TAVA [^32]以及LiveHand [^45]进行了定性比较，如图4所示。我们的渲染质量优于TAVA [^32]，且与LiveHand相当。总之，尽管我们的方法并非为照片级真实感而定制，但在照片级真实感场景中仍展现出巨大的应用潜力。 #### 5.2. 抓取捕捉评估 接下来，我们评估MANUS方法在抓取捕捉方面的表现。本文中，我们假设手与物体之间的直接接触是主要的抓取方式（我们忽略通过工具进行的间接抓取）。因此，抓取评估的目标是客观衡量接触点的准确性。我们比较了三种方法：（1）MANO [^52]拟合方法，（2）HARP [^28]，以及（3）我们的MANUS模型。 指标、数据集与设置：在实验中，我们采用湿漆转移法 [^27] 来准确收集真实的累积接触数据（详见第4.3节）。抓取完成后，用户被要求恢复到标准的抓取后姿势。在此姿势下，抓取手中的绿色油漆残留物会被自动分割，随后利用 [^44] 从10个不同视角生成2D接触图（详情见补充材料）。接着，我们使用交并比（IoU）和F1分数指标来评估不同方法所估计的抓取质量。所有实验均使用15组湿漆评估序列。我们为所有方法的接触点估计设定了距离阈值 $\tau = 0.004$。为了公平比较，我们在估计接触点之前，将MANO和HARP的网格顶点数从778个细分至49,000个。对于所有方法中的接触掩码估计，我们采用以下方法： --- 在距离图上，我们使用“灰色”颜色映射 [^24]。MANUS的接触掩码通过 [^29] 渲染，而其他两种框架则使用Blender中的发射着色器进行渲染。值得注意的是，如表2所示，在所有三名受试者中，MANUS在接触指标上的表现始终优于其他方法。
MethodSubject1Subject2Subject3
mIoU $\uparrow$
MANO0.1610.1350.208
HARP0.1730.1480.224
Ours0.2060.1520.275
F1 score $\uparrow$
MANO0.2700.2280.338
HARP0.288750.24740.361
Ours0.3350.2510.424
Table 2. Comparison of MANUS grasp capture approach with MANO and HARP on contact metric. Note that, we perform consistently better in both metrics.
定性评估：我们还在图6中展示了我们的接触结果与使用MANO和HARP所获得的结果之间的定性比较。我们的方法能更精确地呈现接触区域，与实际接触掩码高度吻合，而MANO和HARP方法则存在过度分割现象。尽管我们的方法优于其他方法，但我们注意到，未来方法在我们的数据集上仍有很大的改进空间。 讨论：我们在表4中也展示了密集相机视角对于准确表示接触情况的重要性，该表显示出随着相机视角数量的减少，接触度量值也会随之下降。这一发现意义重大，因为它证实了我们的初始假设——密集相机视角对于准确表示接触情况至关重要，有助于避免自遮挡现象。 结果：最后，我们在图5中展示了定性结果，呈现了两个不同阶段：抓取过程中的一个阶段以及抓取完成后的阶段。如需全面了解抓取的360度视图、深入的消融研究以及实现细节，请参阅我们的补充材料。 ### 6. 结论 在这项工作中，我们提出了MANUS，它引入了一种新颖的关节式3D高斯表示法，成功弥合了手-物体交互中接触情况的精确建模与当前数据采集技术的局限性之间的差距。我们推出了MANUS-Grasps，这是一个由50多台相机采集的多视角数据集，它提供了前所未有的细节水平和
MethodPSNR $\uparrow$SSIM $\uparrow$LPIPS $\downarrow$Test time (s) $\downarrow$
TAVA22.850.9830.09911.00
LiveHand31.160.98180.02780.022
Ours26.320.98720.0680.049
Table 3. Here, we show comparison of MANUS-Hand on Inter-Hand2.6M [^41] dataset with LiveHand [^45] and [^32]. Note that our primary goal is to obtain accurate contacts, not visual quality.
Camera ViewsSubject1Subject2Subject3
mIoU $\uparrow$
50.1470.1400.214
100.1640.1450.256
200.1760.1420.261
Ours (30+)0.2060.1520.275
F1 score $\uparrow$
50.2440.2350.343
100.2660.2420.401
200.2710.2400.410
Ours (30+)0.3350.2510.424
Table 4. Here we show empirical findings demonstrating the decline in contact metric as the number of camera views decreases, leading to increased susceptibility to self-occlusions.
精确度，涵盖了广泛的场景、受试者和帧数。总体而言，MANUS在推动机器人技术、混合现实和活动识别领域的发展方面展现出巨大潜力，能够助力打造更精确的机器人系统并提升虚拟交互体验。 局限性与未来工作：虽然本文的重点是准确的接触估计，但我们认识到日常生活中手部运动的复杂性远超我们的探索范围。我们目前主要致力于对静态物体的单手抓取建模，尚未涉及由皮肤拉伸引起的、与姿态相关的非线性变形问题。此外，长时间的手-物体操控问题在本研究中也未涉及，这可成为未来研究的有趣方向。我们还发现，我们提出的评估指标在未来仍有改进空间。我们也承认我们的采集设备较为复杂且获取难度较大，这也促使我们将数据集公开发布。 致谢：本研究得到了NSF CAREER基金#2143576、ONR DURIP基金N00014-23-1-2804、ONR基金N00014-22-1-259、Meta Reality Labs的资助以及AWS云积分奖的支持。我们要感谢George Konidaris、Stefanie Tellex和Dingxi Zhang。此外，我们还要感谢Baroda银行对Chandradeep差旅费用的部分资助。 --- ![Image](images/dd726d02ed201b576e03a6145cae3dfe6dbb056a22a9eddeca8968d794040c5c.jpg)
Figure 5. Here we show our contact estimation results on novel views for a variety of objects. We show both instantaneous and accumulated contacts for the hand in a canonical pose. Best viewed zoomed.
![Image](images/5b9b195a83a205c442730d3589910efac2086c27c27ab93e90b811e8b9888b5e.jpg)
Figure 6. Contact Comparisons: We compare accumulated contacts of MANUS with that of MANO and HARP on ground truth contacts from MANUS Grasps dataset. It's visible that our contacts are far more accurate and closer to the actual ground truths.
--- ## 参考文献 [^1]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In Computer Vision–ECCV 2012: 12th European Conference on Computer Vision, Florence, Italy, October 7-13, 2012, Proceedings, Part VI 12, pages 640–653. Springer, 2012. 2, 3 [^2]: Keni Bernardin, Koichi Ogawara, Katsushi Ikeuchi, and Ruediger Dillmann. A sensor fusion approach for recognizing continuous human grasping sequences using hidden markov models. IEEE Transactions on Robotics, 21(1):47–57, 2005. 3 [^3]: Antonio Bicchi and Vijay Kumar. Robotic grasping and contact: A review. In Proceedings 2000 ICRA. Millennium conference. IEEE international conference on robotics and automation. Symposia proceedings (Cat. No. 00CH37065), pages 348–353. IEEE, 2000. 1 [^4]: Jeannette Bohg, Antonio Morales, Tamim Asfour, and Danica Kragic. Data-driven grasp synthesis—a survey. IEEE Transactions on robotics, 30(2):289–309, 2013. 1 [^5]: Samarth Brahmbhatt, Cush Ham, Charles C Kemp, and James Hays. Contactdb: Analyzing and predicting grasp contact via thermal imaging. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 8709–8719, 2019. 1, 2, 3, 6 [^6]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision, pages 361–378. Springer, 2020. 2, 3 [^7]: Ian M Bullock, Thomas Feix, and Aaron M Dollar. The yale human grasping dataset: Grasp, object, and task data in household and machine shop environments. The International Journal of Robotics Research, 34(3):251–255, 2015. 3 [^8]: Géry Casiez, Nicolas Roussel, and Daniel Vogel. 1 € filter: a simple speed-based low-pass filter for noisy input in interactive systems. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2012. 6 [^9]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 3 [^10]: Anpei Chen, Zexiang Xu, Andreas Geiger, Jingyi Yu, and Hao Su. Tensorf: Tensorial radiance fields. arXiv preprint arXiv:2203.09517, 2022. 2 [^11]: Xu Chen, Tianjian Jiang, Jie Song, Max Rietmann, Andreas Geiger, Michael J Black, and Otmar Hilliges. Fast-snarf: A fast deformer for articulated neural fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. 4 [^12]: Zhiqin Chen and Hao Zhang. Learning implicit fields for generative shape modeling. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2 [^13]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 2 [^14]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In CVPR, 2022. 2, 5 [^15]: Joseph DelPreto, Chao Liu, Yiyue Luo, Michael Foshey, Yunzhu Li, Antonio Torralba, Wojciech Matusik, and Daniela Rus. Actionnet: A multimodal dataset for human activities using wearable sensors in a kitchen environment. In Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track, 2022. 3 [^16]: Ali Erol, George Bebis, Mircea Nicolescu, Richard D Boyle, and Xander Twombly. Vision-based hand pose estimation: A review. Computer Vision and Image Understanding, 108(1-2):52–73, 2007. 1 [^17]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2, 3 [^18]: Hao-Shu Fang, Jiefeng Li, Hongyang Tang, Chao Xu, Haoyi Zhu, Yuliang Xiu, Yong-Lu Li, and Cewu Lu. Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022. 4, 6 [^19]: Sara Fridovich-Keil, Giacomo Meanti, Frederik Rahbæk Warburg, Benjamin Recht, and Angjoo Kanazawa. K-planes: Explicit radiance fields in space, time, and appearance. In CVPR, 2023. 2 [^20]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 1, 3 [^21]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 2, 3, 5 [^22]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In IEEE Computer Vision and Pattern Recognition Conference, 2022. 3 [^23]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR 2019 - IEEE Conference on Computer Vision and Pattern Recognition, pages 11799–11808, Long Beach, United States, 2019. IEEE. 2, 3 ## [^24]: J. D. Hunter. Matplotlib: A 2d graphics environment. Computing in Science & Engineering, 9(3):90–95, 2007. 7 --- [^25]: Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part II 14, pages 694–711. Springer, 2016. 5 [^26]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8320–8329, 2018. 2 [^27]: Noriko Kamakura, Michiko Matsuo, Harumi Ishii, Fumiko Mitsuboshi, and Yoriko Miura. Patterns of static prehension in normal hands. The American journal of occupational therapy, 34(7):437–445, 1980. 2, 6 [^28]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. Harp: Personalized hand reconstruction from a monocular rgb video. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12802–12813, 2022. 2, 6 [^29]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (TOG), 42:1–14, 2023. 1,2,3,4,7 [^30]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, and Ross Girshick. Segment anything. arXiv:2304.02643, 2023. [^31]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 2, 3 [^32]: Ruilong Li, Julian Tanke, Minh Vo, Michael Zollhofer, Jurgen Gall, Angjoo Kanazawa, and Christoph Lassner. Tava: Template-free animatable volumetric actors. 2022. 2, 5, 6, 7 [^33]: Tianye Li, Mira Slavcheva, Michael Zollhöfer, Simon Green, Christoph Lassner, Changil Kim, Tanner Schmidt, Steven Lovegrove, Michael Goesele, and Zhaoyang Lv. Neural 3d video synthesis. CoRR, abs/2103.02597, 2021. 2 [^34]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: a non-rigid hand model with bones and muscles. ACM Transactions on Graphics (TOG), 41(4):1–16, 2022. 2 [^35]: Lingjie Liu, Marc Habermann, Viktor Rudnev, Kripasindhu Sarkar, Jiatao Gu, and Christian Theobalt. Neural actor: Neural free-view synthesis of human actors with pose control. ACM Trans. Graph. (ACM SIGGRAPH Asia), 2021. 2 [^36]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 2, 3 [^37]: Stephen Lombardi, Tomas Simon, Jason Saragih, Gabriel Schwartz, Andreas Lehmann, and Yaser Sheikh. Neural volumes: Learning dynamic renderable volumes from images. ACM Trans. Graph., 38(4):65:1–65:14, 2019. 2 [^38]: Jonathon Luiten, Georgios Kopanas, Bastian Leibe, and Deva Ramanan. Dynamic 3d gaussians: Tracking by persistent dynamic view synthesis. arXiv preprint arXiv:2308.09713, 2023. 2, 3 [^39]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy networks: Learning 3d reconstruction in function space. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019. 2 [^40]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 2 [^41]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision, pages 548–564. Springer, 2020. 3, 5, 7 [^42]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of International Conference on Computer Vision (ICCV), 2017. 3 [^43]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of Computer Vision and Pattern Recognition (CVPR), 2018. 3 [^44]: Thomas Müller, Alex Evans, Christoph Schied, and Alexander Keller. Instant neural graphics primitives with a multiresolution hash encoding. ACM Trans. Graph., 41(4):102:1–102:15, 2022. 2, 6 [^45]: Akshay Mundra, Jiayi Wang, Marc Habermann, Christian Theobalt, Mohamed Elgharib, et al. Livehand: Real-time and photorealistic neural hand rendering. arXiv preprint arXiv:2302.07672, 2023. 2, 5, 6, 7 [^46]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. Deepsdf: Learning continuous signed distance functions for shape representation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2 [^47]: Sida Peng, Junting Dong, Qianqian Wang, Shangzhan Zhang, Qing Shuai, Xiaowei Zhou, and Hujun Bao. Animatable neural radiance fields for modeling dynamic human bodies. In ICCV, 2021. 2 [^48]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In CVPR, 2021. 2 [^49]: Tu-Hoa Pham, Nikolaos Kyriazis, Antonis A Argyros, and Abderrahmane Kheddar. Hand-object contact force estimation from markerless visual tracking. IEEE transactions on pattern analysis and machine intelligence, 40(12):2883–2896, 2017. 1, 2 ## [^50]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. Html: A parametric hand texture model for 3d hand reconstruction and --- 个性化。载于《计算机视觉–ECCV 2020：第16届欧洲会议论文集，英国格拉斯哥，2020年8月23–28日》，第11部分，第54–71页。Springer出版社，2020年。2 [^51]: Grégory Rogez, James S Supancic, and Deva Ramanan. Understanding everyday hands in action from rgb-d images. In Proceedings of the IEEE international conference on computer vision, pages 3889–3897, 2015. 3 [^52]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2, 4, 6 [^53]: Johannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 5 [^54]: Johannes Lutz Schönberger, Enliang Zheng, Marc Pollefeys, and Jan-Michael Frahm. Pixelwise view selection for unstructured multi-view stereo. In European Conference on Computer Vision (ECCV), 2016. 5 [^55]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020. 3 [^56]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 3, 5 [^57]: Vincent Sitzmann, Michael Zollhoefer, and Gordon Wetzstein. Scene representation networks: Continuous 3d-structure-aware neural scene representations. In Advances in Neural Information Processing Systems. Curran Associates, Inc., 2019. 2 [^58]: Srinath Sridhar, Antti Oulasvirta, and Christian Theobalt. Interactive markerless articulated hand motion tracking using rgb and depth data. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2013. 6 [^59]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In European Conference on Computer Vision, pages 294–310. Springer, 2016. 2, 3 [^60]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020. 2, 3 [^61]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In European conference on computer vision, pages 581–600. Springer, 2020. 3, 5 [^62]: Dylan Turpin, Liquan Wang, Eric Heiden, Yun-Chun Chen, Miles Macklin, Stavros Tsogkas, Sven Dickinson, and Animesh Garg. Grasp'd: Differentiable contact-rich grasp synthesis for multi-fingered hands. In ECCV, 2022. 2 [^63]: Feng Wang, Sinan Tan, Xinghang Li, Zeyue Tian, Yafei Song, and Huaping Liu. Mixed neural voxels for fast multiview video synthesis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 19706–19716, 2023. 2 [^64]: Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. Neus: Learning neural implicit surfaces by volume rendering for multi-view reconstruction. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence (IJCAI). International Joint Conferences on Artificial Intelligence Organization, 2021. 2 [^65]: Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing, 13(4):600–612, 2004. 4 [^66]: Chung-Yi Weng, Brian Curless, Pratul P. Srinivasan, Jonathan T. Barron, and Ira Kemelmacher-Shlizerman. HumanNeRF: Free-viewpoint rendering of moving people from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16210–16220, 2022. 2 [^67]: Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, and Wang Xinggang. 4d gaussian splatting for real-time dynamic scene rendering. arXiv preprint arXiv:2310.08528, 2023. 3 [^68]: Yiheng Xie, Towaki Takikawa, Shunsuke Saito, Or Litany, Shiqin Yan, Numair Khan, Federico Tombari, James Tompkin, Vincent Sitzmann, and Srinath Sridhar. Neural fields in visual computing and beyond. Computer Graphics Forum, 2022. 2 [^69]: Zhiwen Yan, Chen Li, and Gim Hee Lee. Nerf-ds: Neural radiance fields for dynamic specular objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8285–8295, 2023. 2 [^70]: Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Volume rendering of neural implicit surfaces. In Thirty-Fifth Conference on Neural Information Processing Systems, 2021. 2 [^71]: Jae Shin Yoon, Kihwan Kim, Orazio Gallo, Hyun Soo Park, and Jan Kautz. Novel view synthesis of dynamic scenes with globally coherent depths from a monocular camera. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5336–5345, 2020. 2 [^72]: Alex Yu, Sara Fridovich-Keil, Matthew Tancik, Qinhong Chen, Benjamin Recht, and Angjoo Kanazawa. Plenoxels: Radiance fields without neural networks. arXiv preprint arXiv:2112.05131, 2021. 2 [^73]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. arXiv preprint arXiv:2309.03891, 2023. [^74]: Joshua Z Zheng, Sara De La Rosa, and Aaron M Dollar. An investigation of grasp type and frequency in daily household and machine shop tasks. In 2011 IEEE international conference on robotics and automation, pages 4169–4175. IEEE, 2011. 1 ## [^75]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 2,3 --- [^76]: Paula Zuccotti. Every Thing We Touch: A 24-hour Inventory of Our Lives. Penguin UK, 2015. 1