# Glove2Hand：基于多模态传感手套合成自然的手-物体交互
张欣宇 $^{\dagger,\ddagger}$、寇子怡、秦川、黄米亚、Ergys Ristani、Ankit Kumar、陈乐乐、何坤、Abdeslam Boularias $^{\dagger}$、关立
Meta Reality Labs
$^{\dagger}$罗格斯大学
mlzxy.github.io/glove2hand
(a) Input Glove Video
(b) Synthesized Hand Video
© 传感手套
(d) Downstream Bare-Hand Applications
Figure 1. Glove2Hand translates egocentric glove videos (a) into photorealistic, temporally consistent, bare-hand videos (b) capturing complex interactions with non-rigid objects. The translated videos are accompanied with synchronized tactile and IMU signals (c) from sensing gloves, which significantly enhances downstream bare hand tasks (d) by providing contact events from tactile as ground-truth for vision-based contact estimation; and occlusion-free hand poses from IMU as ground-truth for hand tracking under severe occlusion.
## 摘要
理解手-物体交互（HOI）是计算机视觉、机器人技术以及AR/VR领域的基础。然而，传统的手部视频往往缺乏接触力和运动信号等关键物理信息，且容易出现频繁遮挡现象。为解决这些难题，我们提出了Glove2Hand框架，该框架能够将多模态传感手套拍摄的HOI视频转化为逼真的裸手图像，同时精准保留底层的物理交互动态。我们引入了一种全新的3D高斯手模型，以确保渲染结果在时间上的连贯性。渲染出的手部图像会通过基于扩散模型的手部修复器无缝融入场景，该修复器能够有效处理复杂的手-物体交互及非刚性形变问题。借助Glove2Hand，我们创建了HandSense数据集——这是首个包含手套到手部视频、且同步记录触觉和IMU信号的多模态HOI数据集。实验表明，HandSense能显著优化下游裸手应用场景，包括基于视频的接触点估计以及在严重遮挡情况下的手部跟踪。
处理裸手应用，包括基于视频的接触点估算以及在严重遮挡情况下的手部追踪。
### 1. 引言
理解人类手-物体交互（HOI）是计算机视觉、机器人技术、增强现实（AR）、虚拟现实（VR）以及人机交互领域的关键问题 [^6] [^19] [^23] [^24] [^30] [^44] [^47] [^60]。常见的做法是采集包含人手、物体及其交互过程的第一人称视角视频，用于开发数据驱动的算法 [^16] [^26] [^46] [^68]。不过，目前大多数HOI采集系统本质上仅局限于视觉模态。因此，它们要么无法获取手部力量和接触信息的丰富物理基础；要么由于摄像头视角有限而导致手部被遮挡，难以实现稳定的手部跟踪 [^21]。
为克服HOI视频的上述局限，学界已经提出了几种基于视觉的解决方案。例如，
---
ContactPose [^4] 能够通过重建的网格来估算指尖的二进制接触状态。但该算法仅适用于预先扫描过的刚性物体，无法提供连续的力测量数据。多摄像头摄影棚 [^49] 旨在缓解手部遮挡问题，但由于其设置和校准过程复杂，难以应用于野外场景的数据采集。近年来，传感手套作为一种新型可穿戴设备应运而生，它能够采集多种传感器数据（如IMU [^40] [^65]、触觉数据 [^45] [^82]），还可与第一人称摄像头搭配使用以收集多模态数据。图1.a展示了一款配备全手IMU和指尖触觉传感器的传感手套示例。不过，这类传感手套与人类裸手之间存在明显的外观差异，导致基于手套数据训练的视觉模型在裸手任务上的泛化能力较差。
为了解决这些局限性，我们提出了Glove2Hand——一种基于生成式3D重建的视频方法。该方法能够将拍摄到的第一人称视频中的传感手套视觉上转换为逼真的裸手图像，同时忠实保留从传感手套获取的宝贵IMU和触觉信号。要实现照片级质量的视频，现有研究中存在两大亟待解决的缺口：(1) 保持帧间的时间一致性和多视角一致性，而非仅关注静态图像 [^8] [^43]；(2) 处理与复杂物体的交互（包括形状未知的非刚性物体），而非仅限于形状已知且刚性的物体 [^66] [^76]。
Glove2Hand结合了3D重建在一致性方面的优势，以及生成建模在灵活性和照片真实感方面的优势。我们首先构建了一个简约的3D高斯手模型，该模型在可学习的标准手网格上定义了统计表面分布。这种设计提供了强大的几何先验，能够自然实现光照调整，并渲染出时空一致的、无物体的手部视频。随后，与以往显式建模物体几何结构的方法不同 [^2] [^76]，我们在像素域中表征物体和背景，从而在处理形状未知或可变形的物体时具备更大的灵活性。接着，我们训练了一个基于扩散的手部修复器，将渲染出的手部无缝融入场景，优化手部与物体的细节以及整体连贯性。
为了验证Glove2Hand在提升裸手学习任务效果方面的有效性，我们进一步创建了多模态HOI视频数据集HandSense。该数据集包含精确的手套姿态信息、逼真合成的裸手视频，以及与IMU和触觉信号时间同步的传感器数据。具体而言，我们在HandSense上设计了两项裸手任务（见图1d）：基于视觉的指尖接触估计，以及在严重遮挡情况下的手部姿态跟踪。大量实验表明，Glove2Hand能有效提升模型在这两项裸手任务上的表现。我们的贡献主要有三点：
- 我们提出了用于手套到手部视频转换的Glove2Hand框架，该框架利用新颖的3D高斯手模型来实现一致的渲染，并利用扩散手部修复器来生成性地优化手部与物体的细节。据我们所知，这是首个从传感手套捕捉数据生成照片级且逼真的手部与物体交互效果的研究，成功弥合了传感手套与人类手部之间的巨大外观差异。
- 我们在新创建的数据集HandSense上评估了Glove2Hand的生成质量。HandSense是首个包含同步裸手与传感手套视频、且能直接测量连续触觉及IMU信号的HOI数据集。
- 我们证明了合成手部视频在两项新应用中的价值：基于视觉的接触估计，以及在严重遮挡条件下的稳健手部跟踪。
### 2. 相关工作
手部生成模型。关于手部图像生成的研究可分为三类。手部虚拟形象[^9] [^11] [^32] [^36] [^78] [^80]采用光线追踪[^5]、NeRF[^48]或高斯泼溅[^5] [^37]等渲染方法来实现精确控制，但通常只能生成手部图像，无法包含背景或交互效果。手部扩散模型[^8] [^43] [^51] [^52] [^54] [^58] [^74]能在通用图像合成流程中生成逼真的手部图像，且包含背景，但缺乏精确控制能力，且主要生成细节较少的静态单张图像。最后，手-物体交互合成[^66] [^72] [^76]专注于生成接触区域的特写静态图像，例如根据物体图像估算抓取姿态[^72]，或基于预扫描网格进行渲染[^76]。
我们的框架在这两类方法上有所不同。首先，我们生成手-物体交互的动态视频，捕捉的是动作而非以往研究产生的静态图像。其次，生成的手部运动以输入的手套视频为基准。这种基准机制提供了精确的可控性，能够实现多模态传感器融合和可扩展的数据整理，而无需依赖难以获取的非刚性物体网格。
视频到视频转换。早期的图像到图像转换技术学习了基于对齐[^31]或非配对数据[^83]的映射关系，但无法应对本任务中存在的巨大形态差异。近期的视频转换研究[^3] [^10] [^28] [^69] [^70]通常依赖于预训练图像扩散模型中的潜空间插值。相比之下，我们的方法从非配对数据中直接学习手套到手部的视频转换，无需受限于预训练模型的能力，从而解决了显著的领域差异问题。
视频修复。传统视频修复主要关注物体移除和背景补全，通常会利用光流来保证时间一致性[^39] [^81]。较新的方法则利用扩散模型实现语言条件引导下的视频修复[^18] [^34] [^73]。我们的研究与众不同之处在于专注于修复细节丰富的手-物体接触区域，这一子问题极具挑战性，原因在于
---
Figure 2. Glove2Hand Training. We extract hand poses from input videos and render corresponding hand only frames using our 3D Gaussian hand model. The rendered hands are then overlayed onto the original videos with wrist regions masked. The resulting video is encoded into a latent space and serves as a condition for our diffusion hand restorer, which is trained to restore the original hand video.
Figure 3. Glove2Hand Inference. We render hand only frames using hand poses from glove videos. Prior to pasting, we erase the glove region with an optical-flow based background inpainter [^81], and ensures object pixels remain intact during pasting. The resulting video is encoded and fed as input to diffusion hand restorer.
手部动作极为灵活，且接触物理过程十分复杂。
带触觉感知的手部数据集。手-物体交互数据集[^2] [^42] [^64]通常通过网格来估算二元接触状态[^4] [^12] [^38]。虽然部分数据集能提供连续作用力数据，但它们往往局限于平板设备（限制了手部灵活性）[^1] [^14] [^15] [^79]，或是基于模拟生成[^67]，又或是仅有手套数据而缺少视觉数据[^33]。据我们所知，我们的工作首次创建了结合传感器测量的触觉信号与IMU信号，同时配有同步、逼真的裸手操作视频的数据集。
### 3. 手套到手部框架
#### 3.1. 问题表述
我们将视频片段定义为手套域 $\mathbf{x} \in \mathbb{R}^{T \times H \times W \times C}$ 或手部域 $\mathbf{x}_g \in \mathcal{I}_{\text{glove}}$ 中的 $\mathbf{x}_h \in \mathcal{I}_{\text{hand}}$。每个片段都与手部姿态 $\mathbf{P} \in \mathbb{R}^{T \times J \times 3}$、手部及物体掩码 $\mathbf{M}_h, \mathbf{M}_o \in \{0,1\}^{T \times H \times W}$ 相关联，从而形成一个样本元组 $s = (\mathbf{x}, \mathbf{P}, \mathbf{M}_h, \mathbf{M}_o)$。设 $\mathcal{D}_{\text{glove}} = \{s \mid \mathbf{x} \in \mathcal{I}_{\text{glove}}\}$，我们的目标是学习一个映射关系 $f : \mathcal{D}_{\text{glove}} \mapsto \mathcal{I}_{\text{hand}}$，将手套序列转换为无需手动编辑的逼真手部视频。我们假设 $\mathcal{I}_{\text{glove}}$ 和 $\mathcal{I}_{\text{hand}}$ 属于非配对数据，即两个域之间不存在样本对应关系。
#### 3.2. 方法
逼真的手套到手部视频转换面临两大核心挑战：(1) 实现时间一致性和多视角一致性，这对生成模型而言极其困难；(2) 建模与非刚性物体的复杂交互。此外，传感器手套与裸手之间存在显著的视觉域差异，进一步增加了难度。我们的核心见解是：尽管外观上存在差异，但手套和手部具有相同的底层关节结构，该结构由手部姿态 P 表示。
基于这一认识，我们可以将问题拆解为两个更易处理的子问题：(1) 将手套视频转换为一致的空中手部序列；(2) 将该手部序列重新整合到场景中，同时优化交互细节。因此，我们结合了基于重建的手部化身的一致性（用于解决第一个子问题）与扩散模型的生成灵活性（用于解决第二个子问题）。这种方法使我们能够在不依赖物体的显式3D表示或背景信息的情况下，精细调整复杂的手-物边界细节。我们的框架如图2和图3所示。
##### 3.2.1. 3D高斯手部模型
手部化身方法能够确定性地重建3D手部表征，并根据给定的手部姿态和相机姿态渲染新视角，通常采用神经渲染技术而非生成采样。然而，将现有的化身方法应用于我们的场景时会面临若干挑战：(1) 最先进的方法往往需要密集的多视角相机设置（例如数百个视角 [^32] [^49]），而我们的头戴式设备仅提供两个位置相近的相机；(2) 现有的化身数据集通常是在受控且光照校准良好的条件下采集的。相比之下，我们的头戴式场景中存在因人类运动而产生的频繁且动态的光照变化；忽略光照差异会导致重建结果模糊不清；(3) 现有方法通常依赖复杂的多阶段流程，涉及NeRF或光线追踪 [^9] [^32] [^36] [^50]。虽然近期有研究探索了用于手部化身的高斯泼溅技术 [^11] [^61] [^78]，但其实现较为复杂且未公开。由于该化身只是我们整体框架中的一个组件，因此我们优先考虑简洁性和效率。于是，我们开发了轻量化的3D高斯手部模型。
---
该模型专为稀疏相机输入和多变光照条件而设计。
Figure 4. Surface-grounded and Relightable Gaussian Hand. We define Gaussians over the surface of a hand mesh, which benefits from the mesh geometric priors and naturally enables lighting estimation based on the consistent mesh surface normals.
我们的设计源于一个关键见解：规范手模型提供了强大的几何先验，但缺乏学习灵活性；而高斯泼溅技术虽然灵活性极高，却缺乏固有结构。我们通过在规范网格表面上直接定义3D高斯来整合这两者的优势。这种简单却有效的改进还能自然解决光照变化的问题——底层网格能提供一致的表面法线，这对于实现稳健的光照估计至关重要。我们提出的两种技术将在下文详细介绍，并如图4所示。
基于表面的高斯。我们直接在网格表面上定义高斯。对于一个顶点为$v_1, v_2, v_3$的三角形，每个高斯由重心权重$\mathbf{w} = [w_1, w_2, w_3]$表征，其中$\sum_i w_i = 1$，2D缩放因子为$\mathbf{s} = [s_x, s_y]$，旋转参数为$\phi$。与在3D空间中定义高斯并通过正则化来促进表面形成的2DGS [^29]不同，我们的方法利用了更强的先验，直接将高斯锚定在网格表面上。
在手部变形过程中，我们并非对高斯应用线性混合蒙皮技术（这可能会破坏表面完整性[^77]），而是仅变换网格三角形，并在变形后的表面上重新计算高斯。这种方法利用了手部网格中预先存在的骨骼权重，无需为单个高斯单独学习蒙皮权重。
具体来说，给定规范坐标系中的三角形顶点$v_1, v_2, v_3$以及变形后的顶点坐标$v'_1, v'_2, v'_3$，我们可以计算出边$\mathbf{e}_1 = v_2 - v_1$、$\mathbf{e}_2 = v_3 - v_1$，以及变形后的对应边$\mathbf{e}_1' = v'_2 - v'_3$、$\mathbf{e}_2' = v'_3 - v'_1$。这些边通过Gram-Schmidt方法得到的正交基$(\mathbf{u}, \mathbf{v})$投影到局部2D坐标中：$\mathbf{u} = \frac{\mathbf{e}_1}{\|\mathbf{e}_1\|}$、$\mathbf{w}_\perp = \mathbf{e}_2 - \text{proj}_{\mathbf{u}}(\mathbf{e}_2)$、$\mathbf{v} = \frac{\mathbf{w}_\perp}{\|\mathbf{w}_\perp\|}$，从而得到$\mathbf{e}_{1,D} = (\mathbf{e}_1 \cdot \mathbf{u}, \mathbf{e}_1 \cdot \mathbf{v})$和$\mathbf{e}_{2,D} = (\mathbf{e}_2 \cdot \mathbf{u}, \mathbf{e}_2 \cdot \mathbf{v})$。需要指出的是，三角形上的任意点p可表示为$p = c_1 \mathbf{e}_{1,D} + c_2 \mathbf{e}_{2,D}$，且系数$\mathbf{c} = [c_1, c_2]^T$在变形过程中保持不变。由此可得变形后的坐标为$p = \mathbf{M}_{\text{canon}} \mathbf{c}$和$p' = \mathbf{M}_{\text{deform}} \mathbf{c}$，其中$\mathbf{M}_{\text{canon}} = [\mathbf{e}_{1,D}; \mathbf{e}_{2,D}]$和$\mathbf{M}_{\text{deform}} = [\mathbf{e}_{1,D}^{\prime}; \mathbf{e}_{2,D}^{\prime}]$。变形梯度$\mathbf{A} = \mathbf{M}_{\text{deform}} \mathbf{M}_{\text{canon}}^{-1}$通过$p' = \mathbf{A} p$将点从规范坐标系映射到变形后的坐标系。基于表面的高斯可以用二次形式的椭圆来表示：$\mathbf{Q} = \mathbf{R}\mathbf{S}\mathbf{R}^T$。$\mathbf{R}$是对应$\phi$的2D旋转矩阵，$\mathbf{S} = \text{diag}(1/s_x^2, 1/s_y^2)$。变形后的椭圆变为$\mathbf{Q}' = \mathbf{A}^{-T} \mathbf{Q} \mathbf{A}^{-1}$，通过特征分解可得到新的缩放因子$s'$和旋转参数$\phi'$。
每个高斯都与一个三角形相关联。自适应控制算法可直接用于灵活分配高斯——在每个控制周期内，我们将高斯重新分配到距离最近的三角形上。我们为每个高斯学习沿表面法线的微小偏移量，以确保重叠的高斯不会共享同一深度，从而避免基于点的渲染中出现歧义[^17]。我们仅通过可微渲染的图像重建损失来训练这些高斯。这种分层定义方式使得梯度能够共同微调规范网格的顶点。
可重新光照的手部高斯模型。为了模拟可变光照，我们采用了LumiGauss提出的重新光照框架[^35]。该方法会学习一个环境贴图，该贴图以球面谐波（SH）系数$1 \in \mathbb{R}^{3 \times (n^2 + 1)}$的形式表示，其中n代表SH的阶数。最终颜色通过$\mathbf{c} \odot \text{SH}(1, n)$计算得出，此处$\mathbf{c}$为高斯模型的固有颜色（反照率），而$\text{SH}(1, n)$则用于根据表面法线n计算漫反射光照分量。不过，在我们的动态、以自我为中心的场景下，该方法存在两个局限性：（1）LumiGauss假设存在单一的静态环境贴图，而我们的光照条件却是动态变化的；（2）它存在众所周知的反照率与光照歧义问题。正如LumiGauss[^35]中所指出的，学习得到的高斯法线n和固有颜色c可能会共同适应，从而将阴影错误地“烘焙”到反照率中。
我们针对这两个局限性提出了解决方案。为解决第一个问题，我们将光照建模为手部姿态的动态函数。我们使用小型MLP来预测基于手部姿态P的SH系数1。这一方法之所以有效，是因为局部光照和自阴影主要由手部的位置和关节活动决定。为解决第二个问题，我们在网格上定义高斯模型这一核心设计提供了自然的解决方案：表面法线n由网格几何形状提供，而非来自高斯模型本身，这大大减轻了上述歧义问题。在实际应用中，为了更好地捕捉局部效果，我们的MLP会分别为手掌和手背预测两个独立的环境贴图，即$l_{palm}$和$l_{back}$。
##### 3.2.2. 扩散式手部修复器
我们的3D高斯手部模型能够从手套视频中渲染出连贯的、仅包含手部的序列。然而，直接叠加渲染结果会产生多种伪影，比如不合理的物体交互现象——穿透或悬浮，因为该渲染结果并未考虑物体间的交互；还有不自然的手腕连接问题，因为我们并未对手臂进行建模。其中一些伪影如图所示……
---
如图8所示。此外，当把体积较大的手套替换为更纤细的手部时，手部周围会出现明显的缝隙。为解决这些局限，我们基于ControlNet[^75]和AnimateDiff[^57]引入了扩散式手部修复器，并使用裸手视频对其进行了训练。我们通过叠加渲染后的手部图像、膨胀其掩码并屏蔽手腕区域来生成条件输入。网络经过训练后，能从这种受损的输入中恢复出原始的裸手视频，如图2所示。
手套到手部的推理过程。手套的形状与手部不同且更大。因此，将渲染后的手部叠加到手套视频上，会在渲染手部的边缘产生明显的手套伪影（如图8第2-4列所示），还可能会错误地遮挡前景物体。为解决这一问题，我们采用了手套到手部推理流程（见图3）。具体来说，我们首先利用SAM-2[^55]提取手套和物体的掩码，提取时需以Grounding DINO[^41]检测到的边界框作为提示。接着，我们利用手套掩码通过基于光流的背景修复工具Propainter[^81]擦除手套区域，同时利用物体掩码确保前景物体像素保持完整。整个流程完全自动化。
### 4. HandSense数据集
为了验证Glove2Hand的有效性，我们创建了HandSense——一个多模态HOI视频数据集，其中包含带有时间同步传感器信号的 Egocentric 视频。具体而言，我们招募了5名受试者，并为每人进行了两轮数据采集。在第一轮中，要求受试者佩戴传感手套并完成6项物体操作任务（如手持旋转、拾取与放置）。第二轮中，受试者遵循相同的物体操作流程，但不佩戴手套。我们在图5中展示了采集到的数据，更多数据采集细节详见补充材料。
数据模态。在佩戴传感手套和裸手实验的两轮中，我们都通过头戴式摄像头采集 Egocentric 灰度视频记录。为了获取精确的3D手部姿态，我们采用了动作捕捉系统 [^56] [^63]，该系统会在手套/手上设置标记点。在佩戴传感手套的实验中，我们采集了分布在多个手指骨节上的IMU信号，以及位于每个指尖的触觉信号。IMU信号和触觉信号均为连续数值，且基于最接近的时间戳与 Egocentric 视频实现时间同步。在裸手实验中，当受试者操作物体时，我们会手动为每个指尖标注离散的“接触/未接触”二元标签。为缓解手部遮挡问题，我们精心设计了实验指导语，要求受试者使用特定手指，以便我们对接触事件有准确的先验认知。
测量的触觉信号与非刚性物体。我们重点强调HandSense区别于现有数据集的两个关键特性。首先，据我们所知，HandSense
Figure 5. HandSense Dataset. HandSense provides egocentric HOI videos collected by both sensing gloves and human bare hands. † denotes multi-modal sensing modalities from gloves.
提供了首批与裸手HOI视频同步的、由传感器测量的连续触觉信号。相比之下，H2O [^38] 和 ARCTIC [^12] 等数据集仅提供经过后处理的二元接触标签，这些标签是根据手部和刚性物体的姿态估算得出的，而非实际测量所得。其次，HandSense涵盖了多种类别的物体交互数据，包括可变形物体（如软质玩具）和活动部件物体（如可拆卸的盖子），而以往的研究往往局限于预先扫描的刚性物体。
借助HandSense数据集，我们展示了Glove2Hand在两类裸手应用场景中的价值：i) 基于视频的接触估计，利用传感手套提供的无标注真实值来辅助触觉信号的应用；ii) 遮挡场景下的鲁棒手部追踪，利用IMU信号作为伪真实值来修正遮挡情况下的手部姿态估计结果。这两项任务的目标都是基于手套传感器的信号，深化对手-物交互的物理理解。更详细的实验设置和结果详见第5.2节。
### 5. 实验
我们设计实验旨在回答三个关键问题：
1. 我们的Glove2Hand框架生成的手-物交互（HOI）视频的真实度如何？
2. 我们提出的框架中各个组件对最终生成质量的具体贡献是什么？
3. 我们生成的带有同步传感器信号的HOI数据，在裸手应用场景中具有怎样的价值？
针对第一个问题，我们使用定量指标和人工评估在HandSense数据集上对我们的框架进行评测。第二个问题通过各组件的消融实验来解答。针对第三个问题，我们展示了该数据在基于视频的接触估计以及严重遮挡场景下的手部追踪中的应用价值。
传感手套。我们的传感手套包含一个触觉传感……
---
Figure 6. Qualitative Comparison for Glove-to-Hand. Our Glove2Hand produces photorealistic hands with clean object contact. In contrast, existing methods generate blurry results, or suffer from strong visual artifacts, unrealistic textures, and inconsistent lighting. The bottom row demonstrates the high generalization of Glove2Hand to unseen subjects, objects, and backgrounds. For a fair comparison, Pix2Pix, BrushNet, and HandRefiner were retrained on our dataset using the same inputs and HOI masks as our method (Fig. 2 and Fig. 3).
| Method | FID $\downarrow$ | FVD $\downarrow$ | FVD-long $\downarrow$ |
| Vanilla Glove | 74.9 | 38.3 | 45.5 |
| InpaintAnything $^{*}$ [^73] | 63.6 | 32.7 | 39.6 |
| FoundHand $^{*}$ [^8] | 82.2 | 47.9 | 50.5 |
| VideoPainter $^{*}$ [^3] | 72.2 | 35.7 | 42.2 |
| CycleGAN [^83] | 63.6 | 30.8 | 37.4 |
| Pix2Pix [^31] | 38.6 | 24.7 | 31.4 |
| BrushNet [^34] | 37.9 | 34.5 | 40.4 |
| HandRefiner [^43] | 35.5 | 24.2 | 29.7 |
| Glove2Hand (Ours) | 30.1 | 19.5 | 24.5 |
Table 1. Evaluation for Glove-to-Hand Video Translation. We evaluate Glove2Hand on HandSense dataset with FID, FVD (2-sec. clips), and FVD-long (on 10-30 sec. clips). (*) denotes methods evaluated off-the-shelf without fine-tuning on HandSense.
该手套通过指尖产生一个连续力值通道，并在整只手上分布有十二个六自由度惯性测量单元传感器，用于追踪手部姿态。关于手套配置的更多细节，请参阅补充材料。
#### 5.1. 视频质量评估
实验设置。我们在HOT3D [^2]和HandSense数据集上训练我们的框架，并在HandSense的测试集上进行评估。我们首先为每个受试者优化一个三维高斯手部模型。随后，在训练单一扩散恢复器时，这些针对特定受试者的模型会被冻结。我们利
Figure 7. Human Evaluation Results. Our study compares the synthesized videos by Glove2Hand with real hand videos across four metrics (N=number of answers). The average of score distribution for our synthesized hands are close to real hands, with a max gap of 0.51. This gap (lower is better) is small relative to the 1.0 distance between adjacent categories, showing high realism.
用对应的三维高斯手部模型来实现同受试者的手套到手部转换。我们使用弗里谢特 inception 距离（FID）[^25]（clean-fid [^53]）来衡量图像质量，用弗里谢特视频距离（FVD）[^62]（cd-fvd [^13]）来衡量视频保真度，以此评估生成内容相对于真实手部视频的真实感。
---
Figure 8. Qualitative Ablations. Our surface-grounded Gaussian reconstructs coherent hand geometry and appearance compared to 2DGS [^29]. Adding the relightable Gaussian improves shading. The diffusion hand restorer further enhances skin texture, connects the wrist, and removes visual artifacts. Finally, glove removal and object masks eliminate glove artifacts and refine the hand-object boundary.
实验结果。我们在表1和图6中展示了定量与定性对比结果。Glove2Hand在FID和FVD指标上均显著优于现有的生成模型和视频修复基线方法。由于某些基线方法在手套到手部转换任务中表现不佳，输出的结果与原手套相差不大，因此我们在图6中省略了它们。与仅采用扩散模型的HandRefiner [^43]等方法相比，我们的三维高斯表示能够合成更精细的几何结构与纹理。
人类评估。我们开展了一项用户研究，以评估所生成的手部与物体交互视频的真实感。我们招募了五名参与者，向他们展示我们生成的视频与真实手部视频的混合样本。对于每个样本，参与者需回答有关手部真实感、手物交互的合理性、时间一致性（如身份保持）、视觉伪影的存在以及手部运动稳定性等方面的问题。每位参与者大约评估了40张图片和40个视频。我们在图7中可视化了汇总后的响应分布。结果表明，我们生成的视频具有极高的真实感，其得分接近真实视频的水平。值得注意的是，对于静态图像而言，参与者的反馈显示我们生成的手部几乎与真实手部无法区分。更多细节请参阅补充材料。
消融研究。我们在表2和图8中分别展示了定量与定性消融研究结果。定量结果显示，每个组件都能逐步提升图像保真度（FID）。虽然我们观察到FVD数值有轻微波动，但图8中的定性结果清晰地展现了每个模块的独特且必要的贡献。具体而言，我们基于表面的、可重新光照的三维高斯手部模型为生成过程奠定了真实且几何精确的基础。扩散手部恢复器在此基础上进一步优化皮肤纹理、生成自然的手腕形态，并细化手部与物体的边界。手套去除模块对于消除输入传感器手套产生的视觉伪影至关重要，而物体掩码则对保留细微的接触细节起着关键作用。
| Configuration | FID $\downarrow$ | FVD $\downarrow$ | FVD-long $\downarrow$ |
| 2DGS [^29] | 91.1 | 50 | 62.9 |
| +Surface Grounding | 60.3 | 35.1 | 46.6 |
| +Relightable | 56.7 | 30.7 | 40.2 |
| +Diffusion | 32.3 | 19.8 | 22.7 |
| +Glove Removal | 31.2 | 20.9 | 25 |
| +Object Mask | 30.1 | 19.5 | 24.5 |
Table 2. Ablation Results. We perform an incremental ablation study to evaluate the contribution of each proposed component. The results demonstrate that our components work cohesively, with each addition progressively improving the final performance. Surface grounding and the diffusion yield the most significant gains. Qualitative ablations are presented in Fig. 8.
Glove Input
Subject-1
Subject-2
Figure 9. Glove-to-Hand (different subjects). We customize the output hand identity by training a 3D Gaussian hand per-subject, while sharing the diffusion hand restorer. The figure shows glove inputs (left) and the translated hand of different subjects (right).
#### 5.2. 裸手应用场景
##### 5.2.1. 基于视觉的接触点估计
实验设置。从视觉信息中估计手部与物体的接触点极具挑战性，且目前缺乏大规模、标注精准的
---
| Method | Contact IoU (%) | Precision (%) | Recall (%) |
| Pressure | Vision++ [^14] | 0.8 | 62.5 | 0.9 |
| Glove only | 71.5 | 82.8 | 83.9 |
| Ours | G2H only | 75.6 | 90.6 | 82 |
| Hand only | 85.3 | 90 | 94.2 |
| Hand+G2H | 88.2 | 92.6 | 94.9 |
Table 3. Results on Contact Estimation. We train video contact estimator on glove-to-hand (G2H) videos, and evaluate on real, manually-annotated videos using Contact IoU [^15], Precision, and Recall. Training on G2H videos significantly outperforms the glove ones. Combining real and G2H data yields the best result. G2H contact labels are automatically derived from tactile signals.
Figure 10. Contact Estimation Example. The model trained with only manually-annotated real hand data (orange) produces noisy and unstable predictions. In contrast, adding our glove-to-hand (G2H) data (blue) results in stable and accurate contact estimation.
标注数据。现有的方法如PressureVision [^14] [^15]能够捕捉平面表面上的接触情况 [^1]，但这种设置对于灵巧的手-物体交互而言并不充分。我们的Glove2Hand框架通过生成带有同步触觉信号的逼真手部视频来解决这一问题，这些视频可作为密集的接触标签真值。我们利用这些数据来训练基于视频的接触估计器。该模型以32帧的片段作为输入，预测每一帧中每个指尖的二元接触状态，输出大小为$\mathbb{R}^{32\times5}$。其架构采用了经过冻结的DINOv3骨干网络 [^59]，并通过LoRA [^27]进行微调。我们在[CLS]标记上应用四层时序注意力层，随后用线性分类器来预测接触概率值。该模型在真实手部视频以及我们生成的手套到手部视频的组合上进行训练。真实手部视频经过人工标注，而我们生成视频的真值则通过阈值化处理触觉信号获得。
实验结果。我们在表3中，使用Contact IoU [^14]、精确度和召回率指标，对所有模型在人工标注的真实手部视频的保留测试集上进行了评估。在转换后的视频上训练的模型性能明显优于在原始手套视频上训练的模型，而将我们的数据与真实视频结合使用时效果最佳。这验证了我们的框架作为数据整理引擎的价值，同时也为其生成质量提供了有力佐证。
##### 5.2.2. 严重遮挡情况下的手部跟踪
在物体交互过程中估计手部姿态至关重要，但现有方法常常受到自身遮挡和物体遮挡的限制。
Figure 11. Hand Tracking Visualization. UmeTrack struggles with occlusions, our model, finetuned on our synthesized videos with IMU tracking annotation, robustly tracks the occluded hand.
| Method | MKPE $\downarrow$ | MKPE.T $\downarrow$ |
| Occlusion | Overall | Occlusion | Overall |
| UmeTrack [^22] | 19.2 | 19.5 | 10.8 | 9.8 |
| UmeTrack + Glove | 27.2 | 26.5 | 11.5 | 11.2 |
| UmeTrack + G2H (Ours) | 16.6 | 17.8 | 9.9 | 9.4 |
Table 4. Results on Hand Tracking. We directly evaluate UmeTrack on HandSense and finetune it with IMU tracking results as ground-truth. Finetuning with Glove2Hand videos improves tracking accuracy over UmeTrack, especially for occluded cases as IMU sensors are robust to camera occlusion. In contrast, training on glove data degrades performance due to the domain gap.
物体遮挡是一个关键障碍，原因在于难以在此类遮挡场景下获取姿态真值标注 [^7] [^21]。我们通过利用手套上的IMU传感器来解决这一问题。它们能提供精确的、无需依赖视觉的关节测量数据，从而无需多摄像头工作室即可捕捉遮挡状态下的手部姿态，非常适合野外录制场景。为了进行评估，我们使用IMU衍生的姿态数据，在HandSense数据集上对UmeTrack [^22]——一种性能出色的第一人称视角手部跟踪器——进行微调。我们以多摄像头动作捕捉系统捕获的姿态作为真值，在真实视频的保留测试集上报告平均关键点位置误差（MKPE），单位为毫米。如表4所示，使用我们的手套到手部数据进行微调能显著提升跟踪精度，尤其是在遮挡情况下（从19.2毫米降至16.6毫米）。相反，直接利用原始手套数据训练反而会导致性能下降（从19.5毫米升至26.5毫米），这证实了存在较大的域差异。这些结果表明，我们的框架能够借助IMU传感技术，在严重遮挡条件下实现稳健的手部姿态跟踪。
### 6. 结论
我们提出了Glove2Hand框架，能够从传感器手套视频合成逼真的裸手视频，该框架能够处理复杂的物体交互，同时保持与多模态传感器信号的同步。借助Glove2Hand，我们构建了HandSense——首个多模态HOI数据集，并证明了其在显著提升裸手应用效果方面的有效性。我们相信，我们的工作能够实现更贴合物理规律且更真实的手-物体交互分析，从而惠及计算机视觉领域的更广泛应用。
---
## 参考文献
[^1]: Morph. sensel morph haptic sensing tablet. 3, 8
[^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7061–7071. 2, 3, 6, 14
[^3]: Yuxuan Bian, Zhaoyang Zhang, Xuan Ju, Mingdeng Cao, Liangbin Xie, Ying Shan, and Qiang Xu. Videopainter: Any-length video inpainting and editing with plug-and-play context control. In Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference Conference Papers, pages 1–12, 2025. 2, 6
[^4]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision, pages 361–378. Springer. 2, 3
[^5]: Johanna Bräunig, Christian Schüßler, Vanessa Wirth, Marc Stamminger, Ingrid Ullmann, and Martin Vossiek. A realistic radar ray tracing simulator for hand pose imaging. In 2023 20th European Radar Conference (EuRAD), pages 238–341. IEEE, 2023. 2
[^6]: Alessandro Carfi, Timothy Patten, Yingyi Kuang, Ali Hammoud, Mohamad Alameh, Elisa Maiettini, Abraham Itzhak Weinberg, Diego Faria, Fulvio Mastrogiovanni, Guillem Alenyà, et al. Hand-object interaction: From human demonstrations to robot manipulation. Frontiers in Robotics and AI, 8:714023, 2021. 1
[^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021. 8
[^8]: Kefan Chen, Chaerin Min, Linguang Zhang, Shreyas Hampali, Cem Keskin, and Srinath Sridhar. Foundhand: Large-scale domain-specific learning for controllable hand image generation. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 17448–17460, 2,6
[^9]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 8683–8693, 2, 3
[^10]: Ernie Chu, Tzuhsuan Huang, Shuo-Yen Lin, and Jun-Cheng Chen. Medm: Mediating image diffusion models for video-to-video translation with temporal correspondence guidance. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 1353–1361. 2
[^11]: Yilan Dong, Haohe Liu, Qing Wang, Jiahao Yang, Wenqing Wang, Gregory Slabaugh, and Shanxin Yuan. Handsplat: Embedding-driven gaussian splatting for high-fidelity hand rendering. arXiv preprint arXiv:2503.14736. 2, 3
[^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954. 3, 5, 14
[^13]: Songwei Ge, Aniruddha Mahapatra, Gaurav Parmar, Jun-Yan Zhu, and Jia-Bin Huang. On the content bias in fréchet video distance. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 6
[^14]: Patrick Grady, Jeremy A Collins, Chengcheng Tang, Christopher D Twigg, Kunal Aneja, James Hays, and Charles C Kemp. Pressurevision++: Estimating fingertip pressure from diverse rgb images. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 8698–8708. 3, 8
[^15]: Patrick Grady, Chengcheng Tang, Samarth Brahmbhatt, Christopher D Twigg, Chengde Wan, James Hays, and Charles C Kemp. Pressurevision: estimating hand pressure from a single rgb image. In European Conference on Computer Vision, pages 328–345. Springer, 2022. 3, 8
[^16]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 18995–19012, 2022. 1
[^17]: Markus Gross and Hanspeter Pfister. Point-based graphics. Elsevier, 2011. 4
[^18]: Bohai Gu, Hao Luo, Song Guo, Peiran Dong, and Qihua Zhou. Coherent video inpainting using optical flow-guided efficient diffusion. arXiv preprint arXiv:2412.00857, 2024.
[^19]: Shuwei Guo, Cong Yang, Zhizhong Su, Wei Sui, Xun Liu, Minglu Zhu, and Tao Chen. From human-computer interaction to human-robot manipulation. Engineering Proceedings, 110(1):1, 2025. 1
[^20]: Yuwei Guo, Ceyuan Yang, Anyi Rao, Zhengyang Liang, Yaohui Wang, Yu Qiao, Maneesh Agrawala, Dahua Lin, and Bo Dai. Animatediff: Animate your personalized text-to-image diffusion models without specific tuning. In The Twelfth International Conference on Learning Representations, 2024. 15
[^21]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 1, 8
[^22]: Shangchen Han, Po-chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, et al. Umetrack: Unified multiview end-to-end hand tracking for vr. In SIGGRAPH Asia 2022 conference papers, pages 1–9, 2022. 8
## [^23]: Shunran Hao, Dongxu Gao, Zhaojie Ju, and Qing Gao. Multimodal hand gesture recognition based on the fusion of surface electromyography and vision. In 2024 30th Interna-
---
国际机电一体化与机器视觉实践会议（M2VIP），第1–6页。IEEE，2024年。1
[^24]: Aashni Haria, Archanasri Subramanian, Nivedhitha Asokkumar, Shristi Poddar, and Jyothi S Nayak. Hand gesture recognition for human computer interaction. Procedia computer science, 115:367–374, 2017.
[^25]: Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. Gans trained by a two time-scale update rule converge to a local nash equilibrium. Advances in neural information processing systems, 30, 2017. 6
[^26]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. 1
[^27]: Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, et al. Lora: Low-rank adaptation of large language models. ICLR, 1(2):3, 2022. 8
[^28]: Zhihao Hu and Dong Xu. Videocontrolnet: A motion-guided video-to-video translation framework by using diffusion model with controlnet. arXiv preprint arXiv:2307.14073. 2
[^29]: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, and Shenghua Gao. 2d gaussian splatting for geometrically accurate radiance fields. In ACM SIGGRAPH 2024 conference papers, pages 1–11, 2024. 4, 7
[^30]: Mingzhen Huang, Fu-Jen Chu, Bugra Tekin, Kevin J Liang, Haoyu Ma, Weiyao Wang, Xingyu Chen, Pierre Gleize, Hongfei Xue, Siwei Lyu, et al. Hoigpt: Learning long-sequence hand-object interaction with language models. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7136–7146, 2025. 1
[^31]: Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A. Efros. Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1125–1134. 2,6
[^32]: Shun Iwase, Shunsuke Saito, Tomas Simon, Stephen Lombardi, Timur Bagautdinov, Rohan Joshi, Fabian Prada, Takaaki Shiratori, Yaser Sheikh, and Jason Saragih. Relightablehands: Efficient neural relighting of articulated hand models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 16663–16673. 2, 3
[^33]: Shuo Jiang, Haonan Li, Ruochen Ren, Yanmin Zhou, Zhipeng Wang, and Bin He. Kaiwu: A multimodal manipulation dataset and framework for robot learning and human-robot interaction. arXiv preprint arXiv:2503.05231, 2025.
[^34]: Xuan Ju, Xian Liu, Xintao Wang, Yuxuan Bian, Ying Shan, and Qiang Xu. Brushnet: A plug-and-play image inpainting model with decomposed dual-branch diffusion. In European Conference on Computer Vision, pages 150–168. Springer, 2024. 2, 6
[^35]: Joanna Kaleta, Kacper Kania, Tomasz Trzciński, and Marek Kowalski. Lumigauss: Relightable gaussian splatting in the wild. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 1–10. IEEE, 2025. 4
[^36]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. Harp: Personalized hand reconstruction from a monocular rgb video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12802–12813. 2,3
[^37]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph., 42(4):139–1, 2023. 2
[^38]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148. 3, 5, 14
[^39]: Xiaowen Li, Haolan Xue, Peiran Ren, and Liefeng Bo. Differaser: A diffusion model for video inpainting. arXiv preprint arXiv:2501.10018, 2025. 2, 15
[^40]: Yutong Li, Jieyi Zhang, Wenqiang Xu, Tutian Tang, and Cewu Lu. Fsglove: An inertial-based hand tracking system with shape-aware calibration. arXiv preprint arXiv:2509.21242, 2025. 2
[^41]: Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Qing Jiang, Chunyuan Li, Jianwei Yang, Hang Su, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. In European conference on computer vision, pages 38–55. Springer, 2024. 5, 14
[^42]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022. 3, 14
[^43]: Wenquan Lu, Yufei Xu, Jing Zhang, Chaoyue Wang, and Dacheng Tao. Handrefiner: Refining malformed hands in generated images by diffusion-based conditional inpainting. In Proceedings of the 32nd ACM International Conference on Multimedia, pages 7085–7093. 2, 6, 7
[^44]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-h0: Vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597, 2025. 1
[^45]: Yiyue Luo, Chao Liu, Young Joong Lee, Joseph DelPreto, Kui Wu, Michael Foshey, Daniela Rus, Tomás Palacios, Yunzhu Li, Antonio Torralba, et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nature communications, 15(1):868, 2024.
[^46]: Junyi Ma, Jingyi Xu, Xieyuanli Chen, and Hesheng Wang. Diff-ip2d: Diffusion-based hand-object interaction prediction on egocentric videos. arXiv preprint arXiv:2405.04370, 2024. 1
[^47]: Madhur Mangalam, Sanjay Oruganti, Gavin Buckingham, and Christoph W Borst. Enhancing hand-object interactions in virtual reality for precision manual tasks. Virtual Reality, 28(4):166, 2024. 1
### [^48]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf
---
将场景表示为用于视图合成的神经辐射场。《ACM通讯》，65(1)：99–106，2021年。
[^49]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision, pages 548–564. Springer. 2, 3
[^50]: Akshay Mundra, Jiayi Wang, Marc Habermann, Christian Theobalt, Mohamed Elgharib, et al. Livehand: Real-time and photorealistic neural hand rendering. In Proceedings of the IEEE/CVF international conference on computer vision, pages 18035–18045. 3
[^51]: Supreeth Narasimhaswamy, Uttaran Bhattacharya, Xiang Chen, Ishita Dasgupta, Saayan Mitra, and Minh Hoai. Hand-iffuser: Text-to-image generation with realistic hand appearances. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2468–2479. 2
[^52]: Junho Park, Kyeongbo Kong, and Suk-Ju Kang. Attention-hand: Text-driven controllable hand image generation for 3d hand reconstruction in the wild. In European Conference on Computer Vision, pages 329–345. Springer. 2
[^53]: Gaurav Parmar, Richard Zhang, and Jun-Yan Zhu. On aliased resizing and surprising subtleties in gan evaluation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11410–11420, 2022. 6
[^54]: Anton Pelykh, Ozge Mercanoglu Sincan, and Richard Bowden. Giving a hand to diffusion models: a two-stage approach to improving conditional human image generation. In 2024 IEEE 18th International Conference on Automatic Face and Gesture Recognition (FG), pages 1–10. IEEE. 2
[^55]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, et al. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. 5, 14
[^56]: Lala Shakti Swarup Ray, Bo Zhou, Sungho Suh, and Paul Lukowicz. A comprehensive evaluation of marker-based, markerless methods for loose garment scenarios in varying camera configurations. Frontiers in Computer Science, 6:1379925, 2024. 5
[^57]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models, 2021. 5
[^58]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2
[^59]: Oriane Siméoni, Huy V Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seungeun Yi, Michaël Ramamonjisa, et al. Dinov3. arXiv preprint arXiv:2508.10104, 2025. 8
[^60]: Himanshu Gaurav Singh, Antonio Loquercio, Carmelo Sferrazza, Jane Wu, Haozhi Qi, Pieter Abbeel, and Jitendra Malik. Hand-object interaction pretraining from videos. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 3352–3360. IEEE, 2025. 1
[^61]: Zhoutao Sun, Xukun Shen, Yong Hu, Yuyou Zhong, and Xueyang Zhou. Jghand: Joint-driven animatable hand avater via 3d gaussian splatting. arXiv preprint arXiv:2501.19088. 3
[^62]: Thomas Unterthiner, Sjoerd Van Steenkiste, Karol Kurach, Raphael Marinier, Marcin Michalski, and Sylvain Gelly. Towards accurate generative models of video: A new metric & challenges. arXiv preprint arXiv:1812.01717, 2018. 6
[^63]: Michael F Vallaro. Markerless motion capture for dual-handed teleportation of industrial robots. Master's thesis, University of Rhode Island, 2024. 5
[^64]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. Ho-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction. arXiv preprint arXiv:2406.06843. 3, 14
[^00]: Xinyi Wang, Pengwei Ken, Haoyang Zhang, Xin Sneng, Da Li, Liang Xie, Yue Gao, and Erwei Yin. Vihand: Enhancing 3d hand pose estimation with visual-inertial benchmark. In Proceedings of the 33rd ACM International Conference on Multimedia, pages 12753–12760, 2025. 2
[^66]: Sirui Xu, Zhengyuan Li, Yu-Xiong Wang, and Liang-Yan Gui. Interdiff: Generating 3d human-object interactions with physics-informed diffusion. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14928–14940. 2
[^67]: Wenqiang Xu, Zhenjun Yu, Han Xue, Ruolin Ye, Siqiong Yao, and Cewu Lu. Visual-tactile sensing for in-hand object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 8803–8812, 2023. 3
[^68]: Yue Xu, Yong-Lu Li, Zhemin Huang, Michael Xu Liu, Cewu Lu, Yu-Wing Tai, and Chi-Keung Tang. Egopca: A new framework for egocentric hand-object interaction understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5273–5284, 2023. 1
[^69]: Shuai Yang, Yifan Zhou, Ziwei Liu, and Chen Change Loy. Render a video: Zero-shot text-guided video-to-video translation. In SIGGRAPH Asia 2023 Conference Papers, pages 1–11, .2
[^70]: Shuai Yang, Yifan Zhou, Ziwei Liu, and Chen Change Loy. Fresco: Spatial-temporal correspondence for zero-shot video translation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8703–8712, 2
[^71]: Vickie Ye, Ruilong Li, Justin Kerr, Matias Turkulainen, Brent Yi, Zhuoyang Pan, Otto Seiskari, Jianbo Ye, Jeffrey Hu, Matthew Tancik, and Angjoo Kanazawa. gsplat: An open-source library for gaussian splatting. Journal of Machine Learning Research, 26(34):1–17, 2025. 14
[^72]: Yufei Ye, Xueting Li, Abhinav Gupta, Shalini De Mello, Stan Birchfield, Jiaming Song, Shubham Tulsiani, and Sifei Liu. Affordance diffusion: Synthesizing hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 22479–22489. 2
### [^73]: Tao Yu, Runseng Feng, Ruoyu Feng, Jinming Liu, Xin Jin, Wenjun Zeng, and Zhibo Chen. Inpaint anything
---
Segment Anything能够应对图像修复任务。arXiv预印本arXiv:2304.06790，2023年。第2页，第6节。
[^74]: Haozhuo Zhang, Bin Zhu, Yu Cao, and Yanbin Hao. Hand1000: Generating realistic hands from text with only 1,000 images. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 9905–9913, 2025. 2
[^75]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models. In Proceedings of the IEEE/CVF international conference on computer vision, pages 3836–3847, 2023. 5
[^76]: Mengqi Zhang, Yang Fu, Zheng Ding, Sifei Liu, Zhuowen Tu, and Xiaolong Wang. Hoidiffusion: Generating realistic 3d hand-object interaction data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8521–8531. 2
[^77]: Xinyu Zhang, Haonan Chang, Yuhan Liu, and Abdeslam Boularias. Motion blender gaussian splatting for dynamic scene reconstruction. 2025. 4
[^78]: Lizhi Zhao, Xuequan Lu, Runze Fan, Sio Kei Im, and Lili Wang. Gaussianhand: Real-time 3d gaussian rendering for hand avatar animation. IEEE Transactions on Visualization and Computer Graphics. 2, 3
[^79]: Yiming Zhao, Taein Kwon, Paul Streli, Marc Pollefeys, and Christian Holz. Egopressure: A dataset for hand pressure and pose estimation in egocentric vision. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 27727–27738, 2025. 3
[^80]: Xiaozheng Zheng, Chao Wen, Zhuo Su, Zeran Xu, Zhaohu Li, Yang Zhao, and Zhou Xue. Ohta: One-shot hand avatar via data-driven implicit priors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 799–810. 2
[^81]: Shangchen Zhou, Chongyi Li, Kelvin CK Chan, and Chen Change Loy. Propainter: Improving propagation and transformer for video inpainting. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10477–10486, 2023. 2, 3, 5
[^82]: Jiahang Zhu, Aiguo Song, Ke Shang, and Zhikai Wei. A wearable smart glove for tactile interaction. In Proceedings of the 2024 4th International Conference on Robotics and Control Engineering, pages 160–164, 2024. 2
### [^83]: Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE International Conference on Computer Vision, pages 2223–2232. 2, 6
---
### 附录
在本附录中，我们首先介绍我们的传感手套配置。接着，我们概述HandSense数据集的数据收集协议。然后，我们详细说明用户研究流程。最后，我们提供关于Glove2Hand框架训练和推理的实现细节。图15提供了与现有工作相比的额外定性对比。有关合成手-物体交互的可视化效果，请参阅补充视频glove2hand-visualization.mp4。
### A. 传感手套配置
尽管Glove2Hand能够适配各种传感器手套设计，但本文所选用的手套是我们为AR/VR/MR应用中的高级手部感知、追踪及触觉反馈而研发的研究平台。该手套配备12个惯性测量单元（IMU）以实现精细的手部姿态估计，指尖处还设有5个电容式触觉传感器用于检测触碰和压力，可支持微手势以及与物理物体的交互。该手套能以高帧率传输传感器数据，满足实时手势识别与手部追踪的需求。为符合双盲评审的匿名性要求，关于手套配置的更详细信息将在论文被录用后提供。
### B. HandSense数据收集
我们收集了涵盖六种手-物体交互任务的数据，具体汇总于表5中。
实验所用物体共十种：鼠标、手机、汽水罐、记号笔、钢琴键、软质玩具、立方体、马克杯、桌面以及芥末瓶。对于每位受试者，我们分别记录佩戴触觉手套和裸手操作的两组会话，两组会话的物体配置与任务指令均保持一致。每项任务的数据采集时长为2至5分钟。在每个时间段内，受试者会变换手指使用方式与抓握类型进行重复试验。采集数据前，我们会在受试者手部（或手套）的背面贴上逆向反射标记点，以便通过光学动作捕捉系统获取真实的姿态数据。表6对HandSense与其他带有接触标签的数据集进行了对比。
从手套到裸手的动作映射。虽然手套与人手具有相同的运动学结构，但手套比裸手更厚重。若直接将手套姿态作为手部姿态，会导致不真实的Glove2Hand合成结果。例如，从手套采集到的“OK”手势，在映射到裸手时，由于手套表面厚度的影响，食指与拇指无法接触。我们将这种差异视为关节级的位移。为解决这一问题，在手套数据采集初期，我们会要求每位受试者佩戴手套做出一组标准手部姿势，如捏合、“OK”手势等。随后我们优化这些关节位移参数，并将其应用于每个已记录的手套手部姿态。这一过程类似于机器人领域中的动作映射——将人类动作转移至机器人上，但由于手套与裸手之间的差异较小，因此过程更为简单。
### C. 人类评估详情
我们招募了五名参与者来评估合成图像的感知质量。每位参与者需完成一次45分钟的实验，评估大约40张图片和40段视频。评估协议采用5点李克特量表（间隔为1.0）来衡量手部真实感、手-物体交互（HOI）真实感、运动稳定性、身份一致性以及视觉伪影情况。完整的问卷详情见图14；不同评分类别的代表性样本则展示在图12中。我们的用户研究遵循机构审查委员会（IRB）批准的协议进行，所有参与者均签署了知情同意书。
评估协议。为了评估Glove2Hand的泛化能力，我们在三种不同场景下对其进行测试：
1. 同域场景：手套与裸手身份匹配（受试者A的手套 $\rightarrow$ 受试者A的裸手）。该场景中的受试者、背景及物体均在训练过程中出现。这一设置用于验证该方法在受控数据生成方面的能力。
2. 跨受试者场景：手套与裸手身份不同（受试者A的手套 $\rightarrow$ 受试者B的裸手）。虽然环境相同，但目标手部形态是由不同来源的受试者生成的。
3. 野外场景：这是一种完全未见过的场景，其中的受试者、物体及背景均未出现在训练集中。这代表了可扩展数据收集最具挑战性的场景。
评估过程中，这三组样本会与真实基准数据随机穿插，采用盲测设计。这为评分提供了高质量的参考基准（上限）。
结果。表7列出了平均主观评分（MOS）以及合成数据与真实数据之间的感知差距。MOS越高代表质量越好，差距越小则表明与基准数据的契合度越高。我们发现，Glove2Hand在受控场景（同域场景和跨受试者场景）下能实现高保真度，因此适合用于大规模数据整理。尽管在极具挑战性的野外场景中性能有所下滑，但结果仍属可观。我们推测，扩大训练数据集规模并优化HOI分割掩码，将进一步缩小领域差距。
---
Table 5. List of interaction tasks and exemplar instructions used during data collection.
| Task | Exemplar Instruction |
| 1. Bottle Opening | “Open the mustard bottle using only your index finger and thumb.” |
| 2. Object Rotation | “Hold the object with index, thumb, and middle fingers; rotate it in front of you.” |
| 3. Piano Keystroke | “Press different piano keys sequentially using only your ring finger.” |
| 4. Pick-and-Place | “Pick up the object using a whole-hand grasp and place it on the table.” |
| 5. Surface Interaction | “Press and slide your index finger firmly against the table surface.” |
| 6. In-Hand Rotation | “Rotate the object within your hand, maximizing finger contact and occlusion.” |
| Dataset | Images | Subjects/Objects | Pose | Contact |
| H2O [^38] | 572K | 4 / 8 | Optim. | Estim. |
| ARCTIC [^12] | 2.1M | 10 / 11 | MoCap | Estim. |
| HO-Cap [^64] | 699K | 9 / 64 | Optim. | - |
| HOI4D [^42] | 2.4M | 4 / 800 | Manual | - |
| HOT3D [^2] | 3.7M | 19 / 33 | MoCap | |
| HandSense (Ours) | 200K | 5 / 10 | MoCap | Measured. |
Table 6. Datasets with Contact Labels. HandSense is the first HOI video dataset to provide direct, sensor-measured contact.
### D. Glove2Hand细节
HOI分割掩码。为了生成手部及交互物体的分割掩码，我们采用了基于Grounding DINO [^41] 和 SAM-2 [^55] 的流程。首先，利用Grounding DINO检测潜在的物体；为了确定被操控的具体物体，我们计算检测到的物体边界框与拟合手部网格的栅格化投影之间的交并比（IoU）。IoU最高且超过设定阈值的物体会被选为SAM-2的盒提示。对于手部分割，我们先用Grounding DINO检测整个手臂，再以此盒提示来驱动SAM-2。为确保时间一致性，我们以单个参考帧上的提示初始化SAM-2，随后传播掩码。最后，通过用投影手部网格的边界框裁剪整个手臂掩码，即可得到具体的手部或手套掩码。
姿态优化。尽管我们采用了光学动作捕捉系统，但由于标记点遮挡或快速运动时的同步延迟，真实的手部姿态P仍可能存在误差。为缓解这一问题，我们引入了一个可学习的逐帧姿态修正项$\Delta P$。在重建阶段，该偏移量会与高斯参数一同优化，其策略与gsplat中采用的相机姿态优化方法一致[^71]。实验表明，这种修正能显著减少重建后的高斯手模型中的伪影。需要注意的是，在后续的扩散修复模型训练过程中并不会使用$\Delta P$。
高斯参数化。我们利用重心坐标将3D高斯点锚定在网格表面上。在优化过程中，我们直接学习未归一化的重心对数权重，而非直接优化权重，以确保满足约束条件。此外，我们还学习沿表面法线方向的标量偏移量。该偏移量通过经过超参数$z_{max}$缩放的Sigmoid激活函数进行参数化，从而确保高斯点能够紧密贴合底层几何结构。每个特定受试者的高斯模型均基于约10分钟仅包含手部的 Egocentric 视频进行训练。
辅助训练数据（HOT3D）。我们引入HOT3D数据集[^2]来辅助扩散手部修复模型的训练。与我们主要针对的受试者不同，我们并未为HOT3D序列训练3D高斯模型。取而代之的是，我们采用2D自监督策略：利用扩张后的更大尺寸的手部掩码裁剪出手部区域，并屏蔽掉手腕部分，再将原始手部像素叠加到背景上。由此生成缺失手腕细节及手-物体边界的视频。随后训练扩散模型来修复这些受损区域（即填充手-物体边界和手腕部分），从而无需昂贵的3D重建即可利用大规模数据。
训练与推理效率。所有模型均在NVIDIA A100（80GB）GPU上训练。我们从头戴设备采集的原始视频中裁剪出手部位，分辨率为$250 \times 250$。这些裁剪图像会被上采样至$512 \times 512$，以满足扩散修复模型VAE的输入要求。此外，在训练3D高斯手模型之前，我们会先对图像和相机参数进行校正，将原始的鱼眼畸变转换为标准的针孔相机模型。对于3D高斯手模型，我们针对每个特定受试者分别进行训练
---
Figure 12. Qualitative Examples of User Ratings. Samples rated as “Realistic” or “Very Realistic” are perceptually indistinguishable from real hands. “Neutral” samples generally exhibit valid geometry and interaction plausibility but may lack skin details. “Unrealistic” samples typically display unnatural hand-object boundary or non-negligible visual artifacts.
| Metric | Mean Opinion Score $\uparrow$ / Gap to Real $\downarrow$ |
| In-Domain | Cross-Subject | In-the-Wild |
| Image | Hand Realism | 4.04 / 0.02 | 3.67 / 0.39 | 2.68 / 1.37 |
| HOI Realism | 4.06 / 0.01 | 3.51 / 0.56 | 2.61 / 1.46 |
| Video | Hand Realism | 3.83 / 0.51 | 3.65 / 0.69 | 2.69 / 1.65 |
| HOI Realism | 3.96 / 0.35 | 3.78 / 0.53 | 2.84 / 1.47 |
| Motion Stability | 3.64 / 0.50 | 3.37 / 0.77 | 2.54 / 1.60 |
| Identity Consistency | 2.70 / 0.26 | 2.54 / 0.43 | 2.20 / 0.79 |
| Visual Artifacts | 3.22 / 0.51 | 3.00 / 0.73 | 2.19 / 1.53 |
Table 7. Human Evaluation Results. We report the Mean Opinion Score (MOS) and the perceptual gap relative to real data (Gap). In-Domain synthesis achieves performance near ground truth (Gap < 0.05 for images). Cross-Subject synthesis maintains high efficacy with gaps consistently below 1.0. In-the-Wild performance reflects the expected challenge of unseen environments but remains within a reasonable qualitative range.
训练120k次迭代（约12小时），不过调整训练计划后发现约6小时即可收敛。在未进行自定义CUDA内核优化的前提下，渲染速度约为50 FPS。对于扩散手部修复模型，训练分为两个阶段：首先训练基于图像的修复模型60k次迭代；随后加入AnimateDiff [^20] 运动适配器，并在22帧视频片段上继续微调60k次迭代。总训练时间约为72小时。在进行长视频生成时，我们采用DiffuEraser [^39] 中的时间滑动窗口策略来确保一致性。推理速度约为0.5 FPS。
---
Figure 13. Human Evaluation Interface. Participants view a randomly sampled image or video and rate it against specific criteria before proceeding.
Figure 14. Human Evaluation Questionnaire.
---
Figure 15. Additional Qualitative Comparison for Glove-to-Hand.