# 在中心视觉视频中沿手部交互时间线重建物体 朱志凡 $^{1}$ 西达尔特·班萨尔 $^{1}$ 沙尚克·特里帕蒂 $^{2}$ 迪玛·达门 $^{1}$ $^{1}$英国布里斯托大学 $^{2}$德国图宾根马克斯·普朗克智能系统研究所 ## 摘要 我们提出了“沿手部交互时间线重建物体”（ROHIT）这一任务。我们首先从刚性物体的视角定义了手部交互时间线（HIT）。在HIT中，物体最初相对于场景处于静止状态，接触后被手持，其姿态随之改变；通常在使用时会紧握物体，之后物体再次相对于场景恢复静止。我们对HIT上的这些姿态约束进行建模，并提出沿HIT传播物体的姿态，从而借助我们提出的受限优化与传播（COP）框架实现更优质的重建效果。重要的是，我们重点关注具有稳定抓握的时间线——即手部稳定地握住物体，在使用过程中保持持续接触。这使我们能够高效地标注、研究和评估视频中的物体重建效果，而无需依赖3D真实数据。 我们在两个中心视觉数据集HOT3D和野外场景EPIC-Kitchens上评估了所提出的ROHIT任务。在HOT3D中，我们整理了1200个稳定抓握片段；在EPIC-Kitchens中，我们标注了2400个稳定抓握片段，涵盖来自141个日常场景的9类共390个物体实例。由于缺少3D真实数据，我们利用2D投影误差来评估重建效果。定量结果显示，COP算法可使稳定抓握重建精度提升6.2%，借助受限姿态传播技术，HIT重建精度最高可提升24.5%。 ### 1. 引言 准确重建三维手-物交互过程是解决诸多感知问题的关键，包括对交互行为的细粒度理解，以及增强现实、机器人模仿学习和人机交互等潜在应用。 以往针对手中物体的重建研究通常采用3D真实数据作为监督信息，结合3D [^4] [^61] [^78] 或2D输入 [^10] [^29] [^35] [^70] [^73]。虽然这类方法通常设计为与视角无关，但早期研- ![Image](images/ef9e2cb724c9b18e4d5b490e77708f8cdf1dd27f645900cea72010f7c1568e22.jpg)
Figure 1. Sample HIT sequence from HOT3D [^3] with reconstruction results by our method. We illustrate the three types of temporal segments in hand-object interactions: Static: where the object is static relative to the scene, Unstable Contact: where the hand is firming its grip on the object; and Stable Grasp: where hand is securely holding the object stably, until it is Static again when put down. The plot illustrates the IoU of the in-contact vertices across neighbour frames; for formal definition, refer to Sec. 3.1.
究 [^6] [^29] [^49] 表明，中心视觉视频的重建难度依然很大，部分原因是物体会被手部严重遮挡。 在本研究中，我们重点关注中心视觉视频，并首次考虑了交互的完整时间线——接触前、手持时以及释放后。我们对交互过程进行了功能性意图建模——即物体被操作或移动时处于稳定状态，而非仅仅被触碰或拨动。我们发现，在这些功能性抓握过程中，相同的手部顶点和物体顶点会保持接触，但由于手指和手部的关节运动，物体的姿态仍会相对于手部发生变化。 为了在该时间线上估计物体的姿态，我们提出了依赖于交互段类型（静态、不稳定接触或稳定抓取）的约束条件，如图1所示。我们提出了受限优化与传播（COP）框架，用于在每个交互段中优化物体姿态，随后传播该姿态以初始化下一个交互段。我们展示了一些重建样本。 --- ![Image](images/d61e02bdda6d97f4a079edbad04d92a2d60033344a65e7ea3cbc1a1a17cfe592.jpg)
Figure 2. Qualitative results. Given a $\underline{\text{Hand Interaction Timeline (HIT)}}$ - with an object in Static, Unstable Contact and Stable Grasp interaction segments, our method, COP, reconstructs hand (blue) and object (yellow) meshes along the HIT. We show input frames (left), projected meshes (middle) and meshes in 3D world coordinate system (right). Rows 1-2 from EPIC-HIT and row 3 from HOT3D-HIT.
这些样本沿HIT的分布情况如图2所示。 总结来说，我们的贡献如下： - 我们提出了“基于手部交互时间线的物体重建”（ROHIT）任务，旨在从第一人称视角视频中重建已知刚性物体的3D姿态。 - 我们提出了受限优化与传播（COP）框架，用于针对不同交互段类型优化物体姿态。 - 我们从第一人称视角的HOT3D数据集中整理了手部交互时间线，以便利用3D真实值来评估我们的方法。我们将其称为HOT3D-HIT数据集。 - 我们从EPIC-Kitchens数据集中标注了2.4K个稳定抓取片段，以及96个HIT片段，将其称为EPIC-HIT数据集。 - 我们在这两个数据集上评估了COP框架，结果显示在稳定抓取重建方面提升了6.2%–11.3%，通过姿态传播在HIT重建方面最高可提升24.5%。 ### 2. 相关工作 在此我们讨论手部姿态估计、物体姿态估计以及手物联合重建方面的研究。关于手物重建数据集的对比，请参见表1。 3D手部姿态估计。从图像中估计3D手部姿态的研究既涉及自由状态下的手，也涉及处于交互状态的手。FrankMocap [^56] 是许多手物重建方法中常用的基于CNN的模型 [^6] [^29] [^49] [^73] [^74]。METRO [^40] 提出在CNN特征之上使用Transformer进行回归。WildHands [^54] 解决了第一人称视角下手部姿态估计的透视畸变问题。最近，完全基于Transformer的方法 [^19] [^39] [^50] [^52] [^80] 在规模更大的训练数据上训练，且网络容量更高，因此取得了更优的性能。基于Transformer的HaMeR [^50] 近期已被用作全身估计任务的引导 [^76]，以展现其实用性。在本研究中，我们的野外场景处理流程也采用了HaMeR [^50]，因为它具有出色的性能。 3D物体姿态估计。对基于单张图像估计3D物体姿态的相关研究进行全面综述超出了本文范围。在此我们重点关注与手物交互场景相关的内容。为了估计3D物体姿态，多项研究 [^8] [^25] [^45] [^48] [^64] 假设已知物体的形状模板，并通过将其拟合到2D图像特征（如掩码或关键点）上来估计6自由度姿态，这一过程可利用2D-3D [^8] [^48] 或3D-3D对应关系 [^25] [^45] [^64]。其他方法 [^24] [^69] 则同时估计物体姿态和形状，但会牺牲几何保真度。尽管这些方法很有效，但它们通常假设物体未被遮挡。 3D手部与物体重建。相关方法可分为两类。第一类是已知CAD模型的方法，这类方法假设已给定物体的CAD模型，并将3D形状拟合到2D观测结果中。它们又可进一步分为数据驱动的[^1] [^12] [^33] [^38] [^41] [^42] [^63] [^66] [^70] [^71]方法和基于优化的[^6] [^29] [^49]方法。数据驱动的方法会从已见过的物体样本中学习如何联合重建手部与物体，而基于优化的方法则通过直接拟合2D信号来实现重建。RHO [^6]是首个基于优化的单帧方法。基于优化的方法[^6] [^29] [^49]采用相同的流程：先分别优化手部/物体，再加入物理约束项进行联合优化。HOMan [^29]可推广到多帧场景，且能确保网格顶点随时间变化时的平滑性。 第二类是不依赖CAD模型的方法，这类方法无需显式的CAD模型即可估计物体姿态。许多不依赖CAD模型的方法[^10] [^11] [^28] [^35] [^53] [^73] [^75] [^77]会学习物体形状的先验知识，或从（生成式）物体库中检索相关模型[^2] [^34] [^44]。另一类方法[^21] [^27] [^32] [^67] --- 利用神经网络从多个视角拟合物体的底层形状。我们通过实验发现，不依赖CAD模型的方法无法泛化到真实场景中的第一人称视频。 我们的方法属于第一类，采用了针对真实场景重建挑战所需的简化假设。这也有助于我们专注于此前尚未有人尝试过的HIT重建任务。与以往所有基于优化的方法不同，我们分析了物体在不同段落中的相对运动，并在整个HIT过程中完成其重建。 ### 3. ROHIT任务 #### 3.1. 什么是手部交互时间线？ 给定对象的 $\underline{H}$and $\underline{I}$nteraction $\underline{T}$imeline（HIT）是一个视频序列，聚焦于手与一个物体交互以使用或移动该物体。从该物体的视角来看，HIT 可以划分为许多三种类型的连续片段： - 静态：在手部交互前后，物体通常由表面支撑，因此相对于场景/世界而言处于静止状态。 - 稳定抓取：手部牢固地握住物体，便于正常使用与安全移动（详见下文说明）。 • 不稳定接触：物体既非处于静态，也非处于稳定抓取状态，例如正在形成对物体的握持时。 如图2所示，HIT可能包含多个时间段落（例如：静态$\rightarrow$→不稳定接触$\rightarrow$→稳定抓取$\rightarrow$→不稳定接触$\rightarrow$→稳定抓取$\rightarrow$→静态）。我们的任务就是沿着完整的HIT重建手部与物体的交互过程。 “稳定抓取”这一术语此前已在人类抓取分析中被使用[^5] [^15] [^22]。尽管定义各有不同，但核心均指“无论手部朝向如何，物体都能被单手牢牢握住”[^22]。直观来讲，这意味着在整个抓取过程中，同一手部部位与物体的接触点会持续存在。 从形式上讲，对于稳定抓取中的任意两个帧i和j，我们用$S_i$和$S_j$来表示物体表面的接触区域，用交集并集比IOU($S_i, S_j$)来表示这些接触区域之间的重叠程度。基于上述直观理解，稳定抓取的持续时间定义如下： $$ \begin{aligned}\left[l^{*},r^{*}\right]&=\underset{l,r}{\argmax}\left(r-l\right)\\ s.t.I O U(S_{i},S_{j})&>\tau\quad\forall l\leq iFigure 3. Stable Grasp Intuition. Three samples from HOT3D. In each row, we align the hand coordinate system for three frames from one stable grasp. Left: finger articulations and object pose vary over time. Right: contact area (shown as a heat map of objects vertices in contact with the hand) remains consistent. 同理，如果$S_i = \emptyset$，说明物体未与手部接触，因此被归类为静止状态。如果$S_i \neq \emptyset$但$\mathrm{IOU}(S_i, S_j) \leq \tau$，则物体处于不稳定接触状态。 #### 3.2. ROHIT任务与符号说明 相关假设。ROHIT旨在仅通过手部交互时间线（HIT）来联合估计物体的姿态。借此可逐帧重建手部与物体的3D网格模型。我们假设已知物体的类别CAD模型，以及每个片段对应的手侧（左手/右手）。我们还假设已知HIT内的时间边界，即每个片段的起始/结束时间。需要注意的是，在所有假定手部已抓住物体的既往研究中，手侧与手中片段边界的假设都是隐含存在的。这些标注要求输入手部抓取的持续时间（起始-结束时间）。关于放宽这些假设的内容将在补充材料中讨论。 遵循既往研究[^6] [^29] [^49]，我们采用MANO [^55]来表示手部网格，它以每帧的手指关节角度向量$\theta^n \in \mathbb{R}^{45}$为输入，输出位于手部坐标系下的带有顶点$V_h^n = \text{MANO}(\theta^n) \in \mathbb{R}^{778 \times 3}$的手部网格。在无法获取该数据的情况下，我们会利用现成的方法[^50]来获取每帧的手指关节角度$\theta^n$。此外，我们还会利用手部到相机的变换矩阵$(h2c)$ $T_{h2c}^n$，它决定了手腕的朝向与位置。$T_{h2c}^n$用于将每帧的网格从手部坐标系转换到相机坐标系。 对于物体网格，$V_o \in \mathbb{R}^{|V_o| \times 3}$表示物体坐标系下已知的物体顶点。我们用物体到手部的变换矩阵$T_{o2h}^n$以及物体缩放比例$s \in \mathbb{R}$来表示物体顶点，从而将每帧的物体顶点转换为手部坐标系下的$V_{o:h}^n$。给定手部到相机的变换矩阵$T_{h2c}^n$后，物体在相机坐标系下的网格表示为 $$ V_{o:c}^{n}=T_{h2c}^{n}\left(T_{o2h}^{n}(s*V_{o})\right) $$ --- ![Image](images/968ec95836803d5165b57ec15a23709ab2ad2e1db3ff71464061a79beaa068d6.jpg)
Figure 4. Optimising the Stable Grasp segment. We show three frames within one stable grasp. We utilise HaMeR [^50] to reconstruct the hand mesh in-the-wild. We initialise $T_{o2h}^{n}$ to one $T_{o2h}$, but keep the diverse finger articulations from the hand pose estimates. During optimisation, we measure the distance between each hand vertex and object vertices $V_{o}$. In the left plot, we show that the contact area $d_{oh} \approx 0$ differs over time (visualised on the gray bottle). The novel loss, $E_{SG}$, minimises the variation of distance between the hand and object vertices over time, by adjusting the object's pose relative to the hand. As $E_{SG}$ is minimised, the contact area is aligned (see updated plot). Additional losses are used to regularise the optimisation: $E_{mask}$ renders the reconstruction and compares it against estimated object masks while $E_{push}$ and $E_{pull}$ respectively ensure the object is not penetrated by or away from the hand.
最后，为了在世界坐标系中重建HIT，我们使用世界到相机的变换矩阵$T_{w2c}^{n}$。在静止片段中（见4.1节），这使我们能够将物体网格表示为相机坐标系下的形式： $$ V_{o:c}^{n}=T_{w2c}^{n}(T_{o2w}^{n}(s*V_{o})) $$ 其中$T_{o2w}^n$是物体到世界的变换矩阵。在稳定抓取和不稳定接触片段中，通过$T_{h2w}^n$得到的手部到世界的变换矩阵$T_{h2w}^n = (T_{w2c}^n)^{-1} \times T_{h2c}^n$，用于实现手部坐标系与世界坐标系之间的转换。 $$ T^{n}_{o2w}\xrightarrow[T^{n}_{h2w}](T^{n}_{h2w})^{-1}T^{n}_{o2h} $$ 世界到相机的位姿 $T_{w2c}^{n} = (T_{c2w}^{n})^{-1}$ 可由以自我为中心的数据集提供 [^3] [^62]，也可进行估计 [^57]。 ### 4. $\underline{\text{Constrained O}}$优化与 $\underline{\text{Propagation}}$ 我们提出了受限优化与传播（COP）框架，用于重建沿HIT的手部-物体网格对。这一提议源于我们对物体沿HIT接触顶点变化所受各种约束的理解（见图1）。为了适应长度可变的分段，我们每个分段始终使用N个采样帧。一旦某个分段通过特定约束完成优化，其位姿就会被用来初始化下一个分段——因为物体位姿必须保持时间上的平滑性。我们首先解释各类分段的受限优化过程。 #### 4.1. 静态分段的优化 在以自我为中心的视频中，由于头部运动，物体在相机中看似在移动；但在静态分段期间，物体在世界坐标系中是静止的。 静态约束。当物体处于静态时，物体到世界的位姿 $T_{o2w}$ 在该分段的所有N帧中保持不变 $T_{o2w} = T_{o2w}^n$。我们利用公式(3)得到相机坐标系下的物体网格 $V_{o:c}^n$，并通过渲染对比损失来优化 $T_{o2w}$ 和缩放系数s。 渲染对比损失（$E_{mask}$）：该损失旨在估算出能与序列中物体掩码的2D投影最佳匹配的重建结果。我们通过像素差之和来衡量误差： $$ E_{m a s k}^{n}=|\mathcal{C}_{o}^{n}\otimes(\mathcal{M}_{o}^{n}-\Pi(V_{o:c}^{n}))|_{2}^{2} $$ 其中 $\mathcal{M}_{o}^{n}$ 是我们用于监督的物体掩码，$\Pi(\cdot)$ 是可微投影函数 [^36]。$\mathcal{C}_{o}^{n}$ 是考虑遮挡情况的掩码，如 [^29] [^79] 所述，它仅计算物体未被遮挡区域内的误差，物体和背景区域设为1，手部区域设为0。这种掩码机制可避免因为手部遮挡导致的物体缺失部分被计入惩罚项。 #### 4.2. 稳定抓取分段的优化 在稳定抓取情况下，物体的位姿由手部接触顶点控制。因此，我们优化的是物体相对于手部的相对位姿，即 $T_{o2h}^{n}$。这与优化物体相对于相机的位姿不同 [^29] [^49]。我们利用公式(2)得到相机坐标系下的物体网格 $V_{o:e}^{n}$，并优化 $T_{o2h}^{n}$ 和s。 --- 稳定抓取约束。根据3.1节的形式化定义，我们以稳定接触区域作为约束来优化这类分段。需注意的是，只要与手部接触的顶点保持稳定，物体相对于手部的位姿就可以发生变化。我们引入新的损失函数 $E_{SG}$ 来建模这一约束。 稳定抓取损失（$E_{SG}$）：首先，我们将范围限定为通常与物体接触的手部顶点——也就是五个指尖（可视化效果见补充材料）。更正式地说，我们将这部分手部顶点记为 $V_F \subset V_h$。对于每一个物体顶点 $v_o \in V_o$，我们计算它到每个 $d_{oh}$ 的距离 $v_h \in V_F$。随后我们最小化所有帧对n和m之间该距离的平均变化量： $$ E_{S G}=\sum_{v_{o}\in V_{o}}\sum_{v_{h}\in V_{F}}\sum_{n=1}^{N}\sum_{m=1}^{N}|d_{o h}^{n}-d_{o h}^{m}|_{1} $$ $$ d_{o h}^{n}:=\vert v_{o}^{n}-v_{h}^{n}\vert_{2}^{2} $$ 其中，$v_{h}$ 表示一只手上的顶点，$v_{h}^{n}$ 代表其在第 n 帧时的位置；类似地，$v_{o}$ 和 $v_{o}^{n}$ 分别表示物体顶点及其在对应帧中的位置。 请注意，我们假设物体是刚性的，因此只能通过更新其整体姿态——即相对于手来平移和旋转物体——来最小化 $E_{SG}$。当 $E_{SG}$ 被最小化时，物体的姿态也就得到了优化，从而使得所有帧对之间的 $d_{oh}^{m}$ 与 $d_{oh}^{m}$ 之间的差异达到最小。优化这一距离等同于对齐接触区域——也就是说，如果两帧中手与物体的顶点距离相同，那么接触区域必然是对齐的。 图4通过选取手部与瓶子$(t_1, t_2, t_3)$的三个时间戳来展示这种误差情况。我们选取一个手部顶点，并绘制其随时间变化到所有物体顶点的距离。在优化$E_{SG}$损失函数之前，到瓶子顶点的距离会随时间发生变化——这一点可通过$d_{oh}$彩色曲线（左图）直观看出。优化$E_{SG}$之后，这些曲线排列得更加整齐（右图）。我们还展示了在最小化$E_{SG}$前后瓶子上的接触区域情况。 除了这个新引入的损失外，我们还使用了公式 5 中定义的 $E_{mask}$；静态片段会强制重建结果与图像中观察到的物体相匹配。此外，我们还采用了两种标准的物理启发式损失 $E_{push}$ 和 $E_{pull}$，以确保手与物体之间能够接触且不会发生网格穿透现象。 推挤 $(E_{push})$ 与牵拉 $(E_{pull})$ 损失：受先前研究 [^6] [^29] [^49] [^70] 的启发，$E_{push}$ 会将物体从与手相穿的区域推出，而平衡损失 $E_{pull}$ 则会将物体拉向手以使其接触。关于 $E_{push}$ 和 $E_{pull}$ 的具体计算方法，请参阅补充材料。 结合这四种损失，目标函数对于 ![Image](images/01a55ef24b54a54943281b5a3a875817ce923509c6e05ae954c697b74f656133.jpg)
Figure 5. Sample propagation (e.g. from Static to Stable Grasp).
稳定抓取片段可表示为： $$ E(\{T_{o2h}^{n}\},s)=\lambda_{1}E_{S G}+\sum_{n=1}^{N}(E_{m a s k}^{n}+\lambda_{2}E_{p u s h}^{n}+\lambda_{2}E_{p u l l}^{n}) $$ 其中，$\lambda_{1}$ 是 $E_{SG}$ 的权重，$\lambda_{2}$ 是 $E_{push}^{n}$ 和 $E_{pull}^{n}$ 的权重，s 则表示物体的尺度。 图 4 概述了稳定抓取的优化过程。$E_{SG}$ 是优化稳定抓取的关键，因为它能在多帧间协同优化。需要注意的是，先前的研究 [^29] 虽然加入了时间上的平滑处理，但实验表明这种处理方式不足以实现精确的优化。 #### 4.3. 优化不稳定接触片段 当物体超出了稳定抓取范围但仍处于手中时，我们仅对手与物体的接触关系做出假设。因此，我们采用 $E_{mask}$、$E_{push}$、$E_{pull}$ 这三种损失，而不再基于稳定抓取的假设，即在公式 (8) 中设定 $\lambda_1 = 0$。 #### 4.4. COP 中的姿态传播 当我们沿着HIT进行优化时，每个片段会按顺序被优化。图5展示了一个从Static片段传播到Stable Grasp片段的示例。一旦该片段被优化，我们就能在最后一帧b处获得物体相对于世界的位姿，这一位姿正是过渡到下一个片段的起始位姿$T_{o2w}^{b}$。直观来讲，物体在过渡帧b处的位姿应当保持一致。必要时，我们会利用公式(4)将手坐标系下的位姿转换为世界坐标系下的位姿，或反之。 在帧b处得到的最优位姿会被作为额外的初始化信息传递给下一个连续片段。在过渡阶段传递物体相对于世界的位姿，是我们所提出的传播机制的关键。需要注意的是，物体的位姿及其尺度都会被用来初始化下一个片段。无论片段类型如何，我们都会在所有连续片段间进行这种传播，例如Stable Grasp $\rightarrow$ Static片段，或是Static $\rightarrow$ Unstable Contact片段。 每一种初始化方式，包括通过传播得到的初始化信息，都会根据该片段类型的约束损失函数独立进行优化（详见第4.1-4.3节）。我们会选择$E_{mask}$值最小的位姿作为本方法的预测结果。这一结果随后会被传递给HIT中的下一个片段，如此循环往复。 ### 5. 实验 #### 5.1. 数据集 根据第3.1节中对HIT和Stable Grasp的定义，我们对无脚本的第一人称视角视频中的时间线进行了标注。在 ---
Table 1. Dataset Comparison. Here we compare various characteristics and labels provided by various datasets. We also show statistics of Stable Grasp and HIT (when available). $\dagger$: subjects in the released train/val set
DatasetYearCharacteristicsLabelsStable Grasps' StatsHIT's Stats
In-the-wildFunct. IntentEgoPose GTStable GraspHIT#Env#Sub#Cat#Inst#SeqAvg. Duration#framesAvg. Seg. Per HIT#Seq
HOI4D [^43]2022✗✓✓3D✗✗6109208005,000----
ARCTIC [^20]2023✗✓✓3D✗✗1$9^{{f}}$1111339----
HOGraspNet [^13]2024✗✗✓3D✓✗1993030~3861----
HOT3D [^3]2024✗✓✓3D✗✗4193333295----
HOT3D-HIT (ours)2025✗✓✓3D✓✓4922221,239121.1s410,65029.1113
MOW [^6] [^49]2021✓✓✗✗✗✗500500121500500----
EPIC-HIT (ours)2025✓✓✓2D Mask✓✓141319~3902,43113.8s79,7362.896
HOT3D [^3]数据集中，我们根据3D真实数据自动标注HIT——我们将这类序列称为HOT3D-HIT。物体掩码由真实数据提供。在EPIC-KITCHENS [^16]数据集中，我们针对9种常见的刚性物体类别（盘子、碗、瓶子、杯子、马克杯、罐子、平底锅、炖锅、玻璃杯）手动标注了HIT片段。相应的物体掩码可从VISOR数据集 [^18]中获取。我们将这类数据集称为EPIC-HIT。 我们在表1中与其他现有的手-物体重建数据集进行了对比（完整表格见补充材料）。对于HOT3D数据集，我们自动提取了1,239个稳定抓取动作，并将其扩展为113个HIT，共涵盖3,288个片段（其中872个为Static片段，1,177个为Unstable Contact片段）。对于EPIC-KITCHENS数据集，我们从31个厨房中的141段不同视频里标注了2,431个Stable Grasp视频片段。此外，我们还手动标注了96个HIT，共涉及296个片段（135个Static片段、106个Stable Grasp片段以及28个Unstable Contact片段）。详细内容见补充材料。 #### 5.2. 实现细节 参照HOMan [^29]的方法，我们会从每个片段中稀疏且线性地采样30帧用于优化和评估。对于每个物体，我们会按照$T_{o2h}$的方法，采用10种不同的旋转初始化方式和1种全局平移方式来初始化[^29]。误差$E_{mask}$以像素为单位定义，而$E_{SG}$、$E_{push}$和$E_{pull}$则在三维空间（米）中定义。我们以摄像头的焦距f作为缩放因子：$\lambda_f = f \times \text{render\_size}$。我们设置render_size = 256，并设定$\lambda_1 = \lambda_f$和$\lambda_2 = 0.1 \times \lambda_f$的值（公式8）。在RTX 4090显卡上，优化一个包含30帧的片段平均需要30秒。更多实现细节请参阅补充材料。 #### 5.3. 基准方法与定量指标 我们重点关注那些能够利用预定义的CAD模型重建手中物体位姿的基准方法。由于COP无需训练，因此我们不与数据驱动的方法[^20] [^41] [^41] [^70] [^71]进行比较。我们比较的对象包括： • HOMan [^29]——这是一种常见的基于CAD的基准方法，它会逐步优化物体相对于手部的姿态。HOMan采用了时间平滑技术，并使用了$E_{pull}$和$E_{push}$。与我们的方法类似，为了公平比较，我们使用了VISOR [^18]掩码。 • Rigid [^60]——该方法假设物体在抓取过程中不允许有任何运动，从而最小化物体相对于手部的总体旋转和平移。 • Dynamic——这是COP的一种变体，没有稳定抓取约束（$\lambda_{1}=0$）。 我们注意到RHOV [^49]是一个相关的基准方法，但没有可用的代码作为基准。那些不依赖CAD的方法[^21] [^53] [^68] [^73] [^74]在我们的数据集上表现极差（详见补充材料），因此不适合用作基准。 我们使用两种标准指标进行评估，无论是否有3D真实值，这两种指标适用于所有分割类型： 有3D真实值时，适用于所有分割类型：平均距离（ADD）是拥有3D真实值的方法的标准指标。遵循[^13] [^30] [^37] [^69]的做法，我们测量真实物体顶点与预测物体顶点之间的距离，再对顶点和帧取平均值。如果平均距离小于物体直径的10%，则该序列的ADD值为1，否则为0。在对称的CAD模型中，我们会计算所有有效对称变换下的最小平均距离[^31]。 交并比（IOU）。当没有3D真实值时，我们用IOU作为姿态精度的替代指标。我们测量相机视图中物体真实掩码与渲染掩码之间的IOU，并报告所有帧的平均IOU。如果存在与其他部件的遮挡情况，仅使用渲染投影中未被遮挡的区域进行计算。 我们还提出了这些标准指标的变体，专门用于衡量HIT中的稳定抓取情况： ADD成功时的平均稳定接触面积（SCA-ADD）。当一个序列的姿态被视为正确时，即平均距离在物体直径的10%以内，此时ADD值为1，我们会测量该序列中的稳定接触面积，定义为所有帧对之间接触区域的平均IOU（见第3.1节）。当ADD值为0（平均距离低于阈值）时，SCA-ADD设为0。我们对所有样本的SCA-ADD取平均值。我们使用这一指标来展示我们重建稳定抓取的能力。 高IOU时的平均稳定接触面积（SCA-IOU）。类似地，当IOU超过特定阈值时，我们也会报告SCA值。在HOT3D数据集上我们采用80%作为阈值，在EPIC数据集上则分别报告80%和60%阈值下的结果。当IOU低于阈值时，SCA-IOU设为0。我们报告平均SCA-IOU。 IOU与SCA-IOU。需要注意的是，IOU和SCA-IOU可能存在矛盾。某方法可能通过单独适配每个掩码来最大化IOU，从而导致较低的SCA-IOU。利用 ---
Table 2. Results on Stable Grasp in HOT3D-HIT. Green for best and yellow for second best. COP $^{\dagger}$ is COP w/o propagation.
CategorySCA-IOUADDSCA-ADD
HOMan [^29]Rigid [^60]DynamicCOP $^{\dagger}$HOMan [^29]Rigid [^29]DynamicCOP $^{\dagger}$HOMan [^29]Rigid [^60]DynamicCOP $^{\dagger}$
bottle_bbq23.139.234.243.54.930.552.457.33.816.921.026.7
bottle_mustard15.216.823.232.30.012.537.537.50.05.914.918.3
bottle_ranch16.833.332.940.49.131.850.056.85.917.419.625.4
bowl39.453.432.848.736.584.984.989.723.344.828.543.7
can_parmesan29.144.832.843.50.019.027.030.20.09.010.414.7
can_soup32.450.337.150.63.014.121.226.32.56.77.613.8
can_tomato_sauce36.246.333.245.82.02.99.89.81.61.13.24.2
carton_milk24.927.529.838.30.035.317.629.40.015.86.014.5
carton_oj5.535.025.639.30.031.243.843.80.016.214.420.6
cellphone49.38.317.623.042.39.623.125.031.66.78.514.0
coffee_pot27.142.435.543.718.457.171.475.515.329.128.135.2
dino_toy24.815.938.640.533.366.772.277.824.832.734.539.7
food_vegetables43.041.640.748.99.523.833.323.88.414.118.713.2
keyboard37.631.821.931.460.984.192.891.335.629.419.828.1
mouse48.359.344.556.318.639.567.472.113.828.934.143.8
mug_white15.233.130.942.411.128.937.857.88.115.917.528.9
plate_bamboo36.656.333.655.135.681.489.893.224.450.030.550.5
potato_masher2.25.317.726.54.950.547.629.42.928.315.425.2
puzzle_toy37.146.432.144.824.454.951.264.617.929.219.131.7
spatula_red1.314.626.735.44.850.876.285.73.333.024.635.4
whiteboard_eraser23.042.636.042.120.080.0100.0100.09.937.836.042.1
whiteboard_marker30.449.237.40.0100.066.745.70.071.227.335.4
Average27.837.430.842.016.843.051.958.111.522.918.426.8
Table 3. Results on Stable Grasp in EPIC-HIT. Green for best and yellow shows the second best. COP $^{\dagger}$ is COP w/o propagation.
CategoryIOUSCA@0.8SCA@0.6
HOMan [^29]Rigid [^60]DynamicCOP $^{\dagger}$HOMan [^29]Rigid [^60]DynamicCOP $^{\dagger}$HOMan [^29]Rigid [^60]DynamicCOP $^{\dagger}$
bottle56.666.075.572.23.516.421.829.65.751.936.656.3
bowl54.252.957.955.11.010.59.311.91.628.219.732.0
can47.549.855.253.63.512.713.016.55.324.119.428.1
cup56.961.467.566.15.512.416.520.07.843.238.949.7
glass55.457.665.263.13.010.014.815.94.236.330.140.9
mug59.458.163.862.13.96.56.39.26.636.329.642.5
pan48.345.848.942.40.54.54.33.51.918.612.815.1
plate61.161.568.165.31.015.517.622.51.639.330.146.4
saucepan51.153.157.554.40.43.15.45.32.432.725.731.1
Average54.855.861.758.21.910.612.215.03.333.425.236.5
![Image](images/01b3a92201b21a2ba37d450285a8333586bfb4641ae51a1115b3d724a7fe2889.jpg) ![Image](images/2466a62d833a3bf45ac5f9712f0e72df03f5029efe7aa9b7749e528cf9ffecc8.jpg)
Figure 6. Improvement of COP over Dynamic method for different object sizes (left) and Stable Grasp lengths (right).
这两种指标，我们能够了解不同基准方法与我们所提出的COP相比的性能表现。 #### 5.4. 结果与消融实验 HOT3D-HIT数据集中的稳定抓取。我们首先研究稳定抓取片段的重建情况。为确保比较公平，此处COP并未采用传播机制。表2列出了HOT3D-HIT数据集中各类别稳定抓取的结果。平均而言，COP将动态假设下的ADD值从51.9%提升至稳定抓取场景下的58.1%，同时将刚性假设下的SCA-ADD值从22.9%提升至26.8%。像“potato_masher”这类物体类别的ADD得分提升了16.5%。基线模型“Rigid”的SCA-ADD值较高，但其ADD值明显低于COP。 HOMan $^{1}$ 作为连接点—— 在图6中，我们分析了稳定抓取序列长度及不同物体尺寸对结果的影响。COP的表现始终优于Dynamic模型，仅在HOT3D数据集中的大型物体上性能略有下降。此外，COP在小型物体及长序列上的表现显著更佳。 EPIC-HIT数据集中的稳定抓取。表3列出了EPIC-HIT数据集中各类别稳定抓取的类似结果。COP在SCA指标上优于各基线模型。Dynamic模型在IOU指标上表现良好，因为它能针对每个掩码单独拟合，但无法保持稳定的抓取状态，这从较低的SCA指标中可见一斑。需注意，IOU是姿态精度的二维代理指标；$E_{SG}$通过约束IOU拟合来提升SCA值。“pan”类别中刚性模型取得了最佳的SCA结果——这表明平底锅的功能性握持方式不允许手指进行关节活动。图7展示了COP在EPIC-HIT数据集上稳定抓取的重建结果。 HOT3D-HIT数据集中的HIT。表4展示了HOT3D-HIT数据集上完整时间线（HIT）重建的定量结果。虽然理论上传播机制能够改进Dynamic基线模型，但我们主要针对COP进行了传播机制的消融实验。可以看到各方面均有提升：稳定抓取片段中的ADD值提高了12.2%，静态片段也是如此。 --- ![Image](images/d24e8c977bccfc59048a8bb2d01f39e7300fb814c77d0d43f7584314a9032be7.jpg)
Figure 7. Qualitative Results on Stable Grasp in EPIC-HIT (2 examples/category): projected reconstruction results and reconstruction in rotated views. Bottom: failure cases due to wrong hand pose (left) and extreme occlusion (right).
![Image](images/6f01aba859a06a87ea3dc2e427554a3b58b2cccc1d50d038228f7c8b69ff7514.jpg) ![Image](images/d9a3a66868971506ff87e56ca29b99f74016be9f1cce883844f9374fa11dd2cd.jpg)
Figure 8. Impact of propagation on segment count and types.
其性能也有14.5%的提升。这表明引入传播机制的COP能够改善所有类型片段的重建效果。 图8总结了传播机制对不同片段数量和类型的HIT的影响。无论片段数量多少，性能提升均保持一致。值得注意的是，过渡到不稳定接触状态时，ADD值有显著提升。 EPIC-HIT数据集中的HIT。表5报告了EPIC-HIT数据集上的类似结果。COP在不同类型片段的所有指标上均显示出一致的性能提升。图2展示了HIT重建的定性结果。 对公式(6)中约束条件的消融实验。回顾一下，在$E_{SG}$中，我们首先为每个物体顶点$v_o \in V_o$建立索引，计算它们到各指尖顶点的距离，再约束所有帧对之间的变化。表6中我们测试了两种旨在最大化稳定接触区域的变体：i) 选择距离最近的物体顶点$v_o^*$对应每个$v_h \in V_F$，而非选取所有物体顶点$V_o$；ii) 选取连续的N帧来进行约束$d_{oh}$。结果表明我们的约束条件效果最佳。
Table 4. Results on HOT3D-HIT
MethodStable GraspStaticUnstable Contact
ADDSCA-ADDADDADD
COP w/o Propagation58.126.864.717.3
COP70.334.179.267.1
Table 5. Results on EPIC-HIT
MethodStable GraspStaticUnstable Contact
IOUSCA@0.8IOUIOU
COP w/o Propagation68.023.865.874.3
COP69.225.568.379.0
Table 6. Ablation on the Stable Grasp Loss $E_{SG}$ variants on HOT3D. We show improvement over the Dynamic Baseline
Obj. Vert. SelectionFrames SelectionADDSCA-ADD
$V_{{o}}$$N^{{2}}$ pairs58.1 (+6.2)26.8
$v_{{o}}^{{*}}$$N^{{2}}$ pairs52.9 (+1.0)21.3
$V_{{o}}$N consecutive54.2 (+2.3)22.5
Dynamic Baseline51.9 (+0.0)18.4
Table 7. Ablation on the loss weights. Chosen $\lambda_{1}$ and $\lambda$
$\lambda_{1}$$\lambda_{2}$ADDSCA-ADD
00.151.918.4
1054.825.0
10.158.126.8
100.151.526.6
对公式(8)中权重的消融实验。表7中我们测试了损失函数公式(8)中引入的权重$\lambda_1$和$\lambda_2$。结果表明$E_{SG}$至关重要，而物理启发式参数$E_{pull}$和$E_{push}$也是必不可少的。Dynamic模型相当于$\lambda_1 = 0$和$\lambda_2 = 0.1$的组合。 额外结果。在补充材料中，我们：(i) 消除了HIT中片段边界对噪声的鲁棒性影响；(ii) 报告了来自ARCTIC数据集的稳定抓取片段的相关结果[^20]，结论一致；以及(iii) 展示了CAD无关方法在自然场景录像中的进一步失败示例。 ### 6. 结论 我们提出了“手部交互时间线中的物体重建”（ROHIT）任务——该任务旨在随时间重建物体，包括物体在场景中静止、处于稳定或不稳定抓取状态时的情形。为解决这一任务，我们提出了约束优化与传播（COP）框架，该框架以稳定抓取为基础，跨片段传播姿态以实现更优的重建效果。我们提出了HOT3D-HIT（含3D真实标注）和EPIC-HIT（自然场景）数据集来评估COP框架。我们强调了稳定抓取与姿态传播在这两类数据集上的有效性。通过重建完整的时间线，我们希望能推动未来研究对自然场景下时间线重建方法进行定量评估。 --- 致谢：本研究得到了EPSRC UMPIRE项目EP/T004991/1的支持。朱泽宇得到了UoB-CSC奖学金的支持。S·班萨尔得到了Meta公司向布里斯托大学捐赠的慈善资助。S·特里帕蒂得到了智能系统国际马克斯·普朗克研究生院（IMPRS-IS）的支持。我们感谢艾哈迈德·达尔卡希尔在VISOR掩码制作方面提供的帮助。 ## 参考文献 [^1]: Ahmed Tawfik Aboukhadra, Jameel Malik, Ahmed Elhayek, Nadia Robertini, and Didier Stricker. Thor-net: End-to-end graformer-based realistic two hands and object reconstruction with self-supervision. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1001–1010, 2023. 2 [^2]: Ayce Idil Aytekin, Helge Rhodin, Rishabh Dabral, and Christian Theobalt. Follow my hold: Hand-object interaction reconstruction through geometric guidance. In Thirteenth International Conference on 3D Vision, 2025. 2 [^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7061–7071, 2025. 1, 4, 6, 13, 14, 15 [^4]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Proceedings of the European Conference on Computer Vision, pages 361–378, 2020. 1, 13, 15 [^5]: Ian M. Bullock, Raymond R. Ma, and Aaron M. Dollar. A hand-centric classification of human and robot dexterous manipulation. IEEE Transactions on Haptics, 6(2):129–144, 2013. 3 [^6]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE International Conference on Computer Vision, pages 12417–12426, 2021. 1, 2, 3, 5, 6, 15 [^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 13, 15 [^8]: Hansheng Chen, Yuyao Huang, Wei Tian, Zhong Gao, and Lu Xiong. MonoRUN: Monocular 3D object detection by reconstruction and uncertainty propagation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10379–10388, 2021. 2 [^9]: Xingyu Chen, Fu-Jen Chu, Pierre Gleize, Kevin J Liang, Alexander Sax, Hao Tang, Weiyao Wang, Michelle Guo, Thibaut Hardin, Xiang Li, et al. Sam 3d: 3dfy anything in images. arXiv preprint arXiv:2511.16624, 2025. 17 [^10]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for 手-物重建。载于《欧洲计算机视觉会议论文集》，第231–248页，2022年。1, 2 [^11]: Zerui Chen, Rolandos Alexandros Potamias, Shizhe Chen, and Cordelia Schmid. HORT: Monocular hand-held objects reconstruction with transformers. In Proceedings of the IEEE International Conference on Computer Vision, 2025. 2 [^12]: Hoseong Cho, Chanwoo Kim, Jihyeon Kim, Seongyeong Lee, Elkhan Ismayilzada, and Seungryul Baek. Transformer-based unified recognition of two hands manipulating objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4769–4778, 2023. 2 [^13]: Woojin Cho, Jihyun Lee, Minjae Yi, Minje Kim, Taeyun Woo, Donghwan Kim, Taewook Ha, Hyokeun Lee, Je-Hwan Ryu, Woontack Woo, and Tae-Kyun Kim. Dense hand-object(ho) graspnet with full grasping taxonomy and dynamics. In Proceedings of the European Conference on Computer Vision, 2024. 6, 15 [^14]: Blender Online Community. Blender - a 3D modelling and rendering package. Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018. 14 [^15]: M.R. Cutkosky. On grasp choice, grasp models, and the design of hands for manufacturing tasks. IEEE Transactions on Robotics and Automation, 5(3):269–279, 1989. 3 [^16]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European Conference on Computer Vision, pages 720–736, 2018. 6, 14 [^17]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision (IJCV), 130:33–55, 2022. 13, 14 [^18]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. Epic-kitchens visor benchmark: Video segmentations and object relations. In Advances in Neural Information Processing Systems, 2022. 6, 14 [^19]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. In Advances in Neural Information Processing Systems, pages 2127–2160, 2024. 2 [^20]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2023. 6, 8, 13, 14, 15 ## [^21]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J Black, and Otmar Hilliges. HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. 2, 6, 13, 16, 17 --- [^22]: Thomas Feix, Javier Romero, Heinz Bodo Schmiedmayer, Aaron M. Dollar, and Danica Kragic. The GRASP Taxonomy of Human Grasp Types. IEEE Transactions on Human-Machine Systems, 46(1):66–77, 2016. 3 [^23]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3d hand pose annotations. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 409–419, 2018. 15 [^24]: Georgia Gkioxari, Jitendra Malik, and Justin Johnson. Mesh R-CNN. In Proceedings of the IEEE International Conference on Computer Vision, pages 9784–9794, 2019. 2 [^25]: Walter Goodwin, Sagar Vaze, Ioannis Havoutis, and Ingmar Posner. Zero-shot category-level object pose estimation. In Proceedings of the European Conference on Computer Vision, pages 516–532, 2022. 2 [^26]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3193–3203, 2020. 13, 15 [^27]: Shreyas Hampali, Tomas Hodan, Luan Tran, Lingni Ma, Cem Keskin, and Vincent Lepetit. In-hand 3d object scanning from an rgb sequence. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2023. 2 [^28]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 11807–11816, 2019. 2, 15 [^29]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from rgb videos. In International Conference on 3D Vision (3DV), pages 659–668, 2021. 1, 2, 3, 4, 5, 6, 7, 14, 16 [^30]: Tomas Hodan, Daniel Barath, and Jiri Matas. EPOS: Estimating 6d pose of objects with symmetries. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 11703–11712, 2020. 6 [^31]: Tomáš Hodaň, Martin Sundermeyer, Bertram Drost, Yann Labbé, Eric Brachmann, Frank Michel, Carsten Rother, and Jiří Matas. BOP challenge 2020 on 6D object localization. In Proceedings of the European Conference on Computer Vision Workshops, pages 577–594. Springer, 2020. 6 [^32]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing Hand-Held Objects from Monocular Video. In Proceedings of SIGGRAPH Asia 2022 Conference Papers, 2022. 2, 13 [^33]: Elkhan Ismayilzada, MD Khalequzzaman Chowdhury Sayem, Yihalem Yimolal Tiruneh, Mubarrat Tajoar Chowdhury, Muhammadjon Boboev, and Seungryul Baek. Qortformer: Query-optimized real-time transformer for understanding two hands manipulating objects. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 3895–3903, 2025. 2 [^34]: Shijian Jiang, Qi Ye, Rengan Xie, Yuchi Huo, and Jiming Chen. Hand-held object reconstruction from RGB video with dynamic interaction. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12220–12230, 2025. 2 [^35]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In International Conference on 3D Vision (3DV), pages 333–344, 2020. 1, 2 [^36]: Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neural 3d mesh renderer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3907–3916, 2018. 4 [^37]: Alexander Krull, Eric Brachmann, Frank Michel, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Learning analysis-by-synthesis for 6d pose estimation in rgb-d images. In Proceedings of the IEEE international conference on computer vision, pages 954–962, 2015. 6 [^38]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE International Conference on Computer Vision, pages 10138–10148, 2021. 2, 13, 15 [^39]: Mengcheng Li, Hongwen Zhang, Yuxiang Zhang, Ruizhi Shao, Tao Yu, and Yebin Liu. HHMR: Holistic Hand Mesh Recovery by Enhancing the Multimodal Controllability of Graph Diffusion Models. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 645–654, 2024. 2 [^40]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2021. 2 [^41]: Zhifeng Lin, Changxing Ding, Huan Yao, Zengsheng Kuang, and Shaoli Huang. Harmonious feature learning for interactive hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12989–12998, 2023. 2, 6 [^42]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 2 [^43]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 6, 15 [^44]: Yumeng Liu, Xiaoxiao Long, Zemin Yang, Yuan Liu, Marc Habermann, Christian Theobalt, Yuexin Ma, and Wenping Wang. Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7037–7047, 2025. 2 ### [^45]: Zongdai Liu, Dingfu Zhou, Feixiang Lu, Jin Fang, and Liangjun Zhang. AutoShape: Real-time shape-aware --- 单目3D物体检测。载于《IEEE国际计算机视觉会议论文集》，第15621–15630页，2021年。2 [^46]: Vincenzo Lomonaco and Davide Maltoni. Core50: a new dataset and benchmark for continuous object recognition. In Conference on Robot Learning, pages 17–26, 2017. 15 [^47]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy V. Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel HAZIZA, Francisco Massa, Alaaeldin El-Nouby, Mido Assran, Nicolas Ballas, Wojciech Galuba, Russell Howes, Po-Yao Huang, Shang-Wen Li, Ishan Misra, Michael Rabbat, Vasu Sharma, Gabriel Synnaeve, Hu Xu, Herve Jegou, Julien Mairal, Patrick Labatut, Armand Joulin, and Piotr Bojanowski. DINOv2: Learning robust visual features without supervision. Transactions on Machine Learning Research, 2024. Featured Certification. 17 [^48]: Evin Pınar Örnek, Yann Labbé, Bugra Tekin, Lingni Ma, Cem Keskin, Christian Forster, and Tomáš Hodaň. Found-pose: Unseen object pose estimation with foundation fea-tures. In Proceedings of the European Conference on Com-puter Vision, 2024. 2, 17 [^49]: Austin Patel, Andrew Wang, Ilija Radosavovic, and Jitendra Malik. Learning to imitate object interactions from internet videos. arXiv preprint arXiv:2211.13225, 2022. 1, 2, 3, 4, 5, 6, 15 [^50]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 2, 3, 4, 14 [^51]: Chiara Plizzari, Shubham Goel, Toby Perrett, Jacob Chalk, Angjoo Kanazawa, and Dima Damen. Spatial cognition from egocentric video: Out of sight, not out of mind. In 2025 International Conference on 3D Vision (3DV), 2025. 14 [^52]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 12242–12254, 2025. 2 [^53]: Aditya Prakash, Matthew Chang, Matthew Jin, Ruisen Tu, and Saurabh Gupta. 3d reconstruction of objects in hands without real world 3d supervision. In Proceedings of the European Conference on Computer Vision, 2024. 2, 6 [^54]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In Proceedings of the European Conference on Computer Vision, 2024. 2 [^55]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Trans. Graph, 36:17, 2017. 3 [^56]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE International Conference on Computer Vision Workshops, pages 1749–1759, 2021. 2 [^57]: Johannes L. Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In Proceedings of the IEEE Con- 计算机视觉与模式识别会议论文集，第4104–4113页。IEEE计算机协会，2016年。4 [^58]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. 15 [^59]: Edgar Sucar, Kentaro Wada, and Andrew Davison. NodeSLAM: Neural Object Descriptors for Multi-View Shape Reconstruction. In Proceedings of the International Conference on 3D Vision (3DV), 2020. 13 [^60]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. Showme: Benchmarking object-agnostic hand-object 3d reconstruction. In Proceedings of the IEEE International Conference on Computer Vision Workshops, pages 1935–1944, 2023. 6, 7, 13, 15 [^61]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Proceedings of the European Conference on Computer Vision, pages 581–600, 2020. 1, 13, 15 [^62]: Vadim Tschernezki, Ahmad Darkhalil, Zhifan Zhu, David Fouhey, Iro Larina, Diane Larlus, Dima Damen, and Andrea Vedaldi. EPIC Fields: Marrying 3D Geometry and Video Understanding. In Advances in Neural Information Processing Systems, 2023. 4, 14 [^63]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022. 2 [^64]: He Wang, Srinath Sridhar, Jingwei Huang, Julien P. C. Valentin, Shuran Song, and L. Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2642–2651, 2019. 2 [^65]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. Ho-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction, 2024. 15 [^66]: Rong Wang, Wei Mao, and Hongdong Li. Interacting hand-object pose estimation via dense mutual attention. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 5735–5745, 2023. 2 [^67]: Shibo Wang, Haonan He, Maria Parelli, Christoph Gebhardt, Zicong Fan, and Jie Song. Magichoi: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. In Proceedings of the IEEE International Conference on Computer Vision, pages 5957–5968, 2025. 2 [^68]: Jane Wu, Georgios Pavlakos, Georgia Gkioxari, and Jitendra Malik. Reconstructing hand-held objects in 3d. arXiv preprint arXiv:2404.06507, 2024. 6 #### [^69]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. PoseCNN: A convolutional neural network for --- 杂乱场景中的6D物体姿态估计。载于《机器人：科学与系统会议论文集》，2018年。2, 6 [^70]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In Proceedings of the IEEE International Conference on Computer Vision, pages 11097–11106, 2021. 1, 2, 5, 6 [^71]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. ArtiBoost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2750–2760, 2022. 2, 6 [^72]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20953–20962, 2022. 15 [^73]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3895–3905, 2022. 1, 2, 6 [^74]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE International Conference on Computer Vision, pages 19717–19728, 2023. 2, 6, 13, 16, 17 [^75]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2024. 2, 16, 17 [^76]: Brent Yi, Vickie Ye, Maya Zheng, Yunqi Li, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an egosensed world. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7072–7084, 2025. 2 [^77]: Zhenjun Yu, Wenqiang Xu, Pengfei Xie, Yutong Li, Brian W Anthony, Zhuorui Zhang, and Cewu Lu. Dynamic reconstruction of hand-object interaction with distributed force-aware contact representation. In Proceedings of the IEEE International Conference on Computer Vision, pages 8590–8599, 2025. 2 [^78]: He Zhang, Yuting Ye, Takaaki Shiratori, and Taku Komura. ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation. ACM Transactions on Graphics, 40(4), 2021. 1, 13 [^79]: Jason Y Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. In Proceedings of the European Conference on Computer Vision, pages 34–51, 2020. 4 #### [^80]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1367–1376, 2024. 2 --- ##### 第一人称视频中手部交互时间线的物体重建补充材料 ##### A. 概述 在该项目的网页上，我们提供了展示定性结果的视频，并在B节中说明了视频的详细信息。本文档的其余部分安排如下：C节提供了EPIC-HIT和HOT3D-HIT数据集的额外标注细节；D节探讨了COP框架对HIT中片段边界的鲁棒性；F节给出了ARCTIC数据集中稳定抓取的相关结果[^20]；G节提供了额外的实现细节；H节对CAD无关模型进行了定性评估；最后，I节讨论了本研究的局限性。 ##### B. 定性视频 我们提供了视频，展示了使用我们提出的方法COP在两个数据集上的重建结果。这些视频包含了来自EPIC-HIT和HOT3D-HIT的示例。在每种情况下，我们展示了原始视频（左侧）、相机帧中的投影重建结果（中间），以及从两个不同视角得到的3D手-物体重建结果（右侧）。我们还在下方展示了世界坐标系下的物体和手部图像，相机姿态则用红色棱柱表示。 此外，我们还提供了EPIC-HIT中稳定抓取序列的示例。每个物体类别（瓶子、罐子、马克杯、玻璃杯、碗、杯子、盘子、平底锅、炖锅）都有两个示例。 #### C. 标注HOT3D-HIT和EPIC-HIT 根据主论文第3.1节中对HIT和稳定抓取的定义，我们在这两个数据集中标注了手部交互时间线。 #### C.1. HOT3D-HIT 对于拥有3D真实数据的HOT3D [^3] 数据集，我们利用主论文公式1中设定的阈值$\tau = 0.5$自动提取稳定抓取序列。我们找到了1,239个稳定抓取序列，随后利用相关标注信息将其自动扩展为HIT，以确定物体何时处于视野内。总共我们标注了113个HIT，涵盖20个视频中的410,650帧、3,288个片段（其中872个为静态交互、1,239个为稳定抓取、1,177个为不稳定接触），涉及22种物体。 #### C.2. EPIC-HIT 我们标注来自 EPICKITCHENS [^17] 视频的 HIT 时间片段。这提供了一个不同于以往工作的数据集，以往工作是在实验室环境中收集的 [^4] [^61] [^78] 或 ![Image](images/a6b45d3651cf58d4df7fec8c73593acc5fa332a3090cc27127325f7e856bc7c6.jpg)
Figure 9. Qualitative results of COP on Stable Grasp from ARCTIC [^20]. There are three sequences visualised here. Top row in each sequence contains input frames. Bottom row in each sequence contains frames with reconstructed hand and object. Last column shows the hand and object reconstruction from two different perspectives.
包含专门为评估抓取而收集、但无底层动作 [^7] [^26] [^38] 的录像。相反，我们旨在利用 Stable Grasp 定义，在未脚本化的日常动作第一人称视角视频中识别 HIT 序列。请注意，我们排除与非刚性物体的交互，仅关注与刚性已知物体的交互。接下来我们详细介绍标注流程： 1. 确定候选视频片段。手-物体重建的最终目标是能够泛化到任意刚性或动态物体，包括属于新类别的物体。然而，正如我们在第H节中展示的那样，目前针对未知物体的重建方法[^21] [^32] [^59] [^60] [^74]仍处于起步阶段。因此，我们将研究范围限定在已知物体类别，专注于高保真度的手-物体重建。需要注意的是，这并不等同于假设存在实例级的CAD模型——瓶子的通用CAD模型可能与日常生活中的实际瓶子并不完全吻合。我们排除了微小物体，并筛选出9种日常生活中常见的类别。 ---
Table 8. Sensitivity to noisy boundary on HOT3D stable grasp subset.
MethodADDSCA-ADD
HOMAN [^29]15.010.0
COP70.032.9
COP w/ Noisy Stable Grasp Boundaries60.027.4
![Image](images/d848f42269b315b1c1e93c8ad7a7cda5427383f5df33f7aad75635abf4af135f.jpg)
Figure 10. Eight contact regions: five fingertips $V_{F}$ + three palm areas. The contact regions serve two purposes: bounding the object inside and attracting the object closer to these regions.
2. 标注稳定抓取状态。我们请两名标注员根据“稳定抓取”的定义来标记起始帧和结束帧。如果满足以下情况之一，则丢弃该片段：(i) 序列中手和物体均不在视野内；或者 (ii) 物体与指定的类别CAD模型不匹配。我们借助注释和旁白来定位手与这些类别物体接触的视频片段，这9种类别包括：盘子、碗、瓶子、杯子、马克杯、罐子、平底锅、炖锅以及玻璃杯$^{1}$。 3. 标注稳定抓取状态。我们请两名标注员根据“稳定抓取”的定义来标记起始帧和结束帧。如果满足以下情况之一，则丢弃该片段：(i) 序列中手和物体均不在视野内；或者 (ii) 物体与指定的类别CAD模型不匹配。 总共，我们标注了来自31个厨房中141个不同视频的2,431个稳定抓握视频片段 [^17]。对于每个片段，我们提供了稳定抓握的开始和结束时间，以及基于密集VISOR标注得到的、用于描述稳定抓握期间手和物体形态的319,661个分割掩码 [^18]。其中，1,446个片段包含左手稳定抓握，985个片段包含右手稳定抓握。 3. 标注HIT片段。在完成稳定抓握的标注后，我们将其扩展至HIT。我们选取了42个视频，这些视频具备来自 [^62] 的已验证相机位姿估计结果，且从 [^51] 可获得其度量比例尺和重力信息。随后，我们添加手动标注的时间段，形成标有片段类型的连续片段。总共，我们标注了96个HIT，涵盖79,736帧和269个片段（其中静态片段135个、稳定抓握片段106个、不稳定接触片段28个）。 #### C.3. 数据集对比 表9对我们的数据集与常用于手-物重建的数据集进行了更全面的对比。这是主论文中表1的延伸内容。 #### D. 对精确边界的依赖 COP依赖于所提供的HIT片段边界。该方法的一个局限性在于需要所有片段具有精确的起止时间。这些标注可以 ![Image](images/5235fe04210e6e85a9ec5dd3a0bb2bf86f778ea7cd2f76adb8979ab2168efc4c.jpg)
Figure 11. Robustness to noisy hand poses.
通过定位模型或VLM在给定标注训练数据集的情况下估算片段来加以解决。虽然论文中的结果使用的是标注好的 $\underline{\text{Hand Interaction Timeline (HIT)}}$ 片段，但我们针对对精确片段边界的需求进行了消融实验。 为了评估COP对标注边界精度的敏感性，我们从Uniform(10, 30)帧分布中采样随机噪声，将其添加到HOT3D中随机选取的40个稳定抓握样本的真实边界上。如表8所示，有噪声的边界会导致COP性能下降；即便存在此类噪声，COP的表现仍大幅优于基线模型 [^29]。 #### E. 对手部姿态噪声的敏感性 我们使用HOT3D中100个随机选取的稳定抓握片段子集，分析了该方法对手部姿态噪声的敏感性。我们运行HaMeR [^50] 来获取手指姿态，并将其作为该方法的输入。 图11展示了相关结果。当我们从真实姿态切换为估算姿态时，该方法在ADD和SCA-ADD指标上的表现均有合理程度的下降。不过，该方法的表现仍明显优于表现最佳的基线模型——Dynamic。这一发现与论文中的结果一致。 #### F. 在ARCTIC数据集上的稳定抓握实验结果 除了HOT3D [^3] 和EPIC-KITCHENS [^16] 之外，我们还探索了包含HIT重建用3D真值的ARCTIC数据集 [^20]。但由于该数据集中的视频片段较短，我们仅在该数据集上评估稳定抓握片段。与HOT3D类似，我们采用 $\tau = 0.5$ 作为阈值自动提取稳定抓握序列，最终识别出涉及9名受试者、覆盖11个类别的1,303个稳定抓握序列。表10列出了ARCTIC数据集中各类别的稳定抓握结果。COP在所有11个CAD模型类别上的表现均优于基线模型 [^29] 及其他假设条件。像“胶囊机”这类类别的ADD分数提升尤为显著（+12.6）。平均而言，采用稳定抓握假设后，COP将ADD分数从基于动态假设的56.0提升至65.1。 ---
Table 9. Dataset Comparison. Here we compare various characteristics and labels provided by various datasets. We also show statistics of Stable Grasp and HIT (when available). $^{*}$: object poses or segments are not provided. $^{\dagger}$: subjects in the released train/val set
DatasetYearCharacteristicsLabelsStable Grasps' StatsHIT's Stats
In-the-wildFunct. IntentEgoPose GTStable GraspHIT#Env#Sub#Cat#Inst#SeqAvg. Duration#framesAvg. Seq. Per HIT#Seq
FPHA [^23]2018✗✓✓3D✗✗36441,175----
HO3D [^26]2020✗✗✗3D✓(part)✗110101065----
ContactPose [^4]2020✗✓✗3D✓✗15025252,306----
GRAB [^61]2020✗✓✗3D✗✗11051511,334----
H2O [^38]2021✗✓✓3D✗✗348824----
DexYCB [^7]2021✗✗✗3D✗✗11020201,000----
HOI4D [^43]2022✗✓✓3D✗✗6109208005,000----
Assembly101 [^58]2022✗✓✗3D Hand $^{{*}}$✗✗15315154,321----
OakInk [^72]2022✗✓✗3D✗✗112321001,356----
SHOWMe [^60]2023✗✗✗3D✓✗115424296----
ARCTIC [^20]2023✗✓✓3D✗✗1$9^{\dagger}$1111339----
ARCTIC w/ Stable Grasp2025✗✓✓3D✓✗1911111,303----
HOGraspNet [^13]2024✗✗✓3D✓✗1993030~3861----
HO-Cap [^65]2024✗✗✓3D✗✗19646464----
HOT3D [^3]2024✗✓✓3D✗✗4193333295----
HOT3D-HIT (ours)2025✗✓✓3D✓✓4922221,239121.1s410,65029.1113
Core50 [^46]2017✓✗✗2D Mask✗✗11-1050550----
MOW [^6] [^49]2021✓✓✗✗✗✗500500121500500----
EPIC-HIT (ours)2025✓✓✓2D Mask✓✓141319~3902,43113.8s79,7362.896
Table 10. Results on ARCTIC. Green shows the best performing method per metric and yellow shows the second best. COP $^{\dagger}$ i COP without propagation.
CategorySCA-IOUADDSCA-ADD
HOManRigid [^60]Dynamic$COP^{{f}}$HOManRigid [^60]Dynamic$COP^{{f}}$HOManRigid [^60]Dynamic$COP^{{f}}$
box30.967.347.571.833.337.752.960.116.928.726.745.5
capsulemachine34.434.943.866.642.148.445.357.924.534.126.143.7
espressomachine36.949.252.273.044.648.564.472.328.836.238.255.6
ketchup18.032.748.462.315.151.939.656.69.337.823.739.2
laptop35.362.051.869.143.845.160.463.928.037.134.846.9
microwave36.151.548.876.156.250.977.783.927.335.341.864.2
mixer34.337.951.169.445.148.466.473.826.732.238.854.2
notebook38.757.855.466.633.843.053.661.620.833.232.442.7
phone39.536.752.462.228.139.734.946.619.929.221.430.4
scissors5.20.016.223.77.047.443.970.25.236.325.647.7
waffleiron36.348.351.065.045.059.572.576.326.239.240.151.5
Average33.146.649.066.137.146.956.065.122.034.232.046.9
Table 11. Ablation on the Stable Grasp Loss $E_{SG}$ variants on ARCTIC. We show improvement over the Dynamic Baseline
Obj. Vert. SelectionFrames SelectionADDSCA-ADD
$V_{{o}}$$N^{{2}}$ pairs65.1 (+9.1)46.9
$v_{{o}}^{{*}}$$N^{{2}}$ pairs58.4 (+2.4)37.2
$V_{{o}}$N consecutive59.1 (+3.1)38.1
Dynamic Baseline56.0 (+0.0)32.0
图9展示了在ARCTIC数据集上Stable Grasp的定性结果。如表11所示，与主论文中对HOT3D-HIT的消融实验类似，我们移除了Stable Grasp Loss $E_{SG}$，结果显示其性能优于Dynamic基线模型。此外，表12中我们对ARCTIC的权重进行了消融实验，得出的结论与HOT3D数据集上的对应消融实验（主论文中的表7）一致。
Table 12. Ablation on the weights. We highlight our choice of $\lambda_{1}$ and $\lambda_{2}$ (blue) on ARCTIC
$\lambda_{1}$$\lambda_{2}$ADDSCA-ADD
00.156.032.0
1063.045.0
10.165.047.0
100.149.039.0
#### G. 其他实现细节 物理损失$E_{push}$和$E_{pull}$。在主论文中，我们提到了所使用的物理排斥损失与吸引损失$E_{push}$和$E_{pull}$。这些损失与[^28]中定义的排斥损失及吸引损失类似。 术语$E_{push}$用于确保所有物体顶点都位于—— --- 手部接触面之内（见图10）。$E_{push}$对每一帧独立作用，因此我们省略了上标$^n$。对于每个$v_o \in V_o$，我们会定位手部接触区域中最近的顶点，并计算该手部顶点沿表面法线方向的距离。穿透接触面的物体顶点会对应负值，我们会对这些负值取最大值，而正值则被截断： $$ E_{p u s h}=\sum_{v_{o}\in V_{o}}-1*\min(d_{v},0) $$ $$ d_{v}:=\langle v_{o}-v_{h}^{*},n_{h}^{*}\rangle $$ 其中$v_{h}^{*}$是手上对应的最近顶点，$n_{h}^{*}$则是$v_{h}^{*}$的表面法线。 除了用于将物体从穿透区域推出手外的$E_{push}$外，我们还使用了平衡损失$E_{pull}$来拉动物体使其触碰手指。$E_{pull}$同样对每一帧独立作用，我们同样省略了上标$^n$。此处我们重点关注图10中展示的接触区域：对于每个指尖接触区域以及手部顶点$\{v_h\}_{C}$，区域到物体的距离定义为所有$(v_h, v_o)$对的最小距离。我们使用5个指尖区域，并最小化这些区域到物体距离的平均值。 $$ E_{p u l l}=\frac{1}{5}\sum_{C}d(\{v_{h}\}_{C},V_{o}) $$ $$ d(\{v_{h}\}_{C},V_{o}):=\min_{v_{h}\in\{v_{h}\}_{C},v_{o}\in V_{o}}\langle v_{h}-v_{o},n_{o}\rangle $$ 其中$n_{o}$是$v_{o}$的表面法线。 静态片段的姿态初始化。由于物体处于静止状态时通常由表面支撑，我们采用10种初始姿态，且均为竖直方向。这些初始姿态的区别在于物体绕支撑轴的旋转角度不同。 稳定抓取片段的姿态初始化。当使用包含3D真值的数据集时，初始旋转是通过对真值旋转进行聚类生成的，聚类过程基于旋转矩阵的轴角表示法；初始平移则是通过对真值平移取平均值得到的。我们为每对（物体，左手/右手）生成10种旋转姿态和1个全局平移参数。对于EPIC-HIT数据集，我们手动将初始物体相对姿态设置为各类别中的常见姿态。平均每对（类别，左手/右手）有4.1种初始姿态，最少1种，最多8种。重要的是，所有对比方法（HOMan [^29]、Rigid、Dynamic、COP）均采用同一组初始姿态进行初始化，以确保在主论文的表2、表3以及补充材料的表3中能进行公平比较。 不稳定接触片段的姿态初始化。我们采用随机初始化方式。 ![Image](images/22dc34b606854c9aefb6b33b43a2c0b7d4f14324f09a44be5060a9d5ce735bae.jpg)
Figure 12. In-the-wild qualitative evaluation of [^21] [^74] [^75]. Owing to high occlusion due to fingers, the CAD-agnostic methods struggle to reconstruct the object shapes.
计算成本分析。主要的计算开销源于在$E_{mask}$中的网格投影；对于包含$E_{SG}$个顶点的网格而言，$\approx 500$的计算量很小。手部交互时间线（HIT）的传播本质上是顺序进行的，通过针对每个片段进行优化，有望提升运算速度，例如可将同一片段内的多次初始化操作并行化处理。 #### H. 面向真实场景的CAD无关方法评估 我们的方法以已知CAD模型为前提。我们研究了那些无需依赖CAD模型即可进行重建的研究工作。在本节中，我们将展示这些模型无法用于真实场景下的手-物体重建。 我们在EPIC-HIT数据集的稳定抓取任务上对CAD无关方法HOLD-Net [^21]、G-HOP [^75]和Diff-HOI [^74]进行了评估。HOLD-Net是一种基于神经渲染的多视角方法，而G-HOP和Diff-HOI则是数据驱动型方法，它们从实验室数据集中学习隐式形状先验。 ---
MethodADD $\uparrow$SCA-ADD $\uparrow$err $_{rot}$ (°) $\downarrow$err $_{trans}$ (cm) $\downarrow$
FoundPose [^48]5.01.378.033.5
FoundPose [^48] w/o texture0.00.0100.128.9
COP (Ours)70.032.939.21.3
Table 13. Comparison with data-driven methods. We show avg. rotation and translation errors.
图12显示HOLD-Net能够重建物体的可见表面。然而，由于手指遮挡，HOLD-Net无法生成完整的物体表面。由于 Egocentric 视频中的输入视角通常有限，HOLD-Net也难以处理不可见表面——瓶子的对称性未能被重建，可参见旋转后的输出结果。真实场景视频对数据驱动方法来说也具有挑战性 $^{2}$。在图12中，G-HOP无法为平底锅生成正确的形状，反而给盘子生成了碗状形态。Diff-HOI的表现同样不佳。Diff-HOI在中间步骤中能生成盘子的形状（见黄色方框内5K步的结果），但最终却产生了错误的形状（默认50k步时），这凸显了其鲁棒性的局限性。 总体而言，这些方法仍处于起步阶段。当这些CAD无关方法变得更加稳健时，我们的方法便可将其扩展应用。重要的是，由于需要将预测形状与真实的CAD模型对齐，目前尚不清楚如何基于相同的CAD相关指标对这些方法进行定量比较。这种对齐过程并不直观，且对数值评估结果有着显著影响。 我们还将其与FoundPose [^48]进行了对比，这是一种已知CAD模型但无需训练的方法。FoundPose利用DINOv2 [^47]来建立图像与CAD模型之间的对应关系。与其他物体姿态估计器不同，FoundPose无需训练，因此具备扩展到未见物体上的潜力。在表13中，我们对40个HOT3D稳定抓取序列的随机子集进行了结果对比。FoundPose的表现明显逊于COP。需要注意的是，FoundPose依赖于实例CAD模型的纹理信息，而这并非我们方法所要求的条件。 #### I. 局限性与未来方向 尽管真实场景下的结果十分可观，但我们的流程仍以手部姿态估计作为第一阶段。尽管通过多视角联合优化提升了鲁棒性，但当预测的手部姿态存在误差时，我们的方法仍会失效（详见主论文图8）。我们的方法在极端遮挡以及视角有限导致的歧义情况下也表现不佳。 我们方法的另一个局限在于它依赖于类别相关的CAD模型知识。我们在第H节中展示了当前现有的CAD无关方法 [^21] [^74] [^75] ![Image](images/1b46e6091255cdc6186da686cb0afaf0e18c1347bb43226d2d6e34d86fad3018.jpg)
Figure 13. SAM-3D results on EPIC-HIT frames from the Static segments of interaction timelines (i.e. when object is not in contact). The predicted models match the CAD models in EPIC-HIT and showcase potential extension into CAD-free assumption.
在现实环境中进行相关研究仍面临诸多挑战。实现与CAD无关的物体重建并推广到未知物体是最终目标，但目前的方法无法为手-物体重建提供足够具有代表性的形状，而准确的物体顶点信息对于预测接触点而言至关重要。 此外，我们注意到近期发布的SAM-3D模型[^9]可用于获取候选的CAD模型，图13展示了相关示例。虽然该模型并未集成到我们提出的流程中，但这确实是解决已知CAD模型限制问题的一个可行方向。 最后，需要指出的是，我们对稳定抓取的定义是基于几何特征的。至于力闭合与物理稳定性方面的探索，则留待后续研究。