# VICON：基于视觉-惯性-接触信息的手-物体跟踪系统，用于操控数据集 Youbeen Jeon¹, Uiseong Shin¹, Hwanchul La¹, Jaeseong Kang¹, Hyelim Choi² 和 Yongseok Lee† 摘要—灵巧操控的学习得益于能够捕捉多样且自然的手-物体交互的人类演示数据集。尤其是接触点和作用力能为交互的位置与力度提供监督信息，而仅靠运动轨迹无法完全获取这类信息。然而，能够同时捕捉手部与物体运动、接触点和作用力的方法仍然十分有限。此外，手-物体交互产生的严重遮挡问题也给双手与物体的精准跟踪带来了挑战。为解决这些局限，我们提出了一种基于视觉-惯性-接触信息的手-物体跟踪（VICON）框架。即便在严重遮挡条件下，该框架也能全面捕捉操控过程中的手部与物体运动以及接触信息。首先，我们采用视觉-惯性手套[^1]和RGB-D相机来实现精准的手部跟踪，并对手套进行了重新设计以集成接触传感功能。具体而言，我们根据人类抓握频率将压阻式力传感器（FSR）安装在手套上，从而同步记录接触状态与校准后的法向力。其次，无需预先存在的CAD模型，我们就能利用RGB-D图像和单目视频重建的网格来估计物体姿态。我们提出了基于因子图的物体轨迹估计算法，该算法会融合物体姿态估计结果——这些结果会根据手-物体遮挡下的可见性、FSR测量值以及手部运动先验进行加权处理。在针对五种物体的40次动作捕捉实验中，VICON的帧丢失率仅为2.5%，而基线方法的帧丢失率则在50.9%到64.6%之间；在遮挡条件下，其中位误差分别为3.9毫米和3.0°。借助VICON，我们构建了一个包含同步手-物体运动、接触点和法向力的数据集，并将在公开发布涵盖10类物体的扩展数据集。 ## I. 引言灵巧操作是人形机器人在人类环境中执行任务时所必需的基本能力，日常任务要求手部动作协调且需与物体持续进行物理交互。学习这类复杂行为高度依赖于丰富的演示数据。然而，通过遥操作方式收集演示数据颇具挑战性；由于人类手部与机器人手部在运动学和工作空间上的差异，实时控制往往不够直观，这严重限制了数据采集效率并降低了动作质量。相比之下，直接采集人类演示数据能够规避这些难题，自然保留人类的灵巧性以及在不同物体和环境中完成任务时的多样性 [^2]，[^3]。不过，要充分发挥这一潜力，必须可靠地测量手与物体之间的交互情况。丰富的演示数据需要 ![Image](images/4c85ead9d1923ae53385eb5b6eef9ca0fa39b671137539b882fe37506d7da4a5.jpg)

Fig. 1. VICON records hand motion, object pose, contact points, and forces using a visual-inertial glove [^1] with integrated FSRs and a single RGB-D camera. The glove tracks the hand skeleton, and our offline refinement maintains robust and accurate object 6-DoF tracking even under severe occlusion. Inset: object-frame contact points, with arrows colored by calibrated normal force magnitude.

但仅有手-物体运动信息远远不够，因为成功的灵巧操控本质上取决于接触发生的位置以及所施加的力的大小。这类信息对于学习富含接触信息的操控策略而言尤为重要 [^4]以及新兴的具备力感知能力的视觉-语言-动作模型[^5]。因此演示数据应当捕捉手-物体运动之外的接触点和作用力。然而，许多现有数据集虽然提供了详细的手-物体几何结构与接触标注，却并未直接测量所施加的力为 [^6]、[^7]。尽管近期的触觉数据集以及传感系统能够提供更丰富的接触信息 [^8]– [^10]: , simultaneously capturing hand-object poses along with 但在紧凑型装置中，确定接触位置和受力情况依然颇具挑战性。尤其是要获取准确的基准数据往往需要使用多视角摄像系统，这就限制了数据采集只能在特定环境中进行。通常需要多视角摄像系统，从而将数据采集局限于特定环境中。采用紧凑型设备时，遮挡现象会给可靠的手部与物体跟踪带来另一大挑战。在严重遮挡的情况下，即便是最先进的基于视觉的姿态估计器也可能变得不可靠甚至完全失效。尽管现有研究试图缓解手部姿态估计中的遮挡问题 [^11] 以及手物跟踪中的遮挡问题 [^12] [^13] [^14]，但这些方法仍严重依赖视觉线索，而在严重或长时间的遮挡条件下，视觉线索的可靠性会大打折扣。近期的研究尝试将手部运动作为物体跟踪的额外约束 [^15]，但在缺乏视觉证据的情况下维持稳健的跟踪仍然颇具挑战性。可穿戴式手部跟踪技术能够直接捕捉手部运动学信息，从而在仅靠视觉的估计方法失效时提供可靠的运动估计。 --- 视觉-惯性骨骼跟踪（VIST）[^1] 结合了惯性测量数据与视觉标记观测结果，能够在严重遮挡条件下稳健地跟踪手部运动。由于操作过程中手部与物体的轨迹紧密关联，这种稳健的手部运动数据可作为先验信息，用于在视觉物体线索不可靠时引导物体姿态估计。不过，这种运动学约束仅在手部与物体直接接触时才成立。因此，接触感知就成了判断何时应应用手部运动先验的关键依据。为解决这一问题，我们将压阻式力传感器（FSR）直接集成到手套上，既能实现不受遮挡影响的接触检测，又能同时提供经过校准的正向力测量结果。基于上述组件，我们推出了VICON（见图1）——这是一个多模态跟踪框架，它以集成有八个FSR传感器的VIST手套 [^1] 为基础，再搭配一台RGB-D相机。离线因子图会将FoundationPose [^16] 输出的物体姿态估计结果（根据物体可见度加权）与受接触状态控制的手部运动先验相结合，从而在遮挡条件下优化物体轨迹。利用优化后的轨迹，可以确定物体表面的接触点，再将这些接触点与经过校准的FSR力值相匹配。我们的主要贡献如下： ## 1) 具备接触感知功能的视觉-惯性手部跟踪系统我们将八个FSR传感器集成到VIST手套 [^1] 中，其位置是根据人类抓握时的接触频率 [^17] 来确定的。配合一台RGB-D相机，VICON手套能够同步记录手部运动、接触状态以及经过校准的正向接触力数据。 2) 严重遮挡条件下的稳健手部-物体跟踪算法。我们将受接触状态控制的手部运动先验与基于可见度加权的物体姿态估计结果相融合，从而优化物体轨迹，即便在严重遮挡条件下也能保持稳健的跟踪效果。 ## 3) 针对定制物体的可扩展高接触丰富度数据集采集方案我们提出了一种流水线，仅利用VICON手套和单个RGB-D相机，就能从单目视频中重建物体几何形状，并捕捉同步的手部运动、物体姿态、物体表面接触点以及校准后的法向力。我们将公开发布一个涵盖10类物体的扩展数据集。 ### 二、相关工作 ### A. 基于视觉的手部和物体姿态估计基于视觉的方法已被广泛研究，用于从RGB或RGB-D观测数据中恢复操作过程中的手部和物体姿态。在物体姿态估计方面，MegaPose [^18] 利用渲染的CAD视图进行粗略姿态选择及迭代优化，从而估算新物体的6自由度姿态。FoundationPose [^16] 支持基于CAD模型或从参考RGB-D图像中学习得到的神经物体表征来进行姿态估计与跟踪，不过当发生遮挡时，

TABLE I

COMPARISON OF OUR DATASET WITH EXISTING INTERACTION DATASETS

Dataset	Hand pose	Object pose	Contact format	Force/ tactile	Setup
EgoDex [^2]	✓	-	-	-	Vision Pro
ContactPose [^6]	✓	✓	Object surface map	-	3 RGB-D, thermal, mocap
ARCTIC [^7]	✓	✓	Object surface map	-	8+1 RGB, mocap
OpenTouch [^9]	✓	-	Hand map	Pressure	Aria glasses, tracking and tactile gloves
TactiDex [^10]	✓	✓	Hand map	Pressure	Mocap, tracking and tactile gloves
ForceVLA-Data [^5]	-	-	-	TCP wrench (est.)	Robot arm, 2 RGB-D
VICON (ours)	✓	✓	Object-frame 3D points	Normal force (N)	1 RGB-D, 1 VICON-glove (8 FSRs)

✓：已提供；-：未提供。接触格式：接触的存储表示形式（ContactPose：静态抓取后的热印记；ARCTIC：由几何形状推导得出）。力/触觉：记录的信号类型。视觉线索会退化，无法用于可靠对齐。另一类研究通过基于邻近性的接触与遮挡约束，将手-物模型与RGB-D观测数据对齐，从而联合估计手部和物体姿态 [^12]。HOLD [^14] 无需物体模板，仅利用单目视频、神经隐式曲面及接触约束就能重建手部和物体姿态。最近，ComPose [^15] 从单目RGB视频中学习，对手部关节赋予权重，并结合手部与物体衍生的运动线索来实现物体跟踪。尽管有这些进展，但图像衍生的几何与运动一致性可能无法可靠区分近接触状态与遮挡表面的实际接触，且这些方法均无法直接测量接触力。为捕捉操作过程中的手部运动与触觉交互，人们开发了传感手套。VIST [^1] 将手套上安装的惯性测量单元与视觉标记融合，在手部运动学约束下，利用惯性传播与视觉校正来维持遮挡情况下的手部跟踪。一种无标记方法利用惯性姿态先验来推断图像关键点及其不确定性，并将学习到的关键点概率与惯性观测结果在因子图中结合 [^19]。FSGlove [^20] 使用安装在手套上的惯性测量单元，其校准基于参考姿态，并能利用预定义的手指接触约束来拟合个性化手部形状。不过，该系统还需额外的背部追踪器来恢复手部的全局姿态。在接触感知方面，STAG [^8] 利用分布在手部的548个压阻传感器记录法向力的空间分布模式，并从中学习识别物体及估算其重量。然而，仅靠运动学跟踪或触觉感知都不足以满足需求：运动学跟踪无法测量施加的力，而触觉感知则需要 --- 手-物运动学信息来确定物体表面的接触点。尽管两者具有明显的互补性，但以往的研究很少将这两种模态集成到单一可穿戴系统中。 ### C. 用于操作的手-物交互数据集表一从姿态标注、接触与力信号以及记录设置方面对现有数据集进行了比较。EgoDex [^2] 将大规模自我中心视频与手部姿态相匹配，但缺乏物体姿态、接触信息或力数据。ContactPose [^6] 把静态抓取后的热印记映射到物体网格上，同时提供手部与物体姿态信息。ARCTIC [^7] 则通过双手法操作关节物体时重建的手-物几何关系来推导接触信息，不过这需要昂贵的多摄像头动作捕捉工作室。触觉数据集会将测量得到的压力数据与手部运动相匹配。OpenTouch [^9] 结合了全手压力数据、手部追踪以及自我中心视频，但不提供物体姿态信息。更近期推出的TactiDex [^10] 则将高密度触觉手套与手-物运动捕捉技术相结合，采用压力触发的邻近检测与触觉约束优化方法，不过它同样需要动作捕捉工作空间。具备力感知功能的机器人数据集会记录外部载荷，用于接触丰富的策略学习。ForceVLA [^5] 在ForceVLA-Data中同步了图像、本体感知数据以及估计的六轴工具中心点（TCP）力矩信息，涵盖五项接触丰富的任务，并将其融合到视觉-语言-动作策略中。不过，这些力矩描述的是末端执行器所受的总载荷，无法区分具体的人手与物体的接触情况。与这些系统不同，VICON能够高效收集接触丰富的演示数据。具体而言，它成本低且可穿戴：VICON手套基于VIST手套打造，后者的材料成本约为100美元，重量仅为52–55克 [^1]，仅需额外添加八个压阻式力传感器即可。此外，它仅需一台RGB-D相机，无需动作捕捉工作室，因此记录过程不受特定捕捉空间的限制。即便在严重遮挡的情况下，它也能提供精确的数据，因为该手套能稳定追踪手部运动，且压阻式力传感器可直接测量接触情况（见第V-C节）。最后，它能将物体坐标系下的接触点与校准后的法向力相匹配，这一特性是表一中以往数据集所不具备的。随着演示数据量对于操控学习的重要性日益凸显，这种低获取成本与高精度相结合的优势，使其相较于ARCTIC [^7]等昂贵的基于工作室的系统更具竞争力。 ### 三、硬件系统该硬件系统由VICON手套（图2）和一台Intel RealSense D435i相机组成。这款手套基于VIST [^1]开发，内置惯性测量单元与视觉标记点，并增加了八个压阻式力传感器。相机被放置在受试者身旁、大致与眼睛同高的位置，可提供工作区的侧视图；深度数据则由红外对摄像头通过Fast-FoundationStereo [^21]算法计算生成，帧率约为30 Hz。 ### A. 手部追踪手套该手套分为两层：内层手套用于安装惯性测量单元，外层手套用于固定标记点。共有十四个 ![Image](images/097b650d942febb5f2dc1e69a176b6051c776089599ac643d177b53b3e50b8ad.jpg) ![Image](images/623dfb7d78bb4e8e7df48d78f8a6f77f1f8e11be2cbec01524d5037a4be10b28.jpg)

(a)

![Image](images/d369b4fd89827fb25e9f8e772ca92edaf049001c0e867b43d50944d65bf31e2c.jpg)

(b)

![Image](images/fd1b0e66e14f6995bd36e83c8b530221dd5fa55e7b2b09c81d2f059257602f92.jpg)

(c)

![Image](images/6da08fd7fe3f9b2f162876a46c1456372918bb7b877777e8b987c8a24ad3ab38.jpg)

(d)

Fig. 2. Multi-layer VICON-glove. (a) Placement of the 14 IMUs in the inner glove. (b) Outer glove with the visual markers. (c) Hand contact-frequency map [^17], averaged over the mechanic and housemaid tasks (values in %), used to choose the FSR sites. (d) Palmar view of the eight FSRs.

惯性测量单元安装在内层手套上：一个位于手背，十三个沿手指分布，但无名指和小指的远端指骨上未安装惯性测量单元（见图2(a)）。外层手套上共有80个标记点，分为四种颜色（见图2(b)），通过对这些标记点的视觉观测来修正惯性估算中的漂移现象。 ### B. 压阻式力传感器的布置我们根据对人类抓握的接触频率分析来确定FSR的放置位置（图2(c)）[^17]。他们的研究将抓握分为力量型、精细型和中间型，并分析了机械任务与家务任务中的接触频率。结果显示，指尖的接触频率最高，而大鱼际和手掌远端也观察到频繁接触。基于这些观察结果，我们在五个指尖各放置一个传感器，在大鱼际处放置一个，在手掌远端的第二和第三掌骨区域放置两个（图2(d)）。对于尺侧手掌远端传感器，分析将其接触频率归为覆盖第三至第五掌骨的单一区域，并未区分无名指和小指下方的区域[^17]。因此，我们将FSR放置在小指掌指关节的掌侧，以在该区域内提供更广的空间覆盖。 ### IV. 基于可见性与接触信息的物体姿态优化 ### A. 符号说明与概述文中$\mathbf{T}_{AB} \in SE(3)$表示在坐标系A中表达的坐标系B的姿态。我们使用固定的摄像头坐标系C、手部坐标系H（手掌坐标系）以及附着在网格上的物体坐标系O。我们估计会话中各帧k对应的物体姿态$\mathbf{X}_k = \mathbf{T}_{CO,k} = (\mathbf{R}_k, \mathbf{p}_k)$，同时获取手部姿态$\mathbf{H}_k = \mathbf{T}_{CH,k}$以及八个FSR的中心位置$\mathbf{s}_{i,k}^C$。 --- ![Image](images/d42500925ffc72419c8d2386aa049616300332d51d12efc373162b46ddcdce34.jpg)

Fig. 3. VICON on a recorded session. The VICON-glove provides hand tracking (poses $\mathbf{H}_1-\mathbf{H}_5$, increments $\Delta H$) and contact (FSR); the RGB-D camera feeds FoundationPose, whose candidates enter as $f_{\text{vis}}$ (filled: accepted; hollow: rejected under occlusion). Between object poses $X_k$, contact selects $f_{\text{stat}}$ (visible, after release; red crosses: rejected hand increments), $f_{\text{pivot}}$ (2-point grasp), or $f_{\text{hand}}$ (3-point grasp). Re-measurement feeds the refined poses back to FoundationPose.

$(i=1,\ldots,8)$由手套提供，被视为优化过程中的固定输入，其中上标表示该点所表达的坐标系。离线优化以初始的FoundationPose轨迹$\{\widetilde{\mathbf{X}}_k\}$、记录的RGB-D帧、手部轨迹以及FSR数据流为输入（图3）。FoundationPose首先基于种子姿态$(\widetilde{\mathbf{X}}_k$初始化，随后生成候选姿态$\mathbf{Z}_k$。这些候选姿态会通过可见性评估（第IV-B节）进行筛选。接着，接触点提取与姿态优化交替进行（第IV-C节）：每一轮操作都从重新测量开始，即沿双向从种子姿态重新运行FoundationPose（仅使用姿态优化网络），最终通过因子图将经过可见性加权的候选姿态与$f_{\text{hand}}$、$f_{\text{pivot}}$及$f_{\text{stat}}$融合（第IV-D节）。根据优化后的姿态可确定接触点与作用力（第IV-E节）。由于即使物体可见部分很少时，FoundationPose仍会输出被遮挡状态下的姿态，因此我们通过比较渲染出的网格深度$\mathbf{Z}_k$与观测到的深度D来对每个候选姿态$D_O$打分。设$\Omega$为满足$D_O(u), D(u) > 0.001$条件的像素集合，且这些像素的深度以米为单位表示为$\delta(u) = D(u) - D_O(u)$。我们定义： ### B. 视觉证据与可见性加权 $$ {v}_{d}(\mathbf{Z}_{k})=\frac{1}{|\Omega|}\sum_{u\in\Omega}\mathbf{1}[|\delta(u)|<0.010], $$ $$ \begin{array}{r}{\nu_{\mathrm{f a r}}(\mathbf{Z}_{k})=\frac{1}{|\Omega|}\displaystyle\sum_{u\in\Omega}\mathbf{1}[\delta(u)>0.020],}\end{array} $$ 其中$1[\cdot]$为指示函数。可见性$v_{d}$会因遮挡或姿态误差而降低测量权重，而$v_{far}$则用于标记那些悬浮在测量表面前方的候选姿态。在重新测量之前，会将追踪到的手部骨骼与前臂投影为胶囊状以形成手部掩膜；其中深度超过种子姿态渲染结果前方20毫米的部分会被从传入FoundationPose的深度图像中移除，且会保留一定的膨胀边缘；随后将得到的候选姿态与原始深度数据进行对比打分。

TABLE II NOMINAL VISUAL-MEASUREMENT UNCERTAINTY AS A FUNCTION OF VISIBILITY

$v_{d}$	0.10	0.15	0.30	0.50	0.70	0.90	1.0
$\sigma_{p}$ (mm)	6	5	3	3	2	1.2	0.8
$\sigma_{r}$ (deg)	180	180	8	3	2	1	0.8

Nominal standard deviations of the visual measurements before the per-candidate adjustments of Sec. IV-B; $180^{\circ}$ denotes a weak but finite rotational weight.

只有当候选物体满足以下条件时才会被接受：$|\Omega| \geq 200$、$\nu_d \geq 0.10$，其穿透桌面的深度不超过25毫米，且$\nu_{\text{far}}$低于预设为0.15的阈值；该阈值会根据每轮会话中高可见度候选物体的情况进行调整。随后，该候选物体必须在连续帧中保持稳定，不能偏离之前被接受的姿态，还要与其无接触区间的锚点保持一致；在抓取过程中，它需始终位于推算出的姿态$\mathbf{B}_k$附近。对于被接受的测量数据，偏差$\sigma_{p}$和$\sigma_{r}$（见表II）会通过三次平滑函数，在可见性节点之间进行插值，并针对每个候选物体单独调整：$\sigma_{p}$会随着与初始姿态的位移、对桌面的穿透程度以及抓取过程中手部在追踪器100毫秒延迟内的移动距离而增大；而手部覆盖面积较大时，这两个偏差的下限也会随之升高。当可见性阈值低于设定值（默认0.50，对于时间上稳定的候选物体阈值更低）时，仅保留受深度支持的倾斜度及其对应的偏差，而绕该轴的扭转则保留较弱但有限的影响力。这些门限、掩码和协方差共同决定了$f_{vis}$中的可见性权重。 ### C. 触觉接触时序与手部运动先验每一帧是否应用手部运动先验，由FSR激活状态和FSR与物体的接近程度决定。每个FSR信号以200 Hz的频率采样，经20 Hz的低通滤波后，通过具有短保持时间的施密特触发器转换为每帧的二进制激活信号$a_{i,k} \in \{0,1\}$。设$d_{i,k}$为FSR i的中心到参考姿态下网格面的无符号距离，提取接触状态时该参考姿态保持不变。当满足以下条件时，即认为在第k帧识别出FSR i： --- $a_{i,k} = 1$且$d_{i,k} \leq 0.030$；记$\rho_{i,k} = a_{i,k} \mathbf{1}[d_{i,k} \leq 0.030]$，当至少有三个FSR被识别时，即判定为发生抓取， $$ c_{k}=\mathbf{1}\left[\sum_{i=1}^{8}\rho_{i,k}\geq3\right]. $$ 由于参考姿态本身存在误差，因此需两次提取接触状态。第一次提取时，若FSR在距初始姿态100毫米范围内激活，则记录为接触状态并一直保留至其失活，这样即使初始姿态不精确，接触区间仍能得以保留；经过首次优化后，得到的轨迹足以作为后续参考。第二次提取时，利用公式(3)从该轨迹中重新确定接触状态，再次优化后即可得到下文的所有结果。我们将公式(3)称为触觉接触时序（简称接触时序）；它仅用于判断何时应用先验，并不涉及力的大小或力闭合的建模。满足$c_k = 1$条件的帧构成了抓取区间，在此区间内物体会与手部一起做刚性运动（$f_{hand}$）。此外，若连续至少五帧出现恰好两个指尖接触的情况（即两点式抓取），且该现象发生在抓取形成、释放或接触变弱阶段，这类情况也会随手部一同被记录，此时先验会围绕穿过这两个接触点的直线放宽限制（$f_{pivot}$）。除了这个接触门之外，我们还维护一个传播的位姿 $\mathbf{B}_k$。我们将带有 $v_d \geq 0.7$ 锚点的测量值称为有效测量值；$\mathbf{B}_k$ 从第一个锚点初始化，且在物体未被抓取时，会在每个锚点处更新。当发生抓取且有有效的手部追踪数据（即可用的手部增量）时，该位姿会随手部一起传播，即 $\mathbf{B}_k = \mathbf{H}_k \mathbf{H}_{k-1}^{-1} \mathbf{B}_{k-1}$；一旦既没有视觉更新也没有可用的手部增量，该位姿就会保持固定。在视觉间隙期间，也就是没有有效测量值的帧序列中，传播的位姿会与两侧的锚点进行校准：一致的锚点表明物体是静止的，而不一致的情况则会被分配到手部传播的帧中。在没有锚点的抓取区间内，会根据传播轨迹生成合成位姿 $\mathbf{\tilde{Z}}_k$，其名义偏差较大，达到 80 毫米以及 $45^\circ$。 ### D. 物体位姿因子图这些组件被整合到基于 $\{\mathbf{X}_k\}$ 的单一因子图中，而手部位姿、接触状态和物体几何形状则保持不变。设 $\mathbf{M}_k = \mathbf{B}_{k-1}^{-1} \mathbf{B}_k$ 表示从帧 $k-1$ 到 k 的传播位姿增量，该增量以物体坐标系表示。它等于手部运动加上跨越视觉间隙时的锚点校正量。视觉因子、合成因子、手部运动因子、静止因子以及抓取链接因子的残差定义如下： $$ \begin{array}{r l}{r_{k}^{\mathrm{v i s}}}&{=\mathrm{L o g}(\mathbf{Z}_{k}^{-1}\mathbf{X}_{k}),}\end{array} $$ $$ \begin{array}{r l}{r_{k}^{\mathrm{s y n}}}&{=\mathrm{L o g}(\mathbf{\bar{Z}}_{k}^{-1}\mathbf{X}_{k}),}\end{array} $$ $$\begin{array}{r}{\boldsymbol{r}_{k}^{\mathrm{h a n d}}=\operatorname{L o g}(\mathbf{M}_{k}^{-1}\mathbf{X}_{k-1}^{-1}\mathbf{X}_{k}),}\end{array}$$ $$ \begin{array}{r l}{r_{k}^{\mathrm{s t a t}}}&{=\mathrm{L o g}(\mathbf{X}_{k-1}^{-1}\mathbf{X}_{k}),}\end{array} $$ $$ \begin{array}{r}{r_{k l}^{\mathrm{g r a s p}}=\mathrm{L o g}(\mathbf{X}_{k}^{-1}\mathbf{H}_{k}\mathbf{H}_{l}^{-1}\mathbf{X}_{l}),}\end{array} $$ 其中 $\mathrm{Log} : SE(3) \to \mathbb{R}^6$ 采用先旋转的后切坐标，抓取链接残差用于强制在关联帧间保持恒定的手-物变换 $\mathbf{H}_k^{-1} \mathbf{X}_k$。利用 $\|r\|_{A} = (r^T Ar)^{1/2}$ 和 Huber 损失函数 $\phi$（阈值为 1.345），我们对以下表达式求最小值： $$ \begin{aligned}&\sum_{k\in\mathcal{V}}\phi\left(\|r_{k}^{\mathrm{vis}}\|_{\Sigma_{k}^{-1}}\right)+\sum_{k\in\mathcal{V}}\phi\left(\|r_{k}^{\mathrm{syn}}\|_{\Lambda_{k}^{-1}}\right)\\&+\frac{1}{2}\sum_{k\in\mathcal{H}}\|r_{k}^{\mathrm{hand}}\|_{Q_{k}^{-1}}^{2}+\frac{1}{2}\sum_{k\in\mathcal{W}}\|r_{k}^{\mathrm{stat}}\|_{W_{k}^{-1}}^{2}\\&+\frac{1}{2}\sum_{(k,l)\in\mathcal{A}}\|r_{kl}^{\mathrm{grasp}}\|_{P_{kl}^{-1}}^{2}\\&+\sum_{(k,l)\in\mathcal{G}}\phi\left(\|r_{kl}^{\mathrm{grasp}}\|_{U_{kl}^{-1}}\right)\end{aligned} $$ 集合 $\mathcal{V}, \bar{\mathcal{V}}, \mathcal{H}, \mathcal{W}, \mathcal{A}$ 和 $\mathcal{G}$ 分别索引有效测量值、合成位姿、可用的手部增量、静止对（$k-1, k$）、没有可用手部增量的相邻抓取对，以及下文描述的长距离抓取链接。除了下述的枢轴松弛处理外，所有 $6 \times 6$ 协方差矩阵在旋转和平移维度上均为块对角矩阵。视觉协方差 $\Sigma_k$ 采用第 IV-B 节中调整后的各候选偏差值，合成位姿协方差 $\Lambda_k$ 在每个块内呈各向同性。基础手部运动协方差 $Q_k^0$、静止协方差 $W_k$ 以及相邻抓取链接协方差 $P_{kl}$ 均为对角矩阵，其平移/旋转偏差分别为 $0.55 \, mm/0.2^\circ$、$0.01 \, mm/0.03^\circ$ 和 $1.5 \, mm/1.5^\circ$，这些数值对应每个名义帧间隔 $\Delta t_{nom}$，并会根据 $\Delta t_k / \Delta t_{nom}$、视觉不一致程度、遮挡情况以及手部追踪质量进行缩放。对于时长至少十帧的抓取操作，长距离链接会将每个抓取帧与两侧的锚点帧相连，其旋转偏差为 $8^\circ$，位于 $U_{kl}$ 范围内，而平移方向则基本不受约束。对于两点抓取中的每一对触点，设 $\mathbf{s}_{i,k-1}^O = \mathbf{B}_{k-1}^{-1} \mathbf{s}_{j,k-1}^C$、$j \in \{a, b\}$ 表示物体坐标系中识别出的两个 FSR 中心点，$\mathbf{n}_{k-1}$ 为连接两点的直线的单位向量，$\mu_{k-1}$ 则为该直线的中点。围绕这条直线，刚性手部运动先验会通过一阶协方差更新来放松约束， $$ Q_{k}^{\mathrm{p i v}}=Q_{k}^{0}+(\sigma_{\mathrm{f r e e}}\alpha_{k})^{2}\mathbf{u}_{k}\mathbf{u}_{k}^{T}, $$ 其中 $\mathbf{u}_k = [\mathbf{n}_{k-1}; \boldsymbol{\mu}_{k-1} \times \mathbf{n}_{k-1}]$ 为绕接触线的旋转轴，如式 (6) 所示，该轴以物体坐标系表示；$\alpha_k = \max(\Delta t_k / \Delta t_{\text{nom}}, 0.2)$ 和 $\sigma_{\text{free}} = 15^\circ$ 分别对应每个名义帧间隔的参数。此规则仅适用于具有有效轴线且满足 $\Delta t_k \leq 0.25$ s 条件的触点对，其目的是降低绕接触线旋转及其耦合平移所带来的惩罚。在式 (9) 中，对于这类触点对($Q_k = Q_k^{\text{piv}}$)有 $f_{\text{pivot}}$，其他情况则取 $Q_k = Q_k^0$（$f_{\text{hand}}$）。该图以传播后的位姿初始化，并在GTSAM中通过Levenberg–Marquardt算法分两个阶段求解。第一阶段采用$5^{\circ}$的合成位姿旋转偏差，第二阶段则使用$45^{\circ}$的标称值。 ### E. 接触与力标注来自FSR的12位ADC读数首先被转换为无量纲响应值，随后通过每个FSR的校准参数映射为法向力。 $$ x=\frac{\mathrm{A D C}}{\max(4095-\mathrm{A D C},1)},\qquad F_{i}=f_{i}(x). $$ 由于数据手册中规定了$\pm6\%$的器件间重复性为[^22]，因此每个FSR都需针对数字秤单独校准，校准过程包括在缓慢按压-释放循环中测试至61N。每个 --- ![Image](images/285d8eda7758595e5e0cb1aed58fe7cf6266690b4d93ac1555b965bb85ab18a2.jpg) ![Image](images/f2b09c2f48da7973f958599385357c1d09dea525c5e1b69c90a28ebd27ac98c6.jpg)

(a)

(b)

Fig. 4. Experimental setup. (a) Motion-capture room; the inset shows one of the motion-capture cameras. (b) The five objects: block, mouse, mug, mustard bottle, and phone.

$f_i$采用仿射拟合$a_i x + b_i$或幂律拟合$a_i x^{n_i}$，选取其中$R^2$较大的一种，并在最低校准点以下将其线性连接至原点。这些拟合结果得出的$R^2 = 0.83-0.99$以及平均绝对误差在整体范围内为0.74–2.87N，在20N以下则为0.68–2.50N，而大多数记录的力值都位于这一区间（见第V-E节）。在校准范围内没有FSR出现饱和现象。对于接触标注，每个识别出的FSR都会与细化后的位姿下物体网格上最近的点$\mathcal{M}_O$相关联： $$ \mathbf{q}_{i,k}^{O}\in\operatorname{a r g}\operatorname*{m i n}_{\mathbf{q}\in\mathcal{M}_{O}}\left\|\mathbf{X}_{k}\mathbf{q}-\mathbf{s}_{i,k}^{C}\right\|_{2},\qquad\mathbf{q}_{i,k}^{C}=\mathbf{X}_{k}\mathbf{q}_{i,k}^{O}. $$ 每条记录会存储$\mathbf{q}_{i,k}^{O}$和$\mathbf{q}_{i,k}^{C}$——即FSR到表面的距离，在网格内部时该值为负，同时还会记录同步采集的力值$F_{i,k} = f_{i}(x_{i,k})$。 ### V. 实验与结果 ### A. 录制设置与物体模型四名受试者各佩戴一只手套，使用五种刚性物体记录了 71 次会话：方块、鼠标、马克杯、芥末瓶和手机（Fig. 4(b)）；每次会话均包括接近、抓握、缓慢搬运和放置。其中 40 次会话（i.e. 每个物体 8 次）在动作捕捉室内采集以获得真值（Fig. 4(a)）；其余 31 次在未使用动作捕捉的情况下记录。物体网格通过 COLMAP [^23]、3DGS [^24] 和 SuGaR [^25] 从单目视频获得，并使用 ChArUco 标定板设定度量尺度，同时清除未观测到的表面；所有参与评估的物体位姿跟踪器均使用相同网格。在 YCB 物体 [^26] 上验证时，重建结果与扫描结果平均仅偏差约 1 mm，并产生高度吻合的 FoundationPose 轨迹，因此我们在全部工作中均采用重建结果。 ### B. 基准数据与评价指标为了验证我们框架的准确性，我们评估了物体位姿的准确性，并以动作捕捉结果作为基准（GT）。动作捕捉坐标系与相机坐标系已对齐，且通过静态场景校准了动作捕捉标记相对于网格的偏移量。所有追踪器均在同样的47,222帧图像上生成预测结果，这些图像中至少有四个动作捕捉标记可见，且拟合残差在2毫米以内。为了按遮挡情况对它们进行分类，我们基于真实姿态进行评估：使用完整的三维模型和未 masked 的深度数据，并将结果记为$\nu_d^{GT}$：当某一帧出现遮挡时…… ![Image](images/ace7ffcb883ada315b33d14ff71c9d06ab95916d10c4679352b5f1687a2dbc58.jpg)

Fig. 5. Object-pose errors over the 40 motion-capture sessions (top: translation; bottom: symmetry-aware rotation). (a) Median error of each tracker binned by the visibility $\nu_d^{GT}$; shading marks the occluded range. (b) PCF on the 24,285 occluded frames as a function of the error threshold; dotted lines mark the 20 mm and $15^\circ$ thresholds used for $S_{T20}$ and $S_{R15}$, and the numbers give the AUC. Medians are used in (a) because diverging baseline errors would dominate a mean.

当满足$\nu_{d}^{GT} < 0.55$条件时即为遮挡帧，否则为可见帧。这一阈值是根据每次会话中首次出现的FoundationPose失败情况设定的。该阈值仅用于分类评估，不会影响VICON追踪或优化过程。最终，共有24,285帧属于遮挡帧，22,937帧为可见帧。准确性通过平移误差$e_{T,k} = 10^3\|\mathbf{p}_k - \mathbf{p}_k^*\|_2$（毫米）以及相对于GT位姿的对称感知旋转误差$(\mathbf{R}_k^*, \mathbf{p}_k^*)$来衡量。 $$ e_{R,k}=\frac{180}{\pi}\operatorname*{m i n}_{\mathbf{S}\in\mathcal{S}_{O}}\operatorname{c o s}^{-1}\frac{\operatorname{t r}[(\mathbf{R}_{k}^{*}\mathbf{S})^{T}\mathbf{R}_{k}]-1}{2}, $$ 其中 $\cos^{-1}$ 的自变量被截断到 $[-1,1]$，而 $S_O$ 包含使物体网格保持不变的旋转：方块为绕网格 z 轴按 $90^\circ$ 步进，手机（排除翻转）为 $180^\circ$，其余物体仅为 $\{I\}$。我们报告正确跟踪帧的百分比 $\mathrm{PCF}_m(\tau;\mathcal{K})$，i.e. $\mathcal{K}$ 中在 $e_{m,k} \leq \tau$ 下满足 $m \in \{T,R\}$ 的帧所占比例（in %），并将 $S_{T20} = \mathrm{PCF}_T(20\,\mathrm{mm})$ 和 $S_{R15} = \mathrm{PCF}_R(15^\circ)$ 简写。当 $e_{T,k} > 20\,\mathrm{mm}$ 或 $e_{R,k} > 15^\circ$ 时，该帧计为失败，因为即使位置正确，错误的朝向也会破坏接触几何；这些容差是相互对应的，因为在这些物体上，$15^\circ$ 的旋转会使表面点移动约 20 mm。失败帧率在所有 47,222 帧上统计，Fig. 5(b) 还报告了 PCF 曲线直至 $\tau_{\max} = 60\,\mathrm{mm}$ 或 $90^\circ$ 的归一化曲线下面积。 ### C. 与基线跟踪器的比较我们的基线方法包括依次在RGB-D数据上运行的FoundationPose [^16] 和MegaPose [^18]，以及在YCB-Video配置下使用区域、深度和ORB模态的ICG+ [^28]。它们都使用了相同的RGB-D帧和网格数据，初始姿态均来自通过文本提示生成的SAM 3掩码所确定的首个FoundationPose姿态 [^29]，随后在无需外部姿态反馈或基于真实姿态重置的情况下，对全部40个会话进行跟踪。 --- ![Image](images/86f0e1b9ef837a836965fdc55c61a74d2d66081361b5e177522e68de20c29ef3.jpg)

Fig. 6. Qualitative results with increasing hand occlusion from top to bottom. Columns: object, 3DGS mesh, and the input image overlaid with the ground-truth pose (green) and the pose of FoundationPose, ICG+, and VICON. Last column: rotated view of the tracked hand, visualized as a MANO [^27] mesh, and the VICON object pose with the contact points and force arrows of the recognized FSRs, colored by the calibrated normal force.

TABLE III

COMPARISON WITH BASELINE TRACKERS

Method	Failed frames (%)	Success rate				Median error
		Visible		Occluded		Visible		Occluded
		$S_{{T20}}$ (%)	$S_{{R15}}$ (%)	$S_{{T20}}$ (%)	$S_{{R15}}$ (%)	T (mm)	R (deg)	T (mm)	R (deg)
FoundationPose	50.9	63.6	62.5	48.8	39.6	4.0	2.7	21.8	33.9
MegaPose	62.6	79.3	64.5	26.2	15.3	4.4	5.9	45.7	82.9
ICG+	64.6	52.3	57.9	25.6	27.3	6.9	9.5	61.1	34.3
VICON (ours)	2.5	100.0	99.6	97.1	98.4	0.9	1.7	3.9	3.0

失败帧：在全部47,222帧中，误差达到 $T > 20$ 毫米或 $R > 15^\circ$ （见第V-B节）。可见/遮挡情况：根据每个会话中首次出现FoundationPose失败时所设定的阈值，确定为 $\nu_d^{\mathrm{GT}} \geq 0.55 / < 0.55$（见第V-B节）。$S_{T20}/S_{R15}$：PCF值（见第V-B节）为 $20\mathrm{mm}/15^\circ$。R：考虑对称性的旋转误差（13）。加粗字体表示该列中的最佳结果。这些基线方法均未获得FSR或手套测量数据，表III对比了所提出的VICON方法与各基线方法。 VICON将失败帧率降低至2.5%，而基线方法的失败帧率则在50.9%到64.6%之间（见表III）；其遮挡情况下的中位误差分别为3.9毫米和3.0°（见图5）。FoundationPose在38.8%的可见帧上会跟踪失败；除两帧外，其余帧均在遮挡失败后无法恢复，因此一旦物体重新可见，误差仍会持续存在。顺序跟踪仅基于前一帧的结果进行优化，不会将估计值与观测值重新比对，而VICON则会降低质量较差的姿态的权重，借助手部运动先验将物体携带穿过抓取区间——

TABLE IV

COMPONENT ABLATIONS

Variant	Failed frames (%)	Success rate				Median error
		Visible		Occluded		Visible		Occluded
		$S_{{T20}}$ (%)	$S_{{R15}}$ (%)	$S_{{T20}}$ (%)	$S_{{R15}}$ (%)	T (mm)	R (deg)	T (mm)	R (deg)
w/o vis. weighting	28.9	93.7	84.8	74.1	63.3	3.0	1.9	5.9	6.3
w/o hand motion	18.1	99.9	97.5	73.7	78.4	1.0	1.8	5.2	5.2
w/o contact timing	23.9	99.7	92.9	85.4	65.8	1.4	1.9	7.6	9.4
VICON (full)	2.5	100.0	99.6	97.1	98.4	0.9	1.7	3.9	3.0

每一行都会从最终优化中移除一个组件，同时保持第IV-C节中定义的接触状态不变。各列含义与表III一致。加粗字体表示该列中的最佳结果。随后从该处重新测量。在40个会话中，有36个会话里VICON的遮挡情况下中位平移误差最小，其中23个会话中完全没有出现失败情况，各物体的遮挡情况下中位误差范围在2.3到5.1毫米之间。图6展示了手部遮挡程度逐渐增加时的跟踪结果与接触标注情况：当手部遮住物体时，FoundationPose和ICG+的结果会与真实姿态偏离，而VICON则能保持接近真实姿态。 ### D. 组件消融实验表IV在相同帧上对第二次（最终）优化过程进行了消融实验，其中手部姿态和第IV-C节定义的接触状态保持不变，因此各变体仅在优化方式上存在差异—— --- 即各变体分别移除一个组件，保留另外两个组件来利用视觉与接触证据。可见性权重。接受门限、手部掩码以及异常值检测被移除，观测偏差被修正为它们的 $v_d = 0.5$ 值，因此不可靠的FoundationPose候选结果会以该固定权重进入计算图。手部运动先验。我们禁用手部运动初始化、传播机制、接触门控先验、抓取链接（$\mathcal{A}, \mathcal{G}$）以及合成姿态生成功能，使得被遮挡帧只能依赖本身质量已受损的视觉证据。被遮挡帧的中位数包含了静止时段，因此无法单独体现出传输过程中的贡献。触觉接触时序。接触门控功能被禁用，因此手部运动先验会应用于每一个可用的手部增量，包括手部未接触物体时的区间。移除任何组件都会使失败帧率从2.5%升至18.1%–28.9%。针对会话内被遮挡帧的中位平移误差进行的配对比较显示，完整的VICON模型性能优于每种简化版本（共40个会话；采用双侧符号检验，经Holm校正后p < 0.0005）。 ### E. 数据集与接触力标注当前数据集包含全部71个会话（其中40个为动作捕捉会话）：共计81,307帧RGB-D图像、网格模型、手部骨骼轨迹和精修后的物体轨迹，以及第IV-E节所述的接触记录。校准后的法向力的中位数为10.9牛顿，第90百分位数为27.0牛顿；其中83%的力值介于0到20牛顿之间，该范围的校准误差已在第IV-E节中说明。 ### VI. 结论我们提出了VICON，这是一种基于视觉、惯性及接触的双手-物体跟踪框架，能够应对遮挡情况，并支持可扩展的接触丰富型演示数据收集。借助单个RGB-D摄像头和VICON手套，我们的系统可同步捕捉双手-物体的运动、接触点及接触力信息。此外，我们的离线精修算法即便在严重遮挡情况下也能恢复出可靠的物体轨迹，其原理是通过可见性对视觉估计结果加权，且仅在检测到接触时才允许应用手部运动约束。使用我们的框架后，失败帧率从50.9%（FoundationPose）降至2.5%。当前数据集涵盖了单手操作五种刚性物体的序列。未来的工作将增加受试者数量、物体类别以及更快的运动模式，同时放宽固定抓取先验的限制以支持完整的手中操控操作，并会在策略学习中评估这些同步的运动与触觉记录。 ## 参考文献 [^1]: Y. Lee, W. Do, H. Yoon, J. Heo, W. Lee, and D. Lee, “Visual-inertial hand motion tracking with robustness against occlusion, interference, and contact,” Sci. Robot., vol. 6, no. 58, p. eabe1315, 2021. [^2]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang, “EgoDex: Learning dexterous manipulation from large-scale egocentric video,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2026. [^3]: T. Tao, M. K. Srirama, J. J. Liu, K. Shaw, and D. Pathak, “DexWild: Dexterous human interactions for in-the-wild robot policies,” in Proc. Robot.: Sci. Syst. (RSS), 2025. [^4]: C. Chen, Z. Yu, H. Choi, M. Cutkosky, and J. Bohg, “DexForce: Extracting force-informed actions from kinesthetic demonstrations for dexterous manipulation,” IEEE Robot. Autom. Lett., vol. 10, no. 6, pp. 6416–6423, 2025. [^5]: J. Yu et al., “ForceVLA: Enhancing VLA models with a force-aware MoE for contact-rich manipulation,” in Adv. Neural Inf. Process. Syst. (NeurIPS), vol. 38, 2025, pp. 103 609–103 639. [^6]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays, "ContactPose: A dataset of grasps with object contact and hand pose," in Proc. Eur. Conf. Comput. Vis. (ECCV), 2020, pp. 361–378. [^7]: Z. Fan et al., "ARCTIC: A dataset for dexterous bimanual hand-object manipulation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2023, pp. 12943–12954. [^8]: S. Sundaram, P. Kellnhofer, Y. Li, J.-Y. Zhu, A. Torralba, and W. Matusik, “Learning the signatures of the human grasp using a scalable tactile glove,” Nature, vol. 569, no. 7758, pp. 698–702, 2019. [^9]: Y. R. Song et al., “OpenTouch: Bringing full-hand touch to real-world interaction,” arXiv preprint arXiv:2512.16842, 2025. [^10]: S. Ni et al., “TactiDex: A real-world tactile-guided benchmark for human-like dexterous manipulation,” arXiv preprint arXiv:2607.09190, 2026. [^11]: J. Park, Y. Oh, G. Moon, H. Choi, and K. M. Lee, “HandOccNet: Occlusion-robust 3D hand mesh estimation network,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2022, pp. 1486–1495. [^12]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt, "Real-time joint tracking of a hand manipulating an object from RGB-D input," in Proc. Eur. Conf. Comput. Vis. (ECCV), 2016, pp. 294–310. [^13]: H. Qi, C. Zhao, M. Salzmann, and A. Mathis, “HOISDF: Constraining 3D hand-object pose estimation with global signed distance fields,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2024, pp. 10392–10402. [^14]: Z. Fan et al., “HOLD: Category-agnostic 3D reconstruction of interacting hands and objects from video,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2024, pp. 494–504. [^15]: J. Shin et al., “ComPose: When to trust hands for object pose tracking,” arXiv preprint arXiv:2605.23523, 2026. [^16]: B. Wen, W. Yang, J. Kautz, and S. Birchfield, “FoundationPose: Unified 6D pose estimation and tracking of novel objects,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2024, pp. 17868–17879. [^17]: F. Gonzalez, F. Gosselin, and W. Bachta, “Analysis of hand contact areas and interaction capabilities during manipulation and exploration,” IEEE Trans. Haptics, vol. 7, no. 4, pp. 415–429, 2014. [^18]: Y. Labbé et al., “MegaPose: 6D pose estimation of novel objects via render & compare,” in Proc. Conf. Robot Learn. (CoRL), ser. Proc. Mach. Learn. Res., vol. 205, 2023, pp. 715–725. [^19]: H. Choi et al., “Robust hand tracking from visual-inertial fusion,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), 2026. [^20]: Y. Li, J. Zhang, W. Xu, T. Tang, and C. Lu, "FSGlove: An inertial-based hand tracking system with shape-aware calibration," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2025, pp. 18304–18311. [^21]: B. Wen, S. Dewan, and S. Birchfield, "Fast-FoundationStereo: Real-time zero-shot stereo matching," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2026, pp. 7513–7524. [^22]: Interlink Electronics, “FSR 400 series data sheet,” , P/N PDS-10004-C, accessed Sep. 12, 2026. [^23]: J. L. Schönberger and J.-M. Frahm, "Structure-from-motion revisited," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2016, pp. 4104–4113. [^24]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, "3D Gaussian splatting for real-time radiance field rendering," ACM Trans. Graph., vol. 42, no. 4, pp. 139:1–139:14, 2023. [^25]: A. Guédon and V. Lepetit, “SuGaR: Surface-aligned Gaussian splatting for efficient 3D mesh reconstruction and high-quality mesh rendering,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2024, pp. 5354–5363. [^26]: B. Calli, A. Singh, A. Walsman, S. Srinivasa, P. Abbeel, and A. M. Dollar, “The YCB object and model set: Towards common benchmarks for manipulation research,” in Proc. Int. Conf. Adv. Robot. (ICAR), 2015, pp. 510–517. ## [^27]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graph., vol. 36, no. 6, pp. 245:1–245:17, 2017 --- [^28]: M. Stoiber, M. Elsayed, A. E. Reichert, F. Steidle, D. Lee, and R. Triebel, "Fusing visual appearance and geometry for multi-modality 6DoF object tracking," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2023, pp. 1170–1177. [^29]: N. Carion et al., “SAM 3: Segment anything with concepts,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2026.