{
  "paper_id": "68c90b469354bce005d807b04d7e8fe4",
  "paper_title": "VICON: Visual-Inertial-Contact based Hand-Object Tracking for Manipulation Datasets",
  "paper_authors": [
    "Youbeen Jeon",
    "Uiseong Shin",
    "Hwanchul La",
    "Jaeseong Kang",
    "Hyelim Choi",
    "Yongseok Lee"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Learning dexterous manipulation benefits from human demonstration datasets that capture diverse and natural hand-object interactions. In particular, contact points and forces provide supervision on where and how strongly to interact, which cannot be fully captured by motion trajectories alone. However, methods for jointly capturing hand and object motion, contact points, and forces remain limited. Moreover, severe occlusion from hand-object interaction challenges accurate tracking of both hands and objects. To address these limitations, we present a Visual-Inertial-CONtact based hand-object tracking (VICON) framework. It holistically captures both hand and object motion along with contact information during manipulation, even under severe occlusion. First, we adopt a visual-inertial glove and an RGB-D camera for accurate hand tracking, and redesign the glove to incorporate contact sensing. Specifically, force-sensitive resistors (FSRs) are placed on the glove based on human grasp frequency to synchronously record contact states and calibrated normal forces. Second, without requiring pre-existing CAD models, we estimate object poses using RGB-D images and a mesh reconstructed from a monocular video. We propose factor-graph-based object trajectory estimation that fuses object-pose estimates weighted by visibility under hand-object occlusion, FSR measurements, and a hand-motion prior. Across 40 motion-capture sessions with five objects, VICON achieves a 2.5% failed-frame rate compared with 50.9–64.6% for the baselines, with median errors of 3.9 mm and 3.0° under occlusion. Using VICON, we construct a dataset containing synchronized hand-object motion, contact points, and normal forces, and will publicly release an expanded dataset covering 10 object categories at <https://github.com/VICON-dataset/dataset>.\n",
  "keywords": [
    "hand-object tracking",
    "visual-inertial sensing",
    "contact force sensing",
    "force-sensitive resistors",
    "factor graph optimization",
    "manipulation dataset",
    "occlusion-robust tracking",
    "dexterous manipulation"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:28.382350Z",
  "template_tag": "deep_read",
  "summary": "# VICON: Visual-Inertial-Contact based Hand-Object Tracking for Manipulation Datasets\n\n\n**作者 / Authors:** Youbeen Jeon, Uiseong Shin, Hwanchul La, Jaeseong Kang, Hyelim Choi, Yongseok Lee\n\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档包含论文正文、图 1–6、表 I–IV 与参考文献，但未附附录、补充材料、代码或数据集实体；文中数据集主页（<https://github.com/VICON-dataset/dataset）标注为将公开，当前状态待核实。文档未给出发表> venue 与日期，参考文献中出现 2026 年条目，版本信息需外部核实。原型判定为 system：工作同时包含可穿戴硬件（VIST 手套加 8 个 FSR）、单目 RGB-D 采集、离线因子图跟踪和数据集构建流程，核心贡献是完整采集系统而非单一算法模块。材料缺口主要影响对泛化性、标定流程和数据集可用性的判断。\n\n\n\n\n\n### 问题\n\n问题：在灵巧操作演示采集中，需要同时获得手部位姿、物体 6-DoF 位姿、接触点与法向力；仅靠运动轨迹无法监督“在哪里接触、用多大力”。现有数据集/系统要么缺少力/触觉，要么依赖多相机或动作捕捉工作室，成本高且受限于专用环境；在单手遮挡严重时，纯视觉的物体位姿估计会退化或失败，而利用手部运动作为先验又只在手-物真实接触时才物理有效。形式化地说，给定 RGB-D 序列、手套给出的手部位姿 H_k 与 8 路 FSR 信号，估计物体轨迹 X_k=T_CO,k 以及物体坐标系接触点 q_i,k^O 和标定法向力 F_i,k。核心难点是遮挡下的可靠物体跟踪与接触门控。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：VICON 用带 8 个 FSR 的视觉-惯性手套和单台 RGB-D 相机，离线融合可见性加权的 FoundationPose 候选、接触门控的手部运动先验与因子图，输出遮挡鲁棒的手-物轨迹、接触点和法向力。核心想法是把手套的稳健手部运动作为物体先验，但仅在 FSR 检测到接触时启用；同时用渲染深度与观测深度的可见性分数降权不可靠视觉候选，并用 hand/pivot/stat/grasp-link 因子维持轨迹。贡献包括：硬件上按人手抓握接触频率布置 FSR；算法上用接触时序门控和可见性加权因子图；数据上无需 CAD、由单目视频重建网格并构建同步接触-力数据集。最重要结果（作者声称）：40 个动作捕捉会话、5 个刚体物体、4 名受试者、47,222 帧上，失败帧率 2.5%，基线 50.9–64.6%；遮挡帧中位误差 3.9 mm、3.0°；消融去掉任一组件失败率升至 18.1–28.9%。支持范围限于单手套、单手、慢速搬运、固定抓握假设和 5 类刚体，且 GT 来自动作捕捉；尚不支持完整手内操作、更快运动与更多类别，泛化性待验证。优先读第 III 节（硬件与 FSR 布置）、第 IV-B/C/D 节（可见性加权、接触时序、因子图）、表 III 与表 IV；下一轮需追问 FSR 标定跨受试者/物体泛化、接触阈值与协方差敏感性、遮挡定义对结论的影响、对 VIST 手套和动作捕捉 GT 的依赖，以及数据集实际发布状态。在此基础上，下一轮将重点核查因子图各因子的数学形式与实验证据链。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入→关键步骤→输出：输入为 RGB-D 序列、VIST 手套给出的手部位姿 H_k=T_CH,k、8 个 FSR 中心 s_i,k^C 与 200 Hz 信号、FoundationPose 初始轨迹 X~_k，以及由单目视频重建的物体网格；输出为精化物体轨迹 X_k=T_CO,k、物体坐标系接触点 q_i,k^O 与标定法向力 F_i,k。手部位姿、接触状态和物体几何在优化中固定。\n\n1) 视觉候选与可见性加权（第 IV-B 节，式(1)(2)）：FoundationPose 从种子位姿输出候选 Z_k。用渲染网格深度 D_O 与观测深度 D 计算 δ(u)=D(u)-D_O(u)，v_d(Z_k)=1/|Ω| Σ_u 1[|δ(u)|<0.010]，表示深度一致像素比例；v_far(Z_k)=1/|Ω| Σ_u 1[δ(u)>0.020]，标记候选悬浮在观测表面前方。v_d 低可能来自遮挡或位姿错误，故降低权重。接受候选还需 |Ω|≥200、v_d≥0.10、不穿桌超过 25 mm、v_far 低于默认 0.15 的阈值，并在连续帧持续、与无接触区间锚点一致、抓握时接近传播位姿 B_k。重测量前把手骨架和前臂投影成胶囊手掩码，去掉比种子渲染前移超过 20 mm 的深度。测量标准差 σ_p、σ_r 按表 II 在可见性节点间插值，并随离种子位移、穿桌、抓握时手部位移和手部覆盖增大；v_d 低于 0.50 时只保留深度支持的倾角，绕该轴扭转保留弱但有限权重。这些门控、掩码和协方差共同构成 f_vis。\n2) 触觉接触时序（第 IV-C 节，式(3)）：FSR 信号低通 20 Hz 后经 Schmitt 触发得到二值激活 a_i,k。若 a_i,k=1 且 FSR 中心到网格距离 d_i,k≤0.030 m，则 ρ_i,k=1；当 Σ_i ρ_i,k≥3 时判定抓握 c_k=1。该式只决定手部先验何时启用，不建模力大小或力闭合。由于初始位姿有误差，接触提取做两轮：第一轮在初始位姿 100 mm 范围内登记接触，第一次精化后用更准轨迹作参考再按式(3)重提接触，第二次精化给出最终结果。c_k=1 的帧定义抓握区间，物体随 rigid 手部运动；相邻至少 5 帧且恰有两个指尖接触的 2 点抓握用 f_pivot 放松绕两接触点连线的旋转。\n3) 传播位姿 B_k 与视觉空洞处理（第 IV-C 节）：v_d≥0.7 的接受测量称锚点；非抓握时每个锚点更新 B_k。抓握且有可用手部增量时 B_k=H_k H_{k-1}^{-1} B_{k-1}；既无视觉更新又无可用手部增量时保持不变。跨视觉空洞时用两端锚点校正：锚点一致表示物体静止，不一致则把差异分摊到手部传播帧。无锚点的抓握区间用传播轨迹合成位姿 Z~_k，并给 80 mm、45°的大名义偏差。\n4) 因子图（第 IV-D 节，式(4)–(10)）：待优化变量为 {X_k}。残差为 r_k^vis=Log(Z_k^{-1}X_k)（式4）、r_k^syn=Log(Z~_k^{-1}X_k)（式5）、r_k^hand=Log(M_k^{-1}X_{k-1}^{-1}X_k)（式6，M_k=B_{k-1}^{-1}B_k 为传播位姿增量，抓握时等于手部运动加锚点校正）、r_k^stat=Log(X_{k-1}^{-1}X_k)（式7，静止对）、r_kl^grasp=Log(X_k^{-1}H_k H_l^{-1}X_l)（式8，强制抓握帧的手-物相对变换恒定）。目标函数（式9）对视觉、合成位姿和长程抓握链接用 Huber 损失 φ（阈值 1.345），对手部、静止和相邻抓握链接用二次损失。协方差大多旋转/平移分块对角；手部基础 Q_k^0、静止 W_k、相邻抓握 P_kl 的名义偏差分别约 0.55 mm/0.2°、0.01 mm/0.03°、1.5 mm/1.5° 每名义帧间隔，并按时间间隔、视觉分歧、遮挡和手部跟踪质量缩放。2 点抓握用式(10) Q_k^piv=Q_k^0+(σ_free α_k)^2 u_k u_k^T 放松绕接触线旋转，u_k 为该接触线的螺旋轴，σ_free=15° 每名义帧间隔，仅对有效轴且 Δt_k≤0.25 s 生效。图用传播位姿初始化，GTSAM 中 Levenberg–Marquardt 两阶段求解：第一阶段合成位姿旋转偏差 5°，第二阶段用名义值 45°。\n5) 接触与力标注（第 IV-E 节，式(11)(12)）：12 位 ADC 先转成 x=ADC/max(4095-ADC,1)，再按逐 FSR 标定 F_i=f_i(x)；每个 f_i 取仿射 a_i x+b_i 或幂律 a_i x^{n_i} 中 R^2 更高者，并在最低标定点以下线性接到原点。每个识别 FSR 在精化位姿下关联到物体网格最近点 q_i,k^O（式12），记录 q_i,k^O、q_i,k^C、带符号的 FSR-表面距离与同步力 F_i,k。\n必要模块：单目视频网格重建（COLMAP+3DGS+SuGaR，ChArUco 定尺度）、Fast-FoundationStereo 约 30 Hz 深度、VIST 手部跟踪、逐 FSR 标定。关键假设是慢速搬运、固定抓握、单手单手套、物体刚性；FSR 只测局部法向力，不是完整接触力分布或力矩。\n\n\n\n\n\n### 评测设置\n\n数据与实验协议（第 V 节）：4 名受试者、每人单手套，共 71 个会话、5 个刚体物体（block、mouse、mug、mustard bottle、phone）；每个会话含接近、抓握、慢速搬运和放置。其中 40 个会话在动作捕捉室采集作 GT（每物体 8 个），另 31 个无动作捕捉。物体网格由单目视频经 COLMAP、3DGS、SuGaR 重建，ChArUco 板定尺度并清理未观测面；在 YCB 物体上验证重建与扫描平均偏差约 1 mm。所有物体位姿跟踪器使用同一网格。\n评估指标与分层：动作捕捉与相机坐标系对齐，标记相对网格偏移用静态场景标定。所有跟踪器在同样的 47,222 帧上评估，这些帧至少有 4 个动作捕捉标记可见且拟合残差在 2 mm 内。遮挡分层用 GT 位姿、完整网格和未掩码深度计算 v_d^GT；v_d^GT<0.55 为遮挡，否则可见。阈值由每个会话第一次 FoundationPose 失败设定，只用于评估分层，不影响 VICON 跟踪或优化。最终 24,285 遮挡帧、22,937 可见帧。平移误差 e_T,k=1000||p_k-p_k*||_2 mm；旋转误差为对称感知误差（式13），对 block 允许绕网格 z 轴 90° 步进、phone 允许 180° 翻转（排除 flip），其余仅单位阵。PCF_m(τ;K) 为误差≤τ 的帧比例；S_T20=PCF_T(20 mm)，S_R15=PCF_R(15°)。失败帧定义为 e_T>20 mm 或 e_R>15°，失败率在全部 47,222 帧上统计。Fig.5(b) 还报告到 τ_max=60 mm 或 90° 的归一化 PCF 曲线下面积。\n基线与条件：FoundationPose、MegaPose（在 RGB-D 上顺序运行）、ICG+（YCB-Video 配置，region/depth/ORB 模态）。所有基线看到相同 RGB-D 帧和网格，从第一个 FoundationPose 位姿开始，该位姿用文本提示 SAM 3 掩码配准；随后跟踪全部 40 个会话，不使用外部位姿反馈或 GT 重置。基线均不给 FSR 或手套测量。VICON 是完整系统，因此比较的是系统级能力，不是同等输入下的纯算法比较。\n训练/计算：本文无学习训练阶段，核心是离线因子图优化；未报告计算预算、运行时间或内存。采集相关频率：深度约 30 Hz，FSR 200 Hz 低通 20 Hz。没有训练/测试划分或留出物体/受试者划分；评估覆盖 4 受试者×5 物体×40 动作捕捉会话。缺失设置包括：每物体/受试者的样本量细节、FSR 标定跨受试者重复性、接触点精度定量评估、力精度与外部测力计对比、基线运行时间与参数敏感性。遮挡阈值依赖 FoundationPose 首次失败，可能影响遮挡/可见帧构成，但作者声明不参与 VICON 优化。\n\n\n\n\n\n### 结果与证据\n\n决定性结果与证据强度：\n\n1) 主比较（表 III）：VICON 失败帧率 2.5%，FoundationPose 50.9%，MegaPose 62.6%，ICG+ 64.6%。可见帧 S_T20/S_R15 为 100.0%/99.6%，遮挡帧为 97.1%/98.4%；对应中位误差可见 0.9 mm/1.7°，遮挡 3.9 mm/3.0°。基线遮挡中位误差为 FoundationPose 21.8 mm/33.9°、MegaPose 45.7 mm/82.9°、ICG+ 61.1 mm/34.3°。作者还报告 VICON 在 40 个会话中的 36 个取得最低遮挡中位平移误差，23 个会话无失败，逐物体遮挡中位误差 2.3–5.1 mm。这些数字直接支持遮挡鲁棒性主张，但比较条件是 VICON 使用手套/FSR 而基线没有，属于系统级优势。\n2) 消融（表 IV）：去掉可见性加权后失败率 28.9%；去掉手部运动先验后 18.1%；去掉触觉接触时序后 23.9%；完整 VICON 为 2.5%。作者报告逐会话遮挡中位平移误差的配对比较均 favor 完整 VICON（40 会话，双侧符号检验，Holm 校正 p<0.0005）。消融在最终精化上进行，手部位姿和第 IV-C 节接触状态固定，因此主要证明最终因子图如何用视觉与接触证据，不等同于完整两轮接触提取的端到端消融。手部运动消融同时去掉初始化、传播、门控先验、抓握链接和合成位姿，移除范围较大；接触时序消融只禁用门控，接触状态仍固定，需注意解释边界。\n3) 接触/力标注：当前数据集 71 会话、81,307 RGB-D 帧，含网格、手骨架、精化物体轨迹和接触记录。标定法向力中位 10.9 N，90 分位 27.0 N，83% 落在 0–20 N；FSR 标定 R^2=0.83–0.99，总体平均绝对误差 0.74–2.87 N，20 N 以下 0.68–2.50 N；标定范围内无饱和。这些支持力信号可用性，但没有与独立测力计在真实操作中的逐接触点对照，接触点定位精度也未单独量化。\n4) 证据边界：结果限于单手、单手套、5 类刚体、慢速搬运、固定抓握假设；GT 来自动作捕捉，FSR 只有 8 个局部点且仅法向力。基线失败后多不恢复，而 VICON 有重测量和手部传播，这放大了长序列差距。总体证据支持“接触门控的手部先验加可见性加权能在严重遮挡下维持物体轨迹”，但尚不足以证明完整手内操作、快速运动、更多物体类别或跨受试者力标定的泛化。\n\n\n\n\n\n### 相关工作\n\n最近相关工作与差异（按论文描述；外部事实未联网核实）：\n\n1) 与视觉物体位姿估计器比较：FoundationPose、MegaPose、ICG+ 是本文的直接视觉前端或基线。它们只使用 RGB-D 与网格，在严重遮挡下会输出退化位姿；VICON 保留 FoundationPose 作为候选源，但增加可见性加权、手套手部位姿先验和 FSR 接触门控。代价是额外硬件、离线优化和逐 FSR 标定，且依赖手套手部跟踪质量。\n2) 与手-物联合跟踪比较：ComPose 学习何时信任手部运动来辅助物体跟踪，但仍以单目视觉为主，不直接测力；HOLD/HOISDF 等依赖几何或隐式接触约束。VICON 的关键差别是用 FSR 实测接触作为手部先验的开关，并把接触点与法向力写入数据；但接触时序只做门控，不建模力闭合，也不覆盖完整手内操作。\n3) 与接触/触觉数据集比较：ContactPose 用热成像在静态抓握后得到物体表面接触图，ARCTIC 用多相机动作捕捉工作室从几何推导接触，二者均无直接连续法向力；OpenTouch 有全手压力但无物体位姿；TactiDex 有触觉手套与手-物动作捕捉，但需要动作捕捉工作空间；ForceVLA-Data 记录机器人末端 TCP wrench，不能解析人手各接触点。VICON 的差异是单台 RGB-D 加 8 个 FSR 的 VICON-glove，输出物体坐标系 3D 接触点与标定法向力。代价是接触稀疏（仅 8 点）、只有法向分量、单手套/单手，且无法与密集触觉或工作室级多视角精度直接等同。\n4) 成本与边界：论文称 VIST 手套材料成本约 100 美元、重 52–55 g（引自文献[^1]），再加 8 个 FSR 与一台 Intel RealSense D435i；无需动作捕捉工作室即可采集，但本文精度评估仍用动作捕捉作 GT。相比 ARCTIC 等多相机工作室，部署成本低、场地限制小；相比纯视觉方法，增加了手套标定、FSR 标定与佩戴负担。数据集主页标注将公开 10 类物体扩展集，但当前发布状态待核实。\n\n\n\n\n\n### 关键图表解读\n\n重点图/表（按证据链）：\n\n1) Fig.2（第 III 节，硬件）：展示内层 14 IMU、外层 80 标记、手部接触频率图与 8 个 FSR 位置。它支持“按人手抓握接触频率布置 FSR”的硬件贡献，并解释为何选 5 指尖、鱼际和掌部两点。解释限制：接触频率来自文献[^17]的既有分析，不是本文新测；8 个传感器只能覆盖稀疏区域，图中不能证明跨受试者贴合与力串扰。\n2) Fig.3（第 IV-A 节，系统流程）：用一帧会话说明手套给出手部位姿与 FSR，RGB-D 送入 FoundationPose，候选按可见性接受/拒绝；物体位姿之间由接触选择 f_stat、f_pivot 或 f_hand，并反馈重测量。它支持核心机制“接触门控手部先验”的因果链。限制：概念图，不提供定量证据；实际门控还依赖 d_i,k≤30 mm、至少 3 个 FSR 等条件。\n3) 表 III（第 V-C 节，主比较）：给出失败帧率、可见/遮挡成功率与中位误差。关键数字 2.5% 对 50.9–64.6%，遮挡中位 3.9 mm/3.0°，直接支撑主要声称。比较条件是相同 RGB-D 帧与网格、相同初始位姿，但 VICON 额外使用手套和 FSR；失败阈值 T>20 mm 或 R>15°；GT 为动作捕捉。解释时不能把它当作同等传感输入下的算法比较。\n4) 表 IV（第 V-D 节，消融）：去掉可见性加权、手部运动或接触时序后失败率升至 28.9%、18.1%、23.9%，完整系统 2.5%；并有逐会话符号检验 p<0.0005。它支持三个组件都必要。限制：消融在最终精化上、接触状态固定；手部运动消融移除多个子组件，不能分离各子项贡献；接触时序消融没有重新提取接触状态。\n5) Fig.5（第 V-B/C 节，误差-可见性曲线与 PCF）：上图按 v_d^GT 分箱显示各跟踪器中位平移/对称旋转误差，下图给 24,285 个遮挡帧的 PCF 与 AUC。它支持 VICON 在可见性下降时仍保持低误差，而基线在遮挡区迅速退化。限制：遮挡阈值 0.55 由每个会话首次 FoundationPose 失败设定；使用中位数避免基线发散主导均值；PCF 阈值 20 mm/15° 与物体尺寸相关，跨数据集比较需谨慎。\n总体看，图表证据主要支持遮挡鲁棒性和组件必要性；接触点/力精度与泛化性证据较弱。下面转入评价与复现风险。\n\n\n\n\n\n### 术语表\n\n术语表（按创新相关性排序）：\n\n- VIST：visual-inertial skeletal tracking，手套内 IMU 加视觉标记的手部骨骼跟踪方法；本文作为手部位姿 H_k 的来源，优势是遮挡下仍较稳。前提是手套佩戴与惯性/视觉标定。\n- FSR：force-sensitive resistor，力敏电阻；本文在 VICON-glove 上放 8 个，用于接触二值激活与标定法向力。不是密集触觉阵列，不能测切向力或完整压力分布。\n- FoundationPose：基于 CAD 或参考 RGB-D 的 6-DoF 物体位姿估计/跟踪器；本文用作视觉候选 Z_k 的来源，并在遮挡下可能输出不可靠位姿。\n- 可见性 v_d 与 v_far：v_d 是渲染网格深度与观测深度在 10 mm 内一致的像素比例；v_far 是观测深度比渲染深度大 20 mm 以上的像素比例，用于标记候选悬浮在表面前方。二者构成 f_vis 的接受门控与协方差调整依据。\n- 锚点 B_k：v_d≥0.7 的接受测量称 anchor；B_k 是由锚点初始化并在非抓握时更新的传播位姿，抓握时可用手部增量传播。它用于初始化因子图和处理视觉空洞。\n- 触觉接触时序 c_k：当至少 3 个 FSR 同时激活且其中心到网格距离≤30 mm 时判为抓握；式(3) 只做门控，不建模力大小或力闭合。\n- 2 点抓握与 f_pivot：相邻至少 5 帧恰有两个指尖 FSR 被识别时，允许物体绕两接触点连线旋转，用式(10) 的秩一协方差放松手部刚性先验；用于抓握形成/释放或接触减弱阶段。\n- 因子图与因子：变量为物体位姿 X_k；f_vis 为可见性加权视觉残差，f_hand 为手部传播增量残差，f_stat 为静止残差，f_grasp-link 为长程抓握中恒定手-物相对变换残差，f_pivot 为 2 点抓握放松。\n- SE(3) 与 Log：SE(3) 表示刚体位姿；Log 把位姿误差映射到 6 维切空间，本文用 rotation-first 坐标构造残差。\n- Huber 损失 φ：鲁棒损失，阈值 1.345；用于视觉、合成位姿和长程抓握链接，降低离群候选影响。\n- GTSAM 与 Levenberg–Marquardt：因子图优化库与求解器；本文两阶段求解，第一阶段合成位姿旋转偏差 5°，第二阶段 45°。\n- PCF、S_T20、S_R15：PCF_m(τ;K) 是集合 K 中误差≤τ 的帧比例；S_T20 为平移 20 mm 阈值成功率，S_R15 为对称感知旋转 15° 阈值成功率。\n- 对称感知旋转误差：在物体网格对称变换集合 S_O 下取最小旋转误差；block 允许绕 z 轴 90° 步进，phone 允许 180°，其余仅单位阵。\n- 失败帧：平移误差>20 mm 或旋转误差>15° 的帧；失败率在全部 47,222 帧上统计。\n- 3DGS、SuGaR、COLMAP：分别用于新视角渲染/重建、表面对齐网格提取和运动恢复结构；本文用它们从单目视频重建物体网格，ChArUco 板定 metric scale。\n- MANO：常用参数化手模型；本文仅在 Fig.6 可视化跟踪手，不是跟踪核心。\n- 法向力标定：把 12 位 ADC 转成 x=ADC/max(4095-ADC,1)，再逐 FSR 拟合 F_i=f_i(x)，取仿射或幂律中 R^2 更高者；标定到 61 N，报告 R^2 与 MAE。\n\n\n\n\n\n### 全部图表索引\n\n图/表全索引（按章节定位；未提供附录或补充材料；图像为文档中的占位图，未做像素级核验）：\n\n- Fig.1：VICON 系统总览，展示手套、RGB-D、手/物跟踪、接触点与力箭头；第 I 节引言；支撑系统概念与任务定义。重要解释见 module_d 的系统流程段。\n- Fig.2：多层 VICON-glove 硬件；(a) 14 IMU 位置，(b) 外层视觉标记，(c) 手部接触频率图，(d) 8 个 FSR 掌面布局；第 III 节；支撑硬件贡献与 FSR 选址理由。重要解释见 module_d 第 1 项。\n- Fig.3：单会话上的 VICON 流程与因子选择示意；第 IV-A 节；支撑可见性加权、接触门控手部先验和重测量机制。重要解释见 module_d 第 2 项。\n- Fig.4：实验设置；(a) 动作捕捉室与相机，(b) 五个物体；第 V-A 节；说明 GT 采集环境与物体类别。\n- Fig.5：物体位姿误差随可见性变化与遮挡帧 PCF；第 V-B/C 节；支撑遮挡鲁棒性主结果。重要解释见 module_d 第 5 项。\n- Fig.6：随遮挡加深的定性结果，列含物体、3DGS 网格、GT/FP/ICG+/VICON 位姿叠加，以及 MANO 手与接触点/力箭头；第 V-C 节；支撑定性对比但非定量证据。\n- Table I：与 EgoDex、ContactPose、ARCTIC、OpenTouch、TactiDex、ForceVLA-Data 的数据集比较；第 II-C 节；支撑“同时有手/物位姿、物体坐标系接触点和法向力、单 RGB-D 加手套”的定位。注意表中符号与接触格式定义。\n- Table II：可见性 v_d 对应的名义视觉测量标准差 σ_p、σ_r；第 IV-B 节；支撑 f_vis 的协方差设置。180° 表示弱但有限的旋转权重。\n- Table III：与 FoundationPose、MegaPose、ICG+ 的主比较；第 V-C 节；支撑失败率与遮挡误差主声称。重要解释见 module_d 第 3 项。\n- Table IV：组件消融（去可见性加权、去手部运动、去接触时序、完整 VICON）；第 V-D 节；支撑三组件必要性。重要解释见 module_d 第 4 项。\n- 缺失材料：无附录、补充视频、代码或数据集实体；数据集主页 <https://github.com/VICON-dataset/dataset> 的发布状态与 10 类扩展集待核实。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（均为文中证据，未外部复核）：1) 在作者设定的 40 个动作捕捉会话、47,222 帧评测中，VICON 失败帧率 2.5%，基线 50.9–64.6%（表 III）；遮挡帧中位误差 3.9 mm/3.0°，可见帧 0.9 mm/1.7°，成功率 S_T20/S_R15 可见 100.0%/99.6%、遮挡 97.1%/98.4%。该结果直接支持“在严重遮挡下维持物体轨迹”的系统级主张。2) 消融（表 IV）去掉可见性加权、手部运动先验、接触时序后失败率分别升至 28.9%、18.1%、23.9%，说明三个组件在该最终精化设置下均必要；但消融固定了接触状态，手部运动消融还同时移除初始化、传播、门控、抓握链接和合成位姿，不能分离各子项贡献。3) 机制链条合理：FSR 接触时序仅作为手部先验的开关；可见性 v_d/v_far 用于拒绝和降权视觉候选；因子图用 f_vis、f_hand、f_stat、f_grasp-link、f_pivot 融合证据。文中公式、表 II 协方差和阈值给出了可实现的细节。\n证据不足或需降级：1) 主比较是系统级比较，VICON 使用手套与 FSR，而 FoundationPose、MegaPose、ICG+ 没有；不能解读为同等传感输入下的纯算法优势。2) 未报告运行时间、计算预算、内存与优化耗时；离线因子图和双向重测量是否满足实时或大规模采集待核实。3) 仅 4 名受试者、5 个刚体、单手单手套、慢速搬运和固定抓握；无留出受试者/物体划分，泛化性未证明。4) 接触点定位精度未单独量化；力标定是逐 FSR 在静态慢压放循环中对照数字秤完成，未与独立测力计在真实操作中逐接触点对照，也未报告跨受试者佩戴重复性、串扰和切向力。5) 遮挡分层阈值 0.55 由每个会话首次 FoundationPose 失败设定，只用于评估分层；它可能影响遮挡/可见帧构成，作者声明不影响 VICON 优化，但外部复现需固定同一协议。6) 代码、附录、补充材料和数据集实体在文档中不可用；数据集主页标注将公开 10 类扩展集，当前状态待核实。\n关键假设与失效场景：假设物体刚性、抓握期间手-物相对变换近似恒定、运动较慢、单手单手套、手部位姿在优化中固定、FSR 局部法向力可代表接触。失效场景包括：手-物滑移或手内操作使固定抓握链接错误；快速运动使 100 ms 手部跟踪滞后和传播位姿误差增大；FSR 误触发、漏触发或佩戴偏移使 c_k 门控错误，进而在无接触时错误启用手部先验；8 个 FSR 只能覆盖稀疏接触点，无法测切向力、力矩或密集压力；物体对称性、透明/反光、深度缺失或桌面穿透门控可能导致候选被拒；动作捕捉标记少于 4 个或拟合残差大时该帧不进入评测，可能改变样本构成。后果是：在论文条件下失败率低，但跨对象、跨受试者和更自然操作时可能显著退化；接触/力标注应视为局部法向接触估计，不是完整接触力学真值。\n复现计划（按核心创新优先）：必需工件包括 VIST 手套（14 IMU、80 标记）、8 个 FSR 及 12 位 ADC 采集、Intel RealSense D435i、FoundationPose、Fast-FoundationStereo、COLMAP+3DGS+SuGaR 网格重建与 ChArUco 定尺度、GTSAM；评测还需动作捕捉与至少 4 个可见标记。文档未给代码、FSR 型号细节、ADC 板、标定夹具和完整参数表，均为阻塞项。关键设置：FSR 位于五指指尖、鱼际和掌部两处；深度约 30 Hz，FSR 200 Hz 低通 20 Hz；Schmitt 触发后，FSR 中心到网格距离不超过 30 mm 且至少 3 个 FSR 识别才判抓握；v_d 不低于 0.7 为锚点，接受候选需像素集 |Ω| 至少 200、v_d 至少 0.10、穿桌不超过 25 mm、v_far 默认低于 0.15；Huber 阈值 1.345；两阶段 LM，合成位姿旋转偏差 5° 与 45°；手部/静止/相邻抓握名义偏差约 0.55 mm/0.2°、0.01 mm/0.03°、1.5 mm/1.5°；2 点抓握 σ_free=15°，仅 Δt 不超过 0.25 s；无锚点抓握合成位姿名义偏差 80 mm/45°。这些数值来自文中，不应擅自改动后再声称复现。\n验证步骤：1) 硬件与标定验证：逐 FSR 用数字秤或测力计做慢压放循环，检查 R^2、MAE、饱和与跨受试者重复性；用已知接触位置或动作捕捉验证 q_i,k^O 的定位误差；检查手套佩戴偏移和 FSR 串扰。2) 跟踪复现：在作者同类的 40 个动作捕捉会话或自采集子集上，用相同网格、相同初始 FoundationPose 位姿和相同帧筛选，比较失败帧率、可见/遮挡 S_T20/S_R15 与中位误差；先复现完整 VICON，再做去可见性加权、去手部先验、去接触时序的消融。3) 泛化与敏感性：留出受试者或物体，测试 3 个 FSR 阈值、30 mm 距离、v_d 0.5/0.7、协方差缩放和遮挡阈值变化；加入更快运动、滑移和不同佩戴者。4) 接触/力标注验证：抽样帧人工检查接触点与网格最近点，比较标定力与外部测力计或已知载荷。成功标准建议预先登记：在相同协议下失败帧率不高于约 5%，遮挡中位误差不高于约 5 mm/5°，三个消融均显著差于完整系统；跨受试者/物体性能下降有量化报告而非仅平均；若无法达到，应定位为 VIST 手部跟踪、FSR 标定或可见性门控的差异。核心创新验证应优先做“接触门控手部先验”的开关实验和“可见性加权”的降权实验，而不是只重复主表。\n\n\n\n\n\n### 应用约束\n\n实际约束：数据与采集——系统面向桌面单手演示采集，71 个会话、81,307 帧、4 名受试者、5 个刚体；其中 40 个会话有动作捕捉 GT，31 个无动作捕捉。新物体不需要 CAD，但需要单目视频重建网格并用 ChArUco 定尺度；文中在 YCB 上报告重建平均偏差约 1 mm，但这是作者自评，未独立复核。力标注依赖逐 FSR 标定，标定到 61 N，R^2=0.83–0.99、MAE 0.74–2.87 N；跨受试者重复性和长期漂移未报告。计算与延迟——核心是离线因子图优化和 FoundationPose 双向重测量，文中未报告运行时间、内存、优化迭代耗时或采集吞吐；深度约 30 Hz、FSR 200 Hz 低通 20 Hz，VIST 手部跟踪存在约 100 ms 滞后。由此只能判断为离线或准离线后处理，不能推断可实时部署；在线遥操作或闭环策略学习需额外验证。鲁棒性——已演示的是手部严重遮挡、慢速搬运和固定抓握下的物体轨迹维持；可见帧成功率很高，遮挡帧仍保持较低中位误差。未演示：快速运动、手内操作、滑移、可变形物体、双手、多手套、更多物体类别、无动作捕捉环境下的精度评估。FSR 只有 8 个局部点且只测法向力，不能提供切向力、力矩或密集触觉；接触时序只做门控，不建模力闭合。适用性——适合低成本、可穿戴、单 RGB-D 的演示数据采集和接触/法向力标注，尤其适合作为数据集构建管线；不适合要求实时、完整接触力学或高精度力真值的场景。部署成本主要是 VIST 手套（文中引 [^1] 称材料成本约 100 美元、重 52–55 g）、8 个 FSR、D435i 和逐 FSR 标定工时；无需动作捕捉工作室即可采集，但本文精度评估仍依赖动作捕捉。数据集发布状态与 10 类扩展集待核实。\n\n\n\n\n\n### 探索问题\n\n1) 问题：FSR 接触门控与力标定在跨受试者、跨物体和真实操作中是否稳定？验证：用同一批受试者重复佩戴，逐 FSR 做静态和动态标定，并用外部测力计或薄膜压力传感器在真实抓握中对照；同时用动作捕捉或已知接触位置评估 q_i,k^O 的定位误差。收益：决定力标注能否作为监督信号，以及 c_k 门控是否可靠。风险：FSR 位置偏移、手套贴合、串扰和仅测法向分量可能导致跨受试者误差大；外部传感器可能干扰自然抓握。\n2) 问题：核心增益有多少来自“接触门控手部先验”，多少来自可见性加权和重测量？验证：在固定同一接触状态和同一初始位姿下做更细的析因消融：仅门控、仅可见性、仅重测量、门控+重测量、完整系统；并在留出受试者或物体上重复。收益：分离机制贡献，判断能否简化系统。风险：消融相互耦合，固定接触状态可能高估门控收益；重测量需 FoundationPose 双向运行，计算成本高，细析因实验量大。\n3) 问题：能否扩展到更快运动、手内操作和滑移？验证：采集包含手指相对物体运动、快速搬运和受控滑移的新数据，放松固定抓握链接，加入手-物相对运动模型或滑移检测，并用动作捕捉评估。收益：提升数据集覆盖面和演示价值。风险：VIST 约 100 ms 滞后、8 个 FSR 稀疏且无法测切向力，可能使扩展收益有限；新模型可能过拟合小数据，并失去当前方法的简洁性。\n\n\n\n\n\n### 引用与核验\n\n本轮未联网访问外部来源；以下只核对文档内引用定位、支持关系与可复现依赖，未把任何外部文献当作已核验事实。1) 新颖性与核心依赖：[^1] VIST 是手部跟踪、手套成本和 52–55 g 重量的来源；本文的硬件与手部先验直接建立在其上，若 [^1] 的实现或标定不可获得，复现受阻。[^17] 提供人手抓握接触频率图，支持 8 个 FSR 的选址，但不是本文新测数据；Fig.2(c) 的接触频率应归因于 [^17]。[^16] FoundationPose 是视觉候选和最强基线的核心依赖；[^22] FSR 400 系列数据表支持 ±6% 器件重复性，文中逐 FSR 标定结果则是本文自测。2) 最强比较：[^16] FoundationPose、[^18] MegaPose、[^28] ICG+ 是表 III 的基线；文中说明使用相同 RGB-D 帧、相同网格、相同初始位姿且无 GT 重置，但基线没有 FSR/手套，因此是系统级比较。基线实现细节和参数来自其原论文或配置，本轮未逐项核对；表 III 数字应视为作者报告。3) 决定性外部声明：VIST 成本约 100 美元、重 52–55 g 来自 [^1]；FSR 器件重复性来自 [^22] 数据表（文中标注 accessed Sep. 12, 2026）；YCB 重建约 1 mm 偏差是本文在 [^26] 对象上的自评，不是 [^26] 的结论；数据集将公开 10 类扩展集见摘要和 <https://github.com/VICON-dataset/dataset，当前发布状态待核实。4>) 版本/日期风险：文档未给发表 venue 与日期；参考文献含多篇 2026 年条目（[^2] ICLR 2026、[^10] arXiv 2026、[^15] arXiv 2026、[^19] ICRA 2026、[^21] CVPR 2026、[^29] ICLR 2026），其正式出版状态、版本和可比性待核实；[^22] 访问日期为 2026-09-12。5) 其他引用分组：手/物跟踪与遮挡 [^11] [^12] [^13] [^14] [^15]；数据集与触觉 [^2],[^3],[^6] [^7] [^8] [^9] [^10]；传感器手套 [^1],[^8],[^19],[^20]；几何/重建 [^23] [^24] [^25]；评测与可视化 [^26],[^27]。这些外围引用未逐一访问原文，Table I 的对比依赖各原文的数据集描述，不能视为独立复核。总体：文中公式、表 III/IV 和实验协议可直接核对；外部事实、代码/数据可用性和未来日期文献均标记为待核实，不应在复现报告中写成已确认。\n\n\n\n\n\n### 最终判断\n\n总体判断：这篇论文的可信核心是“在单手套加单 RGB-D 的受限采集条件下，用 FSR 接触门控手部运动先验，再用可见性加权因子图，可以显著改善严重遮挡下的物体轨迹”，主表和消融在作者协议内支持这一点；但它是系统级优势，不是同等输入下的算法胜利。接触点与法向力标注、跨受试者/物体泛化、实时性和完整手内操作仍证据不足，应把力数据看作局部法向接触估计而非力学真值。使用建议：把 VICON 当作低成本演示采集管线和遮挡鲁棒跟踪的设计参考；复现前先确认 VIST 手套、FSR 标定、FoundationPose/GTSAM 和动作捕捉评测条件，并优先验证接触门控与力标定。下一步应获取代码/数据发布并在一组留出受试者上复现主表与关键消融。"
}