{
  "paper_id": "9d14a2bd346b812faca27430f0408852",
  "paper_title": "Interactive Hand Pose Estimation using a Stretch-Sensing Soft Glove",
  "paper_authors": [
    "Oliver Glauser",
    "Shihao Wu",
    "Daniele Panozzo",
    "Otmar Hilliges",
    "Olga Sorkine-Hornung"
  ],
  "publication_date": "2019-07",
  "publication_venue": "ACM Transactions on Graphics, Vol. 38, No. 4, Article 41",
  "abstract": "本文提出一种拉伸感知柔性手套，可在无需外部光学设备的情况下交互式、高精度地捕捉手部姿态。该设备能够以低成本制造，并可借助多数制造实验室中的简单工具完成标定。为了从嵌入手套的电容传感器重建姿态，作者提出一种利用传感器空间布局的深度网络架构。网络只需使用廉价的现成手部姿态重建系统收集训练数据并训练一次，之后用户仅通过手套即可完成即时标定。一系列消融实验研究了不同模型和标定方法；与商业数据手套相比，该方法的重建精度提升了35%。\n",
  "keywords": [
    "手部追踪",
    "数据手套",
    "传感器阵列",
    "拉伸感知",
    "手部姿态估计",
    "电容传感器"
  ],
  "paper_institutions": [
    "ETH Zurich",
    "New York University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:45.618539Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对视觉手部姿态估计依赖外部相机、在严重遮挡或光照变化时容易失效，以及现有数据手套普遍存在传感器数少于手部约25个自由度、IMU僵硬、弯曲或应变传感器布置受限等问题，本文提出一种薄型、低成本、可即时标定的拉伸感知柔性手套。手套将44个硅胶电容拉伸传感单元布置在手部形状的阵列中，形成相对于25个姿态自由度的过完备感知层，总重约50 g、厚约1.2 mm，材料成本约15美元；其核心物理机制是形变电容器 C = ε_r ε_0 A/d = ε_r ε_0 lw/d，在体积守恒 Ad = A⁰d⁰ 条件下可得 (A/A⁰)² = C/C⁰，从而由电容变化反映局部拉伸。矩阵式布线只需27条引线而非45条，并通过线性关系 M C_c = C_m 将复合电容测量值最小二乘求解为单元电容，改进充电电阻和每16次测量求解一次的策略后读取率约60 Hz。由于手套对深度相机基本不可见，作者选用廉价的Intel RealSense SR300和Tkach等人的模型拟合追踪器采集时间同步数据，在10名手长17–20.5 cm的受试者上构建约100万组传感器读数—关节角参数样本，每人5个会话并包含会话内和跨穿戴设置，用以验证跨用户、跨会话和不同标定投入下的泛化能力。方法上先让用户在不到一分钟内自由探索极端姿态，获得每个传感器的最小和最大值并将读数归一化到[-1,1]，再把水平、垂直拉伸组织成两个5×5拉伸图，输入U-Net预测5×5姿态图，以L2损失监督；编码器—解码器结构兼顾全局手势与局部关节对应，跳连保留空间位置。实验以平均关节角度误差为主要指标：个性化模型会话内平均5.8°、跨会话6.2°，通用模型无标定8.3°、即时标定后7.6°，微调模型为6.5°；在与ManusVR和CyberGline II相同的约3分钟、60个姿态比较序列中，本文手套平均误差6.76°，低于CyberGlove的10.47°和ManusVR的11.93°，相对次优方案降低约35%，关键姿态中92%的角度误差低于15°。传感器消融显示从14个增加到44个时误差由8.67°降至6.75°，网络比较也表明13M参数U-Net比全连接网络约低1°且预测更稳定，支持了密集传感和结构感知表示的有效性。该系统适用于游戏、机器人、生物力学分析、康复以及AR/VR交互，但当前仍为有线和中号尺寸，不能恢复全局平移、全局旋转及腕部旋转，整体延迟约125–200 ms，手过小或过大时精度下降，普通抓握因接触多在无传感器的掌侧和指尖而影响较小，直接触碰传感区域则可能受人体电容干扰。未来工作包括无线化、全局位姿追踪、增加S/L尺寸或定制手套、降低噪声与延迟、规模化制造、融合相机信息、从拉伸数据预测手形，以及与触觉设备或软体外骨骼结合。\n\n### 关键要点\n\n- 手套采用44个硅胶电容拉伸传感器组成过完备阵列，重建模型使用25个手部姿态自由度，成品约50 g、1.2 mm厚并可适应多种手形。\n- 电容传感器依据 C = ε_r ε_0 A/d 工作，在体积守恒假设下由 (A/A⁰)² = C/C⁰ 将电容变化转换为局部拉伸信息，且不像许多电阻式传感器那样存在明显迟滞。\n- 矩阵式布线使44个传感器只需27条引线，系统通过 M C_c = C_m 从180种复合测量中最小二乘恢复单元电容，并实现约60 Hz读取率。\n- 制造分为硅胶传感器阵列和弹性纺织手套两阶段，使用浇铸、激光蚀刻、激光切割和织物粘接等常规fablab工艺，材料成本约15美元。\n- 训练数据由RealSense SR300深度相机和Tkach等人的手部追踪系统采集，包含10名受试者、约100万组同步传感器读数与关节角参数，并覆盖会话内和跨穿戴场景。\n- 每用户即时标定要求用户自由探索极端姿态，记录每个传感器的最小和最大值，将读数归一化到[-1,1]，整个过程通常少于一分钟。\n- 网络将传感器读数组织成两个5×5拉伸图，用U-Net回归5×5姿态图并采用L2损失，结构先验使局部指节对应和全局手势信息都能被利用。\n- 通用模型在即时标定后的平均关节角误差为7.6°，个性化模型会话内和跨会话分别为5.8°和6.2°，微调通用模型可达6.5°。\n- 与商业手套的同序列比较中，本文手套平均误差6.76°，CyberGlove II为10.47°，ManusVR为11.93°，相对次优方案精度提升约35%。\n- 消融实验表明传感器数量从14个增至44个时，平均误差由8.67°降至6.75°；减少训练数据则会导致个性化和通用模型误差均上升。\n- 当前系统的主要限制包括不提供全局平移和旋转、仍为有线连接、延迟约125–200 ms，以及极端手形需要额外尺寸或定制手套。"
}