{
  "paper_id": "bab6607860d9d091d7b8e33178b9f8f0",
  "paper_title": "Beyond Gestures: Estimating Full Hand Pose and Contact Forces from Wrist-Worn Pressure Sensor Array",
  "paper_authors": [
    "Svetoslav Kolev",
    "Lingni Ma",
    "Michael Goesele",
    "Renzo De Nardi",
    "Jakob Engel",
    "Richard Newcombe"
  ],
  "publication_date": "2026",
  "publication_venue": "unknown",
  "abstract": "捕捉手部运动和交互力对于交互计算、VR以及机器人学习的高保真触觉示范至关重要。本文提出一种腕戴压力传感腕带，可在单一可穿戴设备上恢复连续全手姿态和分布式接触力。系统由环绕腕部的柔性电容传感器阵列和循环网络组成，前者无需皮肤电接触，后者将压力信号映射到手部状态。关键洞察是肌肉收缩和肌腱位移产生的压力模式与手部姿态和交互力强相关。为验证这一点，作者同步采集腕部压力、光学动捕手部姿态和触觉手套交互力，涵盖孤立手指运动、指尖力应力测试和自然手物操作。在孤立单用户运动上，腕带达到4.6°平均手指关节MAE；在四名用户操作日常物体时，每指接触力估计R²=0.57，外部姿态信号可将其提升至0.75。作者将腕带视为日常可穿戴设备星座中的一个节点，例如与第一视角相机配对，补充视觉无法观测的接触力，并在手被遮挡时接管估计。\n",
  "keywords": [
    "腕戴式传感",
    "力肌动图",
    "电容压力传感器阵列",
    "手部姿态估计",
    "接触力估计",
    "循环神经网络",
    "GRU",
    "可穿戴设备",
    "手物操作",
    "触觉手套"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:23.829911Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n日常沉浸式计算、VR交互与机器人高保真触觉示范需要同时获取连续手指运动和接触力，但视觉方案在手部遮挡或出画时失效且本质上无法观察力，动捕或触觉手套精确却笨重、影响灵巧且不便全天使用；已有腕戴压力或力肌动图研究多局限于离散手势、聚合握力或部分关节，全姿态压力方案还需全前臂袖套。本文提出单一腕戴电容压力传感腕带，利用前臂外在肌收缩与肌腱位移改变远端前臂刚度、轮廓并在束带-皮肤界面产生压力模式这一生物力学耦合，将原始压力图及其时间差分分别经线性投影、LayerNorm与GeLU/Tanh激活后拼接，送入GRU序列到序列模型，输出20个手指关节角加3个腕部转角的23维姿态，以及65维触觉法向力分布；核心学习关系为(q̃,η̃)=fθ(P)，并在外部姿态可用时采用η̃=fθ(P,q)，多任务损失写为L=(1/T)Σ_i[λ_β‖β̃_i−β_i‖²₂+λ_ω‖ω̃_i−ω_i‖²₂+λ_η‖η̃_i−η_i‖²₂]。为验证该耦合，作者用50台相机的OptiTrack系统和65个传感单元的PPS触觉手套同步采集三类数据：HP含1人20次穿脱、415分钟，强调多样手指与腕部组合；FF含同一人18次、348分钟，用于指尖力应力测试和辅助训练；HOM含4人55次、1160分钟、约40种日常物体的拾取放置与自然功能操作。实验采用每用户模型和留一次录音交叉验证，以覆盖跨穿脱的位置与束带张力变化，并使用平移、旋转、缩放和强度增强；默认2秒上下文、Adam优化和50k次迭代，这一设置符合设备与第一视角相机互补、部署时按佩戴者校准的目标。评价使用角度、力或压力MAE，R²，真值标准差，以及指尖位置误差和MPJPE。结果显示，HP数据集上手指关节平均MAE为4.56°、腕部为4.75°，手指R²=0.859，隔离手指误差的无腕部MPJPE为7.2 mm；HOM四用户仅用压力时每指力MAE为0.59 N、R²=0.57，加入外部姿态后降至0.45 N、R²=0.75，每传感单元力R²从0.44提升到0.61，支持腕带可独立估计全姿态与分布式力、独立姿态信息能区分运动效应与真实力效应两项创新。局限包括内在肌和部分拇指动作在腕上难观测、纵向肌腱滑动在环向压力带中信号弱、强腕部信号会掩盖手指模式、约0.3 N以下存在检测下限、触觉手套未覆盖侧面背面和指蹼且缺少独立力参照、近真值动捕姿态使报告收益成为现实视觉系统的上限、当前小样本混合硬件队列未见跨用户迁移。未来应扩大同质数据与用户规模，研究大规模预训练加短校准、真实视觉姿态或物体与抓握上下文条件、EMG-FMG融合、内部肌张力估计，以及面向接触阶段、每指负载、模仿学习和遥操作等任务级消费者的数据。\n\n### 关键要点\n\n- 定制腕带采用PPS柔性电容压力阵列，小号含3个阵列共540个传感单元，大号含4个阵列共720个传感单元，无需皮肤电接触，流式采样率约为45至50 Hz。\n- 方法依据的生物力学机制是前臂外在肌收缩和肌腱位移会改变远端前臂的刚度与轮廓，从而在腕带-皮肤界面形成与姿态和接触力相关的压力模式。\n- 统一网络将压力图展平为一维向量，与时间差分分别编码后拼接，再由GRU进行序列到序列建模，可分别输出23维姿态、65维力或88维姿态力联合结果。\n- 姿态条件化力估计将外部提供的手部姿态与压力输入拼接，实验证明这种独立姿态信号可将每指力MAE降低约24%，而模型自身估计的姿态或简单多任务联合学习没有同等效果。\n- HP数据集包含1名参与者20次穿脱、415分钟的手指与腕部运动；FF数据集包含18次、348分钟的指尖力应力测试；HOM数据集包含4人55次、1160分钟的日常物体操作。\n- 主要评估采用每用户模型和留一次录音交叉验证，每次录音都是独立穿脱，因此结果反映了传感器位置和束带张力变化下的跨会话性能。\n- 在HP数据集上，平均手指关节MAE为4.56°，平均腕部MAE为4.75°，使用真值腕部方向时MPJPE为7.2 mm，使用预测腕部方向时端到端MPJPE为15.3 mm。\n- 在HOM数据集上，仅用压力估计每指力的平均MAE为0.59 N、R²=0.57；加入外部姿态后MAE为0.45 N、R²=0.75，每传感单元力的R²也从0.44升至0.61。\n- 力误差按真值大小分为三个区间：约0.3 N以下信号接近检测下限，0.3至5 N期间误差次线性增长且姿态条件持续有效，5 N以上因尾部样本减少而误差和用户差异增大。\n- 该系统适合与第一视角相机等设备配合，在手部可见时由视觉提供姿态、遮挡时由腕带接管，并补充视觉无法观测的力；跨用户泛化、真实视觉姿态接入和力参照完整性仍需进一步研究。"
}