{
  "paper_id": "6556b7069de2a7f5a5343a127a5dc6a9",
  "paper_title": "Visuo-Acoustic Hand Pose and Contact Estimation",
  "paper_authors": [
    "Yuemin Mao",
    "Uksang Yoo",
    "Yunchao Yao",
    "Shahram Najam Syed",
    "Luca Bondi",
    "Jonathan Francis",
    "Jean Oh",
    "Jeffrey Ichnowski"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "准确估计手部姿态和手物接触事件对于机器人数据采集、沉浸式虚拟环境和生物力学分析至关重要，但视觉遮挡、细微接触线索、纯视觉感知局限以及缺乏易用且灵活的触觉传感，使其仍具挑战。为此，本文提出 VibeMesh，一种将视觉与主动声学传感相融合的新型可穿戴系统，用于密集的逐顶点手部接触和姿态估计。VibeMesh 在人手上布置骨传导扬声器和稀疏压电麦克风，通过发射结构化声学信号并捕获其传播变化来推断接触引起的改变。为解释这些跨模态信号，作者提出一种基于图的注意力网络，处理同步音频频谱和由 RGB-D 得到的手部网格，以高空间分辨率预测接触。本文贡献包括：轻量、非侵入式的视觉声学传感平台；用于姿态与接触联合推理的跨模态图网络；覆盖多种操作场景、包含同步 RGB-D、声学和真值接触标注的数据集；以及实证结果，表明 VibeMesh 在准确性和鲁棒性上优于纯视觉基线，尤其在遮挡或静态接触场景中表现更好。\n",
  "keywords": [
    "手部姿态估计",
    "手物接触估计",
    "视觉声学传感",
    "主动声学传感",
    "可穿戴设备",
    "跨模态融合",
    "图注意力网络",
    "RGB-D",
    "MANO 手部网格",
    "机器人操作"
  ],
  "paper_institutions": [
    "Robotics Institute, Carnegie Mellon University, Pittsburgh, USA",
    "Bosch Center for Artificial Intelligence, Pittsburgh, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:22.696717Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n纯视觉手部姿态与接触方法依赖几何先验或模型拟合，在自遮挡、弱光、手物交互和静态接触时存在固有歧义；直接触觉手套通常笨重昂贵且空间分辨率有限，EMG 又易受电极位置和疲劳漂移影响，因此本文提出 VibeMesh，用腕部骨传导扬声器发射宽带白噪声，以五枚佩戴在手指上的 10 mm 压电接触麦克风采集 44.1 kHz 信号，并将声学传播变化与 RGB-D 重建的 MANO 手部网格融合。数据采集使用两台互补视角的 ZED Mini RGB-D 相机，在 1080p、30 fps 下记录 5 名右利手参与者与 19 个物体（14 个 YCB、3 个 HOPE、2 个 PLA 复刻物）的交互，每名参与者对每个物体完成 5 次 60 秒抓握释放，以覆盖不同几何、材料、手型和接触方式；真值流程用 SAM2 分割并传播手部点云，用 HaMeR 生成 778 顶点 MANO 初始网格，经标定外参、ICP、ARAP 融合和倒角距离阈值筛选，再用 ArUco 标记加 ICP 跟踪物体，并以手部顶点到物体表面 5 mm 内为接触生成逐顶点二值标签。模型中，音频经前 5 ms 无接触基线减除、35 ms 同步窗口、1024 点 FFT 与 512 点跳长的频谱图及归一化后，由微调 VGG 和通道自注意力生成 256 维音频嵌入；网格经两层 64、128 通道 GCN 和 4 头 256 通道 GAT 提取顶点特征，并通过全局注意力池化获得全局网格表征。其核心机制是将 z_global=[z_audio; z_mesh] 经 MLP 得到跨模态特征，再与顶点局部特征 h_i 拼接为 v_i，通过 α_i=σ(g_a(v_i)) 进行注意力门控并输出 ŷ_i=σ(g_p(v_i⊙α_i))，从而预测每个顶点的接触概率；训练采用按批次类别频率反比加权的二值交叉熵，以应对接触顶点仅占 5%–10% 的不平衡。该设置使用 Adam、初始学习率 0.001、批大小 32 并梯度累积至等效 512、dropout 0.2–0.3、RTX 4090 上训练 20 轮约 15 小时，用于验证声学与视觉在空间定位和接触判别上的互补性。实验以 F1 和预测/真值接触顶点间的倒角距离为指标，VibeMesh 平均 F1 为 0.327、倒角距离为 5.487 mm，相比纯视觉 Hold 基线的 0.117 和 31.33 mm 分别提升 179.4%、降低 82.5%；在未见物体上 F1 为 0.288、倒角距离为 6.042 mm，在未见受试者上 F1 为 0.302、倒角距离为 6.828 mm，消融中去除音频、去除视觉和去除融合模块的 F1 分别降至 0.096、0.218 和 0.287，证明两种模态及注意力融合均关键。该系统适用于机器人遥操作与数据采集、VR/AR/XR 和生物力学分析，尤其适合视觉遮挡和静态接触；局限包括尚未测试极强噪声环境、训练真值依赖多相机和基准标记等间接观测、当前流程先估计姿态再估计接触，未来可联合推理姿态与接触并探索更直接的高密度接触传感。\n\n### 关键要点\n\n- VibeMesh 使用腕部 Adafruit 骨传导扬声器发射白噪声，并在五根手指的 3D 打印 PLA 戒指上安装 10 mm 压电圆盘麦克风，以 44.1 kHz 采集主动声学响应。\n- 两台 ZED Mini 立体 RGB-D 相机以互补角度安装，均以 1080p、30 fps 记录，并使用 Zed AI 视差估计提升深度质量，从而减少手物交互中的遮挡。\n- 数据集包含 5 名右利手参与者和 19 个具有高质量网格的物体，其中 14 个来自 YCB、3 个来自 HOPE、2 个为匹配 YCB 物体的 PLA 打印复刻物。\n- 每名参与者对每个物体完成 5 次 60 秒会话，并被要求探索不同抓握姿态，以保证手型、接触区域和操作方式的多样性。\n- 真值标注流程结合 SAM2 手部掩码、HaMeR 的 MANO 初始网格、多视角点云、ICP 与 ARAP 融合，并通过倒角距离阈值丢弃对齐不佳的帧。\n- 物体姿态由 ArUco 标记初始化并经 ICP 精修，手部网格顶点距物体表面最近点在 5 mm 以内时被标记为接触，形成 778 个顶点的密集二值标签。\n- 音频预处理包括无接触基线减除、与视频帧对齐的 35 ms 窗口、1024 点 FFT 和 512 点跳长的 STFT、频域归一化与逐通道标准化。\n- 网格编码器由两层 GCN 和一个 4 头图注意力层组成，音频编码器使用微调 VGG 与通道自注意力，二者输出均为 256 维表征。\n- 完整 VibeMesh 在平均 F1 和倒角距离上分别达到 0.327 和 5.487 mm，显著优于 Hold 纯视觉基线的 0.117 和 31.33 mm。\n- 在未见物体和未见受试者设置下，VibeMesh 的 F1 分别为 0.288 和 0.302，倒角距离分别为 6.042 mm 和 6.828 mm，显示跨物体与跨用户泛化能力。\n- 消融实验表明，去除音频后 F1 降至 0.096，去除视觉后降至 0.218，去除跨模态融合模块后降至 0.287，说明声学线索、视觉空间定位和注意力融合均不可缺少。\n- 系统尚未在异常嘈杂环境中评估，训练标签依赖多视角相机和基准标记的间接几何观测，并且当前姿态与接触估计基本按顺序进行，这些是其主要应用约束。"
}