{
  "paper_id": "07388be6cd0ad4161ce92f955b65fd88",
  "paper_title": "EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision",
  "paper_authors": [
    "Yiming Zhao",
    "Taein Kwon",
    "Paul Streli",
    "Marc Pollefeys",
    "Christian Holz"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "触觉接触和压力对于理解人类如何与物体交互及操纵物体至关重要，这些信息可显著惠及混合现实和机器人应用。然而，从第一视角相机估计此类交互非常困难，主要原因是缺少同时提供接触表面上准确手部姿态和详细压力信息的综合数据集。本文提出EgoPressure，这是一个捕捉详细触觉接触与压力交互的新型第一视角数据集。EgoPressure为每个接触点提供高分辨率压力强度标注，并通过所提出的多视角、基于序列的优化方法处理8相机采集装置的数据，得到准确的手部姿态网格。数据集包含21名参与者的5小时交互记录，由1个头戴相机和7个固定Kinect相机以30 Hz同步采集RGB图像和深度图。为支持未来研究与基准测试，本文提出多个从RGB图像估计外部表面所受压力的基线模型，分别比较使用和不使用手部姿态信息的情况，并进一步探索手部网格与所受压力的联合估计。实验表明，压力和手部姿态对于理解手物交互具有互补性。项目页：<https://yimingzhao.github.io/EgoPressure/。>\n",
  "keywords": [
    "第一视角视觉",
    "手部压力估计",
    "手部姿态估计",
    "手部网格",
    "多视角RGB-D",
    "触觉接触",
    "压力UV图",
    "数据集",
    "PressureFormer"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "Microsoft Spatial AI Lab, Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:03.636208Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决的问题是从第一视角RGB图像中理解裸手与平面接触时的接触位置和压力强度，以支撑混合现实触觉反馈、桌面输入和机器人灵巧操作；相关研究多依赖手套、机械臂触觉传感器或静态外拍相机，PressureVision虽提供压力标签却缺少第一视角与精确3D手部姿态，且手套和表面传感器会改变视觉外观或干扰自然触觉。为此，作者提出EgoPressure数据集和无标记标注方法：采集系统将Sensel Morph压力板与1个头戴Azure Kinect、7个固定Azure Kinect结合，所有RGB-D帧以30 Hz硬件同步，选择该设置是因为头戴视图对应智能眼镜或MR头显，多视角标定视图可为MANO网格提供几何约束，压力板则提供逐接触点真值。数据集共4.3M帧、5.0小时、21名参与者、31种双手手势、四种表面纹理，并记录约45.1%的接触帧，可验证压力估计、手部姿态估计及跨视角泛化。标注阶段先用HaMeR初始化、三角化根关节并由SAM获得手部掩码，再通过DIB-R可微渲染分姿态优化和形状细化，引入沿法向的顶点位移；其核心机制是在压力板下方设置虚拟正交相机，将压力优化为手部UV纹理，并用目标 L=MSE(R_P(Θ*,T_P),P_gt)+|I(P_gt>0)⊙(R_D[z](Θ*)-Z_v2p)|_1 同时对齐压力渲染和物理接触深度。基准包括PressureVisionNet、加入HaMeR预测或真值2.5D关节的扩展模型，以及基于HaMeR/ViT、直接回归手部UV压力并可微渲染回图像的PressureFormer；评价采用Contact IoU、Volumetric IoU、MAE和时序准确率。结果显示，第一视角下加入HaMeR姿态使Volumetric IoU由38.64%升至40.52%，真值姿态升至41.39%；在未见过的外视角上，真值姿态将Volumetric IoU由25.05%提升到31.39%，MAE由62.22 Pa降至49.45 Pa；PressureFormer在图像Contact IoU达43.04%，UV压力Contact/Volumetric IoU达33.12%/24.54%，支持手部姿态与压力互补以及压力在3D手部区域定位的创新。真实应用包括AR/VR按压力度反馈、桌面虚拟钢琴和机器人抓取学习，但当前数据限于室内刚性平面、单手交互和受控背景，未来需扩展到任意物体、非平面几何、双手协作与自然场景。\n\n### 关键要点\n\n- EgoPressure被作者描述为首个同时包含第一视角裸手压力、3D手部姿态和手部网格标注的触觉交互数据集。\n- 数据采集使用1个头戴Azure Kinect、7个固定Azure Kinect和Sensel Morph压力板，所有设备同步记录30 Hz的RGB、深度和压力数据。\n- 数据集包含21名参与者、5.0小时、4.3M个RGB-D帧、31种手势以及四种压力板表面纹理，静态相机分辨率为2560×1440，头戴相机分辨率为1920×1080。\n- 无标记标注先用HaMeR生成初始MANO姿态，通过7个视角三角化根关节，再用SAM获得手部掩码，随后利用DIB-R可微渲染优化姿态、形状和顶点位移。\n- 压力板下方的虚拟正交相机把压力作为手部UV纹理进行渲染，并通过压力MSE和接触深度L1约束保证渲染压力与传感器真值及物理接触一致。\n- 图像压力基线在PressureVisionNet的RGB输入外增加21个手部关节的2.5D深度通道，并分别测试HaMeR预测姿态和高保真真值姿态。\n- 第一视角实验中，PressureVisionNet的Volumetric IoU为38.64%，加入HaMeR姿态后为40.52%，加入真值姿态后为41.39%，表明手部姿态有助于压力估计。\n- 模型在相机2、3、4、5上训练并在相机1、6、7上测试时，真值姿态使Volumetric IoU从25.05%提升到31.39%，显示姿态信息能改善未知视角泛化。\n- PressureFormer以HaMeR手部顶点和ViT图像特征为输入，直接预测量化UV压力图，其UV压力Contact IoU和Volumetric IoU分别达到33.12%和24.54%。\n- 人工标注验证显示，所提优化方法的指尖3D误差为5.68 mm，低于HaMeR的12.37 mm，说明多视角优化可生成更可靠的网格标注。\n- 当前数据集的主要约束是只包含室内环境、刚性平面和单手交互，因此对任意物体、非平面表面、双手操作和真实野外场景的适用性仍需进一步验证。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}