{
  "paper_id": "b1320498ad8783c59275063c448ab368",
  "paper_title": "Towards Egocentric 3D Hand Pose Estimation in Unseen Domains",
  "paper_authors": [
    "Wiktor Mucha",
    "Michael Wray",
    "Martin Kampel"
  ],
  "publication_date": "",
  "publication_venue": "2026 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "我们提出V-HPOT，一种提升跨域第一视角3D手部姿态估计性能的新方法。现有方法在同域训练和测试时表现出色，但受限于训练数据不足与深度感知困难，容易过拟合特定相机内参，难以泛化到新环境。V-HPOT通过在按焦距和图像尺寸归一化的虚拟相机空间中估计关键点z坐标，实现与相机无关的深度预测；基于这种内参不变性，进一步提出自监督测试时优化策略，在预测姿态与经空间尺度变换的手部姿态之间施加3D一致性损失，使模型无需真值标注即可适应目标域特征。V-HPOT在H2O数据集上将平均姿态误差降低71%，在AssemblyHands数据集上降低41%；相比现有方法，它在所有数据集上超过单阶段方法，并能与两阶段方法紧密竞争，而所需数据约少3.5至14倍。\n",
  "keywords": [
    "第一视角3D手部姿态估计",
    "跨域泛化",
    "虚拟相机",
    "测试时优化",
    "自监督学习",
    "深度一致性",
    "相机内参",
    "伪深度估计"
  ],
  "paper_institutions": [
    "Computer Vision Lab, TU Wien",
    "SoftServe Inc., Kraków, Poland",
    "University of Bristol"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:35.462411Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现有第一视角3D手部姿态估计方法在同域训练与测试时表现良好，但在未见域中会因3D标注数据有限、单目深度感知模糊以及过拟合源相机内参而显著退化；两阶段方法可先检测手部再估计姿态，并能利用大规模无3D标注数据预训练检测器，却会增加计算开销、引发级联错误，并因紧裁剪丢失手物交互上下文，而单阶段方法直接从全帧预测关键点、保留场景上下文，却大多缺少跨传感器和跨场景验证。为此，本文提出单阶段方法V-HPOT：训练时将度量深度按焦距与图像高度归一化到统一虚拟相机空间，固定虚拟参数H_v=720、f_v=512，使深度预测不依赖具体相机内参，并支持深度尺度增广；网络以EfficientNetV2-S为骨干，x、y坐标由每只手独立的热图上采样器估计，z坐标由MLP回归，同时加入DPT-Hybrid生成的伪深度图作为辅助L1任务，并联合热图IoU、虚拟深度L1和左右手分类交叉熵损失。测试时，模型先产生初始3D姿态P_init，再用n=2个服从U(1.0,1.25)的随机缩放因子S_i生成模拟相机距离变化的深度增广姿态P^{→S_i}，并通过核心自监督机制L_test-time=Σ_i||S_i·P_init−P^{→S_i}||_1优化特征提取器、冻结姿态头，从而在无目标标签的情况下改进深度感知。实验以HOT3D为源域，以RGB的H2O和单色、域偏移更强的AssemblyHands作为3D目标域，并在无3D标注的野外Epic-Kpts数据上评估2D投影，这些设置可验证不同传感器、场景、图像模态和真实环境下的泛化能力；实现中输入为224×224图像，批大小32，使用SGD训练50个epoch，每组实验重复3次，TTO仅使用目标测试集前5%帧在线适配，H2O对比时固定为960帧，随后停止更新。评估指标包括MPJPE、根对齐MPJPE-RA、衡量双手根节点绝对位置关系的MRRPE以及2D投影L2误差；结果显示H2O的MPJPE由179.6 mm降至53.3 mm，AssemblyHands由297.7 mm降至174.5 mm，论文分别报告约70%/71%和41%的降幅，Epic-Kpts的L2误差降低约30%并达到8.45像素，这些结果支持了虚拟相机表示和3D一致性优化对跨域深度感知的关键作用。V-HPOT超过所有对比的单阶段方法，并以少约3.5至14倍的训练数据与两阶段方法竞争，适用于VR/AR、机器人操作技能迁移、辅助技术和非受控第一视角应用；其主要约束是需要少量目标测试帧进行在线适配、依赖单目RGB输入，并且在手靠近或正对相机、AssemblyHands强畸变等场景下容易失败，未来需要补充近相机数据、设计畸变感知增广并跨数据集归一化视场。\n\n### 关键要点\n\n- V-HPOT是单阶段第一视角手部姿态估计网络，使用EfficientNetV2-S提取全图特征，每只手用独立上采样器生成21个关节的热图，并用MLP回归深度。\n- 虚拟相机空间将度量深度按源图像焦距、图像高度与统一虚拟参数归一化，实验采用H_v=720、f_v=512，从而降低模型对特定相机内参的依赖。\n- 训练目标包括伪深度图L1损失、热图IoU损失、虚拟深度z_v的L1损失以及左右手存在性分类的交叉熵损失。\n- 伪深度辅助任务由DPT-Hybrid生成监督信号；消融表明该任务能改善所有目标数据集上的跨域指标。\n- 测试时优化使用2个随机深度缩放，缩放因子采样自U(1.0,1.25)，并要求初始3D姿态与缩放后再预测的姿态保持3D一致。\n- TTO只优化特征提取器权重、保持姿态预测头冻结，并在目标测试数据前5%帧上在线完成；在H2O对比实验中固定使用960帧。\n- 主要跨域设置为在HOT3D上训练、在H2O和AssemblyHands上测试，另在无3D标注的Epic-Kpts上通过2D投影评估野外性能。\n- H2O的MPJPE从179.6 mm降至53.3 mm，AssemblyHands从297.7 mm降至174.5 mm；MRRPE和2D L2误差也同步下降。\n- 与单阶段方法相比，V-HPOT在所有目标数据集和指标上均更优；与两阶段方法相比性能接近，但训练数据少约3.5至14倍。\n- 失败案例主要出现在手靠近或正对相机以及AssemblyHands强畸变场景，论文建议通过近相机数据采集、畸变感知增广和视场归一化改进。"
}