{
  "paper_id": "b01f07b8514fe58e3155fc75de96f901",
  "paper_title": "REACH: Hand Pose Estimation from Room Corners",
  "paper_authors": [
    "Shu Nakamura",
    "Ryo Kawahara",
    "Genki Kinoshita",
    "Ryosuke Hirai",
    "Yasutomo Kawanishi",
    "Shohei Nobuhara",
    "Ko Nishino"
  ],
  "publication_date": "2025",
  "publication_venue": "2026 IEEE 20th International Conference on Automatic Face and Gesture Recognition (FG)",
  "abstract": "本文提出一种新颖的3D手部姿态估计器，能够从安装在房间角落的固定相机所拍摄的极低分辨率且频繁遮挡的远距视角中，精确恢复室内人员手部的形状与姿态。核心思想是充分利用手-体协调、其时序演变以及多视角观测。我们通过一种新颖的基于Transformer的模型实现这一点，其中手部与身体配置通过以逐视角token表示的视觉特征之间的相关性进行建模，并以自回归方式利用其时序协调。我们引入了一个称为REACH（Room-Environment dataset Annotated with Chest cameras for Hand pose estimation）的新数据集来训练和测试该方法。REACH是首个此类大规模手部姿态数据集，捕获了50名参与者在广泛日常活动中的精确手部动作。为了避免在以精确形状和姿态标注手部时干扰自然动作，我们利用了隐藏的胸部相机。通过包括与现有方法对比研究在内的广泛实验，我们展示了我们的模型REACH-Net实现了从远处的精确3D手部姿态估计。这些结果拓宽了3D手部姿态估计的视野，尤其是面向“野外”连续人类行为分析。",
  "keywords": [
    "3D手部姿态估计",
    "多视角",
    "Transformer",
    "自回归",
    "手-体协调",
    "数据集",
    "遮挡",
    "低分辨率"
  ],
  "paper_institutions": [
    "Graduate School of Informatics, Kyoto University",
    "Kyoto Institute of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:34.737806Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从房间角落固定远距相机（典型距离5-10米）进行3D手部姿态估计的难题：手部分辨率极低（1080p画面中约20像素）且频繁被房间结构、人体自身及手持物体遮挡，多数依赖单视角或近距离观测的既有方法在此条件下必然失效。以往研究要么要求佩戴头戴式相机（自我视角），要么依赖4米内的近距离外视角，既束缚人体又干扰场景；现有数据集也需穿戴测量设备或密集布设相机，导致外观与动作偏差。本文核心洞察是远距非特写视角可捕获全身，可利用全身姿态与运动所携带的强上下文线索，结合多视角观测从稀疏观测中锁定3D手部姿态。提出的REACH-Net是基于Transformer编码器-解码器的自回归模型：手部特征（HaMeR骨干网络从裁剪手部图像提取）与身体特征（ImageNet预训练ResNet视觉特征经ViTPose二维关键点ROI对齐）以逐视角token形式融合建模手-体协调，查询token以自回归方式由前一帧输出初始化以利用时序协调；针对遮挡视角无法估计手部朝向的问题，提出多视角统一（MVU）机制，以各视角置信度对6D旋转表示加权平均：$\\tilde{O}^{W}=G^{-1}\\left(\\frac{\\sum_{n=1}^{N}c_{n}G\\left(R_{n}^{\\mathrm{F}\\top}O_{n}\\right)}{\\sum_{n=1}^{N}c_{n}}\\right)$。由于缺乏满足自然外观、房间尺度、多视角且带精确手部标注的现有数据集，作者构建了首个此类大规模数据集REACH：在约60平方米真实客厅中以16台天花板/墙壁相机（60FPS、2704×2028px，典型使用2-4台）记录50名参与者（27男23女、年龄均匀分布于20至60多岁）的多样日常活动，共540K帧带手部标注；标注借助隐藏于夹克下的两部175°视场GoPro胸部鱼眼相机与天花板ArUco标记及ORB-SLAM3，在世界坐标系下自动获得每帧MANO参数，既不干扰自然动作也不影响场景外观。实验以PA-MPJPE与关节角度误差为指标：REACH-Net分别达14.47mm与14.48°，全面优于HaMeR、WiLoR、ArcticNet-SF/LSTM、Body2Hands等经公平微调的基线，且远距（>8m）精度14.86mm可媲美最佳基线的近距（<4m）精度，验证了多视角与手-体协调创新的有效性；消融实验进一步证实多视角输入、身体姿态、自回归估计与光线嵌入各组件均显著贡献精度。跨房间泛化测试PA-MPJPE为15.12mm，在ARCTIC数据集上无需微调即达26.4mm MPJPE，显示对相机配置、环境与动作的泛化能力。该工作面向老人安全监护、儿童照看、意图与情绪理解等真实场景，其约束在于需已知相机间相对位姿且依赖手部位于身体前方的日常活动；未来可拓展至更广泛的“野外”连续人类行为分析。\n\n### 关键要点\n\n- REACH-Net是首个针对房间角落远距相机（5-10米）极端低分辨率（1080p中约20像素）和重度遮挡条件下进行3D手部姿态估计的方法。\n- 模型采用Transformer编码器-解码器架构，将手部特征（HaMeR骨干提取）与身体特征（ResNet视觉特征+ViTPose关键点ROI对齐）以逐视角token形式融合，建模手-体协调。\n- 自回归时序建模通过将前一帧输出初始化当前查询token实现，使模型能在临时遮挡期间保持鲁棒且平滑的姿态轨迹估计。\n- 多视角统一（MVU）机制为每个视角输出旋转置信度分数，对6D旋转表示进行加权平均，实现跨视角一致的手部朝向估计并稳定训练。\n- 模型仅使用相机间相对位姿（光线方向嵌入第一相机坐标系），对绝对相机位姿不变，可无需重训练泛化到任意标定相机布置。\n- REACH数据集在约60平方米真实客厅采集，16台相机中典型使用2-4台，50名参与者（27男23女，年龄均匀分布20-60多岁），共540K帧带手部标注。\n- 标注通过隐藏于夹克下的两部175°鱼眼GoPro胸部相机结合天花板ArUco标记与ORB-SLAM3实现，MediaPipe检测手部区域后用HaMeR估计MANO参数并转换到世界坐标系。\n- 标注精度验证：随机100帧人工标注对比显示MPJPE为30.60mm、PA-MPJPE为11.30mm，帧间关节角速度平均3.96°/帧，与现有数据集相当。\n- REACH-Net在PA-MPJPE（14.47mm）和关节角度误差（14.48°）上全面超越HaMeR、WiLoR、ArcticNet-SF/LSTM、Body2Hands等微调基线。\n- 按距离分组评测中，REACH-Net在近（<4m）、中（4-8m）、远（>8m）所有距离段均领先，远距精度14.86mm接近最佳基线的近距精度。\n- 消融实验表明移除多视角输入、身体姿态、自回归或光线嵌入任一组件均显著降低精度（Welch单尾t检验p=0.022），且单视角变体仍优于基线，凸显手-体协调的重要性。\n- 局限性：胸部相机无法捕获位于身体后方或过低的手部；方法需已知相机间相对位姿；伦理上该方法以低分辨率提取行为信息，降低身份泄露风险。"
}