# REACH：基于房间角落的手部姿态估计
中村修 $^{*}$ 川原亮 $^{*}$ 木下玄基 $^{*}$ 平井亮辅 $^{*}$
川西康智 $^{\dagger}$ 信原翔平 $^{\ddagger}$ 西野浩 $^{*}$
$^{*}$京都大学信息学研究科
$^{1}$京都工艺纤维大学
(a) Two input views
(b) Estimated 3D hand poses of both hands
Fig. 1: We achieve accurate hand pose estimation from videos captured from afar, typically from a few (2 or 3) cameras mounted at room corners observing a freely moving person. (a) shows two views input to our model. Notice the heavy occlusions and significantly limited resolution of the hands (25 pixels in a 2.7K image). As shown in (b), we fully leverage body coordination and multiview features to successfully estimate hand poses even in such extreme viewing conditions.
摘要—我们提出了一种新型的3D手部姿态估计器，它能够从远处精准还原人们在房间内的手部形状与姿态，这类场景通常是从房间角落的固定摄像头拍摄得到的极低分辨率且常被遮挡的画面。我们的核心思路是充分利用手部与身体的协同关系、其时间演变规律以及多视角观测数据。我们通过一种新型的基于Transformer的模型实现这一目标：该模型将手部与身体的配置通过各视角标记所表达的视觉特征之间的相关性来建模，并以自回归的方式利用它们的时间协同性。我们推出了一个名为REACH的新数据集——即标注有胸部摄像头的用于手部姿态估计的房间环境数据集，用于训练和测试我们的方法。REACH是首个大规模手部姿态数据集，它记录了50名参与者在各类日常活动中的精确手部动作。为了在对手部进行精确形状和姿态标注时不影响自然动作，我们采用了隐藏式胸部摄像头。通过大量实验，包括与现有方法的对比研究，我们发现我们的模型REACH-Net能够从远处实现高度精确的3D手部姿态估计。这些成果拓展了3D手部姿态估计的研究视野，尤其为“野外”连续人类行为分析提供了新可能。
## 一、引言
3D手部姿态估计在理解人类行为及其内在意图方面发挥着关键作用。持续估计自由移动人群的手部姿态，同时不阻碍他们的身体活动或视线，有助于更好地洞察人们日常生活中的自然行为。对于某些应用场景（如虚拟现实体验），使用可穿戴摄像头、标记物及设备（如手套、腕带）来进行侵入式手部姿态捕捉或许可以接受，但这类方式在日常使用中会造成极大负担。我们设想将3D手部姿态作为理解室内人群行为的视觉线索，例如监测老年人的安全状况、照看儿童以及判断他们的内心状态。能够在此类日常场景中精准估计手部姿态，能为解读人们的意图和情绪提供更多信息——比如通过视觉判断某人试图将杯子递给他人而非自己使用，这对人类或机器人的干预具有广泛意义。为此，非侵入式的捕捉与估计技术至关重要。
正如我们稍后将详细综述的那样，以往的视觉手部姿态估计研究需要采用自我视角[^16]，通常是安装在眼镜上的摄像头；或者本质上依赖从较近距离拍摄的外部视角[^3]，距离一般不超过4米。这些方法要么要求使用者佩戴摄像头，从而限制使用者的活动；要么需要在场景中布置大量摄像头，这不仅会被使用者察觉，也会在拍摄到使用者的画面中显现出来。理想情况下，我们希望能利用安装在房间角落（如天花板上）的少量摄像头来精准追踪3D手部姿态，这样既不会妨碍人们的活动，也不会扰乱场景布局。
从这种固定视角的摄像头实现精确的3D手部姿态估计，其关键挑战在于摄像头距离手部较远，通常为5到10米，导致手部的分辨率极低（例如，在1080p画面中仅20像素）。更糟糕的是，由于视角是固定的且不会随手部移动，手部常常会被房间本身、人自身以及其所持物体遮挡，从而导致某个视角下根本没有手部区域的像素。大多数依赖单视角手部观测的过往研究[^10] [^29] [^30] [^39] 都不可避免地失败了，因为手部太小或完全被遮挡。即便有多个视角可用，
---
但如何充分利用它们并不明显，因为没有明确的方法来判断哪个摄像头能拍摄到更清晰的手部图像。
我们如何才能从远处实现3D手部姿态估计呢？如何利用仅仅安装在房间角落的摄像头来获取房间里人的精确3D手部姿态呢？我们的核心见解是：非特写视角能够捕捉到人的整个身体，这为我们提供了充分利用全身姿势和动作所携带的强上下文线索的机会，从而从分辨率和视角均受限的稀疏观测中确定3D手部姿态。特定的身体姿势可以指示某种特定的手部姿态，这有助于弥补手部外观细节不足的问题。然而，利用身体姿态并非易事，因为手部的细微动作与整体身体姿势之间的关系极其复杂且非线性。在没有办法知道任一时刻哪个摄像头视图能提供最有用信息的情况下，利用多视角摄像头也并非易事（因为我们得先知道手部姿态才能判断！）。我们的主要贡献是一种新颖的手部姿态估计器，它能充分利用手部与身体的协同作用，从而在远处实现精确的手部姿态估计，并且对频繁遮挡具有鲁棒性。我们将这种新颖的手部姿态估计器称为REACH-Net。REACH-Net在编码器-解码器Transformer架构中整合了来自不同视角的手部、身体及身体姿势的视觉特征，从而能够充分利用多个远距离视角。REACH-Net以自回归的方式充分利用这些多视角下手部与身体的时间协同关系。
我们需要一个数据集来捕捉真实房间环境中各种自然人类活动，且该数据集需包含稀疏但多个远距离摄像头，以便训练和评估我们提出的方法。据我们所知，这样的数据集并不存在；现有数据集要么是通过头戴式摄像头和标记物来捕捉人物，要么是在环境中四处布置近距离摄像头，这必然会扭曲人物和场景的外观。我们介绍一种新颖的数据集，称之为用于手部姿态估计的胸部摄像头标注房间环境数据集（REACH）。REACH采集了50人在真实客厅中进行的涵盖各类物体的多种活动场景，共计超过540,000帧图像。通过隐蔽的小型胸部摄像头和天花板上的标记物来实现精确的手部姿态标注，而这些从远距离摄像头来看几乎不可见。REACH使我们能够训练模型，并在公平条件下对其准确性进行彻底评估，以与现有方法对比。结果显示，与以往方法相比，我们的新方法具有更高的精确度，尤其是在存在严重遮挡的棘手情况下。我们的代码和数据集可在项目页面上获取。
本文的贡献主要有三点。
1) REACH-Net是一种新颖的方法，能够在极低分辨率且严重遮挡的情况下，从远距离视图中估计三维手部姿态。
2) REACH是一个大规模数据集，包含了人们在室内进行的“自然场景”活动，且这些活动对应的三维手部姿态均经过精确标注。
3) 大量实验证明了REACH-Net的有效性，它在从远距离进行具有挑战性的三维手部姿态估计任务中达到了最先进的精度。
### II. 相关工作
我们首先回顾一下以往在手部姿态估计领域的方法和数据集。
### A. 手部姿态数据集
手部姿态估计的数据集收集工作本质上存在一种恶性循环：要自动收集大规模数据集，精准的手部姿态估计方法至关重要；但要训练出这样的方法，又需要大规模数据集。为解决这一难题，以往的研究采用不同方式来测量手部姿态，例如测量手套 [^24]、磁传感器 [^13]、头戴式摄像头 [^1] [^3] [^12] [^14] [^26] 以及动作捕捉技术 [^21] [^37]。这些方法的缺点是参与者需要佩戴特殊设备，这必然会改变其外观并妨碍他们的自然动作。为缓解这一问题，一些研究使用一台或多台RGB-D摄像头 [^4] [^6] [^13] [^15] [^20] [^26]，而另一些研究则利用密集安装的RGB摄像头 [^35] [^36] [^41]，利用多视角几何原理来恢复手部姿态。不过，这些方法需要近距离的摄像头视角，这往往会限制参与者的活动，还会使视觉环境变得杂乱，从而导致视觉数据中存在固有偏差。
IKEA-ASM [^2] 在房间规模的环境中从相对较远的距离（3米到4米）收集自然的组装动作数据，但由于没有标注手部姿态，因此不适合用于训练手部姿态估计模型。Panoptic Hand Keypoint Dataset [^36] 采用引导式方法在世界坐标系下标注手部关键点，该方法通过反复训练关键点估计器并利用模型估计出的关键点来标注手部关键点。当可用的视角数量较多时（他们的实验中使用了31个摄像头），这种方法效果很好；但随着视角数量的减少，数据集的质量也会下降。当参与者在房间规模的环境中自由活动时，这一假设便无法成立，因为在普通住宅中安装如此多的摄像头是不现实的。
其他数据集，如HInt [^29] 和WHIM [^30]，是从现有数据集或网络爬取视频中收集手部图像，但这些数据集缺乏多视角观测数据，而多视角观测对于克服遮挡问题至关重要。与我们需求最接近的是RICH [^19]，它通过惩罚与场景网格的交集来标注SMPL-X姿态。不过，由于这类手部姿态是根据远距离拍摄的图像估计得出的，且标注误差也未经过评估，因此其手部姿态估计的准确性无法得到保证。
总之，如表I所示，现有数据集未能在自然美观（即视觉上不杂乱的日常场景）的房间规模环境中，结合物体交互情况来捕获世界坐标系下的手部姿态。而这些要素，连同多视角观测数据，对于推导和……
---
评估在实际环境中远距离手部姿态估计的方法。
### B. 单目手部姿态估计
随着VR和AR头戴设备的普及，单视图手部姿态估计已成为热门的研究课题。HaMeR [^29] 是一种基于ViT [^9] 的手部网格估计模型，可直接从单目图像中估算MANO [^32] 参数。WiLoR [^30] 是一款先进的单目手部姿态估计模型，它先利用基于ViT的Transformer得到初始估计结果，再通过输出特征图进一步优化该结果。Fan等人 [^11] 提出了一种利用手部及手指关节的时间特征来构建鲁棒低分辨率特征的手部姿态估计方法。不过该方法仅适用于“稍远距离”的场景（最远几米），此时手指仍清晰可辨。相比之下，我们的研究重点是房间尺度的环境：摄像头不会遮挡场景本身，即安装在房间角落；这种情况下距离通常超过几米，一般在5到10米之间，且手部和手指关节无法被分辨。由于Fan等人并未提供训练好的模型和代码，因此无法与我们的方法进行直接比较。我们的代码和数据集可在项目页面上获取。
### C. 多视角手部姿态估计
为了实现这种距离下的手部姿态估计，我们利用了手部与身体的协同作用，而非仅仅关注手部本身。一些方法会利用身体姿态作为手部姿态估计的先验 [^25] [^28] [^31]，即先估算身体姿态，再据此推断手部姿态。这类方法局限于单视角，且这种级联建模也无法充分利用手部与身体之间复杂的整体协同关系。我们借助一种新型的Transformer架构来捕捉这种强烈的上下文线索，并通过自回归估计来利用时间上的协同关系。
已有一些利用多视角手部观测数据的方法被提出。MuViHand-Net [^23] 是一种基于LSTM的手部姿态估计方法，它利用多视角视频输入，但要求观测数量固定、观看方向固定，且需对手部进行近距离跟踪。UmeTrack [^16] 将不同视角的图像作为可选输入，采用循环神经网络来稳健地估计时间上一致的手部姿态，以应对遮挡问题。MVHM [^7] 也提出了一种多视角手部姿态估计器，并配套了多视角数据集。不过这些方法都假设输入为高分辨率的手部图像。而我们的研究重点是从远距离进行手部姿态估计，用于房间尺度的非侵入式监测，此类场景下无法获得近距离视图。
### III. REACH数据集
我们首先介绍全新的REACH数据集，该数据集通过壁挂式摄像头捕捉日常自然的人类动作，并提供了世界坐标系下精确的3D手部姿态和位置标注。REACH在规模、自然外观、非侵入性以及标注方面均属同类首创。如图3所示，手部姿态在世界坐标系下进行了标注，可轻松投影到任意摄像头视野中。实现这种大规模标注的一个关键思路是：采集参与者佩戴的胸挂摄像头所拍摄的近距离手部图像，这些图像不会被固定的远视角摄像头捕捉到。此次数据采集已获得京都大学机构审查委员会的批准（KUIS-EAR-2020-002），所有参与者均已签署知情同意书。
### A. 数据集特点
为了训练并评估能够从远距离视角的多视角RGB图像或视频输入中估计手部姿态的模型，该数据集需满足两个要求。首先，它必须在外观自然的环境中采集，且固定摄像头无法看到任何标记或测量设备。其次，该环境应足够大，并能捕捉到与各类家居物品的互动场景，从而涵盖日常室内场景中可能出现的各种活动。如表I所示，据我们所知，REACH是首个满足这些要求的数据集。
该数据集是在一个面积约60平方米的真实客厅中采集的，室内有各类家具和物品，包括衣柜、电视显示器、餐桌、空调遥控器、毛绒玩具、笔和纸、台灯以及冰箱。我们在这间客厅中采集了50名参与者（27名男性和23名女性）的动作序列，他们的年龄分布在20岁到60岁之间。我们要求每位参与者进行各种日常活动，例如“擦拭桌子”“从书架上取书并在沙发上阅读”“拿遥控器换频道”以及“把地上的衣服叠好并放进衣柜”。
该房间内安装了16台摄像头，分别位于天花板角落和墙壁上。通常会有2到4台摄像头用于训练和推理。采集前后会通过频闪灯对摄像头进行同步，它们以60 FPS的帧率拍摄分辨率为$2704\mathrm{px} \times 2028\mathrm{px}$的视频。由于摄像头安装在房间角落，不会妨碍参与者的自然活动。采集前会对摄像头的姿态和天花板上的标记位置进行校准。总共我们从固定摄像头采集了100万帧视频，其中54万帧视频捕捉到了胸部摄像头拍摄的手部画面。
### B. 自动数据标注
我们会为每一帧图像标注MANO [^32]手部参数（形状参数和关节角度参数）以及手在世界坐标系中的位置。标注这些数据颇具挑战性，因为手部常常被环境中的各种物体遮挡，而且往往距离固定摄像头很远——而这正是我们在这项研究中希望克服的难题，旨在让手部姿态估计技术能在真实场景中实际应用。
为避免这些问题，我们使用安装在胸部的鱼眼摄像头，并用夹克将其完全遮盖，以免影响被拍摄者的外观。我们还在房间天花板上安装了ArUco标记[^33]，以便
---
| Dataset | No Vis. Dev. | Nat. Img. | M/V HPA | Room-Scale | Act. Labels | Modalities | # of subj. | # of Frames |
| MuViHand [^23] | ✓ | ✗ | ✓ | ✗ | N/A | RGB | N/A | 402K |
| TRUMANS [^21] | ✓ | ✗ | ✓ | ✓ | Provided | RGBD | N/A | 1.6M |
| MVHM [^7] | ✓ | ✗ | ✗ | ✗ | N/A | RGB | N/A | 320K |
| ParaHome [^24] | ✗ | ✗ | ✓ | ✓ | H/O contact | N/A | 38 | 875K |
| DexYCB [^6] | ✓ | ✓ | ✓ | ✗ | N/A | RGBD | 10 | 582K |
| Ego-Exo4D [^14] | ✓ | ✓ | ✗ | ✓ | Provided | RGB | 740 | 139M |
| ARCTIC [^12] | ✗ | ✓ | ✓ | ✗ | H/O Contact | RGB | 10 | 243K |
| HOI4D [^26] | ✗ | ✓ | ✗ | ✓ | Provided | RGBD | 4 | 2.4M |
| IKEA-ASM [^2] | ✓ | ✓ | ✗ | ✓ | Provided | RGB | 48 | 3M |
| HInt [^29] | ✓ | ✓ | ✗ | ✗ | N/A | RGB | N/A | 40.5K |
| WHIM [^30] | ✓ | ✓ | ✗ | ✗ | N/A | RGB | N/A | 2M |
| InterCap [^20] | ✓ | ✓ | ✓ | ✗ | Use/Check/Pass | RGBD | 10 | 67K |
| EPFL-SK30 [^3] | ✗ | ✓ | ✓ | ✓ | Provided | RGBD | 16 | 321K |
| REACH (Ours) | ✓ | ✓ | ✓ | ✓ | N/A | RGB | 50 | 540K |
TABLE I: Comparison of different human hand pose datasets. Each column describes the following. No Vis. Dev.: whether the dataset is captured without any visible devices; Nat. Img.: whether the dataset comes with natural images; M/V HPA: whether the hand pose is annotated from more than one view; Room-Scale: whether the dataset is captured in a room-scale area; Act. Labels: whether the dataset provides action labels such as hand-object contact; and Modalities: the image modalities provided by the dataset. REACH is the first large-scale dataset that captures hand pose in a room-scale environment from multiple viewpoints with natural appearance and movement.
Fig. 3: Sample images from the REACH dataset. The leftmost column shows images captured by the chest cameras (used only for annotation), and the other columns show images captured by the fixed-view room cameras. The ground truth hand (red for the left hand and blue for the right) is overlaid on the fixed-view images. The hand pose is estimated from the chest cameras and triangulated to the world coordinate system.
准确估算胸部摄像头在世界坐标系中的姿态。需要注意的是，这些标记并未设置在参与者周围或场景物体上，因此实际上不会影响所采集房间的外观。这一点同样很重要，可避免对场景外观造成偏差。
如图4所示，我们使用胸带将两台GoPro 12相机安装在参与者的胸部。这些GoPro相机配备了Max Lens Mod 2镜头，其视场角为$175^{\circ}$。只要手部位于胸部前方，胸部相机就能捕捉到手部图像，而这在大多数日常活动中都是如此。需要注意的是，与头戴式相机（如VR/AR头盔）不同，使用者无需注视自己的手，这大大扩展了数据集中可采集的日常活动范围，远远超出了那些需要专注于手部动作的活动，比如烹饪。我们要求参与者在相机外穿上夹克，以遮挡相机，使其不会被房间内的摄像头捕捉到。夹克的胸部位置有两个孔用于安装相机，孔的大小刚好能让相机镜头伸出。胸部相机和天花板上的标记几乎不可见，环境看起来十分自然，这一点可从图1和图3中看出。
胸部相机的宽视场角使其能够捕捉到天花板上的ArUco标记，这些标记用于估算相机在世界坐标系中的姿态。我们结合了两种相机姿态估算方法：利用天花板标记进行PnP计算，以及采用ORB-SLAM3 [^5]算法。密集相机
---
Fig. 4: Clothing for the capture. During capture, the participants wore a chest strap mounted with two fisheye cameras and a jacket over it. This setup (a) captures closeup views of both hands with two fisheye cameras, (b) does not alter the natural appearance of the person, and (c) does not hinder the dynamic movements occurring in daily activities.
由ORB-SLAM3估算出的轨迹会通过标记估算的相机姿态转换到世界坐标系中。
从胸部相机视频中获取手部姿态并非易事，因为鱼眼镜头会导致手部图像严重畸变。我们采用了三步法：首先检测大致的手部区域，接着从该区域的无畸变图像中估算手部网格，最后利用估算出的胸部相机姿态计算出手部在世界坐标系中的原始朝向。我们利用MediaPipe [^27]在鱼眼图像中检测手部区域，该工具会给出胸部相机图像中手部的边界框。根据边界框，我们生成一个无畸变的虚拟相机，该相机对准边界框的中心，且其视场角与边界框较长边对应的视场角一致。我们将这个虚拟相机相对于胸部相机的旋转称为$\mathbf{R}_i^{\mathrm{C}}$。随后，我们将裁剪后的图像缩放至256像素×256像素，并使用HaMeR [^29]来估算MANO形状参数$\beta$、姿态参数$\theta$以及手部朝向O。世界坐标系中的手部朝向是通过转换朝向$O^{\mathrm{W}} = (\boldsymbol{R}\boldsymbol{R}_i^{\mathrm{S}})^{\top} \boldsymbol{R}_i^{\mathrm{C}} \top O$得到的。关于如何获取转换到世界坐标系的旋转参数的详细信息，请参阅补充材料$\boldsymbol{R}\boldsymbol{R}_i^{\mathrm{S}}$。最后，手部网格会被缩放至与每位受试者事先测量的手部实际尺寸相匹配。
为了标注世界坐标系中的手部位置，我们使用了固定摄像头拍摄到的三角测量手腕关键点，因为我们发现胸部相机的平移估算结果不够精确。详细内容请参阅补充材料。
图3展示了REACH数据集中的样本帧。最左侧一列是胸部相机拍摄的示例图像。得益于我们的多阶段处理流程，即使手部远离图像中心且被鱼眼镜头严重畸变，也能准确估算出手部姿态。其他列展示了固定摄像头拍摄的示例图像，上面叠加了真实的手部姿态。
### C. 局限性
胸部安装的摄像头无法捕捉到手位于身体后方或过低而超出摄像头视野时的手部姿态。不过需要注意的是，大多数涉及手部运动的日常活动都发生在身体前方且高度适中，这类区域正好在宽视场角摄像头的捕捉范围内，数据集中也体现了这一点。胸部安装的摄像头可能会限制某些上半身动作，但我们发现参与者能够自然地完成大部分日常活动，也没有参与者反映因摄像头存在而无法进行某些动作。
### 四、REACH-NET
我们提出了REACH-Net，这是一种新颖的3D手部姿态估计器，它能够从远距离的多视角视频中递归地估计3D手部姿态。REACH-Net充分利用手部与身体的协同作用，从而准确且稳健地从远距离估计手部姿态。如图5所示，我们精心设计了基于Transformer的递归模型REACH-Net，它以多段远距离视频为输入，输出每个视角的3D手部姿态估计结果。该方法仅使用相对相机姿态，这对于将其推广到真实环境中的任意已标定相机设置至关重要。具体来说，输入是安装在房间天花板和墙壁上的几台（通常为2或3台）摄像头拍摄的视频，输出则是每只手的MANO参数$\{\beta_c, \theta_c\}_{c\in\{l,r\}}$以及它们从各视角观察到的旋转和平移信息$\{R_{c,n}, T_{c,n}\}_{c\in\{l,r\},n\in\ldots N}$。
### A. 手部与身体的协同作用
对于时间$I_{n,t}$下来自各视角$n \in \{1...N\}$的每张输入图像$t \in 1...T$，我们会提取手部特征和身体特征。手部特征是从裁剪后的手部图像中获取的，以便在手部未被遮挡时利用手部的外观信息。身体特征则结合了全局图像特征和身体关节位置，用以编码全身的姿态和外观，即便在手部被遮挡时也能引导稳健的手部姿态估计。
我们会以每只手为中心裁剪出一个正方形区域，其宽度和高度设定为根据关键点计算出的目标人物身高的一半，随后将该区域送入HaMeR的Transformer主干网络[^29]以获取手部姿态特征。为了计算身体特征，我们从ImageNet[^8]预训练的ResNet[^18]的第三个模块中提取输入图像的256维视觉特征，并通过ROI align[^17]操作，针对由ViTPose[^38]估算出的2D身体关键点周围的区域提取特征。我们添加了两种可学习的位置编码来描述身体关节的姿态：第一种是关节相对于人物边界框中心的位置，第二种是身体关节的索引。这些数值会被线性投影为与视觉特征相同的尺寸。为了建模身体关节之间的关系，我们用一个轻量级的Transformer编码器处理这些特征，我们将其称为姿态编码器。我们从该编码器的CLS标记输出中获取身体特征，该标记初始时为一个可学习的向量。随后将手部特征和身体特征拼接起来，得到图像特征$\{e_n^t\}_{n\in\dots N}$。
### B. 多视角协同作用
REACH-Net利用Transformer编码器-解码器架构来融合图像内部及图像之间的特征，从而实现跨任意视角的稳健手部姿态估计。
时间t的解码器会接收到查询标记$\{q_n^t\}_{n\in1\ldots N}$和CLS标记$q_C^t$。每个$q_n^t$都用于
---
Fig. 5: Network architecture of REACH-Net. The input is multiview videos, and the output is a 3D hand reconstruction. After extracting features from each frame, a Transformer encoder-decoder architecture integrates the spatio-temporal features. The decoder's output tokens are used to estimate hand pose parameters.
估算第n个摄像头所拍摄的裁剪后手部图像中的手部位置（平移$T_n$与旋转$R_n$），而CLS标记$q_C^t$则负责估算手部姿态（手部关节角度$\theta$以及由MANO参数化的手部形状$\beta$，[^32]）。每个摄像头标记都通过视角方向的位置嵌入进行初始化，从而使网络能够利用它们之间的关系。具体而言，对于每个摄像头和每个时间帧，都会计算出指向左右手的三维光线方向，记为$\{\nu_{n,l}, \nu_{n,r}\}$。我们对整个世界进行旋转并消除第一个摄像头的旋转影响，这样整个网络就对绝对摄像头姿态具有不变性，即只有摄像头之间的相对旋转才起作用。这使得REACH-Net无需重新训练即可适用于任何摄像头设置和场景。CLS标记用一个可学习的固定向量进行初始化。由摄像头n的光线方向生成的位置编码也会被添加到图像特征$e_n^t$中，以提供摄像头姿态信息并与编码器对应起来。
对于解码器的每个输出$\{q_n^t\}_{n\in1\ldots N}$和$q_C^t$，MLP会将其转换为手部姿态参数。与摄像头标记$q_n^{t+1}$对应的输出标记会被转换为来自摄像头的旋转和平移参数，即$R_n$和$T_n$；而与CLS标记$q_C^{t+1}$对应的输出标记则被转换为手部关节角度和形状参数$\beta, \theta$。
当手部在给定视角下被遮挡时，无法估算手部旋转参数$R_n$。为此，我们引入了多视图统一（MVU）机制来整合依赖视角的手部旋转估算结果。具体来说，我们对MLP进行修改，使其额外输出来自$c_n \in [0,1]$的旋转置信度分数$q_n$，并对方向估算结果取加权平均。
$$ \tilde{O}^{W}=G^{-1}\left(\frac{\sum_{n=1}^{N}c_{n}G\left(\boldsymbol{R}_{n}^{\mathrm{F}\top}\boldsymbol{O}_{n}\right)}{\sum_{n=1}^{N}c_{n}}\right) $$
其中$R_n^F$表示摄像头旋转参数。此处，我们将旋转矩阵到6D旋转表示的转换记为G，其逆变换记为[^40]，$G^{-1}$。MVU不仅能实现稳健且一致的手部旋转估算，还能稳定训练过程。
### C. 时间协同
在进行手部姿态估算时，除了手部与身体的协调外，时间变化也提供了丰富的上下文线索。REACH-Net利用这一点，通过从输入视频中自回归地估算手部姿态。具体做法是将查询标记$q^{t+1}$用前一帧的输出进行初始化。这样一来，模型的任务就是利用当前帧的观察结果来更新前一帧的手部姿态估算值。正如我们所展示的那样，这种自回归机制对于应对临时遮挡情况并实现鲁棒且精确的估算至关重要。
### D. 训练
损失函数为
$$ \mathcal{L}=\lambda_{R}\mathcal{L}_{R}+\lambda_{T}\mathcal{L}_{T}+\lambda_{\beta}\mathcal{L}_{\beta}+\lambda_{\theta}\mathcal{L}_{\theta}+\lambda_{J}\mathcal{L}_{J}+\lambda_{\mathrm{C}}\mathcal{L}_{\mathrm{C}} $$
其中，$\mathcal{L}_{R}$、$\mathcal{L}_{T}$、$\mathcal{L}_{\beta}$、$\mathcal{L}_{\theta}$ 和 $\mathcal{L}_{J}$ 分别对应手部旋转、平移、手部形状参数、手部关节角度以及投影到图像平面上的渲染手部关节所产生的损失。我们对 $\mathcal{L}_{\beta}$、$\mathcal{L}_{\theta}$ 和 $\mathcal{L}_{J}$ 采用L2损失，对 $\mathcal{L}_{T}$ 采用L1损失。$\mathcal{L}_{C}$ 是置信度分数c的正则化项，用于引导模型在手部清晰可见时输出较高的置信度。我们采用ViTPose估算的腕部关键点置信度的Sigmoid交叉熵作为 $\mathcal{L}_{C}$。训练的第一阶段我们将摄像头数量N设为4，第二阶段则将其减少为2。第一阶段之所以能稳定初始训练过程，是因为模型接收的是来自更多摄像头的输入视频。
### E. 伦理考量
所提出的方法旨在用于监测人类活动。我们的方法可作为传统监控系统的替代方案——这类系统通常需要高分辨率视频。该方法能够从低分辨率图像中提取关键行为信息（手部姿态），从而难以用于识别个体身份。此外，该过程无需人工干预。因此，我们认为该方法能够在满足人类行为监测需求的同时，最大限度降低身份泄露风险。
---
这类系统通常需要高分辨率视频。该方法能够从低分辨率图像中提取关键的行为信息（手部姿态），而这些信息难以用于个体识别。同时，它无需人工参与即可运行。因此，我们认为我们的方法能够满足人类行为监测的需求，同时将身份泄露风险降至最低。
### V. 实验结果
我们通过在REACH数据集及现有数据集上开展一系列实验，来评估REACH-Net的有效性。我们首先评估了REACH数据集的标注准确性，随后将REACH-Net的准确性与几种基线方法进行比较。我们还进行了消融研究，以验证REACH-Net各组成部分的有效性。
### A. 手部姿态标注的准确性
我们从数据集中随机选取100帧，对所有清晰视图手动标注2D手部关键点。随后，我们比较了手动标注得到的真实数据与由此三角测量得出的3D关键点之间的距离。结果显示，MPJPE为30.60毫米（标准误=2.03毫米），PA-MPJPE为11.30毫米（标准误=0.80毫米）。这些数据均小于现有最先进方法及REACH-Net的估计精度，下文将详细说明。我们还通过计算数据集中连续帧之间关节的角度变化，来评估姿态标注的帧间一致性。平均而言，每帧的角度变化量为 $3.96^\circ$，这一数值与现有数据集的结果相当（例如，ARCTIC数据集中的每帧角度变化量为 $2.65^\circ$ [^12]）。
### B. 手部姿态估计的准确性
我们将REACH-Net的准确性与我们数据集上微调后的各种基线方法进行比较：单图像模型（HaMeR [^29]、WiLoR [^30] 和 ArcticNet-SF [^12]）、多帧模型（ArcticNet-LSTM [^12]），以及Body2Hands [^28]——该方法结合了通过单目估计器得到的3D上半身关键点 [^22] [^34]。为了公平比较，所有基线方法均按照第二阶段相同的迭代次数进行微调；具体而言，ArcticNet变体省略了物体姿态解码器，而Body2Hands则在我们数据集上进行微调，其输出格式与MANO [^32] 参数相匹配。
表二展示了我们数据集上的评估结果。我们的REACH-Net模型性能优于所有基线方法，在关节角度估计方面的准确率显著更高，这表明该方法能够更精确地从远距离估计手部姿态。
### C. 定性结果
图6展示了REACH-Net与基线方法的定性结果。即便手部被物体或身体遮挡，REACH-Net仍能准确估计手部姿态，而基线方法在此类情况下则无法完成估计。这一结果体现了利用多视角输入以及手身协调信息的有效性。
图7展示了手部姿态的估计轨迹。REACH-Net能够估计出平滑且准确的手部姿态
| Method | PA-MPJPE (mm) | Joint Angles (deg) |
| HaMeR [^29] | 16.01 | 24.31 |
| WiLoR [^30] | 16.03 | 24.38 |
| ArcticNet-SF [^12] | 15.53 | 17.22 |
| ArcticNet-LSTM [^12] | 14.88 | 16.35 |
| Body2Hands [^28] | 17.12 | 17.30 |
| REACH-Net (Ours) | 14.47 | 14.48 |
TABLE II: Comparison of hand pose evaluation metrics between REACH-Net and baselines. REACH-Net outperforms all the baselines in both metrics.
| Distance |
| Method | Near | Medium | Distant |
| HaMeR [^29] | 14.90 | 15.87 | 16.22 |
| WiLoR [^30] | 15.36 | 16.15 | 16.32 |
| ArcticNet-SF [^12] | 13.92 | 14.40 | 15.48 |
| ArcticNet-LSTM [^12] | 14.60 | 14.93 | 15.40 |
| Body2Hands [^28] | 15.92 | 16.56 | 17.47 |
| REACH-Net (Ours) | 12.96 | 13.44 | 14.86 |
TABLE III: Comparison of 3D hand pose estimation accuracy (PA-MPJPE, mm) for different ranges of distance. Our method outperforms all the baselines in all distances.
即便手部有段时间处于遮挡状态，得益于其自回归结构，REACH-Net仍能生成连续的轨迹。
### D. 手部与相机的距离对性能的影响
为了验证该方法在参与者与相机距离变化时的准确性，我们将测试集分为三类：近距离、中距离和远距离，即距离小于4米、4米到8米以及超过8米。由于所有相机分辨率与视场角相同，因此4米远和8米远的手部在图像中分别显示为宽40像素和20像素。表三显示，在所有距离范围内REACH-Net的性能均优于所有基线方法。REACH-Net在远距离范围内的准确率可与最佳基线方法在近距离范围内的准确率相媲美，这证明了REACH-Net在远距离3D手部姿态估计中的有效性。
### E. 在不同环境中的泛化能力
REACH-Net假设相机相对位姿已知，但由于它将光线方向嵌入到第一个相机的坐标系中，因此其推理过程不受相机位姿的影响。我们通过仅在数据集的两个房间中的一个房间训练REACH-Net，并在另一个房间进行测试来验证这一点。我们的方法得到的PA-MPJPE值为15.12毫米，关节角度误差为$14.93^{\circ}$，这一结果与训练数据和测试数据来自同一房间时的性能相当。
我们还在ARCTIC数据集上评估了REACH-Net [^12]，以验证其针对不同数据集的泛化能力。未经微调，我们的方法得到的MPJPE值就达到了26.4毫米，这一数值与专为该数据集设计的ArcticNet-LSTM [^12]（22.9毫米）相当。这一结果表明，REACH-Net能够适应不同的相机配置、环境和动作。
---
Fig. 6: Estimated 3D hand poses. The leftmost column shows the two input views and other columns show the estimates by each method, in red for the left hand and in blue for the right hand. Our method recovers 3D hand pose more accurately than the baseline methods, particularly when the hands are occluded by objects or the body.
Fig. 7: Trajectory of hand keypoints estimated by REACH-Net. REACH-Net estimates smooth and accurate 3D hand pose trajectories albeit frequent occlusions.
### F. 消融实验
我们比较了包含各模型组件与不包含各模型组件时REACH-Net的准确率。表四显示，移除第二帧及后续帧中的多视角输入、身体姿态、自回归估计以及光线嵌入等组件后，准确率会下降，这一结果体现了每个组件的有效性。通过Welch单尾t检验可知，所有差异均具有统计学意义（例如，最接近的一对数据的p值为0.022）。值得注意的是，即便是我们的单视角变体，其准确率也高于基线方法，这凸显了利用手身协调信息的重要性。
### VI. 结论
在本文中，我们提出了REACH-Net，一种用于远距离3D手部姿态估计的新方法。REACH-Net利用手身协调的多视角观测及其时间变化特征，能够在手部不清晰可见的情况下——即低分辨率场景下——稳健地估计3D手部姿态。
| Variant | PA-MPJPE (mm) | Joint Angles (deg) |
| w/o multiview | $15.12 \pm 4.39$ | $15.60 \pm 5.96$ |
| w/o body pose | $14.64 \pm 4.52$ | $14.64 \pm 5.42$ |
| w/o ray embed. | $14.75 \pm 4.74$ | $14.95 \pm 5.44$ |
| w/o autoregressive | $15.06 \pm 4.58$ | $16.24 \pm 5.55$ |
| Proposed | $14.47 \pm 4.90$ | $14.48 \pm 5.34$ |
TABLE IV: Ablation studies of REACH-Net. We compare accuracy with and without each key component using the mean and standard deviation of errors. Removing any of these components degrades accuracy, demonstrating the effectiveness of each component.
由于距离安装在房间角落的静态摄像头较远，导致部分区域甚至完全被遮挡。我们还推出了REACH——这是首个大规模数据集，它利用壁挂式摄像头捕捉真实房间内人们日常的自然活动，并配有精确标注的3D手部姿态与位置信息。我们希望这两项成果能为未来通过日常生活中的被动观察来理解人类行为的研究奠定坚实基础。
### 七、致谢
本研究部分得到了JSPS KAKENHI 21H04893、JST JPMJAP2305以及理研GRP的支持。
## 参考文献
## [^1]: P. Banerjee, S. Shkodrani, P. Moulon, S. Hampali, S. Han, F. Zhang, L. Zhang, J. Fountain, E. Miller, S. Basol, R. Newcombe, R. Wang, J. J. Engel, and T. Hodan. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. IEEE Conf. Comput. Vis. Pattern Recog., 2025
---
[^2]: Y. Ben-Shabat, X. Yu, F. Saleh, D. Campbell, C. Rodriguez-Opazo, H. Li, and S. Gould. The ikea arm dataset: Understanding people assembling furniture through actions, objects and pose. In IEEE Winter Conf. on Applic. of Comput. Vis., pages 847–859, January 2021.
[^3]: A. Bonnetto, H. Qi, F. Leong, M. Tashkovska, M. Rad, S. Shokur, F. Hummel, S. Micera, M. Pollefeys, and A. Mathis. Epfl-smart-kitchen-30: Densely annotated cooking dataset with 3d kinematics to challenge video and language models. arXiv preprint arXiv:2506.01608, 2025.
[^4]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays. ContactPose: A dataset of grasps with object contact and hand pose. In Eur. Conf. Comput. Vis., August 2020.
[^5]: C. Campos, R. Elvira, J. J. G. Rodríguez, J. M. M. Montiel, and J. D. Tardós. Orb-slam3: An accurate open-source library for visual, visual-inertial, and multimap slam. IEEE Transactions on Robotics, 37(6):1874–1890, 2021.
[^6]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield, J. Kautz, and D. Fox. Dexycb: A benchmark for capturing hand grasping of objects. In IEEE Conf. Comput. Vis. Pattern Recog., pages 9044–9053, June 2021.
[^7]: L. Chen, S.-Y. Lin, Y. Xie, Y.-Y. Lin, and X. Xie. MVHM: A large-scale multi-view hand mesh benchmark for accurate 3d hand pose estimation. In IEEE Winter Conf. on Applic. of Comput. Vis., pages 836–845, 2021.
[^8]: J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. ImageNet: A large-scale hierarchical image database. In IEEE Conf. Comput. Vis. Pattern Recog., pages 248–255, June 2009.
[^9]: A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In Int. Conf. Learn. Represent., 2021.
[^10]: E. Duran, M. Kocabas, V. Choutas, Z. Fan, and M. J. Black. Hmp: Hand motion priors for pose and shape estimation from video. In IEEE Winter Conf. on Applic. of Comput. Vis., pages 6353–6363, January 2024.
[^11]: K. Fan, P. Ren, J. Wang, H. Sun, Q. Qi, Z. Zhuang, and J. Liao. Pose-guided temporal enhancement for robust low-resolution hand reconstruction. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 22627–22637, 2025.
[^12]: Z. Fan, O. Taheri, D. Tzionas, M. Kocabas, M. Kaufmann, M. J. Black, and O. Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In IEEE Conf. Comput. Vis. Pattern Recog., 2023.
[^13]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In IEEE Conf. Comput. Vis. Pattern Recog., June 2018.
[^14]: K. Grauman et al. Ego-exo4d: Understanding skilled human activity from first- and third-person perspectives. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 19383–19400, 2024.
[^15]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit. Honnate: A method for 3d annotation of hand and object poses. In IEEE Conf. Comput. Vis. Pattern Recog., 2020.
[^16]: S. Han, P.-C. Wu, Y. Zhang, B. Liu, L. Zhang, Z. Wang, W. Si, P. Zhang, Y. Cai, T. Hodan, R. Cabezas, L. Tran, M. Akbay, T.-H. Yu, C. Keskin, and R. Wang. Umetrack: Unified multiview end-to-end hand tracking for vr. In SIGGRAPH Asia 2022 Conference Papers, SA '22, New York, NY, USA, 2022. Association for Computing Machinery.
[^17]: K. He, G. Gkioxari, P. Dollar, and R. Girshick. Mask R-CNN. In Int. Conf. Comput. Vis., pages 2961–2969, Oct. 2017.
[^18]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In IEEE Conf. Comput. Vis. Pattern Recog., pages 770–778, June 2016.
[^19]: C.-H. P. Huang, H. Yi, M. Höschle, M. Safroshkin, T. Alexiadis, S. Polikovsky, D. Scharstein, and M. J. Black. Capturing and inferring dense full-body human-scene contact. In Proceedings IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), pages 13274–13285, June 2022.
[^20]: Y. Huang, O. Taheri, M. J. Black, and D. Tzionas. InterCap: Joint markerless 3D tracking of humans and objects in interaction. In German Conference on Pattern Recognition (GCPR), volume 13485 of Lecture Notes in Computer Science, pages 281–299. Springer, 2022.
[^21]: N. Jiang, Z. Zhang, H. Li, X. Ma, Z. Wang, Y. Chen, T. Liu, Y. Zhu, and S. Huang. Scaling up dynamic human-scene interaction modeling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1737–1747, 2024.
[^22]: H. Joo, N. Neverova, and A. Vedaldi. Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation. 3DV, 2021.
[^23]: L. Khaleghi, A. Sepas-Moghaddam, J. Marshall, and A. Etemad. Multi-view video-based 3d hand pose estimation. IEEE Transactions on Artificial Intelligence, 2022.
[^24]: J. Kim, J. Kim, J. Na, and H. Joo. Parahome: Parameterizing everyday home activities towards 3d generative modeling of human-object interactions, 2024.
[^25]: S. Liu, W. Wu, J. Wu, and Y. Lin. Spatial-temporal parallel transformer for arm-hand dynamic estimation. In IEEE Conf. Comput. Vis. Pattern Recog., pages 20523–20532, 2022.
[^26]: Y. Liu, Y. Liu, C. Jiang, K. Lyu, W. Wan, H. Shen, B. Liang, Z. Fu, H. Wang, and L. Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, June 2022.
[^27]: C. Lugaresi, J. Tang, H. Nash, C. McClanahan, E. Uboweja, M. Hays, F. Zhang, C.-L. Chang, M. G. Yong, J. Lee, W.-T. Chang, W. Hua, M. Georg, and M. Grundmann. Mediapipe: A framework for building perception pipelines, 2019.
[^28]: E. Ng, S. Ginosar, T. Darrell, and H. Joo. Body2hands: Learning to infer 3d hands from conversational gesture body dynamics. IEEE Conf. Comput. Vis. Pattern Recog., pages 11865–11874, 2021.
[^29]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3D with transformers. In IEEE Conf. Comput. Vis. Pattern Recog., 2024.
[^30]: R. A. Potamias, J. Zhang, J. Deng, and S. Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild, June 2025.
[^31]: X. Qi, C. Liu, M. Sun, L. Li, C. Fan, and X. Yu. Diverse 3d hand gesture prediction from body dynamics by bilateral hand disentanglement. In IEEE Conf. Comput. Vis. Pattern Recog., pages 4616–4626, June 2023.
[^32]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017.
[^33]: F. J. Romero-Ramirez, R. Muñoz-Salinas, and R. Medina-Carnicer. Speeded up detection of squared fiducial markers. Image and Vision Computing, 76:38–47, Aug. 2018.
[^34]: Y. Rong, T. Shiratori, and H. Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In IEEE International Conference on Computer Vision Workshops, 2021.
[^35]: F. Sener, D. Chatterjee, D. Shelepov, K. He, D. Singhania, R. Wang, and A. Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In IEEE Conf. Comput. Vis. Pattern Recog., pages 21096–21106, June 2022.
## [^36]: T. Simon, H. Joo, I. Matthews, and Y. Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE Conference on Computer Vision and
---
模式识别会议（CVPR），2017年7月。
[^37]: O. Taheri, N. Ghorbani, M. J. Black, and D. Tzionas. GRAB: A dataset of whole-body human grasping of objects. In Eur. Conf. Comput. Vis., 2020.
[^38]: Y. Xu, J. Zhang, Q. Zhang, and D. Tao. ViTPose: Simple vision transformer baselines for human pose estimation. In Adv. Neural Inform. Process. Syst., 2022.
[^39]: Z. Yu, S. Zafeiriou, and T. Birdal. Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In IEEE Conf. Comput. Vis. Pattern Recog., June 2025.
[^40]: Y. Zhou, C. Barnes, J. Lu, J. Yang, and H. Li. On the continuity of rotation representations in neural networks. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5738–5746, 2019.
[^41]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Int. Conf. Comput. Vis., October 2019.