# AssemblyHands-X：建模3D手部与身体协调关系以理解双手人类活动
Tatsuro Banno Takehiko Ohkawa Ruicong Liu Ryosuke Furuta Yoichi Sato
东京大学，日本东京
{banno, ohkawa-t, lruicong, furuta, ysato}@iis.u-tokyo.ac.jp
## 摘要
双手人类活动本质上涉及双手与身体的协同运动。然而，由于缺乏合适的数据集，这种协调性对活动理解的影响尚未得到系统评估。此类评估需要针对手部和身体的运动学层面标注（如3D姿态），但现有的3D活动数据集通常仅对手部或身体姿态进行标注。另一类研究采用基于标记的动作捕捉技术来获取全身姿态，但物理标记会引入视觉伪影，从而限制了模型对自然无标记视频的泛化能力。为克服这些局限，我们推出了AssemblyHands-X——首个用于双手活动的无标记3D手部-身体基准数据集，旨在研究手部-身体协调性对动作识别的影响。我们首先构建了从同步多视角视频中提取3D姿态标注的流程。该方法结合了多视角三角测量与SMPL-X网格拟合技术，能够可靠地实现手部与上身的3D对齐。随后，我们基于图卷积或时空注意力机制，在最新的动作识别模型中验证了不同输入表征（如视频、手部姿态、身体姿态或手部-身体姿态）的效果。大量实验表明，基于姿态的动作推理比视频基线更高效、更准确。此外，同时建模手部与身体特征能提升动作识别性能，优于单独使用手部或上半身特征，这凸显了建模相互依赖的手部-身体动态对于全面理解双手活动的重要性。
### 1. 引言
当我们想象用螺丝刀拧螺丝这类精细的日常活动时，会直观地察觉到手部与身体之间的深度协作。如图1所示，精确的手部动作与前臂旋转、肘部弯曲同步发生。这种紧密的手部-身体耦合形成了双手活动特有的运动模式。观察到这一现象后，我们不禁产生一个疑问：建模这些相互依赖的手部-身体动态，能否提升对双手活动的理解？
Figure 1. Bimanual human activities inherently involve coordinated movements of both hands and body. Our proposed benchmark, AssemblyHands-X, provides the first markerless 3D hand-body dataset, enabling systematic evaluation for the effect of hand-body coordination in action recognition.
这种关联让我们面临一个问题：对这类相互依赖的手部与身体运动进行建模，究竟如何能增进我们对双手协同活动的理解呢？
不过，由于缺乏能提供手部与身体动力学运动级别标注（如3D姿态）的合适基准测试集，回答上述问题十分困难。大多数现有的双手活动基准测试集[^16] [^21]侧重于基于视频的动作识别[^10]，并未包含明确的3D手部与身体信号。虽然近期的一些活动数据集提供了3D人体姿态信息[^1] [^2]，但它们难以获取详细的手部信息。由于手部关节结构复杂，这些数据集通常省略对手部姿态的标注[^2]，或者仅提供有限的手部信号（例如[^1]中的三个关键点）。相反，以往针对精细手部交互的研究能够从以自我为中心的[^17]或多视角[^6] [^13]场景中捕捉丰富的3D手部姿态，但由于这类研究为拍摄手部特写而专门设置了摄像头，往往忽略了人体姿态的采集。此外，虽然近期基于标记的运动捕捉技术能够记录精确的3D手部与身体运动[^5] [^20]，但物理标记的使用会引入不可避免的视觉伪影，导致模型泛化能力受限。
---
Figure 2. Dataset annotation pipeline of AssemblyHands-X. We first crop the body and hand regions, perform independent multi-view triangulation, and merge the results to obtain 3D hand-body keypoints. These keypoints are then used to fit the SMPL-X model, producing a unified 3D representation of human motion.
自然的无标记视频。
为解决这些局限，我们推出了AssemblyHands-X——首个用于双手活动的无标记3D手部与身体基准测试集，旨在系统评估手部与身体协调对动作识别的影响。我们以Assembly101[^17]的多视角视频为基础，开发了一套3D姿态自动标注流程，该流程结合了多视角三角测量技术与SMPL-X[^14]拟合方法。这套流程无需依赖基于标记的运动捕捉系统[^5] [^20]，就能可靠地恢复同步的3D手部与身体姿态。
基于我们新生成的手部与身体标注数据，我们利用图卷积[^12] [^22]和时空注意力[^18]等最新骨干网络，验证了不同输入表示形式（如视频、手部姿态、身体姿态或手部与身体姿态）在动作识别中的表现。大量实验表明，基于姿态的动作推理不仅比基于视频的基线方法更高效，准确率也更高。这一结果证明了将3D姿态作为紧凑且具区分性的表示用于动作识别的有效性。此外，与单独使用某一模态相比，同时建模手部与身体数据能持续提升动作识别性能，这凸显出捕捉相互依赖的手部与身体动力学对于全面理解双手活动的重要性。
本研究的主要贡献如下：
- 我们推出了AssemblyHands-X，这是首个用于双手活动的无标记3D手部与身体基准测试集，旨在系统评估手部与身体协调对动作识别的影响。
- 我们提出了一种结合三角测量与SMPL-X模型拟合的多视角标注流程，无需依赖基于标记的运动捕捉系统，即可可靠地捕捉双手与身体的3D姿态。
- 借助AssemblyHands-X，我们评估了不同的动作识别输入表示形式（如视频、手部姿态、身体姿态或手部与身体姿态），结果表明建模相互依赖的手部与身体动力学对于全面理解双手活动至关重要。
### 2. 数据集标注流程
#### 2.1. 概述
图2展示了我们的AssemblyHands-X数据集标注流程概览。输入数据来自Assembly101的多视角视频[^17]，输出结果包括手部及上半身的三维关键点，以及参数化全身人体模型（即SMPL-X [^14]）的对应参数。
该流程首先分别裁剪出人体和手部区域，并对二者独立进行多视角三角测量。在手部姿态估计方面，我们采用了Ohkawa等人提出的精确三角测量流程[^13]。相比之下，双手活动场景下的精准人体姿态估计面临独特挑战，比如受限于摄像头视角导致的人体被截断问题。为解决这些问题，我们提出了全新的针对人体的三角测量流程（见第2.2节）。随后，我们将估算出的三维人体关节与手部关节结合起来，生成协调一致的三维手-身体关键点标注。最后，利用这些三维关键点以及从多视角图像中提取的人体分割掩码[^9]，我们对每一帧图像拟合SMPL-X参数化模型（见第2.3节），从而得到运动学上一致的人体运动三维表示。
接下来的章节将详细介绍标注流程的各个阶段，重点阐述人体三角测量流程和SMPL-X拟合过程。
---
#### 2.2. 人体三角测量流程
二维关键点检测。对于每一帧裁剪后的图像，我们首先应用二维关键点估计模型[^19]对各个摄像头视角进行处理$c = 1, 2, \ldots, C$，从而获取每个身体关节的二维位置$(x_c, y_c) \in \mathbb{R}^2$及置信度分数$w_c \in [0,1]$。随后，我们对每个视角下各帧中的关键点应用中值滤波，以减少短期波动。
接下来，为了抑制裁剪边界附近过度自信的二维关键点，我们根据关键点距图像边缘的距离来调整其置信度$w_{c}$。调整后的置信度$w'_{c}$计算如下：
$$ w_{c}^{\prime}=\min\left(\frac{x_{c}}{m},\frac{W-x_{c}}{m},\frac{y_{c}}{m},\frac{H-y_{c}}{m},1\right)\cdot w_{c} $$
此处，$(x_c, y_c)$表示裁剪区域内关键点的位置$W \times H$，m为预先设定的边距宽度。该公式确保距离裁剪边缘超过m像素的关键点能保留原有置信度，而处于该边距范围内的关键点会随着靠近边界而线性降低权重。随后我们将调整后的置信度阈值设为$\tau = 0.15$，所有低于$\tau$的值被置零，高于$\tau$的值则线性缩放到$[0, 1]$范围内。这一操作有效剔除了低置信度的关键点，同时保留并标准化可靠的关键点以供后续处理。
三维关键点三角测量。接下来，我们利用多视角的二维关键点，通过加权置信度的线性三角测量方法来估算三维人体关节位置[^8]。设摄像头$c = 1, \ldots, C$中某个关节的二维位置为$(x_c, y_c) \in \mathbb{R}^2$，其调整后的置信度分数为$w'_c \in [0,1]$。参照[^8]的方法，我们根据各视角的相机投影矩阵分量及二维关节位置构建矩阵$A_j \in \mathbb{R}^{2 \times 4}$（详见[^7]以获取完整细节），并通过以下加权置信度最小二乘方程求解齐次三维坐标$X_j \in \mathbb{R}^4$：
$$ (\boldsymbol{w}^{\prime}\circ A)\boldsymbol{X}=0 $$
此处，$\boldsymbol{w}' = (w_1', w_1', w_2', w_2', \cdots, w_C', w_C')^\top$，而$\circ$表示哈达玛积，即矩阵A的第i行与向量$\boldsymbol{w}$的第i个元素相乘。
这一过程可得出身体关节的3D坐标。将其与Ohkawa等人提供的精确3D手部关节标注数据[^13]相结合，我们便能生成覆盖整个上半身和手部的统一3D关键点集。
#### 2.3. SMPL-X模型拟合
接下来，基于估算出的手部与身体的3D关节位置，我们通过最小化以下目标函数，来优化每一帧对应的SMPL-X参数——即形状参数$\beta$和姿态参数$\theta$。
$$ \mathcal{L}=\lambda_{\mathrm{j o i n t}}\mathcal{L}_{\mathrm{j o i n t}}+\lambda_{\mathrm{m a s k}}\mathcal{L}_{\mathrm{m a s k}}+\lambda_{\beta}\|\boldsymbol{\beta}\|_{2}^{2}+\lambda_{\theta}\|\boldsymbol{\theta}\|_{2}^{2}, $$
Figure 3. Qualitative results of the fitting process with and without the silhouette loss $\mathcal{L}_{mask}$. Incorporating $\mathcal{L}_{mask}$ significantly improves the alignment between the projected SMPL-X mesh and the observed human silhouette.
其中每一项都由其对应的系数$\lambda$加权。第一项$\mathcal{L}_{\text{joint}}$用于惩罚预测3D关节位置与目标3D关节位置之间的$L_2$距离。第二项$\mathcal{L}_{\text{mask}}$是轮廓损失[^11]，它能使SMPL-X网格投影与从多视角图像中提取的人体分割掩码[^9]对齐，从而显著提升投影网格与观测到的人体轮廓之间的匹配度（见图3）。
### 3. 动作识别实验
#### 3.1. 实验设置
我们利用AssemblyHands-X开展动作识别的全面基准测试。作为输入，我们采用SMPL-X拟合前得到的3D关键点，以及来自Assembly101视图3的对应视频帧$^{[17]}$，该视图能清晰呈现身体和手部情况。对于动作标签，我们采用了Assembly101中定义的六类动词：拾取、放下、定位、移除、拧紧和拧开，这一分类方式遵循以往基于3D手部姿态的动作识别研究$^{[13]}$。所有姿态序列均被标准化为固定长度T=100帧，较短的序列则通过重复内容来填充。
#### 3.2. 输入表示的影响
我们首先评估不同类型输入对动作识别的效果，包括视频、手部姿态、身体姿态以及手-身组合姿态。在基于视频的推理中，我们考虑了两个基线模型：具备强大视频理解零样本能力的大型多模态模型Gemini 2.5 pro [^4]，以及在我们数据上训练的标准视频识别模型TSM [^10]。对于基于姿态的推理，我们训练了图卷积网络（MS-G3D [^12]、BlockGCN [^22]）以及带有时空注意力的Transformer基线模型FreqMixFormer [^18]。
结果。表1展示了不同输入表示下的动作识别结果。将最佳的基于视频的模型（TSM）与最佳的基于姿态的模型
---
(a) Body pose
(b) Hand pose
(c) Combined hand-body pose
Figure 4. Confusion matrices for action recognition under different 3D pose input configurations. Each matrix corresponds to pose-based inference using FreqMixFormer [^18], trained and evaluated on the respective 3D pose configuration.
Table 1. Comparison of action recognition result under different input representations. We report GFLOPs and Accuracy (%) of each model on the AssemblyHands-X benchmark. The dagger ( $\dagger$) indicates results obtained in a zero-shot evaluation setting.
| Method | 3D pose | Video | GFLOPs | Acc. |
| Body | Hand |
| Random choice | - | - | - | - | 16.7 |
| Gemini 2.5 Pro $^{\dagger}$ [^4] | ✗ | ✗ | ✓ | - | 30.9 |
| TSM [^10] | ✗ | ✗ | ✓ | 32.88 | 62.3 |
| MS-G3D [^12] | ✓ | ✗ | ✗ | 0.79 | 53.0 |
| ✗ | ✓ | ✗ | 8.24 | 63.4 |
| ✓ | ✓ | ✗ | 10.16 | 69.6 |
| BlockGCN [^22] | ✓ | ✗ | ✗ | 0.34 | 54.1 |
| ✗ | ✓ | ✗ | 2.89 | 72.6 |
| ✓ | ✓ | ✗ | 3.23 | 73.9 |
| FreqMixFormer [^18] | ✓ | ✗ | ✗ | 0.46 | 57.5 |
| ✗ | ✓ | ✗ | 3.63 | 75.2 |
| ✓ | ✓ | ✗ | 4.03 | 78.7 |
（采用3D手-身姿态的FreqMixFormer）进行比较，基于姿态的模型准确率高出16.4%，同时所需的GFLOPs更少$8.2\times$。这表明能够显式捕捉精细手-身运动学特征的3D姿态，为识别双手协作活动中的动作提供了紧凑且具区分度的表征。
表1还显示，在所有基于姿态的模型中，完整的手-身表征始终优于单一姿态。这说明整合完整的手-身信息有助于更准确地识别双手协作活动。每种3D姿态配置对应的混淆矩阵（图4）进一步印证了这一效果，尤其是手-身模型在仅用手部模型难以识别的动作（如定位和移除）上取得了显著提升。
#### 3.3. 3D姿态标注质量的影响
接下来，为了研究3D姿态标注质量对动作识别的影响，我们评估了使用最新单视图估计器得到的姿态估计结果以及相应的动作识别效果。
Table 2. Comparison of action recognition result under different 3D annotation quality. We report PA-MPJPE (mm) of the estimated 3D hand-body poses compared with our multi-view annotation data, alongside action recognition accuracy (%) on the AssemblyHands-X benchmark using MS-G3D $^{[12]}$.
| Annotation | #view | PA-MPJPE (mm) | Acc. |
| All | Hand |
| SMPLer-X [^3] | 1 | 43.78 | 15.43 | 59.7 |
| + HaMeR [^15] | 1 | 45.47 | 10.62 | 61.2 |
| Ours | 8 | - | - | 69.6 |
对于单视图估计，我们采用SMPLer-X [^3]，这是一款先进的3D手部和身体姿态估计模型。由于SMPLer-X可能会生成有噪声的手部预测结果，我们还评估了一种变体：将其手部估计结果替换为来自HaMeR [^15] 的预测，HaMeR是一款领先的3D手部姿态估计器。我们针对这些不同姿态估计器产生的各类输入数据进行动作识别评估。
实验结果：表2列出了所估计的3D手部和身体姿态相对于多视图标注的PA-MPJPE值，以及基于3D姿态的动作识别模型的准确率 [^12]。我们的多视图标注在动作识别准确率上显著优于所有单视图基线模型（SMPLer-X和SMPLer-X + HaMeR），这一结果证明更高质量的3D姿态有助于提升动作识别性能。
### 4. 结论
我们推出了AssemblyHands-X，这是首个用于双手活动的无标记3D手部和身体姿态基准数据集，旨在系统评估手部和身体协调对动作识别的影响。通过广泛的基准测试，我们证实建模手部和身体之间的相互依赖动态能够加深对双手活动的整体理解。
致谢：本研究得到了日本学术振兴会科研费资助，项目编号分别为JP23H00488和JP24K02956。
---
## 参考文献
[^1]: Dustin Aganian, Benedict Stephan, Markus Eisenbach, Corinna Stretz, and Horst-Michael Gross. Attach dataset: Annotated two-handed assembly actions for human action understanding. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), pages 11367–11373, 2023. 1
[^2]: Yizhak Ben-Shabat, Xin Yu, Fatemeh Saleh, Dylan Campbell, Cristian Rodriguez-Opazo, Hongdong Li, and Stephen Gould. The ikea arm dataset: Understanding people assembling furniture through actions, objects and pose. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 847–859, 2021. 1
[^3]: Zhongang Cai, Wanqi Yin, Ailing Zeng, Chen Wei, Qingping Sun, Wang Yanjun, Hui En Pang, Haiyi Mei, Mingyuan Zhang, Lei Zhang, et al. Smpler-x: Scaling up expressive human pose and shape estimation. In Proceedings of the Advances in Neural Information Processing Systems (NeurIPS), pages 11454–11468, 2023. 4
[^4]: Gheorghe Comanici, Eric Bieber, Mike Schaekermann, Ice Pasupat, Noveen Sachdeva, Inderjit Dhillon, Marcel Blisttein, Ori Ram, Dan Zhang, Evan Rosen, et al. Gemini 2.5: Pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities. arXiv preprint arXiv:2507.06261, 2025. 3, 4
[^5]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12943–12954, 2023. 1, 2
[^6]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xuanyang Zhang, Xue Zhang, et al. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In Proceedings of the European Conference on Computer Vision (ECCV), pages 428–448, 2024. 1
[^7]: Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003. 3
[^8]: Karim Iskakov, Egor Burkov, Victor Lempitsky, and Yury Malkov. Learnable triangulation of human pose. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 7718–7727, 2019. 3
[^9]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 4015–4026, 2023. 2, 3
[^10]: Ji Lin, Chuang Gan, and Song Han. Tsm: Temporal shift module for efficient video understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 7083–7093, 2019. 1, 3, 4
[^11]: Shichen Liu, Tianye Li, Weikai Chen, and Hao Li. Soft rasterizer: A differentiable renderer for image-based 3d reasoning. In Proceedings of the IEEE/CVF International Confer-
在2019年国际计算机视觉大会（ICCV）上发表，第7708–7717页。3
[^12]: Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, and Wanli Ouyang. Disentangling and unifying graph convolutions for skeleton-based action recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 143–152, 2020. 2, 3, 4
[^13]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12999–13008, 2023. 1, 2, 3
[^14]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10975–10985, 2019. 2
[^15]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. 4
[^16]: Nishant Rai, Haofeng Chen, Jingwei Ji, Rishi Desai, Kazuki Kozuka, Shun Ishizaka, Ehsan Adeli, and Juan Carlos Niebles. Home action genome: Cooperative compositional action understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11184–11193, 2021. 1
[^17]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21096–21106, 2022. 1, 2, 3
[^18]: Wenhan Wu, Ce Zheng, Zihao Yang, Chen Chen, Srijan Das, and Aidong Lu. Frequency guidance matters: Skeletal action recognition by frequency-aware mixed transformer. In Proceedings of the ACM International Conference on Multimedia (ACMMM), pages 4660–4669, 2024. 2, 3, 4
[^19]: Zhendong Yang, Ailing Zeng, Chun Yuan, and Yu Li. Effective whole-body pose estimation with two-stages distillation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 4210–4220, 2023. 3
[^20]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 445–456, 2024. 1, 2
[^21]: Hao Zheng, Regina Lee, and Yuqian Lu. Ha-vid: A human assembly video dataset for comprehensive assembly knowledge understanding. In Proceedings of the Advances in Neural Information Processing Systems (NeurIPS), pages 67069–67081, 2023. 1
## [^22]: Yuxuan Zhou, Xudong Yan, Zhi-Qi Cheng, Yan Yan, Qi Dai, and Xian-Sheng Hua. Blockgcn: Redefine topology aware-
---
关于基于骨骼的动作识别的研究。发表于2024年IEEE/CVF计算机视觉与模式识别会议（CVPR），第2049–2058页。2, 3, 4