原文
# 用于手术场景下三维手部姿态估计的多视角流水线及基准数据集
瓦莱里·菲舍尔 $^{1,2}$ · 艾伦·马格达莱诺 $^{1,2}$ · 安娜-卡塔琳娜·卡莱克 $^{1}$ · 尼古拉·卡瓦尔坎蒂 $^{1}$ · 内森·霍夫曼 $^{1}$ · 克里斯托夫·格尔曼 $^{1}$ · 约舒亚·武特里希 $^{1}$ · 马克斯·克雷恩曼 $^{1}$ · 马兹达·法尔沙德 $^{1}$ · 菲利普·弗恩施塔尔 $^{1}$ · 莉莉安·卡尔韦 $^{1}$
收稿日期：2026年1月15日 / 录用日期：2026年3月19日 / 在线发表日期：2026年5月11日 CARS 2026
## 摘要
目的：精准的三维手部姿态估计能够为技能评估和机器人辅助手术等外科应用提供支持。然而，手术环境存在诸多严峻挑战，包括强烈且局部的光线、器械或人员造成的频繁遮挡、手套导致的手部外观趋同，以及可用于可靠模型训练的标注数据集稀缺等问题。
方法：我们提出了一种适用于手术场景的三维手部姿态估计多视角流水线，该流水线无需针对特定领域进行微调，且可依托现成的预训练模型。该流水线先通过人体检测、全身姿态估计，在追踪到的手部区域上预测二维手部关键点，随后进行受限的三维优化。我们还推出了一套基准数据集，包含超过68000帧图像以及3000组人工标注的二维手部姿态及对应的三维真实值，这些数据均采集于高保真的模拟手术室中。
结果：在所提出的数据集上进行的定量评估表明，该流水线在二维和三维手部姿态估计方面均始终优于现有最先进的基线方法。该方法显著提升了关节定位精度，二维关节误差最多可降低31%，三维关节位置误差最多可降低76%。即便场景复杂度增加，包括存在运动干扰和部分遮挡情况，该方法仍保持稳健的性能。
结论：所提出的多视角流水线证明了在不进行特定领域重新训练的前提下，结合稳健的检测、追踪和几何优化技术来实现手术场景下三维手部姿态估计的可行性。结合所推出的数据集，本研究为未来关于手术动作分析和客观技能评估的研究提供了基准框架和基准测试资源。
关键词：手部姿态估计 · 基准数据集 · 外科手术 · 多视角
## 引言
在手术场景中实现自动化的三维手部姿态估计，为追踪手术活动开辟了新途径，能够用于对手部动作进行详细分析，进而用于技能评估[^3]、手术培训[^4] [^5]。同时，三维手部追踪技术还有望实现与手术机器人、成像系统以及增强现实或虚拟现实平台的自然无接触交互，还能通过减少或消除与控制面板或非无菌表面的物理接触来维护无菌环境[^6] [^7] [^8]。
三维手部姿态估计方法大致可分为单目和多视图两类。单目方法[^9] [^10]主要是基于学习的流程，它们利用大型标注数据集训练深度神经网络，从而直接从RGB图像中回归三维关键点或模型参数。尽管在受控环境中表现强劲，但这些方法在未见过的场景中往往精度有限，且难以泛化到手术场景等分布外环境。通过引入来自姿态先验的额外信息[^11] [^12]，可以缓解这一局限性。
---
相比之下，多视图方法[^13] [^14]利用多个同步视点，使问题得以明确界定，并解决了单目估计中固有的尺度模糊性问题。它们对遮挡的鲁棒性也更强，因此成为对鲁棒性和精度要求极高的手术应用中的首选方案。通常，这些方法包含两个主要阶段：(i) 在每个视点中检测二维关节位置（关键点）；(ii) 在几何约束以及可选的解剖学约束下优化二维关键点，从而重建三维结构[^15]。其中，二维手部姿态一般是通过数据驱动的方法提取的[^1] [^16]。
现有的二维关键点提取方法在手术条件下面临重大挑战：手术照明非常明亮，仅聚焦于小范围区域，会产生高对比度的眩光，如图1所示。由于器械或其他人员造成的遮挡十分频繁，且手套会使手部外观变得均匀，纹理线索减少。最先进的二维姿态估计方法性能不佳[^1] [^16]，这主要归因于缺乏合适的训练数据集。一方面，像RHD[^9]这样的合成数据集虽然提供了密集的标注，但无法模拟现实世界中的视觉噪声和遮挡情况，因为手部通常是以完全可见的状态渲染的。另一方面，大多数真实数据集如FreiHAND[^17]和HandCo[^18]缺乏在复杂、杂乱环境下的三维真值数据，或者仅限于简单且高度可控的采集设置，而[^5]仅局限于以自我为中心的视角。对于包含手部预测的整体人体姿态估计模型，也存在类似的领域偏移问题[^1] [^16] [^19]。Srivastav等人[^20]曾提出将实例检测和姿态估计模型适配到手术环境，但仅限于人体姿态。
在这项工作中，我们提出了一种用于手术环境中三维手部姿态估计的鲁棒且无训练需求的流程，它能够在不需重新训练或微调的情况下克服领域偏移和遮挡挑战。我们的设计源于三个关键发现：(i) 诸如YOLOv11[^21]之类的现代物体检测器即使在未见过的条件下也能可靠地检测出人体。(ii) 最近的跟踪模型，尤其是Efficient Track Anything[^22]，能够在遮挡、外观变化和临时检测失败的情况下实现稳健的长期跟踪。它们与物体无关的设计使其比特定于手部的模型更能抵御领域偏移，我们在手术场景中正是利用了这一特性。(iii) 当应用于裁剪得当的手部区域时，最先进的二维手部姿态估计器能够实现极高精度的关节定位。
这些见解催生了一种自上而下的多阶段处理流程，如图2所示。该流程将自上而下的2D人体姿态估计原则——即先检测人物，再在其边界框内估计姿态——拓展应用到手术视频中手部关节的稳健检测与精确定位，且无需针对特定领域重新训练模型。该流程首先使用YOLOv1检测个体，接着在每个边界框内执行全身2D姿态估计，识别出包含可靠手部检测结果的关键帧，随后利用Efficient Track Anything跟踪手部，即便检测存在间歇性中断也能保持时间上的连贯性。最后，通过高分辨率的2D手部姿态估计器对手部关键点进行精细化处理。
基于所得到的多视角2D检测结果，通过三角测量法重建3D手部姿态，随后进行约束优化。这种优化会强制满足重投影一致性、时间平滑性以及形状一致性要求，最终生成稳健且精准的手部运动轨迹。
总而言之，我们的主要贡献有三点。首先，我们提出了一种模块化、无需训练的流程，用于在手术环境中实现精准的多视角3D手部姿态估计。其次，我们推出了全新的真实多视角手术数据集，其中包含超过68,000帧图像以及3,000个标注好的2D手部姿态，并配有对应的三角测量3D真值数据。第三，我们开展了全面的评估工作，包括与现有先进方法进行的定量和定性对比，以及详细的消融实验。
图1展示了手术场景中由于光照条件以及手套和手术服外观相似而导致的手部定位难题。左侧：RTMPose [^1]无法准确定位手部；中间：我们的2D预测结果；右侧：利用同一视角的2D预测结果，通过SMPL-X [^2]进行3D重建。
---
## 方法
## 问题表述
我们考虑在由一组经过校准且同步的RGB摄像头采集的多视角手术视频中，估计精准的3D手部姿态这一任务。设这V个同步摄像头组成的集合为$\mathcal{C} = \{C_1, \ldots, C_V\}$，每个摄像头提供的视频流为$\mathcal{V} = \{V_1, \ldots, V_V\}$，分辨率为$W \times H$。该序列包含N帧同步图像，在时间t时可见$M_t$个手部，每个手部由J个解剖学关节组成。
在每一个时间步t，手部m中关节j在世界坐标系下的3D位置用$\mathbf{X}_{t,j}^{m} \in \mathbb{R}^{3}$表示，其在摄像头视图v中的2D投影则用$\mathbf{x}_{t,j,v}^{m} \in \mathbb{R}^{2}$表示。投影函数$\Pi_{v}(\cdot)$涵盖了摄像头的内部参数和外部参数，满足$\mathbf{x}_{t,j,v}^{m} = \Pi_{v}\left(\mathbf{X}_{t,j}^{m}\right)$。预测的3D和2D关节位置分别用$\hat{\mathbf{x}}_{t,j}^{m}$和$\hat{\mathbf{x}}_{t,j,v}^{m}$表示。该问题可分解为两个子问题。
第一个子问题是2D手部姿态估计：给定多视角RGB图像集$\{V_t^v\}_{v=1}^V$，目标是检测并定位所有可见手部的2D手部关节。每个视角v会提供一组检测到的手部边界框$\mathcal{B}_{t,v}$，其中$b_{t,v}^k = (x_{\min}, y_{\min}, x_{\max}, y_{\max})$表示第k个检测区域。在每个边界框内，2D手部姿态估计器会预测一组关节关键点$\mathcal{P}_{t,v}^k = \left\{ \left( \hat{\mathbf{x}}_{t,j,v}^k, c_{t,v,j}^k \right) \right\}_j^{J}$，$c_{t,v,j}^k \in [0,1]$则表示这些关键点的置信度分数。
第二个子问题是3D手部姿态估计：给定相关的2D关节检测结果$\hat{\mathbf{x}}_{t,j,v}^{m}$以及校准后的摄像头参数，目标是为每个手部m估计出对应的3D关节配置$Q_{t}^{m} = \left\{ \hat{\mathbf{X}}_{t,j}^{m} \right\}_{j=1}^{J}$。
这种表述将三维手部姿态估计任务定义为在多视图几何一致性约束下，依次解决二维关节定位与三维重建问题，本研究中我们采用了这一框架。我们在“二维手部姿态估计”一节中描述了用于二维姿态估计的方法，并在“三维手部姿态估计”一节中探讨了文献中针对三维姿态估计问题的不同约束集。
## 二维手部姿态估计
图2展示了我们的流程概览。本节我们将重点讨论二维姿态估计任务（示意图的左侧部分），其目标是在手术场景中获取精确的手部二维关键点——在这些场景中，手部往往尺寸较小、部分被遮挡，或是因光照变化剧烈而难以识别视觉特征。为应对这些挑战，我们采用了模块化的自上而下的策略，结合了可靠的身体检测、稳健的跟踪以及高分辨率的手部姿态细化步骤。在本研究范围内，我们聚焦于场景中仅有一名外科医生的情况。整个过程包含三个主要环节：(i) 全身姿态估计，用于粗略初始化手部位置；(ii) 利用Efficient Track Anything从置信度较高的检测结果中跟踪手部，以维持连续且稳健的手部边界框；(iii) 采用专门定制的模型在接近原生分辨率下进行精细化的二维手部姿态估计，从而实现精准定位。
全身姿态估计与初始化：对于同步的多视图输入视频V，我们首先使用YOLOv11 [^21]——一种在大规模多样化数据集上训练的最先进检测器——逐帧检测其中的外科医生。在每个人体边界框内，我们应用RTMPose-XL全身二维姿态估计器 [^1] 来预测全身关键点，
Fig. 2 Overview of our 3D hand pose estimation framework. Given multi-view videos from the OR, we first detect and track persons and then predict full-body and refined hand poses. Finally, we optimize a sequence of 3D hand poses consistent with anatomical and temporal constraints.
---
其中包括手部关键点。这些检测结果提供了粗略的手部位置和边界框，可作为后续专门手部跟踪阶段的初始化依据。尽管由于手部在图像中占比小或存在强烈光照差异，这些估计结果可能不够精确，但它们能为后续步骤提供可靠的先验信息。
基于Efficient Track Anything的手部跟踪：关键帧选择。根据全身模型中所有手部关节置信度得分的平均值 $c_{t,v}^m$，选取摄像头v中的一组关键帧。对于每只手而言，置信度最高的帧 $c_{t,v}^m > 0.3$ 将用于初始化Efficient Track Anything（参数规模为1B的TAM模型）的跟踪过程，随后跟踪结果会向前和向后传播。一旦跟踪失败或到达序列边界，该手的所有成功跟踪帧都会被从集合中移除，过程会从下一个置信度较高的帧重新开始，直至没有有效的检测结果为止。这种传播机制即便在手部被遮挡、快速移动或暂时无法检测到的情况下，也能保持手部身份的一致性以及定位的连续性。最终，这一过程会生成整个序列中稳健且时间上连贯的手部轨迹 $\mathcal{B}_{t,v}$。基于SAM2的Efficient Track模块支持点提示和边界框提示，随后进行分割掩码传播。在我们的实现中，所选关键帧中由全身姿态估计器预测的二维手部关键点所定义的边界框（如前一段所述）会被用作提示，从而从清晰可见的帧中获取可靠的手部掩码。随后，输出分割结果会通过跟踪模块进行稳健传播。
精确的二维手部姿态估计。每个被跟踪的手部区域会根据其传播的边界框进行裁剪（$\mathcal{B}_{t,v}$），随后被送入专门的二维手部姿态估计器以进行精细的关键点预测（$\hat{\mathbf{x}}_{t,j,v}^{m}$）。在接近原始图像分辨率下运行该模型，能够恢复在全身姿态估计阶段丢失的详细关节位置。这一细化步骤有效缓解了全身估计方法的低分辨率限制，提供了精确且时间上稳定的二维手部关键点，为后续的多视角三维手部姿态优化提供高质量输入。为了阻止次优的二维手部姿态被传递到三维模型中，会依据手部模型生成的置信度分数对各个关键点进行过滤：那些置信度分数低于$c_{t,v,j}^{k} < 0.1$的关键点预测结果将被丢弃。在我们的实现中，采用了最先进的二维手部姿态估计器RTMPose（[^1]）。关于该模型的具体配置和训练设置，详见在线资源1的第4节。
## 三维手部姿态估计
为了获取时间上连贯的三维手部轨迹，我们将三维姿态估计问题表述为一个受约束的优化问题，并使用L-BFGS-B算法求解。我们引入了先前研究中的约束条件，其中部分约束在其他场景中已有应用，包括时间平滑性约束、确保手部几何形状稳定的形状一致性约束，以及可选的生物力学先验约束。基于附着于三角化身体姿态上的标准手部模型得到的初始三维手部姿态，我们通过最小化一组加权损失项来对其进行优化，这些损失项正是上述约束的体现：
$$ \begin{aligned}L_{total}&=\lambda_{reproj}L_{reproj}+\lambda_{smooth}L_{smooth}+\lambda_{shape}L_{shape}\\&+\lambda_{biomech}L_{biomech}\end{aligned} $$
其中各项损失将在下文逐一说明。每一帧的优化都是顺序进行的，即以后一帧的结果作为当前帧优化的基础。
对于后续所有公式，当前帧的索引记为i。设关节索引$j = 1$对应手腕部位。我们将以手腕关节为原点平移得到的三维手部姿态定义为$\hat{\mathbf{X}}_i^{\mathrm{centered}} = \hat{\mathbf{X}}_i - \hat{\mathbf{X}}_{i,1}$；对于手部m和关节j，相应的居中关键点记作$\hat{\mathbf{X}}_{i,j}^{m,\mathrm{centered}}$。
关键点重投影损失（$L_{reproj}$）：该项强制要求投影后的三维关节位置与观测到的二维检测结果在几何上保持一致，其权重由二维预测的置信度决定，相关机制类似于[^14]的描述。
$$ \begin{array}{r l}&{L_{\mathrm{r e p r o j}}=\displaystyle\sum_{m=1}^{M}\displaystyle\sum_{v=1}^{V}\displaystyle\sum_{j=1}^{J}c_{i,v,j}^{m}\big\Vert\Pi_{v}(\hat{\mathbf{X}}_{i,j}^{m})-\hat{\mathbf{x}}_{i,j,v}^{m}\big\Vert_{2}^{2}.}\end{array} $$
时间平滑性损失（$L_{smooth}$）：为确保姿态随时间连续变化，该损失会对相邻帧之间关节位置和手部构型的大幅变动进行惩罚。
$$ L_{\mathrm{s m o o t h}}=\sum_{m=1}^{M}\sum_{j=1}^{J}\left\|\hat{\mathbf{X}}_{i,j}^{m}-\hat{\mathbf{X}}_{i-1,j}^{m}\right\|_{2}^{2}. $$
形状一致性损失（$L_{shape}$）：该约束通过最小化相邻帧间的旋转不变差异来确保手部在时间上保持一致的形态，其概念上与Hewitt等人提出的身体姿态估计方法（[^13]）一致。
$$ L_{\mathrm{s h a p e}}=\left\|\hat{\mathbf{X}}^{\mathrm{a l i g n e d}}-\hat{\mathbf{X}}_{i-1}^{\mathrm{c e n t e r e d}}\right\|_{F}^{2},\mathrm{w h e r e} $$
$$ \begin{aligned}\hat{\mathbf{X}}^{\mathrm{aligned}}&=\hat{\mathbf{X}}_{i}^{\mathrm{centered}}\mathsf{R}^{T},\quad\mathsf{R}=\mathsf{V}\mathsf{U}^{T},\\\mathsf{H}&=\hat{\mathbf{X}}_{i}^{\mathrm{centered},T}\hat{\mathbf{X}}_{i-1}^{\mathrm{centered}},\quad\mathsf{U},\boldsymbol{\Sigma},\mathsf{V}^{T}=\mathsf{S}\mathsf{V}\mathsf{D}(\mathsf{H}).\end{aligned} $$
这对应于正交Procrustes问题，即通过最小二乘法计算出能使两个居中点集最佳对齐的旋转矩阵R。
生物力学损失（$L_{biomech}$）：我们也研究了引入生物力学损失的潜在作用，尽管这类约束往往效果有限。该损失旨在鼓励
---
通过可微函数来确保手部姿态符合生物力学合理性，即满足关节角度限制和解剖学可行性，这一做法参考了Spurr等人的研究（[^15]）。
## 基准测试数据集
为了评估我们的方法，我们引入了一个全新的手术手部动作数据集。该数据集是在模拟真实手术环境的手术室复制品中，通过经过校准的多视角设置采集而成的。
该数据集包含两次录制环节。第一次为SPP（脊柱准备阶段），记录了单名外科医生在准备阶段的操作过程，共使用12台同步工作的GoPro Hero Black 12摄像机进行拍摄（4K分辨率、30帧/秒、固定快门）。第二次为SPI（脊柱器械植入），记录了多名外科医生进行的尸体脊柱融合手术，使用了11台GoPro Hero Black 12摄像机。所有摄像机均通过定制的PCB控制器实现同步，以确保帧级对齐 [^23]。内部及外部校准工作则是借助OpenCV库和[^24]完成的。
复杂度等级 为了系统性地组织场景的多样性并支持可控的基准测试，我们定义了场景复杂度等级体系，分别用$L_{0}$到$L_{5}$表示。每个等级都会通过引入遮挡、运动以及参与者数量等因素，逐步提升手部姿态估计的难度。
$L_{0}$ – 单人静态场景：仅有一人执行简单动作，身体基本保持静止且面向手术台，使用小型工具与患者互动。所有手部关节在至少两个视角下都完全可见。这种场景能提供干净且无歧义的视觉数据，非常适合作为基准测试。
$L_{1}$ – 单人动态场景（动作缓慢、使用小型工具）：由一名外科医生进行操作，手部动作较为缓慢，并使用小型手术工具。可能会出现中度遮挡，但手部结构仍大部分可见。这一等级在保持可控条件的同时引入了自然的变化性。
L_{2} – 单人动态场景（动作快速、使用大型工具）：手部及手臂动作更快，加之使用较大的工具，导致更严重的遮挡现象。这些因素会对时间一致性和三维重建精度提出更高挑战。
$L_{3}$ – 多人静态场景：最多三名参与者处于视野范围内，他们的活动范围有限且遮挡较少。虽然视觉上的杂乱程度有所增加，但在各摄像机下仍能保持良好的可观测性。
$L_{4}$ – 部分可见场景：多名参与者动态互动，常常导致手部或工具被部分遮挡。某些摄像机视角下无法完整看到手部，从而产生了真实的视觉模糊现象以及有限的多视角覆盖。
L_{5} – 多人动态场景：可见参与者的数量随时间变化，频繁出现遮挡、进入或离开场景的情况。这代表了最不受约束且最为复杂的场景条件。
在本研究中，我们重点关注$\mathbf{L}_0-\mathbf{L}_2$所代表的复杂度等级，这些等级体现了逐渐增加的复杂性。更复杂的等级（$\mathbf{L}_3-\mathbf{L}_5$）则留待未来进行基准测试之用。$\mathbf{L}_0-\mathbf{L}_2$复杂度等级已经代表了极具挑战性的手术环境，目前文献中尚不存在可靠的3D手部姿态估计方法能够应对此类情况。
该数据集包含20个序列（每个序列300帧），涵盖了从$\mathbf{L}_0$到$\mathbf{L}_5$的复杂度等级，总计超过68,000帧同步多视角图像。
标注详情：对于每个序列，我们使用自定义标注工具，在每台摄像机上手动标注10个关键帧，这些关键帧均匀分布在300帧的序列中（$3840 \times 2160$像素）。这一过程共产生了约3,000个手部姿态标注。利用摄像机参数将2D关节标签三角测量为3D真实值，其投影结果被用作评估用的真实2D手部姿态。通过多标注员交叉审核进一步验证和评估标注质量，以确保一致性（详见第2.4节及在线资源1）。在四位标注员标注的558个实例中，2D和3D变异性的平均值分别低于4.7像素和4.6毫米，显示出较高的标注员间一致性。
## 实验
我们在独立场景下对提出的方法进行2D手部姿态估计任务的全面评估（采用2D和3D指标），并将其与2D手部姿态基线模型进行比较，这些基线模型可单独或组合使用进行评估。我们还通过广泛的消融研究分析了所研究的损失项对3D优化的影响；所有实验均在提出的数据集上开展，涵盖从$L_{0}$到$L_{2}$的不同复杂度级别。
基线：我们的2D姿态估计评估涵盖了全身基线模型和手部专属基线模型。我们将Sapiens [^16]、RTMPose [^1]（简称RTM）以及DWPose [^19]（简称DW）作为全身基线模型。此外，我们还评估了来自RTMPose的手部姿态模型 [^1]（简称HM）——该模型在我们的流程中被用于处理后从全身模型预测的手部区域边界框中提取的裁剪图像。这种设置能够让我们分离并评估方法中手部跟踪组件的贡献。符号$A \to B$表示使用全身方法A来获取手部边界框，随后在这些区域内应用手部姿态估计模型B。我们有意将基线模型限定为无需训练的方法，因为我们的目标是基准测试那些无需微调即可直接迁移到新手术环境的方法。此外，由于我们的数据集中存在较强的术中相关性，监督训练可能会导致数据泄露并人为抬高性能指标。
---
经过修改的训练可能会导致数据泄露以及性能被人为夸大。
实验得分：我们使用能够综合评估2D和3D精度的标准指标来评估我们的方法。平均关节位置误差（MPJPE）衡量预测3D关节位置与真实3D关节位置之间的平均欧几里得距离；平均投影误差（MRE）则用于量化预测的3D关节投影回2D图像空间的效果。2D正确关键点百分比（$PCK_{2D}@\tau$）和3D正确关键点百分比（$PCK_{3D}@\delta$）分别表示投影误差或欧几里得误差低于$\tau$像素阈值和$\delta$毫米阈值的关键点所占比例。我们还报告了平均PCK（mPCK）值，即不同阈值下PCK得分的平均值（2D对应5、10、20、30像素，3D对应5、10、25、50毫米），该值以像素或毫米为单位表示。对于2D检测性能，我们按照COCO评估协议计算平均精度（AP）[^25]。最后，平均关节误差（MJE）衡量预测关节与真实关节之间的平均2D欧几里得误差。这些指标共同提供了对2D和3D空间中几何精度、投影一致性以及关键点定位能力的全面评估。
二维姿态结果：定量结果如表1所示，同时给出了与基线的对比。图3展示了代表性定性示例，用于比较基线模型与我们提出的方法。结果表明，在所有报告指标上，我们的方法在预测二维手部姿态方面均显著优于现有最先进的模型。这证明，我们的自上而下的方法结合模型的跟踪组件（记为T）能够实现更准确、更稳定的二维手部姿态预测。这种提升很大程度上归功于跟踪器的物体无关设计，它无需事先了解目标物体即可有效定位手部。这带来了更可靠的边界框预测，进而改善了二维手部姿态估计效果。表2中呈现的三维评估结果进一步支持了上述结论，其中我们的方法明显优于仅使用全身估计器得到的预测结果（第一行），也优于结合手部专用模型后的预测结果（第二行）。
三维姿态结果：结果汇总于表3，定性示例如图4所示。我们通过消融实验独立评估了优化方法的各个变体，以分析单个损失项的影响。不出所料，时间平滑约束始终能带来显著的性能提升。形状一致性项的平均表现与之相当，但在$L_2$序列中的快速手部运动场景下尤为有效，能够缓解二维关键点质量的下降问题。因此，我们将其保留在基线配置中。相比之下，加入生物力学约束反而会降低性能，这很可能是因为最符合生理结构的形状与多视角二维预测结果并不完全一致，从而导致评估分数降低。
## 讨论
局限性与未来工作：尽管所提出的多视角流程在手术环境中的三维手部姿态估计方面表现出色，但仍存在若干尚未解决的挑战。目前的实现主要聚焦于受控的单人场景，而涉及多名参与者、频繁的自遮挡以及手部可见度低等更复杂的场景会带来额外困难，我们的方法目前尚无法有效应对。执行时间也是另一个局限，因为优化和跟踪阶段仍计算量较大，在RTX 2060 GPU上处理300帧序列需要约30至45分钟。未来的工作将致力于开发更快的、基于学习的前馈模型，这些模型将利用我们稳健的流程生成的三维标注数据进行训练，从而实现近乎实时的性能。将该系统扩展到多人场景和遮挡严重的场景也是重要的研究方向。
临床意义：可靠的三维手部姿态估计在手术培训中可发挥重要作用，它能够实现对技术技能的客观、定量评估。通过分析手部轨迹、运动平滑度以及双手协调能力，此类系统可向学员提供自动化反馈，补充专家的主观评价。这有望实现技能发展的纵向追踪，从而能在多次培训课程中监测学员的表现，客观衡量进步情况并评估培训效果。
结论：我们提出了一种用于手术环境中3D手部姿态估计的多视角流水线，该流水线无需针对特定领域的训练。将自上而下的方法与稳健的跟踪及姿态优化技术相结合，即便在遮挡情况复杂的场景下，也能比现有最先进方法获得更高的精度。尽管目前存在运行时间方面的限制，但本研究为未来开发用于手术动作理解的实时、基于学习的系统奠定了坚实基础。
## 在线资源
本文的在线版本包含补充材料。在线资源1提供了额外的技术细节、扩展的实验结果以及关于所提出数据集的更多信息。在线资源2是一段视频，展示了完整流水线的概览以及SPI和SPP实验的定性结果。
---
Table 1 Quantitative evaluation on the 2D pose predictions, comparing different state-of-the-art methods against our method. HM refers to the RTM Hand Model used during pose refinement. $*$ indicates the 2D pipeline without 3D optimization. Best scores, $\underline{\text{Second Best Scores}}$
| Metric | Sapiens | RTM | DW | Sapiens $\rightarrow$ HM | RTM $\rightarrow$ HM | DW $\rightarrow$ HM | Ours $^{{*}}$ |
| MJE $\downarrow$ | 29.5 | 27.5 | 23.5 | 20.9 | 16.9 | 17.0 | 11.8 |
| m $PCK_{{2D}}$ $\uparrow$ | 7.7 | 12.6 | 14.0 | 17.4 | 20.8 | 20.9 | 22.8 |
| AP $\uparrow$ | 67.3 | 66.9 | 66.9 | 66.9 | 65.4 | 66.7 | 70.3 |
Fig. 3 Qualitative comparison of 2D hand pose predictions. RTM, DW, and RTM $\rightarrow$ HM baselines are shown alongside our method, which achieves more complete and stable hand poses
Table 2 Quantitative results on the 2D pose predictions in 3D. MPJPE (mm) and MRE (px): lower is better; m $PCK_{2D}$ and m $PCK_{3D}$: higher is better. Results correspond to the 3D optimization in Eq. (1) with
weighting factors $\lambda_{reproj} = 1.0$, $\lambda_{smooth} = 20.0$, $\lambda_{shape} = 50.0$, and $\lambda_{biomech} = 0$ (baseline configuration) for all 2D methods. Best and second best
| Method | MPJPE $\downarrow$ | MRE $\downarrow$ | m $PCK_{2D}$ $\uparrow$ | m $PCK_{3D}$ $\uparrow$ |
| RTM [^1] | 35.8 | 39.8 | 39.8 | 40.8 |
| RTM $\rightarrow$ HM [^1] | 51.9 | 58.1 | 42.3 | 41.4 |
| Ours: RTM + T [^22] $\rightarrow$ HM [^1] | 8.5 | 8.2 | 76.6 | 74.7 |
Table 3 Ablation study showing the effect of individual optimization terms on reconstruction accuracy. Active components are marked with ✓. The metrics reported are MPJPE and mPCK $_{3D}$ (mm), with $L_{0}-L_{2}$ denoting increasing scene complexity and the mean score over all scenes. Best and second best
| Keypoint reprojection | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Temporal smoothness | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ |
| Shape consistency | ✗ | ✗ | ✓ | ✓ | ✗ | ✗ | ✓ | ✓ |
| Biomechanical | ✗ | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✓ |
| MPJPE $\downarrow$ | | | | $mPCK_{{3D}}\uparrow$ | | | |
| Complexity level $L_{{0}}$ | 115.1 | 8.0 | 8.0 | 24.0 | 59.5 | 75.7 | 75.4 | 71.6 |
| Complexity level $L_{{1}}$ | 47.6 | 8.8 | 9.1 | 14.4 | 64.5 | 74.8 | 73.2 | 64.5 |
| Complexity level $L_{{2}}$ | 297.9 | 9.5 | 8.8 | 69.7 | 55.9 | 74.2 | 75.4 | 23.7 |
| Mean | 112.9 | 8.4 | 8.5 | 25.9 | 60.4 | 75.1 | 74.7 | 58.6 |
---
Fig. 4 Qualitative results of the full pipeline showing 3D poses reprojected into the original video streams and a 3D SMPL-X [^2] render (right). First row: SPP. Second and third row: SPI
补充信息：在线版本包含可在获取的补充材料。
致谢：作者感谢Jannis Piekarek，他是为数据集标注所使用的标注工具的主要开发者。
资助：本研究得到了OR-X——瑞士国家转化外科研究基础设施的支持，苏黎世大学和巴尔格里斯特大学医院也提供了相关资助；同时该项目还获得了Innosuisse旗舰项目PROFICIENCY（编号PFFS-21-19）的资助。
数据可用性：重现研究结果所需的代码和数据可在获取。
## 声明
利益冲突：作者声明不存在利益冲突。
伦理审批：所有操作均遵循相关机构审查委员会的伦理标准，以及《赫尔辛基宣言》及其后续修正案（或类似的伦理准则）的原则。当地伦理委员会批准了本研究（BASEC编号2021-01196）。
## 参考文献
[^1]: Jiang T, Lu P, Zhang L, Ma N, Han R, Lyu C, Li Y, Chen K (2023) Rtmpose: Real-time multi-person pose estimation based on mmpose. arXiv preprint
[^2]: Pavlakos G, Choutas V, Ghorbani N, Bolkart T, Osman AAA, Tzionas D, Black MJ (2019) Expressive body capture: 3D hands, face, and body from a single image. In: Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10975–10985
[^3]: Zhang M, Cheng X, Copeland D, Desai AD, Guan MY, Brat GA, Yeung S (2020) Using computer vision to automate hand detection and tracking of surgeon movements in videos of open surgery. In: American Medical Informatics Association Annual Symposium (AMIA)
[^4]: Bkheet E, D’Angelo A-L, Goldbraikh A, Laufer S (2023) Using hand pose estimation to automate open surgery training feedback. Int J Comput Assist Radiol Surg 18(7):1279–1285
[^5]: Hein J, Seibold M, Bogo F, Farshad M, Pollefeys M, Fürnstahl P, Navab N (2021) Towards markerless surgical tool and hand pose estimation. Int J Comput Assist Radiol Surg 16:799–808
6. Müller L-R, Petersen J, Yamlahi A, Wise P, Adler TJ, Seitel A, Kowalewski K-F, Müller B, Kenngott H, Nickel F, Maier-Hein L (2022) 用于手术远程指导的稳健手部跟踪。《国际计算机辅助放射外科杂志》17(8):1477–1486。
[^7]: Zhang X, Wang J, Dai X, Shen S, Chen X (2023) A non-contact interactive system for multimodal surgical robots based on leap-motion and visual tags. Front Neurosci 17:1287053
[^8]: Wang J, Zhang X, Chen X, Song Z (2023) A touch-free human-robot collaborative surgical navigation system based on hand gesture recognition. Front Neurosci 17:1200576
[^9]: Zimmermann C, Brox T (2017) Learning to estimate 3d hand pose from single rgb images. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV)
[^10]: Iqbal U, Molchanov P, Breuel T, Gall J, Kautz J (2018) Hand pose estimation via latent 2.5d heatmap regression. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 118–134
[^11]: Mueller F, Bernard F, Sotnychenko O, Mehta D, Sridhar S, Casas D, Theobalt C (2018) Generated hands for real-time 3d hand tracking from monocular rgb. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 49–59
[^12]: Xie P, Xu W, Tang T, Yu Z, Lu C (2024) Ms-mano: Enabling hand pose tracking with biomechanical constraints. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2382–2392
## [^13]: Hewitt C, Saleh F, Aliakbarian S, Petikam L, Rezaeifar S, Florentin L, Hosenie Z, Cashman TJ, Valentin J, Cosker D, Baltrusaitis T (2024) Look ma, no markers: Holistic performance capture without
---
the hassle. 《ACM图形学汇刊》43(6):1–12。
14. Avola D, Cinque L, Fagioli A, Foresti GL, Fragomeni A, Pannone D (2022) 用于基于关键点的手势识别的RGB图像3D手部姿态与形状估计。《模式识别》129:108762。
[^15]: Spurr A, Iqbal U, Molchanov P, Hilliges O, Kautz J (2020) Weakly supervised 3d hand pose estimation via biomechanical constraints. In: European Conference on Computer Vision (ECCV)
16. Khirodkar R, Bagautdinov T, Martinez J, Su Z, James A, Selednik P, Anderson S, Saito S (2024) Sapiens：人类视觉模型的基础。欧洲计算机视觉会议（ECCV）。
[^17]: Zimmermann C, Ceylan D, Yang J, Russell B, Argus M, Brox T (2019) Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In: IEEE International Conference on Computer Vision (ICCV)
[^18]: Zimmermann C, Argus M, Brox T (2021) Contrastive representation learning for hand shape estimation. In: Pattern Recognition. DAGM GCPR
[^19]: Yang Z, Zeng A, Yuan C, Li Y (2023) Effective whole-body pose estimation with two-stages distillation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops (ICCVW). CV4Metaverse Workshop
20. Srivastav V, Gangi A, Padoy N (2022) 手术室中临床医生姿态估计与实例分割的无监督域适应。《医学影像分析》80:102525。
[^21]: Jocher G, Qiu J Ultralytics YOLO11
[^22]: Xiong Y, Zhou C, Xiang X, Wu L, Zhu C, Liu Z, Suri S, Varadarajan B, Akula R, Iandola F, Krishnamoorthi R, Soran B, Chandra V (2025) Efficient track anything. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)
[^23]: Meyer J, Giraud F, Wüthrich J, Fürnstahl P, Calvet L (2025) Rocsync: Millisecond-accurate temporal synchronization for heterogeneous camera systems. arXiv preprint
[^24]: Flückiger T, Hein J, Fischer V, Fürnstahl P, Calvet L (2025) Automatic calibration of a multi-camera system with limited overlapping fields of view for 3d surgical scene reconstruction. International Journal of Computer Assisted Radiology and Surgery
25. Lin T-Y, Maire M, Belongie S, Bourdev L, Girshick R, Hays J, Perona P, Ramanan D, Zitnick CL, Dollár P (2014) Microsoft COCO：常见物体上下文。欧洲计算机视觉会议（ECCV）。
出版商声明：Springer Nature对于所发表地图中的管辖权声明及机构归属保持中立。
Springer Nature或其许可方（如学术协会或其他合作伙伴）根据与作者或其他权利持有人签订的出版协议，拥有本文的独家使用权；本文被接受的手稿版本由作者自行存档一事，仅受该出版协议的条款及适用法律约束。