# 面向眼科手术中手与器械交互的动态三维重建研究 胡明 $^{1,2,3*}$ 于正迪 $^{4*}$ 唐飞龙 $^{1,2,3}$ 陈凯文 $^{5}$ 李宇龙 $^{3}$ Imran Razzak $^{3}$ 何俊君 $^{2}$ Tolga Birdal $^{4}$ 周凯静 $^{5\dagger}$ 葛宗元 $^{1\dagger}$ $^{1}$莫纳什大学 $^{2}$上海人工智能实验室 $^{3}$MBZUAI $^{4}$伦敦帝国理工学院 $^{5}$温州医科大学眼视光医院 , ## 摘要 在基于视觉的眼科显微手术分析中，手部和器械的精确三维重建至关重要，但此前相关研究进展受阻，原因在于缺乏逼真的大规模数据集以及可靠的标注工具。在这项工作中，我们推出了OphNet-3D——首个用于眼科手术的广泛RGB-D动态三维重建数据集，该数据集包含来自40名外科医生的41个序列，共计710万帧图像，其中包含了12个手术阶段、10类器械的细粒度标注，还有密集的MANO手部网格以及完整的器械6自由度位姿信息。为了能够规模化地生成高保真标签，我们设计了一个多阶段的自动标注流程，该流程整合了多视角数据观测、具备跨视角几何一致性和生物力学约束的数据驱动运动先验，同时还加入了针对器械交互的碰撞感知交互约束。基于OphNet-3D，我们建立了两个具有挑战性的基准测试——双手姿态估计和手-器械交互重建，并提出了两种专用架构：用于双手网格恢复的H-Net，以及用于双手-双器械交互联合重建的OH-Net。这两种模型采用了一种新颖的空间推理模块，该模块结合了弱透视相机建模和碰撞感知的基于中心点的表示方法。相较于现有方法，这两种架构的性能优势显著：在手部及器械重建任务中，平均关节位置误差（MPJE）降低了2毫米以上，ADD-S指标提升了多达23%。 ## 1 引言 现代眼科显微手术是医学领域最精细的手术范式之一，要求在受限的工作空间内以亚毫米级精度操作器械 [^63] [^75]。虽然机器人工具和手术培训平台的进步改善了治疗效果，但目前的技能评估方法仍严重依赖专家监督和主观反馈，这限制了其可扩展性和客观性 [^15] [^39] [^54]。在当前的眼科手术培训模式中，学员主要依靠导师的直接指导来掌握技能并进行表现评估。然而，这种方式对教学资源的需求极高，尤其是考虑到手术指导耗时较长，且复杂的显微手术对实时反馈有着迫切需求。计算机辅助手术领域的最新研究 [^37] [^73] [^17] [^21] 表明，对手术工具和操作者手部运动的运动学分析，有望实现客观的技能评估以及个性化的培训反馈。 ---
Table 1: Comparison with existing 3D hand reconstruction datasets. OphNet-3D is the first surgical RGB-D dataset, offering high-resolution videos and rich annotations of complex hand–instrument interactions. It far exceeds prior datasets in scale and diversity and uniquely supports real-time dual-hand and multi-object reconstruction tasks. Task abbreviations: HPE: Hand Pose Estimation, OPE: Object Pose Estimation, HR: Hand Reconstruction, HOI: Hand-Object Interaction Reconstruction, HMOI: Hand and Multi-Object Interaction Reconstruction, Video: Video-level Reconstruction.
DatasetsModalitySourceViewsDataset PropertiesObjectsMotionsFramesHPEOPETask SupportVideo
ResultsResolutionParticipantsHRHOIHMOHOI
PreHAND [OCY-10] [^96]GeneralReal RGB8224 \times 22432---130.2K✓✓✓✓✓✓
ObMan [CVPR-10] [^27]GeneralReal RGB1256 \times 256--8-150K✓✓✓✓✓✓
InterHand2.6M [OCV-15] [^56]GeneralReal RGB80 \times 140512 \times 334263233-2.6M-✓✓✓✓✓
ContactPose [CVPR-20] [^5]GeneralReal RGB-D3256 \times 2565025222.9M✓✓✓✓✓✓
H2O [OCV-14] [^40]GeneralReal RGB-D51280 \times 72048836571.6K✓✓✓✓✓✓
DexYCB [CVPR-11] [^7]GeneralReal RGB-D8640 \times 480102020-582K✓✓✓✓✓✓
ARCTIC [CVPR-11] [^16]GeneralReal RGB92800 \times 200010111122.1M✓✓✓✓✓✓
HOT3D [CVPR-23] [^1]GeneralReal RGB(boxcap)34084 \times 848193333-1.5M-✓✓✓✓✓
Hein et al. [OCARSS-13] [^31]ClinicalSynth RGB2256 \times 25621--10.5K✓✓✓✓✓✓
POV-Surgery [OCARSS-23] [^81]ClinicalSynth RGB-D31920 \times 1080-33388.3K✓✓✓✓✓✓
HUP-3D [MMCAAT-24] [^3]ClinicalSynth RGB90848 \times 480--11131.7K✓✓✓✓✓✓
OphNet-3D (Ours)ClinicalReal RGB-D8848 \times 480401012127.1M✓✓✓✓✓✓
甚至还有实时术中引导功能 [^73] [^80]。Goodman等人 [^21] 整理了包含1,997个视频的AVOS语料库，并训练了一个能够识别手部、工具和动作的实时多任务模型。基于AVOS，Vaid等人 [^79] 将外科医生手部识别问题重新定义为半监督的单类2D检测任务，该任务将大量带噪声的未标注帧与少量已标注帧相结合。不过这两种方法仍依赖10帧组成的2D片段，且缺乏长距离时间、深度、姿态或多视角线索。与此同时，其他方法 [^43] [^58] 仍然依赖外部动作捕捉装置或可穿戴传感器，这些设备带来的限制既与无菌手术环境相悖，又会干扰自然工作流程。 近期，单目 [^13] [^94] [^82] [^59] 及多视角 [^84] [^85] RGB-based 3D手-物交互重建技术在通用场景中取得了显著成果，为眼科手术培训中的非接触式技能评估提供了有前景的途径。通过单张RGB图像就能估算外科医生的手部和器械姿态，从而量化握持姿势、器械方向等关键操作细节，而这些细节与手术质量和临床结果密切相关。然而，由于操作空间高度受限、运动尺度细微，加上双手与多种器械之间频繁发生遮挡和复杂交互，直接将这些方法应用于眼科显微手术环境仍颇具挑战性。这些因素使得现有算法难以准确重建运动结构。此外，缺乏针对眼科手术的高精度、真实标注的3D数据集，也进一步限制了该领域的方法开发与评估。 为解决上述局限，我们推出了OphNet-3D——首个记录真实眼科手术中动态3D手-器械交互的大规模数据集。该数据集通过八台同步RGB-D相机采集，包含40名外科医生完成的41个白内障手术序列（平均每个序列时长超过12分钟），总计超过710万帧对齐的RGB-D图像，这些图像标注了12个手术阶段和10类器械。我们采用多阶段自动标注流程，从多视角视频中还原出密集的3D手部网格和6D工具姿态。最后，我们定义了两个评估基准——双手姿态估计和手-器械交互，并提出了统一的基线模型OH-Net，用于 jointly重建双手双工具的交互情况。我们的贡献如下： - 我们推出了OphNet-3D，这是首个用于临床手术环境中手-器械交互3D重建的大规模、高质量真实世界数据集。OphNet-3D在数据规模、相机视角、参与者多样性、器械种类、运动模式及物体多样性以及支持的任务类型等方面均实现了前所未有的突破，其规模分别是现有最大通用3D手部重建数据集的$2.5\times$倍，也是最大手术3D手部重建数据集的$70\times$倍。 - 我们提出了一种多阶段自动标注流程，利用数据驱动的手部运动先验结合生物力学约束和交互感知优化机制，从多视角RGB-D视频中重建3D手部网格和6D工具姿态。 基于所提出的数据集，我们建立了两个基准：一个用于双手姿态估计，另一个用于手-工具交互。我们进一步提出了统一的基线模型OH-Net，该模型能够利用有效的空间推理能力来共同重建双手与两种工具的交互过程，并通过大量的定量和定性实验结果来验证其性能。 --- ![Image](images/43c2887394d4c229f846faf7bdcc37b0aab99200834366522404412cbc111486.jpg) ![Image](images/05895d7b1b7270299df240d47864319d3170b28d6e4db3cd53bb941631d0585b.jpg)
Figure 1: OphNet-3D's acquisition framework, comparisons with other datasets, and phase-frame distributions. Left: (a) a synchronized multi-camera rig with 8 calibrated RGB-D cameras and 3 directional LED lights; (b) participants perform standardized cataract surgery maneuvers on pig-eye simulators under an ophthalmic microscope; (c) boxplots of pixel errors for eight cameras across three calibration runs. Upper Right: comparative visualization of OphNet-3D and existing 3D hand datasets. The horizontal axis denotes the total number of RGB frames, while the vertical axis indicates the number of categories across the participants, objects, and motion settings. Circle diameters encode the number of provided segmentation-mask instances; datasets without mask annotations are represented by dashed outlines. Lower Right: distribution of frame counts and clip durations for each phase.
## 2 OphNet-3D数据集 数据采集。OphNet-3D数据集是在多摄像头工作室中采集的，该工作室配备了8台以30帧/秒速率拍摄的Intel® RealSense™ D435 RGB-D摄像头，同时有3盏高功率定向LED灯对准手部以确保均匀照明（见图1：左侧）。摄像头的分辨率为$848 \times 480$，多视角系统通过ArUco校准板进行标定。关于录制平台的详细设置可参见B.1节。 我们遵循标准的白内障手术流程，将手术过程划分为12个独立阶段。每个阶段的详细定义和示例可在B.3节中找到。手术过程中使用了10种不同的手术器械，所有器械均使用ZEISS ATOS Q蓝光3D扫描仪进行扫描，相关实物器械图像及其3D CAD模型展示在B.5节中。每次录制时，会有两名助手在场——一名负责操作录制系统，另一名协助完成手术流程，比如传递器械，以保障手术的连续性。所有手术动作均在采用猪眼的眼科手术模拟平台上录制，同时同步采集自眼科手术显微镜视角的视频。最后，由眼科医生对手部视角视频与显微镜视角视频进行时间对齐，标注手术阶段位置并进行二次验证。 数据统计。我们共从40名不同参与者那里记录了41个序列（其中一名参与者分别佩戴蓝色和白色手套，贡献了两个序列），其中20名参与者拥有超过一年的手术经验，另外20名参与者的手术经验不足一年。数据集中的原始视频平均时长为16分钟，包含超过950万帧RGB图像。通过阶段定位标注（B.4节）过滤掉过渡片段后，最终的OphNet-3D数据集包含565个阶段片段，总时长达300小时，包含超过710万帧RGB图像，具体信息见表5。此外，OphNet-3D数据集还提供了超过2100万个实例的分割标注。 ## 3 自动标注方法 给定来自多个视角的输入视频$\{\mathcal{V}^i\}_{i=1}^I$，这些视频包含T帧内容，涉及两只手与可能两种手术器械的交互，我们的目标是恢复手部网格和器械的6D姿态，从而重建手部与器械的交互运动。为了高效地为采集到的RGB-D视频自动添加来自多个视角的精确网格和姿态标注，我们设计了如图2所示基于优化的多阶段自动标注流程。 --- ![Image](images/58d992be0452bbb94ba3b500bce3eea22c941482a9e3cf76cc9e393b4b355fdb.jpg)
Figure 2: Our automatic annotation pipeline. Given a multi-view RGB-D video sequence as input, our pipeline reconstructs the 3D hand mesh and 6D instrument pose in a multi-stage manner. H and W represent the initialization network for hands [^61] and instance segmentation masks [^67].
在第一阶段，我们使用第2节中描述的扫描得到的3D CAD模型来追踪每一帧的6D器械姿态。此外，我们利用最先进的SAM2模型[^67]并结合人工修正，来获取每一帧中手部($^i\mathcal{M}_h$)和器械($^i\mathcal{M}_o$)的精确实例掩码，以便进行后续的点云分割。在生成每一帧的场景点云时，我们首先根据每个视角的深度图像计算出点云，再将不同视角的点云合并。为了通过跨视角过滤来分割出感兴趣的区域（即两只手和器械），我们将合并后的点云投影回8个视角，保留那些在超过半数视角中能投影到手-器械区域上的点，从而得到最终的每一帧场景点云$\mathbf{P}_t$，该点云可进一步拆分为手部$\mathbf{P}_t^{hand}$和器械$\mathbf{P}_t^{obj}$。第二阶段的目标是，根据由8个校准相机拍摄的多视角RGB-D视频来重建3D手部模型以及器械的6D姿态。为此，我们采用最先进的2D与3D手部姿态估计方法[^61] [^52]，来初始化相机坐标系下每一帧的手部运动状态；同时利用这些掩码进行全局配准和ICP算法[^42]，以估算每个相机视角下的初始器械姿态。由于频繁出现的遮挡、截断以及相互混淆现象，要恢复准确的手-器械交互状态颇具挑战性。作为解决方案，我们在第三阶段提出了一种手-器械联合优化方案，该方案采用了基于[^14]启发而来的手部运动先验模型HMP[^91]以及生物力学约束。 ### 3.1 手部运动标注 手部表示方式。我们使用MANO手部模型[^69]来对手部形状和姿态进行参数化描述，该模型采用基于顶点的线性混合蒙皮技术，并结合学习得到的混合形状。在每个时间步t，手部运动状态表示为： $$ \begin{array}{r}{\boldsymbol{q}_{t}^{h}=\{\boldsymbol{\theta}_{t}^{h},\boldsymbol{\beta}_{t}^{h},\boldsymbol{\phi}_{t}^{h},\boldsymbol{\tau}_{t}^{h}\},}\end{array} $$ 其中$\boldsymbol{\theta}_t^h \in \mathbb{R}^{3 \times 15}$表示15个手部关节的局部姿态，$\boldsymbol{\beta}_t^h \in \mathbb{R}^{10}$代表手部形状参数，而$(\phi_t^h, \tau_t^h)$则定义了全局腕部状态。具体而言，方向$\phi_t^h \in \mathbb{R}^3$采用轴角表示法来描述，而平移量$\boldsymbol{\tau}_t^h \in \mathbb{R}^3$则指定了腕部在3D空间中的位置。左右手的区别由$h \in \{l, r\}$指示，分别对应于左手或右手。利用这些MANO参数以及蒙皮函数$\mathcal{W}(\cdot)$，我们可以重构出3D手部网格$\mathbf{V}_t^h \in \mathbb{R}^{3 \times 778}$和3D手部关键点$\mathbf{J}_t^h \in \mathbb{R}^{3 \times 21}$，分别对应$\mathbf{V}_t^h = \mathcal{W}(\mathcal{H}(\mathbf{J}_t^h, \boldsymbol{\beta}^h), \mathcal{P}(\boldsymbol{\beta}^h), \mathbf{S}) + \tau_t^h \mathbf{1}_{778}$和$\mathbf{J}_t^h = \mathbf{L}\mathbf{V}_t^h$。此处$\mathcal{W}(\cdot)$表示蒙皮函数，$\mathcal{H}$代表经过姿态调整后的参数化手部模板，$\mathbf{1}_{778} \in \mathbb{R}^{1 \times 778}$是一个元素均为1的行向量。函数$\mathcal{P}(\cdot)$用于返回手部关节在静止姿态下的位置，$\mathbf{S}$定义了蒙皮权重，而$\mathbf{L}$则是一个预训练的线性回归器，用于从网格顶点估算关节位置。 手部初始化。对于每个摄像头视角，我们利用基于[^61]的高效双手运动跟踪系统，在摄像头坐标系中初始化每帧的3D手部运动状态，同时处理幻觉检测问题。我们进一步从ViTPose [^83]中获取每帧的2D手部关键点以及手部边界框，以此提取图像块并输入到[^61]中，进行由粗到细的3D运动状态预测。最后，我们根据可见性对运动状态进行加权求和，从而得到世界坐标系下全局运动状态${q_t^h}$的最终初始化结果。接下来，我们利用摄像头视角i的标定相机信息$\{\mathbf{R}_t^i, T_t^i\}$将运动状态转换到世界坐标系中： $$ \mathbf{w}_{\phi_{t}^{h}}=\mathbf{R}_{t}^{-1}.\mathbf{\Lambda}^{c}\phi_{t}^{h}\qquad\mathrm{a n d}\qquad\mathbf{w}_{\mathbf{\Lambda}^{h}_{t}}=\mathbf{R}_{t}^{-1}.\mathbf{\Lambda}^{c}\mathbf{\tau}_{t}^{h}-\mathbf{R}_{t}^{-1}.\mathbf{\Lambda}\mathbf{\tau}_{t}, $$ --- 其中$\mathbf{w} \phi_t^h$和$\phi_t^h$分别表示世界坐标系与摄像头坐标系下的手腕方向，$\mathbf{w} \tau_t^h$和$\mathbf{c} \tau_t^h$则表示平移量。为简便起见，此处省略了下标i。对于2D观测数据，我们借助ViTPose [^83]、MediaPipe [^52]以及来自[^61]的2D投影结果，通过置信度过滤来提取每个视角下每帧的最终2D关键点$\mathbf{i} \mathbf{J}_t^h \in \mathbb{R}^{2 \times 21}$，将其作为后续优化的观测输入；这里的2D投影是利用[^61]预测的弱透视相机参数来完成的。此外，我们在D.1节中提供了关于观测数据后处理的更多细节，包括幻觉处理和缺失检测填补。 优化过程。为了从多视角RGB-D视频中恢复手部网格，我们提出了一种迭代拟合算法，通过最小化包含正则化项和生物力学约束的目标函数[^71]，以及手部运动先验[^14]来实现。 $$ E_{\mathrm{I}}(\boldsymbol{\theta}_{t}^{h},\boldsymbol{\beta}_{t}^{h},\boldsymbol{\phi}_{t}^{h},\boldsymbol{\tau}_{t}^{h})=\sum_{i=1}^{N_{i}}(\lambda_{\mathrm{2d}}\mathcal{L}_{\mathrm{2d}}+\lambda_{\mathrm{s i l}}\mathcal{L}_{\mathrm{s i l}})+\lambda_{\mathrm{s}}\mathcal{L}_{\mathrm{s m o o t h}}+\lambda_{\mathrm{3d}}\mathcal{L}_{\mathrm{3d}}+\mathcal{L}_{\mathrm{b i o}}+\mathcal{L}_{\mathrm{p r i o r}}, $$ 其中$N_i$表示摄像头视角的数量，$\mathcal{L}_{\mathrm{2d}}$则是用于最小化2D手部关键点观测值$\{\hat{\mathbf{J}}_t^h\}_{t=0}^T$与当前全局状态$\{\boldsymbol{\theta}_t^h, \boldsymbol{\beta}_t^h, \boldsymbol{\phi}_t^h, \boldsymbol{\tau}_t^h\}$下、基于MANO模型参数$\boldsymbol{q}_t^h$得到的3D关键点投影之间的差异的2D投影损失： $$ \mathcal{L}_{\mathrm{2d}}=\sum_{h\in\{l,r\}}\sum_{t=0}^{T}\rho\left(\mathbf{C}_{t}^{h}\left(^{i}\tilde{\mathbf{J}}_{t}^{h}-^{i}\hat{\mathbf{J}}_{t}^{h}\right)\right). $$ 这里$\rho(\cdot)$指的是German-McClure鲁棒函数[^19]。$\mathbf{C}_t^h$是用于判断关节可见性的置信度过滤掩码，$\tilde{\mathbf{J}}_t^h = \Pi(\mathbf{w}\mathbf{J}_t^h, \mathbf{R}_t, \boldsymbol{\tau}_t, \mathbf{K})$为投影后的3D关键点，而$\Pi$则是基于各视角采集的相机内参$\mathbf{K} \in \mathbb{R}^{3 \times 3}$和外参$\{\mathbf{R}_t^i, \boldsymbol{\tau}_t^i\}$所得到的透视相机投影。为了提高不同视角间的像素对齐精度，我们提出了基于轮廓的误差项$\mathcal{L}_{\text{sil}}$： $$ \mathcal{L}_{\mathrm{s i l}}=\sum_{t=0}^{T}\parallel{}^{i}\mathbf{M}_{t}^{h}-\mathbf{N R}(V_{t}^{h},K^{i},\mathbf{R}_{t}^{i},\boldsymbol{\tau}_{t}^{i})\parallel $$ 其中$\mathrm{NR}(\cdot)$是一种可微渲染器，它能将两个手部的3D网格渲染成2D掩码，而$\mathrm{M}_{t}^{h}$则是时刻t下手部h的干净分割掩码。为了实现网格重建结果与真实场景之间的精确3D对齐，我们计算3D网格损失，并最小化帧点云$\mathrm{P}_{t}^{h}$与MANO手部网格之间的距离： $$ \mathcal{L}_{\mathrm{3d}}=\sum_{h\in\{l,r\}}\sum_{t=0}^{T}\sum_{i=1}^{N_{V}}\frac{1}{N_{V}}\|\left(\mathbf{p}_{t}^{j(i)}-\mathbf{v}_{t}^{i}\right)\cdot\mathbf{n}_{i}\|,\quad\mathrm{w h e r e}\quad j(i)=\arg\operatorname*{m i n}_{j}\|\mathbf{p}_{t}^{j}-\mathbf{v}_{t}^{i}\| $$ 其中$\mathbf{p}_t^j$是时刻t下手部点云$\mathbf{P}_t^h$中的第j个点，$v_t^i$则是手部网格$\mathbf{V}_t^h$中的第i个顶点。该顶点的重建手部网格法线表示为$n_t^i$。此外，我们通过引入$\mathcal{L}_{\text{smooth}}$来减少手部运动的抖动并提升时间上的平滑度： $$ \mathcal{L}_{\mathrm{s m o o t h}}=\sum_{h\in\{l,r\}}\sum_{t=0}^{T}\|\mathbf{J}_{t+1}^{h}-\mathbf{J}_{t}^{h}\|^{2}+g(\boldsymbol{\theta}_{t+1}^{h},\boldsymbol{\theta}_{t}^{h})^{2} $$ 其中，$g(\cdot)$ 表示测地距离。为了进一步提升手部运动质量的合理性并减少抖动以实现更自然的运动，我们利用数据驱动的运动先验 $\mathcal{L}_{\text{prior}} = \mathcal{L}_{\mathbf{z}} + \lambda_{\theta} \mathcal{L}_{\theta} + \lambda_{\beta} \mathcal{L}_{\beta}$ 来计算 [^14]，这里的潜码为 $\mathbf{z}^h$。这一方法受到 [^91] 的启发。通过惩罚负对数似然值，该方法能够确保运动被约束在已学习到的先验空间内： $$ \mathcal{L}_{\mathbf{z}}=\sum_{h\in\{l,r\}}\sum_{t=0}^{T}-\log\mathcal{N}(\mathbf{z}^{h};\boldsymbol{\mu}^{h}(\{\mathbf{J}_{t}^{h}\}),\boldsymbol{\sigma}^{h}(\{\mathbf{J}_{t}^{h}\})). $$ 为了明确防止优化过程中产生不合理的姿态，我们进一步提出了 $\mathcal{L}_{\mathrm{bio}} = \sum_{t=0}^{T} (\lambda_{\mathrm{ja}} \mathcal{L}_{\mathrm{ja}} + \lambda_{\mathrm{bl}} \mathcal{L}_{\mathrm{bl}} + \lambda_{\mathrm{palm}} \mathcal{L}_{\mathrm{palm}} + \lambda_{\mathrm{angle}} \mathcal{L}_{\mathrm{angle}})$，它包含带有生物力学约束的角度正则化项 [^71] 以及角度限制约束。关于损失计算的更多细节详见 D.2 节。 --- ### 3.2 手术器械运动标注 通过利用多视角 RGB-D 帧以及相机位姿信息，我们的方法能够精确标注每帧中手术器械的 6D 位姿。该方法旨在应对复杂的手术场景（如光线干扰、遮挡等）下的 3D 手部运动恢复问题。 获取器械的规范局部几何模型。我们对每件器械进行激光扫描以获得高分辨率的 3D 网格模型（见第 2 节）。对于可活动的器械（如超声乳化手柄），我们还会将其拆分为多个活动部件分别扫描，同时记录其静止位姿和最大相对运动位姿，如图 2 所示。有关器械的详细可视化结果，请参阅第 16 节。 确定器械的活动方式。可活动器械（如手柄）的表面由各基础部件的 6D 位姿以及相对于规范位姿的 1D 活动参数来描述。具体而言，6D 器械位姿可表示为 $\{\mathbf{R}_t^o, \boldsymbol{\tau}_t^o\}$。针对每件器械，我们利用扫描得到的器械部件及相对位姿状态来定义 3D 参数化模型 $\mathcal{O}(\cdot)$。给定 6D 位姿 $\theta_t^o \in \mathbb{R}^6$ 和 1D 相对活动系数 $\alpha_t \in \mathbb{R}^1$，其中 $\alpha \in [0,1]$ 用于统一描述不同模型间的位姿变形。这里，$\alpha = 0$ 对应静止位姿，$\alpha = 1$ 对应最大活动位姿，二者共同表征变形状态。由此便可重建器械的 3D 网格 $\mathcal{O}(\theta_t^o, \alpha_t) \in \mathbb{R}^{3 \times N_o}$，其中 $N_o$ 表示器械的顶点数量。 6D器械姿态初始化。我们利用多视角RGB-D信息来获取精确的逐帧6D器械姿态。如前所述，我们首先使用SAM2 [^67]对每个相机视图中的器械进行分割和2D跟踪，并通过手动校正来获得双手及器械的干净2D分割掩码。此外，我们将不同视角的深度图像合并，生成整个场景的点云。之后，我们利用跨视角滤波器分割出感兴趣区域：将点云投影到所有相机视图中，保留那些在超过半数视图中投影到手-器械区域上的点，从而得到器械的点云 $\mathbf{P}_t^{obj}$。通过运行基于RANSAC的全局配准算法，我们实现了3D器械网格与 $\mathbf{P}_t^{obj}$ 之间的粗略全局对齐。随后，我们用ICP [^42]优化对齐结果，从而获得从器械标准坐标系到世界坐标系的初始刚性变换。最后，我们运行一个简单的基于倒角距离的优化器以实现更精准的对齐，进而得到关节运动参数 $\alpha_t$ 以及最终的6D器械姿态 $\{\mathbf{R}_t^o, \tau_t^o\}$。将6D姿态应用到器械模型上，就能得到世界坐标系下的3D网格。需要注意的是，我们的手术场景包含多种双手双器械交互情况，因此我们将每只手中的器械表示为 $\mathbf{O}_t^h$。 ### 3.3 联合优化 若简单地将手和器械组合在一起，可能会导致不合理的手-器械交互，比如相互穿透或不自然的接触。为了实现3D手部姿态与器械姿态的联合优化，并为这种交互引入更多约束，我们提出了以下优化目标： $$ E_{\mathrm{I I}}(\boldsymbol{\theta}_{t}^{h},\boldsymbol{\beta}_{t}^{h},\boldsymbol{\phi}_{t}^{h},\boldsymbol{\tau}_{t}^{h},\mathbf{R}_{t}^{o},\boldsymbol{\tau}_{t}^{o},\boldsymbol{\alpha}_{t})=E_{I}+\sum_{i=1}^{N_{i}}(\lambda_{\mathrm{s i l}}\mathcal{L}_{\mathrm{s i l}})+\lambda_{\mathrm{3d}}\mathcal{L}_{\mathrm{3d}}+\lambda_{\mathrm{i n t e r}}\mathcal{L}_{\mathrm{i n t e r}}+\lambda_{\mathrm{s d f}}\mathcal{L}_{\mathrm{s d f}} $$ 具体而言，$\mathcal{L}_{\text{sil}}$代表轮廓损失项，它计算的是组合后的手-物体掩码 $^i\mathbf{M}_t^{h,o}$ 与3D手-物体网格的渲染掩码 $\mathbf{NR}(V_t^h, O_t^h, K^i, \mathbf{R}_t^i, \boldsymbol{\tau}_t^i)$ 之间的差异。$\mathcal{L}_{\text{3d}}$则计算真实点云 $\mathbf{P}_t$ 与预测的手及物体网格之间的差异。此外，我们利用交互损失 $\mathcal{L}_{\text{inter}}$ 来约束手-器械接触关系，遵循 [^28] 的定义，即 $\mathcal{L}_{\text{inter}} = \lambda_R L_R + \lambda_A L_A$；其中 $L_R$ 和 $L_A$ 分别为吸引损失与排斥损失，前者用于惩罚手与器械之间的相互穿透现象，后者则用于最小化可能接触区域内手与器械之间的距离。关于具体计算方式的更多细节详见附录。最后，我们通过应用改进版有符号距离场（SDF）损失 $\mathcal{L}_{\text{sdf}}$ 来进一步优化交互效果，相关细节及消融研究见D.2节。 ## 4 基准方法与实验 我们的数据集能够支持姿态估计与识别领域的各类下游任务。在本节中，我们将介绍基于该数据集构建的两个基准测试。我们首先提出每个基准测试的评估协议， --- 并对数据集进行详细分析。此外，我们给出了与这些基准测试相对应的基线方法，通过与最先进的方法进行对比，以验证我们方法的有效性。更多实现细节见D节。 ### 4.1 评估协议 数据划分。为确保每个阶段都有均衡的样本，我们按照受试者将数据集划分为训练集、验证集和测试集，其中分别包含30名、3名和8名受试者。基于这种数据划分，我们开展双手手部姿态估计以及手部与器械的交互研究。关于数据分布和数据质量分析的更多细节，我们在附录中进行了说明。值得注意的是，在针对这两个基准测试的实验里，我们利用了来自全部8个视角的单目训练图像来训练模型，这些视角既包括自我中心视角也包括非自我中心视角，从而提供丰富的监督信息。 评估指标。我们的目标是从视频中重建复杂手术操作期间手部和器械的精确3D运动。具体而言，我们提出了用于量化估计质量的指标，并将我们的基线方法与最先进的手部-物体姿态估计方法进行比较。 ![Image](images/757dbfeabe457b46cbbf450dcc7dc7606fe09814223e424ee95496c52f0429cf.jpg)
Figure 3: Overview of the OH-Net. The backbone image encoder outputs the image feature, which is then used to decode the hand/instrument centre heatmap and segmentation mask. MANO decoders predict their corresponding weak-perspective camera parameters. Decoupling the instrument branch forms H-Net.
- 双手手部姿态估计：为了评估手部重建流程的准确性和合理性，我们报告了在根部（手腕）关节对齐后，平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）（单位：毫米）。为了明确衡量相对平移误差，我们报告了平均相对根部平移误差（MRRTE）。 - 手部与器械交互：为了量化重建质量，我们采用了与双手手部姿态估计基准测试中相同的评估指标（MPJPE、MPVPE、MRRTE）。对于器械姿态估计质量，我们采用常用的ADD-S分数进行评估，该分数衡量的是经真实姿态变换后的模型顶点与估计姿态之间的平均距离，具体参照 [^48] [^41] [^72] [^76] [^92]。具体而言，我们报告了变换后器械中顶点位置误差小于器械直径10%的比例。我们还进一步报告了平均关节误差（MAE），用以评估器械的关节活动情况；该指标通过计算真实关节活动系数与预测值之间的绝对误差百分比得出，不含没有关节活动的刚性器械。至于交互质量，我们评估每对手部-器械交互之间的平均关节位置误差（MRRTEh, o）以及平均穿透体积（Pen），相关内容见 $cm^{3}$。 ### 4.2 双手手部运动估计 我们现在针对从单目RGB输入图像进行双手手部姿态估计的任务建立基准测试。在手术操作场景中，获取精确的三维手部姿态至关重要。 参数化表示。在（单目）双手手部姿态估计任务中，我们的目标是从RGB输入视频中重建两只手的三维姿态。为了获取两只手的详细几何结构，我们采用参数化模型MANO [^69] 作为网格表示方式，以预测 $\{\theta_t^h, \beta_t^h, \phi_t^h, \tau_t^h\}$，具体过程如下：
Table 2: Quantitative evaluation results for bimanual hand motion estimation. We compare our method with state-of-the-art hand reconstruction methods on local hand poses. MPJPE, MPVPE, and MRRTE are reported in millimeters (mm) after root alignment.
MethodValTest
MPJPE $\downarrow$MPVPE $\downarrow$MRRTE $\downarrow$MPJPE $\downarrow$MPVPE $\downarrow$MRRTE $\downarrow$
DIR [^68]18.6318.9134.7618.8918.7535.17
InterWild [^55]19.4819.8737.2720.1920.3438.76
IntagHand [^44]18.9217.9632.4319.3819.1632.77
ACR [^90]18.1818.5733.2918.8619.2833.59
H-Net (w/o T-Net)18.5718.4833.9218.9819.1434.18
H-Net17.3918.7231.6617.6618.6631.89
H-Net-D15.2816.3726.8615.9716.1826.59
根据数据集设置，给定MANO参数后，三维手部网格 $V_{t}^{h}$ 和21个手部关键点 ---
Table 3: Quantitative evaluation results for two-hand-instrument interactions. We compare our method with the state-of-the-art hand reconstruction methods on local hand poses.
SplitMethod (mm)MPJPE (mm) $\downarrow$MPVPE (mm) $\downarrow$MRRTE (mm) $\downarrow$ADD-S (%) $\uparrow$MAE (%) $\downarrow$Pen (mm) $\downarrow$MRRTE $^{{n,o}}$ (mm) $\downarrow$
ValHasson et al. [^26]19.8721.4539.7856.66-7.8727.98
HFL-Net [^48]17.5118.2737.4358.64-7.0625.67
HOISDF [^65]17.0518.2234.3660.91-5.6924.13
OH-Net (w/o T-Net)17.4818.3332.6166.8714.836.4121.86
OH-Net17.1218.4331.3671.5211.145.8719.94
OH-Net-D15.2316.4126.7876.689.675.1417.33
TestHasson et al. [^26]20.0421.3340.5656.89-7.7628.69
HFL-Net [^48]17.4517.6638.6559.78-7.1425.49
HOISDF [^65]17.3617.9135.8861.32-5.7723.82
OH-Net (w/o T-Net)17.8918.0633.2565.9414.316.4521.92
OH-Net (Ours)17.3418.3631.5870.7911.175.9120.11
OH-Net-D (Ours)15.9416.1326.4476.319.625.1817.45
$J_t^h$ 便可以被回归得出。我们采用常用的弱透视相机模型 [^61] [^44] [^90] [^56] [^94] 来估计三维平移量。 基线模型。为了解决从单目RGB(-D)图像重建双手的问题，我们引入了H-Net作为基线方法，该方法不包含器械分支。如图3所示，该模型以时间步t的图像为输入，提取图像特征$f_t \in \mathbb{R}^{D \times H \times W}$，其中D为特征图的维度。随后，接下来的3个回归头分别预测分割掩码$\mathbf{M}^h \in \mathbb{R}^{3 \times H \times W}$（即左手、右手和背景）、MANO参数图$\mathbf{M}_t^{mano} \in \mathbb{R}^{218 \times H \times W}$以及手部中心热图$\mathbf{C}_t^{hand} \in \mathbb{R}^{2 \times H \times W}$。利用针对手部的、具备碰撞感知能力的基于中心的表示方式[^74] [^90]，我们能够在排斥场中分离双手特征，同时让距离过近的中心相互远离。接下来，通过将手部中心图与实例分割掩码相结合，即可提取出每只手的MANO参数$q_t^h$。利用MANO模型$\mathcal{W}(\cdot)$得到包含关键点的3D网格后，我们使用T-Net输出的相对平移量$\Delta\tau \in \mathbb{R}^3$来建模从左手到右手的精细相对变换，并将强大的空间特征作为先验知识加以利用。弱透视相机参数表示为$c_t^h$。此外，我们将基于RGB-D输入的版本称为H-Net-D。最后，网络通过手部中心损失和网格参数损失的加权和来进行监督： $$ \mathcal{L}=\lambda_{\mathrm{focal}}\mathcal{L}_{focal}+\lambda_{\mathrm{pj}2\mathrm{d}}\mathcal{L}_{\mathrm{pj}2\mathrm{d}}+\lambda_{\mathrm{3d}}\mathcal{L}_{\mathrm{3d}}+\lambda_{\mathrm{sil}}\mathcal{L}_{\mathrm{sil}}+\mathcal{L}_{\mathrm{mano}}+\lambda_{\mathrm{seg}}\mathcal{L}_{\mathrm{seg}} $$ 其中$\mathcal{L}_{focal}$是手部中心图的焦点损失，$\mathcal{L}_{\text{mano}} = \lambda_{\theta} \mathcal{L}_{\theta} + \lambda_{\beta} \mathcal{L}_{\beta}$是MANO参数的L2损失的加权和。我们在附录D.3中提供了训练和实现细节。 实验结果。我们评估了基线模型在手术双手重建任务上的性能，并将其与最先进的手部姿态估计方法进行比较。如表2所示，我们的方法显著优于InterWild [^55]、DIR [^68]和IntagHand [^44]等先前方法，在MPJPE、MPVPE和MRRTE等不同指标上均取得了最佳的整体性能。这些结果凸显了特定领域设计的重要性：我们的手部中心检测器与定制化的参数化方法提升了在手术环境中的鲁棒性，因为在该环境中，手套、遮挡以及器械引起的手部姿态变化都是独特的挑战。值得注意的是，T-Net模块通过学习分割掩码中的空间对齐信息，实现了更精细的姿态优化，从而在关节级和顶点级指标上均带来了稳定的提升。这些发现验证了我们的基线模型在高精度建模手术手部方面的有效性，为后续的手部-器械推理奠定了坚实基础。 ### 4.3 双手-器械交互 在本节中，我们提出了手部-器械交互基准测试，其目标是重建双手的3D网格以及手术器械的6D姿态。 参数化表示。在双手-器械交互基线方面，我们的任务是重建双手的3D网格以及手持手术器械的6D姿态。为了保持一致性，我们仍采用MANO [^69]作为手部表示方法。对于6D器械姿态估计，我们利用第3.2节介绍的参数化模型$\mathcal{O}(\theta_t^o, \alpha_t)$来表示具有关节活动的手术器械。具体而言，3D网格是通过6D姿态参数$\theta_t^o \in \mathbb{R}^6$以及控制关节活动的1D相对活动因子$\alpha_t \in [0,1]$来回归得到的。 基线。如第4.2节所述，将仪器6D姿态估计分支整合后便构成了完整的OH-Net模型。作为首个能够重建双手与两个物体交互关系的算法，我们提出了一种特征与网格表示的解耦方法，并设计了专门的交互处理机制。 --- 如图3所示，提取的特征图随后会经过5个回归头的处理，从而生成手部中心图$\mathbf{C}_t^{hand} \in \mathbb{R}^{2 \times H \times W}$和物体中心图$\mathbf{C}_t^{obj} \in \mathbb{R}^{2 \times H \times W}$。分割头则用于预测实例掩码$\mathbf{M}_t^{h,o} \in \mathbb{R}^{5 \times H \times W}$。我们将基于碰撞感知的中心表示机制扩展以适应该任务需求，从而将距离较近的仪器中心与手部中心区分开来。仪器参数图被回归为$\mathbf{M}^{obj} \in \mathbb{R}^{14 \times H \times W}$，其中包含了两种仪器的6D姿态以及1D关节活动系数。接下来，T-Net会预测左手、右手以及它们所交互的仪器之间的相对平移量$\Delta \tau \in \mathbb{R}^9$。OH-Net的训练遵循以下目标函数： $$ \mathcal{L}=\lambda_{\mathrm{focal}}\mathcal{L}_{focal}+\lambda_{\mathrm{pj}2\mathrm{d}}\mathcal{L}_{\mathrm{pj}2\mathrm{d}}+\lambda_{\mathrm{3d}}\mathcal{L}_{\mathrm{3d}}+\lambda_{\mathrm{sil}}\mathcal{L}_{\mathrm{sil}}+\mathcal{L}_{\mathrm{mano}}+\lambda_{\mathrm{seg}}\mathcal{L}_{\mathrm{seg}}+\lambda_{\mathrm{obj}}\mathcal{L}_{\mathrm{tool}} $$ 其中$\mathcal{L}_{\text{tool}}$代表仪器监督的损失函数。具体而言，$\mathcal{L}_{\text{tool}}$由用于计算6D仪器姿态的$\mathcal{L}_R$和$\mathcal{L}_\tau$，以及用于计算1D关节活动系数的$\mathcal{L}_\alpha$组成。此外，我们还定义了针对仪器的$\mathcal{L}_{\text{pj2d}}$和$\mathcal{L}_{3d}$，并依据[^50]中规定的仪器网格预定义边界框对其进行优化。详细的实现细节请参阅附录。 实验结果。我们在手-仪器交互基准测试上对所提出的OH-Net框架进行了评估。如表3所示，我们的方法在所有评估指标上均取得了最先进的性能，这些指标包括MPJPE、MPVPE、MRRTE和ADD-S。完整的OH-Net模型得益于对手部和仪器的联合建模，联合训练不仅提升了交互精度，还增强了关节活动的一致性。值得注意的是，OH-Net是首个能够同时重建双手及两个交互仪器、并实现显式解耦与空间推理的算法。其RGB-D版本OH-Net-D在所有指标上均取得了进一步提升，尤其是在穿透度（Pen）和MRRTE $^{h,o}$这类与交互相关的指标上表现尤为突出。MAE和ADD-S结果则体现了可靠的关节活动估计与仪器定位能力。此外，图4展示了预测网格和多视角渲染的定性示例，证明了我们的模型在遮挡情况下仍能保持手-仪器接触关系并还原精细的交互细节。更多结果与可视化内容详见D.3节。 ![Image](images/50b9e99fc3b4df811ab96fc4cab6548117dc4daf31b2f01613507f5e21463000.jpg)
Figure 4: Qualitative results on the Hand-instrument interaction benchmark. Each row shows a sample from the test set, with columns displaying: (1) input image, (2) mesh prediction, (3) rendered mesh from a side view, and (4) bird's-eye view.
视图渲染结果展示了我们的模型在保持手与器械接触的同时，即便在遮挡情况下也能恢复精细的交互细节。更多结果与可视化内容详见D.3节。 ## 5 讨论 相关工作。手术视觉研究最近已从传统任务[^57] [^33] [^23]向3D感知领域发展，包括场景重建[^93] [^11]、深度估计[^12] [^87]以及导航[^66] [^86]。尽管AVOS [^21]和MM-OR [^58]等数据集取得了进展，但大多数系统仍局限于被动监测，而非实时手术辅助。与此同时，3D手部重建已从通用基准测试[^96] [^56]发展到合成医学数据集[^81] [^3]，不过缺乏临床真实性。单目方法也从单手模型[^13] [^61]发展为双手系统[^94] [^46]以及手-物体交互模型[^82] [^89]，采用基于模板的方法[^18] [^25]和几何约束[^5] [^95]。我们的工作填补了临床空白，提出了一种针对眼科显微手术的针对性3D感知框架，利用真实的RGB-D数据来捕捉精细的双手及多种器械的交互情况。详情请参阅表1和附录A。 结论。在本文中，我们介绍了OphNet-3D——首个用于眼科显微手术的大规模真实世界RGB-D动态3D重建数据集，包含来自40名外科医生的41个序列（共710万帧），标注了12种手术阶段、10类器械、详细的MANO手部网格以及6D器械姿态。我们开发了一种多阶段自动标注流程，集成了单目手部先验模型、分割-点云对齐以及基于生物力学的手-器械关节优化技术。利用该数据集，我们建立了两个新基准——双手姿态估计和手-器械交互基准，并提出了H-Net和OH-Net，它们在所有指标上均取得了最先进的性能（）。 局限性与未来工作。本研究为眼科手术中的动态3D重建提供了新见解，但存在三个主要局限：它依赖于单一中心的数据（需要多中心验证以提高泛化能力）；强显微镜照明会导致器械尖端过度曝光（可通过同步运动捕捉的RGB或红外成像来解决）；此外，它尚未整合显微镜视图以实现眼表、手部及器械的联合重建（这可能是提升临床相关性的未来重要方向）。 --- 多中心验证有助于提升模型的泛化能力；强显微镜照明会导致器械尖端过度曝光（这一问题可通过同步运动捕捉的RGB或红外成像来解决）；此外，该模型尚未整合显微镜视图以实现眼表、手部及器械的联合重建（这或许是推动其临床应用的相关性的未来重要研究方向）。 ## 参考文献 [^1]: P. Banerjee, S. Shkodrani, P. Moulon, S. Hampali, S. Han, F. Zhang, L. Zhang, J. Fountain, E. Miller, S. Basol, R. Newcombe, R. Wang, J. J. Engel, and T. Hodan. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. CVPR, 2025. [^2]: R. A. Bartholomew, H. Zhou, M. Boreel, K. Suresh, S. Gupta, M. B. Mitchell, C. Hong, S. E. Lee, T. R. Smith, J. P. Guenette, et al. Surgical navigation in the anterior skull base using 3-dimensional endoscopy and surface reconstruction. JAMA Otolaryngology–Head & Neck Surgery, 150(4):318–326, 2024. [^3]: M. Birlo, R. Caramalau, P. J. Edwards, B. Dromey, M. J. Clarkson, D. Stoyanov, et al. Hup-3d: A 3d multi-view synthetic dataset for assisted-egocentric hand-ultrasound pose estimation. arXiv preprint arXiv:2407.09215, 2024. [^4]: H. Borgli, V. Thambawita, P. H. Smedsrud, S. Hicks, D. Jha, S. L. Eskeland, K. R. Randel, K. Pogorelov, M. Lux, D. T. D. Nguyen, et al. Hyperkvasir, a comprehensive multi-class image and video dataset for gastrointestinal endoscopy. Scientific data, 7(1):283, 2020. [^5]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. [^6]: Z. Cao, I. Radosavovic, A. Kanazawa, and J. Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. [^7]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021. [^8]: P. Chen, W. Li, N. Gunderson, J. Ruthberg, R. Bly, Z. Sun, W. M. Abuzeid, and E. J. Seibel. Endoperfect: A hybrid nerf-stereo vision approach pioneering monocular depth estimation and 3d reconstruction in endoscopy, 2025. [^9]: Y. Chen, Z. Tu, D. Kang, R. Chen, L. Bao, Z. Zhang, and J. Yuan. Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. IEEE Transactions on Image Processing, 30:4008–4021, 2021. [^10]: E. Corona, A. Pumarola, G. Alenya, F. Moreno-Noguer, and G. Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5031–5041, 2020. [^11]: C. Cotsoglou, S. Granieri, S. Bassetto, V. Bagnardi, R. Pugliese, G. L. Grazi, A. Guglielmi, A. Ruzzenente, L. Aldrighetti, F. Ratti, et al. Dynamic surgical anatomy using 3d reconstruction technology in complex hepato-biliary surgery with vascular involvement. results from an international multicentric survey. HPB, 26(1):83–90, 2024. [^12]: B. Cui, M. Islam, L. Bai, and H. Ren. Surgical-dino: adapter learning of foundation models for depth estimation in endoscopic surgery. International Journal of Computer Assisted Radiology and Surgery, pages 1–8, 2024. [^13]: H. Dong, A. Chharia, W. Gou, F. V. Carrasco, and F. De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. arXiv preprint arXiv:2407.09646, 2024. [^14]: E. Duran, M. Kocabas, V. Choutas, Z. Fan, and M. J. Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6353–6363, 2024. [^15]: P. Entezami, L. E. Franzblau, and K. C. Chung. Mentorship in surgical training: a systematic review. Hand, 7(1):30–36, 2012. [^16]: Z. Fan, O. Taheri, D. Tzionas, M. Kocabas, M. Kaufmann, M. J. Black, and O. Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. [^17]: R. Fujii, R. Hachiuma, H. Kajita, and H. Saito. Surgical tool detection in open surgery videos. Applied Sciences, 12(20):10473, 2022. ## [^18]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018 --- [^19]: S. Geman. Statistical methods for tomographic image restoration. Bull. Internat. Statist. Inst., 52:5–21, 1987. [^20]: G. Gkioxari, R. Girshick, P. Dollár, and K. He. Detecting and recognizing human-object interactions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8359–8367, 2018. [^21]: E. D. Goodman, K. K. Patel, Y. Zhang, W. Locke, C. J. Kennedy, R. Mehrotra, S. Ren, M. Guan, O. Zohar, M. Downing, et al. Analyzing surgical technique in diverse open surgical videos with multitask machine learning. JAMA surgery, 159(2):185–192, 2024. [^22]: P. Grady, C. Tang, C. D. Twigg, M. Vo, S. Brahmbhatt, and C. C. Kemp. Contactopt: Optimizing contact to improve grasps. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1471–1481, 2021. [^23]: M. Grammatikopoulou, E. Flouty, A. Kadkhodamohammadi, G. Quellec, A. Chow, J. Nehme, I. Luengo, and D. Stoyanov. Cadis: Cataract dataset for surgical rgb-image segmentation. Medical Image Analysis, 71:102053, 2021. [^24]: H. Hamer, J. Gall, T. Weise, and L. Van Gool. An object-dependent hand pose prior from sparse training data. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 671–678. IEEE, 2010. [^25]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. [^26]: Y. Hasson, B. Tekin, F. Bogo, I. Laptev, M. Pollefeys, and C. Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020. [^27]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. [^28]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. [^29]: M. Hayoz, C. Hahne, T. Kurmann, M. Allan, G. Beldi, D. Candinas, P. Márquez-Neila, and R. Sznitman. Online 3d reconstruction and dense tracking in endoscopic videos. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 444–454. Springer, 2024. [^30]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. [^31]: J. Hein, M. Seibold, F. Bogo, M. Farshad, M. Pollefeys, P. Fürnstahl, and N. Navab. Towards markerless surgical tool and hand pose estimation. International journal of computer assisted radiology and surgery, 16:799–808, 2021. [^32]: M. Hu, L. Wang, S. Yan, D. Ma, Q. Ren, P. Xia, W. Feng, P. Duan, L. Ju, and Z. Ge. Nurvid: A large expert-level video database for nursing procedure activity understanding. Advances in Neural Information Processing Systems, 36:18146–18164, 2023. [^33]: M. Hu, P. Xia, L. Wang, S. Yan, F. Tang, Z. Xu, Y. Luo, K. Song, J. Leitner, X. Cheng, et al. Ophnet: A large-scale video benchmark for ophthalmic surgical workflow understanding. arXiv preprint arXiv:2406.07471, 2024. [^34]: M. Hu, K. Yuan, Y. Shen, F. Tang, X. Xu, L. Zhou, W. Li, Y. Chen, Z. Xu, Z. Peng, et al. Ophclip: Hierarchical retrieval-augmented learning for ophthalmic surgical video-language pretraining. arXiv preprint arXiv:2411.15421, 2024. [^35]: D. Huang, X. Ji, X. He, J. Sun, T. He, Q. Shuai, W. Ouyang, and X. Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia Conference Proceedings, 2022. [^36]: K. Karunratanakul, J. Yang, Y. Zhang, M. J. Black, K. Muandet, and S. Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. [^37]: S. Khalid, M. Goldenberg, T. Grantcharov, B. Taati, and F. Rudzicz. Evaluation of deep learning models for identifying surgical actions and measuring performance. JAMA network open, 3(3):e201664–e201664, 2020. [^38]: J. Kim, M.-G. Gwon, H. Park, H. Kwon, G.-M. Um, and W. Kim. Sampling is matter: Point-guided 3d human mesh reconstruction. In Proceedings of the IEEE/CVF Conference on computer vision and pattern recognition, pages 12880–12889, 2023. ## [^39]: S. V. Kotsis and K. C. Chung. Application of the “see one, do one, teach one” concept in surgical training. Plastic and reconstructive surgery, 131(5):1194–1201, 2013 --- [^40]: T. Kwon, B. Tekin, J. Stühmer, F. Bogo, and M. Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10138–10148, October 2021. [^41]: T. Kwon, B. Tekin, J. Stühmer, F. Bogo, and M. Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148, 2021. [^42]: V. Lepetit, F. Moreno-Noguer, and P. Fua. Ep n p: An accurate o (n) solution to the p n p problem. International journal of computer vision, 81:155–166, 2009. [^43]: C. Li, Y. Tong, Y. Long, W. Si, D. C. M. Yeung, J. Y.-K. Chan, and Q. Dou. Extended reality with hmd-assisted guidance and console 3d overlay for robotic surgery remote mentoring. IEEE Robotics and Automation Letters, 2024. [^44]: M. Li, L. An, H. Zhang, L. Wu, F. Chen, T. Yu, and Y. Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2761–2770, 2022. [^45]: M. Li, H. Zhang, Y. Zhang, R. Shao, T. Yu, and Y. Liu. Hhmr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 645–654, 2024. [^46]: D. Lin, Y. Zhang, M. Li, Y. Liu, W. Jing, Q. Yan, Q. Wang, and H. Zhang. 4dhands: Reconstructing interactive hands in 4d with transformers. arXiv preprint arXiv:2405.20330, 2024. [^47]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988, 2017. [^48]: Z. Lin, C. Ding, H. Yao, Z. Kuang, and S. Huang. Harmonious feature learning for interactive hand-object pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12989–12998, 2023. [^49]: D. Liu, Q. Li, T. Jiang, Y. Wang, R. Miao, F. Shan, and Z. Li. Towards unified surgical skill assessment. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9522–9531, 2021. [^50]: S. Liu, H. Jiang, J. Xu, S. Liu, and X. Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. [^51]: X. Liu, A. Sinha, M. Ishii, G. D. Hager, A. Reiter, R. H. Taylor, and M. Unberath. Dense depth estimation in monocular endoscopy with self-supervised learning methods. IEEE Transactions on Medical Imaging, 39(5):1438–1447, 2020. [^52]: C. Lugaresi, J. Tang, H. Nash, C. McClanahan, E. Uboweja, M. Hays, F. Zhang, C.-L. Chang, M. G. Yong, J. Lee, et al. Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172, 2019. [^53]: G. Manni, C. Lauretti, F. Prata, R. Papalia, L. Zollo, and P. Soda. Bodyslam: A generalized monocular visual slam framework for surgical applications. arXiv preprint arXiv:2408.03078, 2024. [^54]: R. Q. Mao, L. Lan, J. Kay, R. Lohre, O. R. Ayeni, D. P. Goel, et al. Immersive virtual reality for surgical training: a systematic review. Journal of Surgical Research, 268:40–58, 2021. [^55]: G. Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 17028–17037, 2023. [^56]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee. Interhand2. 6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020. [^57]: C. I. Nwoye, T. Yu, C. Gonzalez, B. Seeliger, P. Mascagni, D. Mutter, J. Marescaux, and N. Padoy. Rendezvous: Attention mechanisms for the recognition of surgical action triplets in endoscopic videos. Medical Image Analysis, 78:102433, 2022. [^58]: E. Özsoy, C. Pellegrini, T. Czempiel, F. Tristram, K. Yuan, D. Bani-Harouni, U. Eck, B. Busam, M. Keicher, and N. Navab. Mm-or: A large multimodal operating room dataset for semantic understanding of high-intensity surgical environments. arXiv preprint arXiv:2503.02579, 2025. [^59]: Y. L. Pang, C. Oh, and A. Cavallaro. Sparse multi-view hand-object reconstruction for unseen environments. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 803–810, 2024. ### [^60]: A. Paszke. PyTorch: An imperative style, high-performance deep learning library. arXiv preprint arXiv:1912.01703, 2019 --- [^61]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. [^62]: T.-H. Pham, N. Kyriazis, A. A. Argyros, and A. Kheddar. Hand-object contact force estimation from markerless visual tracking. IEEE transactions on pattern analysis and machine intelligence, 40(12):2883–2896, 2017. [^63]: J. D. Pitcher, J. T. Wilson, T.-C. Tsao, S. D. Schwartz, and J.-P. Hubschman. Robotic eye surgery: past, present, and future. J Comput Sci Syst Biol, 3(1):137, 2012. [^64]: A. Prakash, M. Chang, M. Jin, R. Tu, and S. Gupta. 3d reconstruction of objects in hands without real world 3d supervision. In European Conference on Computer Vision, pages 126–145. Springer, 2024. [^65]: H. Qi, C. Zhao, M. Salzmann, and A. Mathis. Hoisdf: Constraining 3d hand-object pose estimation with global signed distance fields. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10392–10402. IEEE, 2024. [^66]: L. Qiu and H. Ren. Endoscope navigation with slam-based registration to computed tomography for transoral surgery. International Journal of Intelligent Robotics and Applications, 4(2):252–263, 2020. [^68]: P. Ren, C. Wen, X. Zheng, Z. Xue, H. Sun, Q. Qi, J. Wang, and J. Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8014–8025, 2023. [^67]: N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Rädle, C. Rolland, L. Gustafson, E. Mintun, J. Pan, K. V. Alwala, N. Carion, C.-Y. Wu, R. Girshick, P. Dollár, and C. Feichtenhofer. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. [^69]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017. [^70]: D. Shan, J. Geng, M. Shu, and D. F. Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020. [^71]: A. Spurr, U. Iqbal, P. Molchanov, O. Hilliges, and J. Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. [^72]: S. Stevsic and O. Hilliges. Spatial attention improves iterative 6d object pose estimation. In 2020 international conference on 3D vision (3DV), pages 1070–1078. IEEE, 2020. [^73]: T. Sugiyama, S. Lama, L. S. Gan, Y. Maddahi, K. Zareinia, and G. R. Sutherland. Forces of tool-tissue interaction to assess surgical skill level. JAMA surgery, 153(3):234–242, 2018. [^74]: Y. Sun, Q. Bao, W. Liu, Y. Fu, M. J. Black, and T. Mei. Monocular, one-stage, regression of multiple 3d people. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11179–11188, 2021. [^75]: S. Tamai. History of microsurgery—from the beginning until the end of the 1970s. Microsurgery, 14(1):6–13, 1993. [^76]: B. Tekin, F. Bogo, and M. Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4511–4520, 2019. [^77]: Q. Tian, Z. Chen, H. Liao, X. Huang, L. Li, S. Ourselin, and H. Liu. Endoomni: Zero-shot cross-dataset depth estimation in endoscopy by robust self-learning from noisy labels. arXiv preprint arXiv:2409.05442, 2024. [^78]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016. [^79]: P. Vaid, S. Yeung, and A. Rau. Robust semi-supervised detection of hands in diverse open surgery environments. In K. Deshpande, M. Fiterau, S. Joshi, Z. Lipton, R. Ranganath, I. Urteaga, and S. Yeung, editors, Proceedings of the 8th Machine Learning for Healthcare Conference, volume 219 of Proceedings of Machine Learning Research, pages 736–753. PMLR, 11–12 Aug 2023. [^80]: H. Wang, Y. Long, Y. Chen, H.-C. Yip, M. Scheppach, P. W.-Y. Chiu, Y. Yam, H. M.-L. Meng, and Q. Dou. Learning dissection trajectories from expert surgical videos via imitation learning with equivariant diffusion. Medical Image Analysis, 103:103599, 2025. ### [^81]: R. Wang, S. Ktistakis, S. Zhang, M. Meboldt, and Q. Lohmeyer. Pov-surgery: A dataset for egocentric hand and tool pose estimation during surgical activities. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 440–450. Springer, 2023 --- [^82]: J. Wu, G. Pavlakos, G. Gkioxari, and J. Malik. Reconstructing hand-held objects in 3d. arXiv preprint arXiv:2404.06507, 2024. [^83]: Y. Xu, J. Zhang, Q. Zhang, and D. Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35:38571–38584, 2022. [^84]: J. Yang, J. Li, G. Li, Z. Shen, H.-Y. Wu, Z. Fan, and H. Huang. Mlphand: Real time multi-view 3d hand mesh reconstruction via mlp modeling. arXiv preprint arXiv:2406.16137, 2024. [^85]: L. Yang, J. Xu, L. Zhong, X. Zhan, Z. Wang, K. Wu, and C. Lu. Poem: reconstructing hand in a point embedded multi-view stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21108–21117, 2023. [^86]: Y. Yang, L. Guoliang, Q. Li, and R. Song. A slam framework based spinal endoscopic localization method. Procedia Computer Science, 250:81–87, 2024. [^87]: Z. Yang, J. Pan, J. Dai, Z. Sun, and Y. Xiao. Self-supervised endoscopy depth estimation framework with clip-guidance segmentation. Biomedical Signal Processing and Control, 95:106410, 2024. [^88]: Y. Ye, A. Gupta, and S. Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3895–3905, 2022. [^89]: Y. Ye, P. Hebbar, A. Gupta, and S. Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 19717–19728, 2023. [^90]: Z. Yu, S. Huang, F. Chen, T. P. Breckon, and J. Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2023. [^91]: Z. Yu, S. Zafeiriou, and T. Birdal. Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. arXiv preprint arXiv:2412.12861, 2024. [^92]: S. Zakharov, I. Shugurov, and S. Ilic. Dpod: 6d pose object detector and refiner. In Proceedings of the IEEE/CVF international conference on computer vision, pages 1941–1950, 2019. [^93]: R. Zha, X. Cheng, H. Li, M. Harandi, and Z. Ge. Endosurf: Neural surface reconstruction of deformable tissues with stereo endoscope videos. In International conference on medical image computing and computer-assisted intervention, pages 13–23. Springer, 2023. [^94]: B. Zhang, Y. Wang, X. Deng, Y. Zhang, P. Tan, C. Ma, and H. Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11354–11363, 2021. [^95]: J. Y. Zhang, S. Pepose, H. Joo, D. Ramanan, J. Malik, and A. Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XII 16, pages 34–51. Springer, 2020. ### [^96]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019 --- ### 相关工作 手术三维感知。除了传统的手术辅助任务，如阶段识别 [^57] [^33] [^32] [^34]、解剖结构分割 [^4] [^23] 以及器械检测 [^34] [^57] 之外，近期的研究越来越侧重于开放手术环境中的三维感知技术，旨在解决场景重建 [^93] [^11] [^29] [^8]、深度估计 [^12] [^87] [^77] [^51]、导航 [^66] [^2] [^86] [^53] 以及技能评估 [^49] [^21] 等方面的挑战。越来越多的研究利用多视角摄像头阵列、RGB-D传感器和惯性测量单元来重建包含静态解剖结构与动态手工具交互的精细手术场景。Goodman等人 [^21] 提出了AVOS——一个大规模标注的开放手术视频数据集，并开发了一个多任务模型，用于从真实手术视频中提取手术流程特征并量化外科医生的技能水平。MM-OR [^58] 则提供了一个全面的多模态手术室数据集，涵盖RGB-D图像、音频、语音转录文本及机器人日志，并配有全景分割与语义场景图标注。尽管这些系统在特定任务及多模态融合能力上取得了技术进展，但其临床应用效果仍有限，多数系统主要面向被动式动作识别或离线文档记录。鲜有系统针对实时使用进行优化，或专为支持显微手术中的特定训练目标而设计。在本研究中，我们针对这一空白，开发了一种面向临床的眼科显微手术三维感知框架，整合了任务特定的数据、模型设计以及系统级考量，以实现实际应用。 三维手部数据集。近期的三维手部重建数据集推动了手部姿态、物体姿态及交互重建领域的发展（详见表1）。FreiHAND [^96] 和 InterHand2.6M [^56] 等通用基准数据集提供了多视角真实RGB图像，可用于可靠的三维姿态恢复。ContactPose [^5] 进一步利用RGB-D数据来捕捉精细的接触模式。Banerjee等人提出的HOT3D [^1] 是一个大规模的自中心多视角手-物交互数据集，包含 $\approx$1.5百万帧同步采集的图像，这些图像由佩戴在头部的Aria和Quest 3摄像头拍摄，涉及19名参与者对33种物体的操作；每一帧图像都配有运动捕捉级别的三维手部及物体姿态数据。医学领域的数据集将这些理念延伸到了手术场景中。Hein等人 [^31] 发布了一个视图有限且动作简单的合成手术RGB数据集。POV-Surgery [^81] 和 HUP-3D [^3] 虽然增加了视角数量并丰富了交互类型，但其合成属性仍限制了真实性。眼科手术，尤其是白内障摘除手术，遵循固定的操作流程，但需要双手协同操作多种器械——例如，一只手持虹膜牵开器，另一只手引导晶状体囊膜切开钳。这种密集的双手动作对现有的重建方法提出了挑战。OphNet-3D填补了这一空白，它提供了一个真实的RGB-D临床数据集，记录了实时眼科手术中的精细双手多器械交互情况。 单目3D手部网格重建。与多视角方法相比，单目重建在临床手术室中更为实用：单个非接触式RGB摄像头能减少设备数量、保持无菌环境，且不会妨碍外科医生的工作空间。相关研究已从单手模型[^13] [^45] [^61] [^38] [^90]发展到双手系统[^94] [^90] [^46] [^68]，最近更是发展到了HOI重建[^82] [^64] [^35] [^89]。由于遮挡现象严重且标注数据稀缺，单目HOI重建仍然颇具挑战性。因此，许多研究假设存在已知的特定实例模板[^18] [^24] [^25]；有了模板后，物体恢复就简化为6D姿态估计以及手-物关节姿态推断。关节推理是通过隐式特征融合[^9] [^20] [^50] [^70] [^76]、显式的几何约束（如接触或碰撞[^5] [^6] [^10] [^22] [^95]）或基于物理的一致性约束[^62] [^78]来实现的。为了摆脱对模板的依赖，新近的研究直接预测物体形状——要么以显式的 genus-0 网格形式[^28]，要么通过手-物联合隐式场[^36]来实现。条件化重建策略进一步利用手部关节线索来优化物体几何结构[^88]。 ### B OphNet-3D构建 ## B.1 同步录制配置 我们使用Intel RealSense SDK进行采集，并通过官方软件触发方式同步所有摄像头。由于我们同时获取并存储来自八个摄像头的高分辨率RGB和深度流，系统的USB带宽和I/O性能被推向极限，持续的数据吞吐量可能会超出其容量，从而导致偶尔出现帧丢失现象。因此，在硬件方面，我们配置了核心数较多的主机、写入速度高的企业级存储驱动器以及光纤USB线缆，以确保数据传输的稳定性。 --- 在高频率图像I/O场景下，尽管JPEG和PNG等传统存储格式兼容性良好且便于可视化，但它们产生的压缩伪影和处理开销会显著降低系统整体性能。为解决这些局限并提高数据吞吐量，我们采用了基于二进制格式的图像编码方法，直接将cv::Mat矩阵数据序列化为原始二进制文件。具体而言，我们的方法首先把关键的矩阵元数据（行数、列数和cv::Mat类型）作为整数写入文件头，以确保能准确还原图像的尺寸和布局；随后将未经任何压缩或编码转换的像素字节流追加到文件主体中。解码时，按相同顺序读取文件即可精确还原原始的cv::Mat结构。在我们的实现中，彩色帧以$848 \times 480$个通道、类型为CV_8UC3的矩阵形式存储，而深度帧则是$848 \times 480$个通道、16位无符号整数（UINT16）的单通道矩阵，每一对彩色-深度数据在空间上是对齐的。在采集过程中，主线程会初始化八个摄像头采集子线程；收到采集命令后便开始保存图像，并禁用预览显示以节省资源，而在采集停止时则重新启用预览功能。 ![Image](images/194635300d0efd50bf670cc48ab17dd5e1f2773c3c2e59e5c0df6ba9b7eb4f95.jpg) ![Image](images/af100a77da001d1e6a893926d7a889fdd4986aa4e91b45b73a038d9000350f49.jpg) ![Image](images/7718399f6985e980d9be48906c68b0b1f530b499061610e3ec96063f7b90720e.jpg) ![Image](images/20665b3b95dcc5f91dd5c90b4238405e464f2b34fa9ecb1e118476a7fda09dd1.jpg) ![Image](images/0a86b31ffe4f12405610054492298a1574ad9c16b7752b74ac36f0563281e1f2.jpg) ![Image](images/cd8220c823c8084781dce90689a34106998343ac64d7674268046a1144d4fd16.jpg) ![Image](images/b84ec6ec9bc8a9a909779b9ccaca14c8ddc17f6e9804ee273e421599efa10b47.jpg)
Figure 5: Synchronized calibration of 8 cameras.
## B.2 同步校准 在我们的多摄像头校准流程中，每个Intel RealSense D435摄像头的内部参数——包括焦距、主点坐标和镜头畸变系数——都会通过官方SDK在运行时获取，并组合成3×3的相机矩阵K；在外部校准方面，尺寸和布局已知的平面ArUco标记板被用作世界坐标系的参考，针对每次同步采集的彩色图像，首先利用绿色通道掩码分离出标记板区域，随后将检测到的每个ArUco标记的二维角点坐标与其在标记板平面上的精确三维位置进行配对。接着，非线性透视-点求解器会计算出能使三维标记位置与二维观测结果最佳对齐的刚体旋转和平移参数，从而得出从标记板（世界坐标系）到相机坐标系的4×4齐次变换矩阵。在录制过程中，由于不可抗力因素，平台共移动了三次；每次移动后我们都会重新进行校准，图5展示了其中一次校准的示例。 ### B.3 阶段定义与演示 参照标准的白内障手术流程，我们将整个手术过程划分为12个阶段：(1) 主切口创建，(2) 粘弹性物质注射，(3) 前房穿刺，(4) 晶状体囊膜切开，(5) 水分离与水定位，(6) 超声乳化术前准备，(7) 晶状体核雕刻，(8) 晶状体核碎裂， --- (9) 晶状体核旋转，(10) 超声乳化，(11) 皮质清除，以及(12) 切口注水。各阶段的详细定义及所用器械信息详见表4。图10从两个不同摄像头视角展示了这12个阶段。
IndexPhase LabelPhase DefinitionInstruments Used
1main incision creationUse keratome to create a precise entry point through the cornea or limbus to access the anterior chamber of the eye.toothed forceps, keratome blade
2viscoelastic injectionInjection of ophthalmic viscoelastic devices (OVDs) into the anterior chamber using a viscoelastic syringe to maintain chamber depth, protect intraocular tissues, and facilitate subsequent surgical steps.viscoelastic syringe
3paracentesisCreation of a small, self-sealing side-port incision at the limbus using a $15^{\circ}$ stab blade to allow access for second instruments such as the chopper into the anterior chamber.$15^{\circ}$ stab blade, toothed forceps
4capsulorhexisCreating a continuous curvilinear opening in the anterior lens capsule using a capsulorhexis forceps to allow safe access to the lens nucleus for removal.iris repositor, capsulorhexis forceps
5hydrodissection and hydrodelineationInjection balanced salt solution (BSS) using a 10ml syringe to separate the lens nucleus from the cortex and capsule, allowing easier rotation and removal.10 mL syringe
6pre-phacoUse a phacoemulsification handpiece gently remove loose cortical or epinuclear material from the anterior lens surface before nucleus sculpting begins.nucleus chopper, phacoemulsification handpiece
7nucleus sculptingUsing a phacoemulsification handpiece to carve grooves into the lens nucleus to facilitate nucleus division and removal.nucleus chopper, phacoemulsification handpiece
8nucleus crackingUsing the phacoemulsification handpiece in combination with a nucleus chopper to mechanically split the grooved nucleus into smaller fragments for easier phacoemulsification and removal.nucleus chopper, phacoemulsification handpiece
9nuclear rotationUsing a nucleus chopper to gently rotate the lens nucleus within the capsular bag, ensuring optimal positioning for continued phacoemulsification.nucleus chopper, phacoemulsification handpiece
10phacoemulsificationInvolves using a phacoemulsification handpiece with ultrasonic tip to break up and emulsify the nucleus fragments, while simultaneously aspirating the lens material and maintaining anterior chamber stability.nucleus chopper, phacoemulsification handpiece
11cortex removal (I/A)Use an irrigation-aspiration handpiece to gently remove the residual cortical material from the capsular bag following phacoemulsification of the lens nucleus.iris repositor, irrigation-aspiration handpiece
12incision hydrationUsing a balanced salt solution (BSS) through a 10ml syringe to swell the corneal stroma at the incision (both main incision and paracentesis) edges, sealing the surgical incisions at the end of cataract surgery.10 mL syringe
Table 4: Definition of each phase and the instruments used in each phase
### B.4 阶段定位标注 我们对每段视频序列进行了阶段边界标注，具体步骤如下：首先，由于显微镜视图和手部视图录像是在不同设备上采集的，缺乏内在的时间同步性，因此我们手动对它们进行对齐。每次试验开始前，所有摄像头视图中会同时显示写有“开始录制”字样的硬质印刷标记；该标记首次出现在各视图中的帧被用作同步点。接着，由经验丰富的眼科医生查看时间对齐后的显微镜视图和手部视图视频，标出每个手术阶段的起始和结束时刻。为提高标签的纯净度，那些因视觉噪声而受损的片段——比如手术器械更换期间手部离开摄像头视野的情况——会被排除在外。随后由另一位眼科医生独立核对并修正所有的边界标注。最后，为确保阶段转换的精准界定，我们将每个标注区间的两端各缩短1秒。 ### B.5 器械演示 手术过程中共使用了10种不同器械：(1) $15^{\circ}$ 穿刺刀，(2) 角膜刀，(3) 虹膜托架，(4) 晶状体核切割器，(5) 带齿镊子，(6) 晶状体囊膜切开镊，(7) 超声乳化手柄，(8) 灌注-抽吸手柄，(9) 10 mL注射器，以及(10) 粘弹性物质注射器。图6展示了手术中使用的十种器械的照片，图16则呈现了它们的3D模型扫描文件。对于镊子，我们扫描了其张开和闭合两种状态；对于注射器，我们扫描了推杆处于最大和最小伸出状态的情形，此外还单独扫描了推杆和注射器本体这两个部件。 ### C OphNet-3D统计数据 表5列出了OphNet-3D每个划分中视频片段的数量，以及各手术阶段的帧数分布情况。由于某些阶段操作可能会涉及第三只手进入场景，我们在标注时会剔除这些片段；这可能会将完整阶段分割成多个较短的片段。这类片段在统计中会单独计数，但通过顺序索引标识符相互关联。 --- ![Image](images/6f57a0de93e160290024565494b33da5172d3a6131b74f12481405a593daa9ed.jpg)
Figure 6: 10 different instruments. From left to right they are: capsulorhexis forceps, viscoelastic syringe, toothed forceps, iris repositories, nucleus chopper, $15^{\circ}$ stab blade, keratome blade, irrigation-aspiration handpiece, phacoemulsification handpiece, and 10 mL syringe.
Phase LabelNo. of ClipsNo. of Frames
trainvaltestalltrainvaltestall
main incision creation323843312,22421,60048,960382,784
viscoelastic injection5982087519,12059,040132,960711,120
paracentesis3541352196,08013,44071,520281,040
capsulorhexis49415681,116,960105,360292,0801,514,400
hydrodissection and hydrodelineation304842321,86421,12079,920422,904
pre-phaco314843435,60048,96099,600584,160
nucleus sculpting303841367,92020,400106,080494,400
nucleus cracking293840127,2008,16039,840175,200
nuclear rotation12151851,1202,64031,44085,200
phacoemulsification294841556,08046,320237,600840,000
cortex removal (I/A)3331046751,83298,640290,6401,141,112
incision hydration324844406,16822,56080,672509,400
all401451195654,955,272468,2401,511,3127,141,720
Table 5: Phase distribution across splits for clips and frames.
## D 更多实现细节与结果 ### D.1 数据处理 手部网格初始化。为了初始化每个视图下每帧的手部运动数据，我们采用了受DynHaMR [^91]启发的三阶段流程，包括2D检测融合、逐视图跟踪和全局融合。 我们首先对每一帧RGB图像应用ViTPose [^83]来提取2D手部关键点。置信度低于$\epsilon_j = 0.5$的关键点会被丢弃。随后，对检测到的手部区域周围的裁剪图像块再次通过ViTPose进行局部优化。为解决关节不可靠或缺失的问题，我们还会额外应用MediaPipe [^52]并融合其结果：对于每个关节，若ViTPose的预测值高于阈值则保留该结果，否则替换为MediaPipe的输出。如果某些视图中完全检测不到手部，我们会通过复制可见性较高的相邻帧中的手部运动数据来填补缺失的检测结果，并通过时间窗口平滑其轨迹。这种方法 --- 能确保每个视图下每帧都有完整的关节集合$\mathbf{J}_t^h$。为减少虚假检测或左右手识别错误带来的噪声，我们采用了一种过滤策略。对于每一帧，我们仅保留重叠检测中IoU大于0.9的边界框，并剔除在序列中出现次数少于10帧的检测结果。此外，我们通过跟踪边界框的连续性来识别错误的左右手翻转或重复手部情况——如果某边界框与前一帧的IoU低于0.1，我们就将该帧标记为无效并排除在后续拟合之外。这些无效帧稍后会通过生成式填充技术恢复。 接下来，我们利用[^61]提出的由粗到精回归流程来估计每个视图下的3D手部姿态，该流程会输出MANO参数$\{\theta_t^h, \beta_t^h, \phi_t^h, \tau_t^h\}$。3D手腕平移量$\tau_t^h$则是通过深度采样和反投影得到的： $$ x=\frac{z(u-c_{x})}{f_{x}},\quad y=\frac{z(v-c_{y})}{f_{y}}, $$ 其中$(u,v)$表示2D关键点，$(f_x, f_y)$表示焦距。我们选择能使重投影误差最小的z值来初始化深度。 最后，利用已知的相机外参$\{\mathbf{R}_{i}, \mathbf{t}_{i}\}$将每个视图下的MANO参数转换到世界坐标系，再通过加权平均合并不同视图的数据。视图权重是根据2D关键点的置信度计算出的每帧可见度得分得出的。最终得到的是在所有帧和视图中全局一致且时间上平滑的手部姿态初始化结果。所得的运动数据将作为我们的多阶段RGB-D优化流程（见第3.2节）的输入，在该流程中时间、几何和交互约束会被联合优化。 ### D.2 标注流程 实现细节。我们使用PyTorch [^60]实现了标注流程。在第二阶段和第三阶段的优化过程中（见第3.2节），我们采用学习率lr=1的L-BFGS算法，并按以下权重优化损失函数： • 第二阶段采用的权重为：$\lambda_{2d}=0.001$、$\lambda_{smooth}=10$、$\lambda_{\theta}=0.04$、$\lambda_{\beta}=0.05$。 • 第三阶段采用的权重为：$\lambda_{z}=200,\lambda_{\phi}=2,\lambda_{\gamma}=10,\lambda_{pen}=10,\lambda_{\beta}=0.05,\lambda_{ja}=1,\lambda_{palm}=1,\lambda_{bl}=1$。 为了更好地模拟手部的合理性，我们建议在目标函数中引入生物力学约束和角度限制约束： $$ \mathcal{L}_{\mathrm{j a}}=\sum_{j}d_{\alpha,H}(\mathbf{a}_{t}^{j},\mathbf{H}^{j}),\quad\mathcal{L}_{\mathrm{b l}}=\sum_{j}\mathcal{I}(\|\mathbf{b}_{t}^{j}\|_{2};b_{\min}^{j},b_{\max}^{j}), $$ $$ \mathcal{L}_{\mathrm{p a l m}}=\sum_{i}\mathcal{I}(\|\mathbf{c}_{t}^{j}\|_{2};c_{\mathrm{m i n}}^{j},c_{\mathrm{m a x}}^{j})+\sum_{i}\mathcal{I}(\|\mathbf{d}_{t}^{j}\|_{2};d_{\mathrm{m i n}}^{j},d_{\mathrm{m a x}}^{j}), $$ $$ \begin{array}{r}{\mathcal{L}_{\mathrm{a n g l e}}=\|\hat{\theta}_{t}^{h}\|_{2}+\mathcal{I}(\|\hat{\theta}_{t}^{h}\|_{2};\theta_{\mathrm{m i n}}^{h},\theta_{\mathrm{m a x}}^{h})+\mathcal{I}(\|\hat{\theta}_{t}^{b}\|_{2};\theta_{\mathrm{m i n}}^{b},\theta_{\mathrm{m a x}}^{b}),}\end{array} $$ 其中 j 表示手部关节的索引。$\mathcal{L}_{\mathrm{ja}}$ 代表关节角度先验，用于通过用点集 $\boldsymbol{\alpha}_{t}^{j} = (\boldsymbol{\alpha}_{t}^{f}, \boldsymbol{\alpha}_{t}^{a})$ 在 $(\boldsymbol{\alpha}_{t}^{f}, \boldsymbol{\alpha}_{t}^{a})$ 平面上近似凸包来约束关节角度序列 $\mathbf{H}^{j}$。$\mathcal{I}(\cdot)$ 是惩罚异常值的区间损失。$\mathcal{L}_{\mathrm{bl}}$ 表示骨骼长度损失项，用于惩罚超出有效骨骼长度范围 $b_{j}$ 的手指骨骼长度 $[b_{\mathrm{min}}^{j}, b_{\mathrm{max}}^{j}]$。类似地，我们进一步对掌根骨的曲率 $\|\mathbf{c}_{t}^{j}\|_{2}$ 和角距离 $\|\mathbf{d}_{t}^{j}\|_{2}$ 进行约束，$\mathcal{L}_{\mathrm{palm}}$ 会通过惩罚超出范围 $[c_{\mathrm{min}}^{j}, c_{\mathrm{max}}^{j}]$ 和 $[d_{\mathrm{min}}^{j}, d_{\mathrm{max}}^{j}]$ 的异常值来实现这一点。此外，我们还对特定子集的手部姿态 $\hat{\theta}_{t}^{h}$（例如远端指间关节 DIP 的扭转旋转）进行约束，并惩罚超出预定义范围 $\{\theta_{\mathrm{min}}^{b}, \theta_{\mathrm{max}}^{b}\}$ 的异常值。 MANO 正则化。我们在优化过程中利用关于姿态和形状的先验来对预测的 MANO 参数进行正则化： $$ \mathcal{L}_{\mathrm{m a n o}}=\lambda_{\theta}\mathcal{L}_{\theta}+\lambda_{\beta}\mathcal{L}_{\beta}. $$ 姿态正则化项 $\mathcal{L}_{\theta}$ 利用姿态参数上的 $\ell_{2}$ 范数来惩罚与静止姿态（假设为零矢量）的偏差： $$ \mathcal{L}_{\boldsymbol{\theta}}=\sum_{h\in\{l,r\}}\sum_{t=0}^{T}||\boldsymbol{\theta}_{t}^{h}||_{2}^{2}. $$ --- 形状先验 $\mathcal{L}_{\beta}$ 同样会惩罚形状系数 $\beta_{t}^{h}$，从而促使手部几何形态更加合理： $$ \mathcal{L}_{\beta}=\sum_{h\in\{l,r\}}\|\beta^{h}\|_{2}^{2}. $$ 这些项作为软约束，能够防止优化过程中出现偏移，并有助于确保物理真实性。 交互损失。为了模拟物理合理性并引导手部与工具之间的相对空间排列，我们引入了交互损失 $\mathcal{L}_{\text{inter}}$，它包含吸引损失 $\mathcal{L}_A$ 和排斥损失 $\mathcal{L}_R$，这一做法参考了先前的研究 [^28]。具体而言，吸引项会在预期发生交互时促进手部与物体表面之间的接触，而排斥项则会对相互穿透现象进行惩罚。我们通过计算手部上每个 MANO 顶点与物体网格的接近程度来确定手部接触顶点集 $\mathcal{C}_{\text{ext}}^h$。对于每一帧，我们将距离物体表面 5 毫米以内的手部顶点标记为接触点。基于解剖结构，我们从该集合中提取出六个接触区域：五个指尖和手掌基部，这一划分方式参考了 [^28]。这六个锚定区域为保持真实的接触提供了软性引导。 吸引损失是根据手部的锚定点及其在物体网格上的最近点 $V_{obj}$ 计算得出的： $$ \mathcal{L}_{\mathrm{A}}(V_{\mathrm{o b j}},V_{\mathrm{h a n d}})=\sum_{i=1}^{6}\mathcal{L}_{\mathrm{d i s t}}(d(C_{i}^{h}(\mathrm{E x t}(\mathrm{O b j})),V_{\mathrm{o b j}})), $$ 其中 $C_i^h(\text{Ext}(\text{Obj}))$ 对应于区域 i 的手部锚定顶点，$\mathcal{L}_{\text{dist}}$ 是这些顶点与物体上最近点之间的距离损失（例如 L1 范数）。我们将距离损失 $\mathcal{L}_{\text{dist}}$ 定义为一组手部接触顶点与其在物体网格上最近邻居之间的平均欧几里得距离： $$ \mathcal{L}_{\mathrm{d i s t}}(C,V_{\mathrm{o b j}})=\frac{1}{|C|}\sum_{\mathbf{v}\in C}\min_{\mathbf{u}\in V_{\mathrm{o b j}}}\|\mathbf{v}-\mathbf{u}\|_{2}, $$ 其中 C 表示手部的接触顶点集，$V_{obj}$ 表示物体网格。为了防止不自然的相互穿透现象，我们定义了手部顶点与物体内部之间的排斥损失 $\mathcal{L}_{\mathrm{R}}$： $$ \mathcal{L}_{\mathrm{R}}(V_{\mathrm{o b j}},V_{\mathrm{h a n d}})=\sum_{\mathbf{v}_{i}\in V_{\mathrm{h a n d}}}\mathbb{1}_{\mathrm{i n}}(\mathbf{v}_{i})\cdot d(\mathbf{v}_{i},V_{\mathrm{o b j}}), $$ 其中 $\mathbb{1}_{\mathrm{in}}(\cdot)$ 是一个指示函数，用于标记位于物体内部的顶点，$d(\cdot, V_{\mathrm{obj}})$ 则表示到物体表面的最短距离。最终的交互损失是各项的加权组合： $$ \mathcal{L}_{\mathrm{i n t e r}}=\lambda_{\mathrm{R}}\mathcal{L}_{\mathrm{R}}+(1-\lambda_{\mathrm{R}})\mathcal{L}_{\mathrm{A}}, $$ 在这里，$\lambda_{\mathrm{R}} = 0.5$ 平衡着排斥力与吸引力。根据 [^28] 的建议，我们在训练初期将 $\lambda_{\mathrm{R}} = 1.0$ 设为特定值，以优先解决网格相互穿透的问题，之后再逐步降低该值以允许吸引力的发挥作用。 这种损失函数能够促使手部与工具之间产生符合解剖学结构的接触，同时抑制网格碰撞现象，从而提升手与工具交互的真实感。 有符号距离场损失 $\mathcal{L}_{\mathrm{sdf}}$。为了惩罚手部网格与工具表面之间的相互穿透现象，我们采用了一种有符号距离场损失，该损失会查询定义在工具体积上的有符号距离场。在每个时间步中，我们会预先计算出工具网格 $\phi_{t}^{o}(\cdot)$ 周围体素化的有符号距离场 $O_{t}^{h}$。随后，有符号距离场损失的定义如下： $$ \mathcal{L}_{\mathrm{s d f}}=\sum_{\mathbf{v}\in V_{t}^{h}}\max(0,-\phi_{t}^{o}(\mathbf{v}))^{2}, $$ 其中 $V_t^h$ 代表手部网格，$\phi_t^o(\mathbf{v})$ 用于返回手部顶点 $\mathbf{v}$ 到工具表面的有符号距离——负值表示存在穿透现象。$\max(0, \cdot)^2$ 项确保只有侵入部分（即满足 $\phi < 0$ 条件的区域）才会被纳入惩罚范围，从而促使手部始终保持在工具表面之外。 运行时间方面，我们的网络对初始化方法没有依赖性，也不局限于使用会影响处理时间的 [^61]。因此，我们在进行运行时间实验时排除了阶段 I（手部及实例掩码初始化时间）以及 Pyrender 离屏渲染环节，因为这些并不属于优化流程的一部分。在 NVIDIA A100 GPU 上，针对包含 1000 帧的视频，优化流程耗时约 15 分钟；阶段 II（器械 6D 姿态与手部姿态的初始化优化）由于受到 ICP 处理和配准环节的限制，耗时约为 10.9 分钟；最后，联合优化的最后一个阶段仅需约 4.1 分钟。 --- ### D.3 基准方法与实验 实现细节。我们基于 PyTorch [^60] 实现了基准方法。我们以 ResNet-50 [^30] 作为主干网络。所有输入图像和分割图都会被调整为 $512 \times 512$ 尺寸，同时保持原有宽高比且无需填充，随后利用 CoordConv [?] 提取特征图 $f \in \mathcal{R}^{(D+2) \times H \times W}$。我们使用 1 块 A100 GPU 进行训练，批量大小为 64。主干网络的特征维度为 $128 \times 128$，而 4 个像素对齐的输出图尺寸则为 $64 \times 64$。训练期间我们采用了随机缩放、旋转、翻转和颜色抖动等数据增强手段。 损失函数。我们通过加权求和的方式，利用涵盖 2D 关键点投影、3D 重建精度、轮廓对齐、分割以及参数回归在内的多种损失函数来监督基准模型。总损失公式如下： $$ \mathcal{L}=\lambda_{\mathrm{focal}}\mathcal{L}_{\mathrm{focal}}+\lambda_{\mathrm{pj}2\mathrm{d}}\mathcal{L}_{\mathrm{pj}2\mathrm{D}}+\lambda_{3\mathrm{d}}\mathcal{L}_{3\mathrm{d}}+\lambda_{\mathrm{sil}}\mathcal{L}_{\mathrm{sil}}+\mathcal{L}_{\mathrm{MANO}}+\lambda_{\mathrm{seg}}\mathcal{L}_{\mathrm{seg}}+\lambda_{\mathrm{obj}}\mathcal{L}_{\mathrm{tool}}. $$ $\mathcal{L}_{\mathrm{focal}}$ 是用于监督预测的手部和物体中心热图的焦点损失 [^47]。投影损失 $\mathcal{L}_{\mathrm{pj2D}}$ 采用鲁棒的 Geman-McClure 函数来惩罚通过 MANO 模型预测的 3D 关键点与 2D 标注之间的重投影误差。3D 损失 $\mathcal{L}_{\mathrm{3d}}$ 用于衡量预测网格与多视角融合得到的点云之间的顶点到表面距离。$\mathcal{L}_{\mathrm{pj2D}}$ 和 $\mathcal{L}_{\mathrm{3d}}$ 也会针对器械顶点及其周围的预定义 3D 边界框进行计算。轮廓损失 $\mathcal{L}_{\mathrm{sil}}$ 会将预测的手部和工具轮廓掩码（来自可微渲染器）与真实掩码进行对比，以确保像素级的一致性。MANO 损失 $\mathcal{L}_{\mathrm{mano}}$ 则由预测的手部姿态和形状参数的 L2 损失组成： $$ \mathcal{L}_{\mathrm{m a n o}}=\lambda_{\theta}\|\boldsymbol{\theta}-\boldsymbol{\theta}^{*}\|_{2}^{2}+\lambda_{\beta}\|\beta-\beta^{*}\|_{2}^{2}, $$ 其中，$\theta^{*}$ 和 $\beta^{*}$ 表示来自标注流程的伪真实值。分割损失 $\mathcal{L}_{\mathrm{seg}}$ 是针对手部与工具实例掩码计算的逐像素交叉熵损失。工具损失 $\mathcal{L}_{\mathrm{tool}}$ 通过参数图回归与点云对齐技术，对6D位姿和1D关节参数进行监督。我们在所有实验中采用以下权重：$\lambda_{\mathrm{focal}}=80$、$\lambda_{\mathrm{pj2d}}=400$、$\lambda_{3\mathrm{d}}=300$、$\lambda_{\mathrm{sil}}=50$、$\lambda_{\theta}=80$、$\lambda_{\beta}=10$、$\lambda_{\mathrm{seg}}=160$。 ![Image](images/5fb07b6d9d1317b64132d9f12ef3db1801a40b9294aabe97e785bee8152e00ff.jpg)
Figure 7: Qualitative results on the hand pose estimation benchmark. Each image is an overlay from each camera view.
### D.4 更多定性结果 在本节中，我们展示了模型在手部-工具交互基准测试中针对不同阶段的预测结果的定性可视化图像。图8中的每一行展示了来自代表性视频片段的三个时间上相邻的帧，涵盖了各种手术操作阶段与交互类型。对于每个帧，我们展示了：(1)输入的RGB图像；(2)叠加了预测出的手部与工具网格的模型；以及两个用于凸显手与工具之间空间关系的视图。这些结果表明，尽管存在遮挡、工具快速运动以及手部复杂关节活动这类视觉挑战，我们的方法仍能生成连贯且符合物理规律的重建结果。时间上的视觉连续性证实，我们的模型不仅能输出精确的逐帧预测结果，还能保持一致的时间行为，而这对于理解精细的手术动作至关重要。 --- ## E 讨论 局限性。虽然我们的数据集与方法为眼科手术中的动态3D重建提供了新见解，但仍存在若干局限性。首先，数据收集是基于单一手术流程且在单中心环境下进行的，这可能会限制其在具有不同手术流程、外科医生操作习惯及照明条件的数据集上的普适性；未来的工作将拓展至多中心研究。其次，由于手术显微镜的强光照射，部分工具尖端在RGB视图中会出现过曝现象，从而影响可见性与后续的位姿估计。引入与动作捕捉同步的RGB采集设备或红外摄像头或许能缓解这一问题。第三，我们尚未探索将显微镜视图用于眼球表面、手部与工具的联合重建，而这一方向有望实现更具临床意义的应用。 ---
Mesh Overlay
![Image](images/521e2a2147986112c4acc8bb728edcb3b2e097b1ca56926a630dfd19539a4c7e.jpg)
Alt. View
![Image](images/4ed9f7c34d5e81ec724a22f0232531c7b843992388a64fc70e3d867fa1463de7.jpg)
Figure 8: Qualitative results on the hand-instrument interaction benchmark. Each row shows a sample from the test set, with columns displaying: (1) input RGB image, (2) mesh overlay prediction, and (3)(4) for alternative view.
---
Mesh Overlay
Alt. View
![Image](images/b86e4f5bf5e36adcb5da81f31022fb9bdf7fb6c2246985bac7f801411a175655.jpg)
Figure 9: Qualitative results on the hand-instrument interaction benchmark. Each row shows a sample from the test set, with columns displaying: (1) input RGB image, (2) mesh overlay prediction, and (3)(4) for alternative view.
--- ![Image](images/0a898409301a74d361e94e08caac0105b95d9545a3e64510f35b30810a410551.jpg) 主切口创建 ![Image](images/d37cfc8f6972d5bd8d2a78c3c28fc37643b812f4860256b81e49d84c398dd9bb.jpg) 粘弹性物质注射 ![Image](images/5c00175c9fda7dd98826c72cd0fea66655b1071bd6bc5d791ceacc4ff1295d8b.jpg) 前房穿刺 ![Image](images/f948d1c2214c2eaad341e914db4b429cd016c97d3310bdc813d9a07f1be806b7.jpg) 晶状体囊膜切开 ![Image](images/2cac5f0f04567dd8cb4e61c6ffd2b1519a1abb408b76e9681e9a98a876c98590.jpg) 水分离与水定位 ![Image](images/69043670e7b617306edb964528c80b74d2f9b50a0f3ee5d8cd71922ddf21f172.jpg) ![Image](images/628a4b80b84d55451cea44d26b08edfb1c175570f2863c7386f26ad8c9530d71.jpg) 晶状体核雕刻 ![Image](images/28b40f9ddc9715a3c135351ed9f5d8e7f31584647029342d89c95608a1a40299.jpg) 晶状体核碎裂 ![Image](images/b231200ff4c9bf2b370abcf119a7d427ee177cd1464155fbcba265f6d69f8fee.jpg) 晶状体核旋转 ![Image](images/1abd52b635df43fd3ab7bd68ec666013a2ede6bcb4881b0fdb240cc4d4c715d4.jpg) 超声乳化 ![Image](images/02ee2d1d20a869f6d72ce6cc74e4d8be0a3af61f1d6af72026e47985f20b3573.jpg) 皮质清除（I/A） ![Image](images/0c838cf75372277b9cabe1c874968a852600afcb39d38f474097d7606efeb164.jpg)
incision hydration
--- ![Image](images/caf67133ecacb44507b8b2387ed0ebda38994de188a8af1f4df742794d5bbfb8.jpg)
Figure 10: 12 phases from 2 different views.
--- ![Image](images/08a7e0587f367a24a714511b97136b7adecc3ba55ab0074a54ba6faa318f44a1.jpg) --- ![Image](images/17177d8123f0021e6a326bdefff0f766d4646fdffe360cc13a337f89394b276e.jpg)
Figure 11: Instance mask examples for phacoemulsification and viscoelastic injection.
--- ![Image](images/1bff871b55979dac02b1274bb93159175f4e327e6afd5b059216a91a4f61684b.jpg)
keratome blade
![Image](images/b571384e1788afa4088a902f725ad4533b7e60aeddc7de784906c0d7f43be2fd.jpg)
15° stab blade
![Image](images/d85e7118bdfc55d7819553efd8d7a7e628e87345afd37d4b827c8146681b4d53.jpg) ![Image](images/c48c798744a5ee0da778057399bb13643a0f757b7fe341df37c6789b82f328cc.jpg) ![Image](images/a1edea8566b924f6ee46a141a591fdd1471b1ff9527cc7d30b88398789506928.jpg)
nucleus chopper
![Image](images/fc36190829725e8d09929b3344eef79803f0a843c05a8ffb0843c01911645ee3.jpg)
phacoemulsification handpiece
![Image](images/6e9110da9b867a58f68ef7e7e9f3023a80b38f07ea89ca5a50735cadee28535d.jpg)
iris repositories
![Image](images/82264b63ab614fbc2adb33c3788561733a64fc47d0359357bd255773fdc68f72.jpg)
irrigation-aspiration handpiece.
![Image](images/c12f23e2c7eec9f9337965e9efe60b38dca257f16f20ec8fc6a1ce37ec9b59e0.jpg) ![Image](images/0e7cfe3589755c3601d8f69912ac1d1da3f5c0fc7ec1abed65ba89e4058fee0f.jpg)
toothed forceps
![Image](images/c3b8c96eb9f3e8684044e32e2de34d0bb6dc87a7b3c00bd189f30107f3e51d67.jpg)
capsulorhexis forceps
--- ![Image](images/531d8be0aab4924648046ef20327b03e3df04da0fe1ee32b21e60f851be89634.jpg) 10 mL注射器 粘弹性物质注射器
Figure 16: Scanned model files for 10 types of instruments.