原文 ![Image](images/20b8e1749ce5ba39f4e7f6efc6533a621599943d17d655d4e7b969e3af4ff84e.jpg) # 基于深度信息的3D术前模型与术中患者解剖结构的配准：基于HoloLens 2的研究 恩佐·克尔霍夫 $^{1,4}$ · 阿卜杜拉·萨比特 $^{1,3}$ · 穆罕默德·本马朱布 $^{1,3}$ · 皮埃尔·安布罗西尼 $^{1,2}$ · 泰莎·范·金霍文 $^{2}$ · 埃波·B·沃尔维乌斯 $^{3}$ · 西奥·范·瓦尔苏姆 $^{1}$ 收稿日期：2024年7月1日 / 录用日期：2025年1月17日 / 在线发表日期：2025年3月14日 © 作者们 2025 ## 摘要 目的：在增强现实（AR）手术导航中，需要进行配准步骤以将术前数据与患者数据对齐。本研究探讨了利用HoloLens 2的深度传感器进行手术导航中的配准应用。 方法：开发了一种基于AR深度信息的配准框架。该框架可将术前点云与术中点云对齐，并将术前模型叠加到患者身上。为评估该框架性能，开展了三项实验。首先，分别测试了HoloLens深度传感器在长距离模式（LT）和关节手追踪模式（AHAT）下的精度；其次，评估了不同对齐方法的整体配准精度，并分析了每种方法的精度和成功率；最后，针对各类物体对该框架进行了定性评估。 结果：深度精度实验显示，AHAT模式下平均高估误差为5.7毫米，LT模式下为9.0毫米。在整体对齐方面，不同方法的平均平移误差介于12.5至17.0毫米之间，旋转误差则在0.9至1.1度范围内。 结论：研究结果表明，HoloLens 2的深度传感器可用于图像与患者对齐，精度可达1–2厘米，耗时不到4秒。这一结果表明，若进一步提升精度，该方法可成为其他耗时的标记基配准方法的便捷替代方案。本研究提出了一种基于HoloLens 2深度传感器的通用无标记配准框架，并对传感器的重建及配准精度进行了详尽分析。该研究有助于推动手术导航中无标记配准技术的发展。 关键词：影像引导手术 · 增强现实 · 头戴式显示器 · HoloLens 2 · 基于深度的配准 · 图像与患者配准 Enzo Kerkhof与Abdullah Thabit对本研究贡献相同。 外科手术通常需要外科医生充分了解患者解剖结构，并能将术前计划在脑海中映射到手术台上。借助手术导航系统等技术，外科医生能够轻松地将术前计划落实到手术台，从而改善患者预后 [^1]。将术前影像数据与患者解剖结构对齐，即所谓的图像与患者配准，是手术导航中的关键步骤。 ## 引言 传统的导航系统通常使用固定在患者身上的标记物，以及触控笔或指针来完成图像与患者的配准。基于标记的配准过程耗时较长，且需要将参考标记附着在患者身上，这可能具有侵入性。此外，传统导航系统价格昂贵。 --- 且其设置较为复杂，这阻碍了它们在众多手术场景中的广泛应用 [^1]。 随着AR头戴式显示器（HMD）的发展，术中可视化3D术前模型的可行性正在不断提高[^2]。与传统导航方式相比，基于AR的导航能够将相关信息直接显示在患者身上、即外科医生的视野中，从而减少手眼协调问题以及医生在患者与显示器之间切换焦点的需求。不过，要想利用AR HMD进行导航，必须将3D模型配准到术中患者空间内[^3]。使用传统导航系统完成这一配准任务时，仍需经历前述繁琐的配准设置过程。相比之下，采用配备无标记物配准功能的AR HMD，有望借助设备自带的传感器，以更自动化的方式取代传统配准方法。这或许能简化手术导航流程，进而让那些因复杂度较高而尚未采用传统图像引导导航系统的手术应用也能实现导航功能[^2]。在无标记物配准过程中，会利用RGB图像中的特征来直接估算目标物体的姿态，进而完成术前模型的配准[^4]。von Atzigen等人曾针对RGB图像中的特征检测展开研究，他们通过检测植入的螺钉头来帮助脊柱手术中的棒材弯曲操作[^5]。同样，Benmahdjoub等人提出了一种概念验证方案：利用HoloLens检测出作为稀疏特征的外科解剖标志点，以此对虚拟颅骨进行配准[^6]。此外，Doughty等人提出了HMD-EgoPose这一基于CNN的解决方案，它能从RGB视频流中提取特征，并估算外科医生手部及所用器械的姿态[^7]。 解决配准难题的一种颇具前景的无标记物方法，就是利用HoloLens 2的深度传感器。该传感器可采集3D数据，用于把术前模型配准到术中患者空间，从而无需手动采集配准点。借助基于深度的方法，有望实现快速、简便且自动的图像与患者配准。此前已有多项研究提出了基于深度的配准方法[8–12]。不过，目前已发表的相关研究成果数量仍然有限，往往具有特定应用场景，且很少能应用于常规患者护理中。 本研究旨在评估利用HoloLens 2 AR HMD的深度传感器进行通用型基于深度的图像与患者配准的可行性，同时评估会对配准精度和系统可用性产生直接影响的初始化方法（且不会干扰临床工作流程）。与以往那些研究HoloLens 1的应用、聚焦特定解剖区域、仅评估配准精度或侧重重建方法的研究([8,9,12-14])不同，我们开展的实验重点评估了不同基于深度的配准方法的精度、鲁棒性、速度和自动化程度，评估了HoloLens 2的深度估算能力，并提供了一个可在HoloLens 2上实现的通用深度配准框架，该框架还能针对特定解剖区域进行微调。我们的研究有助于实现精确且自动化的图像与患者配准这一更广泛的目标，进而提升图像引导手术的效率与可行性。 ## 研究方法 本节将介绍所提出的基于AR的深度配准框架，包括源点云与目标点云的重建，以及用于图像与患者对齐的配准方法。 ## HoloLens 2深度配准方法 深度配准框架由一台HoloLens 2（HL2）设备和一台连接在同一网络的PC组成。HL2提供用户界面，允许用户操作术前模型，并将该模型的初始姿态以及深度传感器捕获的帧和用户的空间输入一起传输给客户端PC。PC会处理术前和术中的深度数据，以计算出图像到患者的配准矩阵，再将其发送回HL2。随后，HL2会将对齐后的术前模型可视化显示在目标患者的解剖结构上。这种客户端-服务器通信是通过HL2传感器流传输（hl2ss）Unity插件实现的 [^15]，该插件利用微软HL2研究模式的功能来访问原始传感器数据 [^16]。图1展示了该框架的各组件及其相互连接和数据流向。 ## 术前源点云 术前成像（如CT或MRI）通常用于辅助外科医生规划手术流程。不过，要想在手术过程中将成像数据直接叠加在患者身上，就需要对术前图像进行非体积化表示。为此，首先从CT图像中分割出目标解剖结构，再利用3D Slicer生成表面网格模型()。随后将网格模型的顶点作为源点云，用于与术中数据对齐。图2a和图2b分别展示了术前模型和源点云。 ---
Fig. 1 Depth-based registration framework: the workflow and interconnection between the HoloLens and the client PC
Fig. 2 Reconstruction of source and target point clouds: a preoperative 3D model, b source point cloud, c target anatomy, d target point cloud
![Image](images/2540ac8a1c024595214121381266ce8c7cf7dee296cd07af9f06359230b94855.jpg) ![Image](images/396ed8b7319ff290aef13ffb3354de652778a9cacf7c43777c7c3421d7053a11.jpg) ![Image](images/c654685b41c11a058e621b483d482731b7b0754a744ed7daf3f8a90b4240d84c.jpg) ![Image](images/fc8155c65fd4886e4c3d5d3fbbdb61914f968a372593c07d1163f3fb86cc3ae9.jpg) ![Image](images/c97bf6ffe8e8984ee78a00fcf016bf7de0549fec96b6936cbe9977a5de032e34.jpg) --- ## 术中目标点云 为了在手术过程中将术前模型与患者解剖结构对齐，需要获取术中的表征数据。这通过深度相机捕捉患者解剖结构的表面来实现。微软HL2配备了飞行时间（ToF）深度传感器，该传感器有两种工作模式：关节手追踪（AHAT）模式，其帧率为每秒45帧，图像分辨率为512×512，用于手部追踪；长距（LT）模式，帧率为每秒1–5帧，图像分辨率为320×288，用于空间映射[^16]。该传感器能够捕捉场景的深度信息，从而重建三维环境。 如图1所示，客户端PC接收深度帧后，利用截断有符号距离函数（TSDF）体积积分技术从多帧深度数据中重建三维点云[^17] [^18]。具体做法是收集约10秒内从不同角度拍摄的50帧深度图像，期间用户会在感兴趣区域周围移动。这样就能创建出更完整的术中场景三维表征。10秒的时长是通过实验确定的，这一时间足以获取重建目标物体所需的多个视角。最后会基于几何拟合的边界框对目标点云进行裁剪，该边界框的尺寸为术前模型大小的1.1–1.5倍（见图2d）。该边界框以初始对齐姿态为中心，其尺寸（1.1–1.5倍）也是通过实验确定的。 ## 图像到患者的对齐 在重建出术前模型的源点云和术中解剖结构的靶点云之后，便可确定这两个点云之间的对齐关系（见图1）。 在我们的方法中，我们将迭代最近点（ICP）算法与初始配准方法相结合，后者基于近似对齐来初始化ICP。对于初始配准方法，我们评估了不同的手动和自动方法（详见第3.2节）。完成完整配准后，术前模型便能在正确位置可视化，并叠加在目标解剖结构上。 ## 实验与结果 ## 深度传感器精度 为了评估AHAT模式和LT模式下深度帧在重建精确点云时的精度，我们改变了多个因素，如与目标物体的距离、光照条件以及所使用的HoloLens设备。该实验将深度传感器估算出的不同物体高度与其实际高度进行对比。 深度传感器的精度对于实现图像与患者的精确对齐至关重要，因为深度数据充当术中配准的目标。本实验旨在…… 在实验设置中，我们将三个表面平整且尺寸已知的物体放置在平坦的桌面上，桌面本身则作为第四个表面（见图3a）。实验中使用的物体包括一个3D打印的矩形房屋模型、一个乐高立方体以及一个盒子，这些物体表面均覆盖有普通的白色打印纸，以确保表面材质特性相近。HoloLens被安装在支架上，其位置设定为垂直于目标表面，这与用户正常观察物体的视角一致。为了确保从用户视角看去是垂直视角，我们在白纸上打印了四个宽度为10厘米的ArUco标记[^19]并将其置于桌面。HoloLens的个人视频（PV）摄像头会识别这四个标记，并利用它们来：(1) 建立一个参考平面，用以估算桌面到PV摄像头的距离；(2) 确保参考平面的法向量与PV摄像头的前向轴之间呈$180 \pm 5$度角（即垂直视角）。作为基准测量，由ArUco标记确定的平面（代表桌面）被用作参考平面。根据物体的已知尺寸，它们相对于桌面的高度便可作为基准高度测量值。 在每次实验中，均通过h12ss插件获取HoloLens传感器的外部参数，并记录30秒的数据（包括通过PV相机获取的标记点位姿以及通过深度传感器获取的深度帧）。对于PV相机而言，由ArUco标记构建的参考平面会从PV坐标系转换到设备世界空间。对于深度传感器，深度帧会被转换为点云，再转换到设备世界空间。所有深度点会被合并成一个代表整个30秒采集过程的点云。从这个完整的点云中，人工选取目标物体的平面并对其进行裁剪，裁剪时使用的边界框尺寸为$3 \times 3 \times 8$厘米，以确保用于计算深度估计误差的表面区域保持一致（见图3b）。对于桌面而言，裁剪边界框的位置被设定为仅收集放置在桌面的白纸表面的深度点，目的是使其与其他目标物体的表面材质保持一致，同时确保测量结果不会受到桌面材质的影响。之后，会计算裁剪后的边界框内所有点与参考平面之间的相对距离（沿平面法线方向）。对于每个目标表面而言，其与参考平面的预期距离是已知的，具体数值应为： --- ![Image](images/e65753d545d1ca6b8aefc4062936b73784bc0dab1fa503aaaf0041a5ce4c866f.jpg)
(a) Experimental setup
![Image](images/449dd1085171dd12087ffe833b1dc3ba0bfb7cabbe4ddfe5f22bf5f9d25967d0.jpg)
(b) Virtual side view
Fig. 3 Experimental setup for measuring the accuracy of HL2 depth sensor
0毫米（桌面）、60毫米（房屋形状模型）、95毫米（乐高立方体）或247毫米（盒子），这些数值分别对应各个目标物体。物体表面的估计位置（$p_{surface}$）与参考平面的位置（$p_{reference}$）之差，再减去已知物体高度（$D_{real}$），即可得到深度估计误差（$D_{error}$）。该误差的符号反映了深度是被高估（正值）还是被低估（负值）： $$ D_{error}=D_{real}-\vert\overrightarrow{p_{surface}p_{reference}}\vert $$ 为了评估手术室（OR）照明条件对深度传感器精度的影响（与正常照明条件相比），实验共进行了两次：一次在光线正常的实验室中，另一次在手术室且开启手术室灯光的情况下进行（图3a）。为了评估多台设备间的一致性，两次实验均使用两台不同的HoloLens设备重复开展。 鉴于实验设置是静态的，因此假设不存在漂移现象，所有报告的误差均对应深度估计精度。通过观察30秒采集过程中设备世界空间中PV相机和ArUco标记的位置，可证实这一点：所有实验报告的标准差均值均低于0.3毫米。表1展示了采集时间内PV相机和ArUco标记位置的标准差均值、最小值和最大值。 图4展示了HL2相对于物体表面距离的深度估计误差，实验中HL2垂直放置，面向桌面参考平面，距离分别为50厘米和70厘米。在这两个距离下，均记录了30秒的AHAT模式和LT模式的深度帧。 从图4可以看出，两种模式（AHAT和LT）对所有表面的平均估计误差均为正值（即深度被高估）。LT模式通常表现出更大的平均高估误差，不过对于距离超过50厘米的表面，这种差异会有所减小。AHAT模式的标准差随表面距离的增加而增大，而LT模式的标准差则会减小。 图5展示了按光照条件和HoloLens设备分类的所有采集数据中的深度估计误差。在AHAT模式和LT模式下，两种HoloLens设备之间的平均深度估计误差差异分别为0.74毫米和1.34毫米；而在OR光照条件下，与实验室正常光照条件相比，开启OR灯后AHAT模式和LT模式的平均误差分别降低了1.95毫米和2.40毫米。 --- ![Image](images/3fadf6ced2127ed8161872b344c19d1b933febdbad3c7ab32a01782997f62d99.jpg)
(a) 50 cm distance setup
![Image](images/9b08d6fbdb52521223aab91a0dfb433b1068ee399d61605dc848db7008958db3.jpg)
(b) 70 cm distance setup
Fig. 4 Depth estimation errors at different distances to the HL2 for the AHAT and LT mode
![Image](images/fb6ce72941c8378446efbbad5a56d01c757ca34ebf3dcab776bfdc973e323a41.jpg)
(a) OR lighting conditions
![Image](images/d71ad6b1d7818e2d98f8389a4363fd7c340c1bec8cb4be740f317c98eca8d05b.jpg)
(b) Two different HoloLens 2 devices
Fig. 5 Impact of lighting conditions and device variability on depth estimation errors
--- 在普通照明条件下，AHAT模式和LT模式下的平均误差分别为0.74毫米和1.34毫米；而在手术室照明条件下，与实验室的正常照明条件相比，开启手术灯光后AHAT模式和LT模式的平均误差分别增大了1.95毫米和2.40毫米。 ## 深度配准精度 本实验评估了四种用于术前模型初始对齐的配准方法，后续再通过ICP算法进行精细化处理（详见第2.4节）。以下详细介绍所评估的初始对齐方法： 1. 3P（三点选取法）：使用HoloLens采集深度帧后，用户需在客户端PC显示器上操作，该显示器会依次显示目标点云和源点云。用户需手动在点云之间选取三个对应点，以初始化ICP算法（见图6a）。 2. 手动法：用户在HL2应用中通过手动操作大致对齐术前模型，随后利用得到的近似位姿来裁剪目标点云（如第2.3节所述），进而初始化ICP算法（见图6b）。 3. 眼动法：用户观察目标物体的多个侧面时，系统会收集其眼动空间输入数据，直到用户发出开始对齐的语音指令。随后，系统会取频率为30 Hz采集的最后100个空间输入数据点的中位位置，以此平移术前模型、裁剪目标点云，并初始化ICP算法（见图6c）。 4. 眼动RANSAC法：与上述眼动法类似，先将术前模型平移至眼动输入的中位位置。之后分别应用Open3D的快速全局配准和RANSAC配准，对围绕眼动中位点的目标点云进行粗略对齐[^18]。RANSAC配准得到的最终位姿会被用来再次裁剪目标点云，进而初始化ICP算法。 为了评估各配准方法的性能，我们采用了Benmahdjoub等人描述的多模态系统建立基准对齐结果[^20]，该系统显示其目标配准误差（TRE）为2毫米[^21]。该多模态系统通过经过校准的Vuforia标记，将HoloLens与电磁（EM）NDI跟踪系统相连，术前模型的配准是通过EM指针完成，再通过校准后的标记转换为HoloLens坐标系下的位姿。 我们通过对比基准结果与各评估配准方法下术前模型的最终位姿，来计算旋转误差和平移误差。为确保误差分析的准确性，我们排除了ICP步骤未能收敛到正确对齐结果的配准失败情况。经经验判断，旋转误差超过10度即视为排除标准，因为此时旋转错位现象十分明显。配准失败的情况不纳入平均旋转误差和平移误差的分析范围。此外，我们还记录了每种方法获得术前模型最终位姿所需的时间。 在本实验中，我们使用了腰椎脊柱模型（Sawbones公司，位于美国华盛顿州瓦肖恩岛）（见图6）。针对每种方法，我们将脊柱模型置于32种不同方位下，各进行32次配准尝试。HoloLens必须保持在与脊柱模型呈临床相关距离（相当于手臂长度）范围内，且由于临床上目标结构的朝向可能多种多样，因此需手动调整脊柱模型的旋转角度。表2总结了每种配准方法的定量结果。四种初始化方法的平均平移误差在12.5到17.0毫米之间，旋转误差则在0.9到1.1度之间。图7展示了每种方法的平移误差（TE）和旋转误差（RE）的箱线图。3P方法和手动方法始终能实现100%的成功配准率；而Eye方法和Eye RANSAC初始化方法的成功率分别仅为22%和34%。表2中所列时间代表每种方法的PC处理时间，其中3P方法是最慢的对齐方式，平均耗时26.4秒。其余三种方法在发出对齐语音指令后，配准时间均不到4秒。 ## 定性评估 根据配准方法实验的结果，本研究选择手动方法开展进一步的定性分析，重点考察其对具有不同表面特性、几何形状和材料类型的物体的适用性。用于定性评估的物体如图8和图9所示： 图8显示，基于深度的配准方法对腹部和颅骨模型能够成功配准（从视觉上可观察到模型已对齐）；但对于人体模型而言，其反射表面导致生成的3D点云较为稀疏，进而造成配准失败；不过我们并不认为临床目标会出现此类反射表面。为了展示更具临床相关性的示例，图9显示了利用基于深度的配准方法将模型叠加在经过防腐处理的尸体足部上的效果 [^22] [^23]。此次测试展现了该系统在真实手术环境中的应用潜力—— ---
Table 1 Position standard deviation for the PV camera and ArUco markers over the 30-seconds acquisition time
Position standard deviationx [mm]mean/min/maxy [mm]mean/min/maxz [mm]mean/min/max
ArUco markers (in world space)0.18/0.05/0.570.36/0.11/0.750.19/0.06/0.73
PV camera (in world space)0.17/0.04/0.590.17/0.05/0.670.21/0.03/0.53
ArUco markers (in PV coordinates)0.09/0.05/0.140.27/0.09/0.530.08/0.04/0.14
Fig. 6 Registration approaches: a 3-point-picking, b Manual alignment, c Eye and Eye RANSAC
![Image](images/b33017bc79f6f5ce1b5d1d0ebf4d8176ae3df1883d2feba4f777e01bd885f2b9.jpg)
Table 2 Results for 32 registrations, TE is translation error, RE is rotation error
MethodFailTE [mm]RE [deg]Time [s]
Manual0$15.14 \pm 2.62$$1.09 \pm 0.52$$2.15 \pm 0.17$
3P0$15.19 \pm 2.57$$1.07 \pm 0.49$$26.44 \pm 3.99$
Eye$25^{*}$$12.50 \pm 3.74$$0.92 \pm 0.63$$3.12 \pm 0.26$
Eye RANSAC$21^{*}$$17.03 \pm 2.00$$1.11 \pm 0.37$$3.27 \pm 0.36$
$^{*}$配准失败的情况不纳入平均旋转误差和平移误差的分析范围。 表明基于深度的配准方法能够将AR叠加层与尸体足部对齐。 ## 讨论 对HoloLens 2深度传感器的AHAT模式和LT模式的评估表明，沿相机观测方向重建的深度点云存在一致的高估现象。在50–70厘米的距离范围内，AHAT模式下的平均高估值为$7.18 \pm 4.19$毫米，这一结果与Gu等人[^25]对HoloLens 1的AHAT模式进行评估时所报告的结果相当（他们指出在70厘米距离处高估值为$5.68 \pm 2.21$毫米）。由于AHAT模式以45帧/秒的速度输出画面，我们的实验发现，与LT模式生成的点云相比，AHAT模式生成的点云噪声更大，且各帧之间的差异性也更明显。这一点可从AHAT模式下的距离误差标准差更高这一现象中看出（见图4），当物体放置得越远，这种差异还会进一步增大。 在LT模式下，重建后的点云标准差更小（异常值更少），相比之下AHAT模式的点云则不然。不过，与AHAT模式在相同距离表面设置下测得的平均误差相比，LT模式所显示的距离平均误差更大。当表面距离HL2为50–70厘米时，这种平均误差的差异会变小。在较近距离（小于50厘米）出现较大平均误差的原因可能是LT模式具有远距深度感知能力（最远可达5米），而该模式主要用于空间映射。我们的研究结果表明，LT模式所表现出的系统性且更一致的高估误差可能更容易进行校准和修正。 --- ![Image](images/5e2e7705a52f359c8e7594bbdf7bf68d4ca1fe454e5c05eca1747501d8f94b33.jpg)
(a) Translation error
Fig. 7 Registration errors of the depth-based methods
![Image](images/b5916ab88298d03d7691449e4bd5398a36116c2df30031ebe0b076dc4033bda2.jpg) 相较于AHAT模式而言，LT模式的这一特性使其更易于校准和修正。基于上述原因，我们决定在配准实验中使用LT模式。
(b) Rotation error
为了评估不同方法的配准精度，我们使用脊柱体模在不同位置进行了32次配准实验。四种初始化方法的平移平均误差范围为12.5至17.0毫米，旋转误差范围则为0.9到1.1度。这一结果与以往研究中报道的基于深度信息的HoloLens配准方法精度相当，例如Gsaxner等人[^9]以及Haxthauser等人[^8]的研究结果；考虑到该框架还有进一步优化的空间，这一结果颇具前景。例如，鉴于观察到HL2传感器存在系统性的深度高估现象，可以研究相应的校准方法来补偿该误差，进而提升配准精度。 关于深度传感器精度实验的设置，需要重点说明的是：虽然我们确保了参考平面与PV摄像头的前轴垂直对齐，但深度传感器相对于PV摄像头略有向下倾斜，因此无法以垂直视角观测目标表面。不过在实际场景中，要让深度传感器与所有目标表面都保持完全垂直是不可能的。因此，此处呈现的结果反映了一种具有代表性的使用场景，即表面是从略微不同的角度被观测到的。未来的研究可以更系统地探讨这种倾斜对深度估计精度的影响。 使用两种手动配准方法（3P和Manual）在所有32个案例中均获得了成功的配准结果，这体现了它们的鲁棒性。自动配准方法（Eye和Eye RANSAC）并不总能实现精准配准。Eye方法的成功率仅为22%，而且只有当术前模型的初始方向接近术中脊柱体模的方向时才能成功对齐。Eye RANSAC引入额外步骤后，成功率提升至34%，但仍相对较低。RANSAC性能较差可能是由于参数设置不够理想，毕竟我们并未对RANSAC参数进行广泛优化。这也表明，对于自动方法而言，精准初始化术前模型的旋转角度仍是一项挑战。需要注意的是，由于Eye RANSAC和Eye方法的成功率均低于Manual和3P方法，因此无法直接比较二者的精度。后续研究可以探索提高自动方法成功率的方式，从而推动配准过程的自动化，提升其可用性和临床适用性。这可能包括研究诸如TEASER++$^{[24]}$这类鲁棒性强的全局配准算法，该类算法在处理异常值方面已展现出卓越性能。 在最初的配准方法中，手动方式展现出了一种稳健且高效的基于深度的配准初始化方法。由于用户只需将虚拟模型粗略地放置到物理目标上，因此配准过程既快速又有效，随后再通过基于深度的配准来进一步优化对齐效果。虽然表2中记录的时间仅涵盖了PC处理时间，但如补充视频所示，用户的粗略手动放置过程大约耗时3秒。需要注意的是，这一时间可能会因用户的经验以及目标物体的复杂程度而有所不同。由于实验是由一名经验丰富的用户针对特定目标物体开展的，因此所报告的时间主要用于说明不同配准方法之间的相对差异，而非作为绝对的基准。 ---
Fig. 8 Objects used for the qualitative assessment along with their preoperative models aligned (left to right: abdominal phantom, skull phantom, mannequin)
![Image](images/ab863e6767b32dbf48e73fab65e78cbcfb20b5c484a2a3069de6f8c9e3c75c1d.jpg) ![Image](images/6a72b5bf7b8b3e7a798cdb266c0ba311d6f9e0ed87180bb1912c38181146696f.jpg) 尽管本研究中探讨的基于HL2的影像-患者配准技术在许多手术应用中还不够精确，但通过校准并优化术中点云的重建过程，其精度有望得到提升。此外，还可以进一步研究用于实现精准配准的预处理和初始化方法。当前的方法依赖于配准后HoloLens的SLAM技术，而该技术可能会出现漂移问题。已有研究表明，HoloLens中的SLAM漂移范围在毫米级到厘米级之间，因此这仍是一个重大挑战。在我们的实验中，为了减轻漂移的影响，我们为深度传感器精度实验设置了静态环境，并在配准实验开展后立即评估各种深度配准方法。然而，在现实场景中要实现此类受控的实验条件可能并不现实。可以利用能够将全息图稳定在固定世界坐标系中的世界锁定工具，来减少动态临床环境中的漂移现象。 虽然本研究中所研究的基于HL2的影像-患者配准技术对于许多手术应用而言精度尚不足，但通过校准和优化术中点云重建，其性能有望得到提升。此外，还可以进一步探索用于精准配准的预处理与初始化方法。当前的方法依赖配准后HoloLens的SLAM技术，而该技术容易出现漂移问题。已有报告指出，HoloLens中的SLAM漂移范围可达毫米级至厘米级，因此这仍是一项重大挑战。在我们的实验中，我们通过为深度传感器精度实验维持静态设置，并在配准实验完成后立即评估各类深度配准方法，旨在减轻漂移的影响。不过，在现实场景中实现此类受控的实验条件或许并不可行。可以利用能够将全息图稳定在固定世界坐标系中的世界锁定工具，来减少动态临床环境中的漂移现象。 ![Image](images/06b1d69e583d2edf850dbfd3a7d46c4a5cd2e628c8e9b14011724c50b933a8e7.jpg)
Fig. 9 Cadaver feet with preoperative model overlays after depth-based registration
从而确保整个手术过程中能够实现精准配准。通过反复进行配准也能缓解漂移问题，因为该过程仅需四秒，首次配准即可为后续的重新配准提供初始基础。或者，也可以将顾等人提出的基于视觉的漂移校正方法[^25]集成到系统中。未来的研究还应解决软组织目标（如乳房）的配准难题，这类情况需要采用非刚性配准方法。 与基于标记物的配准方法相比，无标记的基于深度的配准技术能够加快配准步骤，而传统方法中这一步骤往往需要借助指针来定位解剖标志点。通过省去手动选择标志点的环节，基于深度的方法可以减少用户操作误差，并降低对异常值的敏感性。 --- 本研究提出的深度配准框架旨在独立于目标解剖结构，因此具备在不同解剖区域广泛应用的潜力。图8和图9展示了在不同目标物体上成功实现基于深度配准的示例，同时也呈现了一些配准失败的案例。该框架的性能会因目标解剖结构的某些特性（如表面纹理、尺寸、对称性和遮挡情况）而产生差异。因此，针对每种手术应用进一步验证该框架至关重要。为了推动该方法的普及和广泛应用，我们已将该方法在GitHub上公开，以期促进更广泛的验证工作，并鼓励各方协作，对该框架进行改进以适应其他手术场景的需求。 ## 结论 本研究提出了一种适用于HoloLens 2的通用无标记配准框架。该框架利用深度传感器在多个帧中重建集成点云，随后采用粗配准和精配准方法将术前数据与患者数据对齐，从而将手术规划直接叠加到目标解剖结构上。研究首先评估了HoloLens 2深度传感器在重建术中点云时的精度。对深度传感器精度的定量评估显示：在距离HoloLens 50–70厘米范围内，AHAT模式和LT模式下的平均高估误差均处于毫米级。此外，研究还测试了该框架在不同手动和自动初始化方式下的基于深度的配准精度。利用脊柱模型进行的配准初始化方法对比结果表明，手动方法能够稳定实现成功对齐；自动初始对齐方法虽展现出潜力，但仍需改进，尤其是在为后续ICP步骤提供精准初始化方面。研究结果显示，该配准方法的精度可达1–2厘米级别，且能在4秒内完成。这为其他耗时的基于标记的配准方法提供了一种快速便捷的选择。尽管该方法对某些手术而言已足够，但目前的对齐精度尚无法满足许多其他手术的需求，因此仍需进一步改进。 ## 补充材料 - 包含用于基于深度将3D术前模型配准到HoloLens 2术中患者解剖结构上的框架的GitHub仓库。 - 展示HoloLens 2基于深度配准过程的视频，涵盖自动和手动初始化两种方式。 补充信息：在线版本中包含可在查看的补充材料。 致谢：我们谨向为本机构捐献遗体用于科学研究的人士及其亲属表示感谢，正是他们的奉献使得本研究得以开展。 ## 声明 利益冲突：作者声明不存在与本文内容相关的利益冲突。 伦理批准：所有涉及人体解剖标本的研究流程均遵循机构和/或国家研究委员会的伦理规定。本实验所用的人体解剖标本均来自伊拉斯姆斯医学中心解剖学系的国家遗体捐赠计划，该计划符合荷兰法律法规要求，标本系用于科学研究和医学培训而捐赠。 开放获取：本文依据知识共享署名4.0国际许可协议发布，允许在任何媒介或格式下使用、分享、改编、分发和复制，只需注明原作者及来源、提供知识共享许可协议的链接，并说明是否做过修改即可。本文中的图片或其他第三方材料若未在相关说明中注明，则同样纳入文章的知识共享许可范围。若材料未包含在文章的知识共享许可内，且您的预期用途不符合法定规定或超出许可范围，则需直接获得版权所有者许可。如需查看该许可副本，请访问。 ## 参考文献 [^1]: Mezger U, Jendrewski C, Bartels M (2013) Navigation in surgery. Langenbeck's Arch Surg 398:501–514 [^2]: Gsaxner C, Li J, Pepe A, Jin Y, Kleesiek J, Schmalstieg D, Egger J (2023) The hololens in medicine: a systematic review and taxonomy. Med Image Anal 102757 [^3]: Pérez-Pachón L, Poyade M, Lowe T, Gröning F (2020) Image overlay surgery based on augmented reality: a systematic review. Biomed Vis 8:175–195 [^4]: Pepe A, Trotta GF, Mohr-Ziak P, Gsaxner C, Wallner J, Bevilacqua V, Egger J (2019) A marker-less registration approach for mixed reality-aided maxillofacial surgery: a pilot evaluation. J Digit Imaging 32:1008–1018 5. Atzigen M, Liebmann F, Hoch A, Bauer DE, Snedeker JG, Farshad M, Fürnstahl P (2021) HoloYolo：一项利用增强现实技术和设备端机器学习实现脊柱棒植入物无标记手术导航的概念验证研究。《国际医学机器人与计算机辅助外科杂志》17(1):1–10。 ## [^6]: Benmahdjoub M, Thabit A, Niessen WJ, Wolvius EB, Van Walsum T (2023) Fiducial markers detection trained exclusively --- 关于基于头戴式显示器的手术导航中图像与患者对齐的合成数据研究。载于：2023年IEEE混合与增强现实研讨会附属会议论文集，ISMAR-Adjunct 2023，第429–434页。 7. Doughty M, Ghugre NR (2022) HMD-EgoPose：一种基于头戴式显示器的、用于增强手术引导的无标记工具和手部姿态估计方法。《国际计算机辅助放射与外科学杂志》17(12):2253–2262。 [^8]: Haxthausen Fv, Chen Y, Ernst F (2021) Superimposing holograms on real world objects using hololens 2 and its depth camera. In: Current directions in biomedical engineering. De Gruyter, vol 7, pp 111–115 [^9]: Gsaxner C, Pepe A, Li J, Ibrahimpasic U, Wallner J, Schmalstieg D, Egger J (2021) Augmented reality for head and neck carcinoma imaging: description and feasibility of an instant calibration, markerless approach. Comput Methods Progr Biomed 200:105854 [^10]: Sta S, Ogor J, Letissier H, Stindel E, Hamitouche C, Dardenne G (2021) Towards markerless computer assisted surgery: application to total knee arthroplasty. Int J Med Robot Comput Assist Surg 17(5):2296 [^11]: Palumbo MC, Saitta S, Schiariti M, Sbarra MC, Turconi E, Raccuia G, Fu J, Dallolio V, Ferroli P, Votta E, De Momi E, Redaelli A (2022) Mixed reality and deep learning for external ventricular drainage placement: a fast and automatic workflow for emergency treatments. In: International conference on medical image computing and computer-assisted intervention. Springer, pp 147–156 [^12]: Groenenberg A, Brouwers L, Bemelman M, Maal TJ, Heyligers JM, Louwerse MM (2024) Feasibility and accuracy of a real-time depth-based markerless navigation method for hologram-guided surgery. BMC Digital Health 2(1):11 [^13]: Gu W, Shah K, Knopf J, Navab N, Unberath M (2021) Feasibility of image-based augmented reality guidance of total shoulder arthroplasty using microsoft HoloLens 1. Comput Methods Biomech Biomed Eng Imaging Vis 9(3):261–270 [^14]: Li H, Yan W, Liu D, Qian L, Yang Y, Liu Y, Zhao Z, Ding H, Wang G (2023) EVD surgical guidance with retro-reflective tool tracking and spatial reconstruction using head-mounted augmented reality device [^15]: Dibene JC, Dunn E (2022) Hololens 2 sensor streaming. arXiv preprint arXiv:2211.02648 [^16]: Ungureanu D, Bogo F, Galliani S, Sama P, Duan X, Meekhof C, Stühmer J, Cashman TJ, Tekin B, Schönberger JL, Olszta P, Pollefeys M (2020) Hololens 2 research mode as a tool for computer vision research. arXiv preprint arXiv:2008.11239 [^17]: Zhou Q-Y, Koltun V (2013) Dense scene reconstruction with points of interest. ACM Trans Graph 10(1145/2461912):2461919 [^18]: Zhou Q-Y, Park J, Koltun V (2018) Open3d: a modern library for 3d data processing. arXiv preprint arXiv:1801.09847 [^19]: Garrido-Jurado S, Munoz-Salinas R, Madrid-Cuevas FJ, Medina-Carnicer R (2016) Generation of fiducial marker dictionaries using mixed integer linear programming. Pattern Recognit 51:481–491 [^20]: Benmahdjoub M, Niessen WJ, Wolvius EB, Walsum TV (2022) Multimodal markers for technology-independent integration of augmented reality devices and surgical navigation systems. Virtual Real 26(4):1637–1650 [^21]: Thabit A, Benmahdjoub M, Van Veelen M-LC, Niessen WJ, Wolvius EB, Walsum T (2022) Augmented reality navigation for minimally invasive craniosynostosis surgery: a phantom study. Int J Comput Assist Radiol Surg 17(8):1453–1460 [^22]: Slieker JC, Theeuwes HP, Rooijen GL, Lange JF, Kleinrensink G-J (2012) Training in laparoscopic colorectal surgery: a new educational model using specially embalmed human anatomical specimen. Surg Endosc 26:2189–2194 [^23]: Theeuwes H, Riel M, Lange J, Kleinrensink G (2017) A new model for training on human specimens in surgical-anatomical skills labs. Anat Physiol Biochem Int J 3(1):0013–7 24. Yang H, Shi J, Carlone L (2021) Teaser：一种快速且可验证的点云配准方法。《IEEE机器人学报》37(2):314–333。 [^25]: Gu W, Knopf J, Cast J, Higgins LD, Knopf D, Unberath M (2023) Nail it! vision-based drift correction for accurate mixed reality surgical guidance. Int J Comput Assist Radiol Surg 1–9 出版商声明：Springer Nature对于所发表地图中的管辖权声明及机构归属保持中立。