{
  "paper_id": "a61ba5666433bb0870761731805572b8",
  "paper_title": "Depth-based registration of 3D preoperative models to intraoperative patient anatomy using the HoloLens 2",
  "paper_authors": [
    "Enzo Kerkhof",
    "Abdullah Thabit",
    "Mohamed Benmahdjoub",
    "Pierre Ambrosini",
    "Tessa van Ginhoven",
    "Eppo B. Wolvius",
    "Theo van Walsum"
  ],
  "publication_date": "2025-03-14",
  "publication_venue": "International Journal of Computer Assisted and Radiological Surgery",
  "abstract": "目的：在增强现实外科手术导航中，需要通过配准将术前数据与患者对齐。本研究探讨利用 HoloLens 2 的深度传感器进行外科导航配准。方法：开发了一套基于增强现实深度的配准框架，用于对齐术前与术中点云，并将术前模型叠加到患者身上。评估包括三项实验：首先在 Long-Throw（LT）和 Articulated Hand Tracking（AHAT）模式下评估 HoloLens 深度传感器的精度；其次采用不同对齐方法评估整体配准精度、成功率；最后在多种对象上对框架进行定性评估。结果：深度精度实验显示 AHAT 和 LT 的平均高估误差分别为 5.7 mm 和 9.0 mm。整体对齐中，不同方法的平均平移误差为 12.5–17.0 mm，旋转误差为 0.9–1.1°。结论：HoloLens 2 的深度传感器可用于图像到患者对齐，精度为 1–2 cm，且可在 4 s 内完成；随着精度进一步提高，该方法可成为其他耗时标记方法的便捷替代。本研究提供了一套使用 HoloLens 2 深度传感器的通用无标记配准框架，并对传感器重建和配准精度进行了广泛分析。\n",
  "keywords": [
    "图像引导手术",
    "增强现实",
    "头戴式显示器",
    "HoloLens 2",
    "基于深度的配准",
    "图像到患者配准"
  ],
  "paper_institutions": [
    "Erasmus Medical Center"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:48.805807Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对增强现实外科导航中术前三维模型必须与术中患者解剖对齐、而传统标记配准耗时、具侵入性且系统昂贵复杂的问题，本文在RGB特征无标记配准和已有HoloLens深度研究数量有限且多面向特定术式的背景下，提出一种通用的、基于HoloLens 2深度传感器的无标记图像到患者配准框架。框架由HoloLens 2与同网络PC构成，借助hl2ss和Research Mode获取深度帧与空间输入；术前CT或MRI经3D Slicer分割生成表面网格，以网格顶点作为源点云，术中采集50帧、约10 s不同视角深度，通过TSDF融合为目标点云，并以初始姿态为中心、用术前模型1.1–1.5倍的几何拟合包围框裁剪，随后由手动或自动初始化方法给出粗位姿并由ICP精配准。实验先以已知高度的平面物体、ArUco参考平面、50与70 cm距离、两种光照和两台HoloLens检验深度偏差，核心误差定义为 D_error = D_real - |p_surface − p_reference|，正值表示深度高估；再以32种朝向的腰椎幻影模型、一臂距离临床条件和TRE约2 mm的电磁追踪/Vuforia多模态真值评估四种配准，最后在腹部、颅骨、人体模型和防腐尸体足上考察几何与材质适应性。深度实验显示AHAT与LT平均高估分别为5.7和9.0 mm，LT因误差更系统、离散度更小而被用于配准；配准平均平移误差为12.5–17.0 mm、旋转误差0.9–1.1°，Manual和3P成功率均为100%，Eye与Eye RANSAC仅22%和34%，除3P处理约26.4 s外其余方法PC处理均低于4 s，手动粗放置约需3 s，这些结果证明手动粗放置结合ICP稳健快速，也暴露自动方法的旋转初始化仍是瓶颈。定性结果显示腹部、颅骨幻影和尸体足可视觉对齐，反光人体模型导致点云稀疏失败。该方法适用于需要快速便捷叠加、可接受1–2 cm误差的场景，但当前精度尚不足以满足许多外科操作，且受表面纹理、尺寸、对称性、遮挡、设备SLAM漂移、用户经验及动态环境约束；未来可通过深度校准、优化TSDF重建与预处理、TEASER++等鲁棒全局配准、RANSAC参数调优、世界锁定或周期重对齐、软组织非刚性配准以及多外科场景验证来改进。\n\n### 关键要点\n\n- 框架采用HoloLens 2与客户端PC协同的客户端—服务器结构，HoloLens采集深度帧、用户空间输入和初始姿态，PC计算配准矩阵后回传并显示对齐模型。\n- 术前源点云由CT或MRI影像分割出的解剖结构表面网格生成，网格顶点直接作为待对齐的术前点云。\n- HoloLens 2飞行时间深度传感器提供AHAT和LT两种模式，AHAT为45 FPS、512×512，LT为1–5 FPS、320×288；研究最终选择误差更一致、更易校准的LT模式。\n- 术中目标点云通过用户约10 s内从不同角度采集50帧深度，并使用TSDF体积融合重建，再依据初始位姿和1.1–1.5倍模型尺寸的包围框裁剪。\n- 研究评估3点选取、Manual手动粗对齐、Eye视线注视和Eye RANSAC四种初始化方法，所有方法在粗对齐后均使用ICP完成精细配准。\n- 深度精度实验使用已知高度的平面物体和ArUco标记建立参考平面，控制50与70 cm距离、实验室/手术室光照以及两台HoloLens设备，以分离距离、光照和设备差异的影响。\n- AHAT和LT深度均表现为系统性高估，平均高估误差分别为5.7 mm和9.0 mm；手术室灯光开启使两种模式平均误差分别降低1.95 mm和2.40 mm，两台设备差异分别为0.74 mm和1.34 mm。\n- 配准实验在腰椎幻影模型的32种不同朝向下进行，并以TRE约2 mm的电磁追踪与Vuforia多模态系统作为真值，测量最终位姿的平移误差、旋转误差、成功率和处理时间。\n- 四种方法的平均平移误差为12.5–17.0 mm、旋转误差为0.9–1.1°；Manual和3P成功率均为100%，Eye和Eye RANSAC成功率仅为22%和34%。\n- 3P方法平均PC处理时间为26.44 s，Manual、Eye和Eye RANSAC分别约为2.15 s、3.12 s和3.27 s，后三者可在发出语音命令后4 s内完成处理。\n- 定性测试中腹部幻影、颅骨幻影和防腐尸体足均可实现视觉上可接受的叠加，但反光人体模型产生稀疏点云并导致配准失败，说明表面材质、遮挡、对称性和SLAM漂移仍是实际应用约束。"
}