{
  "paper_id": "9f3c83ce215b1b785b7899f788a03c0a",
  "paper_title": "Towards Dynamic 3D Reconstruction of Hand-Instrument Interaction in Ophthalmic Surgery",
  "paper_authors": [
    "Ming Hu",
    "Zhengdi Yu",
    "Feilong Tang",
    "Kaiwen Chen",
    "Yulong Li",
    "Imran Razzak",
    "Junjun He",
    "Tolga Birdal",
    "Kaijing Zhou",
    "Zongyuan Ge"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 38",
  "abstract": "准确重建手和器械的三维形态对基于视觉的眼科显微手术分析至关重要，但该方向长期受限于缺乏真实的大规模数据集和可靠的标注工具。本文提出 OphNet-3D，这是首个面向眼科手术的大规模 RGB-D 动态三维重建数据集，包含来自40名外科医生的41个序列，共710万帧，并提供12个手术阶段、10类器械、稠密 MANO 手部网格以及完整6-DoF器械姿态的细粒度标注。为可扩展地生成高保真标签，作者设计了多阶段自动标注流程，融合多视角数据观测、数据驱动运动先验、跨视角几何一致性与生物力学约束，并结合用于器械交互的碰撞感知交互约束。在 OphNet-3D 基础上，论文建立了双手姿态估计和手-器械交互重建两个挑战性基准，并提出 H-Net 与 OH-Net：前者用于双手网格恢复，后者用于联合重建双手-双器械交互。这些模型采用新颖的空间推理模块、弱透视相机建模和碰撞感知中心点表示。两种架构均显著优于现有方法，手部和器械重建的 MPJE 平均改善超过2毫米，ADD-S 指标最高提升23%。\n",
  "keywords": [
    "眼科显微手术",
    "三维重建",
    "OphNet-3D",
    "RGB-D数据集",
    "双手姿态估计",
    "手-器械交互",
    "MANO",
    "6-DoF器械姿态",
    "碰撞感知表示",
    "自动标注"
  ],
  "paper_institutions": [
    "莫纳什大学",
    "上海人工智能实验室",
    "穆罕默德·本·扎耶德人工智能大学（MBZUAI）",
    "帝国理工学院",
    "温州医科大学附属眼视光医院"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:48.234129Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n眼科显微手术操作空间狭小、动作精细且双手与多器械频繁遮挡，客观技能评估和术中引导亟需非接触式三维手-器械运动重建；现有研究多依赖二维短视频片段、外部动捕设备或可穿戴传感器，通用手物交互方法又受限于域内真实三维数据稀缺与标注困难。为此，论文构建并发布 OphNet-3D：用8台同步、标定的 RealSense D435 RGB-D 相机以30 FPS、848×480分辨率采集猪眼白内障模拟手术，包含40名术者的41个序列、约710万帧、12个手术阶段、10类器械、超过2100万个分割实例、稠密 MANO 手部网格和6-DoF器械姿态；选择多视角RGB-D和扫描CAD模型，是为了在无菌、无标记条件下兼顾数据规模、真实感、几何约束和跨术者多样性，并验证从单目图像到复杂双手双物交互的重建能力。标注上采用SAM2掩膜、跨视角点云过滤、手部初始化、全局配准与ICP，再通过数据驱动手部运动先验、生物力学约束、接触吸引/穿透排斥及SDF损失联合优化，核心机制可概括为 \\(E_{II}=E_I+\\lambda_{sil}L_{sil}+\\lambda_{3d}L_{3d}+\\lambda_{inter}L_{inter}+\\lambda_{sdf}L_{sdf}\\)，用以同时满足二维重投影、轮廓、点云、时间平滑和防碰撞要求。论文进一步建立双手姿态估计和手-器械交互两个基准，按受试者划分为30/3/8，并提出H-Net与OH-Net；后者通过手/物中心热图、碰撞感知中心表示、MANO解码器、弱透视相机、T-Net相对位移和器械6D姿态/铰接分支实现双手双器械联合推理。实验以MPJPE、MPVPE、MRRTE、ADD-S、MAE、穿透体积和手物相对误差评估，H-Net-D测试集MPJPE为15.97毫米，OH-Net-D测试集MPJPE为15.94毫米、ADD-S为76.31%、MAE为9.62%，相对现有方法在手部MPJPE上降低超过2毫米，ADD-S最高提升可达23%，支持了空间推理、中心解耦和深度信息对精细交互的增益。成果可用于手术技能评估、个性化训练反馈和术中导航等真实场景，但当前数据来自单中心、单一白内障模拟流程，显微镜强光会导致器械尖端过曝，且尚未融合显微镜视图重建眼表；未来需开展多中心验证、红外或动捕同步RGB采集，并联合重建眼组织、手与器械以提升临床泛化性。\n\n### 关键要点\n\n- OphNet-3D 是首个面向眼科手术的真实RGB-D动态三维重建数据集，使用8台同步标定的Intel RealSense D435相机，以30 FPS和848×480分辨率记录猪眼模拟器上的白内障手术。\n- 数据集包含40名参与者的41个序列，最终保留565个阶段片段、约710万帧，并提供12个手术阶段、10类器械、超过2100万个分割实例、MANO手部网格和6-DoF器械姿态标注。\n- 参与者经验分布均衡，20人手术经验超过一年、20人不足一年；数据按受试者划分为训练30人、验证3人和测试8人，训练时使用全部8个视角的单目图像。\n- 自动标注流程先用SAM2加人工修正获得手与器械掩膜，再融合多视角深度点云，并通过跨视角过滤保留投影到感兴趣区域超过半数视角的点。\n- 器械由蓝光三维扫描获得高分辨率CAD模型，铰接器械用6D基座姿态和取值范围为[^0] [^1]的一维铰接因子表示；姿态初始化结合RANSAC全局配准、ICP和Chamfer距离优化。\n- 手部标注以MANO参数表示15个关节的局部姿态、10维形状、腕部轴角旋转和平移，并在优化中加入二维重投影、轮廓、三维点云、时间平滑、运动先验和生物力学约束。\n- H-Net是去除器械分支的双手网格恢复基线，利用分割头、MANO参数图、手部中心热图、碰撞感知中心表示和T-Net相对平移建模左右手关系。\n- OH-Net在H-Net上增加器械中心热图、器械参数图和6D姿态/铰接分支，T-Net输出9维相对位移，是首个联合重建双手和双器械交互的方法。\n- 双手基准在根关节对齐后报告MPJPE、MPVPE和MRRTE；交互基准还报告ADD-S、MAE、手物相对根平移误差和穿透量Pen。\n- H-Net-D在测试集取得15.97毫米MPJPE、16.18毫米MPVPE和26.59毫米MRRTE，优于InterWild、DIR、IntagHand和ACR等双手重建方法。\n- OH-Net-D在测试集取得15.94毫米MPJPE、76.31% ADD-S、9.62% MAE和5.18的Pen指标，显示深度信息、联合建模和空间推理能改善器械定位、铰接估计与交互合理性。"
}