{
  "paper_id": "efb31cd5515a1c03e257ff73a6ed62ff",
  "paper_title": "A multi-view pipeline and benchmark dataset for 3D hand pose estimation in surgery",
  "paper_authors": [
    "Valery Fischer",
    "Alan Magdaleno",
    "Anna-Katharina Calek",
    "Nicola Cavalcanti",
    "Nathan Hoffman",
    "Christoph Germann",
    "Joschua Wüthrich",
    "Max Krähenmann",
    "Mazda Farshad",
    "Philipp Fürnstahl",
    "Lilian Calvet"
  ],
  "publication_date": "2026-05-11",
  "publication_venue": "CARS 2026",
  "abstract": "目的：准确的3D手部姿态估计可支持手术技能评估和机器人辅助干预，但手术环境存在强局部光照、器械或人员频繁遮挡、戴手套导致手部外观单一以及标注数据稀缺等问题。方法：提出一种面向手术场景的多视角流水线，无需领域特定微调，直接利用现成预训练模型；该方法结合人员检测、全身姿态估计、在跟踪手部裁剪图上预测2D关键点，并进行带约束3D优化。同时建立基准数据集，包含超过68000帧、3000个手动标注2D手部姿态及三角化得到的3D真值，采集于高保真实体手术室复刻环境。结果：在该数据集上，流水线在2D和3D手部姿态估计上均持续优于现有基线，关节定位精度显著提高，2D关节误差最多降低31%，3D关节位置误差最多降低76%，并在运动和部分遮挡等递增场景复杂度下保持稳健。结论：结合稳健检测、跟踪与几何优化可在无需领域再训练的条件下实现手术环境3D手部姿态估计；数据集与流水线为手术动作分析和客观技能评估提供基线框架与基准资源。\n",
  "keywords": [
    "手部姿态估计",
    "基准数据集",
    "外科手术",
    "多视角"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:36.889228Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决手术视频中3D手部姿态估计因强局部照明、眩光、器械或人员遮挡、手套造成的低纹理外观以及真实标注数据稀缺而难以泛化的问题。相关研究中单目方法依赖大规模标注并存在尺度模糊，多视角方法通过几何约束改善遮挡鲁棒性，但2D关键点模型仍受领域漂移影响；为此作者提出模块化、免训练的多视角流水线，先用YOLOv11检测外科医生，再用RTMPose-XL获得全身关键点和粗略手部框，选择平均手部关键点置信度大于0.3的帧作为关键帧，以其框提示Efficient Track Anything并双向传播分割和跟踪框，在遮挡、快速运动和短暂检测失败时保持身份与时间连续，随后将跟踪裁剪区域送入RTMPose手部模型，在接近原生分辨率下细化2D关键点，并丢弃置信度低于0.1的点；多视角2D结果经三角化初始化后，用L-BFGS-B逐帧求解带约束优化，核心机制为L_total = λ_reproj L_reproj + λ_smooth L_smooth + λ_shape L_shape + λ_biomech L_biomech，其中重投影项按置信度约束投影一致，平滑项约束相邻帧位置连续，形状项用正交Procrustes对齐腕部居中的手部点集，生物力学项为可选解剖约束。为提供真实评测，作者在高保真手术室复刻环境中采集SPP和SPI两组数据，分别使用12台和11台4K、30fps同步GoPro Hero Black 12，自定义PCB实现亚帧级同步，OpenCV完成标定；数据集含20个序列、每序列300帧、共超过68000个同步多视角帧，每相机每序列均匀标注10个关键帧，形成约3000个2D标注并三角化3D真值，标注者交叉复核显示558个实例的平均2D和3D差异低于4.7像素和4.6毫米；作者定义L0至L5复杂度，重点评测L0-L2，因为这些单人、动态、工具遮挡场景可在受控条件下验证方法对运动和部分遮挡的鲁棒性，而L3-L5留作未来基准。实验只比较免训练方法以避免微调领域适应和数据泄漏，采用MJE、AP、PCK2D/mPCK2D、MPJPE、MRE、PCK3D/mPCK3D等指标；本文方法2D MJE为11.8像素、AP为70.3、mPCK2D为22.8，优于Sapiens、RTMPose、DWPose及全身框接手模型的组合，3D优化后MPJPE为8.5毫米、MRE为8.2像素、mPCK2D为76.6、mPCK3D为74.7，相对最佳基线最多降低约31%的2D关节误差和约76%的3D位置误差，支持了目标无关跟踪、高分辨率手部细化和多视角约束优化的作用；消融显示时间平滑显著提升精度，形状一致性在快速运动L2中尤其有效，生物力学项反而降低性能。该系统可用于手术动作分析、客观技能评估、训练反馈以及非接触式机器人、影像或AR交互，但当前研究限定于校准同步多视角和主要为单人术者，尚不能有效处理多人、频繁自遮挡和低可见度，跟踪与优化在RTX2060上处理300帧约需30至45分钟，未来将利用该流水线生成3D标注训练快速前馈模型，并扩展到近实时、多人和重遮挡场景。\n\n### 关键要点\n\n- 流水线完全使用现成预训练模块，不进行手术领域微调或再训练，设计目标是直接迁移到新的手术环境。\n- 2D阶段采用自上而下策略：YOLOv11先检测人员，RTMPose-XL在人员框内估计全身关键点并给出粗略手部位置。\n- 关键帧由全身模型手部关节平均置信度大于0.3确定，Efficient Track Anything从这些可见性较好的帧向前后传播手部掩膜和边界框。\n- 手部专用RTMPose在跟踪裁剪区域上以接近原始分辨率细化关键点，手部模型置信度低于0.1的单个关键点会被过滤。\n- 3D阶段以三角化结果初始化，并通过L-BFGS-B最小化带权重的重投影、时间平滑、形状一致性和可选生物力学损失；基线配置权重分别为1.0、20.0、50.0和0。\n- 基准数据采集于高保真实体手术室复刻环境，SPP使用12台、SPI使用11台GoPro Hero Black 12，视频为4K、30fps，并由自定义PCB控制器实现亚帧同步。\n- 数据集包含20个各300帧的序列，总计超过68000个同步多视角帧；每相机每序列人工标注10个均匀分布的关键帧，共约3000个2D手部姿态。\n- 人工2D标注利用标定参数三角化为3D真值，其重投影作为评测用2D真值；558个四标注者实例的平均差异低于4.7像素和4.6毫米。\n- 场景复杂度L0至L5逐级引入运动、工具遮挡、参与者数量和视角可见性变化，本文定量评测集中在L0至L2，L3至L5纳入数据集但留待未来研究。\n- 定量结果中，本文2D流水线MJE为11.8像素、AP为70.3、mPCK2D为22.8，均优于Sapiens、RTM、DW及其接手模型的组合。\n- 完整3D流水线取得MPJPE 8.5毫米、MRE 8.2像素、mPCK2D 76.6和mPCK3D 74.7，而单独RTM对应为35.8、39.8、39.8和40.8。\n- 消融表明时间平滑和形状一致性提升重建，形状项对L2快速运动特别有帮助，加入生物力学项会使平均MPJPE升至25.9毫米；系统当前在RTX2060上处理300帧约需30至45分钟。"
}