{
  "paper_id": "5891308b87d37cee25fce0b5dc686301",
  "paper_title": "HOSt3R: Keypoint-free Hand-Object 3D Reconstruction from RGB images",
  "paper_authors": [
    "Anilkumar Swamy",
    "Vincent Leroy",
    "Philippe Weinzaepfel",
    "Jean-Sébastien Franco",
    "Grégory Rogez"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "手物三维重建对于人机交互和沉浸式 AR/VR 应用日益重要。一类常见的从 RGB 序列进行对象无关手物重建的方法采用两阶段流程：先进行手物三维跟踪，再进行多视图三维重建。然而，现有方法依赖 SfM 和手部关键点优化等关键点检测技术，在面对多样物体几何、弱纹理以及手物相互遮挡时容易失效，从而限制了可扩展性和泛化能力。为实现通用、无缝且非侵入式的应用，本文提出一种鲁棒、无关键点检测器的方法，用于从单目运动视频或图像估计手物三维变换，并将其与多视图重建流程结合，以精确恢复手物三维形状。所提方法 HOSt3R 不受预扫描物体模板或相机内参约束，在 SHOWMe 基准上的对象无关手物三维变换和形状估计任务达到当前最优性能；同时在 HO3D 数据集序列上验证了对未见物体类别的泛化能力。\n",
  "keywords": [
    "手物三维重建",
    "无关键点",
    "点图",
    "刚性变换估计",
    "单目RGB",
    "位姿平均",
    "多视图重建",
    "隐式神经表示"
  ],
  "paper_institutions": [
    "NAVER LABS Europe",
    "Inria centre at the University Grenoble Alpes"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:35:03.343862Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向机器人、AR/VR 和人机交互等真实场景，手物三维重建需要同时恢复手与物体的几何和运动，但现有两阶段方法通常依赖手部关键点或 SfM 特征点，在弱纹理、小物体、多样几何、相互遮挡及相机内参变化时容易失败。针对该问题，论文提出 HOSt3R：一个无关键点检测器的手物刚性变换估计与三维重建框架。其核心机制是逐像素预测三维点图，在有深度和内参的监督条件下满足 $X_{i,j}=K^{-1}(iD_{i,j},jD_{i,j},D_{i,j})$；成对网络接收两张 RGB 图像，通过共享 ViT 编码器、交互 Transformer 解码器和 MLP 头，在第一张图像坐标系中回归两张点图及置信图，并以手物掩码、尺度归一化和置信加权回归损失训练。推理时，方法由点图深度估计焦距、将主点置于图像中心，再用 PnP-RANSAC 计算相对位姿；随后构建过滤后的成对图像图，采用 Shonan 旋转平均和基于高斯因子图、GTSAM 求解的平移平均获得全局变换，并将其作为隐式神经表示多视图重建的初始化，联合优化手物形状、颜色和运动。训练采用 DUSt3R 在室内场景上的预训练权重，并在改造自 ObMan 的合成多视图数据上微调，该数据包含约 2.7K 个日常物体模型、8 个类别以及变化的相机内外参和遮挡比例，可提供深度、相机参数和点图真值，适合验证弱纹理与遮挡条件下的几何匹配能力；评估使用 SHOWMe 基准，并以 HO3D 检验跨数据集泛化，每个序列均匀采样 60 帧。在 SHOWMe 上，HOSt3R 旋转误差为 18.2°、平移误差为 0.08，检测率为 100%，相较 SHOWMe 基线旋转降低 2.7°，15cm/15° 和 30cm/30° 阈值成功率分别达到 50.5% 和 86.3%；虽然 COLMAP 在部分成功恢复帧上的误差更低，但检测率仅 78.3%，说明 HOSt3R 的鲁棒性更强。形状重建中，HOSt3R 结合 HHOR 达到 100% 重建率、0.58cm 准确率、0.59cm 完整度和 56.4% 的 5mm F-score，整体表现最优，支持了无关键点位姿估计能够提升高保真模板无关重建的结论。HO3D 定性结果表明，方法无需微调或已知相机内参即可处理新物体、新手形、背景和运动；但它假设刚性手物运动且相机视线与不透明表面单点相交，在视角覆盖不足时手指细节仍可能缺失，未来可引入扩散形状先验改善强遮挡区域。\n\n### 关键要点\n\n- HOSt3R 用逐像素三维点图替代手部关键点或 SfM 特征点，直接建立 RGB 像素与三维点之间的对应关系。\n- 成对点图网络包含共享 ViT 编码器、两条带交叉注意力和自注意力的解码分支，以及分别预测点图和置信图的 MLP 头。\n- 训练损失只计算手物掩码区域，并通过归一化处理尺度模糊，同时用置信度加权回归项和对数正则项学习每个像素的可靠性。\n- 对每对图像，方法从预测点图深度估计焦距、假定主点位于图像中心，再通过 PnP-RANSAC 求解相对旋转和平移。\n- 全局位姿通过稀疏图像图上的旋转平均和平移平均获得，其中旋转使用 Shonan 方法，平移使用高斯因子图和 GTSAM 求解。\n- 多视图重建阶段将全局刚性变换作为隐式神经表示的初始化，并在可微体绘制优化中同时精修形状、颜色和变换。\n- 训练数据由 ObMan 管线改造生成，覆盖约 2.7K 个物体、8 个类别，并显式变化相机内外参和手物遮挡比例。\n- 在 SHOWMe 变换估计中，HOSt3R 达到 18.2° 旋转误差、0.08 平移误差、100% 检测率和 86.3% 的 30cm/30° 阈值成功率。\n- 在 SHOWMe 形状重建中，HOSt3R 结合 HHOR 取得 100% 重建率和 56.4% 的 5mm F-score，整体优于对比方法。\n- HO3D 结果证明方法可在不微调、不知相机内参的情况下泛化到未见序列，但刚性运动假设和手指视角不足会限制部分细节恢复。"
}