{
  "paper_id": "58b274af6682bd6ff940d46769e143fe",
  "paper_title": "Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction",
  "paper_authors": [
    "Yana Hasson",
    "Bugra Tekin",
    "Federica Bogo",
    "Ivan Laptev",
    "Marc Pollefeys",
    "Cordelia Schmid"
  ],
  "publication_date": "",
  "publication_venue": "2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "建模手物操作过程对于理解人类与环境交互至关重要。由于操作中存在大量相互遮挡，估计手和物体的位姿极具挑战。近期全监督方法需要大量标注训练样本，而采集手物交互三维真值成本高、繁琐且容易出错。为此，本文提出在视频中只有稀疏帧具有标注时，利用跨时间光度一致性的方法。模型以彩色图像为输入进行端到端训练，通过推理手和物体的位姿联合重建二者的三维形状。对于估计出的重建结果，作者在相邻图像之间可微渲染光流，并在网络内部用该光流将一帧翘曲到另一帧；随后采用自监督光度损失约束邻近图像之间的视觉一致性。该方法在三维手物重建基准上达到先进结果，并证明在低数据场景下可借助相邻帧信息提升位姿估计精度。\n",
  "keywords": [
    "手部物体三维重建",
    "光度一致性",
    "稀疏监督",
    "自监督学习",
    "光流",
    "可微渲染",
    "单目RGB视频",
    "MANO",
    "6D物体位姿估计"
  ],
  "paper_institutions": [
    "Inria",
    "Département d'informatique de l'ENS, CNRS, PSL Research University",
    "ETH Zürich",
    "Microsoft",
    "Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:15.531784Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单目RGB视频中手与被操作物体的联合三维重建，所要解决的核心问题是操作过程中手物相互遮挡严重，而现有全监督方法依赖大规模三维标注，动捕、多视角、合成数据或人工标注分别存在受控环境、标记伪影、真实感不足和成本高易错等问题。相关运动与光度一致性方法已在人体姿态、深度和自运动估计中使用，但尚未处理手物交互中的多实例、强遮挡和关节运动；为此作者提出在仅少量视频帧具有三维标注时，把时间邻域中的视觉相似性转化为自监督信号。方法以已知物体三维网格模型和MANO参数化手模型为基础，用ResNet-18作为编码器，经一次前向传播回归手的15个PCA姿态系数、10个形状参数以及手和物体的旋转、平移，采用透视相机和焦距归一化深度，并以可学习骨架适配层缓解数据集关节定义差异；对有标注参考帧和无标注目标帧，网络根据两帧对应三维顶点的位移，用Neural Renderer可微渲染图像光流，将目标帧可微翘曲到参考帧，并通过可见性二值掩码与循环一致性检查排除遮挡像素，核心机制为 `L_photo(V)=||M·(W(I,V)-I_ref)||_1`，该损失与物体顶点、手部关节的L2重建损失及姿态形状正则项联合优化。实验在FPHAB与HO-3D两个近期手物基准上进行：FPHAB提供第一视角RGB-D视频、手部三维姿态和6D物体位姿，使用物体动作划分和受试者划分，可检验真实手物操作及跨受试者能力；HO-3D为无标记真实数据并配合合成训练样本，所用首版子集含14个序列、2个用于评估，可检验在更真实无标记场景中的泛化。评价采用21个手部关节的平均三维端点误差（毫米）、FPHAB物体平均顶点距离、HO-3D物体边界框角点距离、二维重投影误差和PCK。结果显示，单帧模型在FPHAB上物体误差为22.3毫米，优于Tekin等的24.9毫米，手部误差18.0毫米虽高于15.8毫米但可输出密集手网格；在受试者划分上骨架适配将手部误差降至27.4毫米并优于Hasson等的28.0毫米，HO-3D上二维PCK也优于基线；手物联合训练相对单独训练仅有轻微精度代价。稀疏监督实验中，FPHAB只需约20%标注帧即可接近全监督性能，当标注帧低于1%时光度损失为物体和手分别带来约7像素和4像素的平均二维改善，将稀疏与全监督差距分别缩小约25%和23%，在2.5%标注帧时物体像素误差降低4.7像素（约51%）并带动三维毫米误差降低约40%，但HO-3D中物体像素改善未必转化为三维分数提升。这些结果支持“可微光流翘曲加图像空间光度损失”能把稀疏标注信息传播到无标注帧的核心创新。未来工作拟加入自监督三维互穿与场景交互约束，并扩展到完整人体和环境表面；该技术适用于增强现实、机器人、监控等需要理解手物操作的场景，但约束是需已知物体网格、相机内参和稀疏标注，且光度不变假设在快速运动、光照变化、运动模糊、严重遮挡或初始位姿极差时可能失效，绕平行于相机平面轴的旋转误差也可能无法纠正。\n\n### 关键要点\n\n- 方法假设输入为单目RGB视频、物体三维网格已知，仅稀疏帧有手物三维标注，目标是输出每帧手和物体三维顶点及模型参数。\n- 单帧网络以ResNet-18为图像编码器，增加两个回归头，分别预测MANO手模型的15个姿态PCA系数、10个形状参数，以及手和物体的6D位姿。\n- 全局平移采用透视模型下的焦距归一化深度和像素二维平移，而非弱透视模型，以适应手物距相机较近的拍摄条件。\n- 光度损失先计算参考帧与目标帧对应网格顶点的三维位移，再用Neural Renderer可微渲染成图像光流并翘曲目标帧。\n- 训练用二值可见性掩码和往返光流循环一致性筛选像素，避免把损失施加于在任一帧中被遮挡的表面点。\n- 骨架适配层从MANO关节回归器初始化并与网络联合优化，指尖和腕关节保持固定，以学习数据集特定的关节位置映射。\n- FPHAB实验使用官方动作划分并补充受试者划分，数据包含第一视角手物交互RGB-D视频及磁动捕获得的手和物体位姿。\n- HO-3D实验使用首版子集的14个序列，其中2个序列用于评估，并按基线协议在真实训练序列外加入合成数据共同训练。\n- 评价指标包括21个手关节的平均三维端点误差、物体顶点或边界框角点距离、二维重投影误差以及不同阈值下的PCK。\n- FPHAB单帧结果中，物体平均误差22.3毫米，优于Tekin等的24.9毫米；手部误差18.0毫米，但模型可直接给出密集三维手网格。\n- 稀疏标注实验表明，标注比例低于10%时光度损失收益明显，低于1%时手和物体二维误差平均改善约4和7像素，2.5%标注时物体三维误差可降低约40%。\n- 方法约束与失败情形包括依赖已知物体模型和相机内参，光照突变、快速运动、运动模糊、严重遮挡或初始化过差会破坏光度一致性并导致失败。"
}