{
  "paper_id": "91ba31be9e845ac94f5ae579c420b14e",
  "paper_title": "HOnnotate: A method for 3D Annotation of Hand and Object Poses",
  "paper_authors": [
    "Shreyas Hampali",
    "Mahdi Rad",
    "Markus Oberweger",
    "Vincent Lepetit"
  ],
  "publication_date": "2020",
  "publication_venue": "IEEE Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "我们提出了一种为手部操纵物体的图像标注手与物体两者3D姿态的方法，以及用该方法创建的数据集。我们的动机是目前缺乏针对该问题的已标注真实图像，因为3D姿态估计极具挑战性，主要原因是手与物体之间的相互遮挡。为应对这一挑战，我们使用一台或多台RGB-D相机采集序列，并在所有帧上同时联合优化手与物体的3D姿态。该方法使我们能够在严重相互遮挡的情况下自动为每一帧标注准确的姿态估计。利用该方法，我们创建了HO-3D——首个同时包含手与物体3D标注的无标记彩色图像数据集。该数据集目前由77,558帧、68个序列、10个人和10个物体组成。利用该数据集，我们开发了一种基于单张RGB图像的方法，用于预测物体交互中严重遮挡下的手部姿态，并证明其能泛化到数据集中未见过的物体。",
  "keywords": [
    "3D手部姿态估计",
    "手-物交互",
    "3D姿态标注",
    "HO-3D数据集",
    "MANO手部模型",
    "RGB-D相机",
    "可微渲染",
    "能量最小化"
  ],
  "paper_institutions": [
    "Institute for Computer Graphics and Vision, Graz University of Technology, Austria",
    "LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Valle, France"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:43.346302Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决手-物交互图像的3D姿态自动标注问题：由于手与物体之间存在严重相互遮挡，且缺乏面向手+物体3D姿态估计的真实标注数据，现有单目深度学习方法在该场景下表现不佳。先前工作或依赖逐帧跟踪（需手动初始化且易漂移）、或使用附着于手的磁传感器动捕系统（传感器可见会引入学习偏差）、或依赖合成图像（存在域差距且难以模拟复杂操作）。作者提出HOnnotate方法：使用一台或多台RGB-D相机采集序列，将手与物体的3D姿态在全部帧上联合优化（类比SLAM中的捆集调整），并借助可微渲染以深度学习中的梯度下降方法求解复杂目标函数。核心机制为能量最小化：$\\hat{\\mathcal{P}}=\\arg\\min_{\\mathcal{P}}\\sum_{t=1}^{N_F}\\left(E_{\\mathcal{D}}(\\mathbf{p}_h^t,\\mathbf{p}_o^t)+E_{\\mathcal{C}}(\\mathbf{p}_h^t,\\mathbf{p}_o^t)\\right)$，其中数据项$E_{\\mathcal{D}}$包含轮廓差异、深度残差（Tukey鲁棒估计）、2D关节误差与3D距离项，约束项$E_{\\mathcal{C}}$包含关节角度限制、物理合理性（防止手物相互穿透）与时序一致性项。手部采用MANO模型（51维姿态参数与按人估计的10维形状参数），物体选用YCB-Video数据集的10种日常物体（形状材质多样、3D模型质量好且可在线购买，便于复现与扩展）。基于该方法构建了HO-3D数据集：77,558帧、68个序列、10人、10物体，是首个同时提供手与物体3D标注的无标记真实彩色图像数据集。评估采用平均关节误差、AUC、网格误差与F-score等指标：多相机标注方法平均关节误差低于8mm、AUC为0.79，与FreiHAND相当（且遮挡更大、无需绿幕）；单相机方法与多相机标注的手/物网格误差分别为0.77cm与0.45cm；多帧联合优化较单帧优化精度提升约15%，验证了联合优化机制的有效性。作者进一步基于该数据集训练单RGB图像手部姿态预测网络（CPM架构预测2D关节位置与方向向量后拟合MANO模型），网格误差1.06cm、F@5mm为0.51，优于直接预测MANO参数的方法，并验证了对未见物体的泛化能力，证明标注可直接用于数据驱动方法。未来方向包括改进分割质量、引入吸引项与物理约束以及单帧联合手+物体姿态估计；该工作可支撑增强现实与机器人模仿学习等现实应用，但单相机设置假设抓取姿态在序列中变化较小，且分割质量会影响标注精度。\n\n### 关键要点\n- 提出全自动标注方法HOnnotate：使用单台或多台RGB-D相机采集手-物交互序列，对所有帧的手与物体3D姿态进行联合优化，可在严重相互遮挡下自动生成准确标注，避免逐帧跟踪的手动初始化与漂移问题。\n- 核心能量函数由数据项（轮廓差异$E_{mask}$、深度残差$E_{dpt}$、2D关节误差$E_{j2D}$、3D距离$E_{3D}$）与约束项（关节角度限制$E_{joint}$、物理合理性$E_{phy}$、时序一致性$E_{tc}$）组成，通过可微渲染计算梯度并用Adam/Dogleg优化器分阶段求解。\n- 手部采用MANO模型（45个关节自由度+6个腕部自由度，另有10维形状参数按人估计），物体姿态为SE(3)中的6自由度位姿；直接在45个关节角上优化并施加经验上下限而非在PCA空间优化，以准确表达复杂抓取姿态。\n- 物体选自YCB-Video数据集的10种日常用品（如漂白剂瓶、剪刀等），因其形状材质多样、3D模型质量高且可在线购买，便于研究者复现实验并以更多物体与抓取姿势扩展数据集。\n- 构建的HO-3D数据集包含77,558帧、68个序列、10名受试者（7男3女，20-40岁）与10种物体，是首个同时提供手部3D关节与物体3D姿态标注的无标记真实彩色图像数据集。\n- 多相机设置使用5台同步RGB-D相机（同步精度约5ms，彩色与深度图像均为640×480像素）；单相机设置假设抓取姿态在序列中近似不变，通过初始化、抓取姿态估计、物体姿态估计与多帧联合精化四个阶段逐步放松该假设。\n- 标注精度验证：与基于5相机合并点云的人工标注对比，多相机方法平均关节误差低于8mm、AUC为0.79，与FreiHAND数据集（AUC=0.791）相当，且本数据集因物体更大导致遮挡更严重、不使用绿幕背景。\n- 消融实验表明：轮廓项与深度项单独使用无法提供良好估计、结合后可减少局部极小值；3D项小幅提升精度但显著加速收敛；物理合理性项不提升精度但使抓取更自然；多帧多相机联合优化较单帧优化精度提升约15%。\n- 单相机方法各阶段精度（以多相机标注为参考）：初始化后手/物网格误差为5.40/4.02cm，抓取姿态估计后为3.60/4.02cm，物体姿态估计后为0.91/0.52cm，最终精化后为0.77/0.45cm。\n- 基于HO-3D的单RGB图像手部姿态方法（66,034帧训练、13个序列共11,524帧测试，测试集含训练中未出现的受试者与物体）采用CPM预测2D关节位置与根相对方向向量再拟合MANO模型，网格误差1.06cm、F@5mm为0.51、关节误差3.04cm，优于直接预测MANO参数的方法（1.10cm/0.46/3.18cm）。\n- 该单帧方法可泛化到训练集中未出现的物体，在严重遮挡与杂乱场景下仍能鲁棒预测手部姿态，验证了数据集标注对数据驱动方法的价值。\n- 局限与未来方向：手部分割质量不足会影响标注精度，可改进分割或引入吸引项与物理约束；未来可研究从单张RGB帧联合估计手+物体姿态；应用场景包括增强现实与机器人模仿学习。"
}