{
  "paper_id": "96b0f8c7c6092841d478e1e65f9d2188",
  "paper_title": "HO-3D_v3: Improving the Accuracy of Hand-Object Annotations of the HO-3D Dataset",
  "paper_authors": [
    "Shreyas Hampali",
    "Sayan Deb Sarkar",
    "Vincent Lepetit"
  ],
  "publication_date": "2021-07-01",
  "publication_venue": "unknown",
  "abstract": "本文提出 HO-3D_v3，通过改进原 HOnnotate 自动优化流程来提升手物交互数据集中手部与物体三维位姿标注的准确性。方法将基于合成数据训练的分割项替换为 MSeg 的置信图，并直接优化关节角、手动对齐 MANO 关节轴以符合手指解剖方向，同时采用手部与物体球体填充模型构建更简单的排斥项。新版数据集包含 83,325 张训练图像和 20,137 张测试图像，覆盖 10 个物体与 10 名受试者。在 50 帧选自 HO-3D_v2 估计较差片段并由人工标注指尖的多相机深度点云上，平均指尖误差由 12.31 mm 降至 8.12 mm。接触图分析还表明，v3 在保持相近相互穿透程度的同时产生了更多真实手物接触，尤其改善了动态抓取姿态。\n",
  "keywords": [
    "HO-3D",
    "手部姿态估计",
    "物体姿态估计",
    "手物交互",
    "三维数据集",
    "位姿优化",
    "MANO",
    "接触图",
    "MSeg"
  ],
  "paper_institutions": [
    "Institute for Computer Graphics and Vision, Graz University of Technology, Graz, Austria",
    "Université Paris-Est, École des Ponts ParisTech, Paris, France"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:01.466972Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nHO-3D_v2 通过自动优化方法获取手物三维位姿标注，但在困难序列中仍存在指尖定位偏差、手物接触不足、关节姿态不自然和局部穿透等问题。本文在原 HOnnotate 优化框架基础上提出三项改进：用 MSeg 将 194 类语义分割重映射为物体、人物和背景三类，并以渲染分割与置信图的一致性构建轮廓项；放弃 PCA 系数而直接优化关节角，并将 MANO 关节轴手动对齐到手指解剖方向，使关节角限制更合理、抓取姿态更自然；用球体填充手部与物体内部体积，以排斥项 E_phy = Σ_i Σ_j max(0, r_i^h + r_j^o − ‖c_i^h − c_j^o‖₂ − t) 惩罚不合理穿透，其中允许穿透量 t=2 mm。HO-3D_v3 包含 83,325 张训练图像和 20,137 张测试图像，均覆盖 10 个物体和 10 名受试者；研究者特意从 v2 估计较差的序列中选取 50 帧，融合多相机深度图形成点云并人工标注全部五个指尖，以严格检验改进是否能修复困难样本。结果显示平均指尖误差从 v2 的 12.31 mm、标准差 3.8 mm 降至 v3 的 8.12 mm、标准差 2.2 mm，即约 4 mm 的提升，支持分割、解剖关节建模和球体排斥三项改进的有效性。接触分析将手表面点到物体表面距离小于 4 mm 视为接触，该容差用于容纳深度误差和相机标定误差；v3 表现出更多接触且整体穿透相近，其中动态抓取改善显著，静态抓取与 v2 相近。该成果适用于动态和静态手物抓取数据标注、接触区域分析以及机器人操作、增强现实等真实手物交互场景，但仍依赖多视角深度采集、相机标定、MSeg 分割质量和球体近似；后续可在更多对象与序列、更少视角约束及更丰富的接触物理指标上进一步验证。\n\n### 关键要点\n\n- HO-3D_v3 是 HO-3D 数据集的改进版本，提供更准确的手部和物体三维位姿标注，并由此得到更可靠的手物接触区域估计。\n- 数据集规模从 v2 的 66,034 张训练图、11,524 张测试图扩展到 v3 的 83,325 张训练图、20,137 张测试图，物体数和受试者数均为 10。\n- 优化算法包含三项主要改进：基于交叉熵思想的轮廓差异项、符合解剖方向的关节轴，以及基于球体的改进排斥项。\n- 轮廓项使用 MSeg 的分割预测，而非原方法中在合成数据上训练的网络；MSeg 的 194 个类别被重映射为物体、人物和背景三个类别。\n- 方法直接优化 MANO 关节角而不是 PCA 分量，以到达 PCA 空间难以表示的抓取姿态，并减少在分割和深度优化中陷入局部极小值的问题。\n- MANO 原始关节轴不沿手指解剖方向，容易造成关节角限制不准和拇指扭曲等姿态；手动对齐轴后，v3 中的手部姿态更自然。\n- 手部和物体内部体积由球体填充，排斥项通过球心距离与半径和的关系惩罚穿透，并设置允许穿透量 t=2 mm。\n- 评估使用 50 帧人工标注帧，这些帧专门选自 HO-3D_v2 手部姿态估计较差的序列，点云由多相机设置中的所有深度图融合得到。\n- 在五指尖人工标注评估中，HO-3D_v2 的平均误差为 12.31 mm、标准差为 3.8 mm，HO-3D_v3 降至 8.12 mm、标准差为 2.2 mm。\n- 接触定义采用手表面点到物体表面距离小于 4 mm 的阈值，用于考虑深度测量和相机标定误差；v3 接触区域更多，且平均相互穿透与 v2 相近。\n- 接触图对比显示 v3 对动态抓取质量改善明显，静态抓取的接触图在两个版本之间总体相似。"
}