{
  "paper_id": "d0a9a246ecd86013769d99b56c265f9a",
  "paper_title": "ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis",
  "paper_authors": [
    "Lixin Yang",
    "Kailin Li",
    "Xinyu Zhan",
    "Jun Lv",
    "Wenqiang Xu",
    "Jiefeng Li",
    "Cewu Lu"
  ],
  "publication_date": "2022",
  "publication_venue": "CVPR 2022",
  "abstract": "从单张RGB图像估计关节式3D手物姿态是一个高度模糊且具有挑战性的问题，需要包含多样手部姿态、物体类型和相机视角的大规模数据集。大多数真实世界数据集缺乏这些多样性。相比之下，数据合成可以轻易地分别保证这些多样性。然而，构建既有效又多样的手物交互，并从海量合成数据中高效学习仍然具有挑战性。为解决上述问题，我们提出ArtiBoost，一种轻量级在线数据增强方法。ArtiBoost通过在组合手物构型与视角空间（CCV空间）中采样，可以覆盖多样的手物姿态和相机视角，并通过损失反馈和样本重加权自适应地丰富当前难以辨识的样本。ArtiBoost在学习流程中交替执行数据探索与合成，合成数据与真实世界源数据混合用于训练。我们将ArtiBoost应用于一个简单的基线学习网络，并在多个手物基准数据集上见证了性能提升。模型和代码可在 https://github.com/lixiny/ArtiBoost 获取。",
  "keywords": [
    "手物姿态估计",
    "在线数据增强",
    "数据合成",
    "CCV空间",
    "抓取合成",
    "样本重加权",
    "硬样本挖掘",
    "MANO"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University",
    "Shanghai Qi Zhi Institute"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:40.972465Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张RGB图像估计关节式3D手物姿态（HOPE）是一个高度模糊且具有挑战性的问题：真实世界数据集（如基于多视角录制的方法）普遍缺乏多样的手部姿态、物体类型和相机视角，而传统离线数据合成方法（手工关节调整或基于GraspIt等抓取仿真器）难以同时保证抓取的有效性与多样性，且无法在训练中与模型动态交互。为此，本文提出ArtiBoost，一种轻量级在线数据增强方法：其核心是构建由物体类型、手部姿态和相机视角三个离散维度组成的组合空间——CCV空间，并通过基于接触约束的拟合式抓取合成（利用CPF的锚点与接触代价函数，将MANO手模型指尖拟合到物体表面接触点）来填充该空间；训练中ArtiBoost交替执行探索与合成两步，依据权重图M按多项式分布 p_i = w_i / Σw_j 采样手-物-视角三元组，渲染合成图像并与真实数据混合训练，再依据训练损失（基于MPJPE百分位的倒数启发式 δw_i = 1/(q_i + 0.5)）对权重图重加权，自适应聚焦当前难以辨识的样本。实验在FHAB（用于验证学习框架可行性）、HO3D（v1-v3）和DexYCB三个基准上进行，采用ResNet-34骨干的分类式（3D热图+soft-argmax）与回归式（MANO参数回归）两种简单基线网络，以MPJPE、MPCPE和MSSD为指标，结果显示加入ArtiBoost后简单基线即可超越先前SOTA（HO3D上MPJPE较Hasson et al.提升28%、较Liu et al.提升10%，Clas+Arti达2.64cm），消融实验验证了CCV空间多样姿态与在线重加权各自的有效性，且ArtiBoost可移植到其他HOPE框架、能在仅10%真实标注数据下超越全量数据训练。未来方向包括探索可微渲染与生成式/对比式模型以弥合合成与真实域差距，并将CCV空间推广至通用关节体姿态估计；实际约束在于渲染器不可微、仅支持预定义查找表内的探索，且未显式处理域差距，而该技术可服务于机器人与增强现实等下游任务。\n\n### 关键要点\n\n- 提出ArtiBoost在线数据增强方法，通过交替的探索与合成步骤提升关节式3D手物姿态估计性能，且与模型无关，可插入任意现代CNN架构。\n- 设计CCV空间（组合手物构型与视角空间），以物体类型、手部姿态、相机视角三个离散维度描述HOPE输入域，例如针对DexYCB的20个YCB物体可构成20×100×288=576,000个三元组。\n- 采用基于接触约束的拟合式抓取合成：在物体偏移表面均匀采样腕部位置点，随机选择拇指与1-4根其他手指，将指尖拟合到接触可行区域的接触点，并利用CPF的锚点代价函数优化，保证手姿有效且多样。\n- 手部C空间基于twist-splay-bend坐标系的三条解剖学协议构建，总自由度为21（每根手指一个外展和两个独立弯曲自由度，加腕部6自由度），确保姿态有效且视觉合理。\n- 在线合成阶段对三元组施加扰动：手部弯曲角加σ1=3度、外展角加σ2=1.5度高斯扰动，视角加δu=0.05和δφ=7.5度均匀扰动，经GrabNet的RefineNet缓解穿透，采用HTML皮肤纹理模型与PyRender渲染（224×224画布、每卡120 FPS）。\n- 样本重加权采用基于MPJPE百分位的倒数启发式：最大误差样本权重乘以2，最小误差样本乘以2/3，并将权重图钳制在[0.1, 2.0]区间以避免过度失衡。\n- 学习框架包含分类式（22个3D热图+soft-argmax）与回归式（MANO参数MLP回归）两种ResNet-34基线，损失函数由关节位置L_loc、物体角点L_cor、序数关系L_ord与对称感知L_sym四项加权组成。\n- 在HO3D上，Clas+Arti达到MPJPE 2.64cm、MPCPE 5.16cm，较先前SOTA（Hasson et al.和Liu et al.）分别提升28%和10%；在HO3D v3上Clas sym+Arti达MPJPE 2.34cm。\n- 消融实验表明：使用CCV空间合成姿态（MPJPE 2.71cm）优于使用YCBAfford手工标注姿态（3.01cm），且在线重加权比固定权重的离线方案收敛更快、得分更高。\n- 应用研究显示，仅用10%真实数据加ArtiBoost合成数据训练的模型可超越用100%真实数据训练的模型；将ArtiBoost移植到Hasson et al.的相机空间模型后所有指标均显著改善。\n- 局限性在于渲染器不可微，ArtiBoost仅支持在预定义查找表（CCV空间）内探索，且未显式弥合合成与真实数据间的域差距。"
}