{
  "paper_id": "c65ad1b565bc15387c8de6e53c82416d",
  "paper_title": "Full DOF Tracking of a Hand Interacting with an Object by Modeling Occlusions and Physical Constraints",
  "paper_authors": [
    "Iason Oikonomidis",
    "Nikolaos Kyriazis",
    "Antonis A. Argyros"
  ],
  "publication_date": "2012-06",
  "publication_venue": "IEEE Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "由于遮挡，估计与物体交互的人手完整姿态比恢复孤立观测的手部姿态更具挑战性。本文将该问题形式化为一个优化问题，其解包括26自由度手部姿态以及被操作物体的姿态和模型参数。优化寻求一个联合手物模型，使其既能最好地解释手物交互遮挡造成的不完整观测，又能满足手部不与物体共享同一物理空间的物理合理性。所提方法是首个仅依靠无标记多相机输入即可高效求解连续、全自由度、联合手物跟踪问题的方法，并首次表明手物交互可作为促进手部姿态估计的上下文，而不仅仅是复杂因素。基于仿真和真实图像序列的大量定量与定性实验，以及与孤立手部姿态估计先进方法的比较，支持了上述结论。\n",
  "keywords": [
    "手部姿态估计",
    "手物交互",
    "遮挡建模",
    "物理约束",
    "全自由度跟踪",
    "多相机视觉",
    "粒子群优化",
    "三维物体建模"
  ],
  "paper_institutions": [
    "Institute of Computer Science - FORTH",
    "Comp. Science Department, Univ. of Crete"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:38.462859Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决无标记多相机观测下手与物体交互时的完整26自由度手部姿态、物体三维姿态与形状参数联合估计问题；已有孤立手部模型因互遮挡而观测不全，外观方法或交互分类方法又缺少手物精细三维模型，使该问题在高维性、歧义和实时性上更加困难。作者提出HOPE方法，将手物配置视为联合模型，利用皮肤色和边缘两类二维线索，在每个视角渲染假设模型，并把缺失的手部皮肤或边缘解释为物体遮挡，同时以手物不能共享空间、手部各部件不能自穿透为物理约束，其核心机制是最小化目标函数 $O(m,M)=Σ_{I∈M}D(I,m)+λ_k W(m)$，其中D衡量皮肤图重叠与边缘距离变换误差，W用ODE计算自穿透和手物穿透的最大深度，$λ_k=0.1$，再由粒子群优化在连续27+d维空间搜索并借助时间连续性递推。实验在含椭球、圆柱、长方体的3组合成序列上进行，每组116个多帧、由8个虚拟相机观测，合成数据具有真值，可定量验证遮挡建模和物理约束的作用；真实数据由8台标定Flea2相机采集，包括球形、圆柱、长方体三组序列，分别含301、261、251个多帧，用于验证复杂实际抓取中的鲁棒性；另用400个多帧的孤立手合成序列检验方法处理无对象特例的能力。评估以五个指尖和掌心三维位置的平均欧氏误差为指标，2视角下HOPE稳定误差约25mm，PEHI约55mm，8视角下PEHI误差仍超过HOPE两倍，且HOPE三视图结果已优于PEHI八视图，支持“交互上下文而非干扰因素”的创新；物体平均位置误差为3mm、朝向误差为2度，形状参数接近真值，真实序列中椭球假设在98.67%的多帧上目标函数最低。GPU实现处理单视图和8视图分别需要0.31秒和2.19秒，4相机在线系统约为2fps。该方法要求标定多相机和首帧手动初始化，但可容忍约10cm位置偏差和20度全局朝向偏差，同时依赖参数化物体模型并假定物体不呈皮肤色，更复杂的模型会受维度限制；其适用于抓取操作感知、人机交互、手语理解等场景，后续可进一步支持人类抓取和操作活动的语义解释。\n\n### 关键要点\n\n- 输入为经内外参标定的同步多相机图像；每帧用Canny检测器得到边缘图、用皮肤颜色方法得到皮肤图，并对边缘图计算距离变换。\n- 手部为26自由度、27参数模型，包含全局位置、四元数朝向和关节角；物体由d个内在形状参数加7个位姿参数表示，联合搜索维度为27+d。\n- 对每个联合假设渲染皮肤图和边缘图，手部可见像素置1、物体对应像素置0，使缺失的手部观测可被解释为物体遮挡。\n- 观测项D包含归一化皮肤重叠误差和边缘距离误差，后者将渲染边缘与观测边缘距离变换对齐，实验中边缘权重λ设为0.02。\n- 物理项W基于ODE计算分离相交体所需的最小三维平移，并取手部自穿透与手物互穿透的最大深度，总目标函数权重λ_k为0.1。\n- 粒子群优化在连续参数空间中最小化目标函数，实验取c1=2.8、c2=1.3；首帧手动初始化，后续帧以上一帧解及其扰动初始化。\n- 合成交互数据含椭球、圆柱、长方体三组抓取序列，每组116个多帧、每多帧8帧；另有400个多帧的孤立手序列，用于检验无对象特例。\n- 误差指标是五个指尖和掌心估计位置相对真值的平均欧氏距离；2视角收敛后HOPE约25mm、PEHI约55mm，8视角下PEHI误差仍为HOPE两倍以上。\n- 视角实验表明遮挡与物理约束比增加相机更有价值，HOPE用3个视角取得的结果已优于PEHI用8个视角的结果。\n- 合成数据中物体平均位置误差为3mm、平均朝向误差为2度，圆柱半径和高度、椭球轴长以及长方体尺寸估计均接近真值。\n- 真实数据由8台标定Flea2相机采集，核心处理在以上一帧解为中心的256×256窗口进行；严重遮挡下PEHI丢失跟踪而HOPE仍稳定，椭球假设在98.67%多帧中最优。\n- GPU实现以40代、64粒子运行时，单视图和8视图分别耗时0.31秒和2.19秒，4相机在线版本约2fps；方法假定物体不呈皮肤色，且复杂参数模型受维度增加限制。"
}