{
  "paper_id": "9766cee3ab1d37e16b6e2774f5e9c1d5",
  "paper_title": "Affordance-Guided Diffusion Prior for 3D Hand Reconstruction",
  "paper_authors": [
    "Naru Suzuki",
    "Takehiko Ohkawa",
    "Tatsuro Banno",
    "Jihyun Lee",
    "Ryosuke Furuta",
    "Yoichi Sato"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2026 (Lecture Notes in Computer Science)",
  "abstract": "针对单张RGB图像中手部被自身或物体严重遮挡时3D手部姿态难以推断的问题，本文提出一种由可供性感知的手物交互文本描述引导的生成先验。该方法使用基于扩散的生成模型，学习以供能性描述和图像特征为条件的合理手部姿态分布。可供性描述借助视觉语言模型推理和抓取分类来表征手物交互的语义意图与几何结构，并用于将手部重建中的初始3D姿态预测细化为更准确、功能更一致的估计。实验表明，在HOGraspNet和HO3D等3D手部可供性数据集上，该方法相较手部重建基础模型和最新3D手扩散先验均能显著提升3D手部姿态估计性能。\n",
  "keywords": [
    "3D手部重建",
    "可供性",
    "扩散先验",
    "手物交互",
    "遮挡感知",
    "姿态细化",
    "视觉语言模型",
    "MANO"
  ],
  "paper_institutions": [
    "The University of Tokyo",
    "KAIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:35:01.876853Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单张RGB图像中手部受到严重自遮挡或物体遮挡时如何推断可信3D手部姿态；已有方法主要使用时间接触状态、短交互标题、动作标签或意图标签等粗粒度上下文，HaMeR、WiLoR和Hamba等模型虽能较好对齐可见2D证据，但在深度歧义、高自由度关节和被遮挡关节上仍不稳定。论文提出AffHandGen，一个以供能性文本和RGB图像为条件的手部姿态扩散先验：先用Qwen2.5-VL从图像和手物框中提取物体类别、形状、尺寸、交互动作与意图，再用在HOGraspNet上单独训练的ViT、MANO姿态特征、自注意力和MLP抓取分类器补充分类法标签，最后由Mistral-7B总结为完整描述；扩散模型以MANO姿态参数x0=θ∈R^(15×3)为目标，通过DistilBERT和ViT分别产生64个文本标记与192个图像标记，并以Transformer解码器交叉关注姿态、文本和图像标记，其核心扩散机制为x_t:=sqrt(alpha_bar_t)x0+sqrt(1-alpha_bar_t)ε，其中ε服从标准正态分布。训练采用姿态参数、MANO网格顶点和3D关节的L2损失，权重分别为1、10000和10000，并以0.1概率随机丢弃文本或图像条件；模型在512隐层维度、4个注意力头、批量64、学习率1e-3、80个epoch、T=1000和余弦噪声调度下训练。推理时从WiLoR或Hamba的初始预测出发，根据遮挡关节数自适应选择中间扩散步并稀疏采样：HOGraspNet使用λ2d=0.005、n=[^100] [^1000]、m=20，HO3D因初始预测更可靠使用λ2d=0.5、n=[^10] [^20]、m=3；自遮挡通过从关节向相机投射射线并统计与手部网格交点检测，物体遮挡通过SAM2手部掩码与投影2D关节比较检测，2D重投影损失只作用于可见关节，从而让先验主要修正不确定关节。实验选择HOGraspNet是因为它提供RGB、3D资产和完整抓取分类法，采用其中28类抓取并每10帧重采样得到11.9万训练图和3千评估图；HO3D用于跨数据验证，得到6.5万训练图和1千评估图，缺失抓取标签由分类器赋予伪标签；HInt用于无约束烹饪场景的野外2D评估。评价指标包括PA-MPJPE、PA-MPVPE、F@5、F@15、PCK@5/10/15以及低、中、高遮挡分层。在HOGraspNet上，该方法将WiLoR的平均PA-MPJPE从8.22 mm降至7.53 mm，高遮挡子集从12.41 mm降至9.37 mm，即降低3.04 mm、约24%，并将Hamba从8.46 mm细化至7.85 mm；在HO3D上，WiLoR细化至7.37 mm，Hamba细化至最佳7.29 mm，说明增益不依赖单一初始估计器。消融显示完整可供性文本加图像条件最佳，去掉抓取分类法会使误差升至7.71 mm，移除2D引导升至7.65 mm，改用CLIP全局编码则大幅降至11.36 mm，预测抓取与真实抓取的结果仅差0.02 mm；论文还报告AffHandGen每样本约8个扩散步、7.94 GFLOPs和48.6 fps。该技术适用于VR/AR、机器人灵巧操作和第一视角烹饪分析，但在训练分布外的罕见抓取、稀有可供性、伪标签错误或VLM描述不可靠时收益有限；未来可显式建模3D物体几何、扩展到双手和视频时序交互。\n\n### 关键要点\n\n- 论文首次将可供性感知的细粒度文本描述引入单图3D手部重建，用物体属性、交互意图和抓取类型共同约束姿态。\n- 可供性描述采用分治流程：Qwen2.5-VL提取五类结构化要素，专用分类器预测抓取分类法，Mistral-7B将其总结为一句连贯描述。\n- 抓取分类器结合ViT视觉特征和HaMeR提供的MANO姿态特征，经自注意力与MLP分类，在HOGraspNet评估集上达到87.6%准确率。\n- AffHandGen在MANO姿态参数空间进行扩散建模，使用DistilBERT文本标记和ViT图像标记，并通过交叉注意力保留空间与语义粒度。\n- 细化阶段只对可见关节施加2D重投影约束，遮挡关节则由可供性扩散先验修正，避免不可靠2D观测误导生成。\n- 自遮挡通过关节到相机的射线投射与手部网格交点判断，物体遮挡通过比较投影关节位置和SAM2手部掩码判断。\n- HOGraspNet每10帧重采样后包含11.9万训练图和3千评估图，HO3D包含6.5万训练图和1千评估图，HO3D的抓取类型由训练好的分类器生成伪标签。\n- 在HOGraspNet高遮挡子集上，方法将WiLoR的PA-MPJPE从12.41 mm降至9.37 mm，平均误差从8.22 mm降至7.53 mm。\n- 在HO3D上，方法可将Hamba从7.42 mm细化至7.29 mm，并将WiLoR从7.43 mm细化至7.37 mm，证明其适用于不同基础估计器。\n- HInt野外评估显示，该先验在New Days、VISOR和Ego4D三个拆分的遮挡关节上均改善WiLoR，并在多数拆分上改善HaMeR。\n- 消融表明抓取分类法贡献最大，CLIP全局嵌入因缺少手部专用空间粒度而使误差恶化到11.36 mm，2D引导和任务专用编码器均不可缺少。\n- 方法当前聚焦静态单手重建，尚未显式使用3D物体几何，且对分布外罕见抓取和描述错误较敏感，扩展到3D物体建模与时序视频是主要方向。"
}