{ "paper_id": "f23c43cb8baa255c4b99ab308384c9ce", "paper_title": "CLIP-Hand: CLIP-based regressor for hand pose estimation and mesh recovery", "paper_authors": [ "Feng Zhou", "Shuang Ji", "Pei Shen", "Ju Dai", "Junjun Pan", "Yu-kun Lai", "Paul L. Rosin" ], "publication_date": "2025-12-11", "publication_venue": "The Visual Computer (Springer-Verlag GmbH Germany, part of Springer Nature)", "abstract": "尽管3D手部姿态估计已取得显著进展，但自遮挡和复杂背景仍带来挑战。为解决这些问题，本文提出了一种基于CLIP的手部姿态估计与网格恢复回归器（CLIP-Hand），可从单张RGB图像进行估计。具体而言，本文提出了一种将高分辨率特征聚合与对比语言-图像预训练模型（CLIP）相结合的创新方法，通过语言引导的视觉提示增强特征表征。该方法利用多层Transformer编码器-解码器模块提高手部网格和关节点的预测精度。为提升性能，还提出了预定义3D关节模块和文本数据集来增强训练数据，并提高模型在不同场景下的泛化能力。在FreiHAND、RHD和Dexter+Object等数据集上的大量实验证明了该方法的有效性，与现有方法相比在准确性和鲁棒性方面均有提升。论文被接受后将发布源代码和数据。", "keywords": [ "Hand pose", "Mesh recovery", "CLIP", "Heatmap", "Human-computer interaction" ], "paper_institutions": [ "North China University of Technology", "Peng Cheng Laboratory", "Beihang University", "Cardiff University" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:43:30.724860Z", "template_tag": "simple", "summary": "### 摘要\n3D手部姿态估计因自遮挡与复杂背景而长期存在精度瓶颈：基于深度图的方法受相机量程与环境因素限制，基于RGB的方法虽灵活实时却在遮挡与低光照下精度下降，而METRO、FastMETRO等Transformer方法虽提升精度但计算开销大，且多数现有方法依赖纹理、颜色等低层视觉线索，在真实条件下易退化。为此，本文提出CLIP-Hand框架，从单张RGB图像同时完成手部姿态估计与网格恢复，由高分辨率特征聚合模块（HFA）、多尺度热图融合模块（MHF）、多层Transformer编码器-解码器融合注意力模块（MTED）与CLIP模块（CM）构成，并辅以预定义3D关节模块（PJ）增强泛化：HFA通过跨层上采样与拼接保留高分辨率特征，MHF经ResBlock学习顶点热图（195维）、关节热图（21维）与注意力图特征（512维）并生成(217, B, 512)查询向量，MTED以交叉注意力捕获关节与顶点间非局部关系并采用距离阈值7/5/3/1的渐进注意力掩码，CM将图像与文本特征融合后经对比学习监督全局表征，PJ则基于Light-HaGRID数据集训练的YOLOv5分类器（mAP@0.5为96.4%）与19个预定义手势模板提供语义与几何先验。模型由五项损失联合训练，总损失为 L_total = W_vert×L_vert + W_j3d×L_j3d + W_j2d×L_j2d + L_hp + W_con×L_con（权重依次为1000、1000、100、10），高权重几何项用于防止量级更大的对比损失造成语义主导。实验选用FreiHAND（真实绿幕数据，便于更换背景以验证背景鲁棒性）、RHD（合成数据，覆盖稀有姿态以检验泛化）与Dexter+Object（手-物交互序列，评估真实动态场景）三个数据集，在GeForce 4090上以AdamW优化器、批大小8、初始学习率1e-4训练120个epoch（每40个epoch学习率衰减10倍），并报告三次试验平均值以克服随机波动。结果表明，CLIP-Hand-cls-S24在FreiHAND上取得PA-MPJPE 6.3mm与F@15mm 0.984，优于METRO（6.8mm）与FastMETRO（6.5mm），同时模型仅76.3M参数、推理约41ms，兼具更高帧率与效率；在RHD与Dexter+Object上PCK@0.5 AUC分别达0.941与0.938，均超越对比方法；消融实验显示各模块逐级加入使PA-MPJPE从基线7.24mm降至6.32mm，验证了HFA、MHF、MTED、CM与PJ的贡献。作者还构建游戏交互场景验证实用性，并在实验室复杂背景与光照变化下测试分布外鲁棒性；当前方法尚未利用时序信息，且CLIP特征空间源自通用自然图像，在极端光照、严重遮挡或非常规手形下可能受限，未来工作将融入时序特征并拓展至增强现实、虚拟现实与机器人应用。\n\n### 关键要点\n- **方法核心**：CLIP-Hand从单张RGB图像同时进行3D手部姿态估计与网格恢复，将高分辨率特征聚合（HFA）与CLIP语言引导视觉提示相结合，以语义级表征替代易受遮挡与背景影响的低层视觉线索。\n- **MHF模块**：通过ResBlock从高分辨率特征学习顶点热图（195维）、关节热图（21维）与注意力图特征（512维），经Softmax后与转置注意力图特征矩阵相乘，生成(217, B, 512)查询向量输入MTED模块。\n- **MTED模块**：采用渐进式维度缩减的Transformer编码器-解码器架构，全局特征作为Key/Value，通过交叉注意力捕获关节与网格顶点间的非局部关系，并使用距离阈值7/5/3/1的四级渐进注意力掩码逐步聚焦相邻顶点的局部关系。\n- **CLIP模块**：将RGB图像与文本提示分别经图像/文本编码器提取特征后拼接为融合特征，通过对比学习损失（NT-Xent）监督全局特征表征，提升对遮挡、背景杂乱的鲁棒性与零样本泛化能力。\n- **PJ模块**：基于Light-HaGRID数据集（约12万张RGB图像、19类手势）训练YOLOv5分类器（验证集mAP@0.5达96.4%），19个预定义3D关节模板（21×3）作为Key/Value与预测关节Query经注意力机制自适应软融合，提供语义一致性与几何有效性。\n- **损失函数**：五项损失联合训练，L_total = 1000×L_vert + 1000×L_j3d + 100×L_j2d + L_hp + 10×L_con，几何项赋予高权重以防止量级（10^1–10^2）远大于几何损失（低于10^-4）的对比损失造成语义主导。\n- **数据集选择**：FreiHAND（130,240张训练图、绿幕背景便于更换背景）验证背景鲁棒性；RHD（43,986帧合成数据、覆盖稀有姿态）检验泛化能力；Dexter+Object（3,014帧手-物交互序列）评估真实动态交互场景。\n- **文本数据构造**：以“an image of a hand on a {color} background in a gesture that means {class}”模板生成图文对，将背景颜色与19类手势语义（如peace、fist、OK、palm）结合以丰富CLIP编码的语义信息。\n- **实现设置**：采用AdamW优化器、批大小8、GeForce 4090 GPU、初始学习率1e-4，训练120个epoch且每40个epoch学习率衰减10倍；因随机种子下性能仍有波动，报告三次试验的平均结果。\n- **FreiHAND结果**：CLIP-Hand-cls-S24取得PA-MPJPE 6.3mm、F@15mm 0.984、FPS 30.20、参数量40.20M，精度优于METRO（6.8mm、183.80M）与FastMETRO（6.5mm、133.90M），且推理约41ms更快更高效。\n- **其他数据集结果**：在RHD与Dexter+Object上PCK@0.5 AUC分别达0.941与0.938，超越Baek（0.926/0.650）、Zhang（0.901/0.825）、Cui-GCN（0.933/0.77）等对比方法。\n- **消融与应用约束**：各模块逐级加入使PA-MPJPE从7.24mm降至6.32mm、F@15mm从0.978升至0.984；模型在实验室复杂背景与光照变化下保持性能并适用于实时HCI/VR/AR游戏交互，但尚未利用时序信息，CLIP特征在极端光照或非常规手形下可能受限，未来将融入时序特征并拓展机器人等应用。" }