{
  "paper_id": "f3ea32ffed9806b9967a53ccc88d8ce4",
  "paper_title": "基于Swin Transformer与CNN的手势三维姿态估计方法",
  "paper_authors": [
    "Rong Dang",
    "Gang Feng"
  ],
  "publication_date": "2026-03-02",
  "publication_venue": "unknown",
  "abstract": "现有手势姿态估计方法普遍存在手部特征提取方式单一、忽略关节间长程拓扑关系等局限，从而限制了预测精度。针对这些问题，本研究提出一种以深度图像为输入的手势姿态估计方法。首先利用卷积网络提取粗略手势特征，同时由Swin Transformer模块通过空间信息捕捉关节间拓扑关系和全局特征。采用U形网络分层处理特征，保留不同分辨率下的局部关节信息，并将其与全局特征融合。引入二维高斯热图表示关键点分布，增强网络对目标特征回归的监督。后端网络输出最终关键点坐标。研究在新构建的数据集上进行评估，平均平方误差较基线模型降低7.012–4.776 mm。实验结果表明，与当前主流姿态估计网络相比，所提方法具有更优性能。\n",
  "keywords": [
    "三维手势姿态估计",
    "深度图像",
    "Swin Transformer",
    "卷积神经网络",
    "U形网络",
    "二维高斯热图",
    "关节拓扑关系",
    "人机交互"
  ],
  "paper_institutions": [
    "天津大学建筑学院",
    "中国建筑工程设计研究院有限公司"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:33.629404Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有手势姿态估计方法手部特征提取单一、忽略关节间长程拓扑关系、多尺度全局与局部信息融合不足而限制三维坐标预测精度的问题，本文面向VR/AR、智能座舱、手语识别和远程协作等自然人机交互场景，提出一种以手部深度图像为输入、融合CNN与Swin Transformer的三维手势姿态估计方法。该方法先通过7×7卷积、池化和瓶颈残差模块提取粗略手势特征，再经双分支并行处理：Swin Transformer编码器利用W-MSA与移位2像素的SW-MSA、四个阶段和patch merging建模非相邻关节间的长程空间依赖，U形编解码网络通过逐级下采样/上采样、跳跃连接和瓶颈残差聚合四种分辨率的局部关节特征；双分支特征融合后，引入以关节位置为中心的二维高斯热图H_n(u,v)=exp[-((u-u_n)²+(v-v_n)²)/(2σ²)]监督并校正特征，该精化过程重复两次，最终由后端输出三维关节坐标，训练目标由热图回归均方误差与关节坐标回归均方误差按L=αL_ht+L_j加权。实验整合MSRA数据集（76,375张深度图、9名受试者、21个三维关节标注）和用CS30固态激光雷达采集的8类手势、21关节标注自建数据，后者用于补充远距离与小目标样本；在Ubuntu 16.04、RTX 3080、PyTorch 1.7.1/CUDA 10.2、Adam、初始学习率0.001、动量0.9、批大小64、训练300轮、σ=2、α=1的设置下验证。以MPJPE和0–80 mm PCK评价，本文方法平均关节误差为7.021 mm、帧率为38 fps，较DeepModel、REN、DeepPrior++、PoseREN、DenseReg分别降低1.655、0.638、0.871、1.605、0.206 mm，较DenseReg约降低2.9%，并在15–80 mm阈值范围保持显著PCK优势；消融实验中全模型由基线15.698 mm降至10.922 mm，证明全局拓扑、多分辨率局部聚合和高斯热图监督均有效。可视化显示其对部分遮挡、光照不足和严重自遮挡具有鲁棒性，但方法目前主要适用于单手场景，在手物交互和严重遮挡复杂环境中仍受限，未来将提升交互手势、手物遮挡下的鲁棒性与实时适应能力。\n\n### 关键要点\n\n- 方法输入为手部区域深度图，前端CNN使用7×7卷积、池化单元和瓶颈残差模块获得粗略手势特征。\n- 粗略特征并行送入U-Net分支和Swin Transformer分支，二者输出融合后由高斯热图监督校正，该流程重复两次后输出三维关节坐标。\n- Swin模块对48×48特征图按4×4窗口划分，先执行W-MSA，再执行x、y方向各移位2像素的SW-MSA，并通过四个阶段和patch merging形成多尺度全局表示。\n- 窗口注意力把自注意力限制在局部窗口内以降低计算量，移位窗口使相邻层窗口产生重叠，从而实现跨窗口信息交换和长程关节依赖建模。\n- U形网络自上而下每次将分辨率减半、通道加倍，自下而上用双线性插值上采样并通过跳跃连接融合同分辨率低层特征，最终聚合四种分辨率特征。\n- B-RES采用1×1、3×3、1×1卷积构成瓶颈结构，可减少参数量、缓解梯度消失并增强多尺度手势特征传递。\n- 热图模块经1×1卷积将通道增至256，再经3×3卷积输出24×24、通道数等于关键点数的高斯热图，峰值位置表示关节并保留关节拓扑。\n- 训练损失包含真值与预测高斯热图的均方误差L_ht以及三维关节坐标均方误差L_j，总体损失为L=αL_ht+L_j，实验中α=1。\n- 实验数据由MSRA和自建激光雷达数据构成：MSRA含76,375张深度图和21个三维关节标注，自建CS30数据覆盖8类手势并补充远距离、小目标样本。\n- 实验在Ubuntu 16.04、RTX 3080、PyTorch 1.7.1、CUDA 10.2上完成，采用Adam优化器、初始学习率0.001、批大小64和300个训练轮次。\n- 对比实验中本文方法MPJPE为7.021 mm、帧率为38 fps，误差低于五种主流基线；PCK在15–80 mm实际阈值区间持续领先，但0–15 mm极低误差区间个别基线略有优势。\n- 消融实验从基线15.698 mm降至全模型10.922 mm，表明全局特征、多分辨率局部特征和热图监督模块均有贡献；当前限制主要在手物交互与严重遮挡场景。"
}