{
  "paper_id": "652d5daa6a71274ee07378897a9d4a06",
  "paper_title": "DexAvatar: 3D Sign Language Reconstruction with Hand and Body Pose Priors",
  "paper_authors": [
    "Kaustubh Kundu",
    "Hrishav Bakul Barua",
    "Lucy Robertson-Bell",
    "Zhixi Cai",
    "Kalin Stefanov"
  ],
  "publication_date": "2025",
  "publication_venue": "2026 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "手语生成领域的趋势集中在数据驱动的生成方法上，这类方法需要海量精确的2D与3D人体姿态数据才能达到可接受的生成质量。然而，目前大多数手语数据集基于视频，仅限于自动重建的2D人体姿态（即关键点），缺乏准确的3D信息。此外，现有的从手语视频自动进行3D人体姿态估计的最先进方法容易受到自遮挡、噪声和运动模糊效应的影响，导致重建质量较差。为此，我们提出DexAvatar，一个新颖的框架，在学习到的3D手部与身体先验引导下，从野外单目手语视频中重建生物力学精确的细粒度手部关节与身体运动。DexAvatar在SGNify动作捕捉数据集（该任务唯一可用的基准）上取得强劲性能，在身体与手部姿态估计上较现有技术提升35.11%。本工作的官方网站为：https://github.com/kaustesseract/DexAvatar。",
  "keywords": [
    "手语重建",
    "3D人体姿态估计",
    "手部姿态先验",
    "身体姿态先验",
    "SMPL-X",
    "变分自编码器",
    "生物力学约束",
    "单目视频重建",
    "动作捕捉"
  ],
  "paper_institutions": [
    "Monash University",
    "TCS Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:24.050545Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n手语是约4.66亿聋人与听障人士的主要沟通方式，其语义高度依赖精确的手形、朝向与上身动作，但现有手语数据集大多仅提供视频与自动重建的2D关键点，缺乏准确3D信息，而现有单目3D人体姿态估计方法在手语视频上又易受快速复杂的手部关节运动、手-手/手-身交互引发的自遮挡及运动模糊影响，重建质量不佳；已有工作（如SGNify、Neural Sign Actors、EVA）依赖通用姿态检测器与通用先验（如VPoser），存在域偏移、深度歧义与过度正则化问题。为此，本文提出DexAvatar，一个基于优化的框架，在学习到的3D手部与身体先验引导下从野外单目手语视频重建生物力学精确的细粒度手部关节与身体运动：其核心机制是在SMPLify-X目标函数基础上，将通用VPoser先验替换为手语感知先验并扩展为 L = L_joint + λ1·L_bprior + λ2·L_hprior + λ3·L_pen + λ4·L_temp + λ5·L_bbiomech + λ6·L_hbiomech，其中SignBPoser（身体先验）基于SignAvatars发布的How2Sign 3D数据子集训练、SignHPoser（手部先验）基于自采的Vicon九相机加Manus手套动作捕捉数据（8名手语者逐字母拼写93个单词）训练，两者均为VAE架构，学习保留音位学有意义变体、抑制解剖学不可行姿态的紧凑潜在空间，且训练前均用生物力学约束（身体关节活动范围与手语者空间、手部15关节的弯曲/张开/扭转限制）过滤或校正噪声数据。实验在SGNify动作捕捉数据集（该任务唯一基准，57个德语手语词、共2872个中心帧）上以TR-V2V（骨盆以上顶点）为指标评估，DexAvatar在上身（不含脸）、左手、右手分别达到30.13mm、13.53mm、13.08mm，上身较此前最优的EVA*提升35.11%，左右手较Neural Sign Actors分别提升16.32%和14.11%，消融实验进一步证明生物力学数据过滤（BP_f较BP_u上身误差降10.6%）与手部数据校正（HP_f较HP_u右手误差降6.2%）的有效性；实现上采用PyTorch与LBFGS优化，先验VAE为3层线性编码器-解码器（嵌入512维），Adam学习率1e-3，运行于NVIDIA RTX 4090（24GB显存）。未来工作将扩大训练数据规模并强化先验以覆盖更广泛的手语者与手语风格；该方法可为手语生成、虚拟手语主播与无障碍沟通等真实场景提供精确3D姿态，但依赖现成检测器（SMPLerX、HaMeR、Sapiens）的伪真值初始化，优化式方法计算开销较大，且评估仅限德语手语数据，真实应用中仍需应对运动模糊、噪声与自遮挡等约束。\n\n### 关键要点\n\n- DexAvatar是基于优化的框架，从单目手语视频中重建生物力学精确的3D手部与身体姿态，采用SMPL-X参数化模型统一表示手势、面部表情与上身运动。\n- 提出两个手语感知姿态先验：SignHPoser（手部）与SignBPoser（身体），均为VAE架构，学习紧凑潜在空间以保留音位学上有意义的变体并抑制解剖学不可行的姿态。\n- SignHPoser的训练数据为自采动作捕捉数据：Vicon九相机系统加Manus手套追踪手指，8名手语者（6名Auslan、2名ASL）逐字母拼写93个单词，并在Blender中重定向到SMPL-X骨架。\n- SignBPoser基于SignAvatars发布的How2Sign 3D数据子集训练；由于该数据为伪真值，训练前用生物力学约束（关节活动范围与手语者空间）过滤不可行帧。\n- 优化目标保留SMPLify-X的关节重投影损失与穿透惩罚，将通用VPoser替换为SignBPoser/SignHPoser作为可微正则项，并新增时间一致性项与手/身生物力学惩罚。\n- 针对手语特性：单手手语时Hand Decision Maker禁用非主导手臂与手的优化（关键点置信度权重置零），下身关节同样排除在优化之外以提升稳定性。\n- 评估在SGNify动作捕捉数据集上进行（57个德语手语词、共2872个中心帧），使用TR-V2V指标（限骨盆以上顶点），报告上身（不含脸）、左手、右手三个区域。\n- 定量结果：DexAvatar在上身（不含脸）、左手、右手分别达30.13mm、13.53mm、13.08mm，上身较EVA*提升35.11%，左右手较Neural Sign Actors分别提升16.32%与14.11%，全面优于FrankMoCap、PIXIE、PyMAF-X、SMPLify-SL、SGNify、OSX等基线。\n- 消融实验表明：生物力学过滤的身体数据（BP_f）较未过滤（BP_u）上身误差降低10.6%；手部校正数据（HP_f）较未校正（HP_u）右手误差降低6.2%，验证了数据预处理的有效性。\n- 实现细节：PyTorch实现、LBFGS优化，运行于NVIDIA RTX 4090（24GB显存、64GB内存）；先验VAE为3层线性编码器-解码器（嵌入512维），训练用Adam优化器、学习率1e-3。\n- 定性结果显示，在Sonne、BesuchenEinmischen（含手-身交互）、Muell等手语上，DexAvatar能保持手腕与手指方向的准确与结构一致性，而PIXIE、OSX、EVA*等基线常出现错位或不自然姿态。\n- 约束与局限：依赖现成检测器（SMPLerX、HaMeR、Sapiens）提供伪真值初始化，优化式方法计算开销高于回归式方法，评估仅限德语手语数据集，未来需扩大数据规模以覆盖更多手语者与手语风格。"
}