{
  "paper_id": "80a26be0ce45a763024f9dcb13e19fab",
  "paper_title": "HySUP-V: Quality-Aware 3D Vietnamese Sign Language Reconstruction with Anchor-Guided Kinematic Fusion",
  "paper_authors": [
    "Quang Nguyen Viet",
    "Diep Nguyen Hoang",
    "Hai-Anh Bui-Vu",
    "Le Cong Thuong",
    "Thanh Ha Le"
  ],
  "publication_date": "2025",
  "publication_venue": "2025 RIVF International Conference on Computing and Communication Technologies (RIVF)",
  "abstract": "Reconstructing expressive 3D signing motion from in-the-wild monocular video remains difficult due to motion blur, compression artifacts, frequent hand and face occlusions. These degradations make standard pipelines temporally unstable and prone to losing fine articulator detail. We introduce HySUP-V, a reliability-aware framework that assesses and manages visual evidence quality across sequences. In Stage I (EQA), we score part-level image quality to select high-fidelity anchor frames as references. In Stage II (AKF), we enforce shape consistency by fusing specialized hand (MANO) and face (FLAME) estimates into a unified SMPL-X model and use geodesic pose transport to bridge degraded frames. Applying HySUP-V, we curate VSL-3D, a public dataset of 1,540 Vietnamese Sign Language clips with expressive SMPL-X parameters. Human evaluations yield a Mean Opinion Score of 3.47/5, plausible reconstructions with strong semantic preservation and hand accuracy, while highlighting remaining challenges in facial detail and motion naturalness.",
  "keywords": [
    "sign language",
    "3D human reconstruction",
    "SMPL-X",
    "FLAME",
    "hands",
    "IQA",
    "interpolation",
    "temporal smoothing"
  ],
  "paper_institutions": [
    "Faculty of Information Technology, University of Engineering and Technology, Hanoi, Vietnam"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:34.796517Z",
  "template_tag": "simple",
  "summary": "### 摘要\n从野外单目视频中重建富有表现力的三维手语动作面临运动模糊、压缩伪影以及手部与面部频繁遮挡等难题，导致标准重建流程在时间上不稳定且易丢失精细发音器官细节。相关研究中，整体式SMPL-X方法（如SMPLestX、SMPLer-X）虽提供统一的身体-手-脸参数化，但优化时偏重大身体区域而忽略手指与面部细节；专门模型MANO（手）与FLAME（脸）保真度更高却需谨慎融合以保持运动学一致性；且现有手语数据集多为2D视频语料，缺乏越南手语（VSL）的公开3D动作捕捉语料。为此，本文提出可靠性感知的两阶段框架HySUP-V：第一阶段证据质量评估（EQA）利用Sapiens分割与MUSIQ无参考图像质量评估对脸部、左右手逐帧打分并选取高保真锚帧；第二阶段锚引导运动学融合（AKF）以锚帧固定序列级形状参数，将HaMeR的MANO手部与Pixel3DMM的FLAME面部估计融合进SMPLestX主干构建的统一SMPL-X模型，并通过测地线姿态传输在SO(3)流形上以SLERP插值桥接退化帧，其核心机制为 R_j^ℓ(t) = SLERP(R_j^ℓ(t_a), R_j^ℓ(t_b); s)，其中 s = (t - t_a)/(t_b - t_a) 为归一化时间权重。该方法被应用于QIPEDC倡议下策划的VSL词典视频，构建了包含1,540个片段、带逐帧SMPL-X参数与质量标签的公开数据集VSL-3D，以验证其在真实低质量视频上的可扩展性、语义保真度与手部精度。人类主观评估（4名评估者、25个重建片段、5点李克特量表）显示总体平均意见分3.47/5，其中可理解性最高（3.94/5）、手势准确性3.39、动作自然度3.34、面部表情3.20，表明锚引导融合与测地线插值有效支持了语义保持与手部精度等创新点，但面部细节与自然度仍是短板；按VSL构词机制分类分析显示手指字母与数字类接近满分（4.86/5）而快速复杂动作类评分最低。未来工作将探索模糊自适应概率建模与语言先验的利用，以应对极端模糊与低光等现实约束，服务越南聋人社群的手语分析与无障碍应用场景。\n\n### 关键要点\n- HySUP-V是面向野外单目视频的可靠性感知两阶段三维手语重建框架，通过显式管理逐帧视觉证据的可变质量来应对运动模糊、压缩伪影与手脸遮挡导致的时间不稳定问题。\n- 第一阶段EQA利用Sapiens进行脸部与手部分割，并用MUSIQ无参考图像质量评估对每个部位逐帧打分，据此将序列划分为高保真锚集与退化集，身份与形状参数仅从锚集估计。\n- 共享可靠性门以各部位质量分数的最小值 s_t = min_ℓ q_t^ℓ 作为序列分数，丢弃每序列最低10%的帧后，在可靠集上分别选取脸部锚帧（脸部得分最高者）与手部锚帧（双手得分最小值最大者）。\n- 第二阶段AKF实施序列级形状一致性：从锚帧提取SMPL-X、MANO与FLAME形状参数并在全序列保持固定，而逐帧姿态与表情保持动态，从而抑制身份闪烁并提升时间稳定性。\n- 测地线姿态传输在SO(3)流形上对相邻锚帧间的退化帧进行关节旋转插值，核心公式为 R_j^ℓ(t) = SLERP(R_j^ℓ(t_a), R_j^ℓ(t_b); s)，s = (t - t_a)/(t_b - t_a)，在单位四元数空间实现并做符号修正以保证最短弧。\n- 手部融合通过固定变换 C_h 对齐坐标系，将HaMeR输出的全局旋转转换为SMPL-X运动学树中相对父关节的局部旋转，避免手腕脱位与手性错误等运动学不匹配。\n- 面部精细化通过最小化含下颌/眼睛地标Huber惩罚、瞳距一致性项及表情与旋转正则项的损失函数，将SMPL-X头部关节对齐到FLAME目标（权重如 λ_j = 2×10³、λ_e = 4×10³）。\n- 实现采用SMPLestX作为统一SMPL-X主干，融合HaMeR（MANO手部）与Pixel3DMM（FLAME面部）的高保真部位估计，构成完整的组件配置。\n- 作者发布VSL-3D数据集：将QIPEDC倡议下的1,540个越南手语词典视频处理为带逐帧SMPL-X参数与质量标签的完整3D动作序列，填补VSL缺乏公开3D语料的空白。\n- 人类评估由4名具基础手语知识的评估者对25个重建片段按5点李克特量表在四项准则上打分，总体均分3.47/5，可理解性最高（3.94±0.71），面部表达最低（3.20±0.76）。\n- 按VSL六种构词机制分类分析显示，手指字母与数字类（Type vi）接近满分（4.86/5），而直接指示（Type i）与派生（Type iv）等快速复杂动作评分最低，归因于运动模糊与遮挡。\n- 剩余挑战集中在极端模糊与低光条件下的面部细节与动作自然度，未来方向包括模糊自适应概率建模与利用语言先验。"
}