{
  "paper_id": "fa3f79a9c10ab51ca0cd58f23210848f",
  "paper_title": "CLUTCH: Contextualized Language Model for Unlocking Text-Conditioned Hand Motion Modelling in the Wild",
  "paper_authors": [
    "Balamurugan Thambiraja",
    "Omid Taheri",
    "Radek Danecek",
    "Giorgio Becherini",
    "Gerard Pons-Moll",
    "Justus Thies"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "针对自然手部动作建模长期受限于棚拍数据集、动作与语境单一且难以扩展到真实场景，以及现有模型难以兼顾文本—动作对齐和动画保真度的问题，本文提出包含约3.2万个3D手部动作序列及对齐文本的3D Hands in the Wild（3D-HIW）数据集，并提出基于大语言模型的手部动画系统CLUTCH。数据构建通过视觉语言模型、并行思维链提示、闭词表 grounding、3D手部跟踪器与多种滤波校验实现。CLUTCH包含两项关键设计：一是将手部轨迹与姿态、左手与右手分解编码的SHIFT VQ-VAE分词器；二是在LLM微调中利用Gumbel-Softmax采样并在解码后的手部动作参数上施加重建损失的几何精炼阶段。实验在文本生成动作和动作生成文本任务上均达到当前最优水平，并为可扩展的野外手部动作建模建立了首个基准。\n",
  "keywords": [
    "文本生成手部动作",
    "手部动作字幕",
    "3D-HIW",
    "CLUTCH",
    "SHIFT",
    "VQ-VAE",
    "大语言模型",
    "几何精炼",
    "第一视角视频",
    "MANO"
  ],
  "paper_institutions": [
    "Technical University of Darmstadt, Germany",
    "Max-Planck Institute for Intelligent Systems, Tuebingen, Germany",
    "University of Tuebingen, Germany",
    "Tubingen AI Center, Germany",
    "Max Planck Institute for Informatics, Saarland Informatics Campus, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:26.790645Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现有全身动作、手势和手物交互研究多依赖GRAB、ARCTIC、H2O等动作捕捉棚拍数据集，这些数据采集成本高、动作和语境范围窄，难以覆盖真实第一视角场景中的多动作、双手协调和自然变化，而直接复用HOIGPT、MotionGPT等方法又会受到运动分词器泛化不足以及交叉熵令牌准确率不等于几何动画质量的限制。为此，本文提出自动数据标注管线和3D-HIW数据集，并构建基于LLM的CLUTCH系统，统一支持文本生成手部动作与手部动作字幕。3D-HIW基于Ego4D和EgoVid5M中的第一视角视频，使用HaWor重建全局坐标下的3D MANO手部动作，以VILA执行并行思维链提示，将手部角色、动作—对象关系、状态变化和意图等原子问题分解推理，再由Claude汇总，随后通过从叙述中挖掘的闭词表进行细粒度 grounding，并经额外VLM验证、LOF异常过滤、双手可见性约束、Savitzky-Golay与高斯平滑以及加速度突变过滤来提升文本和运动质量；该数据集包含约3.2万个配对序列、5000分钟、1200万个手部姿态、1355个对象和1045个动词，规模约为GRAB或ARCTIC的10倍、Gigahands的2倍，选择这些真实视频是为了检验模型在多样化、非脚本日常场景中的可扩展性和泛化性。CLUTCH先用SHIFT将每只手的轨迹τ和姿态θ分别用独立VQ-VAE编码，并在编码与解码中分离左右手，在8倍时间压缩下生成离散令牌；其训练采用两个各含4096个码本条目、隐维度64的VQ-VAE，分词器训练200个epoch，主干为2.2亿参数Flan-T5-Base，并按预训练300、几何精炼50、指令微调200个epoch及相应学习率配置，在4张80GB A100上完成，数据按非重叠80%/10%/10%划分为2.6万、3千和3千序列以避免泄漏。其核心机制是在常规下一令牌语言模型损失之外，将LLM输出的运动logit切片后经Gumbel-Softmax形成可微分类别表示，再由SHIFT解码器还原为连续手部动作，并以目标函数L = αL_LM + λL_rec联合优化，其中L_rec直接约束解码后的MANO参数，α与λ取0.5时在语义对齐和几何保真之间取得最佳平衡。实验使用RP3、MMD、KID、Diversity、Multimodality评估文本生成动作，使用BLEU1、BLEU4、ROUGE-L和RP3评估动作生成文本，并以MPJPE、PA-MPJPE、ACCEL评估重建；CLUTCH在T2M上取得RP3 0.721、MMD 1.765、KID 0.216，在M2T上取得RP3 0.571、BLEU4 0.181、BLEU1 0.420、ROUGE-L 0.472，标注GPT-Score达到6.9，SHIFT将MPJPE降至45.944、ACCEL降至5.395，这些结果共同支持部件—模态分解分词和几何精炼对对齐、重建、抗抖动和双手协调的提升。该方法可服务于AR/VR、机器人、人机协作、行为AI和具身虚拟人等场景，但当前主要建模双手本身而未显式建模手物交互，且受野外遮挡、跟踪失败、重建噪声和重叠动作时序分割限制；未来可结合受控棚拍数据、增强细粒度表现力、改进重叠动作的时间分段并扩展到手物交互。\n\n### 关键要点\n\n- 3D-HIW是基于Ego4D与EgoVid5M构建的野外3D手部动作—文本数据集，包含约3.2万个序列、5000分钟、1200万个MANO手部姿态、1355个对象和1045个动词。\n- 文本标注先通过VILA执行并行思维链提示，分别询问手部角色、动作—对象关系、状态变化和意图，再由Claude汇总，随后用闭词表进行细粒度对象—动作 grounding。\n- 标注结果还会经过额外VLM验证、Local Outlier Factor异常过滤和人工风格的质量评估，完整管线的GPT-Score为6.9，高于LaVILA的4.9和EgoHOD的6.1。\n- 运动重建使用HaWor在全局坐标系中恢复3D手部动作，并要求双手在至少80%的帧中可见，再通过Savitzky-Golay滤波、高斯滤波和平移旋转加速度阈值剔除跟踪失败样本。\n- SHIFT分词器将轨迹与姿态分为不同模态，并将左手与右手分开编码和解码；其码本配置为4096个条目、64维隐空间，时间压缩率为8。\n- CLUTCH将左手和右手的轨迹、姿态令牌按时间交错排列，加入<som>和<eom>边界标记，并在文本与运动共享词表中用自回归LLM统一完成T2M和M2T任务。\n- 几何精炼阶段从LLM logit中提取运动词表通道，经Gumbel-Softmax采样后由SHIFT解码器还原动作，并在连续运动空间施加MSE重建损失。\n- 与EgoLM在预训练中混合软插值回归损失不同，CLUTCH在预训练后单独进行几何对齐，避免平滑插值与交叉熵要求离散尖峰选择之间的目标冲突。\n- 在3D-HIW测试集上，CLUTCH的T2M结果为RP3 0.721、MMD 1.765、KID 0.216，整体优于HumanMDM、MotionGPT和T2M-GPT。\n- 在M2T任务上，CLUTCH取得RP3 0.571、BLEU4 0.181、BLEU1 0.420和ROUGE-L 0.472，显著优于TM2T和MotionGPT。\n- 用户研究中，自动标注评分4.244，接近人工标注的4.673；最终滤波后的运动重建评分4.133，明显高于未滤波版本的2.434。\n- 论文当前局限是未显式建模手物交互，且野外遮挡、跟踪噪声和重叠动作会影响质量，后续方向包括细粒度表情增强、时序动作分割以及融合受控数据集。"
}