# CLUTCH：$\underline{\text{C}}$上下文 $\underline{\text{L}}$语言模型，用于 $\underline{\text{U}}$解锁 $\underline{\text{T}}$文本- $\underline{\text{C}}$条件化 $\underline{\text{H}}$手部动作在真实场景中的建模 Balamurugan Thambiraja $^{1,2}$、Omid Taheri $^{2}$、Radek Danecek $^{2}$、Giorgio Becherini $^{2}$、Gerard Pons-Moll $^{3,4,5}$ 以及 Justus Thies $^{1,2}$ 德国达姆施塔特工业大学 $^{1}$ 德国图宾根马克斯·普朗克智能系统研究所 $^{2}$ 德国图宾根大学 $^{3}$ 德国图宾根人工智能中心 $^{4}$ 德国萨尔兰信息学园区的马克斯·普朗克信息学研究所 $^{5}$ ## 摘要 手部在日常生活中扮演着核心角色，但自然手部运动的建模研究仍相对不足。现有针对文本到手部运动生成或手部动画字幕生成的方法，均依赖在实验室环境下采集的数据集，这类数据集包含的动作和场景有限，因此难以扩展到“野外”环境。此外，当前模型及其训练方案在捕捉动画保真度与文本-运动对齐方面也存在不足。为解决这些问题，我们（1）推出了“野外3D手部运动数据集”（3D-HIW），该数据集包含32K个3D手部运动序列及对应的对齐文本；（2）提出了基于大语言模型的CLUTCH手部动画系统，该系统有两项关键创新：（a）SHIFT，一种用于手部运动 token 化的新型VQ-VAE架构；（b）几何优化阶段，用于对大语言模型进行微调。为构建3D-HIW数据集，我们设计了一套数据标注流程，该流程结合了视觉-语言模型和最先进的3D手部追踪技术，并将其应用于涵盖多种场景的大量第一视角动作视频中。为了全面捕捉野外环境下的手部运动，CLUTCH采用了SHIFT——一种按模态分解的VQ-VAE，该技术能够提升模型的泛化能力和重建保真度。最后，为提高动画质量，我们引入了几何优化阶段，在该阶段中，CLUTCH会接受重建损失的协同监督，该损失直接作用于解码后的手部运动参数。实验结果表明，CLUTCH在文本到运动及运动到文本任务上均取得了业界领先的性能，由此确立了首个可扩展的野外手部运动建模基准。相关代码、数据和模型将会公开发布。 ## 1 引言 手部是我们日常体验的核心：我们用它书写、编织、演奏乐器，以及完成无数其他对我们而言轻而易举、但对生成模型而言却难以自然复现的动作。捕捉这种多样性不仅对自然运动生成至关重要，也是未来行为人工智能的基础——此类人工智能模型必须在AR/VR、机器人技术以及人机协作等交互场景中推断、预测并生成人类行为。尽管以往的研究已聚焦于全身运动、手势以及手-物体交互领域（Chen等人，2024；Jiang等人，2024；Liu等人，2024；Ng等人，2024；Huang等人，2025；Christen等人，2024；Cha等人，2024；Petrov等人，2025），但“野外”环境下的文本引导手部运动生成研究仍相对不足，其中与文本到手-物体交互方法最为相关。 手部运动模型（Huang等人，2025年；Zhou等人，2024年；Cha等人，2024年；Zhang等人，2025b）主要是在高质量的3D手部运动数据集上训练的，例如GRAB（Taheri等人，2020年）、ARCTIC（Fan等人，2023年）和H2O（Kwon等人，2021年），这些数据集都是在动作捕捉工作室中采集的。然而，采集此类数据集既耗时又昂贵，限制了其在多样化场景和动作中的应用扩展性。因此，当前的方法仅局限于有限的动作和意图集合，无法生成“自然场景下的”手部运动。为缓解这一数据限制，我们借鉴了以往的研究思路（Wang等人，2025年；Sklyarova等人，2023年），即利用视觉语言模型/大语言模型作为数据标注工具。 --- ![Image](images/eafc78b11b3b2338af689875c33ff2e64714364d997892319a1b6f2031300ffb.jpg)
Figure 1: CLUTCH is a novel LLM-based model that enables text-conditioned synthesis (left) and captioning of in-the-wild 3D hand motions (right).
具体而言，我们将3D手部追踪器（Zhang等人，2025a）与视觉语言模型（Wu等人，2024年）相结合，构建了一个包含32,000个序列的“自然场景下的”手部运动数据集；其规模约为GRAB和ARCTIC数据集的10倍，也几乎是近期发布的Gigahands（Fu等人，2025年）数据集的2倍。我们将该数据集命名为“自然场景下的3D手部运动”（3D-HIW）数据集，其中包含了钢琴演奏、食物准备等多动作片段，这类数据在以往的研究中鲜有涉及。 尽管视觉语言模型具备强大的视觉理解能力，但在生成描述时常常会出现虚构物体、动作或概念的情况（Wu等人，2025年）。为解决这一问题，我们提出了一种并行化思维链提示策略，该策略将复杂的推理提示拆解为多个原子提示，每个提示针对视频的特定方面。这些原子响应会先由摘要模块处理以生成初步标注，再进一步细化为更详细的标注。 与大多数现有的手部运动数据集（通常每个序列仅包含单一动作或交互）不同，自然场景下的手部运动更加多样且富有变化，往往在同一序列中包含多个动作。这就要求运动模型能够稳健地将手部运动与语言表征对齐。近期的方法如HOIGPT（Huang等人，2025年）和MotionGPT（Huang等人，2025年）尝试将预训练的大语言模型用于运动任务。但我们发现，直接将其应用于手部动画时效果并不理想，原因在于：（1）运动分词器的泛化能力不足；（2）大语言模型预测的运动存在几何精度问题。为此，我们推出了CLUTCH（用于解锁文本条件手部运动的上下文化语言模型），这是一种用于合成和描述自然场景下3D手部运动的新颖大语言模型（如图1所示）。在CLUTCH中，我们通过以下方式解决了上述局限：（1）设计全新的手部运动先验；（2）引入带有几何细化损失的新大语言模型微调阶段。 （1）运动先验。手部运动本质上是多模态的。若使用标准的单一VQ-VAE来处理双手运动，会导致手部运动重建质量较差（出现抖动或缺乏真实感）。在自然场景下观察到的手部运动多样性进一步凸显了这一问题。为解决此问题，我们提出了SHIFT（将手部结构分解为细粒度标记）方法。SHIFT使用独立的VQ-VAE来建模轨迹和姿态成分，同时在编码和解码过程中分离左右手。实验表明，即便在高压缩比下，这种处理方式也能实现更强的泛化能力和更精确的重建效果，相比标准VQ-VAE而言，它还能改善双手协调能力并减少抖动现象。 (2) 大语言模型微调。我们发现，使用交叉熵（CE）损失在标准的下一个词预测任务上对大语言模型进行微调，会导致动画保真度不佳。我们发现，词级准确率并不能保证高质量的动作合成（如 Hong 等人，2024 年的研究所示）。为了改善动作生成效果，需要在动作空间中引入额外的重建损失。在 CLUTCH 中，我们新增了一个新颖的几何优化阶段：该阶段将采样的词元解码为手部动作参数，并将重建损失直接应用于解码后的手部动作参数。这一过程引导大语言模型选择具有更高动画保真度的编码。凭借这些设计，CLUTCH 在野外手部动作合成与描述任务上取得了业界领先的性能；它甚至能生成动作捕捉数据中罕见的日常野外动作，比如弹钢琴（双手）、烹饪、书写、编织等，超越了实验室采集的数据范围。定量结果显示，CLUTCH 的性能优于 HumanMDM、MotionGPT 和 T2M-GPT 等近期的前沿方法。 我们的工作概览如图 2 所示。总体而言，我们的主要贡献如下： --- ![Image](images/9a3c01d8d8cf35ce64dfcfea73f1292f43e0ef81511b3faa28410a81440a0a9e.jpg)
Figure 2: Overview: CLUTCH is an LLM for synthesizing and captioning in-the-wild 3D hand motions. To train this model, we (i) generate an in-the-wild hand motion dataset (Section 3). We (ii) tokenize the hand motion using a novel decomposed VQ-VAE tokenizer (Section 4.1). We (iii) train the LLM to model both text and motion in a unified token space (Section 4.2).
(1) 一套数据获取流程，它将 3D 手部追踪器与由视觉-语言模型驱动的新型标注框架相结合，从而实现可扩展的野外 3D 手部动作数据整理。 (2) 利用这套流程，我们构建了“野外 3D 手部动作数据集”（3D-HIW），这是一个包含超过 32,000 个手部动作序列的大规模数据集，这些序列均采集自各类真实的日常第一视角视频。 (3) 我们提出了 SHIFT（Structuring Hands Into Fine-grained Tokens）分词器，用于建模野外手部动作。相较于以往研究中使用的分词器，SHIFT 能显著提升性能。 (4) 最后，我们提出了 CLUTCH——一种基于大语言模型的生成模型，可用于文本条件驱动的野外 3D 手部动作合成与描述；它为可扩展的野外手部动作建模树立了新标杆。 ## 2 相关工作 动作数据集/标注：现有的动作数据集为当前的人体建模方法奠定了基础。AMASS（Mahmood 等人，2019 年）将各类动作捕捉数据集整合为一个大规模人体动作数据集。而 GRAB、ARCTIC、H2O、DexYCB（Chao 等人，2021 年）以及 OakInk（Zhan 等人，2024 年；Yang 等人，2022 年）则提供了详细的 3D 手部-物体交互数据。最近，Gigahands（Fu 等人，2025 年）推出了一个包含 15,000 个手部动作序列的数据集，涵盖了多样的动作与物体类型。尽管这些数据集质量较高，但采集成本昂贵，且仅局限于受控的实验室环境，所能覆盖的动作范围也较为有限。相比之下，Ego4D（Grauman 等人，2022 年）和 EgoVid5M（Wang 等人，2024 年）等大规模第一视角数据集虽然记录了丰富的现实活动，却缺乏精确的 3D 手部重建数据与文字版动作描述。在第一视角视频描述领域，LaViLa（Zhao 等人，2023 年）、HOD（Pei 等人，2025 年）以及 EgoLM（Hong 等人，2024 年）等项目利用语言模型根据输入视频生成准确的动作描述。LaViLa 和 EgoLM 采用大语言模型生成详尽的叙述内容，而 HOD 则在原有叙述基础上，结合检测到的手部-物体轨迹，生成语义更丰富的描述。为了实现野外手部动作建模，我们以 Ego4D 为基础，构建了名为“野外 3D 手部动作数据集”（3D-HIW）的大规模 3D 手部动作数据集。为此，我们设计了两阶段的标注流程：首先通过并行思维链提示技术实现开放词汇推理，随后再用封闭词汇锚定技术对结果进行优化。 运动建模：运动生成领域的研究主要集中于全身动作和手势合成（Guo等人，2024年；Liu等人，2023年；Zhang等人，2023年；Jiang等人，2025年；Wang等人，2023年；Shafir等人，2023年；Xie等人，2023年；Karunratanakul等人，2023年；Zhang等人，2025c年；2023年；Athanasiou等人，2024年；Chi等人，2024年；Liu等人，2024年）。与此同时，也有研究聚焦于手-物体交互建模（Christen等人，2024年；Cha等人，2024年；Ghosh等人，2023年；Zhou等人，2022年；2024年），这些研究多基于GRAB（Taheri等人，2020年）或ARCTIC（Fan等人，2023年）等动作捕捉数据集。近期的研究如（Huang等人，2025年；Jiang等人，2024年；Chen等人，2024年；Li等人，2025a年）将运动标记视为类文本符号，从而能够利用预训练的大语言模型来合成运动。尽管前景广阔，但这些方法仍受限于小规模数据集，且其训练目标侧重于标记预测的准确性而非重建的保真度。EgoLM（Hong等人，2024年）通过在预训练阶段引入软线性混合回归损失来解决这一问题，从而提升了文本与运动之间的对齐程度。然而，此类回归目标与交叉熵存在冲突：混合机制鼓励平滑插值，而交叉熵则强制选择明确的标记，进而导致表示模糊且泛化能力受限。 --- ![Image](images/ec8db12807567ca2fe4f427d11b8b6c69941b36bb19fdfe33f01f38dc984b70d.jpg)
Figure 3: Data annotation pipeline: We generate motion-text pairs from egocentric videos using a novel automated annotation framework combined with a state-of-the-art hand tracker. Text annotations are produced by first applying Parallel Chain-of-Thought prompting for open-vocabulary reasoning, followed by a closed-vocabulary refinement stage.
我们的方法在预训练之后增加了几何对齐阶段，通过Gumbel-Softmax采样和重建损失引导大语言模型生成既符合语义又具备几何一致性的运动。 作为运动先验的VQ-VAE：VQ-VAE分词器会将运动离散化为类语言符号（Jiang等人，2024年；Guo等人，2022年），但单一码本无法捕捉多模态特性。后续研究采用了多个码本：用于手部/面部（Yi等人，2023年）、手-物体（Huang等人，2025年），或是分解后的身体部位（Chen等人，2024年）。(Wang等人，2025年)进一步探索了扩展容量的策略。我们在此基础上将运动轨迹和手部姿态拆分为独立的码本，并进一步区分左手和右手。这种方式能够实现更精细的控制，并在时间压缩条件下提升泛化能力，优于以往的单码本和多码本设计。相关研究的更详细内容详见第D节。 ## 3 野外3D手部运动数据集（3D-HIW） 为了实现野外环境下的手部运动建模，我们基于Ego4D（Grauman等人，2022年）和EgoVid5M（Wang等人，2024年）中的野外视频构建了一个大规模的3D手部运动数据集。我们提出了一种两阶段的基于视觉语言模型的文本标注流程以及运动重建管线。 ### 3.1 自动两阶段文本标注管线 为了从第一人称视角动作视频中生成文本描述，我们提出了一种基于VLM/LLM的自动化两阶段标注流程。我们选用VILA（Wu等人，2024年）作为视觉语言模型，因为它在视频-语言理解方面表现优异，且能够高效处理密集的帧级查询。从第一人称视频中生成可靠的标注颇具挑战性，因为模型需要同时推理手部运动、用户意图以及物体与场景之间的关系。为解决这些问题，我们设计了如图3所示的两阶段流程。在第一阶段（开放词汇高层标注）中，我们采用了并行思维链提示策略，将推理过程拆解为多个原子提示，分别聚焦于手部角色、动作-物体关系、状态转换和意图。随后，这些结果由摘要生成型LLM（Claude）汇总，以产出连贯的高层描述并减少幻觉现象。在第二阶段（封闭词汇细粒度标注）中，我们通过限制VLM从精心挑选的词汇表中选取合理的物体-动作配对来优化这些高层标注；这些词汇表源自EgoVid5M和Ego4D的叙述内容，并被组织成具有语义意义的簇。这种封闭词汇约束提高了标注的一致性，从而生成更精准的细粒度标注。我们在图5中展示了该方法为几个样本序列生成的标注结果。最后，我们通过额外的VLM校验生成的标注，并利用局部异常因子（LOF）过滤器剔除异常值。这些经过优化的标注将作为下游训练文本条件驱动的手部运动合成模型的监督信号。标注流程所用的提示词详见第C.3节。 --- ![Image](images/6bedd3fb0842018fc35610e6734c7e3bc8de500eecd02e4cf5a9e00e29f71bba.jpg)
Figure 4: Example of the two-stage annotation pipeline for an egocentric video (Figure 5).
![Image](images/0a0c108aee276aab28d3a775dedfbe8b606e6a03ada3a3b813fd7f6b766a2a42.jpg)
Figure 5: Examples of the generated annotation and motion reconstruction from egocentric videos using our data annotation pipeline. For better visulaization please see the SupMat video.
### 3.2 运动重建 为了从第一人称视频中提取3D手部运动重建结果，我们首先利用EgoVid5M数据集中的高层文本描述来识别包含人类活动的序列，尤其是那些涉及人与物体交互的场景。接着，我们将这些文本描述聚类为场景级别的活动类别（如手工制作、维修等），并从每个类别中采样序列以确保多样性——毕竟烹饪等类别的样本量过多。之后，我们对采样的视频运行手部关键点追踪器，仅保留双手在至少80%的帧中均可见的序列。我们使用HaWor（Zhang等人，2025a）将这些第一人称序列中的手部运动重建到全局坐标系下。为了减少重建运动中的噪声，我们先应用Savitzky-Golay滤波器（Savitzky & Golay，1964年），再使用高斯滤波器进行处理。最后，我们计算平移和旋转参数上排名前三的序列级加速度的平均值，以此识别并过滤掉那些运动突兀、过渡抖动、表明HaWor处理失败的样本。 ### 3.3 数据集分析 我们的“野外3D手部运动”（3D-HIW）数据集包含5000分钟的3D手部姿态及文本描述，涵盖了1355种物体和1045个动词。总体而言，3D-HIW包含1200万个用MANO参数表示的手部姿态。在图6中，我们比较了3D-HIW与动作捕捉数据集的前200条轨迹。虽然捕捉到的运动显得较为重复且面向前方，但野外场景中的运动在形状、终点位置和速度方面表现出更大的多样性。对前3000个多样化样本的轨迹和手部姿态进行t-SNE嵌入分析后进一步证实：3D-HIW的分布范围比GRAB或Gigahands更广，能够捕捉到更丰富的现实世界交互多样性。更多细节请参阅第C.1节。 ## 4 运动建模 为了模拟现实场景中的手部动作，我们首先利用分解后的VQ-VAE将动作空间离散化为若干标记。基于这一动作空间，我们训练一个大型语言模型，以便在统一的潜空间中建模文本和动作标记，从而实现从文本生成动作以及对手部动作进行描述。动作参数化：我们将手部动作表示为$\mathbf{M} = (\mathcal{H}_l, \mathcal{H}_r) \in \mathbb{R}^{D \times N}$，其中N代表动作中的总帧数，D表示动作维度，而$l/r$分别表示左手和右手。手部动作是通过MANO手部模型（Romero等人，2017年）进行参数化的，该模型表示为$\mathcal{H}_j = (\tau_j, \theta_j) \in \mathbb{R}^{D/2 \times N}$，其中$j \in \{l, r\}$、$\tau_j \in \mathbb{R}^{9 \times N}$代表手部动作的轨迹，包含6D的全局旋转和平移信息。$\theta_j \in \mathbb{R}^{90 \times N}$则表示手部姿态，涉及15个关节的6D旋转。 --- ![Image](images/73e26d87e6b2f1c9b196bb15ec716ee8a0d178fc054f91f0f6b7a96f0fc93a67.jpg)
Figure 6: Comparison of our 3D-HIW dataset with existing datasets (GRAB, Gigahands). Left: 2D trajectory density plots show that our dataset covers a broader spatial range with more diverse start–end distributions. Right: t-SNE embeddings of trajectories and hand poses further highlight that our data spans a significantly wider distribution, capturing natural variability.
### 4.1 将手部动作分解为细粒度标记（SHIFT） 传统的VQ-VAE模型难以捕捉“现实场景”中手部动作的多样性和复杂性，往往导致重建质量和泛化能力有限。为解决这一问题，我们引入了SHIFT分词器，它使用独立的VQ-VAE来分别建模轨迹和姿态成分，同时在编码和解码过程中将左右手分离。这一设计思路源于Huang等人（2025年）及Chen等人（2024年）的研究结果：将动作拆分为不同部分后，性能会有所提升。 ![Image](images/81a5e450a4801bf2fbd2688d3c33d30f7acda032794ae981511516edced94287.jpg)
Figure 7: SHIFT Tokenizer overview.
例如手部、面部和物体等部分的拆分就能带来更好的效果。我们的工作进一步扩展了这一思路，将动作分解为特定于模态的细粒度成分。实验表明，这种处理方式能够实现更强的泛化能力和更精确的重建效果（见表4），即便在高压缩比下也是如此（见图10）。手部动作通过轨迹$E_\tau$编码器和手部姿态$E_\theta$编码器被编码为$z_j \in \mathbb{R}^{d \times N/8}$和$y_j \in \mathbb{R}^{d \times N/8}$嵌入向量，其中d代表码本潜空间的维度。这些嵌入向量通过最近邻量化方式（van den Oord等人，2018年）被量化为$\hat{z}_j$和$\hat{y}_j$。输入序列的轨迹$\hat{\tau}_j$和手部姿态$\hat{\theta}_j$分别通过对应的解码器$D_\tau$和手部姿态$D_\theta$进行重建，最终得到重建后的动作$\hat{M} = (\hat{\tau}_j, \hat{\theta}_j)$。在训练过程中，编码器、解码器和码本会被同时优化，其损失函数如下： $$ \mathcal{L}_{V Q}=\mathcal{L}_{r e c}(M,\hat{M})+\sum_{x\in X}\left(\|\mathbf{s g}[x]-\hat{x}\|^{2}+\beta\|x-\mathbf{s g}[\hat{x}]\|^{2}\right),\quad X=\{z_{l},z_{r},y_{l},y_{r}\}, $$ 其中$\mathcal{L}_{rec}$是均方误差重建损失，sg表示用于计算码本损失的停止梯度操作，第三部分则是带有权衡参数$\beta$的“承诺”损失。 ### 4.2 用于手部动作建模的大型语言模型 借助这种按模态分解的分词器，手部动作序列$M_{1:N}$可以被映射为离散的轨迹和姿态标记$\mathbf{z}_{1:T} = \{z_t\}_{t=1}^T$与$\mathbf{y}_{1:T} = \{y_t\}_{t=1}^T$。我们将动作标记表示为索引序列$\mathbf{s}_{1:2T} = \{s_t\}_{t=1}^{2T}$、$s_t \in \mathbb{N}$，其中每个$s_t$都取自合并后的动作词汇表$V_m$，该词汇表由轨迹和姿态码本堆叠而成。经过分词后，动作序列表现为轨迹标记和姿态标记交替出现的流。实际上，每个动作标记都用特殊符号$\langle \text{motion\_token} \{i\} \rangle$来表示。为简便起见，我们将动作标记记为$\langle m \rangle$，文本标记记为$\langle t \rangle$。 例如，包含T个轨迹$\langle m^{(\tau)}\rangle$和姿态标记$\langle m^{(\theta)}\rangle$的序列可表示为： $$ \langle\mathrm{s o m}\rangle\;\langle m_{1}^{(\tau_{L})}\rangle\langle m_{1}^{(\theta_{L})}\rangle\langle m_{1}^{(\tau_{R})}\rangle\langle m_{1}^{(\theta_{R})}\rangle;\cdots;\langle m_{T}^{(\tau_{L})}\rangle\langle m_{T}^{(\theta_{L})}\rangle\langle m_{T}^{(\tau_{R})}\rangle\langle m_{T}^{(\theta_{R})}\rangle\;\langle\mathrm{e o m}\rangle. $$ 为了训练大语言模型，我们构建了一个统一的文本-动作空间$V = V_t \cup V_m$，其中$V_t$表示文本词汇表。我们还加入了额外的特殊标记，比如边界标记（如、），以便能够以一致的格式表示基于文本的动作任务。该模型能够以统一的方式处理文本转动作、动作转文本以及联合字幕生成任务。给定一个输入序列 --- $X_s = \{x_k^s\}_{k=1}^K, \; x_j^s \in V$，它会自回归地预测目标序列$X_t = \{x_i^t\}_{i=1}^L$、$x_i^t \in V$： $$ p_{\theta}(X_{t}\mid X_{s})=\prod_{i=0}^{L-1}p_{\theta}\big(x_{i}^{t}\mid x_{Table 1: Comparison of various methods on RPrecision, MMDist, KID Mean, Diversity, and MultiModality. Lower is better for all metrics except RPrecision and Diversity.
MethodRP3 $\uparrow$MMD $\downarrow$KID $\downarrow$Div $\rightarrow$MM $\uparrow$
Ground Truth0.667 $\pm$ 0.0041.903 $\pm$ 0.0053.964 $\pm$ 0.189
HumanMDM0.694 $\pm$ 0.0051.971 $\pm$ 0.0190.344 $\pm$ 0.023.824 $\pm$ 0.1771.748 $\pm$ 0.069
MotionGPT0.573 $\pm$ 0.0092.183 $\pm$ 0.0130.756 $\pm$ 0.033.642 $\pm$ 0.1192.015 $\pm$ 0.095
T2M-GPT0.683 $\pm$ 0.0051.976 $\pm$ 0.0110.431 $\pm$ 0.023.854 $\pm$ 0.1301.892 $\pm$ 0.085
Ours0.721 $\pm$ 0.0041.765 $\pm$ 0.0160.216 $\pm$ 0.023.865 $\pm$ 0.1241.984 $\pm$ 0.084
outputs. Both underperform compared to our full pipeline, validating the importance of structured multi-stage prompting for robust annotation quality. We study motion quality of the 3D-HiW dataset with respect to different data-cleaning steps in Section C.1.
Table 2: Motion-to-text captioning quantitative results.
MethodRP3 $\uparrow$B4 $\uparrow$B1 $\uparrow$RG $\uparrow$
GT0.668
TM2T0.3850.1220.3330.428
MotionGPT0.4070.1320.3450.439
Ours0.5710.1810.4200.472
Table 3: Evaluating text annotations using EgoHoD's GPT-Scores (0–10).
MethodGPT-Score $\uparrow$
LaVILA4.9 $\pm$ 0.3
EgoHOD6.1 $\pm$ 0.4
VILA-Naive5.5 $\pm$ 0.2
VILA-Stage16.4 $\pm$ 0.5
Ours6.9 $\pm$ 0.3
### 5.2 CLUTCH——文本到动作生成（T2M） 文本到动作任务旨在评估模型根据自然语言输入生成合理手部动作序列的能力。我们将CLUTCH与近期最先进的基线模型进行对比，包括MotionGPT（Jiang等人，2024年）、HumanMDM（Tevet等人，2023年）以及T2MGPT（Zhang等人，2023年）。为确保公平，所有模型均在我们的数据集上重新训练。结果见表1。在所有指标上，CLUTCH相较于其他竞争方法均有稳定提升，这表明其对语言和手部动作的统一建模比以往方法能实现更强的对齐效果。图8中的定性结果进一步凸显了CLUTCH根据同一文本描述生成多种多样且语义忠实的动作轨迹的能力。 ![Image](images/04587f41b8c0f20745f2c7c95d8d5b1b3750075c3640d3d53823c1db91a7e311.jpg)
Figure 8: Qualitative results for text-to-motion synthesis.
### 5.3 CLUTCH——动作到文本描述生成（M2T） 动作到文本描述生成任务涉及从真实场景中的新型3D手部动作生成文本描述。为此，我们将我们的方法与MotionGPT和TM2T（Guo等人，2022年）进行比较，相关指标见表2。从结果可以看出，我们的方法在所有指标上均显著优于基线方法。图9展示了动作描述生成的定性结果。 ### 5.4 消融实验 SHIFT分词器的有效性：我们将SHIFT与三种基线方法进行比较：MotionGPT使用的VQ-VAE、标准VQ-VAE，以及一种部分分解变体（PD VQ-VAE），后者在编码和解码过程中将左右手分离。如表4所示，我们的模型整体性能最佳，其MPJPE值最低（45.94），ACCEL值也最低（5.395），同时还能提升动作的多样性。此外，图10表明SHIFT在时间压缩方面的表现明显优于基线VQ-VAE，这使得大语言模型的训练只需较少的内存需求（仅需4块A100 GPU，而MotionGPT和HoiGPT分别需要64块Tesla V100和32块NVIDIA A100 GPU）。这些结果凸显了在基于VQ-VAE的动作建模中分解身体部位和模态的优势。更多实验内容见第B.2节。 几何精细化与指令微调的影响：表5对比了不同的训练阶段。仅预训练阶段（第1行）能提供合理的基线，但性能仍有限。指令微调（IFT）显著提升了结果（无GR的那一行），使T2M的RP3从0.53提升至0.69，M2T的RP3从0.50提升至0.57。加入几何精细化（GR）后，对齐效果进一步提升。 --- ![Image](images/984c77cc0cf27cdac82438aef60fef98bd7104b809ec3b39366dcf8f02605f59.jpg)
Figure 9: Motion-to-Text captioning results.
Table 4: Comparison of VQ-VAE configurations.
MethodNum. / dimMPJPE $\downarrow$ACCEL $\downarrow$Div $\rightarrow$
GT---3.964
MotionGPT512 / 51293.4868.3403.683
Std. VQ-VAE4K / 6493.2587.7713.450
PD VQ-VAE4K / 6495.2667.5003.647
Ours4K / 6445.9445.3953.747
Figure 10: VQ-VAE compression.
![Image](images/7b823465d4453bcca1538d6074d95062598e11ad167639c45ef9c94d1d145fb7.jpg) 完整模型（PT+GR+IFT）取得了最低的KID值（0.216，相比之下无GR时为0.297），以及最高的RP3分数（T2M任务为0.72，M2T任务为0.57）。这表明GR在运动合成质量中发挥着关键作用。换句话说，IFT能够提升模型的泛化能力，而GR通过强制实现几何对齐，让这种泛化具备实际意义。二者的结合产生了最佳的整体性能。最后，我们将其与EgoLM Hong等人（2024年）提出的软混合重建损失方法进行了对比（见表格最后一行）。尽管该方法颇具竞争力，但仍逊于我们的方案，这凸显了显式几何精细化处理和基于Gumbel-Softmax的重建方法的优势。 数据集规模的影响：将带标注的文本序列数量从7K增加到30K后，文本到运动（T2M）和运动到文本（M2T）任务的性能均稳步提升。这些结果凸显了更大、更多样化的训练数据对于构建可扩展的野外手部运动模型的重要性。作为参考，我们也提供了在Arctic和GRAB数据集组合上训练得到的模型。 语言模型规模的影响：表7展示了将主干语言模型从T5-Small扩展到T5-Large所产生的效果。不出所料，规模更大的模型在T2M和M2T任务上均能取得更优的结果。这些结果证实，语言模型的容量对于实现两类任务中跨模态的更强泛化能力至关重要。
Table 7: Impact of model size on the performance.
## 6 结论
MethodT2MM2T
RP3 $\uparrow$KID $\downarrow$RP3 $\uparrow$B4 $\uparrow$
T5-Small (50M)0.5450.7320.2920.089
T5-Base (220M)0.7210.2160.5710.181
T5-Large (770M)0.7330.0920.5780.192
据我们所知，CLUTCH是首个探索野外手部运动模型的研究工作。尽管成效显著，我们的方法仍存在局限。我们目前聚焦于手部运动，而手部与物体的交互问题由于野外重建面临的挑战，留待未来研究。进一步的改进有望提升运动重建的细粒度表现力，并能对第一人称序列中的重叠动作进行时间分割。沿着这些方向推进，有望进一步提升数据集质量和模型的鲁棒性。
Table 5: Impact of different LLM training stages. PT: Pre-training, GR: Geometry refinement, IFT: Instruct Fine-tuning.
MethodT2MM2T
RP3 $\uparrow$KID $\downarrow$RP3 $\uparrow$B4 $\uparrow$
1 = PT0.5330.3490.5010.148
w/o GR (1+IFT)0.6900.2970.5680.173
PT + GR + IFT0.7210.2160.5710.181
EgoLM setup0.7050.2630.5700.171
Table 6: Performance scaling with increased training data (7K, 15K, 30K samples). Cap. data: Artic+GRAB.
MethodT2MM2T
RP3 $\uparrow$KID $\downarrow$RP3 $\uparrow$B4 $\uparrow$
Cap. data0.0971.9700.0830.004
7K0.5130.8600.2470.092
15K0.6370.6720.3960.139
30K0.7210.2160.5710.181
--- 尽管存在这些挑战，CLUTCH在可扩展的自然手部运动合成领域仍取得了重要进展。为此，我们提出了一种新颖的数据标注流程、一个数据集，以及用于野外手部运动建模的部件模态分解型VQ-VAE模型。通过详尽的实验，我们证明在野外手部运动建模任务中，CLUTCH的性能优于现有的扩散模型和LLM模型。展望未来，我们认为将野外运动数据与受控数据集相结合，并拓展到手部与物体的交互领域，能够开启行为人工智能领域的新下游应用，最终帮助我们打造出能够与环境进行细粒度、高保真交互的具身虚拟形象。 --- ## 参考文献 Nikos Athanasiou、Alpár Ceske、Markos Diomataris、Michael J Black和Gül Varol。Motionfix：基于文本的3D人体运动编辑。arXiv预印本arXiv:2408.00712，2024年。 Junuk Cha、Jihyeon Kim、Jae Shin Yoon和Seungryul Baek。Text2hoi：用于手部与物体交互的基于文本引导的3D运动生成。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1577–1585页，2024年。 Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S. Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。DexYCB：用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），2021年。 长安·陈、张巨泽、Shrinidhi Kowshika Lakshmikanth、方宇苏、邵瑞志、Gordon Wetzstein、李飞飞和Ehsan Adeli。运动语言：统一3D人体运动的言语与非言语表达。发表于arXiv，2024年。 Seunggeun Chi、Hyung-gun Chi、马恒波、Nakul Agarwal、Faizan Siddiqui、Karthik Ramani和Kwonjoon Lee。M2d2m：基于离散扩散模型的文本驱动多运动生成。arXiv预印本arXiv:2407.14502，2024年。 Sammy Christen、Shreyas Hampali、Fadime Sener、Edoardo Remelli、Tomas Hodan、Eric Sauser、Shugao Ma和Bugra Tekin。Diff2o：基于扩散模型根据文本描述合成手-物体交互。发表于SIGGRAPH Asia，第145:1–145:11页，2024年。网址：。 范子聪、Omid Taheri、Dimitrios Tzionas、Muhammed Kocabas、Manuel Kaufmann、Michael J. Black和Otmar Hilliges。ARCTIC：一个关于灵巧双手法-物体操控的数据集。发表于IEEE计算机视觉与模式识别会议（CVPR）论文集，2023年。 傅饶、张定西、Alex Jiang、傅婉佳、Austin Fund、Daniel Ritchie和Srinath Sridhar。Gigahands：一个大规模标注的双手法活动数据集。2025年。 Anindita Ghosh、Rishabh Dabral、Vladislav Golyanik、Christian Theobalt和Philipp Slusallek。Imos：面向人-物交互的意图驱动全身运动合成。发表于Eurographics，2023年。 Kristen Grauman、Andrew Westbury、Eugene Byrne、Zachary Chavis、Antonino Furnari、Rohit Girdhar、Jackson Hamburger、Hao Jiang、Miao Liu、Xingyu Liu、Miguel Martin、Tushar Nagarajan、Ilija Radosavovic、Santhosh Kumar Ramakrishnan、Fiona Ryan、Jayant Sharma、Michael Wray、Mengmeng Xu、Eric Zhongcong Xu、Chen Zhao、Siddhant Bansal、Dhruv Batra、Vincent Cartillier、Sean Crane、Tien Do、Morrie Doulaty、Akshay Erapalli、Christoph Feichtenhofer、Adriano Fragomeni、Qichen Fu、Abraham Gebreselasie、Cristina Gonzalez、James Hillis、Xuhua Huang、Yifei Huang、Wenqi Jia、Weslie Khoo、Jachym Kolar、Satwik Kottur、Anurag Kumar、Federico Landini、Chao Li、Yanghao Li、Zhenqiang Li、Karttikeya Mangalam、Raghava Modhugu、Jonathan Munro、Tullie Murrell、Takumi Nishiyasu、Will Price、Paola Ruiz Puentes、Merey Ramazanova、Leda Sari、Kiran Somasundaram、Audrey Southerland、Yusuke Sugano、Ruijie Tao、Minh Vo、Yuchen Wang、Xindi Wu、Takuma Yagi、Ziwei Zhao、Yunyi Zhu、Pablo Arbelaez、David Crandall、Dima Damen、Giovanni Maria Farinella、Christian Fuegen、Bernard Ghanem、Vamsi Krishna Ithapu、C. V. Jawahar、Hanbyul Joo、Kris Kitani、Haizhou Li、Richard Newcombe、Aude Oliva、Hyun Soo Park、James M. Rehg、Yoichi Sato、Jianbo Shi、Mike Zheng Shou、Antonio Torralba、Lorenzo Torresani、Mingfei Yan和Jitendra Malik。Ego4d：3000小时第一人称视角视频中的全球场景记录。发表于2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），第18973–18990页，2022年。 郭川、左欣欣、王森和程立。TM2T：用于3D人体运动与文本相互生成的随机化与分词建模。发表于ECCV，第580–597页。施普林格出版社，2022年。 郭川、穆宇轩、Muhammad Gohar Javed、王森和程立。MoMask：3D人体运动的生成式掩码建模。发表于CVPR，第1900–1910页，2024年。 --- Ikhsanul Habibie、Mohamed Elgharib、Diogo Luvizon、Balamurugan Thambiraja、Simbarashe Nyatsanga、Justus Thies、Michael Neff和Christian Theobalt。Comand：用于3D运动合成的可控动作感知流形。发表于国际视觉、建模与可视化研讨会。欧洲图形学会，2024年。 洪方舟、弗拉基米尔·古佐夫、金孝珍、叶雨婷、理查德·纽科姆、刘子薇和马玲妮。Egolm：以第一视角运动为多模态语言模型。arXiv预印本arXiv:2409.18127，2024年。 黄明真、朱富健、布格拉·特金、梁凯文、马浩宇、王伟尧、陈星宇、皮埃尔·格莱兹、薛宏飞、吕思伟、克里斯·基塔尼、马特·费斯尔和唐浩。Hoigpt：利用语言模型学习长序列手物交互。发表于2025年美国纳什维尔举行的IEEE计算机视觉与模式识别会议（CVPR）。 埃里克·张、史翔光和本·普尔。基于Gumbel-Softmax的分类重参数化。发表于2017年4月举行的国际学习表征会议（ICLR）论文集。网址：。 江彪、陈鑫、刘文、虞晶怡、于刚和陈涛。MotionGPT：将人体运动视为一种外语。《神经信息处理系统进展》第36卷，2024年。 江彪、陈鑫、张驰、尹福坤、李卓远、于刚和范家元。MotionChain：通过多模态提示实现对话式运动控制。发表于ECCV会议，第54–74页。施普林格出版社，2025年。 科拉韦·卡伦拉塔纳库尔、孔帕特·普雷查库尔、苏帕索恩·苏瓦贾纳孔和唐思宇。用于可控人体运动合成的引导式运动扩散模型。发表于ICCV会议，第2151–2162页，2023年。 权泰仁、布格拉·特金、扬·斯图默、费德里卡·博戈和马克·波勒费斯。H2O：两只手操纵物体以实现第一人称交互识别。发表于IEEE/CVF国际计算机视觉会议（ICCV），第10138–10148页，2021年10月。 李楚乔、朱利安·奇巴内、何雅楠、娜玛·珀尔、安德烈亚斯·盖格尔和杰拉德·庞斯-莫尔。UniMotion：统一3D人体运动合成与理解。发表于2025年3月举行的国际3D视觉会议（3DV）。 李慕辰、萨米·克里斯滕、万成德、蔡宇军、廖仁杰、列昂尼德·西格尔和马书高。LatentHOI：基于潜在手部扩散的可泛化手物运动生成。发表于2025年6月举行的计算机视觉与模式识别会议（CVPR），第17416–17425页。 刘海阳、朱子豪、乔治奥·贝切里尼、彭一辰、苏明阳、周游、折雪飞、岩本直也、郑波和迈克尔·J·布莱克。Emage：通过表达性掩码音频手势建模实现统一的整体语音伴随手势生成。发表于CVPR会议，2024年。 刘金鹏、戴文勋、王春宇、程一吉、唐彦松和童欣。规划、姿态与执行：迈向开放世界文本到运动生成。arXiv预印本arXiv:2312.14828，2023年。 毛鲁丁·马哈茂德、尼玛·戈尔巴尼、尼古拉斯·F·特罗耶、杰拉德·庞斯-莫尔和迈克尔·J·布莱克。AMASS：作为表面形状的运动捕捉档案库。发表于ICCV会议，第5442–5451页，2019年。 吴艾冯、罗梅罗·哈维尔、巴古蒂诺夫·蒂穆尔、白少杰、达雷尔·特雷弗、金泽郎和理查德·亚历山大。从音频到逼真的人体化身：对话中人体合成技术，2024年。 裴宝琪、黄一菲、徐吉兰、陈果、何玉萍、杨丽金、王亚丽、谢维迪、乔宇和王利民。针对第一视角视频表示学习的细粒度手物动力学建模，2025年。 彼得罗夫·伊利亚·A、马里恩·里卡多、朱利安·奇巴内和杰拉德·庞斯-莫尔。Tridi：3D人体、物体与交互的三方扩散模型。发表于2025年10月举行的IEEE/CVF国际计算机视觉会议论文集。 --- Adam Roberts、Hyung Won Chung、Anselm Levskaya、Gaurav Mishra、James Bradbury、Daniel Andor、Sharan Narang、Brian Lester、Colin Gaffney、Afroz Mohiuddin、Curtis Hawthorne、Aitor Lewkowycz、Alex Salcianu、Marc van Zee、Jacob Austin、Sebastian Goodman、Livio Baldini Soares、Haitong Hu、Sasha Tsvyashchenko、Aakanksha Chowdhery、Jasmijn Bastings、Jannis Bulian、Xavier Garcia、Jianmo Ni、Andrew Chen、Kathleen Kenealy、Jonathan H. Clark、Stephan Lee、Dan Garrette、James Lee-Thorp、Colin Raffel、Noam Shazeer、Marvin Ritter、Maarten Bosma、Alexandre Passos、Jeremy Maitin-Shepard、Noah Fiedel、Mark Omernick、Brennan Saeta、Ryan Sepassi、Alexander Spiridonov、Joshua Newlan以及Andrea Gesmundo。利用t5x和seqio扩展模型与数据规模。arXiv预印本arXiv:2203.17189，2022年。网址：。 Javier Romero、Dimitrios Tzionas和Michael J. Black。具身化手部：同步建模与捕捉手部与身体。ACM图形学交易刊（SIGGRAPH Asia会议论文集），36(6)，2017年11月。 A. Savitzky与M.J.E. Golay。通过简化最小二乘法对数据进行平滑与微分处理。《分析化学》杂志，36(8)：1627–1639页，1964年。 Yonatan Shafir、Guy Tevet、Roy Kapon以及Amit H. Bermano。将人体运动扩散作为生成式先验。arXiv预印本arXiv:2303.01418，2023年。 Connor Shorten、Charles Pierse、Thomas Benjamin Smith、Erika Cardenas、Akanksha Sharma、John Trengrove以及Bob van Luijt。Structuredrag：利用大语言模型实现JSON响应格式化。CoRR，abs/2408.11061，2024年。doi: 10.48550/ARXIV.2408.11061。网址：。 Vanessa Sklyarova、Egor Zakharov、Otmar Hilliges、Michael J. Black以及Justus Thies。Haar：基于文本的3D发丝结构人类发型生成模型。ArXiv，2023年12月。 Omid Taheri、Nima Ghorbani、Michael J. Black以及Dimitrios Tzionas。GRAB：一个涵盖人体抓取物体的全身数据集。收录于欧洲计算机视觉会议（ECCV），2020年。网址：。 Guy Tevet、Sigal Raab、Brian Gordon、Yoni Shafir、Daniel Cohen-or以及Amit Haim Berman。人体运动扩散模型。收录于第十一届学习表征国际会议，2023年。网址：。 Aaron van den Oord、Yazhe Li以及Oriol Vinyals。基于对比预测编码的表征学习，2018年。 Xiaofeng Wang、Kang Zhao、Feng Liu、Jiayu Wang、Guosheng Zhao、Xiaoyi Bao、Zheng Zhu、Yingya Zhang以及Xingang Wang。Egovid-5m：一个用于第一视角视频生成的大规模视频-动作数据集。arXiv预印本arXiv:2411.08380，2024年。 Ye Wang、Sipeng Zheng、Bin Cao、Qianshan Wei、Weishuai Zeng、Qin Jin以及Zongqing Lu。利用百万级人体运动数据扩展大型运动模型。收录于第四十二届机器学习国际会议，2025年。网址：。 Zhenzhi Wang、Jingbo Wang、Dahua Lin以及Bo Dai。Intercontrol：通过控制每个关节来生成人体运动交互。arXiv预印本arXiv:2311.15864，2023年。 Tsung-Han Wu、Heekyung Lee、Jiaxin Ge、Joseph E. Gonzalez、Trevor Darrell以及David M. Chan。生成但验证：通过回溯重采样减少视觉-语言模型中的幻觉现象。arXiv预印本arXiv:2504.13169，2025年。 Yecheng Wu、Zhuoyang Zhang、Junyu Chen、Haotian Tang、Dacheng Li、Yunhao Fang、Ligeng Zhu、Enze Xie、Hongxu Yin、Li Yi等。Vila-u：一款集成视觉理解与生成的统一基础模型。arXiv预印本arXiv:2409.04429，2024年。 谢一鸣、Varun Jampani、钟磊、孙德清和蒋怀祖。Omnicontrol：随时控制任意关节以实现人体运动生成。arXiv预印本arXiv:2310.08580，2023年。 --- 杨立新、李凯琳、詹欣宇、吴飞、徐安然、刘柳和卢泽武。OakInk：用于理解手-物体交互的大规模知识库。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR），2022年。 易宏伟、梁华林、刘一飞、曹琼、文彦东、Timo Bolkart、陶大成和Michael J Black。根据语音生成整体3D人体运动。收录于CVPR，第469–480页，2023年。 詹欣宇、杨立新、赵一飞、毛康瑞、徐汉林、林泽南、李凯琳和卢泽武。Oakink2：完成复杂任务时的双手-物体操控数据集。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第445–456页，2024年6月。 张建荣、张阳松、寸晓东、张勇、赵宏伟、陆洪涛、沈曦和单英。利用离散表示根据文本描述生成人体运动。收录于CVPR，第14730–14740页，2023年。 张景雷、邓建康、马超和Rolandos Alexandros Potamias。Hawor：从以自我为中心的视频中重建世界空间下的手部运动。arXiv预印本arXiv:2501.02973，2025a年。 张婉月、Rishabh Dabral、Vladislav Golyanik、Vasileios Choutas、Eduardo Alvarado、Thabo Beeler、Marc Habermann和Christian Theobalt。Bimart：一种用于合成与可动物体互动的3D双手动作的统一方法。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR），2025b年。 张志凯、李一唐、黄浩峰、林明贤和李毅。Freemotion：利用多模态大语言模型实现无需动作捕捉的人体运动合成。收录于ECCV，第403–421页。Springer出版社，2025c年。 赵越、Ishan Misra、Philipp Krähenbühl和Rohit Girdhar。从大语言模型中学习视频表征。收录于CVPR，2023年。 周凯阳、Bharat Lal Bhatnagar、Jan Eric Lenssen和Gerard Pons-Moll。Toch：用于运动优化的时空物体-手部对应关系。收录于欧洲计算机视觉会议（ECCV）。Springer出版社，2022年10月。 周凯阳、Bharat Lal Bhatnagar、Jan Eric Lenssen和Gerard Pons-Moll。Gears：具有局部几何感知的手-物体交互合成方法。收录于IEEE计算机视觉与模式识别会议（CVPR），2024年6月。 --- ## 基于Gumbel-Softmax的运动解码 给定输入序列 $X_s$，大语言模型会输出完整的词汇表对数几率张量 $f_\theta(X_s) \in \mathbb{R}^{T \times |V|}$，其中 $|V|$ 代表文本与运动词汇表的并集。在运动解码过程中，我们仅提取对应运动标记子空间 $V_m \subset V$ 的对数几率。这种切片操作可表示为： $$ \ell_{1:T}=f_{\theta}(X_{s})_{1:T,V_{m}}, $$ 其中 $\ell_t \in \mathbb{R}^K$ 和 $K = |V_m|$ 分别表示运动标记词汇表的大小。这相当于从完整输出张量中选取运动标记对应的对数几率通道。 提取出的运动对数几率随后通过Gumbel-Softmax算子（Jang等人，2017年）转换为分类表示： $$ \tilde{Z}_{1:T}=G u m b e l(\ell_{1:T},\tau). $$ 借助SHIFT解码器对这种Gumbel-Softmax运动表示进行解码，便可重构连续的3D手部运动序列： $$ \begin{array}{r}{\hat{M}_{1:T}=\mathcal{D}_{\tau},\mathcal{D}_{\theta}(\tilde{Z}_{1:T}),}\end{array} $$ 其中 $D_{\tau}$ 表示轨迹解码器参数，$D_{\theta}$ 表示手部姿态解码器参数。 重建损失。为了提升几何保真度，我们将语言建模损失$\mathcal{L}_{LM}$与在连续运动空间中计算的重建损失相结合： $$ \mathcal{L}_{r e c}=\frac{1}{T}\sum_{t=1}^{T}\left\|\hat{M}_{t}-M_{t}\right\|_{2}^{2}. $$ 最终目标是： $$ \mathcal{L}=\alpha\mathcal{L}_{L M}+\lambda\mathcal{L}_{r e c}. $$ ## B 补充实验 实现细节：在实验中，我们使用了两个VQ-VAE模型，每个模型的码本包含4096个维度为64的条目。VQ-VAE的压缩比为8，即编码器将8个时间帧压缩为一个编码。运动分词器使用Adam优化器训练200个周期，学习率为$2e^{-4}$。我们采用参数为220M的Flan-T5-Base（Roberts等人，2022年）作为语言模型。该模型分别经过300/50/200个周期的训练、几何优化和微调，对应的学习率分别为$2e^{-4}/1e^{-5}/2e^{-5}$。实验结果以95%置信区间报告，该区间基于20次重复运行计算得出，以确保统计显著性。所有模型均在4块显存为80GB的NVIDIA A100 GPU上训练。 ### B.1 文本标注类型的有效性 我们评估了不同标注类型对LLM性能的影响，分别使用了高层级（HA）、细粒度（DA）以及组合标注（HA+DA）（表8）。仅使用高层级（HA）或细粒度（DA）标注时，性能表现中等（例如，T2M RP3分别为0.551和0.462）。将两者结合（HA+DA）则在各项指标上均取得最佳结果（T2M RP3=0.721，M2T RP3=0.571），这凸显了它们在稳健的文本-运动学习中的互补性。
Table 8: Effect of different types annotation on Text-to-Motion task performance. HA: High-level annotation, DA: Fine-grained Annotation.
MethodT2MM2T
RP3 $\uparrow$KID $\downarrow$RP3 $\uparrow$B4 $\uparrow$
Ours (HA)0.5510.1480.4960.153
Ours (DA)0.4620.1920.4890.114
Ours(HA+DA)0.7210.2160.5710.181
### B.2 分词器分析 我们提供了所提出的分解式VQ-VAE（SHIFT）与几种基线模型的进一步对比，以突出模型设计选择的影响。如表9所示，我们的方案 --- 始终能够实现最低的重建误差，其中MPJPE降至45.94，ACCEL降至5.395，同时还能保留运动的多样性。此外，我们在图10中可视化了时间压缩的效果。标准VQ-VAE在压缩比增大时性能会迅速下降，而我们将轨迹和姿态码本分开处理的方案即便在高压缩比下也能保持较好的重建质量。这一特性对于将大型语言模型应用于运动领域尤为重要，因为它能缩短有效序列长度，从而允许在较低的计算资源预算下开展训练。实际上，我们的模型仅需4块NVIDIA A100 GPU即可训练，而MotionGPT需要64块Tesla V100 GPU，HOIGPT则需要32块A100 GPU。这些扩展实验证实，对两种模态（轨迹与姿态）以及身体部位（左手与右手）进行分解，是实现稳定且可扩展的运动建模的关键因素。
Table 9: VQVAE analysis - Extended version
MethodNum. / dimMPJPE $\downarrow$ACCEL $\downarrow$Div $\rightarrow$
GT3.964
MotionGPT512 / 51293.4868.3403.683
Std. VQ-VAE4K / 6493.2587.7713.450
Std. VQ-VAE8K / 6492.1507.8593.539
Std. VQ-VAE4K / 25693.0458.0143.647
PD VQ-VAE4K / 6495.2667.5003.647
PD VQAE8K / 6492.0527.3693.581
PD VQAE4K / 25697.2897.6163.357
Ours4K / 6445.9445.3953.747
### B.3 公共数据集上的结果 为了进一步评估我们方法的能力，我们遵循HOIGPT（Huang等人，2025年）的数据集协议，在由ARCTIC（Fan等人，2023年）和GRAB（Taheri等人，2020年）组成的公开采集数据集上训练我们的模型及所有基线模型，该数据集用于训练、验证和测试的样本数分别为5.1K/0.5K/0.5K。我们采用第5节所述的指标，在Text2Motion（T2M）和Motion2Text（M2T）任务上评估性能，结果分别见表10和表11。 从表中可以看出，我们的方法在两项任务上的表现均优于以往的方法。在T2M任务中，我们的模型取得了最高的R-Precision值（0.492），在生成模型中拥有最低的MMDist值（3.008），KID分数也颇具竞争力；同时，与MotionGPT（Jiang等人，2024年）和T2MGPT（Zhang等人，2023年）相比，其多模态性能也明显更优。值得注意的是，基于扩散模型的HumanMDM（Tevet等人，2023年）虽然能生成视觉上平滑的动作，但语义一致性较差，这在该小数据量场景下表现为较低的R-Precision值和较高的MMDist值。在M2T任务中，我们的方法在所有主要指标上同样表现最佳，说明与MotionGPT和TM2T相比，该模型在动作与语言之间的双向对齐能力更强。尽管我们的模型是专门为野外手部动作建模而设计的，但它仍能有效泛化到HOI数据集上，充分体现了所学表征的强大性与通用性。 ### B.4 语言模型损失与重建损失的敏感性分析 我们进行了全面的$\alpha/\lambda$敏感性扫描，以研究语言建模损失与重建损失之间的平衡所产生的影响。结果如表12所示。我们观察到一致的趋势：
MethodRP3 $\uparrow$MMDist $\downarrow$KID $\downarrow$Diversity $\rightarrow$MultiModality $\uparrow$
Ground Truth0.5252.763-4.581-
HumanMDM0.4294.0470.01074.9152.567
MotionGPT0.3713.6090.04093.3151.955
T2MGPT0.4073.7610.07734.9561.658
Ours0.4923.0080.01443.8112.393
Table 10: T2M evaluation results on ARCTIC+GRAB.
---
MethodRP3 $\uparrow$Bleu4 $\uparrow$Bleu1 $\uparrow$ROUGE_L $\uparrow$
TM2T0.35190.18150.22450.5174
MotionGPT0.42620.21580.51670.5278
Ours0.46010.23410.57320.5822
Table 11: M2T evaluation results on ARCTIC+GRAB.
LM $\alpha$Rec $\lambda$T2MM2T
RP3 $\uparrow$KID $\downarrow$RP3 $\uparrow$Bleu4 $\uparrow$
GT0.671-0.667-
010.4130.8860.0990.021
0.10.90.4980.7250.3570.077
0.250.750.5220.3350.4030.116
0.50.50.7210.2160.5710.181
0.750.250.7120.2340.5440.172
0.90.10.7080.2890.5430.171
100.6900.2970.5680.173
Table 12: Sensitivity study of the LM loss weight $\alpha$ and reconstruction loss weight $\lambda$. Left: M2T performance (RP3, KID). Right: T2M performance (RP3, Bleu4). GT: Ground Truth
较大的$\lambda$（较小的$\alpha$）会使动作更平滑，但会影响语义一致性；而较大的$\alpha$（较小的$\lambda$）会提升词元预测的准确性，却会增加几何伪影，这体现在更高的KID分数上。当$\alpha = 0.5$与$\lambda = 0.5$的取值达到平衡时，在M2T（RP3 = 0.721，KID = 0.216）和T2M（RP3 = 0.571，Bleu4 = 0.181）任务中均能取得最佳的整体性能。 当$\lambda$取值较高（即重建损失占主导地位）时，模型难以捕捉整体分布特征，这凸显了语言模型损失在维持语义一致性方面的重要性。相反，若$\alpha$取值过高，模型虽能预测出更锐利的离散词元，但几何真实性却较差。这些发现证实，平衡的损失权重对于高质量动作生成至关重要。 ---
MethodRating (1-5)
A = Random1.106
B = Our annotation pipeline4.244
C = Human annotation4.673
MethodRating (1-5)
A = Random motion1.375
B = Without filters2.434
C = Final-cleaned4.133
Table 14: User study results. Left: annotation quality ratings. Right: motion quality ratings. Rating: 1 = Low, 5 = Best
## C 野外3D手部动作数据集（3D-HIW）——扩展部分 ### C.1 数据集分析——续 为了从第一视角视频中提取3D手部动作重建结果，我们首先对EgoVid5M数据集中的高层文本描述进行处理，筛选出涉及人类存在的序列，尤其是人类与物体互动的场景。随后，我们将这些描述聚类为场景类别（如手工制作、维修等），并在各聚类中均匀采样，以缓解烹饪类活动占比过高的问题。我们
Table 13: Dataset design choices evaluation
MethodRP3 $\uparrow$MMD $\downarrow$
w/o. both hands filter0.1783.819
w/o. accl.0.4222.653
w/o. temp smooth.0.5112.249
w/o. verifier filter.0.5532.019
Ours (final)0.6661.903
我们还在表13中研究了滤波器对动作质量的影响，该表展示了我们清洗流程中关键组件的消融实验结果。去除滤波器（如手部可见性检查、加速度约束或时间平滑处理）会显著降低R-Precision值并增加动作噪声。此外，我们还分析了数据集中排名前35位的动词和名词的分布情况，相关内容见图11。 ![Image](images/3af2a6cbb68527ec02bb8dfef0999d237b91560dcea33cb839ca41591522e691.jpg)
Figure 11: Top-N Verb and Nouns: We present the distribution of top-35 verbs and nouns in the '3D Hands in the wild' (3DHiW) dataset
### C.2 感知用户研究 动作重建：我们开展了额外的MTurk用户研究，以评估所重建手部动作的感知质量。研究人员会让参与者观看输入的第一视角视频，以及两个渲染后的3D手部动作重建结果（正面和背面视图），并要求他们按照1-5分的李克特量表，评价3D动作的逼真程度以及与视频中动作的匹配度。 --- ![Image](images/1e79315742798817bb385505e641cebb2456d4393f7b94c2051af140099390cf.jpg)
Figure 12: MTurk interface used for the motion user study.
视频。我们评估了三类内容：(A)从无关序列中采样的随机运动，(B)未经滤波的重建结果，以及(C)经过滤波后的最终重建结果。从表14可以看出，用户普遍更喜欢我们的最终重建结果（4.133），而非未滤波版本（2.434）和随机基线（1.375）。我们限定参与者为经验丰富的MTurk工作者（完成超过5000个HIT任务，$\geq$认可率达98%），并对65个采样视频进行评分，每个视频由25名不同的工作者评价，总共得到1,625条评判结果。从(B)到(C)的显著改进证明，我们的滤波流程确实大幅提升了运动质量。MTurk用户研究界面如图12所示。 文本注释：此外，我们还通过MTurk研究对生成的注释进行了人工评估，该研究的设置与上述一致。参与者会看到一段第一人称视角视频以及对应的候选文本描述，他们需按照1–5分的李克特量表对以下陈述的认同程度进行评分：“该文本准确描述了输入视频中的手部运动。”我们评估了三类内容：(A)从人类注释中采样的随机注释，(B)我们生成的注释，以及(C)对应的人类撰写的注释。如表14所示，随机注释得分很低（1.106），这证实参与者能够可靠地识别出不匹配或错误的文本。我们生成的注释得分高达4.244，这一数值接近人类撰写的描述（4.673）。这种高度一致性表明，我们的自动化注释流程能够生成逼真且达到人类水平的运动描述，准确反映视频中的手部运动。用于此项注释研究的MTurk界面如图13所示。 --- ![Image](images/891cef34dea041fdc71a85a36e51fd2af109053a7af7efbe034ba13ed37a9c20.jpg)
Figure 13: MTurk interface used for the text annotation user study.
### C.3 文本注释提示词 在此，我们将详细介绍第3.1节以及图3和图4中介绍的提示词。为了让读者更好地理解提示词的要求，我们在图14中给出了简化的（即基于自然语言的）提示词摘要。实际传入注释用LLM的提示词包含更正式的语言以及严格的JSON输出规范（参照Shorten等人(2024)的做法）。两个阶段的最终提示词见图15。 --- ![Image](images/5eadd11d4f85a30fa0a8ffdb6b2ae1abcb0d7a1a7c0a041f0b66d42449c3051d.jpg)
Figure 14: Simplified natural language prompt summaries. First stage (top): First 4 tasks are used for PCoT, and Task 5 is the open vocabulary summarization of the output of the first 4 tasks. Second stage (bottom) is used for the final closed-vocabulary fine-grained annotation generations.
--- ![Image](images/d6c8e2e62d262fa693086a7c4d9200cce9f8335a6987ecbae0a4e532fa659a7b.jpg)
Figure 15: The exact formal prompts used in the data annotation pipeline. First stage (top): First 4 tasks are used for PCoT, and Task 5 is the open vocabulary summarization of the output of the first 4 tasks. Second stage (bottom) is used for the final closed-vocabulary fine-grained annotation generations. The prompts were designed following Shorten et al. (2024).
--- ## D 相关工作 讨论：与以往基于受控动作捕捉数据集或单码本分词器的工作不同，我们贡献了首个包含大规模语义注释的野外3D手部运动数据集、一种用于稳健手部表征的部件模态分解分词器，以及一种几何对齐的LLM训练策略。这些成果共同使CLUTCH能够在无约束的真实场景中合成自然、多样且语义一致的手部运动。 ### D.1 运动数据集/注释 运动数据集：现有的运动数据集为人体级建模提供了基础，但在手部建模方面仍存在局限。AMASS（Mahmood等人，2019年）汇总了动作捕捉序列，而GRAB、ARCTIC、H2O、DexYCB（Chao等人，2021年）以及OakInk（Zhan等人，2024年；Yang等人，2022年）则提供了详细的3D手-物体交互数据。最近，Gigahands（Fu等人，2025年）推出了一个包含1.5万条手部运动序列的大型数据集，涵盖了多样的动作和物体。然而，这些数据集的采集成本高昂，且仅限于受控的摄影棚环境，所涵盖的动作类型也较为有限。像Ego4D（Grauman等人，2022年）和EgoVid5M（Wang等人，2024年）这样的大规模第一人称视角数据集虽然能捕捉到丰富的现实世界活动，但缺乏带有语义标签的精确3D手部重建数据。这一缺口至今阻碍了手部运动建模从推动视觉和语言领域快速发展的大规模训练方法中获益。 第一人称视角运动描述生成：近期在第一人称视频理解方面的进展利用了自然语言作为监督信号，从而超越了传统的动作识别任务。LaViLa（Zhao等人，2023年）、HOD（Pei等人，2025年）以及EgoLM（Hong等人，2024年）在我们关于第一人称视频到运动描述生成的研究中最为接近。LaViLa和EgoLM利用大型语言模型（LLM）为视频生成详细的描述，而HOD则通过整合检测到的手-物体轨迹与运动线索来丰富这些描述，从而生成语义更丰富的文本。相比之下，我们的方法采用了两阶段标注流程：首先通过并行思维链提示进行高层级的开放词汇推理，随后进行封闭词汇的细粒度定位。这种设计减少了幻觉现象，提升了一致性，并能生成适用于文本到运动建模的可扩展标注数据。 ### D.2 运动建模 全身与手势运动建模：运动生成领域的研究主要集中于全身和手势合成（Guo等人，2024年；Liu等人，2023年；Zhang等人，2023年；Jiang等人，2025年；Wang等人，2023年；Shafir等人，2023年；Xie等人，2023年；Karunratanakul等人，2023年；Zhang等人，2025c；2023年；Athanasiou等人，2024年；Chi等人，2024年；Chen等人，2024年；Liu等人，2024年；Habibie等人，2024年）。诸如MDM（Tevet等人，2023年）和MotionGPT（Jiang等人，2024年）等近期模型利用基于Transformer的架构和大规模运动数据集来生成逼真的人体运动。此外，Chen等人（2024年）构建了多模态语言模型，以统一言语和非言语的3D人体运动。这些方法在人体级动作上表现出色，但主要基于受控摄影棚数据训练，因此难以泛化到细微且不受约束的手部动态。尽管它们在大尺度手势或步态生成方面效果显著，但在建模日常手部行为的细微变化方面仍显不足。 3D手部运动建模：针对3D手部运动建模的研究相对较少，这类研究通常利用MANO（Romero等人，2017年）对手部进行建模，并将物体表示为3D网格。HOIGPT（Huang等人，2025年）以及其他手-物体交互模型（Christen等人，2024年；Cha等人，2024年；Li等人，2025b；Ghosh等人，2023年）旨在捕捉精细的手-物体交互。然而，它们依赖于GRAB（Taheri等人，2020年）、ARCTIC（Fan等人，2023年）和H2O（Kwon等人，2021年）等高质量的mocap数据集，而这些数据集在规模和多样性上存在局限。因此，当前的手部运动模型往往仅限于有限脚本化动作的分布范围。 用于运动建模的LLM：近年来，大型语言模型已被应用于运动生成领域，充分发挥其在序列建模和跨模态对齐方面的优势。Jiang等人（2024年）、Huang等人（2025年）以及Chen等人（2024年）的研究将运动标记视为类文本符号，从而使预训练的LLM能够迁移到运动任务中。尽管前景广阔，但这些方法仍受限于小规模数据集，且训练目标侧重于标记预测的准确性而非重建的保真度。EgoLM（Hong等人，2024年）通过在预训练阶段引入软线性混合回归损失来解决这一问题，从而提升文本与运动之间的对齐效果。 --- 不过，此类回归目标与交叉熵原则存在冲突：混合机制鼓励平滑插值，而交叉熵则强制选择明确的标记，进而导致表示模糊、泛化能力受限。我们的方法在预训练之后增加了几何对齐阶段，利用Gumbel-Softmax采样和手部运动重建损失，引导LLM生成既符合语义逻辑又具备几何一致性的运动。 将VQ-VAE作为运动先验：近期的研究采用VQ-VAE分词器对运动进行离散化处理，从而能够以类语言的方式表示运动。Jiang等人（2024年）和Zhang等人（2023年）的研究表明，将运动建模为标记序列有助于实现与文本的跨模态学习。然而，传统的单码本分词器难以捕捉运动的多模态特性——即不同身体部位的轨迹和姿态必须被共同编码。为解决这一问题，Yi等人（2023年）针对手部和面部运动引入了组合式码本，Huang等人（2025年）则为手部和物体运动采用了独立的码本；同样，Chen等人（2024年）将身体部位拆分为多个独立编码的码本。Wang等人（2025年）进一步探索了码本的扩展策略以提升运动表示能力。基于这些思路，我们的方案通过引入分别用于轨迹和手部姿态的独立码本，并在编码和解码过程中进一步区分左右手，实现了组合式量化机制的拓展。这种设计在更高时间压缩比下仍能保持高效性与泛化能力，相较于以往研究，它能对手部多模态运动生成提供更精细的控制。