# HandDiffuse：基于扩散模型的双手交互生成控制器林佩上海科技大学信息科学与技术学院，中国上海 ## 摘要现有的手部数据集大多覆盖范围有限，且由于手部的自遮挡和相似性特征，数据间的交互性较弱，尚无法满足双手交互运动生成的需求。为解决数据稀缺问题，我们提出了HandDiffuse12.5M——一种全新的真实数据集，包含具有强双手交互的时间序列。在现有的双手数据集中，HandDiffuse12.5M的规模最大、交互类型最丰富。我们进一步提出了强大的基线方法HandDiffuse，利用多种控制器实现可控的双手交互运动生成。具体而言，我们以扩散模型为骨干网络，针对不同的控制器设计了两种运动表示方式。为了减少伪影，我们还提出了交互损失函数，用于显式量化动态交互过程。我们的HandDiffuse可支持多种应用场景，比如运动插值以及轨迹控制的生成。实验表明，该方法在运动生成任务上的表现优于现有技术。该方法生成的逼真的双手运动还能用于构建合成数据集，提升现有手部动作捕捉算法的精度。数据集 — ## 引言紧密交互的双手在人类情感表达和沟通中发挥着至关重要的作用，也是自我身体互动的关键组成部分。可控的手部运动生成不仅能提升增强现实/虚拟现实（AR/VR）的体验，还能帮助机器人和虚拟形象从另一个维度表达情感。目前，人体运动生成领域已有大量研究成果（Tevet等人，2022b；Zhang等人，2022a；Chen等人，2023；Jiang等人，2023），但由于缺乏强交互双手数据集，强交互场景下的手部时序运动生成仍是一片空白。然而，由于双手交互存在自遮挡、相似性以及复杂的关节运动特性，数据集采集既耗时又昂贵。目前仅有少数数据集（Tzionas等人，2016；Moon等人，2020；Zuo等人，2023；Li等人，2023a；Moon等人， ![Image](images/14e3e990c47472cfe507dbdb38f2b0f8185c5f57caf85e0ea8f71dfa0aff5f47.jpg)

Figure 1: Overview: The proposed HandDiffuse12.5M benchmark dataset consists of temporal sequences with strong interaction. Based on it, we propose HandDiffuse, a strong baseline for the motion generation of interacting hands.

2023）专注于强交互双手的研究。其中大部分数据集，比如InterHand2.6M（Moon等人，2020）、Two-hand 500K（Zuo等人，2023）和RenderIH（Li等人，2023a），虽然提供了大规模离散帧数据，但可用的时间序列依然十分稀疏。这类数据严重缺乏足够的时间序列运动信息，因此不适合用于双手交互的运动生成任务。直到最近，同期研究Re:InterHand（Moon等人，2023）才提供了大规模的交互数据，不过该研究侧重于不同光照条件下交互双手的动作捕捉。为解决数据稀缺问题，本文首先贡献了一个真实数据集HandDiffuse12.5M，该数据集专注于采集具有强双手交互的多样化时间序列。我们的数据集包含多种模态数据，包括同步的50视角视频、3D关键点和手部姿态。它涵盖了随机复杂姿态下的交互手部运动、日常交流场景、手指舞蹈以及中国日常手语，共包含25万帧时序数据（$\approx$ 2小时），相当于约1250万张图片。为了解决这一问题 --- 由于手部交互中不可避免地会出现遮挡现象，我们手动标注了24万张图像中的关键点。值得注意的是，我们的HandDiffuse12.5M数据集不仅在时长上，而且在图像数量上，都是现有手部交互数据集中规模最大的。因此，它不仅为时间一致的双手运动生成研究开辟了新途径，也为未来手部建模领域的探索带来了巨大潜力。基于我们构建的新颖数据集，我们进一步提出了名为HandDiffuse的强基准算法。该算法对扩散模型（Ho、Jain和Abbeel，2020）进行了定制，以便在多种显式控制下生成生动的手部交互动作。需要注意的是，手部动作是情感表达的一种抽象形式，在交互过程中十根手指总是会聚在一起。因此，很难用具体的文本提示来描述这些动作，运动生成的控制也必须是显式的。为此，我们采用了几种显式控制器作为扩散模型的输入条件，包括离散关键帧、手腕轨迹以及2D关键点。这些条件能够实现各种下游应用，从手部动作的补间生成到借助轨迹辅助的手部动作补全（将手部动作与身体动作相连，见图1），还能协助进行手部动作重建。在HandDiffuse中，我们受模块化设计启发提出了Interacting Hands DDIM，针对不同的控制器设计了两种特定的运动表示方式，还引入了用于描述手部交互动态过程的新型交互损失函数，以减少伪影现象。最后，我们对所提方法进行了全面评估，并与最先进的运动生成方法（Tevet等人，2022b；Liang等人，2023；Lee等人，2024；Müller等人，2024）进行了比较。我们还展示了HandDiffuse能够为其他数据集提供数据增强支持的结果。初步结果表明，可控手部运动生成仍是一个极具挑战性的问题，而我们的数据集将持续助力这一新研究方向的进一步探索。总而言之，我们的主要贡献包括： - 我们贡献了一个名为HandDiffuse12.5M的大规模真实数据集，该数据集能够准确且时间一致地追踪在复杂且强烈的两手交互场景下的人手运动。 - 我们是首个专门聚焦于纯手部交互运动生成的研究团队，我们提出了一种强大的基准算法，能够从多种显式控制器生成手部交互动作，从而实现生动的动作补间、轨迹条件化控制以及手部重建。 - 我们提出了Interacting Hands DDIM、两种运动表示方式以及交互损失函数，显著提升了双手交互动作的生成效果。生成的动作能够为其他数据集提供数据增强支持。我们的数据集及相关代码将公开发布，以推动后续相关研究的发展。 ## 相关工作手部数据集。尽管手部数据集极大地推动了虚拟现实/增强现实、具身人工智能以及人机交互领域的发展，但从真实世界采集的数据中获取特定双手交互动作的基准真值仍颇具挑战性（Moon等人，2020；Li等人，2023a）。Moon等人（2020）尝试结合人工标注与自动标注，但人工标注工作量庞大。近期，Moon等人（2023）提高了2D关键点的检测精度并优化了手部重建过程，以实现全自动化标注方案，但这些方法依然耗时较长。因此，一些研究构建了合成手部数据集以提高标注精度（Zuo等人，2023年；Li等人，2023a；Zimmermann和Brox，2017年；Lin、Wilhelm和Martinez，2021年；Gao等人，2022年）。其中，RenderIH（Li等人，2023a）通过重新打光来增加数据多样性，而DART（Gao等人，2022年）则提供了多种手部配饰来弥合合成数据与真实数据之间的差距。然而，合成数据集无法兼顾动作多样性与序列连续性。部分研究（Li等人，2023a；Zuo等人，2023年）从真实数据集中分别提取左右手的单帧动作，并通过优化解决双手之间的遮挡问题。不过，这类优化方法对时间序列并不适用。因此，仅有极少数论文（Tzionas等人，2016年；Moon等人，2020年、2023年）收集了时序交互式手部数据集（Li等人，2023a）。手部捕捉与重建。双手重建是人类动作捕捉领域的一大挑战（Zuo等人，2023年）。InterHand2.6M数据集的发布（Moon等人，2020年）推动了众多基于回归的方法的发展（Rong等人，2021年；Baowen等人，2021年；Li等人，2022年；Hampali等人，2022年；Di和Yu，2022年；Fan等人，2021年；Kim、In Kim和Baek，2021年；Hao等人，2022年；Moon，2023年）。由于在实时性能与准确性之间取得了平衡，这些基于回归的方法极大地促进了VTuber以及VR/AR设备的发展。部分研究（Li等人，2022年；Park等人，2023年）提出了一种基于Transformer的网络，该网络利用左右手之间的交叉注意力机制。近期，Zuo等人（Zuo等人，2023年）构建了一种用于捕捉双手的学习型先验模型，并取得了优异成果。鉴于扩散模型在图像生成领域的出色表现（Ronneberger、Fischer和Brox，2015年；Song、Meng和Ermon，2020年；Ho、Jain和Abbeel，2020年），DiffHand（Li等人，2023b）将手部重建与扩散模型相结合。现有的手部捕捉算法也能借助合成数据得到提升。RenderIH（Li等人，2023a）和DART（Gao等人，2022年）已经证明，合成手部数据集能够提高捕捉精度。人体动作生成。近年来，人体动作生成领域受到了越来越多的关注，许多研究致力于基于条件信号生成人体动作。这些条件信号用于引导特定类型动作的生成，例如动作插值（Kaufmann ---

Dataset	Temporal Sequence	Source	# Views	Manually Annotation	Appearance
RenderIH (Li et al. 2023a)	No	Synthesis	-	No	Natural
Two-hand 500K (Zuo et al. 2023)	Partial	IMU+Synthesis	-	No	-
InterHand2.6M (Moon et al. 2020)	Partial	RGB	80	Yes	Lab
Re:InterHand (Moon et al. 2023)	Yes	RGB	26	No	Relighting
HandDiffuse12.5M(Ours)	Yes	RGB	50	Yes	Lab

Table 1: Dataset Comparisons. We compare our HandDiffuse12.5M dataset with other existing publicly available interacting-hand datasets. Our HandDiffuse12.5M dataset contains both strong interaction and temporal sequences, and has the largest scale.

等人，2020年；Harvey等人，2020年；Qin、Zheng和Zhou，2022年）、轨迹控制（Zhang等人，2021年；Rempe等人，2023年；Karunratanakul等人，2023年；Xie等人，2023年）以及无约束动作合成（Pavlakos等人，2019年；Yan等人，2019年；Zhao、Su和Ji，2020年）。以MDM的开创性工作为引领（Tevet等人，2023年），基于扩散架构的人体动作生成模型（Liang等人，2023年；Zhang等人，2022b；Du等人，2023年）相较于以往基于GAN（Lin和Amer，2018年）或VAE（Cai等人，2021年；Petrovich、Black和Varol，2021年）的模型，展现出了更好的动作多样性与表现力。不过，该领域的大多数现有研究主要聚焦于全身动作的生成，近期仅有少数研究（Lee等人，2024年；Zhang等人，2024年）尝试生成手部动作。利用扩散模型的能力，我们提出了一种名为HandDiffuse的新方法，能够借助关键帧、轨迹等控制信号完成交互式手部动作生成任务。 ### HandDiffuse12.5M数据集现有的手部动作捕捉解决方案包括IMU手套、弹性传感器手套、基于标记的系统以及多视角摄像头捕捉。然而，由于手部交互中存在严重的遮挡现象，基于标记的系统并不适用；虽然IMU手套和基于弹性传感器的捕捉方案理论上能够解决视觉遮挡问题，但IMU手套对校准要求严格，且在手部交互过程中很容易意外触碰传感器；而基于弹性传感器的捕捉方案则无法还原手指关节的所有自由度。因此，我们选择了与InterHand2.6M类似的多视角RGB方法结合人工标注的方案。我们的捕捉系统由50台安装好的摄像机组成，以每秒30-60帧的帧率记录交互序列。我们将分辨率调整为3840×2160，以便为捕捉手部动作分配更多像素。我们设计了四类手部交互动作用于录制：随机但复杂的手部交互、日常交流、手指切舞以及手语。受硬件限制，每个动作序列的时长被控制在大约一分钟以内。关于捕捉系统的更详细描述已展示在附录中。 2/3D关节坐标与MANO拟合在获取多视角视频序列后，我们利用SOTA级别的2D关键点检测器DWPose（Yang等人，2023年）来提取 ![Image](images/101031dde53074bfc68429531068f2f0492bbae0b8a1016a41fac7e45432bf9f.jpg)

Figure 2: The capture system and reprojection of MANO. The proposed HandDiffuse12.5M benchmark dataset consists of strong and various interaction with accurate annotation.

手部的2D关键点。随后通过对这些2D关键点进行三角测量，得到世界坐标系下的3D关键点，再通过优化可微分的MANO模型（Romero、Tzionas和Black，2017年）将其整合为3D姿态。拟合失败的帧会被筛选出来，并在图像上手动重新标注2D关键点。图2展示了部分包含强烈且多样手部交互的MANO重投影结果。受篇幅限制，关于数据集标注的详细流程以及我们用于拟合MANO的方法均在附录中说明。我们数据集的定量评估。我们的HandDiffuse12.5M数据集专注于时序序列，包含超过25万帧时序画面。如表1所示，它已成为所有手部交互数据集中规模最大的数据集。如图3所示，每个序列包含约1000到4000帧时序画面，平均每个动作序列的时序帧数为2955帧，中位数为3630帧。 --- ![Image](images/4382bbc33867b2d53b9a60663c9447b9a32dfbc63592ad727ead9f5d81b4dcda.jpg)

Figure 3: The distribution of HandDiffuse12.5M's temporal frames.

![Image](images/813ec12012f6e89f015ff4cdb1cb2cd1618e95794f293489de45c139278369b0.jpg)

Figure 4: t-SNE visualization of HandDiffuse12.5M(Ours), InterHand2.6M and Re:InterHand. For InterHand2.6M, we only choose its temporal frames. The result indicates the diversity and richness of HandDiffuse12.5M.

我们数据集内两只手关节之间的平均最短距离为3.61厘米，优于InterHand2.6M的4.04厘米和Re:InterHand的3.84厘米。如果两只手顶点之间的最短距离小于3毫米，则将样本归类为“接触状态”。我们数据集中手部接触的比例为57.3%，超过了InterHand2.6M的44.74%和Re:InterHand的52.7%。我们从数据集中随机选取了5000张图像，手动标注其中的2D关键点。在3840×2160的图像空间中，标注结果与3D关键点重投影之间的误差为每关键点11.3像素。MANO拟合误差为每关节4.3毫米。我们还通过可视化图4中的t-SNE结果，将我们的数据集与同样包含手部交互动作序列的InterHand2.6M（Moon等人，2020年）以及Re:InterHand（Moon等人，2023年）进行了比较。图4表明，与InterHand2.6M和Re:InterHand相比，我们的数据集呈现出更多样化的交互姿势。这归因于我们的数据集明确聚焦于用于生成任务的手部交互序列。综上所述，HandDiffuse12.5M包含1250万张图像和25万帧时序画面，是迄今为止规模最大的双手交互数据集。它提供了多种强交互动作以及精确的标注。 ## 方法图5展示了HandDiffuse的整体架构。借助HandDiffuse12.5M数据集，我们的目标是合成有无特定控制器c约束的两只手的运动序列x^{1:N}。这些选定的控制器在人体运动生成领域十分常见，能够指导交互式手部运动的合成，例如关键帧（中间过渡运动）、双腕轨迹（轨迹控制）以及2D关键点（3D手部重建）。与单人人体运动生成不同，生成交互式手部运动任务要求网络不仅要学习每只手的局部运动，还要掌握全局交互的动态过程。因此，我们采用模块化设计，分别学习单手的局部姿态和动态交互过程。我们还针对不同的控制器提出了两种特定的手部运动表示方式，并设计了交互损失函数（Loss_{interaction}）来更好地建模这种动态交互过程。受近期研究的启发，我们选用扩散模型作为核心架构，该模型在图像生成和人体运动生成领域展现出卓越的生成能力。扩散过程被建模为一个马尔可夫加噪过程，真实数据$\mathbf{x}_0^{1:N}$通过添加t步独立高斯噪声$\mathbf{x}_t^{1:N}$被转化为$\epsilon \sim \mathcal{N}(0, I)$。这一过程可以表述为： $$ q(\mathbf{x_{t}}|\mathbf{x_{0}})=\sqrt{\overline{{\alpha}}_{t}}\mathbf{x_{0}}+(1-\overline{{\alpha}}_{t}), $$ 其中$\overline{\alpha}_t = \prod_{s=0}^{t} \alpha_s$和$\alpha_t = 1 - \beta_t$。$\beta_t$是余弦噪声方差调度函数，当t足够大时，$q(\mathbf{x}_t)$近似等于$\mathcal{N}(0, I)$。随后，$\mathbf{x}_t$会被送入去噪器$\mathcal{G}$，该去噪器以时间步t和不同条件c为输入，用于预测$\hat{\mathbf{x}}_0$： $$ \begin{array}{r}{\hat{\mathbf{x}}_{\mathbf{0}}=\mathcal{G}(\mathbf{x}_{\mathbf{t}},t,c).}\end{array} $$ 两个去噪器与交互式手部DDIM：HandDiffuse采用模块化设计，应用了两个去噪器：单手去噪器（SHDe）和交互式手部去噪器（IHDe），以分别处理整个交互过程中的不同部分，如图5所示。 SHDe用于学习局部手部运动的特征，因此我们将手的全局平移和全局旋转设为0，提取局部关节位置（$J_{local}, \dot{J}_{local}$）和姿态（$\theta$）作为输入。通过将右手镜像为左手，我们仅需训练一个SHDe。通过最小化 $$ \mathbf{L o s s}_{r e c o n S H}=\|L_{G T}-\hat{L}_{0}\|_{2}, $$ 其中$\hat{L}_{0}$是去噪后的单手参数，$L_{GT}$为真实数据，我们借此建模单手的局部运动。训练好SHDe并冻结其参数后，我们将两只手生成的局部运动与t步噪声所代表的全局信息拼接起来，再将整个向量转换为指定的运动表示形式。IHDe专注于全局信息，同时也会对局部运动进行微调。在训练阶段，完成一轮去噪后，我们最小化 $$ \mathbf{L o s s}_{{I H D e}}=\mathbf{L o s s}_{{r e c o n D H}}+\mathbf{L o s s}_{{i n t e r a c t i o n}}, $$ $$ \mathbf{L o s s}_{r e c o n D H}=\|x_{G T}-\hat{x}_{0}\|_{2}, $$ 其中$\hat{x}_{0}$是去噪后的双手参数，$x_{GT}$为真实数据，$\text{Loss}_{\text{interaction}}$的具体含义将在后续说明。在推理阶段，去噪完成后，我们会重新加入 --- ![Image](images/add3aef16155fbc3bbd4a98f6acdbfee5af26ebf0f2738998753ab960cd751b7.jpg)

Figure 5: (Left) Overview of HandDiffuse We first generate the motions for each hand separately by training Single Hand Denoiser which only focuses on local poses. The generated two single hands’ local pose are concatenated with global information(noise) and transformed into designed motion representation. The interacting hands denoiser further optimizes the interaction process. (Right) Overview of Downstream Applications. When the control is key frames, we generate the final motions $\hat{x}_{0}^{1,N}$ by giving the first 5 frames $\mathbf{x}_{GT}^{5}$ and the last 5 frames $\mathbf{x}_{GT}^{-5}$ before denoising. When the control is wrists’ trajectories, we generate the final motion $\hat{x}_{0}$ by giving the root angular velocity and linear velocity in each frame before denoising. Other controls like 2D keypoints has been illustrated in Appendix due to the space limitation.

t-1步的噪声。我们将这一过程称为交互式手部DDIM。后续的评估结果证明了这种模块化设计的优越性。在模型架构方面，我们采用了与MDM（Tevet等人，2022b）类似的仅编码器Transformer结构。SHDe和IHDe结构相同，但维度不同。交互式手部的运动表示：针对不同任务，我们提出了两种特定的运动表示方式，分别称为局部表示（local rep）和全局表示（global rep）。局部表示受到HumanML3D（Guo等人，2022年）的启发，这是一种在人体运动生成领域广泛应用的方法。在每一帧中，左手的姿态由一个包含$(R, \tilde{T}, J_{local}, J_{local}, \theta)$的元组定义，右手则由$(R_{init}, T_{init}, \tilde{R}, \tilde{T}, J_{local}, J_{local}, \theta)$定义，其中$\tilde{R} \in \mathbb{R}^4$和$\tilde{T} \in \mathbb{R}^3$分别表示以四元数表示的根部角速度和线速度。$J_{local} \in \mathbb{R}^{3j}$和$J_{local} \in \mathbb{R}^{3j}$表示根部空间中的局部关节位置和速度，而$j = 21$代表关节的数量。$\theta \in \mathbb{R}^{4i}$表示以四元数形式表示的局部关节旋转，遵循MANO的骨骼结构，共有$i = 15$个关节。每个序列都以第一帧的左腕部作为坐标系原点进行对齐。左右手都会旋转，以使左手的R向量与$(1, 0, 0)$方向对齐，该方向在图5中有所展示。因此，右手具有$R_{init} \in \mathbb{R}^4$和$T_{init} \in \mathbb{R}^3$。全局表示被定义为双手的$(J_{global}, \dot{J}_{global}, \theta)$元组，其中$J_{global}$表示手关节在世界坐标系中的位置，双手采用与局部表示相同的方法进行归一化处理。在实验过程中，我们发现当给定手的全局旋转和平移时，局部表示在该任务中表现更好。而在无条件生成以及关键帧控制（中间运动）方面，全局表示则取得了更好的效果。交互损失 Loss $_{interaction}$；Loss $_{interaction}$ 的第一部分是接触势损失(Loss $_{potential}$)。在每一帧中，我们首先计算 21 个左手关节与 21 个右手关节（每只手掌额外采样 4 个关节）之间的 25 $\times$ 25 距离矩阵 D。由于手部之间的交互涉及细粒度运动，我们应关注手指关节彼此非常接近的情况。受 Contact Potential Field(Yang et al. 2021) 概念启发，我们进一步用弹簧模型的弹性势能来表示这些距离，其可描述为 $$ \mathbf{P}=1/2\mathbf{K}{~r e l u}(\tau-\|\mathbf{D}_{{p r e d}}\|_{2})^{2}, $$ --- ![Image](images/824b28eb78e687cb5aa91d56934a4fcf42ba623ef869ac0e2fe4bcc473ff0b9d.jpg)

Figure 6: Two Downstream Applications of HandDiffuse. The generation results of downstream applications of HandDiffuse.

其中K代表弹性系数，$\tau$表示距离阈值。手指关节之间的距离越近，获得的势能就越大；当距离超过阈值时，该距离将被过滤掉。此外，通过考虑距离的方向，我们可以避免由穿透引起的歧义，最终的接触势损失描述如下： $$ \mathbf{L o s s}_{p o t e n t i a l}=|\mathbf{P}_{p r e d}-\mathbf{P}_{g t}|(1+\overrightarrow{\mathbf{D}_{p r e d}}\times\overrightarrow{\mathbf{D}_{g t}}), $$ 其中$(x)$表示叉积。更多细节见附录。我们发现MANO对骨骼长度有严格要求。因此，$Loss_{interaction}$的第二部分是形状损失（$Loss_{shape}$）。我们通过计算左右手之间的骨骼长度差异，以及预测形状与真实值（GT）之间的差异，来确保手部形状的合理性。具体描述如下： $$ \mathbf{L o s s}_{{s h a p e}}=|\mathbf{B}\mathbf{L}_{{l e f t}}-\mathbf{B}\mathbf{L}_{{r i g h t}}|+|\mathbf{B}\mathbf{L}_{{p r e d}}-\mathbf{B}\mathbf{L}_{{G T}}|, $$ 其中BL表示骨骼长度。下游应用：在关键帧控制任务中，我们提供前五帧的$\mathbf{x}_{GT}^{1:N}$和最后五帧的$\mathbf{x}_{GT}^{-5}$作为真实值：用于扩散运动$\mathbf{x}_{t}^{1:N}$。在轨迹控制任务中，目标是在给定双手全局旋转和平移的情况下生成合理的局部运动。此时，我们提供$\hat{R}^{1:N}$和$\hat{T}^{1:N}$作为扩散运动$\mathbf{x}_{t}^{1:N}$的控制信号。结果展示在图6中。我们还通过应用2D关键点控制来探索HandDiffuse，实验表明HandDiffuse也能完成手部重建任务。由于篇幅限制，相关结果详见附录。 ## 实验在本节中，我们开展了多项实验，以评估我们的方法HandDiffuse在交互式手部运动生成任务中的表现。我们重点评估了：(1) 该方法与以往最先进方法的对比情况；(2) 消融实验结果。上述评估是针对两种控制器（关键帧和轨迹）进行的，而另一种控制器（2D关键点）的相关评估因篇幅限制放在附录中介绍。关于HandDiffuse增强现有数据集能力的更多实验也将在附录中呈现。模型训练时采用了T=1000次扩散步骤以及余弦噪声调度策略。去噪器包含8层结构，有4个注意力头，前馈维度为1024。所有实验中生成的运动序列长度N均设为200。这些模型均在单张NVIDIA GeForce RTX 3090 GPU上训练了约两天时间。不同方法的对比我们将我们的方法与MDM（Tevet等人，2023年，单人运动生成）、InterGen（Liang等人，2023年，交互式人体运动生成）、BUDDI（Müller等人，2024年，交互式人体的隐式表示）以及InterHandGen（Liang等人，2023年，单帧交互式手部运动生成）进行了比较。我们采用的评价指标是常用的弗里谢特初始距离（FID）、多样性指标以及sdf损失（SDF）。FID可用于衡量生成运动的真实度；多样性指标可证明运动并非为了保持真实度而始终维持平均姿态；当手部关节相互穿透时，SDF会取正值，否则为零。借助该公式，我们可以衡量整个运动过程中关节穿透的严重程度。我们计算这些指标的策略借鉴了MotionCLIP（Tevet等人，2022a）的方法，具体说明见附录。我们对这些方法进行了修改，使其运动表示能够支持手部运动生成。具体而言， --- ![Image](images/c1443042463e3f7d7ba07cf5a1f9c93abc38c01898b7cce41e0ce9e4868d5b87.jpg)

Figure 7: Qualitative comparison for different methods. For Unconstrained Generation, MDM tend to generate motion with hands shifting away from each other, while InterGen would generate motions with a mean pose. In terms of Trajectory Control, MDM yields satisfactory results, whereas InterGen generates motion without incorporating interaction.

Method	Unconditioned			In-betweening			Trajectory Control
Method	FID $\downarrow$	Diversity $\uparrow$	SDF $\downarrow$	FID $\downarrow$	Diversity $\uparrow$	SDF $\downarrow$	FID $\downarrow$	Diversity $\uparrow$	SDF $\downarrow$
real	0.050	12.034	1.146
MDM(Tevet et al. 2023)	0.526	10.366	1.74	0.616	10.258	1.621	0.205	11.265	1.572
InterGen(Liang et al. 2023)	0.251	4.928	0	0.269	5.385	1.032	0.402	9.102	3.572
BUDDI(Müller et al. 2024)	0.853	8.282	2.293	1.211	7.341	2.482	0.921	7.497	1.842
InterHandGen(Lee et al. 2024)	0.437	10.238	1.731	0.734	8.620	1.819	0.539	10.124	1.282
HandDiffuse(ours)	0.161	11.829	1.553	0.273	11.554	1.562	0.173	11.758	1.141

Table 2: Quantitative comparisons of different methods. We compare the FID and Diversity for different methods. '↓' indicates that results are better with lower metrics, $\uparrow$ is on the contrary. Bold means the best result.

Task	Unconditioned		In-betweening		Trajectory Control
Task	FID $\downarrow$	SDF $\downarrow$	FID $\downarrow$	SDF $\downarrow$	FID $\downarrow$	SDF $\downarrow$
real	0.050	1.146	-	-	-	-
w Global rep.	0.161	1.553	0.273	1.562	0.418	1.347
w Local rep.	0.431	1.962	0.567	1.971	0.173	1.141
w/o SHDe	0.168	1.575	0.282	1.571	0.182	1.538
w/o Losspotential	0.171	1.606	0.317	1.628	0.210	1.614
w/o Lossshape	0.390	1.583	0.512	1.579	0.380	1.245
Complete model	0.161	1.553	0.273	1.562	0.173	1.141

Table 3: Quantitative comparisons. "w/o SHDe" means IHDe is the only denoiser. SDF is only calculated on frames with penetration.

我们调整了InterHandGen，使其能按照原有流程生成连续帧：首先生成200帧左手运动数据，再基于左手运动数据生成右手运动数据。我们还对BUDDI进行了适配以实现连续帧生成，将每帧的运动视为一个标记，并保留了“人物嵌入”组件来区分不同的手。如图7所示，MDM和InterGen在生成手部运动时均存在局限，它们生成的运动序列往往存在严重的关节穿透现象、不自然的交互动作或静态的平均姿态。如表2所示，HandDiffuse的生成结果多样性最高。由于无条件约束下的InterGen生成的运动是静态的，因此其FID值比我们的结果更低，且不存在关节穿透现象。消融实验首先，我们在表3中展示了不同运动表示在不同任务中的有效性，定性结果见附录。通过引入损失函数$_{interaction}$，我们缓解了关节穿透问题，从而提升了运动生成的质量。表3表明，采用合适的运动表示和损失函数$_{interaction}$时，具有模块化设计的交互式手部DDIM模型性能最佳。 ## 结论我们推出了HandDiffuse12.5M，这是目前规模最大的包含强交互和时序序列的手部数据集，旨在为手部交互运动生成的研究开辟新方向。我们提出了强大的基线方法HandDiffuse，这是首个针对手部交互运动生成的方法，同时提供了一些实用的控制器：关键帧控制、轨迹控制和2D关键点控制。多阶段的评估结果表明，我们的方法相较于其他方法更具优势，HandDiffuse填补了人体运动生成领域的空白。 --- ## 致谢我们衷心感谢上海科技大学VDI实验室的所有学生和教职员工，在本实验过程中给予我们的宝贵帮助和指导。我们也感谢VDI实验室提供的拍摄设备。此外，我们还要感谢我们的合作者：徐思航、杨宏迪、刘一冉、陈欣、王静雅、虞静怡和徐岚，他们为本研究做出了重要贡献。 ## 参考文献 Baowen, Z.; Yangang, W.; Xiaoming, D.; Yinda, Z.; Ping, T.; Cuixia, M.; 和 Hongan, W. 2021. 基于单张彩色图像的双手3D姿态与形状重建。载于国际计算机视觉大会（ICCV）。 Cai, Y.; Wang, Y.; Zhu, Y.; Cham, T.-J.; Cai, J.; Yuan, J.; Liu, J.; Zheng, C.; Yan, S.; Ding, H.; 等. 2021. 基于条件变分自编码器的统一3D人体运动合成模型。载于IEEE/CVF国际计算机视觉会议论文集，第11645–11655页。 Chen, X.; Jiang, B.; Liu, W.; Huang, Z.; Fu, B.; Chen, T.; 和 Yu, G. 2023. 通过潜空间中的运动扩散来执行你的指令。载于IEEE/CVF计算机视觉与模式识别会议论文集，第18000–18010页。 Di, X.; 和 Yu, P. 2022. LWA-HAND：用于手部交互重建的轻量级注意力手部模型。arXiv:2208.09815。 Du, Y.; Kips, R.; Pumarola, A.; Starke, S.; Thabet, A.; 和 Sanakoyeu, A. 2023. 虚拟形象长出双腿：利用扩散模型从稀疏跟踪输入生成平滑的人体运动。载于IEEE/CVF计算机视觉与模式识别会议论文集，第481–490页。 Fan, Z.; Spurr, A.; Kocabas, M.; Tang, S.; Black, M.; 和 Hilliges, O. 2021. 通过概率性逐像素部件分割来消除强交互手部的歧义。载于国际3D视觉会议（3DV）。 Gao, D.; Xiu, Y.; Li, K.; Yang, L.; Wang, F.; Zhang, P.; Zhang, B.; Lu, C.; 和 Tan, P. 2022. DART：带有多种配饰和丰富纹理的关节化手部模型。载于第三十六届神经信息处理系统会议数据集与基准测试赛道。 Guo, C.; Zou, S.; Zuo, X.; Wang, S.; Ji, W.; Li, X.; 和 Cheng, L. 2022. 从文本生成多样且自然的三维人体运动。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第5152–5161页。 Hampali, S.; Sarkar, S. D.; Rad, M.; 和 Lepetit, V. 2022. 关键点变换器：解决复杂手部与物体交互中的关节识别问题，实现精准的3D姿态估计。载于IEEE计算机视觉与模式识别会议。 Hao, M.; Sheng, J.; Wentao, L.; Chen, Q.; Mengxiang, L.; Wanli, O.; 和 Ping, L. 2022. 通过手部去遮挡与移除实现三维手部交互姿态估计。载于欧洲计算机视觉会议（ECCV）。 Harvey, F. G.; Yurick, M.; Nowrouzezahrai, D.; 和 Pal, C. 2020. 鲁棒的运动补间技术。《ACM图形学交易》第39卷第4期。 Ho, J.; Jain, A.; 和 Abbeel, P. 2020. 去噪扩散概率模型。《神经信息处理系统进展》第33卷：6840–6851页。 Jiang, B.; Chen, X.; Liu, W.; Yu, J.; Yu, G.; 和 Chen, T. 2023. MotionGPT：将人体运动视为一种外语。arXiv预印本arXiv:2306.14795。 Karunratanakul, K.; Preechakul, K.; Suwajanakorn, S.; 和 Tang, S. 2023. GMD：通过引导式扩散模型实现可控的人体运动合成。arXiv预印本arXiv:2305.12577。 Kaufmann, M.; Aksan, E.; Song, J.; Pece, F.; Ziegler, R.; 和 Hilliges, O. 2020. 用于人体运动填补的卷积自编码器。收录于2020年国际3D视觉会议（3DV），第918–927页。 Kim, D. U.; In Kim, K.; 和 Baek, S. 2021. 两只交互手端的端到端检测与姿态估计。收录于2021年IEEE/CVF国际计算机视觉会议（ICCV），第11169–11178页。 Lee, J.; Saito, S.; Nam, G.; Sung, M.; 和 Kim, T.-K. 2024. InterHandGen：通过级联反向扩散生成双手交互动作。收录于IEEE计算机视觉与模式识别会议（CVPR）。 Li, L.; Tian, L.; Zhang, X.; Wang, Q.; Zhang, B.; Liu, M.; 和 Chen, C. 2023a. RenderIH：一个用于3D交互手部姿态估计的大规模合成数据集。arXiv预印本arXiv:2309.09301。 Li, L.; Zhuo, L.; Zhang, B.; Bo, L.; 和 Chen, C. 2023b. DiffHand：通过扩散模型实现端到端手部网格重建。arXiv:2305.13705。 Li, M.; An, L.; Zhang, H.; Wu, L.; Chen, F.; Yu, T.; 和 Liu, Y. 2022. 用于单图像双手重建的交互式注意力图。收录于2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），第2751–2760页。 Liang, H.; Zhang, W.; Li, W.; Yu, J.; 和 Xu, L. 2023. InterGen：基于扩散模型的复杂交互下多人运动生成。arXiv预印本arXiv:2304.05684。 Lin, F.; Wilhelm, C.; 和 Martinez, T. 2021. 基于单目RGB图像的双手全局3D姿态估计。收录于IEEE/CVF应用计算机视觉冬季会议（WACV）论文集，第2373–2381页。 Lin, X.; 和 Amer, M. R. 2018. 基于dvgans的人体运动建模。arXiv预印本arXiv:1804.10652。 Moon, G. 2023. 为野外3D交互手部恢复将输入映射到共享域。收录于CVPR。 Moon, G.; Saito, S.; Xu, W.; Joshi, R.; Buffaloini, J.; Bellan, H.; Rosen, N.; Richardson, J.; Mallorie, M.; Bree, P.; Simon, T.; Peng, B.; Garg, S.; McPhail, K.; 和 Shiratori, T. 2023. 一组重新打光的3D交互手部数据集。收录于NeurIPS数据集与基准测试赛道。 Moon, G.; Yu, S.-I.; Wen, H.; Shiratori, T.; 和 Lee, K. M. 2020. InterHand2.6M：基于单张RGB图像的3D交互手部姿态估计数据集及基线。收录于欧洲计算机视觉会议（ECCV）。 --- Müller, L.; Ye, V.; Pavlakos, G.; Black, M. J.; 和 Kanazawa, A. 2024. 生成式 proxemics：一种基于图像的3D社交互动先验。计算机视觉与模式识别会议（CVPR）。 Park, J.; Jung, D. S.; Moon, G.; 和 Lee, K. M. 2023. 用于3D交互手部网格恢复的提取与适配网络。arXiv:2309.01943。 Pavlakos, G.; Choutas, V.; Ghorbani, N.; Bolkart, T.; Osman, A. A. A.; Tzionas, D.; 和 Black, M. J. 2019. 富有表现力的身体捕捉：从单张图像中重建3D手部、面部和身体。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。 Petrovich, M.; Black, M. J.; 和 Varol, G. 2021. 基于Transformer VAE的动作条件化3D人体运动合成。载于IEEE/CVF国际计算机视觉会议论文集，第10985–10995页。 Qin, J.; Zheng, Y.; 和 Zhou, K. 2022. 基于两阶段Transformer的中间动作生成。ACM图形学交易（TOG），41(6)：1–16。 Rempe, D.; Luo, Z.; Bin Peng, X.; Yuan, Y.; Kitani, K.; Kreis, K.; Fidler, S.; 和 Litany, O. 2023. Trace和Pace：通过引导式轨迹扩散实现可控的行人动画。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第13756–13766页。 Romero, J.; Tzionas, D.; 和 Black, M. J. 2017. 具身化手部：手部与身体的联合建模与捕捉。ACM图形学交易（SIGGRAPH Asia会议论文集），36(6)。 Rong, Y.; Wang, J.; Liu, Z.; 和 Loy, C. C. 2021. 基于单目摄像头的互动手部3D重建：利用碰撞感知的分解式优化方法。载于3D视觉国际会议。 Ronneberger, O.; Fischer, P.; 和 Brox, T. 2015. U-Net：用于生物医学图像分割的卷积网络。arXiv:1505.04597。 Song, J.; Meng, C.; 和 Ermon, S. 2020. 去噪扩散隐式模型。arXiv预印本arXiv:2010.02502。 Tevet, G.; Gordon, B.; Hertz, A.; Bermano, A. H.; 和 Cohen-Or, D. 2022a. MotionCLIP：将人体运动生成映射到CLIP空间。arXiv预印本arXiv:2203.08063。 Tevet, G.; Raab, S.; Gordon, B.; Shafir, Y.; Bermano, A. H.; 和 Cohen-Or, D. 2022b. 人体运动扩散模型。arXiv预印本arXiv:2209.14916。 Tevet, G.; Raab, S.; Gordon, B.; Shafir, Y.; Cohen-or, D.; 和 Bermano, A. H. 2023. 人体运动扩散模型。载于第十一届学习表征国际会议。 Tzionas, D.; Ballan, L.; Srikantha, A.; Aponte, P.; Pollefeys, M.; 和 Gall, J. 2016. 利用判别性显著点和物理仿真捕捉动态中的手部动作。国际计算机视觉杂志（IJCV）。 Xie, Y.; Jampani, V.; Zhong, L.; Sun, D.; 和 Jiang, H. 2023. OmniControl：对任意时间任意关节的人体运动进行精准控制。arXiv预印本arXiv:2310.08580。 Yan, S.; Li, Z.; Xiong, Y.; Yan, H.; 和 Lin, D. 2019. 基于骨架的动作合成的卷积序列生成。载于IEEE/CVF国际计算机视觉会议论文集，第4394–4402页。 Yang, L.; Zhan, X.; Li, K.; Xu, W.; Li, J.; 和 Lu, C. 2021. CPF：学习接触势场以建模手-物体交互。载于ICCV。 Yang, Z.; Zeng, A.; Yuan, C.; 和 Li, Y. 2023. 采用两阶段蒸馏技术实现高效全身姿态估计。载于IEEE/CVF国际计算机视觉会议论文集，第4210–4220页。 Zhang, M.; Cai, Z.; Pan, L.; Hong, F.; Guo, X.; Yang, L.; 和 Liu, Z. 2022a. MotionDiffuse：基于扩散模型的文本驱动人体运动生成。arXiv预印本arXiv:2208.15001。张S.、马Q.、张Y.、钱Z.、Kwon T.、Pollefeys M.、Bogo F.和唐S. 2022b。Egobody：基于头戴式设备获取交互人群的人体形状与运动数据。载于欧洲计算机视觉会议论文集，第180–200页。Springer出版社。张S.、张Y.、Bogo F.、Pollefeys M.和唐S. 2021。面向3D场景中4D人体捕捉的运动先验学习。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第11343–11353页。张W.、黄M.、周Y.、张J.、余J.、王J.和徐L. 2024。BOTH2Hands：结合文本提示与身体动态信息推断3D手部姿态。载于计算机视觉与模式识别会议（CVPR）。赵R.、苏H.和季Q. 2020。贝叶斯对抗式人体运动合成。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。 Zimmermann C.和Brox T. 2017。从单张RGB图像估计3D手部姿态的学习方法。技术报告，arXiv:1705.01389。。左B.、赵Z.、孙W.、谢W.、薛Z.和王Y. 2023。利用交互先验从单目图像重建交互手部模型。载于IEEE/CVF国际计算机视觉会议论文集。