# 基于遮挡感知的稀疏3D手部关节的可控第一人称视频生成
张晨阳光$^{1*}$、叶博涛$^{1,2*}$、陈博奇$^{1,2*}$、亚历山德罗斯·德利扎斯$^{1,3}$、王方金华$^{1}$、马克·波勒费斯$^{1,4}$、王曦$^{1}$
$^{1}$苏黎世联邦理工学院 $^{2}$ETH人工智能中心 $^{3}$马克斯·普朗克信息学研究所 $^{4}$微软
摘要：面向复杂手物交互的可控视频生成，是构建视觉世界模型的关键一步。然而现有方法往往难以在生成的视频中实现细粒度、符合3D几何规律的手部动作。由于依赖密集的2D轨迹或隐式姿态表示，这些方法会将关键的几何结构简化为空间上模糊的信号，导致在第一人称视角下的遮挡场景下出现严重的运动不一致现象和幻觉伪影。为解决这一问题，我们提出利用稀疏3D手部关节作为显式的控制信号，这类信号具备三大优势：能够明确解析遮挡区域、为交互式编辑提供直观的界面，以及可推广到机器人手等不同类型的身体结构上。基于此，我们的高效控制模块会通过惩罚来自隐藏关节的不可靠视觉特征，从源参考帧中提取出遮挡感知特征；同时采用基于3D的加权机制，在运动传播过程中处理动态遮挡的目标关节。此外，该模块还会直接将3D几何嵌入注入潜空间，以确保结构一致性。为了支撑稳健的训练与评估，我们开发了自动化标注流程，最终获得了100万个配有精确手部轨迹的高质量第一人称视频片段。实验表明，我们的方法优于现有最先进的基线模型，能够生成具有逼真手物交互效果的高保真第一人称视频。
关键词：第一人称视觉 · 世界模型 · 视频生成
## 1 引言
生成式模型的最新发展正推动视频合成技术突破单纯的内容创作范畴，为能够模拟复杂物理现实的视觉世界模型奠定基础[^1] [^4] [^21] [^46] [^56]。为实现这一愿景，研究重点已逐渐转向运动可控的视频生成，旨在实现对动作动态的精准掌控[^6] [^10] [^23] [^43] [^55]。这种可控性在第一人称场景中尤为重要，因为细粒度的手物交互直接决定了感知的真实性。在此类场景中，模型必须同时保留高频的动作细节、在频繁遮挡的情况下保持几何合理性，并严格遵循具有空间一致性的动作轨迹。
---
Fig. 1: Comparison to existing controllable video generation methods. In contrast to existing track- and pose-based methods, we leverage sparse 3D hand joints as a direct control signal, unlocked by our occlusion-aware conditioning and 3D geometric embeddings. As a result, our method generates crisp, high-fidelity hands that align with complex motions even under heavy occlusion across different embodiments.
然而，现有的控制范式难以满足这些要求。基于轨迹的方法[^6] [^11] [^43] [^59] [^61]将运动流视为孤立的二维点轨迹，忽略了手的刚性结构完整性，且缺乏深度感知能力，因此在处理复杂交互时会产生不真实的运动细节。基于姿态的方法[^24] [^33]利用隐式的姿态信号来表示手部运动，通常遵循两种策略：一种是将姿态编码为压缩的低频潜在流形[^33] [^44]，这种方式会平滑掉细微的动作细节，从而削弱生成器所需的高频空间线索，常常产生时间上平均化或飘忽不定的运动伪影[^14] [^24] [^63] [^64]；另一种是将姿态投影到二维骨骼图或掩码上[^24] [^32]。尽管这种投影方式具有可解释性，但它会将三维几何结构简化为模糊的二维信号。当手指相互交叉或遮挡时，重叠的结构会造成视觉混乱和顺序上的歧义，从而阻碍精确控制（见图1）。此外，姿态表示的隐式性和潜在性也导致无法在用户界面中进行直观的交互式编辑。
我们的见解是：稀疏的三维手部关节能提供更合适的第一人称视频生成控制信号，原因在于它们具备：(1) 可解决遮挡歧义的明确三维几何信息；(2) 用于交互式用户编辑的稀疏且直观的界面；(3) 与具体实体无关、天然支持跨实体泛化的表示方式。具体而言，与嵌入了特定于人类的刚性运动学假设的密集骨骼图或潜在姿态编码不同，稀疏三维关节将关节动作表示为无约束的空间坐标。这种灵活性不仅使我们的框架能够提升人类第一人称视频的保真度，还能无缝应用于机器人灵巧操作[^36] [^60]，而无需复杂的领域适配（详见补充材料）。
不过，将三维关节直接注入第一人称图像到视频生成模型并非易事，这会引发两个根本性挑战。首先是遮挡歧义问题：第一人称交互中手指与物体之间会出现严重且动态的相互遮挡现象，模型必须明确判断各关节的可见状态，以避免特征污染和轨迹冲突。这一挑战表现为两种形式：(1) 源遮挡：在参考帧中，被遮挡的关节不应贡献不可靠的视觉特征；否则，隐藏的关节可能会继承错误的纹理，从而在后续显示时产生幻觉。(2) 目标遮挡：在运动传播过程中，前景中的手指常常会越过背景中的手指；若没有三维感知的条件约束，特征可能会被错误地分配到不同图层，从而产生手指合并或相交等解剖学伪影。其次是三维结构的保持问题：若将三维关节简单地投影到二维特征空间，就会丢失深度和结构先验，进而削弱三维控制的核心优势。为了实现高保真生成，必须将语义身份和几何关系直接融入生成过程。
---
可见性状态，从而避免特征污染和轨迹冲突。这一挑战表现为两种形式：(1) 源遮挡：在参考帧中，被遮挡的关节不应贡献不可靠的视觉特征；否则，隐藏的关节可能会继承错误的纹理，导致后续显示时出现幻觉。(2) 目标遮挡：在运动传播过程中，前景中的手指常常会越过背景中的手指；若没有三维感知的条件约束，特征可能会被错误地分配到不同图层，从而产生手指合并或相交等解剖学伪影。其次是如何保持三维结构：若采用将三维关节投影到二维特征空间的简单条件策略，就会丢失深度和结构先验，进而削弱三维控制的关键优势。要实现高保真生成，必须将语义身份和几何关系直接纳入生成过程。
为应对这些挑战，我们提出了一种新颖的、能感知遮挡且保持几何一致性的控制框架，用于第一人称图像到视频的生成（见图1）。首先，我们通过显式建模源帧和目标帧中的遮挡情况，来构建感知遮挡的运动条件特征。在源参考帧中，我们通过聚合各关节周围的局部视觉上下文来采样潜空间VAE特征，同时利用遮挡惩罚策略过滤掉不可靠的信号。随后，这些优化后的特征会沿着三维手部关节轨迹传播到目标帧。为处理运动过程中的动态目标遮挡问题，我们引入了基于三维的加权机制，自适应地调整各关节的特征贡献，从而确保在严重相互遮挡情况下仍能实现稳健的运动特征调控。最后，为充分利用生成过程中稀疏手部关节所蕴含的语义与几何信息，我们构建了包含三维坐标信息和可学习语义索引的三维几何嵌入。尽管该框架显式建模了遮挡和三维几何关系，但整个控制模块依然轻量，对预训练潜空间的影响极小，因此能够高效地与现代视频生成模型集成。
此外，我们发现目前缺乏用于训练和评估具备精准三维手部轨迹的可控第一人称视频生成模型的大规模基准测试集。为填补这一空白，我们开发了一套自动标注与过滤流程。利用Ego4D数据集[^12]，我们生成了100万个高质量、带有精准手部轨迹的视频片段。在Ego4D和EgoDex[^17]数据集上的大量实验表明，我们的方法优于现有方案，在强遮挡环境下控制复杂第一人称运动时的精度更高。此外，我们的框架还能实现交互式的精细化微操作，用户甚至可以控制单个关节的独立运动。
## 2 相关工作
视频生成模型。早期视频生成技术的进步主要依赖于潜扩散模型 [^39]（例如 3D U-Net [^4]）来维持时空一致性。近年来，该领域发生了范式转变，转向使用扩散变换器（DiTs）[^34]，这类模型利用Transformer架构的可扩展性来处理长距离时间依赖关系。
---
最先进的开源模型如WAN [^46]和HunyuanVideo [^22]，在照片级真实感细节方面显著缩小了开源系统与专有系统之间的质量差距。尽管这些基于DiT的模型具备强大的生成能力，但它们缺乏对局部动态进行精确、细粒度控制的机制。我们的工作通过利用稀疏的手部关节作为显式信号，实现了简洁且具备3D感知能力的控制，从而指导复杂的第一人称视频生成。
视频生成中的运动控制。早期对运动控制型视频生成的探索主要集中在无需训练的方法上[^19] [^28] [^30] [^37]，这类方法通过优化输入的含噪潜变量或调整注意力机制来实现零样本引导。随后，基于微调的方法成为主流范式[5,7,11,15,25,26,42,49–51,55,58,65,67]，它们利用辅助适配器将各种运动信号注入基础模型。在各种控制模式中，点轨迹已成为指导通用运动的统一表示[^11] [^42] [^47] [^55] [^57] [^59] [^61] [^65]。最近，Wan-Move[^6]和MotionStream[^43]等前沿方法通过将二维点轨迹直接注入潜空间以提供运动上下文，进一步推动了这一范式的发展。尽管取得了普遍成功，但基于二维轨迹的方法却忽略了以自我为中心的交互所必需的结构完整性和三维感知能力，常常无法解决严重的遮挡问题，还会产生结构幻觉。为克服这一难题，我们的方法利用稀疏的三维手部关节，通过遮挡感知的条件化和三维几何嵌入，明确应对三维到二维信息丢失的固有挑战。
以自我为中心的世界模型。视频生成领域的快速发展推动了以自我为中心的世界模型的开发，这类模型能够模拟第一人称动态，从而助力虚拟现实（VR）和机器人技术领域的应用。其中一条重要的研究路线是通过将生成先验条件化于人体姿态、轨迹和行动信号等模态上，来合成展现各种受控人类行为的以自我为中心的内容[^2] [^15] [^33] [^44] [^48] [^52] [^53] [^62] [^64]。在这些以人为中心的模拟基础上，另一类相关研究致力于为机器人社区弥合实体化差距[^3] [^8] [^9] [^13] [^20] [^27] [^29] [^31] [^41]。这些方法将人类行为先验转化为实体化机器人。虽然现有方法能够成功捕捉整体动态，但往往缺乏模拟灵巧交互所需的精细运动学保真度。我们的方法通过稀疏关节将精确的三维控制集成到生成式世界模型中，从而实现用于VR渲染和机器人学习的高保真合成。
## 3 方法
### 3.1 preliminaries：视频生成模型
我们的方法基于WAN框架[^46]构建，该框架将视频生成表述为一个连续时间条件下的流匹配问题。流匹配将生成过程建模为一个确定性的常微分方程（ODE），该方程将样本从简单的先验分布转移到数据分布。设$x_1 \sim p_{\text{video}}$为真实视频的潜变量表示，
---
Fig. 2: Method overview. Our framework uses sparse 3D hand joints to represent motions by constructing two embedding streams. The occlusion-aware motion feature is yielded by first penalizing occluded regions to extract reliable context from the source frame, and then propagating it with modulating 3D-aware feature weights to handle target occlusion. The 3D geometric embedding is formed by processing this motion feature along with 3D joint coordinates and semantic embeddings through a Causal Conv3D block. Finally, both embeddings are concatenated with the noisy latent and fed into LoRA-adapted DiT blocks.
它由3D-VAE编码而成；设$x_0 \sim \mathcal{N}(0, I)$为从先验分布中采样得到的高斯噪声。条件概率路径由$x_0$与$x_1$之间的线性插值定义：$(1 - t)x_0 + tx_1, t \in [0,1]$。该路径的时间导数是一个常数，其表达式为$\frac{dx_t}{dt} = x_1 - x_0$。
一种时间条件神经网络$v_{\theta}(x_{t}, t, c)$，它被参数化为以多模态上下文c（如文本、参考图像或控制信号）为条件的DiT，其训练目标是逼近该目标速度场：
$$ \mathcal{L}=\mathbb{E}_{t\sim\mathcal{U}(0,1),x_{0},x_{1},c}\left[\left\|v_{\theta}(x_{t},t,c)-(x_{1}-x_{0})\right\|^{2}\right]. $$
在推理阶段，通过数值ODE求解器求解学习到的ODE$\frac{\mathrm{d}x_t}{\mathrm{d}t} = v_\theta(x_t, t, c)$，从t=0到t=1生成视频样本，从而将先验样本映射到视频数据流形中。
标准的WAN框架是在全局上下文中对速度场$v_\theta$进行条件约束，这种方式不足以定义精确的灵巧操作。我们的工作通过引入稀疏的3D手部关节$\mathbf{J} \in \mathbb{R}^{F \times N \times 3}$作为显式的运动引导，专注于第一人称视频生成的细粒度运动控制。
### 3.2 遮挡感知的3D手部运动控制
我们的框架（图2）通过将稀疏的3D手部关节整合到图像到视频的生成过程中，来解决第一人称交互中的两个特定挑战。首先，为解决相互遮挡带来的歧义问题，我们设计了遮挡感知的运动条件化策略。该策略包含两个阶段：（1）在源参考帧中进行去除遮挡后的上下文聚合，以避免来自遮挡部分的特征污染；（2）遮挡感知的特征传播，用于在目标帧生成期间调节特征的影响。其次，为了充分利用3D关节的空间丰富性，我们将3D几何嵌入直接对齐到视频潜空间，从而编码关节活动语义和3D一致性。
---
遮挡去除后的上下文聚合。为了指导后续帧的生成，我们首先旨在从源图像的VAE潜空间中提取与每个手部关节对应的视觉上下文特征。然而，稀疏性和源遮挡这两个障碍阻碍了简单的特征采样。
遮挡消除后的上下文聚合。为了引导后续帧的生成，我们首先需要从源图像中对应每个手部关节的VAE隐变量中提取视觉上下文特征。然而，简单的特征采样面临两个障碍：稀疏性和源图像遮挡。
与基于轨道的方法 [^6] [^43] 不同——这些方法依赖密集点网格以获得更好的性能 [^6]——手部关节本质上是稀疏的（ $N \leq 42$）。仅依赖投影坐标处的单像素特征无法为复杂的手-物交互捕获足够的上下文信息。为解决此问题，我们通过建模每个关节的空间影响来聚合局部特征。给定源相机坐标系中的3D手部关节集合 $\mathcal{J}_{src} = \{\mathbf{J}_i\}_{i=1}^N$，我们将其投影到2D坐标和视差（逆深度）图 $\mathbf{u}_i, d_i = \Pi(\mathbf{J}_i, \mathbf{K})$，使用相机内参 $\mathbf{K}$。然后，我们生成局部高斯热图 $\mathbf{M}_i(\mathbf{x}) = \exp\left(-\frac{\|\mathbf{x} - \mathbf{u}_i\|_2^2}{2\sigma^2}\right) \in \mathbb{R}^{H \times W}$，对应网格位置 $\mathbf{x} \in \mathbb{R}^2$，针对每个关节 i，其中 $\sigma$ 控制空间带宽，定义上下文聚合的感受野。
虽然这种高斯池化操作能够捕捉上下文信息，但在自遮挡情况下却存在特征污染的风险。例如，若源视图中拇指遮挡了食指，那么围绕食指投影位置的简单聚合操作就会错误地采样到拇指的纹理。若利用这种受污染的特征在后续帧中生成食指，便会导致严重的幻觉现象。为解决这一问题，我们定义了一个成对遮挡惩罚项$P_{i \leftarrow j}$，用于表示关节j遮挡关节i的可能性：
$$ P_{i\leftarrow j}=\underbrace{\exp\left(-\frac{\|\mathbf{u}_{i}-\mathbf{u}_{j}\|_{2}^{2}}{2\tau^{2}}\right)}_{\mathrm{Spatial~Overlap}}\cdot\underbrace{\sigma\left(\gamma(d_{j}-d_{i})\right)}_{\mathrm{Depth~Ordering}}, $$
其中$\sigma(\cdot)$为Sigmoid函数。当关节j比关节i更靠近相机时（$\sigma(\gamma(d_j - d_i))$），该项$d_j > d_i$的值会趋近于1，表明发生遮挡的概率很高。
最终，我们从源隐层映射中提取净化后的上下文特征$\mathbf{f}_i$ $\mathcal{Z}_0$。我们通过以下方式对特征进行门控平均池化处理：
$$ \mathbf{f}_{i}=\left(1-\max_{j\neq i}(P_{i\leftarrow j})\right)\cdot\sum_{\mathbf{x}}\left(\frac{\mathbf{M}_{i}(\mathbf{x})}{\sum_{\mathbf{x}^{\prime}}\mathbf{M}_{i}(\mathbf{x}^{\prime})+\epsilon}\cdot\mathcal{Z}_{0}(\mathbf{x})\right). $$
这种操作能有效过滤信号：如果某个关节被遮挡（可见性为$1 - \max_{j \neq i} \approx 0$），它对特征的贡献就会被抑制，从而防止错误的纹理信息传播出去。
遮挡感知的特征传播。一旦提取出干净的源特征$f_i$，接下来的挑战是如何沿着3D手部关节的轨迹，将它们传播到目标帧$t \in \{1, \ldots, T\}$中，从而为生成过程提供精准的运动引导。若直接对特征进行简单求和处理，
---
由于目标区域的遮挡问题，在目标位置[^6]处的特征图会失效：当前景手指与背景手指交叉时，它们的投影会重叠。若不采用显式的3D处理方式，特征就会错误混合，或者背景特征可能掩盖前景特征。为解决这种轨迹冲突，我们提出了一种基于3D的加权机制。它相当于一个可微分的Z缓冲器，在特征传播过程中会动态地为距离摄像头更近的关节赋予更高的权重。
对于每一帧t，我们会在投影关节位置$\mathbf{M}_{i,t} \in \mathbb{R}^{H \times W}$处生成以之为中心的目标高斯热图$\mathbf{u}_{i,t}$，并获取其对应的视差数值$d_{i,t}$。我们为像素$\mathbf{A}_{i,t}(\mathbf{x})$处的每个关节i计算一个密集的注意力权重图$\mathbf{x}$，利用深度信息来调节空间热图的强度：
$$ \mathbf{A}_{i,t}(\mathbf{x})=\operatorname{s o f t m a x}_{i}\left(\operatorname{l o g}(\mathbf{M}_{i,t}(\mathbf{x})+\epsilon)+\lambda\cdot d_{i,t}\right), $$
其中$\lambda$是一个可学习的缩放因子，用于控制深度优先级的锐度。对数项确保了基础影响由空间邻近性决定，而线性视差项则提升了前景关节的logit值。因此，在多个关节重叠的像素处，softmax会将大部分权重分配给距离摄像头最近的关节。
最终的运动条件特征图$\mathcal{F}_{motion}(\mathbf{x}, t)$是通过对源特征进行加权求和得到的：
$$ \mathcal{F}_{m o t i o n}(\mathbf{x},t)=\underbrace{\left(\sum_{i=1}^{N}\mathbf{A}_{i,t}(\mathbf{x})\cdot\mathbf{f}_{i}\right)}_{Normalized~Feature}\cdot\underbrace{\left(\sum_{j=1}^{N}\mathbf{M}_{j,t}(\mathbf{x})\right)}_{Total~Opacity}. $$
归一化处理确保了特征是各关节的凸组合，而最终的不透明度项会屏蔽掉没有关节存在的背景区域，从而保证得到纯净的运动引导信息。
最后，我们将这些传播后的特征整合到视频生成过程中。首先，我们对时间维度上的运动特征体积$\mathcal{F}_{motion}$进行压缩，使其与VAE隐层相匹配[^6]，然后将其显式注入到生成模型的图像转视频条件张量$\mathbf{y}$中。具体来说，对于所有后续帧$t > 0$，我们会用遮挡感知的运动特征填充$\mathbf{y}$的通道，同时保留$t = 0$处的参考图像特征。
3D几何嵌入。虽然遮挡感知的传播机制能确保视觉纹理被正确映射到目标位置，但仅依赖传播后的视觉特征仍不够。视觉特征本质上是2D表示：3D到2D的投影必然会压缩几何信息，并掩盖不同关节的语义身份。为了弥补这一不足，我们引入了第二种控制流，将3D空间坐标$(u, v, d)$以及稀疏3D手部关节各索引对应的独特语义定义显式注入到生成过程中。
对于帧 t 中的每个关节 i，我们构建一个高维嵌入 $\mathbf{z}_{i,t}$，该嵌入将其空间位置与语义身份融合在一起。我们采用正弦位置编码 $\gamma(\cdot)$ 来将投影后的 3D 坐标（2D 位置 $\mathbf{u}_{i,t}$）
---
以及视差 $d_{i,t}$ 映射到连续的频域中，再将其与可学习的关节身份嵌入 $\mathbf{E}_{id}[i]$ 进行拼接：
$$ \mathbf{z}_{i,t}=\phi\left(\left[\gamma(\mathbf{u}_{i,t},d_{i,t});\mathbf{E}_{i d}[i]\right]\right), $$
其中 $\phi(\cdot)$ 是一个浅层 MLP 投影器。这表明模型能够明确知晓手的哪个部分位于何种 3D 深度上。
为了将这些稀疏的关节嵌入与视频隐空间对齐，我们利用先前计算出的高斯热图 $\mathbf{M}_{i,t}$ 将它们“泼洒”到空间特征网格上。这样就能在每个像素处生成密集的几何地图 $\mathcal{F}_{geo}(\mathbf{x}, t)$：
$$ \mathcal{F}_{g e o}(\mathbf{x},t)=\sum_{i=1}^{N}\mathbf{M}_{i,t}(\mathbf{x})\cdot\mathbf{z}_{i,t}. $$
我们将几何地图 $\mathcal{F}_{geo}$ 与运动线索 $\mathcal{F}_{motion}$ 拼接起来，从而构建出最终的几何嵌入。为了确保时间一致性、符合视频生成的因果特性，同时匹配 VAE 隐变量的分布，我们会通过一个因果 3D 卷积头来处理这一数据体：
$$ \begin{array}{r}{\mathcal{C}_{g e o}=\mathrm{L a y e r N o r m}\left(\mathrm{C o n v3D}_{c a u s a l}\left([\mathcal{F}_{g e o}\mathrm{~;~}\mathcal{F}_{m o t i o n}]\right)\right).}\end{array} $$
该因果卷积在时间维度上采用非对称填充方式，确保当前帧的几何引导信息能由历史上下文聚合而成，而不会泄露未来帧的信息。
为了驱动视频生成，我们为视频 Transformer 构建一个综合输入。我们沿通道维度将几何控制体 $\mathcal{C}_{geo}$、带噪视频隐变量 $\mathcal{X}$ 以及视觉条件张量 $\mathbf{y}$（包含参考图像特征和注入运动的通道）拼接起来。关键在于，与那些计算开销庞大、会引入显著额外负担且有可能破坏预训练隐变量分布的 ControlNet 类模型 [^32] [^33] [^63] 不同，我们的策略轻量级（仅 $\sim$20k 个参数），对原始隐空间结构的干扰极小，因此能在几乎不增加参数开销的情况下，实现高保真视频质量和精确的 3D 控制精度。
### 3.3 训练与推理
我们的框架基于最先进的图像转视频模型 WAN 2.1 [^46] 构建。为了高效地将预训练的骨干网络适配于以自我为中心的运动控制任务，我们在 Transformer 层上应用了秩 r = 64 的低秩适应（LoRA）技术 [^18]。运动控制模块中引入的其他参数则从头开始训练。整个框架在我们的大规模以自我为中心数据集（第 4 节）上，利用 16 块 NVIDIA GH200 GPU 训练了约 48 小时。
为确保框架在面对不完美的控制信号时仍能保持鲁棒性，我们采用了随机关节掩码策略。在训练期间，我们随机
---
将 5% 的输入手部关节掩码掉，把这些关节的所有坐标设为零。如此一来，模型便具备了合理生成缺失关节的能力，从而在上游追踪器出现间歇性故障，或用户在交互式编辑过程中提供稀疏输入时，仍能保证时间一致性。
在推理阶段，3D关节表示的显式特性相较于以往方法具有更高的灵活性。我们的框架支持两种截然不同的控制模式：（1）序列驱动模式，即由完整的轨迹序列来操控视频；（2）交互式编辑模式，用户可通过拖动单个关节（或一组关节）来直观地定义轨迹。在后一种模式下，模型会利用所学的几何先验，根据用户指定的引导生成合理的关节运动动态（详见第5.3节）。
## 4 数据集构建
我们选用Ego4D [^12] 数据集作为该以第一视角视频生成框架的大规模视频语料库，该框架需要精确且时间上连贯的手部关节数据作为控制信号。由于Ego4D中缺乏3D手部关节标注，我们提出了一种自动化、可扩展的流程，用于实现高保真的手部姿态提取、时空优化及质量校验。
手部姿态提取。针对无约束的第一视角视频中存在的严重运动模糊、快速相机移动以及频繁遮挡问题，我们采用了一种解耦的逐帧重建范式。首先，每一视频帧都会经由基于YOLO的检测器 [^38] 处理，以提取精准的手部边界框及左右手类别信号。随后，这些局部图像裁剪块会被输入到WiLoR [^35] 中——这是一款用于野外场景下3D手部重建的最先进框架，用以预测MANO参数 [^40]、全局根节点方向以及相机位移。
时空优化。为了合成视频生成所需的时间连续控制信号，必须将独立的逐帧预测结果整合为一致的轨迹。在第一视角场景中，由于复杂的手物交互和遮挡现象，这一任务极具挑战性。我们将跟踪目标表述为两个主要拓扑槽位中的二分匹配问题，记为 $S \in \{L, R\}$。在每一帧t中，我们会计算当前检测结果 $\mathbf{C}$ 与已建立的轨迹槽位 $h_i^{(t)}$ 之间的分配代价矩阵 $S_j$，同时结合空间连续性和语义先验，其计算公式如下：
$$ \mathbf{C}_{i,j}=\|\mathbf{T}_{i}^{(t)}-\mathbf{T}_{j}^{(t-1)}\|_{2}+\lambda\mathbb{1}(p_{i}^{(t)}\neq c_{j}), $$
其中，$\mathbf{T}_{i}^{(t)}$ 表示检测到的手部的三维全局位移，$\mathbf{T}_{j}^{(t-1)}$ 是该轨迹最后已知的空间坐标，$S_{j}$，$p_{i}^{(t)}$ 代表局部的手性特征，$c_{j}$ 是插槽的标称类别，而 $\lambda = 0.05$ 则用于对手性不匹配情况进行惩罚。
为了减轻近距离手部交互过程中产生的轨迹闪烁和身份颠倒现象，我们引入了时间迟滞阈值 $\tau_{swap}$。只有当空间成本改善程度满足 $\Delta\mathbf{C} > \tau_{swap}$ 时，才允许进行轨迹交换。此外，我们还采用了一种确定性的间隙重置机制：如果
---
Fig.3: Qualitative results of our data annotations. The last two images are zoomed in for clear visualization of hand tracking accuracy.
被追踪的物体在超过 $\tau_{gap} = 10$ 帧的时间窗口内被遮挡，那么该轨迹的历史记录就会被清空。这一措施能有效避免手部重新出现时出现错误的远距离空间跳转现象。
质量保证。生成式模型对控制条件下的随机噪声极为敏感，因此必须进行严格的质量把关。我们筛选出候选序列，剔除那些有效手部实例在帧中占比不足20%的视频片段，或有效MANO配置密度低于5%的片段。此外，若某序列中检测到超过两只手的情况持续时长超过25%，也会被剔除。经过筛选后，我们获得了约100万个高质量视频片段。图3展示了该流程生成的关节标注在二维图像空间中的定性示例。借助这一自动化处理流程，我们能够高效生成大规模、高保真且精度极高的手部轨迹标注。
对于筛选后的高质量轨迹，优化后的MANO参数会通过正运动学函数映射为三维关节坐标：
$$ \mathbf{J}=\mathcal{W}(\mathcal{M}(\boldsymbol{\theta},\beta),\mathbf{R}_{r o o t},\mathbf{T}), $$
其中，$\mathcal{M}$代表由姿态向量$\boldsymbol{\theta}$和形状向量$\boldsymbol{\beta}$定义的MANO网格拓扑，经全局根旋转$\mathbf{J} \in \mathbb{R}^{21 \times 3}$和平移$\mathbf{R}_{root}$处理后，可生成每只手的三维关节$\mathbf{T}$。所有提取出的右手关节都会沿矢状轴（X轴）进行几何镜像处理，从而统一生成式条件空间。
## 5 实验
### 5.1 实验设置
评估数据集。为了全面评估我们方法的生成能力和控制精度，我们从两个不同的第一人称视频基准数据中构建了评估子集。用于领域内评估的是Ego4D数据集[^12]，这是一份涵盖日常生活各类第一人称活动的大规模数据集。为了评估领域外泛化能力，我们采用了EgoDex数据集[^17]。该基准数据专门聚焦于各类灵巧的桌面操作任务，这些任务可作为机器人视觉-运动控制的重要先验知识。总体而言，评估套件包含来自Ego4D的40个未见过的视频序列以及30个序列。
---
Table 1: Quantitative comparisons. We evaluate performance on Ego4D [^12] and EgoDex [^17] datasets using visual quality metrics (FID, FVD, PSNR, SSIM) and hand control precision metrics (MPJPE, MPVPE) (Best, second-best, and third-best).
| Method | Ego4D | EgoDex | |
| Visual Quality | 3D Hand Accuracy | Visual Quality | 3D Hand Accuracy | |
| FID $\downarrow$ | FVD $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ | MPVPE $\downarrow$ | FID $\downarrow$ | FVD $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ |
| Mask2IV(H) [^24] | 106.14 | 675.15 | 10.50 | 0.271 | 17.10 | 4.49 | 93.74 | 516.84 | 19.63 | 0.764 | 7.63 |
| Mask2IV(HO) [^24] | 107.85 | 637.77 | 10.50 | 0.277 | 16.46 | 5.16 | 96.63 | 520.77 | 19.57 | 0.765 | 7.64 |
| WAN-Fun [^32] | 77.39 | 303.54 | 15.68 | 0.436 | 1.76 | 1.78 | 39.92 | 178.67 | 24.55 | 0.842 | 1.85 |
| MotionStream [^43] | 87.48 | 308.63 | 14.65 | 0.400 | 9.99 | 3.28 | 61.39 | 288.90 | 21.50 | 0.790 | 5.76 |
| WAN-Move [^6] | 88.78 | 452.40 | 14.10 | 0.387 | 9.11 | 4.35 | 57.13 | 292.40 | 22.42 | 0.808 | 5.21 |
| WAN-Move $^{{*}}$ [^6] | 88.90 | 332.44 | 14.37 | 0.380 | 9.77 | 4.59 | 52.31 | 316.87 | 23.39 | 0.822 | 5.71 |
| Ours | 67.70 | 259.99 | 15.86 | 0.443 | 1.42 | 1.70 | 39.62 | 174.73 | 24.74 | 0.846 | 1.80 |
这些测试片段来自EgoDex，经过随机采样以确保能涵盖各种具有挑战性的真实世界交互场景，包括厨房活动、精细的桌面操作以及动态工具使用等。
评估指标。为了评估生成视频的保真度，我们采用标准的视频质量指标，包括FID [^16]、FVD [^45]、PSNR和SSIM [^54]。为了评估生成的手部动作精度，我们使用WiLoR [^35]从预测视频和真实视频中提取三维手部数据（以相机坐标为参考），并报告经过Procrustes对齐的平均关节位置误差（MPJPE）。我们还通过所有手部网格顶点的平均顶点位置误差（MPVPE）来评估三维手部形状的精度。
基线对比。我们将所提方法与涵盖基于掩码、基于姿态和基于轨迹的控制范式的代表性方法进行比较。Mask2IV [^24] 采用交互掩码作为显式控制信号。我们仅评估其第二阶段，即视频扩散模型在每帧交互掩码的约束下生成结果。文中报告了两种变体：仅以手部掩码为条件的Mask2IV(H)，以及额外加入带有真实轨迹的物体掩码的Mask2IV(HO)。WAN-Fun [^32] 基于ControlNet [^63] 构建，能够实现基于姿态的视频生成。我们利用投影后的2D手部骨骼作为控制输入，在我们的数据集上对WAN-Fun进行微调。对于基于轨迹的控制，我们纳入了WAN-Move [^6] 和MotionStream [^43]，这两种都是近期最先进的方法。对于WAN-Move，我们既报告了原始预训练模型的结果，也报告了在我们数据集上训练得到的版本，记为WAN-Move $^{*}$。由于MotionStream的官方实现尚未公开，为了公平比较，我们重新实现了其架构，并在相同设置下于我们的数据集上对其进行训练。
### 5.2 定量比较
表1展示了关于视觉保真度和3D手部轨迹精度的定量比较结果。Mask2IV试图仅通过2D掩码来约束手部运动，但会产生明显的视觉杂乱现象和深度歧义，因此效果较差。WAN-Fun是一种广泛采用的基于姿态的基线方法，但由于2D骨骼投影固有的拓扑歧义，其表现也不尽如人意。最终，它的FVD值比我们的方法高出14%，在Ego4D数据集上的MPJPE值也高出19%。这种性能差距在各项指标中均有所体现。
---
Fig.5: Qualitative comparisons. Compared with state-of-the-art WAN-Fun [^32] and WAN-Move $^{*}$ [^6], our method shows better video quality with accurate hand control.
and WAN-Move $^{*}$ [^6], our method shows better video quality with accurate hand control. on the EgoDex dataset, despite its relatively simpler interactions and cleaner backgrounds. When evaluated against recent state-of-the-art track-based methods MotionStream and WAN-Move $^{*}$ (training WAN-Move in egocentric data provides slight gains in video quality and negligible effects in hand accuracy), our explicit 3D joint-based approach achieves significantly better performance. By explicitly resolving occlusion ambiguities and injecting 3D geometric priors, our method achieves at least a 16% reduction in FVD (against MotionStream on Ego4D) and a 68% reduction in MPJPE (against WAN-Move $^{*}$ on EgoDex).
此外，我们按照[^6]中的描述开展了双选强制选择（2AFC）用户研究，详情见图4。基于30名参与者对30个多样化视频序列（每个数据集各取15个）的评估结果，我们的方法在感知视频质量和人类评价的运动精度方面均显著优于当前最先进的竞争对手。
Fig. 4: The user study win rates.
### 5.3 定性结果
运动控制对比。如图5所示，给定参考手部轨迹序列后，无论是在视觉保真度还是运动控制精度方面，我们的方法都始终优于最先进的基于姿态的WAN-Fun [^32] 以及基于轨迹的WAN-Move* [^6]。由于对精细手部关节的空间理解有限，WAN-Fun经常生成物理上不合理的交互结果。例如，在左上角的场景中，该模型虚构出了一个脱离主体的黄瓜，而非准确抓住水龙头来控制水流；同样，在左下角的示例中，由于手部轨迹的空间定位不准，它无法完成切芒果的动作。
---
Fig. 6: Interactive fine-grained hand control results. For the bottom five rows, the last three frames are zoomed in to show subtle hand changes.
WAN-Move $^{*}$的控制能力通常较弱，会出现明显的空间偏移现象，因为它仅依赖无结构的2D点轨迹。如右下角示例所示，尽管它能捕捉到粗略的2D平移信息，但本质上忽略了3D手部旋转——而这对于操控球体等复杂交互而言是关键信号。相比之下，我们基于3D关节的条件设定确保了精确且几何一致的操作，不会产生结构上的幻觉。
交互式细粒度控制。借助稀疏3D关节的空间定位能力，我们的框架能够自然支持交互式视频编辑。我们开发了一种直观的用户界面，用户可以通过在3D空间中拖动一个或多个关键关节来无缝修改手部轨迹。如图6所示，我们的方法能够在不同运动层面上实现高度精确、细粒度的控制，既包括全局手部平移和复杂的手腕旋转等宏观调整，也包括移动单个手指（如拇指或食指）同时保持手部其余部分结构完整性的微观操作。
此外，我们在补充材料中提供了更多实验结果，展示了在小型机械灵巧手数据上微调后，我们的控制框架所具备的跨本体适应能力。使用三维手部关节作为唯一控制方式的显著优势在于其固有的形态不变性。与那些严格依赖人类特定运动链、骨骼长度和自由度的刚性骨骼模型或隐式姿态表示不同，
---
Table 2: Ablation study of key components. We sequentially analyze the contribution of Occlusion-Removed Context Aggregation (OCA), Occlusion-Aware Propagation (OP), and 3D Geometric Embeddings (3DGE) on Ego4D [^12] and EgoDex [^17].
| Components | Ego4D | EgoDex | | |
| OCA OP 3DGE | FID $\downarrow$ | FVD $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ | MPVPE $\downarrow$ | FID $\downarrow$ | FVD $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ | MPVPE $\downarrow$ |
| ✓ | | 80.14 | 305.49 | 14.97 | 0.405 | 2.75 | 2.81 | 41.05 | 198.86 | 23.62 | 0.822 | 1.94 | 1.99 |
| ✓ | ✓ | | 76.08 | 300.99 | 15.28 | 0.417 | 2.10 | 40.27 | 190.01 | 24.18 | 0.839 | 1.89 | 1.86 |
| ✓ | ✓ | ✓ | 67.70 | 259.99 | 15.86 | 0.443 | 1.42 | 1.70 | 39.62 | 174.73 | 24.74 | 0.846 | 1.80 |
稀疏的三维关节能提供纯粹基于空间且不受运动学限制的控制信号 [^36] [^60]。
### 5.4 消融实验
表2对构成我们遮挡感知型3D手部条件化策略的关键组件进行了定量分析。我们以“遮挡移除上下文聚合”（OCA）作为基准，该技术会过滤掉源帧中受遮挡区域产生的干扰视觉特征。仅应用这一机制，就能在视觉质量和轨迹贴合度方面较最新的基于2D跟踪的方法 [^6] 取得显著提升。在OCA的基础上，引入“遮挡感知传播”（OP）机制以解决动态交互过程中的目标遮挡歧义问题，从而在Ego4D数据集上使FID指标进一步提升5%，MPJPE指标降低23%；在EgoDex数据集上也观察到了一致的性能提升。最后，我们证明了注入显式的3D几何与语义先验对于实现真正的3D感知轨迹条件化至关重要。3D几何嵌入（3DGE）技术使Ego4D数据集上的视觉质量提升了11%（FID指标），结构控制精度提高了32%（MPJPE指标）。
### 5.5 机器人应用
由于形态不变的稀疏3D手部关节能够对齐人类与机器人手部的空间轨迹 [^36] [^60]，我们的框架成功弥合了本体差异，仅需极少的微调即可有效操控机器人手（详情见补充材料）。图7展示了将这种交互式细粒度控制应用于机器人场景的定性结果。关键在于，针对完全不同的机器人结构（Unitree G1-Dex3-1和H1-Inspire，均来自Humanoid Everyday [^66] 数据集），仅需一个经过统一微调的模型就能实现这些复杂的操控操作。
## 6 结论
本文提出了一种用于第一人称场景下高保真运动控制视频生成的新型轻量级框架。通过利用稀疏3D手部关节作为显式控制信号，我们的方法克服了2D跟踪和隐式姿态表示的局限性——后者往往无法在相互遮挡的情况下捕捉精确的灵巧操控动作。我们引入了
---
Fig.7: Interactive control results on diverse robotic hands. The last three frames in the first two rows are cropped and magnified for enhanced visualization.
这是一种考虑遮挡情况的3D条件化策略，该策略会对不可靠的源信号进行惩罚，并利用基于3D的加权机制将特征传播到目标帧。结合3D几何嵌入的直接注入，我们的方法在最大限度不破坏预训练骨干网络的生成先验的前提下，确保了稳健的结构一致性。此外，我们为Ego4D数据集构建了一个大规模自动化标注流程，生成了超过一百万个包含精确手部轨迹的高质量视频片段。大量实验表明，与现有基线方法相比，我们的方法在控制复杂的第一人称交互方面具有更高的准确性。
## 致谢
我们要感谢在项目开发过程中给予帮助的同僚：赵振宇、焦冠龙、Alexey Gavryushin、Jovana Videnovic和吴娜。本项研究得到了以下资助：(1) 作为瑞士人工智能计划的一部分，由瑞士国家超级计算中心（CSCS）资助，项目编号为a03，在Alps超级计算机上开展；(2) 瑞士国家科学基金会高级研究基金216260：超越冰封世界——从现实世界中捕获功能性3D数字孪生；(3) 欧盟“地平线欧洲”研究与创新计划，授予协议编号为101214398（ELLIOT），由瑞士联邦教育、研究与创新秘书处（SERI）全额资助；(4) 苏黎世联邦理工学院人工智能中心通过博士奖学金资助叶博涛和陈博奇；(5) 马克斯·普朗克苏黎世联邦理工学院学习系统中心（CLS）通过博士奖学金资助Alexandros Delitzas。
---
## 参考文献
[^1]: Ali, A., Bai, J., Bala, M., Balaji, Y., Blakeman, A., Cai, T., Cao, J., Cao, T., Cha, E., Chao, Y.W., et al.: World simulation with video foundation models for physical ai. arXiv preprint arXiv:2511.00062 (2025)
[^2]: Bagchi, A., Bao, Z., Bharadhwaj, H., Wang, Y.X., Tokmakov, P., Hebert, M.: Walk through paintings: Egocentric world models from internet priors. arXiv preprint arXiv:2601.15284 (2026)
[^3]: Bi, H., Tan, H., Xie, S., Wang, Z., Huang, S., Liu, H., Zhao, R., Feng, Y., Xiang, C., Rong, Y., Zhao, H., Liu, H., Su, Z., Ma, L., Su, H.: Motus: A unified latent action world model. arXiv preprint arXiv:2512.13030 (2025)
[^4]: Blattmann, A., Dockhorn, T., Kulal, S., Mendelevitch, D., Kilian, M., Lorenz, D., Levi, Y., English, Z., Voleti, V., Letts, A., et al.: Stable video diffusion: Scaling latent video diffusion models to large datasets. arXiv preprint arXiv:2311.15127 (2023)
[^5]: Burgert, R., Xu, Y., Xian, W., Pilarski, O., Clausen, P., He, M., Ma, L., Deng, Y., Li, L., Mousavi, M., Ryoo, M., Debevec, P., Yu, N.: Go-with-the-flow: Motion-controllable video diffusion models using real-time warped noise. In: CVPR (2025)
[^6]: Chu, R., He, Y., Chen, Z., Zhang, S., Xu, X., Xia, B., Wang, D., Yi, H., Liu, X., Zhao, H., et al.: Wan-move: Motion-controllable video generation via latent trajectory guidance. In: NeurIPS (2025)
[^7]: Fu, X., Liu, X., Wang, X., Peng, S., Xia, M., Shi, X., Yuan, Z., Wan, P., Zhang, D., Lin, D.: 3dtrajmaster: Mastering 3d trajectory for multi-entity motion in video generation. In: ICLR (2024)
[^8]: Fung, P., Bachrach, Y., Celikyilmaz, A., Chaudhuri, K., Chen, D., Chung, W., Dupoux, E., Gong, H., Jégou, H., Lazaric, A., et al.: Embodied ai agents: Modeling the world. arXiv preprint arXiv:2506.22355 (2025)
[^9]: Gao, S., Liang, W., Zheng, K., Malik, A., Ye, S., Yu, S., Tseng, W.C., Dong, Y., Mo, K., Lin, C.H., Ma, Q., Nah, S., et al.: Dreamdojo: A generalist robot world model from large-scale human videos. arXiv preprint arXiv:2602.06949 (2026)
[^10]: Geng, D., Herrmann, C., Hur, J., Cole, F., Zhang, S., Pfaff, T., Lopez-Guevara, T., Aytar, Y., Rubinstein, M., Sun, C., et al.: Motion prompting: Controlling video generation with motion trajectories. In: CVPR. pp. 1–12 (2025)
[^11]: Geng, D., Herrmann, C., Hur, J., Cole, F., Zhang, S., Pfaff, T., Lopez-Guevara, T., Aytar, Y., Rubinstein, M., Sun, C., et al.: Motion prompting: Controlling video generation with motion trajectories. In: CVPR (2025)
[^12]: Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., et al.: Ego4d: Around the world in 3,000 hours of egocentric video. In: CVPR. pp. 18995–19012 (2022)
[^13]: Hafner, D., Yan, W., Lillicrap, T.: Training agents inside of scalable world models. arXiv preprint arXiv:2509.24527 (2025)
[^14]: Han, X., Zhu, X., Deng, J., Song, Y.Z., Xiang, T.: Controllable person image synthesis with pose-constrained latent diffusion. In: ICCV. pp. 22768–22777 (2023)
[^15]: Hassan, M., Stapf, S., Rahimi, A., Rezende, P., Haghighi, Y., Brüggemann, D., Katircioglu, I., Zhang, L., Chen, X., Saha, S.: Gem: A generalizable ego-vision multimodal world model for fine-grained ego-motion, object dynamics, and scene composition control. In: CVPR. pp. 22404–22415 (2025)
## [^16]: Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., Hochreiter, S.: Gans trained by a two time-scale update rule converge to a local nash equilibrium. Advances in neural information processing systems 30 (2017)
---
[^17]: Hoque, R., Huang, P., Yoon, D.J., Sivapurapu, M., Zhang, J.: Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709 (2025)
[^18]: Hu, E.J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., Chen, W., et al.: Lora: Low-rank adaptation of large language models. In: ICLR (2022)
[^19]: Jain, Y., Nasery, A., Vineet, V., Behl, H.: Peekaboo: Interactive video generation via masked-diffusion. In: CVPR (2024)
[^20]: Jiang, Y., Huang, S., Xue, S., Zhao, Y., Cen, J., Leng, S., Li, K., Guo, J., Wang, K., Chen, M., Wang, F., Zhao, D., Li, X.: Rynnvla-001: Using human demonstrations to improve robot manipulation. arXiv preprint arXiv:2509.15212 (2025)
[^21]: Jin, Y., Sun, Z., Li, N., Xu, K., Jiang, H., Zhuang, N., Huang, Q., Song, Y., Mu, Y., Lin, Z.: Pyramidal flow matching for efficient video generative modeling. In: ICLR (2025)
[^22]: Kong, W., Tian, Q., Zhang, Z., Min, R., Dai, Z., Zhou, J., Xiong, J., Li, X., Wu, B., Zhang, J., et al.: Hunyuanvideo: A systematic framework for large video generative models. arXiv preprint arXiv:2412.03603 (2024)
[^23]: Lee, Y.C., Zhang, Z., Huang, J., Wang, J.H., Lee, J.Y., Huang, J.B., Shechtman, E., Li, Z.: Generative video motion editing with 3d point tracks. arXiv preprint arXiv:2512.02015 (2025)
[^24]: Li, G., Zhao, B., Yang, J., Sevilla-Lara, L.: Mask2iv: Interaction-centric video generation via mask trajectories. arXiv preprint arXiv:2510.03135 (2025)
[^25]: Li, Q., Xing, Z., Wang, R., Zhang, H., Dai, Q., Wu, Z.: Magicmotion: Controllable video generation with dense-to-sparse trajectory guidance. arXiv preprint arXiv:2503.16421 (2025)
[^26]: Li, Y., Wang, X., Zhang, Z., Wang, Z., Yuan, Z., Xie, L., Shan, Y., Zou, Y.: Image conductor: Precision control for interactive video synthesis. In: AAAI (2025)
[^27]: Lykov, A., Sam, J., Nguyen, H.K., Kozlovskiy, V., Mahmoud, Y., Serpiva, V., Cabrera, M.A., Konenkov, M., Tsetserukou, D.: Physical agent: Towards general cognitive robotics with foundation world models. arXiv preprint arXiv:2509.13903 (2025)
[^28]: Ma, W.D.K., Lewis, J.P., Kleijn, W.B.: Trailblazer: Trajectory control for diffusion-based video generation. In: ACM SIGGRAPH Asia (2024)
[^29]: Mendonca, R., Bahl, S., Pathak, D.: Structured world models from human videos. arXiv preprint arXiv:2308.10901 (2023)
[^30]: Namekata, K., Bahmani, S., Wu, Z., Kant, Y., Gilitschenski, I., Lindell, D.B.: Sgi2v: Self-guided trajectory control in image-to-video generation. In: ICLR (2025)
[^31]: Ni, C., Zhao, G., Wang, X., Zhu, Z., Qin, W., Huang, G., Liu, C., Chen, Y., Wang, Y., Zhang, X., Zhan, Y., Zhan, K., Jia, P., Lang, X., Wang, X., Mei, W.: Recondreamer: Crafting world models for driving scene reconstruction via online restoration. arXiv preprint arXiv:2411.19548 (2024)
32. PAI, A.：Wan2.1-fun 控制视频生成模型。HuggingFace模型集合（2025年），
[^33]: Pallotta, E., Azar, S.M., Doorenbos, L., Ozsoy, S., Iqbal, U., Gall, J.: Egocontrol: Controllable egocentric video generation via 3d full-body poses. arXiv preprint arXiv:2511.18173 (2025)
[^34]: Peebles, W., Xie, S.: Scalable diffusion models with transformers. In: ICCV. pp. 4195–4205 (2023)
## [^35]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 12242–12254 (2025)
---
[^36]: Qin, Y., Wu, Y.H., Liu, S., Jiang, H., Yang, R., Fu, Y., Wang, X.: Dexmv: Imitation learning for dexterous manipulation from human videos. In: European Conference on Computer Vision. pp. 570–587. Springer (2022)
[^37]: Qiu, H., Chen, Z., Wang, Z., He, Y., Xia, M., Liu, Z.: Freetraj: Tuning-free trajectory control in video diffusion models. arXiv preprint arXiv:2406.16863 (2024)
[^38]: Redmon, J., Farhadi, A.: Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767 (2018)
[^39]: Rombach, R., Blattmann, A., Lorenz, D., Esser, P., Ommer, B.: High-resolution image synthesis with latent diffusion models. In: CVPR. pp. 10684–10695 (2022)
[^40]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610 (2022)
[^41]: Shi, M., Peng, S., Chen, J., Jiang, H., Li, Y., Huang, D., Luo, P., Li, H., Chen, L.: Egohumanoid: Unlocking in-the-wild loco-manipulation with robot-free egocentric demonstration. arXiv preprint arXiv:2602.10106 (2026)
[^42]: Shi, X., Huang, Z., Wang, F.Y., Bian, W., Li, D., Zhang, Y., Zhang, M., Cheung, K.C., See, S., Qin, H., et al.: Motion-i2v: Consistent and controllable image-to-video generation with explicit motion modeling. In: ACM SIGGRAPH (2024)
[^43]: Shin, J., Li, Z., Zhang, R., Zhu, J.Y., Park, J., Shechtman, E., Huang, X.: Motionstream: Real-time video generation with interactive motion controls. arXiv preprint arXiv:2511.01266 (2025)
[^44]: Tu, Y., Luo, H., Chen, X., Bai, X., Wang, F., Zhao, H.: Playerone: Egocentric world simulator. arXiv preprint arXiv:2506.09995 (2025)
[^45]: Unterthiner, T., Van Steenkiste, S., Kurach, K., Marinier, R., Michalski, M., Gelly, S.: Fvd: A new metric for video generation (2019)
[^46]: Wan, T., Wang, A., Ai, B., Wen, B., Mao, C., Xie, C.W., Chen, D., Yu, F., Zhao, H., Yang, J., et al.: Wan: Open and advanced large-scale video generative models. arXiv preprint arXiv:2503.20314 (2025)
[^47]: Wang, A., Huang, H., Fang, J.Z., Yang, Y., Ma, C.: Ati: Any trajectory instruction for controllable video generation. arXiv preprint arXiv:2505.22944 (2025)
[^48]: Wang, B., Wang, X., Ni, C., Zhao, G., Yang, Z., Zhu, Z., Zhang, M., Zhou, Y., Chen, X., Huang, G., Liu, L., Wang, X.: Humandreamer: Generating controllable human-motion videos via decoupled generation. arXiv preprint arXiv:2503.24026 (2025)
[^49]: Wang, Q., Luo, Y., Shi, X., Jia, X., Lu, H., Xue, T., Wang, X., Wan, P., Zhang, D., Gai, K.: Cinemaster: A 3d-aware and controllable framework for cinematic text-to-video generation. arXiv preprint arXiv:2502.08639 (2025)
[^50]: Wang, X., Yuan, H., Zhang, S., Chen, D., Wang, J., Zhang, Y., Shen, Y., Zhao, D., Zhou, J.: Videocomposer: Compositional video synthesis with motion controllability. In: NeurIPS (2023)
[^51]: Wang, X., Zhang, S., Qiu, H., Chu, R., Li, Z., Zhang, Y., Gao, C., Wang, Y., Shen, C., Sang, N.: Replace anyone in videos. arXiv preprint arXiv:2409.19911 (2024)
[^52]: Wang, Y., Wen, C., Guo, H., Peng, S., Qin, M., Bao, H., Zhou, X., Hu, R.: Precise action-to-video generation through visual action prompts. arXiv preprint arXiv:2508.13104 (2025)
[^53]: Wang, Y., Ouyang, W., Wei, T., Dong, Y., Shen, Z., Pan, X.: Hand2world: Autoregressive egocentric interaction generation via free-space hand gestures. arXiv preprint arXiv:2602.09600 (2026)
## [^54]: Wang, Z., Bovik, A.C., Sheikh, H.R., Simoncelli, E.P.: Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing 13(4), 600–612 (2004)
---
[^55]: Wang, Z., Yuan, Z., Wang, X., Li, Y., Chen, T., Xia, M., Luo, P., Shan, Y.: Motionctrl: A unified and flexible motion controller for video generation. In: ACM SIGGRAPH. pp. 1–11 (2024)
[^56]: Wu, B., Zou, C., Li, C., Huang, D., Yang, F., Tan, H., Peng, J., Wu, J., Xiong, J., Jiang, J., et al.: Hunyuanvideo 1.5 technical report. arXiv preprint arXiv:2511.18870 (2025)
[^57]: Wu, W., Li, Z., Gu, Y., Zhao, R., He, Y., Zhang, D.J., Shou, M.Z., Li, Y., Gao, T., Zhang, D.: Draganything: Motion control for anything using entity representation. In: ECCV (2024)
[^58]: Xia, B., Liu, J., Zhang, Y., Peng, B., Chu, R., Wang, Y., Wu, X., Yu, B., Jia, J.: Dreamve: Unified instruction-based image and video editing. arXiv preprint arXiv:2508.06080 (2025)
[^59]: Xiao, Z., Ouyang, W., Zhou, Y., Yang, S., Yang, L., Si, J., Pan, X.: Trajectory attention for fine-grained video motion control. In: ICLR (2025)
[^60]: Xin, C., Yu, M., Jiang, Y., Zhang, Z., Li, X.: Analyzing key objectives in human-to-robot retargeting for dexterous manipulation. IEEE Robotics and Automation Practice (2026)
[^61]: Xing, J., Mai, L., Ham, C., Huang, J., Mahapatra, A., Fu, C.W., Wong, T.T., Liu, F.: Motioncanvas: Cinematic shot design with controllable image-to-video generation. In: ACM SIGGRAPH (2025)
[^62]: Zhang, B., Shou, M.Z.: Ego-centric predictive model conditioned on hand trajectories. arXiv preprint arXiv:2508.19852 (2025)
[^63]: Zhang, L., Rao, A., Agrawala, M.: Adding conditional control to text-to-image diffusion models. In: ICCV. pp. 3836–3847 (2023)
[^64]: Zhang, W., Foo, L.G., Beeler, T., Dabral, R., Theobalt, C.: Vhoi: Controllable video generation of human-object interactions from sparse trajectories via motion densification. arXiv preprint arXiv:2512.09646 (2025)
[^65]: Zhang, Z., Liao, J., Li, M., Dai, Z., Qiu, B., Zhu, S., Qin, L., Wang, W.: Tora: Trajectory-oriented diffusion transformer for video generation. In: CVPR (2025)
[^66]: Zhao, Z., Jing, H., Liu, X., Mao, J., Jha, A., Yang, H., Xue, R., Zakharor, S., Guizilini, V., Wang, Y.: Humanoid everyday: A comprehensive robotic dataset for open-world humanoid manipulation. arXiv preprint arXiv:2510.08807 (2025)
[^67]: Zhou, H., Wang, C., Nie, R., Liu, J., Yu, D., Yu, Q., Wang, C.: Trackgo: A flexible and efficient method for controllable video generation. In: AAAI (2025)