# Uni-Hand：基于自我中心视图的通用手部运动预测
马俊毅 $^{ID}$、鲍文涛、徐静怡 $^{ID}$、孙冠中 $^{ID}$、郑宇 $^{ID}$、张尔航 $^{ID}$、陈谢元立 $^{ID}$ 以及王鹤生 $^{ID}$，IEEE高级会员
摘要—在自我中心视图下预测人类手部的运动，对于增强现实、人机策略迁移以及服务/辅助技术等领域至关重要。近期，已有多种手部轨迹预测（HTP）方法被提出，用于生成未来可能的手部路径点，但这些方法仍存在预测目标不足、固有的模态差异、手部与头部运动相互纠缠，以及在下游任务中的验证有限等问题。为克服这些局限，我们提出了Uni-Hand——一种通用的手部运动预测框架，该框架能够支持多模态输入、多维度和多目标预测模式，并为下游应用提供多任务适配能力。我们通过视觉-语言融合、全局上下文整合以及任务感知的文本嵌入注入来协调多种模态，从而在二维和三维空间中预测手部路径点。我们提出了一种新颖的双分支扩散模型，可同时预测人头和手部的运动，捕捉它们在自我中心视觉中的运动协同性。通过引入目标指示器，预测模型除了能预测广泛研究的手部中心点外，还能预测手腕或手指的特定关节路径点。此外，我们还让Uni-Hand能够额外预测手-物体交互状态（接触/分离），以更好地服务于下游任务。为了纳入文献中全面的下游任务评估指标，我们构建了全新的基准测试集，用以衡量手部运动预测算法的实际应用场景适应性。在多个公开数据集及我们新提出的基准测试集上的实验结果表明，Uni-Hand在多维度和多目标手部运动预测方面取得了最先进的性能。在多种下游任务中的大量验证也显示出其在实现机器人操控的人机策略迁移，以及为动作预判/识别提供有效特征增强方面的卓越表现。
下游任务同样展现了其在机器人操控方面令人印象深刻的人机策略迁移能力，以及用于动作预测/识别的有效特征增强技术。
- 预测目标不足：现有的手部运动预测范式仅专注于生成未来的手部中心点（即潜在边界框的中心）作为目标运动路径点 [^14]、[^15]、[^16]。尽管这些中心点对于反映手部运动趋势必不可少，但这类方法基本忽略了手指和手腕各关节在二维和三维空间中的运动情况。此外，它们也未涉及确定手部与目标物体接触及分离的确切时间点。因此，在实际部署中——比如人机操控策略迁移场景——未来时间段内的运动信息仍不够充分。
## I. 引言
关键词—手部运动预测、手部轨迹预测、自我中心视觉、扩散模型。
P在增强现实和人机交互等应用中具有关键作用。作为人与环境交互的重要界面，人手能够提供宝贵的运动信息，从而助力具身智能领域的各类下游任务 [^1], [^2], [^3], [^4]。不过，尽管在预测视线位置 [^5], [^6], [^7], [^8] 以及交互区域 [^9], [^10], [^11] 等其他人类行为预测任务上已取得显著进展，但精细的人手运动预测仍颇具挑战性。为了从人类视角更好地匹配手部运动模式及潜在意图，近年来出现了一些仅基于自我中心视觉的手部运动预测（HMF）方法 [^12], [^13], [^14], [^15]。这些方法利用过去的人类自我中心（第一人称）观测数据，直接预测指定参考系中的未来手部轨迹。然而，这些方法存在明显局限，制约了其性能的进一步提升以及在潜在下游应用中的有效性：
- 模态差异：现有的HMF范式主要基于二维自我中心视频输入，并未显式纳入具有度量尺度的三维空间观测数据。虽然部分先前研究指出，时序建模、姿态估计以及学习到的先验知识能够部分地从二维输入中推断出潜在的三维动态/结构信息 [^16], [^17], [^18], [^19]，但仅依赖二维视觉线索而缺乏原始三维感知数据，可能会在精细的三维运动预测及物理层面的交互中产生几何歧义。此外，
---
缺少文本模态接口意味着无法显式融入已知的人类意图或指令，这也会加剧HMF模型优化与语言条件化下游任务部署之间的差距。
缺乏预测层面的头部运动约束：人手运动与全身运动学密切相关，其中头部运动是最直接的同步运动，可提供视觉观测数据。了解头部的运动方式有助于手部运动预测。尽管先前的研究 [^15], [^16], [^18] 会将过去的头戴式摄像头自我运动编码到手部状态转换中，以关联头部与手部特征，但这些研究并未显式预测未来的头部运动来约束手部运动预测。这削弱了预测模型在即将发生的手-头协作场景中，于自我中心视角下理解未来手部运动模式的能力。
- 下游任务中的验证有限：现有的HMF框架旨在减少预测航点与真实人类演示之间的误差。尽管这一目标具有合理性，但本文仍需进一步分析它们支持下游任务的能力。如今，由于人类演示的易获取性，将人类动作迁移到机器人操控领域受到了广泛关注 [^1]，[^20]。顺应这一趋势，通过机器人操控来评估HMF模型显得尤为自然——因为从视频中预测得到的人类手部轨迹可直接映射到机器人末端执行器的动作规划中，从而为物理合理性提供可解释性的HMF评估。因此，探索HMF模型向机器人操控任务的迁移能力值得投入大量研究精力。此外，预测得到的手部运动蕴含着丰富的人类行为语义，这些语义与动作类别密切相关。与设计针对特定任务的临时解码器不同 [^12]，[^13]，预测得到的手部运动特征如何直接增强现有下游动作类别预判与识别框架，这一问题还需深入探究。
为克服上述局限，我们提出了一种通用手部运动预测框架，命名为Uni-Hand。如图1所示，Uni-Hand能够接收多模态输入以实现多维/多目标的手部运动预测，并为下游应用有效提供多任务支持。为了拓展预测目标，Uni-Hand在去噪扩散过程中引入目标指示器，从而预测二维和三维空间中的手部中心或指定关节位置。它还集成了额外的交互状态解码器，用于确定手与物体接触及分离的时刻。因此，与仅关注手部中心预测的现有范式相比，我们提出了一种更为灵活的HMF解决方案 [^13]，[^15]，[^18]。为缩小模态间的差异，我们将多种模态作为输入，包括二维RGB图像、三维点云、过往手部航点以及文本提示。这不仅增强了框架对三维结构信息的感知能力，还为在现实世界的机器人应用中整合可能的语言指令提供了文本模态接口。为解决预测层面缺乏头部运动约束的问题，我们设计了双分支扩散模型，以同步预测头部和手部的运动，从而明确捕捉二者的协同作用，实现更精准的HMF。最终，为了在下游任务中进行全面验证，我们在多个真实世界的
multi-task affordances for downstream applications
Fig. 1. Uni-Hand is a universal hand motion forecasting framework which facilitates multi-dimensional and multi-target predictions with multi-modal input. It also enables multi-task affordances for downstream applications.
机器人任务上部署了该框架，验证了其在辅助原子技能训练、语言引导的任务执行以及长时序任务方面的能力。我们还证明了其实用的运动特征能够改进现有的常规动作预判、早期动作识别及动作识别框架。
综上所述，本文的主要贡献有四点：
- 通用HMF框架：我们提出了Uni-Hand，一种通用手部运动预测框架，它为多维/多目标的HMF以及下游应用的多任务支持提供了多功能解决方案。
双分支扩散模型：我们提出了一种新颖的双分支扩散模型，该模型以多模态信息作为输入，能够同步预测未来头戴式摄像头在自我中心视角下的运动以及手部运动。
混合Mamba-Transformer去噪：我们设计了一种用于去噪手部运动隐变量的新型混合Mamba-Transformer模块。该模块结合了Mamba强大的时序建模能力和Transformer的全局上下文感知能力，以实现多模态特征的融合。我们还将文本嵌入注入到该混合模块中，以助力语言条件任务。
- HMF基准测试：据我们所知，这是首个评估手部预测算法在支持各类下游任务方面有效性的HMF研究，这些下游任务包括机器人操控、动作预判、早期动作识别以及动作识别。我们在多个公开数据集以及新提出的基准测试上开展的广泛实验表明，Uni-Hand在2D/3D手部运动预测任务中取得了最先进的性能，并且能够高效适配各类下游任务。
本研究是对初步版本[^21]的拓展，在该版本中我们仅探讨了如何融合多种输入模态以实现手部中心预测，并完成手部与头部运动预测的分离。在本研究中，我们在以下方面进行了大幅扩展：
---
- 我们将原有的3D预测范式扩展为适用于多维度/多目标HMF及下游应用多任务支持的通用框架。
- 除了手部中心外，我们还纳入了其他预测目标，涵盖多个手部关节以及交互状态（接触/分离）。
- 我们设计了全新的文本模态接口（文本嵌入注入机制），以提升模型对特定任务指令的理解能力。
- 通过在公开数据集及新基准测试上开展的全面实验，证明了该模型具备支撑下游任务的基础能力，这些任务包括现实场景下的机器人操控、动作预判、早期动作识别以及动作识别。
本文的结构安排如下：第二节回顾了相关文献；第三节详细介绍了Uni-Hand的架构以及训练与推理方案；第四节从定量和定性角度展示了广泛的实验结果；第五节阐述了算法的创新性并给出了我们的见解；最终，第六节对全文进行了总结。
### 二、相关工作
### A. 基于第一人称视觉的手部轨迹预测
手部轨迹预测（HTP）是理解未来手部运动模式的关键组成部分。基于连续的自我中心观测数据，HTP旨在预测二维图像平面或三维空间中手部可能到达的路径点。此处所说的手部路径点指的是检测到的手部的边界框中心。出于对扩展能力的需求，一些二维HTP方法已基于大量人类活动视频率先被开发出来。例如，OCT [^13]采用基于Transformer [^22]的编码器-解码器架构，来共同预测手部路径点和物体热点区域。相比之下，Diff-IP2D [^15]将OCT中的Transformer模块替换为感知自身运动的扩散模型，从而取得了更好的二维HTP性能。与Diff-IP2D类似，EMAG [^18]也创新地将相机自身运动的单应性矩阵通过交叉注意力机制编码进二维轨迹预测中。这两项工作初步尝试将头戴式相机的自身运动感知功能整合到二维HTP流程中。为了进一步提升对融合后的相机自身运动的理解能力，MADiff [^16]引入了Mamba [^23]来建模手部状态的序列转换，该过程基于全新的运动驱动型选择性扫描机制。其强大的感知自身运动的Mamba模块在第一人称视角下的二维预测任务中可直接应用。最近，HandsOnVLM [^24]提出了一种VLM方案，将二维HTP转化为类VQA的任务。为了进一步验证其在真实场景中的适用性，Bahl等人 [^25]构建了一个可供性模型，并将其用于机器人数据采集以及无奖励探索。
尽管由于互联网规模的人类视频资源丰富，二维HTP具有更强的扩展性 [^16]，但三维HTP能产出更符合人类意图的结果。例如，USST [^14]接收图像提示后，能通过自回归Transformer直接生成未来的三维手部路径点。EgoH4 [^26]进一步扩展到人体姿态估计领域，能够预测不可见手部的位置。与专注于全身运动的EgoH4不同，我们近期提出的MMTwin [^21]重点关注手物交互中最关键的身体部位——头部和手部，同时预测它们的未来运动。与仅编码过去头部运动的感知自身运动的二维HTP方法 [^15]、[^16]、[^18]相比，MMTwin额外构建了一个扩散分支来预测未来的头部运动潜变量。
尽管上述二维和三维手部轨迹预测取得了显著进展，但这些方法基本上只能确定潜在手部边界框的未来中心位置。然而，手部中心是一个过于粗略的预测目标，无法反映手部的姿态变化。这阻碍了对人-物交互中人类行为的细致理解。此外，这些方法对手部与物体接触及分离的可能时机一无所知。因此，它们难以直接应用于机器人操控等下游任务，因为轨迹只能确定“移动方向”而无法确定“抓取时机”。相比之下，本文提出的Uni-Hand除了能预测中心点外，还能预报多个手部关节的二维和三维未来位置，从而在主视角下感知手部姿态的变化。我们引入了目标指示器，使去噪扩散模型能够区分不同的预测目标。此外，我们还开发了额外的解码器来预测未来的交互状态，以确定手部与物体的接触/分离时段。因此，Uni-Hand通过丰富预测目标，将传统的手部轨迹预测研究拓展为更具信息量的手部运动预测，能够有效支持多种下游应用。
### B. 手部运动分析中的扩散模型
近年来，由于以手为中心的数据对下游任务具有丰富的信息价值，手部运动分析受到了广泛关注。虽然与物体无关的手部网格恢复[^27]、[^28]、[^29]、[^30]以及基于物体的三维人-物交互重建[^31]、[^32]、[^33]、[^34]已取得显著进展，但如何在目标物体周围生成合理的手部姿态并沿时间轴分析手部动态仍颇具挑战性。随着扩散模型[^35]、[^36]的出现，HOIDiffusion[^37]、Gears[^38]和DiffH2O[^39]等研究将扩散模型的强大生成能力无缝整合，从而从零开始生成手部网格。然而，它们往往低估了手部接近目标物体的过程。最近，PEAR[^40]尝试分析交互过程中的手部运动趋势。与PEAR不同，Tang等人[^41]开发了一种基于提示的未来驱动型扩散模型，用于预测多个手部关节的三维未来坐标。尽管该方法更为细致，却未考虑大范围的手腕运动。相反，Diff-IP2D[^15]和MADiff[^16]均采用DiffuSeq[^42]风格的模型来预测未来大范围的手部运动，但如前所述，它们会丢失详细的关节运动信息。
本研究同样利用扩散模型的先进生成能力，实现多维度和多目标的未来手部运动预测。与现有的基于扩散的方法不同，我们提出了一种新颖的混合Mamba-Transformer架构作为去噪模型，以协调多模态输入。此外，我们在双分支扩散模型中引入了相机自身运动分析，从而实现更全面的手部运动理解。
### C. 手部运动预测的下游任务
由于手部在人类日常生活的物理交互中起着关键作用，它推动了人们对用于操控任务的人-机器人策略迁移研究的日益关注。传统的模仿学习[^43]、[^44]技术依赖于成本高昂的遥操作方式。
---
Fig. 2. System overview of Uni-Hand. Uni-Hand (a) converts multi-modal input into latent feature spaces, and (b) decouples predictions of future egomotion latents (EM latents) and hand motion latents (HM latents) by a novel dual diffusion. The vanilla Mamba (VM) is used for denoising in the ego-motion-forecasting diffusion (EMF diffusion). We further design a new denoising model in hand-motion-forecasting diffusion (HMF diffusion) with a hybrid Mamba-Transformer module (HMTM). The predicted HM latents are ultimately decoded to future hand trajectories and interaction states.
而且缺乏跨本体泛化能力。相比之下，广泛存在的人类视频本身就包含丰富的演示数据。这些数据与机器人无关，能为操作任务提供可迁移的知识。因此，直接从第一人称或第三人称视频中捕捉人类手部运动数据，以此指导机器人策略的生成，是实现具身智能的一条有前景的路径。与从大规模人类视频中生成预训练视觉表征相比[^45]、[^46]、[^47]、[^48]，提取与人类手部相关的显式可供性能够实现更直接的人机策略迁移。例如，OKAMI[^49]会从单段视频模仿中分别提取身体动作和手部姿态，并将其转化为类人机器人的动作。继OKAMI之后，YOTO[^50]仅利用一段视频演示就提出了一种一次性教学扩展策略，从而为双臂扩散策略提供更多演示数据。Motion Tracks[^51]并未完全依赖人类视频数据，而是结合机器人和人类视频演示来训练运动预测网络。与这些模仿学习方案不同，ManipTrans[^20]采用强化学习来建模迁移过程。Wen等人[^52]设计了一个用于任意点轨迹建模的两阶段框架，通过预测未来的点轨迹来指导策略学习。最近，Qiu等人[^1]统一了类人机器人和人类手部的状态-动作空间，以实现动作预测。
受这些人机迁移策略的启发，在本研究中，我们扩展了现有的HMF评估范式[^12]、[^13]、[^15]，用以评估Uni-Hand支持机器人操作任务的能力。也就是说，我们直接利用预训练的Uni-Hand为真实机器人生成可执行的轨迹和夹爪动作。多项操作任务的成功率凸显了其在现实世界下游应用中的潜力。此外，我们还探讨了Uni-Hand是否能助力第一人称视觉领域的其他三项关键下游任务，即动作
Fig. 3. Architecture of the VL-fusion module. It generates HM latents for the following HMF diffusion by fusing vision-language features, waypoint features, and task-aware text embeddings.
预判[^53]、[^54]、[^55]、[^56]、早期动作识别[^56]、[^57]、[^58]以及动作识别[^56]、[^59]、[^60]、[^61]、[^62]。引入手部运动特征后，预判和识别准确率的提升表明Uni-Hand在可穿戴辅助技术中具有应用潜力。
### III. 所提出的方法
### A. 系统概述
首先，我们在图2中展示了Uni-Hand的整体推理流程。给定一系列过去的第一人称观测数据$\mathcal{O} = \{O_t\}_{t=-N_p+1}$、手部中心或特定关节的过去路径点$\mathcal{H}_p = \{H_t\}_{t=-N_p+1}^0$（$H_t \in \mathbb{R}^2$或$\mathbb{R}^3$），以及一段文本
---
提示L：我们提出的Uni-Hand模型旨在预测未来的手部轨迹$\mathcal{H}_f = \{H_t\}_{t=1}^{N_f} (H_t \in \mathbb{R}^2 \text{ or } \mathbb{R}^3)$，必要时还能预测交互状态$\mathcal{G}^f = \{G_t\}_{t=1}^{N_f} (G_t \in \{0,1\})$。$N_p$和$N_f$分别表示过去和未来时间范围内的帧数。每个观测值$O_t$包含以自我为中心的2D RGB图像$I_t \in \mathbb{R}^{c \times h \times w}$以及3D点云数据$D_t \in \mathbb{R}^{n \times 3}$。时间交互状态$G_t = 0$表明手部与目标物体处于物理分离状态，而$G_t = 1$则表示二者处于接触状态。遵循先前的研究[^13]、[^14]、[^15]，我们在固定的参考系上预测未来的手部路径点（例如，对于2D和3D HMF任务，分别采用第一帧的图像平面和相机坐标系$O_{-N_p}$）。可以看出，与当前仅使用图像输入的基准模型[^12]、[^13]、[^15]、[^18]相比，我们的框架能够整合多模态信息，从而提升预测模型对环境和任务的感知能力。此外，UniHand还能并行预测多个关节的路径点（例如$\mathcal{H}_f^{j0}$、$\mathcal{H}_f^{j4}$和$\mathcal{H}_f^{j8}$），因为不同关节的数据可以打包到同一个批次中。
具体来说，我们首先从输入的RGB图像、手部路径点和文本提示中提取特征/潜变量（见图2(a)，第III-B节）。VL融合模块通过融合视觉-语言特征、路径点特征、任务相关的文本嵌入以及目标指示符，生成手部运动潜变量（HM潜变量）。自我运动编码器计算输入图像序列的连续单应性矩阵，以此表示头戴式设备的相机自我运动，随后将其编码为自我运动潜变量（EM潜变量）。为了整合3D结构特征，体素编码器将过去的点云转换为体素块。随后，我们设计了一个双分支扩散模型（见图2(b)，第III-C节），该模型包含手部运动预测扩散（HMF扩散）和自我运动预测扩散（EMF扩散），用于基于过去的潜变量同时预测未来的HM潜变量和EM潜变量。EMF扩散采用传统的Mamba架构来高效地对含噪的未来潜变量进行去噪；相比之下，HMF扩散则采用我们提出的混合Mamba-Transformer模块作为去噪模型，该模块由堆叠的自我运动感知Mamba块以及结构感知/任务感知Transformer组成。这一模块能够协调以自我为中心的视觉下的手部运动建模、用于任务感知优化的文本嵌入注入，以及用于3D结构感知的全局上下文整合。最终，去噪后的未来HM潜变量会被解码为未来的手部轨迹和交互状态。我们通过多种损失函数以端到端的方式训练Uni-Hand的各个组件（第III-D节）。
### B. 多模态特征提取
1) 自身运动编码器：由于我们的框架在手部运动预测中考虑了头部运动的建模，我们首先计算从 $\mathcal{M}_p = \{M_t\}_{t=-N_p+1}^0$ 开始的序列单应性 $M_t \in \mathbb{R}^{3\times3}$（$I_t$），用以表示遵循 [^15]、[^18] 的过去头戴式摄像头自身运动。$M_t$ 表示第 t 帧与首帧（$t = -N_p + 1$）之间的单应性矩阵，该矩阵由 SIFT 描述符 [^63] 结合 RANSAC 算法 [^64] 估算得出。随后，由多层感知机组成的自身运动编码器会将自身运动单应性 $\mathcal{M}$ 编码为过去的自身运动特征 $F_p^{em} \in \mathbb{R}^{N_p \times f}$，作为后续 EMF 扩散模型的潜变量。需要注意的是，真实值（GT）的未来 EM 潜变量 $F_f^{em} \in \mathbb{R}^{N_f \times f}$ 是通过使用与处理过去帧相同的自身运动编码器，对来自未来图像帧的 GT 单应性矩阵 $\mathcal{M}_f = \{M_t\}_{t=1}^{N_f}$ 进行编码得到的。这些潜变量仅存在于训练过程中用于监督，之后会被采样噪声 $F_{noise}^{em} \in \mathbb{R}^{N_f \times f}$ 替换，以便如图 2(b) 所示在 EMF 扩散模型中实现基于去噪的推理。
2) VL-融合模块：针对手部运动预测，我们开发了 VL-融合模块，通过融合 RGB 图像、过去路径点以及文本提示等多种模态来生成 HM 潜变量。如图 3 所示，我们为不同的 HMF 应用支持两种类型的文本提示：通用提示和任务特定指令。当目标手部运动与具体任务无关时，我们建议采用通用提示“hand”，通过预训练的 GLIP 模型 $X^{\text{vl}} \in \mathbb{R}^{(N_p + \ell) \times x}$ 生成视觉-语言融合特征 [^65]，该过程遵循 [^16]。其中 x 代表特征通道维度。训练期间 $\ell$ 取值为 $N_f$，而在推理阶段则设为 0，因为在 HMF 扩散模型的推理过程中，未来的 HM 潜变量会被采样噪声替换。通用文本提示借助 GLIP 最深层的跨模态多头注意力机制，能够半隐式地捕捉图像中的手部姿态及手部与场景的关系。相反，一旦明确了手部执行的任务，VL-融合模块会吸收额外的任务特定指令（例如“将方块推到布上”），利用 CLIP 模型 $X^{\text{task}} \in \mathbb{R}^x$ 生成文本嵌入 [^66]，从而为手部运动预测提供任务感知能力。
此外，我们使用多层感知机将过去的手部路径点编码为路径点特征 $X^{\mathrm{wp}} \in \mathbb{R}^{(N_p + \ell) \times x}$，再将其与 $X^{\mathrm{vl}}$ 拼接并平铺 $X^{\mathrm{task}}$。如图 3 所示，额外的目标指示器也会与之拼接，用以指定预测目标。目标指示器由平铺的独热编码 $X^{\mathrm{tar}} \in \mathbb{R}^e$ 构成，其中 e 表示预测目标的总数。最终，这些特征组合经多层感知机融合后，生成用于后续 HMF 扩散的 HM 潜变量 $F_p^{\mathrm{hm}} \in \mathbb{R}^{N_p \times f}$ 和 $F_f^{\mathrm{hm}} \in \mathbb{R}^{N_f \times f}$。f 代表 HM 潜变量的通道维度。$F_f^{\mathrm{hm}}$ 仅存在于训练阶段用于重建监督，因为在 HMF 扩散模型的推理阶段，带噪的未来潜变量 $F_{\mathrm{noise}}^{\mathrm{hm}} \in \mathbb{R}^{N_f \times f}$ 会与 $F_p^{\mathrm{hm}}$ 拼接。通过将目标指示器无缝集成到框架中，Uni-Hand 能够识别不同手部中心和关节的 HM 潜变量，并通过后续的 HMF 扩散模型实现多目标预测。
3) 体素编码器：点云预处理：与仅接收RGB图像的现有方法相比，Uni-Hand通过吸收点云观测数据来提升3D结构感知能力，从而生成更合理的HMF。头戴式设备的RGB-D摄像头会拍摄与其RGB图像对齐的深度图$I_t$，该深度图会直接转换为输入点云$D_t \in O_t$以供Uni-Hand使用。为了应对计算效率和内存需求方面的实际限制，我们将完整的点云转换为更紧凑的体素化形式，如图4所示。具体而言，我们首先利用MobileSAM [^67] 去除每个$D_t$中投影到手臂上的深度点——这是因为手臂运动会产生伪影点，从而影响后续多帧聚合过程中的全局3D表示精度。随后，通过视觉里程计将过去以自我为中心的观测数据O中的所有净化后的点云转换到统一的全局坐标系下。接着我们将其聚合为体素网格，以避免无序点云结构的干扰，并进一步减少数据量。
体素编码：在上述点云预处理之后，Uni-Hand中的体素编码器会通过3D卷积将密集的3D体素编码为更稀疏的表示$X^{\text{vox}} \in \mathbb{R}^{N_{\text{vox}} \times f}$。也就是说，每个输入点云对应$N_{\text{vox}}$
---
Fig. 4. Hand removal for purified point clouds. We regard the voxel patches encoded by the voxel encoder as 3D global context for the denoising process in the HMF diffusion.
通道维度f与HM潜变量相同的体素块。值得注意的是，尽管这些体素块在维度上与HM潜变量对齐，但我们并不会将它们整合到HM潜变量中。相反，它们会被保留下来，作为后续HMF扩散过程中去噪模型的3D交互环境的独立全局上下文。这是因为与连续的以自我为中心的观测数据相比，聚合点云的统一全局表示并不随时间变化，因此无需将其合并到随时间变化的HM潜变量中。
### C. 双分支扩散模型
1) 手部-头部运动协同：我们提出的双分支扩散模型旨在捕捉手部运动与头戴设备相机自我运动之间的协同关系，同时预测未来的HM潜变量和EM潜变量。未来交互过程中的手部-头部运动协同体现在三个方面：1）手部运动往往跟随头部运动，因为头部的先前运动为轨迹规划提供了关键的视觉线索（图5(a)）；2）头部运动可能跟随手部动作，因为无意识的、更快的手部运动会引发头部反应（图5(b)）；3）人类会将手部运动限制在以自我为中心的视野内，以确保能准确接触目标（图5(a)和(b)）。我们认为，忽略未来头部运动来预测手部运动并不符合人类的真实行为规划模式。相反，明确拆分相互纠缠的手部-头部运动有助于预测模型更好地理解协同运动模式以及潜在的互动意图。基于上述考虑，我们提出了双分支扩散模型，包括EMF扩散和HMF扩散，用于同时预测未来的EM潜变量（头戴设备相机自我运动）和HM潜变量（手部运动）。
(a) The head’s prior movement followed by the hand’s movement
(b) The hand's prior movement followed by the head's movement
Fig. 5. Examples of head movement (corresponding to camera egomotion) and hand movement entangled during the hand-object interaction process in egocentric views in the EgoPAT3D dataset [^68]. Here we present the RGB images and point clouds, as well as camera poses to clarify the hand-head motion trend.
2) EMF扩散：EMF扩散旨在去除……
未来EM潜变量中的噪声，从而得到用于后续手部运动预测的头部运动趋势。
如图2(b)所示，
EMF扩散利用Mamba [^23] 作为……
去噪模型，将含噪的未来EM潜变量$F_{\text{noise}}^{\text{em}}$转换为
在过往EM潜变量$\hat{F}_{\text{f}}^{\text{em}} \in \mathbb{R}^{N_{\text{f}} \times f}$的条件下的$F_{\text{p}}^{\text{em}}$。
预测的 $\hat{F}_{\text{f}}^{\text{em}}$ 隐含地代表了未来的头部运动趋势。
在交互过程中，由于头部运动的动力学特性比手部运动更简单，
且头部运动预测必须足够高效，以便为手部运动预测提供条件信号，
因此我们采用了普通的 Mamba 模块来进行高效去噪，以用于我们提出的 EMF 扩散模型。
此外，我们省略了将未来的 EM 隐变量解码为具体单应性矩阵的过程。
在我们提出的EMF扩散模型中，去噪效率得到了显著提升。此外，我们
省略了将未来的EM隐变量解码为特定
单应性矩阵的步骤。这一做法消除了其中固有的歧义性。
在为其他单应性参数化方案选择监督信号时产生的歧义。
[^69]:
3) HMF扩散：基于预测的相机自身运动趋势，HMF扩散旨在预测未来的HM隐变量，这些隐变量随后会通过专门设计的解码器转化为明确的未来手部轨迹与交互状态。如图2(b)所示，HMF扩散接收过去的HM隐变量$F_{p}^{hm}$来预测未来的对应隐变量$\hat{F}_{f}^{hm}$，其预测过程以EMF扩散所预测的$F_{p}^{em}$和$\hat{F}_{f}^{em}$为条件。在此我们提出了一种新型的混合Mamba-Transformer模块（HMTM）作为去噪模型。如图6(a)所示，HMTM包含三个关键组件：1) 源自MADiff的堆叠式自身运动感知Mamba（EAM）模块[^16]，该模块利用运动驱动选择性扫描（MDSS）技术，将自身运动单应性特征无缝融入Mamba的状态转换过程中；2) 我们新设计的结构感知Transformer（SAT），它通过多头交叉注意力机制将体素块作为三维全局上下文加以利用；3) 任务感知Transformer（TAT），我们在其中将任务指令的文本嵌入信息注入到HMF去噪过程中。
---
(a) HMTM Architecture
(b) SAT/TAT Architecture
Fig. 6. Architecture of the hybrid Mamba-Transformer module. It denoises HM latents with stacked EAM, SAT, and TAT blocks.
堆叠式运动感知Mamba（EAM）：具体来说，我们首先将$F_{\mathrm{p}}^{\mathrm{em}}$与预测的$\hat{F}_{\mathrm{f}}^{\mathrm{em}}$沿时间维度拼接成$\hat{F}_{\mathrm{pf}}^{\mathrm{em}} \in \mathbb{R}^{(N_{\mathrm{p}}+N_{\mathrm{f}}) \times f}$，从而得到头戴式摄像头在过去和未来的运动特征序列。类似地，我们将$F_{\mathrm{p}}^{\mathrm{hm}}$与采样的噪声$F_{\mathrm{noise}}^{\mathrm{hm}}$拼接成$F_{\mathrm{pf}}^{\mathrm{hm}} \in \mathbb{R}^{(N_{\mathrm{p}}+N_{\mathrm{f}}) \times f}$。接着，我们在EAM中为HMF扩散的每一步去噪操作引入MDSS，以基于完整的时序EM隐变量$F_{\mathrm{pf}}^{\mathrm{hm}}$对$\hat{F}_{\mathrm{pf}}^{\mathrm{em}}$的未来部分进行去噪。因此，我们将运动感知Mamba强大的时序特征建模能力以及手部运动感知功能整合到了Uni-Hand中。正如先前的研究[^16]中所展示的那样，该模型能够缩小当前摄像头视图与预测视图之间的视觉差距，并能自适应地保留时序序列中的关键因果关系。
结构感知型Transformer（SAT）：在HMTM中，堆叠的EMA模块的输出会进一步被结构感知型Transformer处理。SAT能够为HMF扩散过程的每一步去噪操作吸收交互环境的三维全局上下文信息。如图6(b)所示，在经过标准的位置/时间编码（PE/TE）[^15]、[^42]之后，我们会对HM隐变量$F_{pl}^{hm}$依次执行多头自注意力（MHSA）运算，以及MHSA输出与体素块$X^{vox}$之间的多头交叉注意力（MHCA）运算。具体而言，对于MHCA的输入，我们将前一级MHSA输出的HM隐变量及Add&Norm结果作为查询向量，而体素块$X^{vox}$则作为键向量和值向量。受人类通过立体视觉感知三维空间关系的启发，Uni-Hand在每一步去噪过程中都通过MHCA将体素块作为环境全局上下文引入，凭借这种三维结构感知能力来实现更合理手部运动预测，从而更好地把握潜在布局并避免碰撞。
Fig. 7. Difference matrices of denoised future HM latents between two text instructions, “put the blue block onto the square cloth” and “put the red block onto the square cloth”. They are visualized as height fields. This illustration reflects the effectiveness of our devised TAT to enhance the awareness of specific tasks in hand feature prediction.
任务感知型Transformer（TAT）：在设计的SAT之后，任务感知型Transformer会将特定任务信息注入到手部运动预测过程中，帮助模型识别具体的人类意图或下游任务指令。如图6(b)所示，TAT的结构与SAT相同，但它会对自身MHSA的输出与任务指令对应的分块文本嵌入$X^{task}$执行多头交叉注意力运算。我们发现，仅将任务感知型文本嵌入合并到HM隐变量中（如第III-B2节所述）并不足以生成符合输入任务指令的未来手部位点。原因可能是随着网络深度的增加以及HMF扩散过程中逐步进行的去噪操作，HM隐变量中固有的任务特异性会逐渐减弱。因此我们需要通过MHCA持续注入原始任务信息，以增强模型的任务区分能力。图7展示了两条文本指令——“把蓝色积木放到方形布上”和“把红色积木放到方形布上”——所对应的去噪后未来HM隐变量的差异矩阵，该矩阵由$\left|\hat{F}_{f}^{hm,blue} - \hat{F}_{f}^{hm,red}\right|$计算得出，用于呈现这两条关键词目标不同（蓝色积木 vs 红色积木）、整体相似的文本指令所带来的特征差异。可以看出，引入任务感知型Transformer后，除了将文本嵌入融合到HM隐变量中之外，预测得到的未来HM隐变量之间的特征差异也变得更加显著。也就是说，TAT能够帮助预测模型区分不同的交互任务，从而实现更合理的手部运动预测；其积极效果在后续时间步中表现得更为明显，而这直接决定了预测的手部运动与目标物体的交互效果。我们将在第IV-F节进一步分析任务感知型文本嵌入注入的效果。需要注意的是，我们仅在明确知晓人手所执行的任务时，才会在Uni-Hand中部署TAT；而在任务未知的HMF场景中，SAT输出的隐变量会直接被送入下一步扩散过程。
在HMF扩散过程的最后一步去噪完成后，我们便得到了去噪后的HM隐变量$\hat{F}_{\mathrm{pf}}^{\mathrm{hm}}$。如图2(b)所示，$\hat{F}_{\mathrm{f}}^{\mathrm{hm}} \in \mathbb{R}^{N_{\mathrm{f}} \times f}$中的未来部分$\hat{F}_{\mathrm{pf}}^{\mathrm{hm}}$最终会被解码为
---
基于MLP的手部轨迹解码器和交互状态解码器所输出的未来二维/三维手部位点$\hat{\mathcal{H}}_f = \{\hat{H}_t\}_{t=1}^{N_f}$以及未来交互状态$\hat{\mathcal{G}}_f = \{\hat{G}_t\}_{t=1}^{N_f}$。这些去噪后的HM特征、预测位点和交互状态也可被视为多种下游任务的可用信息，这一点将在第IV-E节中得到验证。
### D. 训练与推理
1) 局部加噪与去噪：我们利用Gong等人提出的局部加噪/去噪方法[^42]，用于EMF扩散和HMF扩散的训练与推理阶段。具体来说，我们在前向步骤和后向步骤中固定过去的隐变量$F_{p}^{em}$和$F_{p}^{hm}$。实际上，尽管来自过去时间段的EM隐变量和HM隐变量会因加噪和去噪操作而发生改变，但在每次扩散步骤之后，它们会被手动重置为初始值（通过多模态特征提取获得）。
2) 损失函数：我们对Uni-Hand进行端到端训练，使用六种损失函数：1）$\mathcal{L}_{VLB}^{em}$，用于恢复EMF扩散中的未来EM隐变量；2）$\mathcal{L}_{VLB}^{hm}$，用于恢复HMF扩散中的未来HM隐变量；3）轨迹位移损失$\mathcal{L}_{dis}$；4）轨迹角度损失$\mathcal{L}_{angle}$；5）正则化项$\mathcal{L}_{reg}$；6）交互状态损失$\mathcal{L}_{state}$。下面我们将详细介绍这些损失函数。
EMF扩散的损失函数：为了通过EMF扩散生成合理的头戴式摄像头运动轨迹，我们设定$\mathcal{L}_{\mathrm{VLB}}^{\mathrm{em}}$，用于恢复未来的EM隐变量，该设定遵循[^15]所使用的扩散相关损失：
$$ \mathcal{L}_{\mathrm{V L B}}^{\mathrm{e m}}=\sum_{s=2}^{S}||\mathbf{z}_{0}^{\mathrm{e m}}-f_{\mathrm{E M F}}(\mathbf{z}_{s}^{\mathrm{e m}},s)||^{2}+||F_{\mathrm{f}}^{\mathrm{e m}}-\hat{F}_{\mathrm{f}}^{\mathrm{e m}}||^{2}, $$
其中s表示每个扩散步骤的索引，S为总扩散步骤数。$\mathbf{z}_s^{\mathrm{em}}$表示第s次去噪步骤后的隐变量。$f_{\mathrm{EMF}}$代表EMF扩散中去噪模型的函数。$F_{\mathrm{f}}^{\mathrm{em}}$是来自未来时间段观测数据的GT未来EM隐变量，而$\hat{F}_{\mathrm{f}}^{\mathrm{em}}$则是如前所述由EMF扩散最终预测出的对应结果。
HMF扩散的损失函数：用于监督HMF扩散中预测的未来HM隐变量的扩散相关损失$\mathcal{L}_{\mathrm{VLB}}^{\mathrm{hm}}$的定义方式类似：
$$ \mathcal{L}_{\mathrm{V L B}}^{\mathrm{h m}}=\sum_{s=2}^{S}||\mathbf{z}_{0}^{\mathrm{h m}}-f_{\mathrm{H M F}}(\mathbf{z}_{s}^{\mathrm{h m}},s)||^{2}+||F_{\mathrm{f}}^{\mathrm{h m}}-\hat{F}_{\mathrm{f}}^{\mathrm{h m}}||^{2}, $$
其中$\mathbf{z}_s^{\mathrm{hm}}$表示第s次去噪步骤后的隐变量。$f_{\mathrm{HMF}}$代表HMF扩散中去噪模型的函数。$F_{\mathrm{f}}^{\mathrm{hm}}$是从未来时间段观测数据编码得到的GT未来HM隐变量。$\hat{F}_{\mathrm{f}}^{\mathrm{hm}}$则是HMF扩散预测出的对应结果。
此外，我们利用轨迹位移损失$\mathcal{L}_{\text{dis}}$和轨迹角度损失$\mathcal{L}_{\text{angle}}$来优化由手部轨迹解码器解码出的手部航点：
$$ \mathcal{L}_{\mathrm{d i s}}=\frac{1}{N_{\mathrm{f}}}\sum_{t=1}^{N_{\mathrm{f}}}D_{\mathrm{d i s}}(H_{t},\hat{H}_{t}), $$
$$ \mathcal{L}_{\mathrm{a n g l e}}=\frac{1}{N_{\mathrm{f}}}\sum_{t=0}^{N_{\mathrm{f}}-1}D_{\mathrm{c o s}}(H_{t+1}-H_{t},\hat{H}_{t+1}-\hat{H}_{t}), $$
其中$D_{\mathrm{dis}}(\cdot)$表示预测的手部航点与GT手部航点之间的欧几里得距离。$\hat{H}_{t}$是手部轨迹解码器输出的手部航点，而$H_{t}$是其GT对应结果。$D_{\cos}(\cdot)$则表示两个输入运动向量之间的余弦相似度。
借鉴先前的研究[^15]、[^16]，我们还引入了正则化项$\mathcal{L}_{\text{reg}}$，用于惩罚伪轨迹预测结果$\tilde{H}_t$与$H_t$之间的差异：
$$ \mathcal{L}_{\mathrm{r e g}}=\frac{1}{N_{\mathrm{f}}}\sum_{t=1}^{N_{\mathrm{f}}}D_{\mathrm{d i s}}(H_{t},\tilde{H}_{t}), $$
其中$\tilde{H}_{t}$是通过直接将$F_{\mathrm{f}}^{\mathrm{hm}}$输入手部轨迹解码器而非预测的$\tilde{F}_{\mathrm{f}}^{\mathrm{hm}}$而得到的。这种正则化措施有助于提升训练稳定性和优化性能。
为了优化交互状态预测，我们利用定义为$\mathcal{L}_{\mathrm{int}}$的交互状态损失：
$$ \mathcal{L}_{\mathrm{i n t}}=\mathrm{C E}\left(\mathcal{G}_{\mathrm{f}},\hat{\mathcal{G}}_{\mathrm{f}}\right), $$
其中，$\mathrm{CE}(\cdot)$ 表示二元交叉熵损失函数。$\hat{G}_{\mathrm{f}}$ 是由交互状态解码器解码出的预测交互状态，而 $G_{\mathrm{f}}$ 则是其真实标签。通过交互状态损失的监督，手与物体接触的时间点将会被以更接近1的概率预测出来。
总损失函数：用于训练我们提出的Uni-Hand模型的总损失函数是上述所有损失的加权和，其表达式如下：
$$ \begin{aligned}\mathcal{L}_{total}&=\lambda_{VLB}^{em}\mathcal{L}_{VLB}^{em}+\lambda_{VLB}^{hm}\mathcal{L}_{VLB}^{hm}+\lambda_{dis}\mathcal{L}_{dis}+\lambda_{angle}\mathcal{L}_{angle}\\&\quad+\lambda_{reg}\mathcal{L}_{reg}+\lambda_{int}\mathcal{L}_{int},\end{aligned} $$
其中，$\lambda_{\mathrm{VLB}}^{\mathrm{em}}$、$\lambda_{\mathrm{VLB}}^{\mathrm{hm}}$、$\lambda_{\mathrm{dis}}$、$\lambda_{\mathrm{angle}}$、$\lambda_{\mathrm{reg}}$ 和 $\lambda_{\mathrm{int}}$ 是用于平衡这些损失之间权衡的权重。
### 四、实验结果
### A. 基准测试
我们在五个公开数据集上评估所提出的Uni-Hand模型以及现有基线模型，这些数据集包括EgoPAT3D-DT $^{[14]}$、[^68]、H2O-PT $^{[14]}$、[^70]、HOT3D-Clips $^{[71]}$、Ego4D $^{[72]}$ 和 Epic-Kitchens-55 $^{[73]}$；此外还有两个自行录制的数据集，即Cup-Apple-Box-Hand（CABH）基准测试和Hand-ALOHA-Transfer（HAT）基准测试。在HAT基准测试中，我们在真实的机器人平台ALOHA $^{[74]}$ 上开展人机交互迁移实验，以此展示Uni-Hand在现实场景中如何有效支持操控任务。
1) 公开数据集：我们参照先前研究 [^14]、[^21] 的设置来整理EgoPAT3D-DT、H2O-PT和HOT3D-Clips数据集。更多细节请参阅补充材料中的A节。对于Ego4D数据集，在其未来手部预测基准测试中，我们选取了包含无约束头部运动的5帧标注片段，让所有待评估方法输入前三个帧（条件帧之前的三个帧），以预测后续两帧（条件帧和接触帧）中的手部位置。为了进一步展示我们的Uni-Hand如何支持下游的动作预测、早期动作识别及动作识别任务，我们按照OCT [^13] 的划分方式整理了Epic-Kitchens-55数据集。下游动作预测任务的评估流程如图8所示。如图8(a)所示，我们选用了应用广泛且现成的动作预测框架RU-LSTM [^56]，来展示我们提出的HMF方法所带来的特征增强效果。具体来说，我们
---
(a) High-level diagram of RU-LSTM
(c) Exampled anticipations
Fig. 8. Illustration of testing Uni-Hand in the downstream action anticipation task. In the egocentric images of (b) and (c), the red, green, and blue lines denote hand center waypoints predicted by Uni-Hand, OCT [^13], and GT labels, respectively.
首先在Epic-Kitchens-55数据集中使用带有标注的手部中心路径点的数据来训练Uni-Hand模型，从而使其具备良好的HMF能力，如图8(b)所示。之后，在实现后续动作预测时，我们直接将HMF特征（由Uni-Hand的HMF扩散模型提取的潜变量）添加到普通RU-LSTM输出的特定模态特征中。这些组合后的特征会进一步通过R-LSTM和U-LSTM进行滚动-展开运算处理。接着，我们通过最小化预测动作类别（从U-LSTM输出线性变换得到）与真实标签之间的损失，来优化RU-LSTM以完成动作预测任务。值得注意的是，我们特意考察了RU-LSTM的特定模态分支，即RGB分支和光流分支，以此证明我们的HMF方法能够同时增强RGB和光流特征，进而提升预测精度。由于HMF潜变量与物体特征之间的通道维度不匹配，我们没有使用RU-LSTM的物体分支。早期动作识别与动作识别任务中的特征增强操作与动作预测类似，不过我们仅考虑RU-LSTM的预测阶段，而忽略其编码阶段。关于RU-LSTM结构的更多细节，请参阅原文 [^56]。
2) Cup-Apple-Box-Hand基准测试：为了进一步证明我们的方法能够借助低成本设备采集数据并实现规模化应用，我们使用RealSense D435i头戴式摄像头为三项现实世界任务采集了1200段第一人称视角视频，分别是将杯子放在杯垫上（任务1）、将苹果放在盘子上（任务2）以及将盒子放在架子上（任务3），以此构建CABH基准测试集（见图9）。每项任务中，350个视频片段用于训练，另外50个片段用于评估。每个视频片段时长约为5秒，其中前50%被视作历史序列，后50%则作为未来序列。为了验证Uni-Hand仅依靠第一人称视觉就能实现合理的手部运动预测，且无需依赖昂贵的动作捕捉系统来获取真实标注，我们利用视觉定位模型Grounded SAM [^75]以及手部网格恢复方法HaMeR [^27]来标注视频中的二维手部中心和关节点。借助RGB-D摄像头的深度信息，还能进一步还原这些关节点的三维位置。为了证明预测画布的选择
Fig. 9. Our self-collected CABH benchmark includes three hand-object interaction tasks to efficiently evaluate HMF.
并不会限制Uni-Hand的优越性，我们直接以每一帧未来画面作为画布来预测手部的后续路径点。
3) Hand-ALOHA-Transfer 基准：任务定义：我们还提出了 Hand-ALOHA-Transfer 基准，通过安装在 ALOHA 上的顶部相机记录手部运动 [^74]，如图 10 所示。顶部相机 RealSense LiDAR Camera L515 捕获第一人称视角 RGB 图像和点云（深度），用于手部运动预测和末端执行器动作预测。在 HAT 基准中，我们引入了五个操作任务：
- 推动任务（♥）：将方块推到布料上。共有400段手部运动视频用于训练Uni-Hand，通过10次试验来评估其在现实世界中的性能。
拾放任务（ $\blacklozenge$）：将方块放在布料上。共有400段手部运动视频用于训练Uni-Hand，通过10次试验来评估其在现实世界中的性能。
- 更复杂的拾放任务（♣）：将蓝色方块堆叠在红色方块上。共有400段手部运动视频用于训练Uni-Hand，通过10次试验来评估其在现实世界中的性能。
---
Fig. 10. Our scheme to deploy Uni-Hand to real-world robotic manipulation tasks.
- 语言条件化拾放任务（♠）：将{蓝色、红色}方块放在布料上。共有800段手部运动视频用于训练，其中蓝色和红色类别各400段；通过10次试验评估其在现实世界中的性能，每种类别各5次试验。
- 长时域抓取与放置任务（★）：将积木、玩具和香蕉放到盘子上。用于训练Uni-Hand的数据共包含800段手部运动视频，评估其实际表现则需进行10次试验。
这些多类操控任务用于评估HMF的性能以及人机策略迁移能力。
部署方案：如图10所示，我们利用记录的手部运动数据来训练UniHand，使其能够以“先观察后移动”的方式为机器人末端执行器生成完整的可执行动作。具体而言，预测出的3D轨迹用于跟踪，而预测的交互状态则帮助机器人决定何时张开或闭合夹爪。真实的3D手部路径点由HaMeR捕获[^27]。为了标注真实交互状态，我们采用了两种方法：（1）人工标注；（2）利用EgoLoc实现自动化时序交互定位（auto-TIL）[^76]。在HAT基准测试的训练和推理阶段，仅使用第一个观测帧（即$N_{p} = 1$，与手部无关）作为以自我为中心的视觉输入。预测模型直接输出包含完整路径点和交互状态的全局运动信息，而非基于迭代的观测和状态进行逐步推理。这是因为机器人在操控过程中无法看到人类的手部，完全依赖环境观测数据。因此，我们在训练阶段不会纳入涉及人类手部的观测信息。我们的HAT基准测试正是为了评估HMF方法在不受观测运动约束的情况下，从零开始生成完整轨迹和交互状态的能力（更多细节见补充材料第S节）。此外，针对所有机器人操控任务，我们都整理了人类手部抓取姿态到机器人抓取姿态的映射关系，具体细节见补充材料第C节。
### B. Uni-Hand配置
对于图3中展示的基于图像的视觉语言功能及通用文本提示，我们提取了GLIP中最深层的跨模态多头注意力模块（X-MHA）的输出[^65]，这些输出随后会经过[^16]提出的通道适配器处理。此外，在图3中，拼接前所有特征的通道维度均设为1024，而目标指示符的对应值则由预测目标的数量决定（例如，若需预测五个手部关节，则该值为5）。为了生成图4所示的3D全局上下文，我们将输入的点云转换为分辨率为0.05米的$20 \times 20 \times 20$尺寸体素网格，每个体素块的大小为$27 \times 1024$。对于EMF和HMF扩散过程，我们将潜特征的通道维度均设为1024。扩散步骤总数设定为1000步，其中EMF扩散仅用一步即可高效预测EM潜变量，而HMF扩散则需100步来预测未来的HM潜变量。我们根据预测空间（2D/3D）自适应调整用于编码和解码手部轨迹的MLP的输入与输出维度。值得注意的是，在hand-ALOHA运动迁移任务中，由于机器人基座在我们的HAT基准测试中固定不动，因此相机单应性矩阵为单位矩阵。此外，我们通过实验发现：将去噪步骤增加到1000步后，HMF扩散能为机器人末端执行器生成更稳定的轨迹。推理效率与规划精度之间存在权衡。我们设计的混合Mamba-Transformer模块中采用的Mamba与Transformer混合模式，是根据补充材料第E节中的消融研究结果确定的。我们使用AdamW优化器[^77]在EgoPAT3D-DT、H2O-PT、Ego4D以及我们自行采集的基准数据集上训练Uni-Hand，学习率设为5e-5，训练1K轮；在HOT3D-Clips数据集上则使用5e-6的学习率训练2K轮。
### C. 多维手部轨迹预测评估
我们首先验证所提出的Uni-Hand能在2D和3D维度上预测出合理的手部中心路径这一结论。预测手部中心是HMF方法所需的最基本能力。评估指标包括平均位移误差（ADE）和最终位移误差（FDE），其计算方法参照以往研究[^14]、[^15]、[^24]。预测画布[^15]被选为每个视频片段的第一帧，也就是说，所有3D路径点都是相对于第一个摄像头坐标表示的，而所有2D路径点则被转换到第一个图像平面上。3D空间的评估采用以米为单位的绝对尺度；2D空间的评估中，预测的路径点像素坐标会按图像尺寸进行归一化。我们分别对左右手的运动进行预测。我们将Uni-Hand与现有基线模型进行比较，这些基线包括恒速手部模型（CVH）[^15]、OCT [^13]、USST [^14]、S-Mamba [^78]、Diff-IP2D [^15]、基于Diff-IP2D的EER [^17]、EMAG [^18]以及MADiff [^16]。我们将原本用于通用时间序列预测的S-Mamba [^78]修改以适应我们的基于扩散的范式，从而预测HM标记。此外，由于Diff-IP2D、EER、EMAG和MADiff最初是为2D预测任务开发的，我们还将它们的2D输入输出路径点以及对应的编码器和解码器替换为3D版本，从而得到基线模型Diff-IP3D、EER3D、EMAG3D和MADiff3D。
在此，我们展示了所提出的Uni-Hand模型与基线方法在公开数据集及我们的CABH基准测试上的手部中心预测性能。如表I至表IV所示，与最先进的基线方法相比，Uni-Hand在大多数指标上的预测误差最小。尽管某些基线方法分别在2D和3D领域表现出较强的竞争力，但由于缺乏多模态融合能力，它们往往具有局限性，无法在两个空间中都保持一致的优越性。相比之下，我们的通用框架则能够同时处理3D结构信息与2D相机自身运动数据，从而在2D和3D空间中均取得相当稳定的性能。
---
TABLEI
COMPARISON OF PERFORMANCE ON 3D HAND TRAJECTORY PREDICTION ON THE PUBLICLY AVAILABLE DATASETS. BEST AND SECONDARY RESULTS ARE VIEWED IN BOLD BLACK AND GREEN COLORS RESPECTIVELY.
| Approach | EgoPAT3D-DT (seen) | EgoPAT3D-DT (unseen) | $H_{{20}}$-PT | HOT3D-Clips |
| ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
| CVH [^15] | 1.100 | 1.278 | 0.952 | 1.018 | 0.146 | 0.148 | 1.273 | 1.358 |
| OCT $^{{*}}$ [^13] | 0.370 | 0.524 | 0.309 | 0.397 | 0.103 | 0.126 | 0.188 | 0.215 |
| USST $^{{*}}$ [^14] | 0.183 | 0.341 | 0.120 | 0.185 | 0.031 | 0.052 | 0.123 | 0.157 |
| S-Mamba [^78] | 0.185 | 0.355 | 0.138 | 0.207 | 0.038 | 0.074 | 0.117 | 0.132 |
| Diff-IP3D [^15] | 0.199 | 0.377 | 0.156 | 0.229 | 0.049 | 0.081 | 0.147 | 0.164 |
| EMAG3D [^18] | 0.207 | 0.365 | 0.166 | 0.209 | 0.062 | 0.085 | 0.141 | 0.158 |
| EER3D [^17] | 0.195 | 0.377 | 0.158 | 0.233 | 0.047 | 0.075 | 0.150 | 0.162 |
| MADiff3D [^16] | 0.183 | 0.363 | 0.139 | 0.224 | 0.032 | 0.059 | 0.120 | 0.147 |
| Uni-Hand (ours) | 0.170 | 0.336 | 0.118 | 0.189 | 0.030 | 0.050 | 0.104 | 0.131 |
$^{*}$ 根据勘误说明，对基线方法重新进行了评估：。
TABLE II
COMPARISON OF PERFORMANCE ON 2D HAND TRAJECTORY PREDICTION ON THE PUBLICLY AVAILABLE DATASETS. BEST AND SECONDARY RESULTS ARE VIEWED IN BOLD BLACK AND GREEN COLORS RESPECTIVELY.
| Approach | EgoPAT3D-DT (seen) | EgoPAT3D-DT (unseen) | $H_{{20}}$-PT | HOT3D-Clips |
| ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
| CVH [^15] | 0.180 | 0.230 | 0.188 | 0.221 | 0.206 | 0.208 | 0.437 | 0.444 |
| OCT $^{{*}}$ [^13] | 0.108 | 0.122 | 0.091 | 0.147 | 0.387 | 0.381 | 0.190 | 0.240 |
| USST $^{{*}}$ [^14] | 0.082 | 0.118 | 0.060 | 0.087 | 0.040 | 0.068 | 0.133 | 0.172 |
| S-Mamba [^78] | 0.084 | 0.141 | 0.071 | 0.118 | 0.051 | 0.094 | 0.130 | 0.160 |
| Diff-IP2D [^15] | 0.080 | 0.130 | 0.066 | 0.087 | 0.042 | 0.074 | 0.169 | 0.208 |
| EMAG [^18] | 0.095 | 0.143 | 0.092 | 0.139 | 0.054 | 0.093 | 0.155 | 0.194 |
| EER [^17] | 0.072 | 0.121 | 0.056 | 0.080 | 0.039 | 0.069 | 0.166 | 0.204 |
| MADiff [^16] | 0.065 | 0.105 | 0.054 | 0.086 | 0.039 | 0.068 | 0.124 | 0.160 |
| Uni-Hand (ours) | 0.064 | 0.109 | 0.052 | 0.087 | 0.036 | 0.065 | 0.118 | 0.156 |
TABLE III
COMPARISON OF PERFORMANCE ON HAND TRAJECTORY PREDICTION ON THE EGO4D DATASET IN 2D SPACE. BEST AND SECONDARY RESULTS ARE VIEWED IN BOLD BLACK AND GREEN COLORS.
| Approach | ADE $\downarrow$ | FDE $\downarrow$ |
| USST [^14] | 0.196 | 0.208 |
| EMAG [^18] | 0.221 | 0.228 |
| Diff-IP2D [^15] | 0.187 | 0.208 |
| S-Mamba [^78] | 0.182 | 0.201 |
| Uni-Hand (ours) | 0.176 | 0.193 |
TABLE IV
| Approach | Task 1 | Task 2 | Task 3 |
| 3D metrics |
| ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
| USST [^14] | 0.102 | 0.125 | 0.109 | 0.128 | 0.103 | 0.130 |
| Diff-IP3D [^15] | 0.053 | 0.057 | 0.055 | 0.078 | 0.064 | 0.080 |
| S-Mamba [^78] | 0.045 | 0.055 | 0.050 | 0.072 | 0.058 | 0.061 |
| Uni-Hand (ours) | 0.041 | 0.052 | 0.044 | 0.061 | 0.047 | 0.053 |
| 2D metrics |
| USST [^14] | 0.115 | 0.155 | 0.127 | 0.168 | 0.124 | 0.161 |
| Diff-IP2D [^15] | 0.084 | 0.100 | 0.094 | 0.117 | 0.109 | 0.126 |
| S-Mamba [^78] | 0.080 | 0.102 | 0.081 | 0.107 | 0.102 | 0.108 |
| Uni-Hand (ours) | 0.066 | 0.086 | 0.077 | 0.099 | 0.094 | 0.095 |
COMPARISON OF PERFORMANCE ON HAND TRAJECTORY PREDICTION ON CABH IN 3D AND 2D SPACES WITH AUTOMATED ANNOTATIONS. BEST AND SECONDARY RESULTS ARE VIEWED IN BOLD BLACK AND GREEN COLORS.
此外，Uni-Hand在Ego4D数据集上的表现也始终优于基线方法，这表明在观测数据有限（仅3帧输入）且头部运动高度动态的情况下，Uni-Hand能更有效地预测由语义驱动的手部运动，而不仅仅是简单外推短期的运动模式。图11和图12可视化了预测得到的手部中心路径，结果显示Uni-Hand的预测结果在多个维度上均具备更好的稳定性和方向性。这一结果表明，通过整合多模态信息，Uni-Hand能够更好地捕捉手部运动模式以及交互过程中的潜在意图。另外，HOT3D-Clips的数据量较小，难以支撑预测模型的训练，而我们的Uni-Hand在该数据集上的表现依然优于其他基线方法，这反映出该方法在训练数据有限的情况下具有更强的适应性。
### D. 多目标手部轨迹预测评估
我们进一步验证了Uni-Hand预测多个手部关节而非仅手部中心的未来路径的能力。由于缺少关节标注信息，此处未纳入EgoPAT3D-DT数据集。对于包含已标注的3D关节真实值的H2O-PT和HOT3D-Clips数据集，我们预测五个关节的轨迹：一个位于手腕，拇指和食指各两个（详见补充材料第B节）。这些预测目标的选择参考了近期的研究[^51]，旨在满足潜在的下游任务需求。此外，我们还对最初的CABH基准测试进行了扩展，形成了CABH-E版本[^21]。如图13第一行所示，我们记录了“从多个方向将苹果放入方形区域”这一场景，用以证明Uni-Hand能够捕捉多模态行为[^43]，且不会生成不稳定的动作。
---
Fig. 11. Visualization of predicted hand trajectories in the 3D space (left: EgoPAT3D-DT; middle: H2O-PT; right: HOT3D-Clips). We show the holistic sequence including observed past hand waypoints (green), ground-truth future ones (blue), and predicted future counterparts (red) by our Uni-Hand and two SOTA baselines.
Fig. 12. Visualization of 2D hand center forecasting (left: EgoPAT3D-DT, H2O-PT, and HOT3D-Clips; right: CABH). We show the holistic sequence including observed past joint waypoints (green), ground-truth future ones (blue), and predicted future counterparts (red) by our Uni-Hand and two SOTA baselines. Here we showcase the predictions on the first frame of each input video clip for EgoPAT3D-DT, H2O-PT, and HOT3D-Clips, while presenting the last frame for our CABH.
对于CABH-E数据集，我们还利用HaMeR结合深度观测数据生成了3D真实值，并预测三个关节的轨迹，分别是手腕、拇指尖和中指尖（见图13）。这种目标选择方式遵循CoM的研究设置[^79]，该设置强调使用中指尖而非食指。借此，我们展示了在不同目标组合下预测关节路径的性能表现。最终的位移误差是对各目标关节误差取平均值得出的。需要注意的是，由于最先进的基线方法原本不支持多目标预测，因此在本实验中需针对不同关节分别进行实现。
表五显示，Uni-hand在三个数据集上的表现始终优于基线模型。尤其是在CABH-E数据集上，Uni-hand将排名第二的基线的ADE和FDE分别降低了0.055和0.064。我们还在图13中可视化了预测关节位置投影到每个输入视频最后一帧的效果。总体而言，Uni-Hand生成的关节路径点方向合理且可行，最终位置也都能满足将苹果放置到目标区域的要求。这些结果证明，我们的通用框架在多目标手部预测方面表现优异，拓展了现有仅关注手部的轨迹预测范围。
---
TABLE V
COMPARISON OF PERFORMANCE ON MULTI-JOINT WAYPOINT PREDICTION IN 3D SPACE ON THE H2O-PT, HOT3D-CLIPS, AND CABH-E. BEST AND SECONDARY RESULTS ARE VIEWED IN BOLD BLACK AND GREEN COLORS RESPECTIVELY.
| Approach | $H_{{2}}O$-PT | HOT3D-Clips | CABH-E |
| ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
| USST $^{{*}}$ [^14] | 0.102 | 0.123 | 0.162 | 0.180 | 0.105 | 0.122 |
| Diff-IP3D [^15] | 0.152 | 0.160 | 0.200 | 0.204 | 0.093 | 0.110 |
| S-Mamba [^78] | 0.046 | 0.087 | 0.200 | 0.229 | 0.099 | 0.130 |
| Uni-Hand w/o $X^{{tar}}$ | 0.038 | 0.076 | 0.121 | 0.151 | 0.047 | 0.056 |
| Uni-Hand (ours) | 0.036 | 0.066 | 0.118 | 0.148 | 0.038 | 0.046 |
TABLE VI
PERFORMANCE COMPARISON ON OUR PROPOSED HAT BENCHMARK. WE PRESENT THE ERRORS OF HAND TRAJECTORY PREDICTION AND INTERACTION STATE PREDICTION ON THE VALIDATION SET (20 OUT OF THE TRAINING SAMPLES), AS WELL AS THE SUCCESS RATES (SR) OF 10 TEST TRIALS FOR EACH MANIPULATION TASK.
| Tasks | S-Mamba [^78] | Uni-Hand (ours) |
| ADE $\downarrow$ | FDE $\downarrow$ | MAE $\downarrow$ | SR $\uparrow$ | ADE $\downarrow$ | FDE $\downarrow$ | MAE $\downarrow$ | SR $\uparrow$ |
| ▼ | 0.038 | 0.049 | - | 40% | 0.022 | 0.018 | 1.3 | 100% |
| ◆ | 0.053 | 0.051 | - | 20% | 0.035 | 0.012 | 1.9 | 90% |
| ♣ | 0.061 | 0.040 | - | 0% | 0.040 | 0.016 | 0.8 | 80% |
| ♠ | 0.075 | 0.076 | - | 0% | 0.054 | 0.028 | 1.8 | 80% |
| ★ | 0.100 | 0.109 | - | 0% | 0.059 | 0.071 | 1.9 | 20% |
Fig. 13. Visualization of multi-target prediction on our CABH-E. We show the holistic sequence including observed past joint waypoints (green), ground-truth future ones (blue), and predicted future counterparts (red) by our Uni-Hand and two SOTA baselines. Here we showcase the predictions on the last frame of each input video clip.
表五还分析了我们所设计的目标指示器的贡献。未使用$X^{tar}$的基线Uni-Hand会单独预测不同关节，而不借助目标指示器。结果表明，尽管未使用$X^{tar}$的Uni-Hand的表现已优于其他最先进的基线模型，但引入目标指示器后，Uni-Hand能更精准地识别当前所关注的关节，并预测出更准确的关节路径点。因此，目标指示器被证实是我们通用HMF框架中实现多目标预测的关键组件。更多关于目标指示器形式和条件机制的消融实验结果，请参阅补充材料第I节。
### E. 下游任务评估
在本节中，我们验证了Uni-Hand能够为下游应用提供多任务支持这一说法。
1) 人机操控策略迁移：该实验在我们提出的Hand-ALOHA-Transfer基准测试上进行，旨在验证Uni-Hand促进多种下游机器人操控任务的能力。该基准测试中的五项任务及预测配置已在第IV-A3节中详细介绍。我们激活了任务感知型Transformer，并将任务指令的文本嵌入注入其中，以增强模型对特定任务设置的适应性。此处默认由人工标注真实交互状态。更多实验细节以及包含EgoLoc标注的结果将在补充材料第K节中介绍。表六首先展示了Uni-Hand与最先进的基线模型S-Mamba在真实场景验证集上的3D ADE和FDE指标。Uni-Hand生成的手部末端执行器轨迹与人类运动模式更契合。我们还观察到在手部与物体接触时刻附近的预测误差更低（详见补充材料第P节），这表明此时手部运动的不确定性更小，能为优化Uni-Hand提供更稳定的监督信号。这也使得即便在其他时刻（如初始阶段）误差相对较大，仍能规划出合理的动作。此外，我们还给出了这些任务中预测交互状态下接触-分离/分离-接触转换时刻的平均绝对误差（MAE）。由于基线模型[^78]不具备交互状态预测能力，我们并未报告其MAE值，而是直接使用真实标签作为其伪预测结果，用于后续的真实场景执行。表六显示，Uni-Hand能准确预测手部与物体的接触/分离状态，从而为合理的动作规划提供依据。随后，我们直接将预测模型迁移到真实场景部署中，让机器人末端执行器按照生成的轨迹和抓取动作进行操作。
如表VI所示，在每项指定操作任务的10次测试试验中，Uni-Hand的成功率均显著高于S-Mamba。对于难度较高的抓取放置任务、语言引导的抓取放置任务以及长时程抓取放置任务，基线模型的成功率仅为0%，根本无法完成这些任务。图14展示了末端执行器如何根据Uni-Hand对这些任务的手部运动预测结果进行精准跟随。这表明Uni-Hand为实际机器人平台上的应用提供了所需的运动知识。
---
"push the block onto the cloth"
"put the block onto the cloth"
Fig. 14. Real-world test on ALOHA. For each manipulation task, we illustrate the trajectories generated from scratch by Uni-Hand and how the gripper follows the action planning. The blue dots denote the predicted hand wrist positions, which spawn the yellow and red dots corresponding to the index fingertip and the thumb tip. The black and grey dots denote the pick and place timings of the gripper, respectively.
Fig. 15. Performance comparison between RU-LSTM branches enhanced by our Uni-Hand's HM features and the vanilla model on the downstream action anticipation task. We follow the evaluation metrics of the prior work [^56].
这些知识可用于推动原子技能（如推、拿、放）的策略学习，同时也有望助力完成复杂的语言引导型及长时程机器人任务。
2) 动作预测：我们在图8(b)中展示了经过Epic-Kitchens数据集优化后的Uni-Hand能够预测出优质的手部路径点。这说明Uni-Hand可以生成与特定未来人类活动相关的合理手部运动特征（HM特征）。因此，我们探究了未来的HM特征是否能提升下游动作预测任务的性能——该任务旨在预测即将发生的动作类别。如图15所示，将我们通过HMF扩散模型获取的HM特征添加到RU-LSTM的RGB分支和光流分支中原有的模态特定特征后，Top-5动词/名词/动作准确率最多可提升$\tau_{a}$倍。图8(c)还展示了添加HM特征前后RU-LSTM预测的Top-5动作类别示例。可以看出，我们的HMF方法带来的特征增强显著提高了正确动作类别被预测出的概率。这些结果证明，Uni-Hand预测出的手部运动特征能够作为有效的感知信息，包含未来活动的相关内容，从而助力下游动作预测任务。
3) 早期动作识别与动作识别：与动作预测不同，下游的早期动作识别和动作识别任务侧重于根据部分或完整的观测结果来推断人类活动类别。
TABLE VII
RU-LSTM分支在下游早期动作识别与动作识别任务中的Top-5动作准确率（%）。我们展示了观测率为12.5%时的性能表现。
~87.5% FOR EARLY ACTION RECOGNITION, AND 100% FOR ACTION RECOGNITION FOLLOWING [^56]. BEST RESULTS ARE VIEWED IN BOLD BLACK.
| Approach | Early action recognition |
| 12.5% | 25.0% | 37.5% | 50.0% | 62.5% | 75.0% | 87.5% |
| RGB (vanilla) | 36.40 | 38.21 | 39.18 | 40.45 | 41.29 | 41.90 | 41.66 |
| RGB (enhanced) | 36.22 | 37.85 | 39.42 | 39.78 | 41.60 | 42.26 | 42.32 |
| Flow (vanilla) | 19.77 | 24.67 | 27.63 | 28.30 | 29.99 | 30.35 | 30.71 |
| Flow (enhanced) | 19.83 | 24.43 | 26.90 | 28.54 | 30.29 | 31.02 | 31.74 |
| Approach | Action recognition (100%) |
| Centers | Multiple joints |
| RGB (vanilla) | 41.78 | 41.78 |
| RGB (enhanced) | 42.74 | 42.82 |
| Flow (vanilla) | 30.96 | 30.96 |
| Flow (enhanced) | 31.74 | 31.86 |
观测率为12.5%时，RU-LSTM分支在下游早期动作识别与动作识别任务中的Top-5动作准确率。我们展示了观测率为12.5%时的性能表现。
参照RU-LSTM的设计[^56]，我们直接忽略其编码阶段，仅关注预测阶段的观测数据。如表VII所示，加入来自Uni-Hand的HM特征后，RU-LSTM的RGB分支和光流分支在各类观测率下的识别准确率均有所提升。
---
TABLE VIII
ABLATION STUDY ON CAMERA EGOMOTION. SE(3) AS EGOMOTION REPRESENTS THE BASELINE REPLACING THE INPUT CAMERA HOMOGRAPHY WITH 6-DOF POSES. UNI-HAND W/O EMF REPRESENTS THE BASELINE WITHOUT THE EMF DIFFUSION. BEST RESULTS ARE VIEWED IN BOLD BLACK.
| Approach | EgoPAT3D-DT (seen) | EgoPAT3D-DT (unseen) | H2O-PT |
| ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
| SE(3) | 0.257 | 0.446 | 0.217 | 0.308 | 0.032 | 0.063 |
| w/o EMF | 0.186 | 0.363 | 0.137 | 0.231 | 0.031 | 0.053 |
| Uni-Hand | 0.170 | 0.336 | 0.118 | 0.189 | 0.030 | 0.050 |
需要注意的是，我们还额外训练了一个Uni-Hand模型以实现多关节运动预测（包括手腕、拇指指尖和食指指尖），并通过添加这些新的HM特征来优化RU-LSTM。当观测率达到100%时，包含多关节运动信息的HM特征能为动作识别任务带来额外的性能提升。这进一步验证了Uni-Hand进行多目标预测的优势。不过，与图15中动作预测任务的结果相比，Uni-Hand带来的特征增强对这两项下游任务的整体影响较弱。这表明当只能获取部分的动作观测数据时，预测的HM特征的积极效果会有所减弱。尽管如此，由于Uni-Hand对手部运动模式的理解更为深入，它仍能提供对动作识别有用的HM特征。
需要注意的是，Uni-Hand并非作为独立的动作预测/识别模型而设计，而是一个高效的HMF框架；其预测的运动特征可直接接入现有的预测/识别模型中。鉴于RU-LSTM在原始研究中已经过充分优化[^56]，一致的性能提升表明Uni-Hand能够提供有意义的未来手部运动信息，而要获得更大的性能改进，则需要重新设计下游的预测架构。
### F. 消融实验
头戴设备相机运动预测：我们首先在EgoPAT3D-DT和H2O-PT数据集上对头戴设备相机的运动预测进行消融实验。具体而言，我们移除了EM Diffusion模块，将过去的最后一个相机单应性矩阵视为未来时间范围内的恒定运动模式，以此作为基线。表VIII展示了三维空间中手部中心预测的性能结果。可以看出，对未来头戴设备相机的运动进行预测能够提升手部预测的准确性。这表明Uni-Hand中提出的双分支扩散模型捕捉到了头部运动与手部运动之间的协同关系，从而更好地理解未来的交互过程。此外，图16在二维空间中可视化了未纳入相机运动预测变体的失败案例。可见，明确预测未来的相机运动能够为手部轨迹预测提供强时空约束，进而提升方向一致性与时间稳定性。
相机运动表示：尽管先前的研究已经针对作为相机运动的单应性矩阵开展了消融实验[^15]，但我们额外展示了将视觉里程计得到的SE(3)（即6自由度位姿）而非单应性矩阵视为相机运动时，三维手部中心的预测性能。如表VIII所示，用SE(3)替换传统的运动表示方式
Fig. 16. Failure cases of the Uni-Hand's variant without future egomotion forecasting on EgoPAT3D-DT. The observed past hand waypoints, predicted future hand waypoints, and GT labels are represented in green, red, and blue, respectively, with the first frame of each sequence as the visualization canvas.
TABLE IX
ABLATION STUDY ON MULTIMODAL INPUTS. BEST RESULTS ARE VIEWED IN BOLD BLACK.
| Input modalities | Seen | Unseen |
| waypoint image text point cloud | ADE $\downarrow$ | FDE $\downarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
| ✓ | | | | 0.178 | 0.356 | 0.124 | 0.205 |
| ✓ | ✓ | | | 0.173 | 0.350 | 0.122 | 0.201 |
| ✓ | ✓ | ✓ | | 0.171 | 0.347 | 0.122 | 0.200 |
| ✓ | ✓ | ✓ | ✓ | 0.170 | 0.336 | 0.118 | 0.189 |
TABLE X
ABLATION STUDY ON TEXT EMBEDDING INJECTION. BEST RESULTS ARE VIEWED IN BOLD BLACK.
| Approach | ADE $\downarrow$ | FDE $\downarrow$ | MAE $\downarrow$ | SR $\uparrow$ |
| Uni-Hand w/o TAT | 0.057 | 0.034 | 2.0 | 40% |
| Uni-Hand | 0.054 | 0.028 | 1.8 | 80% |
会导致HMF性能显著下降。这一结果表明，在该场景下基于单应性的表示更适用于建模运动模式。这也与观察可知手部被限制在二维图像平面上的事实相符，单应性矩阵能更有效地捕捉与手部运动耦合的相机运动变化。
多模态输入：为了探究多种模态的作用，我们在模型输入中逐步加入过去的手部路径点、RGB图像、通用文本提示以及点云数据。表IX显示的EgoPAT3D-DT数据集上三维手部中心预测实验结果表明，我们提出的框架能够很好地融合多模态信息，从而实现出色的预测性能。通用文本提示与点云数据的结合有效弥合了现有文献中的模态差异。
文本嵌入注入：我们在图7中已展示，混合Mamba-Transformer结构中的文本嵌入注入机制有助于生成用于任务感知型HMF的去噪后的HM特征。此处我们进一步呈现了在HAT基准测试中“将{蓝色/红色}积木放到布料上”任务的验证集与测试集上的定量结果。我们通过移除去噪模型中的任务感知型Transformer，构建了基线模型Uni-Hand w/o TAT。表X表明，结合TAT的文本嵌入注入不仅降低了预测误差，还显著提升了任务成功率。
---
### V. 讨论
Uni-Hand提出了一种全新的手部运动预测算法范式，该范式在建模结构、预测目标、条件化目标和输出空间等多个层面对现有方法进行了拓展。在建模层面，Uni-Hand是首个通过协同的双分支扩散架构来共同预测未来头部自我运动与手部运动的框架，从而能够让手部运动预测明确以未来的自我运动为条件。除了纯粹的运动学预测外，Uni-Hand还通过同时预测手部轨迹以及手与物体的接触/分离状态来扩展输出空间，不仅能推断手部将移动至何处，还能确定交互发生的时间。此外，Uni-Hand引入了专门设计的目标指示器，使得单个预测模型能够在统一的去噪过程中预测多种不同的手部目标，包括手中心、手腕和手指关节。该框架还借助基于体素网格的表述方式融入了全局3D场景上下文，从而在现实世界的几何约束下实现3D结构感知。最终，Uni-Hand通过专用的交叉注意力机制，将任务相关的文本嵌入直接注入扩散去噪过程，使未来手部运动的生成能够与高层次的任务意图相匹配。由此可见，这些算法层面的创新将手部运动预测重新定义为一个多目标、具备交互感知能力且受任务条件约束的生成性问题，我们希望这能为未来关于以自我为中心的“人-物”交互研究带来启发。
### 六、结论
我们开发了一个名为Uni-Hand的通用框架，用于实现以自我为中心视角下的多维度和多目标手部运动预测。Uni-Hand能够整合多模态数据，在考虑手部与头部运动协同性的基础上，预测2D和3D空间中的合理手部轨迹。它能够关注手部中心及各个关节的未来运动，以及手与物体的交互状态。在公共数据集和我们新提出的基准测试上的大量实验表明，我们的通用框架在2D/3D空间及多个目标的手部运动预测方面均优于现有的最先进基线模型，同时为机器人操控、动作预判、早期动作识别以及动作识别等下游应用提供了多任务支持。在未来的工作中，我们计划引入触觉传感技术，以实现富含接触信息的人机策略迁移 [^80]。
## 参考文献
[^1]: R.-Z. Qiu et al., “Humanoid policy human policy,” 2025, arXiv:2503.13441.
[^2]: S. Kareer et al., “Egomimic: Scaling imitation learning via egocentric video,” 2024, arXiv:2410.24221.
[^3]: D. Gong, L. Hao, J. Yu, and G. Zuo, “Bionic design of a dexterous anthropomorphic hand actuated by antagonistic PAMs,” in Proc. IEEE Int. Conf. Real-time Comput. Robot., pp. 493–498, 2020.
[^4]: A. Bandini and J. Zariffa, “Analysis of the hands in egocentric vision: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 6, pp. 6846–6866, Jun. 2023.
[^5]: M. Zhang, K. T. Ma, J. H. Lim, Q. Zhao, and J. Feng, “Deep future gaze: Gaze anticipation on egocentric videos using adversarial networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 4372–4381, 2017.
[^6]: B. Lai, M. Liu, F. Ryan, and J. M. Rehg, “In the eye of transformer: Global–local correlation for egocentric gaze estimation and beyond,” Int. J. Comput. Vis., vol. 132, no. 3, pp. 854–871, 2024.
[^7]: P. Li, X. Hou, L. Wei, G. Song, and X. Duan, “Efficient and low-cost deep-learning based gaze estimator for surgical robot control,” in Proc. IEEE Int. Conf. Real-Time Comput. Robot., 2018, pp. 58–63.
[^8]: Y. Li, M. Liu, and J. M. Rehg, “In the eye of beholder: Joint learning of gaze and actions in first person video,” in Proc. Eur. Conf. Comput. Vis., 2018, pp. 639–655.
[^10]: T. Nagarajan, Y. Li, C. Feichtenhofer, and K. Grauman, "EGO-TOPO: Environment affordances from egocentric video," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2020, pp. 163–172.
[^11]: L. Mur-Labadia, R. Martinez-Cantin, J. Guerrero, G. M. Farinella, and A. Furnari, “Aff-ttention! affordances and attention models for short-term object interaction anticipation,” 2024, arXiv:2406.01194.
[^12]: M. Liu, S. Tang, Y. Li, and J. M. Rehg, “Forecasting human-object interaction: Joint prediction of motor attention and actions in first person video,” in Proc. Eur. Conf. Comput. Vis., pp. 704–721, 2020.
[^13]: S. Liu, S. Tripathi, S. Majumdar, and X. Wang, “Joint hand motion and interaction hotspots prediction from egocentric videos,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2022, pp. 3282–3292.
[^14]: W. Bao et al., “Uncertainty-aware state space transformer for egocentric 3D hand trajectory forecasting,” in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 13656–13665.
[^15]: J. Ma, J. Xu, X. Chen, and H. Wang, "Diff-IP2D: Diffusion-based hand-object interaction prediction on egocentric videos," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025, pp. 4291–4298.
[^16]: J. Ma, X. Chen, W. Bao, J. Xu, and H. Wang, "MADiff: Motion-aware mamba diffusion models for hand trajectory prediction on egocentric videos," IEEE Trans. Pattern Anal. Mach. Intell., vol. 48, vol. 3, pp. 3250–3267, Mar. 2026.
[^17]: J. Ma, E. Zhang, J. Xu, X. Chen, and H. Wang, "Improved 2D hand trajectory prediction with multi-view consistency," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025, pp. 20646–20653.
[^18]: M. Hatano, R. Hachiuma, and H. Saito, “EMAG: Ego-motion aware and generalizable 2D hand forecasting from egocentric videos,” in Proc. Eur. Conf. Comput. Vis. Workshops, 2024, pp. 119–136.
[^19]: B. Zhou, Y. Zhan, Z. Zhang, and Z. Lu, "MEgoHand: Multimodal egocentric hand-object interaction motion generation," 2025, arXiv:2505.16602.
[^20]: K. Li, P. Li, T. Liu, Y. Li, and S. Huang, “ManipTrans: Efficient dexterous bimanual manipulation transfer via residual learning,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2025, pp. 6991–7003.
[^21]: J. Ma, W. Bao, J. Xu, G. Sun, X. Chen, and H. Wang, "Novel diffusion models for multimodal 3D hand trajectory prediction," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025, pp. 2408–2415.
[^22]: A. Vaswani et al., “Attention is all you need,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2017, pp. 6000–6010.
[^23]: A. Gu and T. Dao, “Mamba: Linear-time sequence modeling with selective state spaces,” 2023, arXiv:2312.00752.
[^24]: C. Bao, J. Xu, X. Wang, A. Gupta, and H. Bharadhwaj, “HandsOn-VLM: Vision-language models for hand-object interaction prediction,” 2024, arXiv:2412.13187.
[^25]: S. Bahl, R. Mendonca, L. Chen, U. Jain, and D. Pathak, “Affordances from human videos as a versatile representation for robotics,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 13778–13790, 2023.
[^26]: M. Hatano, Z. Zhu, H. Saito, and D. Damen, “The invisible EgoHand: 3D hand forecasting through egobody pose estimation,” 2025, arXiv:2504.08654.
[^27]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik, “Reconstructing hands in 3D with transformers,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2024, pp. 9826–9836.
[^28]: H. Dong et al., “Hamba: Single-view 3D hand reconstruction with graph-guided bi-scanning mamba,” in Proc. Int. Conf. Neural Inf. Process. Syst., vol. 37, pp. 2127–2160, 2024.
[^29]: M. Li, H. Zhang, Y. Zhang, R. Shao, T. Yu, and Y. Liu, “HHMR: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2024, pp. 645–654.
[^30]: Y. Tian, H. Zhang, Y. Liu, and L. Wang, “Recovering 3D human mesh from monocular images: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 12, pp. 15406–15425, Dec. 2023.
## [^31]: J. On et al., “BIGS: Bimanual category-agnostic interaction reconstruction from monocular videos via 3D gaussian splatting,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2025, pp. 17437–17447
---
[^32]: Y. Ye, A. Gupta, and S. Tulsiani, “What’s in your hands? 3D reconstruction of generic objects in hands,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2022, pp. 3895–3905.
[^33]: Y. Liu et al., “EasyHOI: Unleashing the power of large models for reconstructing hand-object interactions in the wild,” 2024, arXiv:2411.14280.
[^34]: Z. Zhu and D. Damen, “Get a grip: Reconstructing hand-object stable grasps in egocentric videos,” 2023, arXiv:2312.15719.
[^35]: J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2020, pp. 6840–6851.
[^36]: P. Dhariwal and A. Nichol, “Diffusion models beat GANs on image synthesis,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2021, pp. 8780–8794.
[^37]: M. Zhang, Y. Fu, Z. Ding, S. Liu, Z. Tu, and X. Wang, "Hoidiffusion: Generating realistic 3D hand-object interaction data," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2024, pp. 8521–8531.
[^38]: K. Zhou, B. L. Bhatnagar, J. E. Lenssen, and G. Pons-Moll, “Gears: Local geometry-aware hand-object interaction synthesis,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2024, pp. 20634–20643.
[^39]: S. Christen et al., “DifH2O: Diffusion-based synthesis of hand-object interactions from textual descriptions,” in Proc. SIGGRAPH Asia 2024 Conf. Papers, 2024, pp. 1–11.
[^40]: Z. Zhang, H. Luo, W. Zhai, Y. Cao, and Y. Kang, "PEAR: Phrase-based hand-object interaction anticipation," 2024, arXiv:2407.21510.
[^41]: B. Tang, K. Zhang, W. Luo, W. Liu, and H. Li, “Prompting future driven diffusion model for hand motion prediction,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 169–186.
[^42]: S. Gong, M. Li, J. Feng, Z. Wu, and L. Kong, "DiffuSeq: Sequence to sequence text generation with diffusion models," in Proc. Int. Conf. Learn. Representations, 2023, pp. 2–9.
[^43]: C. Chi et al., “Diffusion policy: Visuomotor policy learning via action diffusion,” Int. J. Robot. Res., vol. 44, pp. 1684–1704, 2023.
[^44]: Y. Ze, G. Zhang, K. Zhang, C. Hu, M. Wang, and H. Xu, “3D diffusion policy: Generalizable visuomotor policy learning via simple 3D representations,” 2024, arXiv:2403.03954.
[^45]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta, "R3M: A universal visual representation for robot manipulation," 2022, arXiv:2203.12601.
[^46]: A. Majumdar et al., “Where are we in the search for an artificial visual cortex for embodied intelligence?,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2023, Art. no. 31.
[^47]: T. Xiao, I. Radosavovic, T. Darrell, and J. Malik, “Masked visual pretraining for motor control,” 2022, arXiv:2203.06173.
[^48]: S. Pramanick et al., “EgoVLPv2: Egocentric video-language pre-training with fusion in the backbone,” in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 5285–5297.
[^49]: J. Li et al., “OKAMI: Teaching humanoid robots manipulation skills through single video imitation,” in Proc. Annu. Conf. Robot Learn., 2024, pp. 299–317.
[^50]: H. Zhou, R. Wang, Y. Tai, Y. Deng, G. Liu, and K. Jia, “You only teach once: Learn one-shot bimanual robotic manipulation from video demonstrations,” 2025, arXiv:2501.14208.
[^51]: J. Ren, P. Sundaresan, D. Sadigh, S. Choudhury, and J. Bohg, “Motion tracks: A unified representation for human-robot transfer in few-shot imitation learning,” 2025, arXiv:2501.06994.
[^52]: C. Wen et al., “Any-point trajectory modeling for policy learning,” 2023, arXiv:2401.00025.
[^53]: H. Mittal, N. Agarwal, S.-Y. Lo, and K. Lee, “Can’t make an omelette without breaking some eggs: Plausible action anticipation using large video-language models,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognition., 2024, pp. 18580–18590.
[^54]: Z. Qi, S. Wang, W. Zhang, and Q. Huang, “Uncertainty-boosted robust video activity anticipation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 46, vol. 12, pp. 7775–7792, 2024.
[^55]: Z. Zhong, D. Schneider, M. Voit, R. Stiefelhagen, and J. Beyerer, “Anticipative feature fusion transformer for multi-modal action anticipation,” in Proc. IEEE Winter Conf. Appl. Comput. Vis., 2023, pp. 6068–6077.
[^56]: A. Furnari and G. M. Farinella, “Rolling-unrolling LSTMs for action anticipation from first-person video,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 11, pp. 4021–4036, Nov. 2021.
[^57]: A. Stergiou and D. Damen, “The wisdom of crowds: Temporal progressive attention for early action prediction,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2023, pp. 14709–14719.
[^58]: J. Weng, X. Jiang, W.-L. Zheng, and J. Yuan, "Early action recognition with category exclusion using policy-based reinforcement learning," IEEE Trans. Circuits Syst. Video Technol., vol. 30, no. 12, pp. 4626–4638, Dec. 2020.
[^59]: T. Perrett, A. Masullo, T. Burghardt, M. Mirmehdi, and D. Damen, "Temporal-relational crosstransformers for few-shot action recognition," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2021, pp. 475–484.
[^60]: Y.-D. Zheng, Z. Liu, T. Lu, and L. Wang, “Dynamic sampling networks for efficient action recognition in videos,” IEEE Trans. Image Process., vol. 29, pp. 7970–7983, 2020.
[^61]: Y. Wang, Z. Gao, Q. Wang, Z. Chen, P. Li, and Q. Hu, “TAMT: Temporal-aware model tuning for cross-domain few-shot action recognition,” 2024, arXiv:2411.19041.
[^62]: M. Hatano, R. Hachiuma, R. Fujii, and H. Saito, “Multimodal cross-domain few-shot learning for egocentric action recognition,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 182–199.
[^63]: D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” Int. J. Comput. Vis., vol. 60, pp. 91–110, 2004.
[^64]: M. A. Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,” Commun. ACM, vol. 24, no. 6, pp. 381–395, 1981.
[^65]: L. Harold et al., “Grounded language-image pre-training,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2022, pp. 10965–10975.
[^66]: A. Radford et al., “Learning transferable visual models from natural language supervision,” in Proc. Int. Conf. Mach. Learn., 2021, pp. 8748–8763.
[^67]: C. Zhang et al., “Faster segment anything: Towards lightweight sam for mobile applications,” 2023, arXiv:2306.14289.
[^68]: Y. Li et al., “Egocentric prediction of action target in 3D,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2022, pp. 20971–20980.
[^69]: D. DeTone, T. Malisiewicz, and A. Rabinovich, “Deep image homography estimation,” 2016, arXiv:1606.03798.
[^70]: T. Kwon, B. Tekin, J. Stühmer, F. Bogo, and M. Pollefeys, “H2O: Two hands manipulating objects for first person interaction recognition,” in Proc. Int. Conf. Comput. Vis., 2021, pp. 10138–10148.
[^71]: P. Banerjee et al., “Hot3D: Hand and object tracking in 3D from egocentric multi-view videos,” 2024, arXiv:2411.19167.
[^72]: K. Grauman et al., “Ego4D: Around the world in 3,000 hours of egocentric video,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 18995–19012.
[^73]: D. Damen et al., “Scaling egocentric vision: The epic-kitchens dataset,” in Proc. Eur. Conf. Comput. Vis., 2018, pp. 720–736.
[^74]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn, “Learning fine-grained bimanual manipulation with low-cost hardware,” 2023, arXiv:2304.13705.
[^75]: T. Ren et al., “Grounded SAM: Assembling open-world models for diverse visual tasks,” 2024, arXiv:2401.14159.
[^76]: E. Zhang, J. Ma, Y.-D. Zheng, Y. Zhou, and H. Wang, “Zero-shot temporal interaction localization for egocentric videos,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2025, pp. 19554–19561.
[^77]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2014, arXiv:1412.6980.
[^78]: Z. Wang et al., “Is mamba effective for time series forecasting?,” Neurocomputing, vol. 619, 2025, Art. no. 129178.
[^79]: C. Wang et al., “Chain-of-modality: Learning manipulation programs from multimodal human videos with vision-language-models,” 2025, arXiv:2504.13351.
[^80]: P. Hao et al., “TLA: Tactile-language-action model for contact-rich manipulation,” Robot Learn., vol. 3, no. 1, pp. 2–18, 2026.
马俊毅于2020年和2023年分别在北京理工大学获得学士和硕士学位。他目前在上海交通大学IRMV实验室攻读博士学位，师从王鹤升教授。他的研究方向包括人体运动分析、人机技能迁移以及计算机视觉。
---
鲍文涛在中国武汉大学获得学士和硕士学位，之后在美国密歇根州立大学计算机科学与工程系获得博士学位。他的研究聚焦于开放世界计算机视觉领域，包括2D/3D视觉空间中的视频活动识别、预测和理解。他在CVPR、ICCV、ECCV、ACM MM以及IEEE Transactions on Image Processing等顶尖计算机视觉/机器学习期刊或会议上发表了20余篇研究成果。
张尔航于2025年从山东大学获得学士学位。他目前在上海交通大学IRMV实验室攻读博士学位，师从王鹤升教授。他的研究方向包括大规模基础模型和具身智能。
徐静怡于2020年和2023年分别在北京理工大学获得学士和硕士学位。她目前在上海交通大学电子工程系攻读博士学位。她的研究兴趣包括智能机器人和自动驾驶。
孙冠中于2018年从南通大学获得学士学位，2022年从中国矿业大学获得硕士学位。他目前在中国矿业大学IRMV实验室攻读博士学位，师从王鹤升教授。他的研究兴趣包括基于视觉的操控技术和视觉伺服。
郑宇于2023年在中国上海交通大学人工智能系获得工学学士学位。他目前在上海交通大学控制科学与工程系攻读博士学位。他当前的研究兴趣包括机器人操控和计算机视觉。
陈谢元立于2015年在湖南大学获得电气工程及其自动化专业学士学位，2017年在中国人民解放军国防科技大学获得机器人专业硕士学位，后在波恩大学摄影测量与机器人实验室获得博士学位。他是中国人民解放军国防科技大学的副教授，同时担任IEEE RA-L、ICRA和IROS的副编辑。他的研究兴趣包括SLAM、定位、建图和机器人感知。
王鹤升（IEEE高级会员）于2002年在中国哈尔滨工业大学获得电气工程工学学士学位，2004年和2007年分别在香港中文大学获得自动化及计算机辅助工程专业的哲学硕士和博士学位。他目前是上海交通大学自动化与智能传感学院的特聘教授。他当前的研究兴趣包括视觉伺服、智能机器人、计算机视觉和自动驾驶。他是《Robotic Intelligence and Automation》和《International Journal of Humanoid Robotics》的副编辑，《IEEE/ASME Transactions on Mechatronics》的高级编辑，以及《Robot Learning》的主编。他曾于2015年至2019年担任IEEE Transactions on Robotics的副编辑，2021年至2023年担任IEEE Transactions on Automation Science and Engineering的副编辑。他还是IEEE/RSJ IROS 2025、IEEE ROBIO 2022和IEEE RCAR 2016的大会主席。