# UniDex：基于以自我为中心的视频数据实现通用灵巧手控制的机器人基础套件
张顾 $^{1,2,*}\dagger$、徐启程 $^{1,*}$、张浩哲 $^{1,*}$、马建汉 $^{2,*}$、何龙 $^{1,*}$、鲍一鸣 $^{1,*}$、平泽宇 $^{3}$、袁哲成 $^{1,2}$、卢晨浩 $^{1}$、袁承博 $^{1}$、梁天海 $^{1}$、田晓宇 $^{1}$、邵满平 $^{1}$、张飞鸿 $^{1}$、丁明宇 $^{4}$、高阳 $^{1,2}$、赵浩 $^{1}$、赵航 $^{1,2}$、许华哲 $^{1,2}$
$^{1}$ 清华大学 $^{2}$ 上海智研院
$^{3}$ 中山大学 $^{4}$ 北卡罗来纳大学教堂山分校
$^{*}$核心贡献者 $\dagger$项目负责人
Figure 1. We introduce UniDex, a robot foundation suite for heterogeneous dexterous hand embodiments. We first curate UniDex-Dataset from egocentric human videos to obtain a diverse, robot-centric dataset for large-scale pretraining. Building on this, we train UniDex-VLA, a unified 3D VLA model that is finetuned with task demonstrations and evaluated on challenging real-world tool-use tasks. The policy exhibits strong dexterous capabilities, zero-shot object and cross-hand generalization and significantly outperforming existing VLA baselines. In addition, we design a practical setup, UniDex-Cap to support human–robot data co-training, further reducing the data cost.
## 摘要
由于采集真实机器人遥操作数据的成本高昂、手部形态存在异质性，以及控制维度较高，灵巧操控仍面临诸多挑战。我们提出了UniDex——一套机器人基础套件，它将大规模机器人centric数据集、统一的视觉-语言-动作（VLA）策略，以及用于实现通用灵巧手控制的实用人类数据采集方案相结合。首先，我们构建了UniDex-Dataset，这是一个包含超过5万条轨迹的机器人centric数据集，涵盖8种灵巧手（6至24个自由度），这些数据源自以自我为中心的人类视频数据集。为了将人类数据转化为机器人可执行的轨迹，我们采用人机交互的重定位流程来对齐指尖轨迹，同时保留合理的手-物体接触关系；此外，我们基于带有人手遮罩的显式3D点云进行处理，以缩小运动学与视觉方面的差距。
其次，我们引入了功能-执行器对齐空间（FAAS）——一种统一的动作空间，它可将功能相似的执行器映射到共享坐标中，从而实现跨手部的迁移。以FAAS作为动作参数化方式，我们训练了UniDex-VLA——一种在UniDex-Dataset上预训练、并借助任务演示进行微调的3D VLA策略。此外，我们还开发了UniDex Cap，这是一种简易便携的采集装置，能够记录同步的RGB-D流与人类手部姿态，并将其转化为机器人可执行的轨迹，从而实现人机数据协同训练，减少对昂贵的机器人演示数据的依赖。在两种不同灵巧手上的复杂工具使用任务中，UniDex-VLA的平均任务完成度达到了81%，大幅优于以往的VLA基准模型；同时它还展现出强大的空间感知能力、物体识别能力以及零样本跨手部泛化能力。综上，UniDex-Dataset、UniDex-VLA和UniDex-Cap共同构成了一套可扩展的通用灵巧操控基础套件。
---
Cap是一种简单的便携式采集装置，它能够记录同步的RGB-D流和人手姿态，并将其转换为机器人可执行的轨迹，从而实现人机数据协同训练，减少对昂贵机器人演示的依赖。在针对两只不同手部的复杂工具使用任务中，UniDex-VLA实现了81%的平均任务进度，大幅超越了以往的VLA基线模型，同时展现出强大的空间、物体以及零样本跨手通用性。UniDex-Dataset、UniDex-VLA和UniDex-Cap共同构成了面向通用灵巧操控的可扩展基础套件。
### 1. 引言
近年来，基于演示的学习[^6] [^7] [^13] [^27] [^58] [^67] [^74]已成为视觉运动控制领域的事实标准范式，它使机器人能够掌握复杂的技能与运动模式。然而，在监督学习框架下实现通用且达到人类水平的操作能力仍颇具挑战性。收集真实机器人的演示数据既耗时又难以扩展，从而造成了持续存在的数据瓶颈。此外，大多数机器人基础策略模型都针对平行夹爪设计，而针对灵巧手的基础模型则十分稀缺——尽管日常工具使用往往离不开灵巧手，且许多任务（如使用剪刀或喷瓶）用夹爪根本无法完成。
仅仅将基于夹爪的VLA设计照搬至灵巧手上是远远不够的。为灵巧手构建基础模型比针对夹爪建模要困难得多。主要难点在于：(i) 灵巧手数据的收集难度大于夹爪数据，且可用于预训练的大规模、通用性强的数据集依然有限；(ii) 不同灵巧手在自由度、形态、运动学特性及外观上存在显著差异，导致数据和政策在不同灵巧手之间的迁移效果较差；(iii) 灵巧手控制本身属于高维度问题，需要表达能力更强的动作空间以及高效的学习算法。
为解决预训练数据匮乏的问题，我们利用了灵巧机器人手旨在模仿人手且通常具有相似动作模式这一特点，同时人类在日常生活中会自然产生大量操作数据。第一人称视角的人类视频比机器人遥操作数据成本更低、多样性更丰富且更易扩展。因此，我们将人类视频转化为机器人可执行的轨迹，以此从人类活动中构建以机器人为中心的数据集。不过，人类手与机器人手之间存在显著的运动学与视觉差异。为弥合这些差距，我们采取了两项措施：(i) 引入人机交互式的重定位流程，结合基于指尖的逆运动学计算与交互式调整，使机器人指尖轨迹与人类轨迹对齐，确保手部与物体的接触符合物理规律；(ii) 在视觉流中遮挡人类手部，并将重定位后的机器人手嵌入场景点云中，以减少视觉上的不匹配现象。
遵循这一从人类到机器人的转换流程，我们基于开源的第一人称RGB-D操作视频[^4] [^28] [^35] [^36]构建了UniDex-Dataset。UniDex-Dataset是一个统一的基础数据集，包含900万对图像-点云-动作帧以及覆盖八种灵巧手平台的超过5万条轨迹，涉及的主动自由度范围从6到24不等。据我们所知，UniDex-Dataset是首个在如此大规模下涵盖多种灵巧手形态的数据集。我们还提供了相关协议，方便研究人员轻松添加新灵巧手或人类数据集，从而持续扩展UniDex-Dataset并推动灵巧操作领域的发展。
为解决异构本体与高维度控制问题，我们进一步定义了统一的动作空间——功能-执行器对齐空间（FAAS），该空间将功能相似的执行器映射到共享坐标中。FAAS提供了以功能为中心的控制接口，能够实现不同灵巧手之间的技能迁移。基于FAAS，我们训练出了UniDex-VLA，这是一款在UniDex-Dataset上预训练、再通过任务演示进行微调的3D视觉-语言-动作策略模型，可作为支持多种灵巧手的基础模型。
此外，我们设计了一种便携式人体数据采集装置UniDex-Cap，它能够记录同步的RGB-D流和人手姿态，并通过相同的转换流程将其转化为以机器人为中心的运动轨迹。UniDex-Cap能够利用转换后的人体数据与小部分机器人数据进行高效协同训练，从而在保持性能的同时降低遥操作成本。
我们在两种不同手部结构上对五种具有挑战性的真实世界工具使用任务上评估了UniDex-VLA。在这些任务中，UniDex-VLA取得了出色的表现，大幅超越了其他VLA基线模型（例如，平均任务完成度达到81%，而$\pi_0$ [^7]仅为38%）。该模型还展现出强大的空间、物体以及跨手通用性；借助FAAS和预训练技术，它能以零样本方式将技能迁移到未见过的手部结构上。利用UniDex-Cap，我们还通过定量研究说明了转换后的人体数据如何通过人机协同训练来降低训练后的成本。
我们的贡献总结如下：
• UniDex-Dataset：一个统一且多样的多指手部数据集（包含900万对帧、超过5万条运动轨迹、8种手部结构、6至24个自由度），可为面向通用多指手部基础模型的大规模预训练提供支持。
• FAAS与UniDex-VLA：一种功能-执行器对齐的统一动作空间，以及一种预训练的3D视觉-语言-动作模型，它们在真实机器人基准测试中取得了最先进的性能，具备强大的空间、物体及跨手通用性。
---
• 基于UniDex-Cap的人机数据协同训练：这是一种简单的便携式采集装置与流程，可支持人机数据协同训练；我们通过定量研究说明了转换后的人体数据如何在训练后期部分替代真实机器人演示数据，结果表明第一人称视角的人体视频既能扩大预训练规模，又能减少真实机器人数据的需求。
### 2. 相关工作
#### 2.1. 灵巧操控
早期关于灵巧操控的研究基于解析方法和经典控制框架 [^2] [^3] [^26] [^40] [^43]，此后逐渐发展为基于学习的方法，能够实现物体在手中的重新定位、旋转和抓取 [^1] [^10] [^17] [^19] [^22] [^24] [^31] [^45] [^50] [^54] [^62] [^65] [^70] [^75] [^76]。尽管取得了这些进展，大多数方法仍局限于特定任务（如抓取）或硬件平台，难以推广到日常工具使用场景。相比之下，我们提出的UniDex-VLA是一种旨在实现通用多指手部控制的基础模型。
#### 2.2. 机器人基础策略与统一动作空间
基于扩散的策略及其变体构成了强大的模仿学习基准 [^13] [^51] [^57] [^58] [^67]。随着大语言模型和多模态视觉语言模型的兴起，视觉-语言-动作（VLA）模型[6-8, 23, 27, 33, 39, 71-73]进一步推动了模仿学习的发展，但现有大多数方法都是在以夹爪为中心的大规模数据集上预训练的。近期针对灵巧型VLA的研究 [^22] [^75] 主要利用仿真数据或有限的真实世界数据，通常聚焦于抓取任务，并依赖特定于手部的表征。相比之下，UniDex-VLA是在UniDex-Dataset上预训练的，旨在作为更通用灵巧操作任务的统一基础策略。
为机器人基础策略设计统一的动作空间以应对本体异质性，对于实现跨本体泛化至关重要。RDT-1B [^33] 保留了控制信号的语义结构，而 $\pi_{0}$ [^7] 采用了左对齐的动作表示方式，其他方法则引入了潜在动作空间 [^8] [^71]。然而，这些方法主要针对以夹爪为中心的动作。EgoVLA [^60] 试图利用人体参数作为灵巧动作的表征，但需要在训练后阶段进行逆运动学计算，这会引入额外误差，尤其是对于高自由度的灵巧手而言。相比之下，FAAS提供了一种无需后处理的、以函数为中心的统一定义动作表示方式，从而能够实现更可靠的跨手部技能迁移。
#### 2.3. 从人类视频中学习
从人类视频中学习能够缓解数据成本瓶颈，但会引入视觉和运动学领域的差异。以往的研究利用人类手部轨迹来进行规划或控制 [^9] [^29] [^34] [^46] [^52] [^55] [^63]；另一些研究则采用模拟到现实流程中的动作重定向技术 [^11] [^30] [^66]，或借助人工干预进行修正 [^53]，还有一些方法通过与机器人数据联合训练 [^25] [^48] [^64] [^78] 来弥合这一差距。不过，这类流程大多针对夹爪设计，且扩展性不佳。也有研究在未显式监督手部运动的情况下，仅利用第一人称视角的人类视频进行预训练 [^41] [^42] [^61] [^68]。更近期的方法则是在第一人称视频上预训练基础模型以预测人类手部运动，随后再通过专门的训练步骤使模型输出与机器人动作对齐 [^38] [^60]，但这些额外的对齐步骤往往复杂且不稳定。我们的方法则是生成以机器人为中心的灵巧手监督数据用于预训练，从而在微调阶段无需依赖复杂的对齐技巧，同时仍能保持跨手部的控制能力。
### 3. UniDex-Dataset
#### 3.1. 概述
UniDex-Dataset源自四个RGB-D第一人称视角的人类操作数据集——H2O [^28]、HOI4D [^35]、HOT3D [^4] 和 TACO [^36]。我们根据需要为视频添加语言指令标注，将视频分割成与这些指令对应的轨迹片段，并过滤掉无效的片段。
Figure 2. The figure illustrates the complete human-robot transformation pipeline. Starting from the raw scene pointcloud, we first mask out the human hands. We then perform human-in-the-loop retargeting through a user-friendly GUI in which the user only needs to adjust slider bars to modify the dummy base offset. ① shows the retargeted result without adjustment, whereas ③ shows the final configuration with improved, more plausible hand–object contact. Finally, after kinematic retargeting, we attach the retargeted robot dexterous hands to the scene.
人类数据向机器人可执行轨迹的转换过程如图2所示，具体细节将在下一小节中介绍。通过应用该流程，我们构建了UniDexDataset数据集，其中包含900万个配对的图像-点云-动作帧（录制频率为30帧/秒），以及超过5万条轨迹。
---
Figure 3. UniDex-Dataset visualization. We show a verb–object word cloud and a subset of UniDex-Dataset. Colors denote different hands (arbitrarily assigned; black corresponds to pretraining data). UniDex-Dataset spans diverse everyday tasks across a wide range of dexterous hand embodiments, including using a mobile phone, opening a milk carton, stir-frying with a spatula, lifting a chair, solving a Rubik's cube, and more.
这些轨迹来自八种灵巧手平台（Inspire、Leap、Shadow、Allegro、Ability、Oymotion、Xhand和Wuji），覆盖的主动自由度范围从6到24。图3展示了该数据集的动词-物体词云以及部分数据样本，涵盖了各类日常操作任务，比如使用手机、打开牛奶盒以及用锅铲翻炒。表1从轨迹数量、手部种类、场景多样性以及支持的感知模态等维度，将UniDex-Dataset与已发布的灵巧操作数据集[^20] [^37] [^56]进行了对比，凸显了UniDex-Dataset的优势。凭借其多样性以及以机器人为中心的设计——即与训练后阶段的实体差异极小——UniDex-Dataset为预训练灵巧操作模型奠定了坚实基础。
#### 3.2. 人机转换
将人类数据转换为机器人轨迹需要克服两个核心差距：运动学差距和视觉差距。我们在下文概述了相关方法。
##### 3.2.1. 运动学重定向
指尖是人类与物体交互时的主要接触点。我们的目标是将人类的指尖轨迹与机器人手的轨迹在三维空间中对齐，同时允许对整体手部基座进行微调，以确保接触的物理合理性。
给定人手姿态后，我们会提取出m个指尖目标点，
$$ X^{\star}=\left[x_{1}^{\star},\ldots,x_{m}^{\star}\right]\in\mathbb{R}^{3\times m}, $$
其中m等于机器人手指的数量。世界坐标系中全局人手变换矩阵为$T_{hand}$。
为了能够精确应用基于指尖的逆运动学计算，同时允许基座调整，我们引入了一个6自由度的对齐偏移量，具体实现方式是在真实机器人基座前插入一个虚拟基座。设$T_{offset}$为从虚拟基座到真实基座的刚体变换矩阵，$T_{world}^{dummy}$为虚拟基座在世界坐标系中的姿态。指尖i的正向运动学计算如下：
$$\begin{array}{c} x_{i}(q;T_{offset})\;=\;\mathrm{Trans}\Big(T_{world}^{\mathrm{dummy}}\;T_{offset}\;T_{i}(q)\Big)\in\mathbb{R}^{3},\;\end{array}$$
其中$T_{i}(q)$为从机器人基座到指尖i的齐次变换矩阵，$\text{Trans}(\cdot)$用于提取平移分量。我们将$T_{\text{world}}^{\text{dummy}} = T_{\text{hand}}$设为固定值并在优化过程中保持不变。将所有指尖残差堆叠起来便得到逆运动学误差：
$$ e(q,T_{\mathrm{o f f s e t}})=\left[\begin{matrix}{x_{1}(q;T_{\mathrm{o f f s e t}})-x_{1}^{\star}}\\ {\vdots}\\ {x_{m}(q;T_{\mathrm{o f f s e t}})-x_{m}^{\star}}\\ \end{matrix}\right]\in\mathbb{R}^{3m}. $$
对于包含仿生关节结构的机器人手（如Inspire、Oymotion、Agility），我们通过迭代校正过程来处理这类依赖关节。在解决主要的逆运动学问题后，每个仿生关节$j_{s}$会根据其主关节$j_{m}$进行更新，计算公式为：
$$ q_{j_{s}}=k q_{j_{m}}+c $$
该公式符合运动学模型的设定，其中k和c代表仿生约束参数。此校正过程会重复N次，每次都会重新评估指尖误差，直至收敛。
在实现层面，我们提供了一套简单易用且高效的处理流程。整个流程是一个分为两个阶段、有人参与的重定向程序。
1. 自动阶段。给定初始的$T_{offset}$后，我们利用PyBullet [^15]的多末端执行器逆运动学求解器来求解方程3，从而得到一组关节配置q，该配置能在满足关节限制和阻尼要求的同时最小化指尖误差。
2. 交互式阶段。一个轻量级的图形界面会展示 $T_{offset}$ 的六个自由度（三种平移和三种旋转，如图2所示）以及IK求解器的其他配置。用户可以直观地检查对齐情况，并手动调整 $T_{offset}$；每次调整后，我们都会重新求解IK问题。这一过程通常只需几次手动微调即可收敛，从而在各种姿态下都能实现稳健的指尖对齐。图2中的①和③分别展示了交互式阶段前后的对比情况。
---
| Dataset | # of Trajectories | # of Hands | Language Annotations | Varied Scenes | RGB | Depth | Pointcloud |
| UniDex-Dataset | 52K | 8 | ✓ | ✓ | ✓ | ✓ | ✓ |
| ActionNet [^20] | 30K | 2 | ✓ | ✗ | ✓ | ✓ | ✗ |
| RoboMind [^56] | 19K | 1 | ✓ | ✗ | ✓ | ✓ | ✗ |
| RealDex [^37] | 2K | 2 | ✓ | ✗ | ✓ | ✓ | ✓ |
Table 1. Comparison between UniDex-Dataset and other dexterous manipulation datasets. UniDex-Dataset advances in total trajectories, variety across hands/actions/scenes, and supports for all perception modalities. $\checkmark$ denotes the pointcloud in ActionNet [^20] is very low-quality.
针对每组人类数据集和每种灵巧手，我们都会进行基础的交互式校准，以选取合适的虚拟基座偏移量，从而消除不同数据集间的系统性差异（例如坐标框架/手部姿态估计偏差）以及手部形态上的差异。随后我们会针对少量关键帧进行调整，重点处理接触密集的区域以提升接触的合理性。实践中我们发现，这种基础校准足以应对绝大多数轨迹，让我们的转换流程能够以较少的人力投入扩展到大规模的自我中心数据集。
##### 3.2.2. 视觉对齐
我们根据RGB-D帧计算点云。为了减少视觉上的差异，我们会先使用WiLoR [^44] 和 SAM2 [^49] 来屏蔽人手区域，并移除对应的点。接着将重定位后的机械手网格放入场景中，并将其几何形状渲染到点云中。最后，我们通过针孔相机模型 [^21] 将融合后的点云重新投影到RGB-D帧上，以避免因深度排序错误导致的遮挡现象，这一设置与现实世界微调阶段采用的单视图设置保持一致。
### 4. UniDex-VLA
#### 4.1. 统一动作空间：FAAS
我们在涵盖多种灵巧手形态的UniDex-Dataset上对机器人基础模型进行预训练。因此，能够实现跨手部迁移的统一动作空间至关重要。为此，我们提出了一种简单却有效的动作表示方法——功能-执行器对齐空间（FAAS）。对于任意在运动学模型中具有n个可驱动自由度的灵巧手，每个执行器都会被映射到与其功能角色相对应的FAAS索引上。此处“执行器”一词泛指源自机器人URDF的任何可控自由度/通道，包括存在的镜像关节。
从概念上讲，FAAS提供了一种跨不同形态共享的、以功能为中心的控制接口，而非特定于URDF的关节空间。尽管不同灵巧手在连杆长度、耦合方式和布局上存在差异，但它们都实现了少数几种功能原语——比如拇指与食指捏合、手指环绕把手弯曲，或是用于稳定的侧向外展/内收动作。FAAS会根据这些功能角色对执行器进行分组，并将它们映射到同一坐标系统中，从而摒弃特定于形态的干扰因素，同时保留与任务相关的控制语义。图4展示了不同手部的拇指和无名指如何将各个关节映射到FAAS索引上。
FAAS是一个82维的动作向量。前18个维度用于编码腕部姿态（每只手9个维度），每个9维姿态由6维连续旋转表示（两个3维向量分别对应局部x轴和y轴）加上3维平移组成；剩下的64个维度用于编码关节指令，每只手占用32个槽位。在这些槽位中，我们预留了21个所有手部共享的基础执行器槽位，其余槽位则用于特定于手部的自由度（例如Shadow Hand上的额外腕关节）以及未来可能出现的手部类型。不同手部的关节映射细节详见附录中的C节和图15。
Figure 4. Function–Actuator–Aligned Space (FAAS). We show the thumb and ring fingers of Oymotion (11 actuators), Allegro (16), Inspire (12), and Wuji (20), with colors denoting individual joints, curves indicating rotation directions, and dotted lines indicating rotation axes. Indices $\{0,1,3,5,6\}$ are aligned across all four hands because the corresponding joints share similar functional roles.
#### 4.2. VLA策略
UniDex-VLA旨在成为一个用于灵巧控制的、具备语言条件的三维基础模型。与以往将二维编码器与低维度夹爪动作相结合的VLA不同，我们的场景本质上是体素化的且自由度很高：工具使用需要针对精细的三维几何结构与接触可行性进行推理，尤其是在以自我为中心的单视角观测场景下。通过将三维视觉输入与统一的FAAS动作空间相结合，UniDex-VLA能够在共享表征中实现对几何感知与控制的对齐。
---
Figure 5. Overview of UniDex-VLA. At time t, the model consumes a single-view colored pointcloud $P_t$, a language instruction $\ell_t$, and proprioception $q_t$, and predicts an H-step action chunk $A_t = [a_t, \ldots, a_{t+H-1}]$ expressed in the unified action space FAAS. Uni3D [^77] encodes the colored pointcloud; features are fused with text and proprioception in the backbone and decoded into FAAS actions. The policy is pretrained on UniDex-Dataset and optimized with a conditional flow-matching objective.
这种对齐能够支持空间、物体以及跨手部的泛化能力。
##### 4.2.1. 观测数据与动作输出
如图5所示，时间t时的观测数据为$o_t = [P_t, \ell_t, q_t]$，其中$P_t$是从RGB-D图像中提取并经过裁剪和下采样得到的单视图彩色点云，$\ell_t$是自然语言指令，而$q_t$则是机器人本体感知状态的向量。我们对$p(A_t \mid o_t)$进行建模，此处$A_t = [a_t, \ldots, a_{t+H-1}]$表示长度为H的动作序列[^74]。$q_t$和每个$a_t$均采用FAAS格式表示。对于$q_t$中的手腕信息，我们采用绝对位姿表示；对于动作输出，我们参照UMI的方法[^14]，采用相对于动作序列首帧的相对手腕位姿。对于灵巧手关节，我们在$q_t$和$a_t$中同样采用抽象化的表示方式。
##### 4.2.2. 模型架构
UniDex-VLA架构在很大程度上遵循了$\pi_0$ [^7]的设计，不过针对点云输入做了一些修改。具体来说，我们用强大的3D点云编码器Uni3D [^69]替换了PaliGemma [^5]中的SigLIP [^77] 2D视觉编码器。Uni3D采用了传统的ViT [^18]设计，并且基于预训练的2D ViT进行初始化，从而将点云特征与图像-文本对齐特征相匹配。我们采用条件流匹配目标来训练策略模型，在推理阶段则通过前向欧拉积分生成去噪后的动作序列 [^32]。关于UniDex-VLA训练的更多细节，请参阅附录中的第A节。
### 5. 实验
#### 5.1. 实验设置
硬件平台。我们的真实世界实验采用一台配备七个自由度的Franka机械臂，其末端装有三种灵巧手：Inspire Hand（6个活动关节，共12个自由度）、Wuji Hand（20个活动自由度）以及Oymotion Hand（6个活动关节，共11个自由度）。Intel RealSense L515传感器为所有实验提供以自我为中心的RGB-D观测数据。完整的工作站配置如图6所示。
Figure 6. Real-world experiments setup overview
任务描述。日常操作通常涉及许多为人手设计的工具，例如剪刀、喷壶和扫帚，这些工具对手指协调能力和手持重配置能力提出了严格要求。为了更好地评估我们方法的灵巧性和普适性，我们选取了五项具有挑战性的工具使用任务进行评估，图7展示了不同阶段的演示：(i) 冲咖啡（Inspire Hand）：握住水壶并将其提起至滤杯上方以注水制作手冲咖啡。该任务分为握持水壶（Grasp）和注水（Pour）两个步骤。(ii) 清扫物品（Inspire Hand）：握住扫帚，将桌面上的物品扫入簸箕中。该任务分为握持扫帚（Grasp）和清扫（Sweep）两个步骤。(iii) 给花浇水（Wuji Hand）：握住喷壶，将其提起并用拇指按压喷头以浇灌花朵。该任务分为握持喷壶（Grasp）和按压喷头浇水（Press）两个步骤。(iv) 剪开袋子（Wuji Hand）：将拇指、中指和无名指插入剪刀并像人类一样握持，以剪开袋子。该任务分为握持剪刀（Grasp）和剪切（Cut）两个步骤。(v) 使用鼠标（Wuji Hand）：将手指放在电脑鼠标上，用它把文件拖到桌面的USB文件夹中，然后点击鼠标完成操作。我们将所有任务阶段的平均成功率定义为平均任务进度，
---
Figure 7. Our real-robot benchmark comprises 5 challenging tool-use tasks. We visualize the key stages of each task, illustrating the precise dexterous control required to successfully complete them.
Figure 8. Spatial generalization. Left: the kettle and dripper are placed at out-of-distribution (OOD) positions relative to training demonstrations. Red and green lines circling regions denote the training placement ranges for the kettle and dripper, respectively. Right: average task progress for different methods (10 trials each).
以此作为比较不同方法的主要指标。
演示数据收集。我们的遥操作系统基于OpenTeleVision [^12]和dex-retargeting [^47]技术，配合Apple Vision Pro实现。每项任务我们仅收集50个演示样本用于微调。
基准方法。我们将UniDex-VLA与典型的模仿学习及VLA方法进行比较：Diffusion Policy (DP) [^13]、3D Diffusion Policy (DP3) [^67]，以及基于夹爪动作数据集预训练的强效VLA基准模型$\pi_0$ [^7]。为了直接评估预训练的效果，我们还纳入了未经过预训练的UniDex-VLA。对于未预训练的UniDex-VLA和$\pi_0$，我们采用FAAS技术；而对于DP和DP3，则保留其低维输出形式。
#### 5.2. 性能表现
我们在图11中报告了两种灵巧手在五项真实世界操作任务上的测试结果。结果显示，仅需每项任务50个演示样本，UniDex-VLA就能在这些具有挑战性、时间跨度长的工具使用任务中取得很高的成功率，且大幅超越所有基准方法。
Figure 9. Object generalization. Left: we replace the original black kettle with a smaller purple kettle that differs in color, size, and functional parts (handle & spout). Right: average task progress for different methods (10 trials each).
| Hand Type | $\pi_{0}$ | UniDex-VLA (No Pretrain) | UniDex-VLA |
| Wuji | 0% | 0% | 40% |
| Oymotion | 10% | 5% | 60% |
Figure 10. Hand generalization (zero-shot skill transfer). We transfer a policy trained on the Inspire Hand to Wuji and Oymotion. Table reports average task progress (%) under zero-shot deployment (10 trials each).
尤其是在难度极高的“用剪刀剪开袋子”任务上，UniDex-VLA的优势更为明显。UniDex-VLA（无预训练）与UniDex-VLA之间的性能差距，清晰地体现了在UniDex-Dataset上预训练所带来的益处。以最佳竞争方法为参照计算相对提升幅度（见图11），UniDex-VLA在最难的任务“用剪刀剪开袋子”上取得了最大的提升，平均任务进度提高了84.6%。总体而言，这些结果表明预训练赋予了UniDex-VLA强大的运动先验，使其在处理高度灵巧的工具使用任务时表现优异，能够更高效地适应新的且具有挑战性的行为。
#### 5.3. 泛化能力
除了出色的性能表现外，UniDex-VLA还展现出强大的空间、物体和手部泛化能力。
空间泛化。UniDex-VLA得益于3D感知能力，而点云进一步实现了通过几何编辑进行的简单、自动的数据增强。在“冲咖啡”实验中，我们对水壶和滤杯的点云进行分割，并沿桌面的x/y轴平移它们，以覆盖整个工作区域并生成分布外（o.o.d.）的摆放位置。编辑点云后，利用任务与运动规划（TAMP）[^16]来调整机器人状态，使其适配新场景。DemoGen [^59]为此提供了自动化流程。如图8所示，UniDex-VLA在空间配置上具有出色的泛化能力；借助DemoGen [^59]的数据增强，它在整个工作区域内的成功率可提升至极高水平。
物体泛化。如图9所示，我们将黑色水壶替换为颜色、尺寸及功能部件（把手和壶嘴）均不同的较小紫色水壶。UniDex-VLA在这种未见过的物体上仍保持强劲的性能，这表明其具备可泛化的工具理解能力，而这种能力对于实现稳健且通用的工具使用至关重要。
---
| Model | DP | DP3 | $\pi_{0}$ | UniDex-VLA (No Pretrain) | UniDex-VLA |
| Average Task Progress (avg) | 29.0 $\pm$ 19.9% | 35.0 $\pm$ 17.1% | 38.0 $\pm$ 7.4% | 32.5 $\pm$ 18.5% | 81.0 $\pm$ 12.1% |
| Final Success Rate (avg) | 22.0 $\pm$ 22.5% | 30.0 $\pm$ 18.7% | 35.0 $\pm$ 10.0% | 23.0 $\pm$ 12.0% | 76.0 $\pm$ 17.8% |
Figure 11. Average task progress across five real-world tasks (top), with aggregate averages of average task progress and final success rate (bottom) over 5 tasks. Each task/algorithm uses 20 trials.
这是一种颜色、尺寸以及功能部件（把手和壶嘴）都不同的较小的紫色水壶。UniDex-VLA在这种未见过的物体上仍表现出强劲的性能，这反映出其具备可泛化的工具理解能力，而这种能力对于实现稳健且通用的工具使用至关重要。
手部泛化（技能迁移）。我们通过将针对Inspire Hand（6个活动自由度）训练出的“冲咖啡”策略直接应用于Wuji（20个活动自由度）和Oymotion（6个活动自由度，运动学结构不同）来评估跨手部迁移能力。如图10所示，UniDex-VLA在无需任何微调的情况下，于Oymotion上的成功率达60%，在Wuji上的成功率为40%，而基线方法的成功率几乎为零。这些结果表明，在多种灵巧手上进行预训练并结合FAAS，确实能够实现零样本跨手部技能迁移。
#### 5.4. 用于人机数据协同训练的UniDex-Cap
我们推出了UniDex-Cap，这是一种实用的数据采集装置，可记录同步的RGB-D流以及手部/头部姿态。该系统结合了Apple Vision Pro用于手部与头部姿态估计，Intel RealSense L515用于采集高质量RGB-D数据，还采用了定制的三维打印支架来固定两个传感器，使其具有固定的刚性变换关系。通过校准该变换关系，可确保RGB-D流与手部/头部姿态在时间上同步，且表达在同一坐标体系中。如图12所示，我们随后应用人机转换流程（见第3.2节），将采集到的人类数据转换为机器人可执行的轨迹。此外，我们还进行了视角转换以使人类与机器人的视角对齐，并对人类动作进行降采样，以匹配典型的遥操作速度。
借助UniDex-Cap，我们收集人类演示数据，对其进行处理，再与真实机器人数据一起进行联合训练。
(a) Human Data (b) Collecting Data (c) Human Data Collection Device Recording View
(d) Transfer to Robot Trajectory
Figure 12. (a,b) show the components of UniDex-Cap. (c,d) shows the example captured data and converted robot-executable trajectories.
在“制作咖啡”任务中，我们定量探究了微调阶段人类演示数据的影响。图13展示了平均任务进度与共同训练的转换后人类演示数据数量（h）及机器人演示数据数量之间的关系。我们观察到了以下现象：(i) 重新定位后的人类数据确实有帮助，但机器人数据不可或缺。尽管在固定的r值下，增加h会持续提升平均任务进度（在我们评估的范围内），但如果没有任何机器人数据，成功概率始终接近于零。(ii) 人机交互比例约为$\approx$ 2:1。从图13可以看出，划分“高性能”区域（与仅使用机器人的r=50结果对应的绿色区域）的边界斜率为$\approx$ 2，这意味着大约需要两份人类演示数据才能替代一份机器人演示数据。(iii) 成本效率方面，在“制作咖啡”任务中，收集人类演示数据的速度比收集真实机器人演示数据快$\sim$5.2倍$\times$；考虑到$\approx$ 2:1的交互比例，利用人类演示数据进行协同训练能够大幅降低数据收集成本。
### 6. 结论与局限性
我们介绍了UniDex，这是一套基于以自我为中心的视频构建的机器人基础套件，包含UniDex-Dataset、UniDex-VLA和UniDex-Cap。我们认为UniDex能够成为面向研究社区的实用基础平台，从而加速实现通用、可扩展且具备迁移能力的灵巧操作技术。我们当前工作的一个局限性在于，尚未利用大规模无动作标注（或弱标注）的以自我为中心的活动数据集；将此类数据纳入UniDex以进一步拓展灵巧操作的预训练能力，是一个极具前景的发展方向。
---
Figure 13. Human-Robot co-training. Average task progress versus the numbers of transformed human demos (h) and robot demos (r). Colors indicate different performance bands (green: comparable to the r=50 robot-only result). Each point averages over 20 trials.
当前研究的不足在于我们尚未利用大规模无动作标注（或弱标注）的以自我为中心的活动数据集；将UniDex扩展以纳入此类数据，是进一步拓展灵巧操作预训练的有前景的方向。
我们要特别感谢五机科技有限公司提供的硬件支持，以及Hojin Bae、Haoxu Huang、Shaoting Zhu的技术协助。清华大学笃实计划为本项目提供了资助。
### 7. 致谢
## 参考文献
[^1]: Ilge Akkaya, Marcin Andrychowicz, Maciek Chociej, Mateusz Litwin, Bob McGrew, Arthur Petron, Alex Paino, Matthias Plappert, Glenn Powell, Raphael Ribas, et al. Solving rubik's cube with a robot hand. arXiv preprint arXiv:1910.07113, 2019. 3
[^2]: Suguru Arimoto. Intelligent control of multi-fingered hands. Annual Reviews in Control, 28(1):75–85, 2004. 3
[^3]: Yunfei Bai and C Karen Liu. Dexterous manipulation using both palm and fingers. In 2014 IEEE International Conference on Robotics and Automation (ICRA), pages 1560–1565. IEEE, 2014. 3
[^4]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. CVPR, 2025. 2, 3
[^5]: Lucas Beyer, Andreas Steiner, André Susano Pinto, Alexander Kolesnikov, Xiao Wang, Daniel Salz, Maxim Neumann, Ibrahim Alabdulmohsin, Michael Tschannen, Emanuele Bugliarello, et al. Paligemma: A versatile 3b vlm for transfer. arXiv preprint arXiv:2407.07726, 2024. 6
[^6]: Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi Fan, Yu Fang, Dieter Fox,
胡丰远、Spencer Huang等。Gr00t n1：一种面向通用人形机器人的开源基础模型。arXiv预印本arXiv:2503.14734，2025年。2, 3
[^7]: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, et al. $\pi_{0}$: A vision-language-action flow model for general robot control. arXiv preprint arXiv:2410.24164, 2024. 2, 3, 6, 7, 1
[^8]: Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, and Hongyang Li. Univla: Learning to act anywhere with task-centric latent actions. arXiv preprint arXiv:2505.06111, 2025. 3
[^9]: Hanzhi Chen, Boyang Sun, Anran Zhang, Marc Pollefeys, and Stefan Leutenegger. Vidbot: Learning generalizable 3d actions from in-the-wild 2d human videos for zero-shot robotic manipulation. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 27661–27672, 2025. 3
[^10]: Tao Chen, Megha Tippur, Siyang Wu, Vikash Kumar, Edward Adelson, and Pulkit Agrawal. Visual dexterity: In-hand reorientation of novel and complex object shapes. Science Robotics, 8(84):eadc9244, 2023. 3
[^11]: Yuanpei Chen, Chen Wang, Yaodong Yang, and C Karen Liu. Object-centric dexterous manipulation from human motion data. arXiv preprint arXiv:2411.04005, 2024. 3
[^12]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: Teleoperation with immersive active visual feedback. arXiv preprint arXiv:2407.01512, 2024. 7
[^13]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, page 02783649241273668, 2023. 2, 3, 7, 1
[^14]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024. 6
[^15]: Erwin Coumans and Yunfei Bai. Pybullet, a python module for physics simulation for games, robotics and machine learning, 2016. 4
[^16]: Murtaza Dalal, Ajay Mandlekar, Caelan Garrett, Ankur Handa, Ruslan Salakhutdinov, and Dieter Fox. Imitating task and motion planning with visuomotor transformers. arXiv preprint arXiv:2305.16309, 2023. 7
[^17]: Kairui Ding, Boyuan Chen, Ruihai Wu, Yuyang Li, Zongzheng Zhang, Huan-ang Gao, Siqi Li, Guyue Zhou, Yixin Zhu, Hao Dong, et al. Preafford: Universal affordance-based pre-grasping for diverse objects and environments. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 7278–7285. IEEE, 2024. 3
## [^18]: Alexey Dosovitskiy. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020. 6
---
[^19]: Hao-Shu Fang, Hengxu Yan, Zhenyu Tang, Hongjie Fang, Chenxi Wang, and Cewu Lu. Anydexgrasp: General dexterous grasping for different hands with human-level learning efficiency. arXiv preprint arXiv:2502.16420, 2025. 3
[^20]: Yao Mu Fourier ActionNet Team. Actionnet: A dataset for dexterous bimanual manipulation. 2025. 4, 5
[^21]: Richard Hartley. Multiple view geometry in computer vision. Cambridge university press, 2003. 5
[^22]: Jiawei He, Danshi Li, Xinqiang Yu, Zekun Qi, Wenyao Zhang, Jiayi Chen, Zhaoxiang Zhang, Zhizheng Zhang, Li Yi, and He Wang. Dexvlg: Dexterous vision-language-grasp model at scale. arXiv preprint arXiv:2507.02747, 2025. 3
[^23]: Yuheng Ji, Huajie Tan, Jiayu Shi, Xiaoshuai Hao, Yuan Zhang, Hengyuan Zhang, Pengwei Wang, Mengdi Zhao, Yao Mu, Pengju An, et al. Robobrain: A unified brain model for robotic manipulation from abstract to concrete. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1724–1734, 2025. 3
[^24]: Juntao Jian, Xiuping Liu, Zixuan Chen, Manyi Li, Jian Liu, and Ruizhen Hu. G-dexgrasp: Generalizable dexterous grasping synthesis via part-aware prior retrieval and prior-assisted generation. arXiv preprint arXiv:2503.19457, 2025.
[^25]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 13226–13233. IEEE, 2025. 3
[^26]: Jeffrey Kerr and Bernard Roth. Analysis of multifingered hands. The International Journal of Robotics Research, 4(4):3–17, 1986. 3
[^27]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024. 2, 3
[^28]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148, 2021. 2, 3
[^29]: Gen Li, Nikolaos Tsagkas, Jifei Song, Ruaridh MonWilliams, Sethu Vijayakumar, Kun Shao, and Laura Sevilla-Lara. Learning precise affordances from egocentric videos for robotic manipulation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10581–10591, 2025. 3
[^30]: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, and Siyuan Huang. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 6991–7003, 2025. 3
[^31]: Toru Lin, Yu Zhang, Qiyang Li, Haozhi Qi, Brent Yi, Sergey Levine, and Jitendra Malik. Learning visuotactile skills with two multifingered hands. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 5637–5643. IEEE, 2025. 3
[^32]: Yaron Lipman, Ricky TQ Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow matching for generative modeling. arXiv preprint arXiv:2210.02747, 2022. 6
[^33]: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, and Jun Zhu. Rdt-1b: a diffusion foundation model for bimanual manipulation. arXiv preprint arXiv:2410.07864, 2024. 3
[^34]: Vincent Liu, Ademi Adeniji, Haotian Zhan, Siddhant Haldar, Raunaq Bhirangi, Pieter Abbeel, and Lerrel Pinto. Egozero: Robot learning from smart glasses. arXiv preprint arXiv:2505.20290, 2025. 3
[^35]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 2, 3
[^36]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21740–21751, 2024. 2, 3
[^37]: Yumeng Liu, Yaxun Yang, Youzhuo Wang, Xiaofei Wu, Jiamin Wang, Yichen Yao, Sören Schwertfeger, Sibei Yang, Wenping Wang, Jingyi Yu, et al. Realdex: Towards human-like grasping for robotic dexterous hand. arXiv preprint arXiv:2402.13853, 2024. 4, 5
[^38]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-h0: Vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597, 2025. 3
[^39]: Cui Miao, Tao Chang, Meihan Wu, Hongbin Xu, Chun Li, Ming Li, and Xiaodong Wang. Fedvla: Federated vision-language-action learning with dual gating mixture-of-experts for robotic manipulation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 6904–6913, 2025. 3
[^40]: Igor Mordatch, Zoran Popović, and Emanuel Todorov. Contact-invariant optimization for hand manipulation. In Proceedings of the ACM SIGGRAPH/Eurographics symposium on computer animation, pages 137–144, 2012. 3
[^41]: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, and Abhinav Gupta. R3m: A universal visual representation for robot manipulation. arXiv preprint arXiv:2203.12601, 2022. 3
[^42]: Dantong Niu, Yuvan Sharma, Haoru Xue, Giscard Biamby, Junyi Zhang, Ziteng Ji, Trevor Darrell, and Roei Herzig. Pretraining auto-regressive robotic models with 4d representations. arXiv preprint arXiv:2502.13142, 2025. 3
[^43]: Jean Ponce, Steve Sullivan, Attawith Sudsang, Jean-Daniel Boissonnat, and Jean-Pierre Merlet. On computing four-finger equilibrium and force-closure grasps of polyhedral objects. The International Journal of Robotics Research, 16(1): 11–35, 1997. 3
### [^44]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand
---
野外场景下的定位与重建。载于计算机视觉与模式识别会议论文集，第12242–12254页，2025年。5
[^45]: Haozhi Qi, Brent Yi, Sudharshan Suresh, Mike Lambda, Yi Ma, Roberto Calandra, and Jitendra Malik. General in-hand object rotation with vision and touch. In Conference on Robot Learning, pages 2549–2564. PMLR, 2023. 3
[^46]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022. 3
[^47]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. In Robotics: Science and Systems, 2023. 7
[^48]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J Yoon, Ryan Hoque, Lars Paulsen, et al. Humanoid policy~ human policy. arXiv preprint arXiv:2503.13441, 2025. 3
[^49]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, et al. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. 5
[^50]: Zilin Si, Gu Zhang, Qingwei Ben, Branden Romero, Zhou Xian, Chao Liu, and Chuang Gan. Diff tactile: A physics-based differentiable tactile simulator for contact-rich robotic manipulation. arXiv preprint arXiv:2403.08716, 2024. 3
[^51]: Jingyi Tian, Le Wang, Sanping Zhou, Sen Wang, Jiayi Li, Haowen Sun, and Wei Tang. Pdfactor: Learning tri-perspective view policy diffusion field for multi-task robotic manipulation. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 15757–15767, 2025. 3
[^52]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023. 3
[^53]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024. 3
[^54]: Youzhuo Wang, Jiayi Ye, Chuyang Xiao, Yiming Zhong, Heng Tao, Hang Yu, Yumeng Liu, Jingyi Yu, and Yuexin Ma. Dexh2r: A benchmark for dynamic dexterous grasping in human-to-robot handover. arXiv preprint arXiv:2506.23152, 2025. 3
[^55]: Chuan Wen, Xingyu Lin, John So, Kai Chen, Qi Dou, Yang Gao, and Pieter Abbeel. Any-point trajectory modeling for policy learning. arXiv preprint arXiv:2401.00025, 2023. 3
[^56]: Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, et al. Robomind: Benchmark on multi-embodiment intelligence normative data for robot manipulation. arXiv preprint arXiv:2412.13877, 2024. 4, 5
[^57]: Huilin Xu, Jian Ding, Jiakun Xu, Ruixiang Wang, Jun Chen, Jinjie Mai, Yanwei Fu, Bernard Ghanem, Feng Xu, and Mohamed Elhoseiny. Diffusion-based imaginative coordination for bimanual manipulation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11469–11479, 2025. 3
[^58]: Han Xue, Jieji Ren, Wendi Chen, Gu Zhang, Yuan Fang, Guoying Gu, Huazhe Xu, and Cewu Lu. Reactive diffusion policy: Slow-fast visual-tactile policy learning for contact-rich manipulation. arXiv preprint arXiv:2503.02881, 2025. 2, 3
[^59]: Zhengrong Xue, Shuying Deng, Zhenyang Chen, Yixuan Wang, Zhecheng Yuan, and Huazhe Xu. Demogen: Synthetic demonstration generation for data-efficient visuomotor policy learning. arXiv preprint arXiv:2502.16932, 2025. 7, 1
[^60]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, et al. Egovla: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440, 2025. 3
[^61]: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, et al. Latent action pretraining from videos. arXiv preprint arXiv:2410.11758, 2024. 3
[^62]: Zhao-Heng Yin, Binghao Huang, Yuzhe Qin, Qifeng Chen, and Xiaolong Wang. Rotating without seeing: Towards in-hand dexterity through touch. arXiv preprint arXiv:2303.10880, 2023. 3
[^63]: Chengbo Yuan, Chuan Wen, Tong Zhang, and Yang Gao. General flow as foundation affordance for scalable robot learning. arXiv preprint arXiv:2401.11439, 2024. 3
[^64]: Chengbo Yuan, Rui Zhou, Mengzhen Liu, Yingdong Hu, Shengjie Wang, Li Yi, Chuan Wen, Shanghang Zhang, and Yang Gao. Motiontrans: Human vr data enable motion-level learning for robotic manipulation policies. arXiv preprint arXiv:2509.17759, 2025. 3
[^65]: Zhecheng Yuan, Tianming Wei, Shuiqi Cheng, Gu Zhang, Yuanpei Chen, and Huazhe Xu. Learning to manipulate anywhere: A visual generalizable framework for reinforcement learning. arXiv preprint arXiv:2407.15815, 2024. 3
[^66]: Zhecheng Yuan, Tianming Wei, Langzhe Gu, Pu Hua, Tianhai Liang, Yuanpei Chen, and Huazhe Xu. Hermes: Human-to-robot embodied learning from multi-source motion data for mobile dexterous manipulation. arXiv preprint arXiv:2508.20085, 2025. 3
[^67]: Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, and Huazhe Xu. 3d diffusion policy: Generalizable visuomotor policy learning via simple 3d representations. arXiv preprint arXiv:2403.03954, 2024. 2, 3, 7, 1
[^68]: Jia Zeng, Qingwen Bu, Bangjun Wang, Wenke Xia, Li Chen, Hao Dong, Haoming Song, Dong Wang, Di Hu, Ping Luo, et al. Learning manipulation by predicting interaction. arXiv preprint arXiv:2406.00439, 2024. 3
#### [^69]: Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, and Lucas Beyer. Sigmoid loss for language image pre-training
---
载于IEEE/CVF国际计算机视觉会议论文集，第11975–11986页，2023年。6
[^70]: Gu Zhang, Hao-Shu Fang, Hongjie Fang, and Cewu Lu. Flexible handover with real-time robust dynamic grasp trajectory generation. In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 3192–3199. IEEE, 2023. 3
[^71]: Yang Zhang, Chenwei Wang, Ouyang Lu, Yuan Zhao, Yunfei Ge, Zhenglong Sun, Xiu Li, Chi Zhang, Chenjia Bai, and Xuelong Li. Align-then-steer: Adapting the vision-language action models through unified latent guidance. arXiv preprint arXiv:2509.02055, 2025. 3
[^72]: Zongzheng Zhang, Haobo Xu, Zhuo Yang, Chenghao Yue, Zehao Lin, Huan-ang Gao, Ziwei Wang, and Hao Zhao. Elucidating the design space of torque-aware vision-language-action models. In 9th Annual Conference on Robot Learning, 2025.
[^73]: Zongzheng Zhang, Chenghao Yue, Haobo Xu, Minwen Liao, Xianglin Qi, Huan-ang Gao, Ziwei Wang, and Hao Zhao. Robochemist: Long-horizon and safety-compliant robotic chemical experimentation. arXiv preprint arXiv:2509.08820, 2025. 3
[^74]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. 2, 6
[^75]: Yifan Zhong, Xuchuan Huang, Ruochong Li, Ceyao Zhang, Zhang Chen, Tianrui Guan, Fanlian Zeng, Ka Num Lui, Yuyao Ye, Yitao Liang, et al. Dexgraspvla: A vision-language-action framework towards general dexterous grasping. arXiv preprint arXiv:2502.20900, 2025. 3
[^76]: Yiming Zhong, Qi Jiang, Jingyi Yu, and Yuexin Ma. Dexgrasp anything: Towards universal robotic dexterous grasping with physics awareness. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 22584–22594, 2025. 3
[^77]: Junsheng Zhou, Jinsheng Wang, Baorui Ma, Yu-Shen Liu, Tiejun Huang, and Xinlong Wang. Uni3d: Exploring unified 3d representation at scale. arXiv preprint arXiv:2310.06773, 2023. 6
##### [^78]: Jiaming Zhou, Teli Ma, Kun-Yu Lin, Zifan Wang, Ronghe Qiu, and Junwei Liang. Mitigating the human-robot domain discrepancy in visual pre-training for robotic manipulation. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 22551–22561, 2025. 3
---
##### 附录
##### A. 训练细节
#### A.1. UniDex-VLA流匹配损失
为了训练UniDex-VLA，我们最小化条件流匹配损失：
$$ L^{\tau}(\theta)=\mathbb{E}_{p(A_{t}|o_{t}),q(A_{t}^{\tau}|A_{t})}\left[\left\|v_{\theta}(A_{t}^{\tau},o_{t})-u(A_{t}^{\tau}\mid A_{t})\right\|\right], $$
其中$\tau \in [0,1]$和$q(A_t^\tau \mid A_t) = \mathcal{N}\big(\tau A_t$，$(1-\tau)I$构成线性高斯概率路径。我们采用$A_t^\tau = \tau A_t + (1-\tau)\epsilon$对$\epsilon \sim \mathcal{N}(0, I)$进行采样，并计算目标条件向量场$u(A_t^\tau \mid A_t) = A_t - \epsilon$。网络的训练目标是使预测的向量场$v_\theta(A_t^\tau, o_t)$逼近$u(A_t^\tau \mid A_t)$。
在推理阶段，我们采用前向欧拉格式对学习到的向量场进行积分，以生成去噪后的动作序列：
$$ A_{t}^{\tau+\delta}\;=\;A_{t}^{\tau}+\delta v_{\theta}(A_{t}^{\tau},o_{t}), $$
其中步长设为$\delta = 0.1$，初始条件为$A_{t}^{0} \sim \mathcal{N}(0, I)$。
#### A.2. UniDex-VLA预训练
预训练阶段，我们使用8块NVIDIA H800 GPU，总批量大小为128。用于后续微调的模型经过3个周期的训练（约3万步），耗时约24小时。我们采用AdamW优化器和余弦学习率调度器，初始学习率为1e-4。到第2个周期时学习率会衰减为原来的0.95倍。权重衰减系数设为1e-10，同时我们采用最大范数为1.0的梯度裁剪策略。
#### A.3. UniDex-VLA微调
训练后期，我们为每个任务配备2块NVIDIA H800 GPU，总批次大小设为8。我们采用不带学习率调度器的AdamW优化器，并将初始学习率设定为2.5e-5。对于常规数据，模型需训练50个轮次（$\sim$ 3千步），耗时约4小时；对于经DemoGen [^59]增强的数据，模型需训练2个轮次（$\sim$ 1.8千步），耗时约2.5小时。权重衰减系数设为1e-10，我们同样采用了梯度裁剪机制，最大范数限制为1.0。
#### A.4. 基线模型
对于所有基线模型（DP [^13]、DP3 [^67] 以及 $\pi_0$ [^7]），我们会在验证集上对模型进行训练，直到其收敛为止。
对于DP [^13]和DP3 [^67]，我们采用AdamW优化器，初始学习率设为$1e^{-4}$。状态视界设置为4，动作视界设置为32。批量大小取32，训练共进行400个周期。
对于$\pi_{0}$ [^7]，我们同样使用AdamW优化器，初始学习率为$2.5e^{-5}$。批量大小设为8，模型训练50个周期。扩散步数设定为10。
对于未经预训练的UniDex-VLA基线模型，我们采用了与经过预训练的UniDex-VLA相同的训练超参数。
#### B. 人机交互式重定位图形用户界面
为了尽量减少人机交互式重定位过程中的人力投入，我们开发了一个用户友好的基于Web的图形用户界面，如图14所示。通过这一界面，用户可以调整虚拟基座链接、IK参数及其他重定位设置，从而获得令人满意的机器人轨迹。
#### C. FAAS细节说明
此处我们详细介绍用于编码灵巧手关节的32个维度。维度0–4、5–9、10–14、15–19和20–24分别对应拇指、食指、中指、无名指和小指。维度25–26预留给Shadow手额外的腕关节；维度27–31暂未使用，以便适配新型手部。FAAS中所用机器人手的详细关节映射关系如图15所示。
---
Figure 14. Human-friendly web-based GUI for retargeting human demonstrations to robot executions. Users can adjust the IK parameters, dummy links, and other settings through the GUI to obtain satisfactory retargeted robot trajectories.
Figure 15. Joint mappings of different robotic hands used in FAAS. From left to right are Ability, Allegro, Inspire, Leap, Oymotion, Shadow, Wuji, and Xhand. The two rows show different views of the joint mappings on the right hand.
#### D. UniDex-Cap设置校准
UniDex-Cap结合了Apple Vision Pro（用于获取手部与头部姿态，记为$\{P_{VP}\}$）和Intel RealSense L515（用于采集RGB-D数据）。由于Vision Pro不支持第三方RGB-D视频录制，我们通过定制的3D打印支架将两种传感器物理连接，以固定它们之间的相对姿态。这种机械约束确保了针对特定用户时，Vision Pro与RealSense之间的外部变换参数保持稳定。
如图16所示，我们提供了一个轻量级的图形用户界面，仅需极少的人工操作即可估算剩余的恒定外部变换参数。用户先录制一段校准视频，然后通过基于滑块的界面来调整Vision Pro坐标系下的手部与腕部姿态——这些姿态会以骨架形式显示——直至其与RealSense相机捕获的3D手部点云对齐。滑块数值直接对应变换参数$T_{RS}^{VP}$。一旦确定该变换参数，所有Vision Pro
---
中的姿态就会被转换到RealSense相机坐标系中，从而得到时间上对齐的手部和头部轨迹：
$$ P_{\mathrm{R S}}=~T_{\mathrm{R S}}^{\mathrm{V P}}~P_{\mathrm{V P}}, $$
其中$P_{VP}$和$P_{RS}$以齐次坐标表示。这一流程能够生成时间同步且几何一致的标注数据，适用于后续的重定位与训练工作。
(a) Before Calibration
(b) After Calibration
Figure 16. GUI for UniDex-Cap calibration. (a) shows the initial state before calibration; (b) shows the calibrated result where the hand poses captured by Vision Pro align with the 3D point cloud captured by the RealSense L515 camera.
#### E. 核心贡献者名单
核心贡献者的主要贡献如下：
张顾：项目负责人。负责整体数据集构建流程、模型架构及统一动作空间的开发；搭建机器人系统基础设施；并撰写论文。
徐启程：负责VLA模型的训练工作；优化数据集构建与策略推理流程；并参与论文撰写。
张浩哲：负责数据集处理；改进了机器人系统及人机数据捕获流程；并参与了论文撰写。
马建汉：实现了重定向算法；开发了数据集可视化工具，并参与了早期探索工作。
何龙：实现了DemoGen算法；并参与了论文撰写。
鲍一鸣：采集了机器人数据与人类数据；并参与了DemoGen算法的实现。