{
  "paper_id": "403c22ea652c2030ff166a0f9b5e559c",
  "paper_title": "UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos",
  "paper_authors": [
    "Gu Zhang",
    "Qicheng Xu",
    "Haozhe Zhang",
    "Jianhan Ma",
    "Long He",
    "Yiming Bao",
    "Zeyu Ping",
    "Zhecheng Yuan",
    "Chenhao Lu",
    "Chengbo Yuan",
    "Tianhai Liang",
    "Xiaoyu Tian",
    "Maanping Shao",
    "Feihong Zhang",
    "Mingyu Ding",
    "Yang Gao",
    "Hao Zhao",
    "Hang Zhao",
    "Huazhe Xu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "灵巧操作因真实机器人遥操作数据采集成本高、手部本体异构以及控制维度高而仍然困难。本文提出 UniDex，这是一个将大规模机器人中心数据集、统一视觉-语言-动作策略和实用人类数据采集装置相结合的机器人基础套件，用于通用灵巧手控制。首先，作者构建 UniDex-Dataset，该数据集源自第一视角人类视频，包含覆盖八种灵巧手、自由度为 6 至 24 的超过 5 万条轨迹。为将人类数据转换为机器人可执行轨迹，作者采用人在回路重定向流程来对齐指尖轨迹并保持合理的手物接触，同时在显式三维点云中掩蔽人手，以缩小运动学和视觉间隙。其次，论文提出 Function–Actuator-Aligned Space（FAAS）这一统一动作空间，将功能相似的执行器映射到共享坐标，从而实现跨手迁移。基于 FAAS，作者训练 UniDex-VLA：一个在 UniDex-Dataset 上预训练并通过任务演示微调的三维 VLA 策略。此外，UniDex-Cap 可采集同步 RGB-D 流和人类手部姿态，并将其转换为机器人可执行轨迹，以支持人机数据协同训练、降低昂贵机器人演示的依赖。在两种灵巧手的挑战性工具使用任务上，UniDex-VLA 取得 81% 的平均任务进度，大幅优于先前 VLA 基线，并展现出较强的空间、物体和零样本跨手泛化能力。\n",
  "keywords": [
    "灵巧操作",
    "机器人基础模型",
    "视觉-语言-动作模型",
    "第一视角人类视频",
    "统一动作空间",
    "跨手泛化",
    "三维点云",
    "人机数据协同训练"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Shanghai Qizhi Institute",
    "Sun Yat-sen University",
    "The University of North Carolina at Chapel Hill"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:52.693933Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对真实机器人遥操作数据昂贵、灵巧手在自由度、形态和运动学上高度异构、高维控制难以泛化的问题，论文在模仿学习与 VLA 多集中于夹爪、灵巧手预训练数据和统一动作表示不足的背景下，提出 UniDex 机器人基础套件。该套件由 UniDex-Dataset、UniDex-VLA 和 UniDex-Cap 组成：数据集选用 H2O、HOI4D、HOT3D 与 TACO 四个开源第一视角 RGB-D 操作视频，因为它们比机器人遥操作数据更便宜、多样且可扩展；通过指尖逆运动学、6 自由度虚拟基座偏移和少量 GUI 交互调整保持合理手物接触，再用 WiLoR 与 SAM2 掩蔽人手并把重定向机器人手渲染回点云，以缩小运动学和视觉间隙，最终形成 900 万配对图像-点云-动作帧、约 5.2 万条轨迹、覆盖 8 种 6–24 自由度灵巧手的机器人中心数据。为解决跨本体迁移，作者设计 82 维 Function–Actuator-Aligned Space（FAAS），将功能相似的执行器映射到共享索引，包含 18 维腕部和 64 维双手关节命令；UniDex-VLA 以单视角彩色点云、语言指令和本体状态为观测，用 Uni3D 编码三维几何并输出 FAAS 动作块，其核心条件流匹配机制可写为 L^τ(θ)=E[||vθ(A_t^τ,o_t)-u(A_t^τ|A_t)||]，其中 A_t^τ=τA_t+(1−τ)ε、u=A_t−ε，推理通过前向欧拉积分生成去噪动作块，从而把几何感知与高维灵巧控制对齐。模型先在 UniDex-Dataset 预训练，再用每任务 50 条真实演示微调；在 Inspire 与 Wuji 两种手的制作咖啡、清扫、浇花、剪袋和使用鼠标五项真实工具使用任务中，以各阶段平均成功率作为平均任务进度，并报告最终成功率，UniDex-VLA 取得 81.0% 平均任务进度和 76.0% 最终成功率，显著优于 π0 的 38.0% 和 35.0%，支持了大规模机器人中心预训练与 FAAS 带来的运动先验和跨手迁移有效性；它还在空间 OOD 位置、新颜色尺寸水壶以及从 Inspire 零样本迁移到 Oymotion（60%）和 Wuji（40%）上表现出泛化。UniDex-Cap 用 Apple Vision Pro、RealSense L515 和刚性固定支架同步采集 RGB-D 与手部、头部姿态，经同一转换管线支持人机数据协同训练；实验显示约 2 条人类演示可替代 1 条机器人演示、人类数据采集快约 5.2 倍，但没有机器人数据时成功率近零，说明人类数据可降本却不能完全替代真实接触验证。实际适用于剪刀、喷壶、清扫器、鼠标等需要精细手指协调的工具操作，约束包括第一视角 RGB-D 观测、重定向需按数据集和手进行基础校准及接触富片段微调、跨硬件仍受功能映射和形态差异限制；未来可利用大规模无动作或弱标签第一视角活动数据进一步扩展预训练。\n\n### 关键要点\n\n- UniDex 是面向异构灵巧手的基础套件，由机器人中心数据集 UniDex-Dataset、三维 VLA 策略 UniDex-VLA 和便携式人类数据采集装置 UniDex-Cap 三部分组成。\n- UniDex-Dataset 源自 H2O、HOI4D、HOT3D 和 TACO，包含约 5.2 万条轨迹、900 万配对图像-点云-动作帧，覆盖 Inspire、Leap、Shadow、Allegro、Ability、Oymotion、Xhand 和 Wuji 共 8 种灵巧手。\n- 运动学重定向以人类指尖三维位置为目标，利用 PyBullet 多末端执行器 IK 和插入真实基座前的 6 自由度虚拟基座偏移对齐机器人指尖，并通过 GUI 少量调整改善接触合理性。\n- 视觉对齐流程从 RGB-D 构建点云，使用 WiLoR 与 SAM2 掩蔽并移除人手点，再将重定向后的机器人手几何融合到场景并重投影回 RGB-D 帧，以匹配真实微调时的单视角设置。\n- FAAS 是 82 维统一动作向量，前 18 维表示双手腕部位姿，后 64 维表示双手关节命令；每只手占 32 个关节槽，其中 21 个基础执行器槽跨手共享。\n- UniDex-VLA 接收彩色点云、自然语言指令和本体状态，采用替换 π0 中 SigLIP 的 Uni3D 点云编码器，输出 H 步 FAAS 动作块，并使用条件流匹配目标训练、推理时以前向欧拉积分生成动作。\n- 真实机器人基准包含制作咖啡、清扫物体、浇花、剪袋和使用鼠标五项长时序工具使用任务，分别使用 Inspire Hand 和 Wuji Hand，每个任务仅用 50 条遥操作演示微调。\n- 五项任务各 20 次试验中，UniDex-VLA 的平均任务进度为 81.0%、最终成功率为 76.0%，高于 DP 的 29.0%、DP3 的 35.0%、π0 的 38.0% 以及无预训练版本的 32.5%。\n- 在空间泛化中，点云几何编辑和 DemoGen 增广使模型可处理水壶与滴滤器的训练分布外位置；在物体泛化中，模型可处理颜色、尺寸和功能部件均不同的紫色小水壶。\n- 跨手泛化实验将在 Inspire 上训练的制作咖啡策略零样本部署到 Oymotion 和 Wuji，分别取得 60% 和 40% 的平均任务进度，而对比基线接近 0%。\n- UniDex-Cap 通过刚性支架耦合 Apple Vision Pro 与 RealSense L515，校准坐标变换后将人类演示转换为机器人轨迹；协同训练表明人机演示替代率约为 2:1，但机器人数据仍是不可或缺的。"
}