{
  "paper_id": "2fafc846ccad5ee9340fea2331bb1874",
  "paper_title": "Open-TeleVision: Teleoperation with Immersive Active Visual Feedback",
  "paper_authors": [
    "Xuxin Cheng",
    "Jialong Li",
    "Shiqi Yang",
    "Ge Yang",
    "Xiaolong Wang"
  ],
  "publication_date": "",
  "publication_venue": "CoRL 2024",
  "abstract": "遥操作是收集机器人本体演示数据、支撑机器人从演示中学习的重要方法，遥操作系统的直观性和易用性直接决定数据质量、多样性和可扩展性。论文提出 Open-TeleVision，这是一种沉浸式遥操作系统，使操作者能够以立体视觉主动感知机器人周围环境，并将操作者的手臂与手部动作映射到机器人，形成如同意识进入机器人身体的体验。作者在两种人形机器人上针对罐子分拣、罐子插入、毛巾折叠和卸料四个长时序、高精度任务收集数据并训练模仿学习策略，随后在真实世界部署验证。系统已在 <https://robot-tv.github.io/> 开源。\n",
  "keywords": [
    "沉浸式遥操作",
    "主动视觉反馈",
    "立体视觉",
    "人形机器人",
    "模仿学习",
    "动作重定向",
    "逆运动学",
    "双臂操作"
  ],
  "paper_institutions": [
    "UC San Diego",
    "MIT"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:16:52.422849Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对遥操作虽能为模仿学习提供高质量机器人演示，但现有系统在执行端常依赖同场关节复制、难以远程控制或兼容多指灵巧手，在感知端又存在机器人身体遮挡、固定视角不直观、远程视频丢失深度信息等问题，论文提出 Open-TeleVision 沉浸式遥操作框架。系统基于 Vuer 网页服务器，由 VR 设备向服务器流式发送操作者手、头和腕部的 SE(3) 位姿，机器人则向头显回传每只眼睛分辨率为 480×640 的立体视频，整个闭环以 60 Hz 运行；其核心机制是让机器人头部 2 或 3 自由度主动相机随操作者头部运动，形成第一人称主动立体感知，同时用闭环逆运动学将腕部位姿映射到两条 7 自由度手臂，并用 dex-retargeting 将人手关键点转换为灵巧手或夹爪关节命令，其中手部重定向可概括为 min_{q_t} Σ_i ||α v_t^i − f_i(q_t)||² + β||q_t − q_{t−1}||²，第一项匹配人手与机器人手关键点向量，第二项保证时间连续。研究选择 Unitree H1（多指灵巧手，动作维度 28）和 Fourier GR-1（平行夹爪，动作维度 19）两种人形机器人，并设计罐子分拣、罐子插入、毛巾折叠和卸料四个任务，因为它们同时强调精度、长时序、物体位置泛化和主动观察，可检验系统对不同形态与精细操作的适应性；训练采用改进 ACT，以自监督预训练 DinoV2 替换 ResNet18，并输入左右立体图像，罐子分拣使用 10 条演示、其他任务使用 20 条演示，模型在单张 RTX 4090 上以 AdamW、学习率 5e−5、批量 45 训练 25k 次迭代。真实世界结果显示，完整方法在 H1 罐子分拣中达到 92% 抓取和 88% 放置成功率，在 GR-1 罐子分拣中达到 87% 抓取和 60% 放置，在罐子插入中达到 90% 抓取和 87% 插入，毛巾折叠与卸料各阶段均为 100%；裁剪后的主动视觉部署推理约 83 Hz，而静态广角输入约 42 Hz，且主动视觉训练约快 2 倍、可在同一 GPU 上容纳约 4 倍批量。四名参与者的用户研究进一步表明，立体显示在四个任务上平均成功率均为 100%，且平均完成时间分别为 66、58、34、67 秒，均显著优于单目条件的 93%、71%、100%、50% 和 91、85、50、97 秒，支持立体空间感知对精细遥操作的关键作用。系统还完成波士顿至圣迭戈约 3000 英里的跨互联网远程控制，并可执行钻孔、耳塞包装、移液和人机交互等真实场景；主要约束包括 GR-1 夹爪抓取后遮挡罐身颜色、ACT 60 步动作块在 60 Hz 下约只有 1 秒记忆、缺少触觉反馈和专家数据自动重标注，未来可扩展到带触觉反馈、数据重标注以及使用机器人全部自由度的移动版本。\n\n### 关键要点\n\n- Open-TeleVision 使用 VR 设备采集操作者头部、手腕和手部位姿，并通过网页服务器完成人到机器人的运动重定向，机器人端回传第一人称立体视频。\n- 机器人头部相机由 2 自由度云台或 GR-1 自带的 3 自由度颈部驱动，会跟随操作者头部转动，使其能够主动注视工作区中的关键区域。\n- 手臂控制将人手相对于头部的位置映射为机器人末端执行器相对于机器人头部的位置，同时对齐腕部绝对朝向，并采用 Pinocchio 上的闭环逆运动学求解关节角。\n- 为提高稳定性，系统对输入末端位姿进行 SE(3) 插值滤波，并在手臂可操作度接近极限时把关节修正量投影到雅可比矩阵零空间，以减少对末端跟踪精度的影响。\n- 多指手使用腕到五指尖以及拇指到食指、中指的关键点向量进行优化，夹爪则用拇指与食指间距控制开合，从而统一支持 H1 灵巧手和 GR-1 夹爪。\n- 四个真实机器人任务分别覆盖随机罐子分拣、高精度插罐、柔性毛巾折叠和取管换手卸料，每集包含多次连续操作并以固定结束手势终止记录。\n- 模仿学习模型基于动作分块 Transformer ACT，视觉骨干改为 DinoV2，并将两路立体图像和关节本体状态共同输入编码器，输出绝对关节位置动作序列。\n- 消融实验表明 DinoV2 和立体输入均明显优于 ResNet18 或单目输入，尤其在需要深度判断的抓取、插入、桌面距离控制和管件方向估计阶段。\n- 主动裁剪视角相比静态广角视角减少了无关像素和图像 token，训练批量时间与部署推理时间均约降低一半，使系统能够为逆运动学和重定向留出计算余量并达到 60 Hz 控制。\n- 用户研究中立体条件在四项任务上的平均成功率均达到 100%，且完成时间普遍短于单目条件，说明立体反馈能显著减轻空间判断负担。\n- 系统支持约 3000 英里的跨互联网远程遥操作，并展示了钻孔、耳塞包装、移液、双机器人协同和人机交互等扩展任务。\n- 现有系统仍缺少触觉反馈和专家数据重标注，且夹爪遮挡、动作块记忆长度以及机器人下半身自由度未使用会限制部分任务和移动操作能力。"
}