{
  "paper_id": "2b7c612397e3406c6049c22341b4a19d",
  "paper_title": "Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations",
  "paper_authors": [
    "Irmak Guzey",
    "Haozhi Qi",
    "Julen Urain",
    "Changhao Wang",
    "Jessica Yin",
    "Krishna Bodduluri",
    "Mike Lambda",
    "Lerrel Pinto",
    "Akshara Rai",
    "Jitendra Malik",
    "Tingfan Wu",
    "Akash Sharma",
    "Homanga Bharadhwaj"
  ],
  "publication_date": "",
  "publication_venue": "2026 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "从在自然环境中执行日常任务的人类身上学习多指机器人策略，长期以来是机器人学界的宏伟目标；若能实现，将显著推动人类环境中的可泛化机器人操作，并减少对费力的机器人交互数据采集的依赖。尽管已有大量努力，人与机器人之间的具身鸿沟，以及从野外人类视频中提取支持自主策略学习的相关上下文和运动线索的困难，一直限制着进展。本文认为，借助简单而足够强大的人类数据采集硬件和所提出的AINA框架，距离这一目标已迈出重要一步。AINA使用Aria Gen 2眼镜从野外数据中学习多指策略；该眼镜轻便便携，具有高分辨率RGB相机，可提供准确的机载3D头部和手部姿态，并拥有可用于场景深度估计的宽立体视野。该设置使学习面向多指手、对背景变化鲁棒的3D点策略成为可能，并且无需任何机器人数据（包括在线修正、强化学习或仿真）即可直接部署。作者与先前的人到机器人策略学习方法进行比较，对设计选择进行消融，并在五个日常操作任务上展示结果。\n",
  "keywords": [
    "灵巧操作",
    "多指机械手",
    "人类视频模仿学习",
    "智能眼镜",
    "Aria Gen 2",
    "3D点云策略",
    "域对齐",
    "零机器人数据",
    "人到机器人迁移"
  ],
  "paper_institutions": [
    "New York University",
    "Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:28.440755Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人学长期希望从人类自然日常操作中学习灵巧多指策略、却受限于具身鸿沟以及野外人类视频难以提取上下文与运动线索的问题，论文指出已有方法或依赖需按部署场景重复采集的实验室结构化数据，或使用缺乏可靠3D手部标注的网络视频，且灵巧操作方法通常仍需遥操作、在线修正、强化学习或仿真等机器人数据；为此提出AINA框架，利用轻便Aria Gen 2眼镜的高分辨率RGB、四周SLAM相机、IMU、实时头手姿态和立体视野，让人类在任意桌面和背景下采集每任务约50条、共约10分钟的野外示范，并在机器人空间录制一条不到1分钟的现场示范，从而在完全不使用机器人交互数据、仿真和外部动捕设备的条件下训练闭环策略。系统用Grounded-SAM按语言提示分割交互物体、CoTracker跟踪2D点，并通过FoundationStereo由Aria前视SLAM立体像对估计野外深度，将物体点反投影为3D点云；手指尖点由眼镜直接给出，现场示范则用双RGB-D视角的HaMeR估计并三角化。为消除不同桌面高度、采集者和任意重力轴航向造成的偏差，AINA以唯一现场示范为锚，先按首帧物体点云质心求平移ΔO，再用初始指尖点和Kabsch算法估计绕重力轴旋转Rz，核心变换为 Ô_w^t = Rz·O_w^t + ΔO，F̂_w^t = Rz·F_w^t + ΔO，从而把野外轨迹统一到机器人基坐标系。该点表示剥离背景和人机外观差异，随后基于PointPolicy的Transformer点云策略以过去10帧指尖与物体点为观测、预测未来30帧指尖轨迹，用Vector Neuron MLP编码SO(3)等变3D特征并以MSE端到端监督，训练配合平移、缩放、重力轴旋转和指尖噪声增强；部署在7自由度Kinova Gen3臂与6自由度五指Psyonic Ability Hand上，通过自定义全臂手逆运动学把指尖目标转为关节指令，并以拇指与手指间距小于5cm触发抓合来弥补缺失的力信息。数据与设置覆盖九项代表擦拭、拾取放置和重定向等技能的日常任务，其中五项给出真实机器人rollout，选择这些任务是为了验证不同运动模态、空间配置、物体变化和高度变化下的迁移，并补充报告了新物体零样本部署结果；评估采用真实机器人成功率，每项至少10次试验，结果显示AINA在Toaster Press和Toy Picking均达86%，显著高于仅现场、仅野外、仅用现场变换或仅现场训练等配方，在Oven Opening和Drawer Opening上分别为12/15与11/15，优于Masked BAKU的6/15、1/15及带历史版本的0/15，并在三种高度下对Toy Picking取得5/10、6/10、2/10，对Wiping取得5/10、5/10、8/10，这些结果共同支持3D点表示、现场与野外数据协同训练以及质心—旋转域对齐的有效性。实际应用面向家庭或日常桌面的灵巧操作，可把约15分钟人类视频投入转化为自主策略，但前提是一次性5至10分钟手眼标定、每个部署空间或高度提供一条现场人类示范，且当前无法从手部姿态获得力反馈、Aria RGB与SLAM快门不同步要求避免快速头部运动，部署时还因FoundationStereo实时性而使用RealSense深度；异常现场示范偏离野外分布也可能误导策略，未来工作可探索力反馈融合、更鲁棒的3D跟踪与传感器时间同步、近实时立体深度以及更多新物体零样本泛化。\n\n### 关键要点\n\n- AINA明确面向完全由人类示范学习灵巧多指策略，训练和部署均不使用机器人交互数据、在线修正、强化学习、仿真、外部传感器、动捕标记或外骨骼。\n- 每个任务采集50条野外Aria示范，相机流、头姿和手姿以15Hz记录，野外采集约10分钟；机器人环境中另采一条10Hz现场示范，通常不到1分钟，整体人类视频投入平均约15分钟。\n- Aria Gen 2包含前置RGB相机、四个SLAM相机和多个IMU，可实时估计头部与左右手姿态，并以IMU重力方向初始化世界坐标系z轴。\n- 物体表示先用Grounded-SAM依据语言提示在首帧分割物体，再用CoTracker得到跨帧2D点，野外示范通过FoundationStereo估计立体深度并反投影为3D物体点云。\n- 域对齐以唯一现场示范为锚，按首帧物体点云质心计算平移ΔO，并用初始指尖点通过Kabsch算法估计绕重力轴的Rz，将野外物体点和指尖点变换到机器人基坐标系。\n- 策略基于PointPolicy，使用Vector Neuron MLP和Transformer编码过去10帧的指尖与物体点并预测未来30帧指尖轨迹；训练采用MSE损失，并配合平移、缩放、重力轴旋转和输入指尖高斯噪声增强。\n- 部署平台为7自由度Kinova Gen3机械臂和五指、6自由度Psyonic Ability Hand，自定义全臂手逆运动学把指尖目标转换为关节指令；当拇指与任一其他手指距离小于5cm时，手指会进一步收拢以近似抓握力。\n- 实验共包含九项代表擦拭、拾取放置和重定向等模态的日常任务，其中五项展示真实机器人结果，每项对比至少进行10次试验并以任务成功率衡量。\n- 数据配方实验中，AINA在Toaster Press和Toy Picking均达到86%，而仅现场示范分别为30%和10%，仅野外或仅用现场变换的策略最高仅10%或为0%。\n- 与图像策略相比，AINA在Oven Opening和Drawer Opening上分别取得12/15和11/15，优于Masked BAKU的6/15和1/15，带历史的Masked BAKU两项均为0/15。\n- 高度实验中，三种桌面高度下Toy Picking为5/10、6/10、2/10，Wiping为5/10、5/10、8/10；每个高度只需补采不到一分钟的现场人类示范。\n- 主要约束包括缺乏力反馈、Aria RGB与SLAM相机快门时序差异在快速头部运动时造成像素深度错位、FoundationStereo尚难实时因而部署采用RealSense，以及异常现场示范可能使策略偏离野外分布。"
}