{ "paper_id": "13d2c8ca5b88e638a33531f2b8b223e4", "paper_title": "EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning", "paper_authors": [ "Gaotian Wang", "Kejia Ren", "Yiting Chen", "Andrew Morgan", "Howard H. Qian", "Podshara Chanrungmaneekul", "Kaiyu Hang" ], "publication_date": "", "publication_venue": "unknown", "abstract": "Internet videos constitute the largest reservoir of embodied human manipulation knowledge, yet converting arbitrary RGB footage into actionable robot training data remains a major bottleneck. Existing lab- or factory-collected datasets are narrow in scale and diversity, limiting their ability to support open-world robot learning. Instead of proposing a static dataset, we introduce EgoInfinity, a universal 4D hand-object interaction data engine that enables web-scale data generation for robot retargeting and learning. EgoInfinity is built as a modular engine that integrates perception, segmentation, reconstruction, interaction-aware refinement, and retargeting components to automate this traditionally unscalable video-to-action problem without human-in-the-loop annotation. Its modular design allows the engine to continuously benefit from advances in any incorporated component. With EgoInfinity, in-the-wild human manipulation videos are lifted into agent-agnostic, metric 4D hand-object interaction representations, including hand trajectories, 6-DoF object poses, and contact-relevant states. Rather than naively connecting standalone components, EgoInfinity combines cross-module metric calibration with interaction-aware refinement to improve physical reliability, reducing drift and contact inconsistencies common in pure visual reconstruction. In addition, we propose a novel motion retargeter to compile the recovered 3D hand motions into executable joint trajectories for diverse robot morphologies, enabling video-to-action retargeting on any robot from arbitrary viewpoints and shot sizes (e.g., the human body is only partially visible). We validate EgoInfinity across perception fidelity, kinematic feasibility, contact consistency, cross-embodiment generalization, and real-robot skill acquisition (e.g., grasping, cutting, wiping, and pouring), demonstrating a scalable bridge from internet videos to executable robot behavior for robust open-world robot learning.", "keywords": [ "Automatic Data Generation", "Benchmarks and Datasets for Robot Learning", "Learning from Human Videos", "Cross-Embodiment Retargeting" ], "paper_institutions": [ "Rice University", "Robotics and AI Institute" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:37:41.217058Z", "template_tag": "deep_read", "summary": "# EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning\n\n\n**作者 / Authors:** Gaotian Wang, Kejia Ren, Yiting Chen, Andrew Morgan, Howard H. Qian, Podshara Chanrungmaneekul, Kaiyu Hang\n\n\n**单位 / Institutions:** Rice University, Robotics and AI Institute\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 1. 论文元数据\n\n- **标题**：EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning\n- **作者**（姓名 / 单位）：\n - Gaotian Wang（Rice University）\n - Kejia Ren（Rice University）\n - Yiting Chen（Rice University）\n - Andrew Morgan（Robotics and AI Institute）\n - Howard H. Qian（Rice University）\n - Podshara Chanrungmaneekul（Rice University）\n - Kaiyu Hang（Rice University）\n- **发表渠道**：文中未明确标注会议/期刊名称与年份；从引用文献含多篇 2026 年 arXiv 预印本、以及附录 C.2 提到“托管 URL 因匿名评审暂缓公开”推断，该文应为 2026 年前后投稿至机器人/机器学习类会议的在审稿件。项目页面：\n\n### 2. 研究定位\n\n- **研究领域**：机器人操作学习 / 从人类视频学习（Learning from Human Videos）/ 4D 手-物体交互重建\n- **具体任务**：将野外互联网 RGB 视频自动转换为可执行的机器人训练数据——度量化的 4D 手-物体交互表示（手部轨迹、6-DoF 物体位姿、接触相关状态），并通过跨具身功能重定向生成可执行关节轨迹（Sec. 1、Sec. 3、Fig. 1）\n- **目标用户/应用场景**：机器人学习研究者与大规模数据集构建者；面向开放世界机器人技能习得（抓取、切割、擦拭、倾倒等，Sec. 5.4、Fig. 3(d)），支持任意视角、人体仅部分可见的网络视频\n\n### 3. 输入材料清单\n\n- **PDF**：是（正文 Sec. 1–7 与附录 A–C 完整提供）\n- **附录/补充材料**：是（附录 A：数据引擎实现细节与全部阈值参数 Tab. 4；附录 B：重定向器架构、训练配置 Tab. 5/6；附录 C：附加定性结果）\n- **代码链接**：未给出独立开源代码仓库；提供项目页面 \n- **数据集链接**：经处理的 Action100M 精选子集（106 段视频）托管于上述数据服务器（Sec. 5.2）；完整托管 URL 因匿名暂缓公开（附录 C.2）\n\n### 4. 缺失材料与风险\n\n- **缺失项**：正式发表渠道与年份未标注；独立代码仓库链接缺失；完整数据集下载 URL 匿名期未公开\n- **可能影响**：无法直接核验发表层级与时间；复现主要依赖文中给出的模块配置（Tab. 4、Tab. 5、Tab. 6）与项目页面，若页面不可用则复现难度上升；数据规模验证受限（当前仅公开 106 段精选视频，127K 小时规模为引擎理论上限，见 Tab. 1 脚注）\n\n### 5. 阅读路线\n\n- **Step 1**：读摘要、Sec. 1 引言与 Fig. 1，把握“数据引擎而非静态数据集”的核心定位与三大贡献（自动化引擎、跨模块标定与交互感知精化、跨具身重定向器）\n- **Step 2**：读 Sec. 2 与 Tab. 1，理解与 Ego4D/EgoDex/DROID/Open-X 等数据源的差异化定位（互联网规模、免穿戴、全自动、免人工物体标注）\n- **Step 3**：精读 Sec. 3（模块化流水线、统一度量几何、交互感知精化）与附录 A 的六态状态机、刚性手部绑定与鲁棒统计原语\n- **Step 4**：精读 Sec. 4 与附录 B（Vector-Neuron SE(3) 等变网络 + flow-matching 根坐标系估计 + IK 后优化）\n- **Step 5**：读 Sec. 5 实验与 Tab. 2、Fig. 3–4，核对感知保真度、三种具身（Unitree G1、Robonaut2、双 Franka FR3）的跨具身泛化与真机技能验证\n- **Step 6**：读 Sec. 6–7 结论与局限，明确适用边界（近似静态相机假设、无触觉观测、重定向器需按机器人重训）\n\n### 分类依据\n\n- 论文核心贡献是一个**模块化、可持续升级的 4D 数据引擎/工程系统**：整合感知、分割、重建、交互感知精化与重定向的完整流水线，并配套浏览器端交互式数据服务器（Sec. 3、Sec. 5.1、Fig. 1、Fig. 3(a)）；\n- 虽包含新方法组件（如等变根坐标系估计器，Sec. 4.1），但其价值在于系统集成与规模化数据生产，而非单一算法贡献，故归为 `system`。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型**：系统类论文（system，已在 Module A 确认）。核心贡献是一个模块化、可持续升级的 4D 手-物体交互数据引擎，配套跨具身运动重定向器与浏览器端交互式数据服务器（摘要、Sec. 1、Sec. 3、Sec. 5.1）。\n- **领域**：机器人操作学习 / 从人类视频学习（Learning from Human Videos）/ 4D 手-物体交互重建 / 跨具身重定向。\n- **作者自列关键词**：Automatic Data Generation、Benchmarks and Datasets for Robot Learning、Learning from Human Videos、Cross-Embodiment Retargeting。\n\n### 2. 背景与研究背景\n\n- **数据瓶颈**：训练通用机器人需要大规模、多样化的操作数据。实验室/工厂采集数据（DROID 350 hr、Open-X 1M+ 轨迹）受硬件与成本限制；自我中心数据集（Ego4D 3.7K hr、EgoDex 829 hr、HOT3D 13.9 hr、OakInk2 6.5 hr）依赖头显、动捕或受控采集（Sec. 2、Tab. 1）。\n- **互联网视频的机遇与鸿沟**：Action100M 含 147M 动作段、约 14.6 年时长（Sec. 1），蕴含丰富的日常物体操作知识，但缺乏度量 3D 几何、6-DoF 物体状态、接触信息与可执行动作；现有 video-to-action 方法要么欠接地（under-grounded），要么在把 2D 伪动作提升到机器人动作空间时错接地（mis-grounded）（Sec. 1）。\n- **本文定位**：不做静态数据集，而做“数据引擎”——把野外 RGB 视频自动提升为 agent-agnostic、度量的 4D 手-物体表示（手部轨迹、6-DoF 物体位姿、接触相关状态），再经功能性重定向编译为多种机器人形态的可执行关节轨迹（摘要、Fig. 1）。\n\n### 3. 直觉正确性检查（关键假设及合理性）\n\n1. **近似静态相机假设**（Sec. 3.1、Sec. 7）：教程/how-to 类视频普遍成立，使引擎免于在线 SLAM；合理，但排除手持/头戴视频，作者明确承认此局限。\n2. **单目基础模型可提供共享度量几何**（Sec. 3.2：MOGE-2 估焦距与全局度量尺度、FLOW3R 出稠密深度、GeoCalib 估重力向量）：依赖基础模型成熟度，方向合理；但深度噪声会传导至接触精度，附录 C.1 承认反光/透明物体点云不稳。\n3. **交互状态驱动的精化**（Sec. 3.3、附录 A）：物理直觉强——被抓握物体相对手刚性（刚性绑定 p̂ᵗᵒ = pᵗʰ·Tᶜᵃⁿᵒⁿ），静态物体锁定鲁棒质心；但状态分类基于固定阈值（30 px 掩码重叠、6 cm 指尖 / 5 cm 腕部距离，Tab. 4），属启发式而非学习式，边缘情况（严重遮挡、细长工具）可能误判，作者以多级回退信号与形态学平滑缓解（附录 A.2）。\n4. **功能性重定向优于精确人体运动学模仿**（Sec. 4）：互联网视频常只见手部/部分手臂，恢复全身姿态不可靠，故只估计机器人特定根坐标系并保留任务相关手部运动；合理，但重定向器需按机器人重训（Sec. 7），且不保证指尖级接触精度。\n5. **纯仿真训练可零实机监督迁移**（Sec. 4.2、附录 B.2）：全部在 MuJoCo 中程序化生成配对数据并加噪声增强（跟踪跳变、遮挡、重力缺失，Tab. 6），每机器人仅训练 1.5–2 小时；Sim-to-real 依赖 IK 与后优化兜底，Tab. 2 显示双 Franka 位置误差达 10.27 cm，说明精度有限但功能可行。\n\n- **总体判断**：假设链条在工程上自洽，作者对局限（静态相机、无触觉、无接触级保证、按机器人重训）披露诚实（Sec. 7），未发现明显违背物理直觉的断言。\n\n### 4. 核心贡献\n\n1. **全自动模块化 4D 数据引擎**：整合手部网格估计、目标自动发现、分割、度量深度、跟踪与精化，无需人工标注即可把网络规模视频转为结构化 4D 操作数据，且各模块可随基础模型进步独立升级（Sec. 1、Sec. 3.1）。\n2. **跨模块度量标定 + 交互感知精化**：统一度量相机系、物体侧几何先验与六态交互状态机（含刚性手部绑定、鲁棒统计原语），抑制纯视觉重建常见的漂移与接触不一致（Sec. 3.2–3.3、附录 A）。\n3. **功能性跨具身重定向器**：Vector-Neuron SE(3) 等变网络 + flow-matching 根坐标系分布估计 + k-means 假设聚类与 IK 评分选择，支持任意视角、人体部分可见的视频，并在 Unitree G1、Robonaut2、双 Franka FR3（及 XLeRobot）上验证（Sec. 4、附录 B、Tab. 2）。\n4. **端到端真机验证**：从感知保真度、运动学可行性、接触一致性到真机技能执行（抓取、切割、擦拭、倾倒）与下游抓取策略学习（LEAP 灵巧手），打通“视频→4D 数据→重定向→策略→执行”全链路（Sec. 5.3–5.4、Fig. 3、Fig. 10–12）。\n5. **可交互数据基础设施**：浏览器端数据服务器（自然语言搜索、在线处理、可视化、下载）与 106 段精选 Action100M 子集（Sec. 5.1–5.2、附录 C.2）。\n\n### 5. 清晰度评估\n\n- **结构**：引言→相关工作→数据引擎→重定向→实验→结论/局限，主线清晰；附录 A–C 集中列出全部非学习阈值（Tab. 4）、网络架构与训练超参（Tab. 5/6），工程可复现性突出。\n- **图表**：Fig. 1（引擎流水线）、Fig. 2（重定向流水线）、Fig. 3（实验总览）、Fig. 4（数据统计）与正文对应良好；Fig. 5–12 提供大量定性结果；Tab. 1 的数据集对比表是定位论证的核心。\n- **公式**：数量少而关键（4D 状态 H_t、SE(3) 等变性 G·Φ(x)=Φ(G·x)、手部坐标系叉积构造），符号体系一致。\n- **可读性**：正文流畅，但密集引用基础模型名（WILOR、MOGE-2、FLOW3R、SAM-2/3、SAM-3D、FOUNDATIONPOSE++、MEMFOF），初读者需借助附录 A.6 的配置表理解；附录存在少量排版瑕疵（如 “1ne per-frame”）。\n- **不足**：实验以定性展示与数据集统计为主，缺少与最相关同期工作 EgoGrasp（Sec. 2 提及）的定量对比基准；Tab. 2 为自定义重定向质量指标，无外部基线参照。\n\n### 6. 继续或停止建议\n\n- **建议：继续深入阅读（值得第二、三遍精读）**。\n- **理由**：对从事机器人学习数据基础设施、从人类视频学习或跨具身重定向的研究者，本文给出完整工程蓝图与全部实现参数（Tab. 4–6），复现与二次开发价值高；若读者只关心单点算法创新或必须看到定量 SOTA 对比，可在精读 Sec. 3–4 与 Tab. 2 后停止。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# EgoInfinity 总览\n\n## 1 引言\n\n### 问题：互联网视频 → 可执行机器人数据\n\n### 三大贡献\n\n## 2 相关工作\n\n### 数据源对比（Tab. 1）\n\n### 视频→4D 操作数据\n\n### 功能性跨具身重定向\n\n## 3 数据引擎\n\n### 3.1 模块化流水线（两遍扫描）\n\n### 3.2 度量标定手-物跟踪\n\n### 3.3 交互感知精化\n\n### 3.4 输出清理与坐标重定框\n\n## 4 跨具身重定向\n\n### 4.1 VN SE(3) 等变根坐标系估计（flow-matching）\n\n### 4.2 MuJoCo 仿真训练与增强\n\n### 4.3 假设选择、IK 与后优化\n\n## 5 实验与验证\n\n### 5.1 浏览器数据服务器\n\n### 5.2 精选 Action100M 子集（106 段）\n\n### 5.3 跨具身重定向（Tab. 2）\n\n### 5.4 真机技能执行与学习\n\n## 6 结论\n\n## 7 局限\n\n### 静态相机假设\n\n### 无触觉/接触级精度\n\n### 重定向器按机器人重训\n\n## 附录\n\n### A 数据引擎细节（Tab. 4）\n\n### B 重定向器细节（Tab. 5/6）\n\n### C 附加定性结果\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文旨在解决“如何将任意视角的野外互联网 RGB 视频全自动转换为可执行的机器人训练数据”这一核心问题：构建名为 EgoInfinity 的模块化 4D 手-物体交互数据引擎，把网络视频提升为度量化的、与具身无关（agent-agnostic）的 4D 表示（手部轨迹、6-DoF 物体位姿、接触相关状态），并通过跨具身功能重定向将其编译为可执行的机器人关节轨迹（Sec. 1、Abstract、Fig. 1）。\n\n### 2. 痛点与现有不足\n\n- **机器人操作数据的规模与多样性瓶颈**：实验室/工厂采集的数据（如 DROID 350 hr、Open X-Embodiment）虽提供可执行动作，但受硬件、任务设计与采集成本限制，难以支撑开放世界（open-world）机器人学习（Sec. 1、Sec. 2、Tab. 1）。\n- **互联网视频不可直接供机器人使用**：网络视频规模巨大（Action100M 含 14.6 年、147M 段动作片段），但缺乏度量 3D 几何、6-DoF 物体状态、接触信息与可执行动作，导致现有 learning-from-human-video 方法要么“欠接地”（under-grounded，无法执行），要么在把 2D 动作对齐提升到机器人动作空间时“错接地”（mis-grounded）（Sec. 1）。\n- **现有自我中心数据集依赖专用设备与人工流程**：Ego4D、EgoDex、HOT3D、OakInk2 等依赖头戴设备、mocap、Vision Pro 追踪或人工叙述，采集环境受控、规模有限（3.7K hr 至 13.9 hr 不等），无法扩展到网络规模（Sec. 2、Tab. 1）。\n- **任意视角视频的跨具身重定向困难**：互联网视频常只出现手部、部分手臂或视角变化，精确人体姿态恢复与运动学模仿不可靠；现有重定向方法多针对特定具身类别（灵巧手、平行夹爪、人形上半身），难以跨形态迁移（Sec. 2 “Functional Cross-Embodiment Retargeting” 段落）。\n\n### 3. 形式化目标 / 优化目标\n\n论文不提出单一端到端优化目标，而是给出引擎级数据处理目标与若干子目标：\n\n- **引擎级目标**：给定野外 RGB 视频及文本描述，自动产出每帧的 4D 操作状态 H_t = {M_t^h, K_t^h, ^c p_t^h, P_t^o, M^o, ^c p_t^o}（MANO 手部网格、3D 关键点、全局手部位姿、物体点云、物体网格、6-DoF 物体位姿），全部对齐到统一度量相机坐标系（Sec. 3.2 末尾公式）。\n- **交互感知精化目标**：按帧分类交互状态 s_t ∈ {static, grasped, moving}，并据此选择位姿来源——抓取物体刚性绑定到手部坐标系 ^c p̂_t^o = ^c p_t^h · T^cano，静态物体锁定到鲁棒点云质心，运动物体保留视觉提议，以抑制纯视觉追踪的漂移与接触不一致（Sec. 3.3）。\n- **重定向级目标**：学习 SE(3) 等变映射 G·Φ(x) = Φ(G·x)，从手部轨迹与可选重力向量预测机器人特定根坐标系 ^c p^r = (^c R^r, ^c t^r) ∈ SE(3)；以 flow-matching 条件生成建模 p(^c p^r | x)（而非确定性回归），再经 IK 与后优化得到可执行关节轨迹（Sec. 4.1 公式）。\n- **功能重定向原则**：不精确复制人体/手臂运动学，而是在目标机器人运动学约束内保持任务相关的手部运动（Sec. 4）。\n\n### 4. 成功标准（指标或期望性质）\n\n论文从五个维度定义并验证成功标准（Abstract、Sec. 5）：\n\n- **感知保真度**：恢复的 4D 手-物体表示具备度量几何一致性，可通过交互式数据服务器检查（Sec. 5.1、Fig. 3(a)）。\n- **运动学可行性**：重定向轨迹的 IK 成功率（Unitree G1: 0.821、Robonaut2: 0.774、Dual-Franka: 0.706）、平均手部位置误差（2.86–10.27 cm）、姿态误差（6.73°–12.17°）、关节限位裕度、可操作性指标与平滑度（Sec. 5.3、Tab. 2）。\n- **接触一致性**：交互感知精化减少漂移与接触不一致，提升物理可靠性（Abstract、Sec. 3.3）。\n- **跨具身泛化**：同一恢复的 4D 轨迹可编译到 Unitree G1、Robonaut2、双 Franka FR3、XLeRobot 等差异显著的形态，并从仿真迁移到真机（Sec. 5.3、Fig. 3(b)、Fig. 10）。\n- **真机技能习得**：在真实 LEAP 灵巧手上以提取的手部动作为先验训练抓取策略并跨物体泛化（苹果、香蕉、番茄罐）；在双臂 Franka FR3 上直接执行切割、倾倒、擦拭技能（Sec. 5.4、Fig. 3(c)(d)、Fig. 11、Fig. 12）。\n- **可扩展性性质**：无需穿戴设备、深度传感器、CAD 模型或人工物体标注，全自动生成；语料规模理论上限受 Action100M 限制（127K hr），引擎本身与语料无关（Tab. 1 及脚注）。\n\n### 推理链小结\n\n问题定义由 Abstract 与 Sec. 1 的“瓶颈—替代方案—不可直接使用”论证链支撑；痛点由 Sec. 2 与 Tab. 1 的数据源对比表系统化；形式化目标分别对应 Sec. 3.2 的统一 4D 状态定义、Sec. 3.3 的状态驱动精化规则与 Sec. 4.1 的等变根坐标系估计公式；成功标准与 Sec. 5 的四类实验（数据服务器、数据集统计、跨具身重定向、真机技能学习）及 Tab. 2 的量化指标一一对应。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作分析\n\n### 1. 最强基线与比较轴\n\n#### （a）数据源维度的基线（Sec. 2 \"Data Sources for Robot-Usable Manipulation\"、Tab. 1）\n\n**比较轴**：数据来源（互联网 vs 策划采集 vs 机器人聚合）、标注类型、硬件要求（是否需穿戴设备）、自动化程度、是否需人工指定物体、数据规模。\n\n- **Ego4D [^10]** -> 核心思想：构建全球最大规模策划型自我中心视频库（3.7K 小时，叙述标注）-> 局限：依赖头戴设备采集、非自动生成、无度量 4D 手-物体几何与可执行动作。\n- **EgoDex [^1] / HOT3D [^2] / OakInk2 [^3]** -> 核心思想：以 Vision Pro 追踪或 mocap 提供高质量自我中心/实验室手-物体操作数据（829 hr / 13.9 hr / 6.5 hr）-> 局限：依赖穿戴设备或动捕硬件、受控采集环境，规模与任务多样性受限。\n- **DROID [^13] / Open X-Embodiment [^12]** -> 核心思想：提供机器人可执行动作的真机遥操作/多具身聚合数据（350 hr / 1M+ 轨迹）-> 局限：受硬件、任务设计与采集成本约束，难以扩展到开放世界。\n- **UniHand-Mix [^11]** -> 核心思想：聚合多源手部数据以提升覆盖（1.2K–35K hr）-> 局限：继承异构标注、部分依赖穿戴设备，仍非全自动生成。\n- **EgoInfinity（本文）** -> 核心思想：直接处理互联网视频，全自动提取免穿戴、免 CAD、免人工物体标注的度量 4D 数据（理论上限 127K hr，受 Action100M 约束）-> 唯一同时满足互联网规模 + 无穿戴 + 全自动 + 免人工物体指定 + 机器人可用 4D 输出的方案（Tab. 1）。\n\n#### （b）感知维度的最强基线：EgoGrasp [^38]（并行工作）\n\n- **EgoGrasp** -> 核心思想：在相似的基础模型栈上，从动态自我中心视频重建世界坐标系手-物体交互，并同样利用抓取状态决定何时由手部运动驱动物体位姿（借鉴 Compose [^39] 的信任门控思想）-> 局限：依赖类 SLAM 相机估计恢复世界系、依赖全身 SMPL-X 人体先验、使用学习型扩散先验精化轨迹。\n- **EgoInfinity 的关键差异**（Sec. 2）：① 面向近似静态相机的野外视频，无需在线 SLAM、无需人体模型；② 通过交互状态分类（六态状态机，附录 A.2）与刚性手部绑定（附录 A.4）以**确定性**方式解决抓取状态信任问题，而非学习型先验；③ 以统一度量表示、跨模块标定与自动目标物体发现整合为**语料库级数据引擎**，而非单片段重建系统。\n\n#### （c）重定向维度的基线（Sec. 2 \"Functional Cross-Embodiment Retargeting\"）\n\n- **ManipTrans [^40] / ViviDex [^41]**（灵巧手类）-> 核心思想：从人类视频迁移灵巧双手操作技能 -> 局限：面向特定具身类别，要求演示与目标具身对齐。\n- **EgoMimic [^42] / DemoDiffusion [^43]**（平行夹爪类）-> 核心思想：自我中心视频模仿 / 基于预训练扩散策略的单次人类模仿 -> 局限：依赖完整人体姿态恢复与精确运动学模仿；互联网视频中仅见手部、部分手臂或视角变化时不可靠。\n- **Humanoid Policy~Human Policy [^44]**（人形上半身类）-> 核心思想：人形机器人与人类策略数据联合训练 -> 局限：同样绑定特定具身类别。\n- **EgoInfinity 的差异**：不模仿人体/手臂运动学，而是估计机器人特定根坐标系并保留任务相关手部运动（功能式重定向，Sec. 4），适用于任意视角、人体部分可见的视频。\n\n### 2. 最接近的方法与关键差异\n\n- **EgoGrasp [^38]**（最接近，并行工作）：同为世界系手-物体交互重建、基础模型栈相似、均使用抓取状态门控。关键差异：EgoGrasp = SLAM 式相机估计 + SMPL-X 全身先验 + 扩散先验精化；EgoInfinity = 免 SLAM、免人体模型、确定性交互状态分类 + 刚性手部绑定 + 跨模块度量标定，且定位为可持续升级的语料库级引擎（Sec. 2、Sec. 3.1）。\n- **单片段世界系手-物体恢复系统 [^34][^35][^36][^37]**（HaWoR、3D 手部 Transformer、FoundationPose、WHOLE）-> 核心思想：从自我中心视频恢复世界系手部/物体状态 -> 局限：面向单片段、非流水线化，无跨具身重定向与数据引擎化能力。\n- **动作级方法**（Track2Act [^6]、Any-point Trajectory [^7]、Affordances [^8]、LAPA [^9]）-> 核心思想：从人类视频提取点轨迹/可供性/潜动作作为伪动作监督 -> 局限：停留在 2D 伪动作层面，缺乏度量 3D 几何、6-DoF 物体状态与接触信息，导致执行层面 \"under-grounded\" 或 \"mis-grounded\"（Sec. 1）。EgoInfinity 属于动作级、交互中心路线，但恢复的是度量手-物体结构而非 2D 伪动作。\n\n### 3. 正交方向\n\n- **任务导向方法**：VLM 意图推断（Vlmimic [^14]、Vid2robot [^15]、GPT-4V [^16]）-> 核心思想：用视觉语言模型推断任务意图 -> 局限：不恢复几何。与本文 4D 重建正交，其语义理解可作为互补（本文即复用 Action100M 文本描述作为 SAM-3 检测提示，附录 A.9）。\n- **观察导向方法**：视频翻译（Phantom [^17]、H2R [^18]、Masquerade [^19]）与视觉嵌入预训练（R3M [^20]、VIP [^21]、R3M 类 [^22]、GR-2 [^23]）-> 核心思想：通过像素级翻译或表征学习弥合人-机外观域差 -> 局限：2D 生成式翻译存在像素幻觉风险。EgoInfinity 以 3D 刚性坐标重排（exo-to-ego）替代生成式翻译以保持几何一致性（Sec. 3.4、附录 A.1），二者作用层次不同、可互补。\n- **潜动作建模**：Villa-X [^24]、Unilact [^25] -> 核心思想：在潜空间学习动作表示用于 VLA 预训练 -> 局限：非显式度量表示。与本文显式 4D 表示路线正交。\n- **触觉数据**：TouchAnything [^52] -> 核心思想：从自我中心视频估计双手触觉 -> 与本文互补：EgoInfinity 明确不提供触觉观测，列为局限（Sec. 7）。\n\n### 4. 一句话定位\n\nEgoInfinity 是首个面向近似静态相机互联网视频的全自动语料库级 4D 手-物体交互数据引擎：它以跨模块度量标定与交互感知精化替代 SLAM、人体先验与扩散先验，将野外 RGB 视频提升为免穿戴、免人工标注的度量级 agent-agnostic 4D 表示，并通过功能式跨具身重定向器将同一数据编译为多种机器人可执行轨迹，从而在数据源、感知与重定向三条相关工作轴上同时填补空白（Sec. 1–2、Tab. 1）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题？\n\n### 1. 核心机制概述\n\nEgoInfinity 的解题思路是“**数据引擎而非静态数据集**”：将野外互联网 RGB 视频自动提升为度量化的、与具身无关（agent-agnostic）的 4D 手-物体交互表示，再经功能重定向编译为可执行机器人轨迹（Sec. 1、Sec. 3、Fig. 1）。核心机制由三大支柱构成：\n\n1. **模块化流水线**（Sec. 3.1）：整合手部网格估计、度量几何恢复、相机/重力标定、目标物体发现、物体重建与跟踪、交互感知精化；每个模块可独立替换升级，使引擎持续受益于基础模型进步。\n2. **跨模块度量标定 + 交互感知精化**（Sec. 3.2–3.3）：并非简单串联现成组件，而是通过统一度量尺度、统一相机坐标系、物体侧几何先验与交互状态驱动的位姿源选择，抑制纯视觉重建常见的漂移与接触不一致。\n3. **功能跨具身重定向**（Sec. 4）：不模仿人体/手臂精确运动学，而是估计目标机器人特定的根坐标系（root frame），在机器人运动学约束内保留任务相关手部运动，从而支持任意视角、人体仅部分可见的网络视频。\n\n### 2. 分步拆解\n\n### 阶段一：4D 数据引擎（Sec. 3）\n\n- **Step 1｜两遍扫描**（Sec. 3.1）：Pass 1 轻量时序扫描，依据手部运动统计与相机运动线索筛选可能含有效操作的片段；Pass 2 仅对活跃片段运行完整重建栈。当前设定为近似静态相机的网络视频（教程/how-to 类内容）。\n- **Step 2｜统一度量几何标定**（Sec. 3.2）：MOGE-2 估计相机焦距与全局度量尺度，FLOW3R 预测稠密深度图，GeoCalib 估计重力向量 ^c g，把图像空间的手/物预测抬升到同一标定 3D 空间。\n- **Step 3｜度量 3D 手部跟踪**（Sec. 3.2）：WIOR 从 RGB 帧估计 MANO 参数（姿态 θ_t^h、形状 β_t^h），输出手部网格 {M_t^h}、3D 关键点 {K_t^h} 与全局位姿 ^c p_t^h ∈ SE(3)；infilling 模块补全缺失/不稳定估计。\n- **Step 4｜物体发现、重建与跟踪**（Sec. 3.2）：以视频文本描述为语义提示，SAM-3 检测目标 → SAM-2 全段传播掩码 → 深度反投影得逐帧点云 {P_t^o} → SAM-3D 重建物体网格 M^o → FoundationPose++ 在同一度量系跟踪 6-DoF 位姿 {^c p_t^o}，合成初始 4D 状态 H_t。\n- **Step 5｜交互感知精化**（Sec. 3.3、附录 A）：先由掩码+深度给出初始 6-DoF 提案 p̃_t^o = (R^cano, center(S_t^o ⊙ D_t))；再由 MEMFOF 光流与手部关键点将每帧分类为 s_t ∈ {static, grasped, moving}（内部为六态 σ_t，附录 A.2）；按状态选择位姿源——grasped 物体刚性绑定到手部坐标系 ^c p̂_t^o = ^c p_t^h · T^cano，static 物体锁定到鲁棒点云质心，moving 物体保留提案；最后施加尺度合理性与背景误检两类 sanity 检查（附录 A.8）。\n- **Step 6｜输出清理与 exo-to-ego 重定框**（Sec. 3.4、附录 A.1）：可选掩码腐蚀、深度梯度过滤与统计离群点去除；在近似静态相机假设下，exo-to-ego 转换是对恢复 3D 场景的刚性重定框（虚拟 ego 相机固定偏置于双手中点上方、以重力对齐 up 轴、逐帧跟随交互区域），而非 2D 生成式视频翻译，避免像素幻觉并保持度量几何与接触一致。\n\n### 阶段二：跨具身运动重定向（Sec. 4）\n\n- **Step 7｜等变神经根坐标系估计**（Sec. 4.1、附录 B.1）：网络 Φ 以双手 SE(3) 轨迹与可选重力为输入，预测共享运动学根坐标系 ^c p^r = (^c R^r, ^c t^r)；用 Vector-Neuron 层构造 SE(3) 等变结构（平移等变由双手质心 c 居中获得），以 flow-matching 条件生成建模 p(^c p^r | x)，推理时 20 步 Euler 积分采样多个假设。\n- **Step 8｜机器人特定仿真训练**（Sec. 4.2、附录 B.2）：完全在 MuJoCo 仿真中训练、无真实监督；程序化生成配对手部轨迹与根位姿真值（OU 随机游走控制点 + warm-start IK + 三次样条，T=60 帧 @30fps）；施加跟踪噪声/跳变/遮挡/重力噪声增广，30% 样本丢弃重力以优雅退化。\n- **Step 9｜假设选择与 IK 后优化**（Sec. 4.3、附录 B.3）：滑动窗口采样根坐标系假设 → SE(3) 测地 k-means 聚类（K=5）→ 每个候选经批量 IK 评分（收敛率、残差跟踪误差、可操作度、关节限位裕度、平滑度）选最优锚点 → 关键帧插值（平移 LERP、旋转 SLERP）+ 高斯滤波（σ=10 帧）得平滑逐帧根轨迹 → 逐帧 IK（warm start + 零空间正则）→ 失败帧线性插值填充；灵巧手指关节由 MANO 关键点经几何映射单独重定向，手臂关节跟随腕部 IK 目标。\n\n### 3. 关键公式与模块角色\n\n- **初始 4D 操作状态**（Sec. 3.2）：H_t = {M_t^h, K_t^h, ^c p_t^h, P_t^o, M^o, ^c p_t^o}——统一度量系下手部网格/关键点/位姿与物体点云/网格/6-DoF 位姿的快照，是引擎的核心中间表示与对外输出单元。\n- **初始 6-DoF 提案**（Sec. 3.3）：p̃_t^o = (R^cano, center(S_t^o ⊙ D_t))，保留 SAM-3D 规范朝向 R^cano、由掩码加权反投影深度估计平移。\n- **刚性手部绑定**（Sec. 3.3、附录 A.4）：^c p̂_t^o = ^c p_t^h · T^cano，T^cano = (R_canon, t_canon) 为抓取段内聚合的常值手相对变换——旋转取 SO(3) 弦平均（剔除偏离 30° 的离群帧），平移由掌面几何放置确定（掌内平面对齐质心、厚度极值贴合 y=0 掌面并按左右手手性翻转），使抓取物体与手零相对运动，从机制上消除视觉跟踪漂移。\n- **手部体坐标系**（附录 A.4）：由三个掌部关键点 j_0（腕）、j_5（食指 MCP）、j_17（小指 MCP）叉积构造与手指屈曲无关的 SE(3) 框架（x = j5−j0 归一化，y 由 x×v 得到且 +y 指向掌外），显式处理左右手手性。\n- **六态交互状态机**（附录 A.2）：σ_t ∈ Σ = {STATIC_GLOBAL, STATIC, GRASPED_L, GRASPED_R, GRASPED_BOTH, MOVING}，由全局静态门控（质心 10–90 分位跨度 ≤ 0.02·min(H,W)）、Schmitt 迟滞运动门控（阈值 2/4 px）、逐手抓取信号（2D 掩码重叠 ≥30 px 为主，3D 指尖 6 cm/腕部 5 cm 为备）与形态学闭-删平滑分层指派；状态进一步决定平移与旋转各自的可靠信号源（Tab. 3），GRASPED_BOTH 经两级策略解析为主导手。\n- **SE(3) 等变性**（Sec. 4.1）：G·Φ(x) = Φ(G·x)——输入轨迹被刚体变换或相机系改变时，预测根坐标系相应变换，是跨视角/跨机位泛化的结构保证。\n- **平移恢复参数化**（Sec. 4.1、附录 B.1）：^c t^r = ^c R^r v + c，网络预测根相对偏移 v 而非直接回归相机系平移，保持等变结构一致。\n- **鲁棒统计原语**（附录 A.5）：MAD 离群过滤（3·1.4826·MAD）、SO(3) 弦平均（SVD Procrustes 投影）、Schmitt 迟滞、形态学闭-删算子，被精化各环节复用；全部引擎阈值为固定常数（Tab. 4），非学习得到。\n\n### 4. 流程图\n\nmermaid\nflowchart TD\n V[\"野外互联网 RGB 视频 + Action100M 文本描述\"] --> P1[\"Pass 1: 轻量时序扫描
手部运动统计 + 相机运动线索筛选\"]\n P1 --> P2[\"Pass 2: 完整重建栈（仅活跃片段）\"]\n P2 --> CAL[\"统一度量几何标定
MOGE-2 焦距/尺度 · FLOW3R 稠密深度 · GeoCalib 重力\"]\n CAL --> HAND[\"度量 3D 手部跟踪
WIOR → MANO 参数 → 网格/关键点/位姿 + infilling\"]\n CAL --> OBJ[\"物体发现与跟踪
SAM-3 检测 → SAM-2 掩码传播 → SAM-3D 网格 → FoundationPose++ 6-DoF\"]\n HAND --> H4D[\"初始 4D 状态 H_t\"]\n OBJ --> H4D\n H4D --> STATE[\"交互状态分类
MEMFOF 光流 + 手部关键点 → 六态 σ_t\"]\n STATE -->|grasped| BIND[\"刚性手部绑定
p̂_t^o = p_t^h · T^cano\"]\n STATE -->|static| LOCK[\"锁定鲁棒点云质心\"]\n STATE -->|moving| KEEP[\"保留掩码-深度提案\"]\n BIND --> SAN[\"Sanity 检查
尺度合理性 + 背景误检标记\"]\n LOCK --> SAN\n KEEP --> SAN\n SAN --> EGO[\"输出清理 + exo-to-ego 刚性重定框
虚拟 ego 相机跟随双手中点、重力对齐\"]\n EGO --> PHI[\"根坐标系估计 Φ
VN SE(3)-等变 + flow-matching（MuJoCo 仿真训练）\"]\n PHI --> SEL[\"假设 k-means 聚类 + IK 评分选优
关键帧 LERP/SLERP 插值 + 高斯平滑\"]\n SEL --> IK[\"逐帧 IK（warm start + 零空间正则）
+ 手指几何映射 + 抖动滤波\"]\n IK --> OUT[\"可执行关节轨迹
Unitree G1 / Robonaut2 / 双 Franka FR3 / XLeRobot\"]\n OUT --> RL[\"下游策略学习与真机技能执行
抓取 / 切割 / 擦拭 / 倾倒\"]\n``n\n\n### 5. 机制设计的关键推理链\n\n- **为何需要跨模块标定**：手部与物体预测来自不同模型，天然在尺度与 3D 参考系上不对齐；不标定则手-物关联、接触推理与下游重定向均不可靠（Sec. 3.2）。\n- **为何用交互状态驱动位姿源**：纯视觉跟踪在静态物体上漂移、手部遮挡下失败、弱视觉对应时波动（Sec. 3.3）；按状态确定性选择可信信号（抓取时信手、静态时信质心、运动时信提案）比单一状态盲估计器更物理可靠。\n- **为何功能重定向而非运动学模仿**：网络视频常只含手部/部分手臂、视角多变，精确人体位姿恢复与运动学模仿不可靠（Sec. 2、Sec. 4）；估计可行根坐标系并保留任务相关手部运动，使同一份 4D 数据可编译到多种机器人形态（Sec. 5.3、Fig. 10）。\n- **为何 flow-matching 而非确定性回归**：不同躯干姿态可产生相同手部运动（部分身体观测下尤甚），建模根坐标系分布 p(^c p^r | x) 能覆盖多解假设（Sec. 4.1）。\n- **为何 exo-to-ego 用刚性重定框而非 2D 翻译**：2D 生成式翻译（inpainting/GAN）会引入像素幻觉；在恢复的 3D 空间中重渲染保持度量几何与接触精确一致（Sec. 3.4、附录 A.1）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评估设置\n\n### 1. 数据集与基准清单\n\n| 名称 | 规模 | 场景/用途 |\n|---|---|---|\n| Action100M（原始语料） | 147M 动作片段、约 14.6 年时长（Sec. 1、[^4]）；EgoInfinity 规模上限 127K hr 由其决定，引擎本身与语料无关（Tab. 1 脚注） | 互联网野外操作视频，作为数据引擎的输入语料 |\n| 精选 Action100M 子集 | 106 段已处理操作视频（Sec. 5.2） | 托管于浏览器数据服务器，可搜索、在线处理、可视化与下载（Fig. 3(a)、Fig. 4、附录 C.2） |\n| 对比数据集（Tab. 1） | Ego4D 3.7K hr；EgoDex 829 hr；HOT3D 13.9 hr；OakInk2 6.5 hr；UniHand-Mix 1.2K–35K hr；Open-X 1M+ 轨迹；DROID 350 hr | 用于差异化定位对比：均需穿戴/机器人硬件或人工标注，而 EgoInfinity 免穿戴、全自动、免人工物体标注 |\n| 仿真训练数据（自生成） | 每步 1024 条程序化手部轨迹-根位姿对（MuJoCo + JAX，Sec. 4.2、B.2） | 训练各机器人的根坐标系估计器，零真机监督 |\n| 真机评估平台 | LEAP 灵巧手（抓取策略，Fig. 3(c)、Fig. 12）；双臂 Franka FR3（Cut/Pour Bowl/Pour Glass/Wipe Box/Wipe Computer，Fig. 11）；Unitree G1、Robonaut2、XLeRobot（仿真+真机，Fig. 8、10） | 验证跨具身重定向与真实技能执行 |\n\n### 2. 预处理与划分/覆盖设置\n\n- **两遍处理策略**（Sec. 3.1）：Pass 1 做轻量时序扫描，依据手部运动统计与相机运动线索筛选含手片段；Pass 2 仅对活跃片段运行完整重建栈，保证语料级可扩展性。\n- **适用范围限定**：当前针对近似静态相机的互联网视频（教程/how-to 类内容），排除头戴/手持镜头（Sec. 3.1、Sec. 7）。\n- **语义提示来源**（Sec. A.9）：SAM-3 检测提示直接取自 Action100M 层级标注（短/详细动作描述 + 每片段 caption），物体名词自动提取（如 \"slicing a tomato\" → \"tomato\"），处理时无需额外 VLM；同一标签继承为输出轨迹的语言接地。\n- **固定阈值体系**（Tab. 4）：引擎全部阈值（如全局静态跨度 0.02·min(H,W)、运动 Schmitt 阈值 (2,4) px、抓取掩码重叠 30 px、指尖 6 cm/手腕 5 cm、间隙桥接 30 帧/最短 8 帧等）为开发集上人工选定的固定常数，非学习得到，且在 106 段数据集上保持不变。\n- **数据覆盖统计**（Fig. 4）：88% 片段与 47% 物体被操作，左手/右手/双手抓取分布均衡；统计维度含片段时长、物体类别、高频动作动词与逐帧交互状态分布。\n- **划分说明**：数据引擎面向语料级生产，无传统 train/test 划分；重定向器按目标机器人独立训练，训练数据完全由仿真程序化生成（Sec. 4.2），与视频数据解耦。\n\n### 3. 训练/推理/评估环境\n\n**感知模块配置**（Sec. A.6）：\n\n- MOGE-2（ViT-L, fp16）：逐帧度量深度与焦距；FLOW3R：稠密深度（对静态背景模板做时间对齐）；GEOCALIB：3 帧均匀采样估计重力向量。\n- 手部：YOLO 检测手框与左右手 → WILOR（DINOv2-L, fp16，21 关节/778 顶点 MANO）→ 指尖投影多尺度对齐度量缩放 → 片段级左右手投票 → 约 35M 参数运动填充器 → 四元数空间 Savitzky–Golay 滤波（窗 9、阶 3）。\n- 物体：SAM-3 文本提示检测 + SAM-2 前向/后向流式跟踪（最多 7 物体）；SAM-3D 在每物体最干净无遮挡帧运行一次；FOUNDATIONPOSE++ 跟踪 6-DoF 位姿；MEMFOF（fp16）光流仅用于背景/动态像素分类。\n\n**根坐标系估计器训练**（Sec. B.2、Tab. 6）：\n\n- 硬件：单张 NVIDIA RTX 3060（12 GB）；MuJoCo 仿真 + JAX 加速环境；每机器人约 1.5–2 小时。\n- 超参：500 epochs × 20 步/epoch，batch 1024，Adam lr=1e-3，梯度裁剪 1.0；轨迹 T=60 帧 @30fps（2 秒窗口），N_ctrl=7 个 OU 随机游走控制点（噪声 0.025 m、弹簧 0.05）+ 三次样条插值。\n- 数据增强：位置噪声 σ_p=0.01 m、朝向噪声 ≤0.05 rad、跟踪跳变 p_j=0.20（≤0.15 m）、单臂遮挡 p_o=0.20、重力噪声 ≤0.10 rad、重力丢弃 p_g=0.30、后向相机 p_c=0.15。\n- 模型结构（Tab. 5）：VN 通道宽 d=128、4 头注意力、4 层 VN-Transformer、FFN 512、dropout 0.1；推理时 flow ODE 积分 20 步 Euler。\n\n**推理流程**（Sec. B.3）：滑动窗口生成根帧假设 → SE(3) 测地 k-means 聚成 K=5 候选 → 批量 IK 按双侧收敛率评分选锚点 → 平移/旋转混合（α_t=0.3、α_r=0.7）→ 高斯滤波（σ=10 帧）→ 逐帧 IK（热启动 + 零空间正则），失败帧线性插值填补。\n\n**评估指标**（Tab. 2）：IK 逐帧成功率、手部位置误差（ℓ2, cm）与朝向误差（测地, °）、关节限位最小裕度（rad）、可操作度 √det(JJᵀ)、平滑度（均方关节速度）。结果：Unitree G1（0.821 / 2.86 cm / 6.73°）、Robonaut2（0.774 / 6.67 cm / 8.25°）、双 Franka（0.706 / 10.27 cm / 12.17°）。\n\n### 4. 选择理由与验证目标\n\n- **Action100M 作为语料**：其互联网规模与层级文本标注使\"免穿戴、全自动、免人工物体标注\"的规模化主张可被检验（Tab. 1），且规模上限随语料扩展（引擎与语料无关，Tab. 1 脚注）。\n- **106 段精选子集 + 浏览器数据服务器**（Sec. 5.1、5.2、附录 C.2）：使 4D 输出可直接检查与失败诊断，支撑数据质量论证；但需注意完整托管 URL 因匿名评审暂缓公开，当前公开规模仅为引擎理论上限（127K hr）的极小验证样本（Module A 风险项）。\n- **纯仿真训练**（Sec. 4.2、B.2）：零真机监督即可在消费级 GPU 上以约 2 小时/机器人的成本训练新具身；增强项显式模拟野外重建噪声（跟踪跳变、遮挡、重力缺失），验证估计器对真实数据缺陷的鲁棒性与优雅退化。\n- **三种差异显著具身**（人形 Unitree G1、航天 Robonaut2、双臂 Franka FR3，另含 XLeRobot 展示，Fig. 8、10）：形态差异极大，用于验证功能重定向的跨具身泛化而非单一机器人调优（Sec. 5.3、Tab. 2）。\n- **真机技能验证**（Sec. 5.4、Fig. 11、12）：抓取（LEAP 手，提取手部运动作策略先验、跨物体泛化）与切割/倾倒/擦拭（双臂 Franka 直接重定向执行）共同验证完整 video-to-action 闭环——从野外 RGB 视频到 4D 数据、重定向、下游策略与真实执行。\n- **固定非学习阈值**（Tab. 4）：保证引擎行为可复现、跨片段稳定，符合\"数据引擎\"而非一次性数据集的定位。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：指标与结果\n\n### 1. 评估指标（定义与解释）\n\n### （a）跨具身重定向质量指标（Tab. 2，Sec. 5.3）\n\n- **IK Rate**：逐帧逆运动学（IK）求解成功率，衡量恢复的手部运动在目标机器人运动学约束下的可达比例。\n- **Pos. Error**：IK 目标与实际达成手部位姿之间的平均位置误差（ℓ2 距离，单位 cm）。\n- **Ori. Error**：IK 目标与实际姿态之间的平均方向误差（测地线距离，单位 °）。\n- **Jnt.-Limit Margin**：平均最小关节间隙（rad），反映轨迹离关节限位的安全裕度，越大越安全。\n- **Manipulability**：平均可操作度指标 √det(JJᵀ)，衡量机械臂在该位形下的灵巧操作能力。\n- **Smoothness**：平均关节速度平方 q̇²，数值越小轨迹越平滑。\n\n### （b）数据集统计指标（Fig. 4，Sec. 5.2）\n\n- 片段时长分布、物体类别构成、高频动作动词、逐帧交互状态分布；以及\"被操作片段比例\"与\"被操作物体比例\"。\n\n### （c）数据规模与属性对比维度（Tab. 1）\n\n- 数据来源、标注类型、是否需要穿戴设备、是否全自动生成、是否需人工指定物体、数据规模（小时数/轨迹数）。\n\n## （d）真机功能验证（定性，Sec. 5.4、Fig. 3(c)(d)、Fig. 11–12）\n\n- 技能是否可执行（Cut、Pour、Wipe）、抓取策略跨物体泛化（apple / banana / tomato can 各 3 次 rollout）。\n\n### 2. 主要结果（具体数字）\n\n## （a）三种具身的重定向量化结果（Tab. 2）\n\n| 机器人 | IK Rate | Pos. Error | Ori. Error | Jnt.-Limit Margin | Manipulability | Smoothness |\n|---|---|---|---|---|---|---|\n| Unitree G1 | 0.821 | 2.86 cm | 6.73° | 0.619 rad | 0.012 | 0.00693 |\n| Robonaut2 | 0.774 | 6.67 cm | 8.25° | 0.134 rad | 0.058 | 0.00343 |\n| Dual-Franka | 0.706 | 10.27 cm | 12.17° | 0.572 rad | 0.080 | 0.00582 |\n\n解读（Sec. 5.3）：类人形 Unitree G1 的 IK 成功率最高（0.821）且位置误差最小（2.86 cm），符合其与人手工作空间最接近的先验；双 Franka FR3 平台因双臂基座分离、工作空间约束更严格，误差最大（10.27 cm / 12.17°）但可操作度最高（0.080）。三种差异巨大的具身均取得 0.7 以上的 IK 成功率，支持\"agent-agnostic 4D 表示 + 功能性重定向\"的核心主张。\n\n## （b）精选数据集统计（Sec. 5.2、Fig. 4）\n\n- 从 Action100M 精选并完整处理 **106 段**操作视频，托管于浏览器端数据服务器（Sec. 5.1）。\n- **88% 的片段**与 **47% 的物体**被实际操作；左手、右手与双手抓取使用均衡（Fig. 4(d)）。\n- 引擎可处理规模上限为 Action100M 的 **127K 小时**（14.6 年素材、147M 动作片段，Sec. 1、Tab. 1 脚注），当前公开验证仅限 106 段精选视频。\n\n## （c）真机技能习得与执行（Sec. 5.4、Fig. 3(c)(d)、Fig. 11–12）\n\n- 以提取的手部运动为先验，在真实 **LEAP 灵巧手**上训练抓取策略，成功抓取 apple、banana、tomato can 等不同形状物体，每类 3 次 rollout（Fig. 12）。\n- 将恢复的运动直接重定向到真实**双臂 Franka FR3**，功能性地执行 Cut、Pour Bowl、Pour Glass、Wipe Box、Wipe Computer 五项技能（Fig. 11）。\n- 端到端流水线在 **10 段**采样片段上验证：单条 4D 轨迹可编译到 dual-Franka FR3、Unitree G1、Robonaut2、XLeRobot 四种仿真具身并迁移到两类真机（Fig. 10）。\n\n## （d）训练成本（Tab. 6，附录 B.2）\n\n- 每个机器人的根坐标系估计器仅需单张 RTX 3060（12 GB）训练约 **1.5–2 小时**（500 epochs、batch 1024、JAX 仿真在线生成轨迹），跨具身扩展成本低。\n\n### 3. 与基线/代表性先前工作的比较\n\n**（a）数据源层面的特征对比（Tab. 1）**——注意：这是属性级对比，而非共享基准上的量化对比。\n\n| 数据集 | 来源 | 规模 | 穿戴需求 | 自动生成 | 人工物体标注 |\n|---|---|---|---|---|---|\n| Ego4D | curated | 3.7K hr | headset | ✗ | ✗ |\n| EgoDex | curated | 829 hr | Vision Pro | ✗ | ✗ |\n| HOT3D | curated | 13.9 hr | mocap | ✗ | ✗ |\n| OakInk2 | curated | 6.5 hr | mocap | ✗ | ✗ |\n| UniHand-Mix | aggregated | 1.2K–35K hr | partial | ✗ | ✗ |\n| Open-X | robot agg. | 1M+ traj | robot | ✗ | ✗ |\n| DROID | teleop | 350 hr | robot | ✗ | ✗ |\n| **EgoInfinity** | **internet** | **127K hr†** | **无** | **全自动** | **无** |\n\n† 规模受 Action100M 限制，引擎本身与语料无关（Tab. 1 脚注）。EgoInfinity 是表中唯一同时满足\"互联网规模 + 免穿戴 + 全自动 + 免人工物体标注 + 机器人可用 4D 输出\"的方案。\n\n## （b）与最相关的并行工作 EgoGrasp [^38] 的对比（Sec. 2）\n\n- 相同点：同样基于基础模型栈从动态第一视角视频重建世界系手-物体交互，同样利用抓取状态决定何时由手部运动驱动物体位姿。\n- 差异：EgoGrasp 依赖类 SLAM 相机估计、完整人体 SMPL-X 先验与学习式扩散先验精化；EgoInfinity 面向近似静态相机的野外视频，不使用在线 SLAM 或人体模型，通过交互状态分类 + 刚性手部绑定**确定性**地解决抓取状态信任问题，并作为语料级数据引擎集成统一表示、跨模块标定与自动目标物体发现。\n\n## （c）与 2D 伪动作方法的对比（Sec. 1–2）\n\n- Track2Act [^6]、ATM [^7] 等动作导向方法输出 2D 点轨迹/潜在动作，落地时存在\"欠接地或误接地\"问题；EgoInfinity 恢复度量 3D 手-物体结构（手部 SE(3) 轨迹、6-DoF 物体位姿、接触状态），物理接地更直接。\n\n**（d）比较的局限**：论文未在共享感知基准（如 HOI 重建基准）上与 EgoGrasp / HaWoR [^34] 等做定量对比；感知保真度验证以定性展示为主（Fig. 3、Fig. 5），量化结果集中在重定向环节（Tab. 2）。\n\n### 4. 消融、敏感性与跨论文差异综合\n\n## （a）无正式消融表，但存在设计级对照证据\n\n- **交互感知精化 vs 纯视觉跟踪**（Sec. 3.3、Tab. 3、附录 A.2）：纯视觉跟踪在静态物体漂移、手部遮挡、弱视觉对应下不稳定；六态状态机（STATIC_GLOBAL / STATIC / GRASPED_L / GRASPED_R / GRASPED_BOTH / MOVING）按状态选择平移/旋转信号源（GRASPED 用刚性手部绑定、STATIC 锁定鲁棒质心、MOVING 用掩码 bbox 反投影），从机制上抑制漂移与接触不一致——这是论文声称的核心改进，但未给出\"关闭精化\"的量化对照。\n- **Flow-matching vs 确定性回归**（Sec. 4.1）：根坐标系预测建模 p(ᶜpʳ|x) 的分布，可捕获\"不同躯干姿态产生相同手部运动\"的多模态性；推理时 20 步 Euler 积分采样多假设，再经 k-means（K=5）聚类与 IK 收敛率打分选择（附录 B.3）。\n- **假设融合敏感性**（附录 B.3）：锚点混合系数 αt=0.3（平移）、αr=0.7（旋转），配合 σ=10 帧高斯滤波，在全局稳定性与时变根帧之间折中。\n\n**（b）训练增强的鲁棒性设计（Tab. 6）**：位置噪声 σp=0.01 m、姿态噪声 ≤0.05 rad、跟踪跳变 p=0.20（幅度 ≤0.15 m）、单臂遮挡 p=0.20、重力噪声 ≤0.10 rad、重力丢弃 p=0.30、背面相机 p=0.15——模拟野外重建误差，使模型在重力缺失时优雅退化。\n\n**（c）阈值敏感性（Tab. 4、Sec. A.8）**：引擎全部阈值为固定常数（开发集人工设定、非学习），如全局静态门限 0.02·min(H,W)、Schmitt 迟滞 (2,4) px、抓取 2D 重叠 30 px / 指尖 6 cm / 腕部 5 cm、尺度合理性 1.8×；论文未报告对这些常数的敏感性分析，跨语料迁移时的鲁棒性未知。\n\n**（d）失败模式与适用边界（Sec. 7、Sec. C.1）**：严重手部遮挡或手完全包裹物体时点云\"排空\"、网格不完整；反光/透明表面深度噪声大；SAM-3D 网格错误或 SAM-3 误分割导致几何错误；近似静态相机假设排除头戴/手持素材；无触觉观测；重定向器需按机器人重训。\n\n**（e）跨论文综合**：与 Ego4D/EgoDex 等依赖受控采集的数据集相比，EgoInfinity 以\"自动化规模\"换取\"标注精度\"——127K 小时是引擎理论上限而非已验证产出（已验证仅 106 段）；与 EgoGrasp 相比，牺牲了全身先验与扩散精化的精度潜力，换取免 SLAM、免人体模型、确定性状态信任的语料级可扩展性。真机端到端成功（Fig. 10–12）是其区别于多数纯感知工作的最强证据，但缺少与基线在统一协议下的定量对照是当前评估的主要短板。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：后续可探索方向\n\n### 1. 浅层概览：论文自身指出的延伸空间\n\n- 论文在 Sec. 7 明确列出四项局限：近似静态相机假设、缺乏接触级物理对齐精度、无触觉观测、重定向器需按机器人重训。这些局限直接构成后续研究的自然入口。\n- 模块化架构（Sec. 3.1）本身被设计为\"可持续升级\"：作者在 Sec. 3.1 与 Sec. 7 均暗示，随着 SLAM 感知深度模型成熟，可直接替换几何模块以放宽静态相机假设。\n\n### 2. 中层分析：三大方向的候选课题\n\n#### 2.1 理论方向\n\n- **接触级物理一致性建模**：当前交互感知精化（Sec. 3.3、附录 A.3–A.4）仅提供粗粒度抓取检测与刚性手部绑定，不保证精确指尖位置、力一致性与无滑移约束（Sec. 7）。可探索将物理仿真中的接触动力学（如 MuJoCo，Sec. 4.2 已用于训练根坐标系估计器）引入重建后处理，或学习\"视觉→接触力/滑移\"映射，使 4D 表示具备力级语义。\n- **概率化交互状态推断**：当前六态状态机（附录 A.2）基于固定阈值（Tab. 4）确定性判定；可研究带不确定度的可学习状态推断，将阈值规则替换为贝叶斯/生成式模型，并量化状态误判向下游位姿精度的传播。\n- **功能重定向的形式化保证**：根坐标系估计（Sec. 4.1）目前依赖 flow-matching 采样 + IK 评分的启发式选择（附录 B.3）；可研究\"任务相关手部运动保持\"的形式化定义、最优根坐标系的存在性/唯一性条件，以及重定向误差界。\n- **等变架构的推广**：VN-SE(3) 等变网络（Sec. 4.1、附录 B.1）在静态相机假设下训练；理论上可扩展到时变相机外参下的等变性，统一处理运动相机输入。\n\n#### 2.2 工程方向\n\n- **放宽静态相机假设**：接入 SLAM 感知的深度/位姿模块（Sec. 7 明确提出），使引擎支持头戴、手持等动态视角视频，扩大语料覆盖面。\n- **触觉通道集成**：Sec. 7 指出缺少触觉观测并引用触觉估计工作 [^52]（TouchAnything）；可在引擎输出中附加估计的触觉/力信号，服务精细接触推理。\n- **跨机器人统一重定向器**：当前每个机器人需独立训练约 1.5–2 小时（附录 B.2、Tab. 6）；可探索以机器人形态嵌入（morphology embedding）为条件的单一多具身模型，实现新机器人零训练/少样本适配。\n- **规模化与鲁棒性工程**：将两遍扫描策略（Sec. 3.1）扩展为分布式流水线以处理 Action100M 全量 127K 小时；针对附录 C.1 列出的失效模式（反光/透明表面深度噪声、手部完全包裹物体导致点云流失、SAM-3 分割错误）增加针对性检测与修复模块。\n- **实时/流式处理**：当前为离线批处理；面向机器人在线学习可研究流式增量重建与在线重定向。\n\n#### 2.3 数据与评测方向\n\n- **规模化质量验证**：当前公开数据仅 106 段精选视频（Sec. 5.2、Tab. 1 脚注），127K 小时为引擎理论上限；需在全量语料上系统评测数据质量分布、失败率与下游可用率。\n- **下游策略学习基准**：Sec. 5.4 仅展示抓取策略先验（LEAP 手，Fig. 3(c)、Fig. 12）与切割/倾倒/擦拭直接重放（Fig. 3(d)、Fig. 11）；可建立标准化基准，系统对比 EgoInfinity 数据与遥操作数据（DROID、Open-X）训练策略的成功率与泛化性。\n- **接触精度评测协议**：现有评测覆盖感知保真度与 IK 可行性（Tab. 2），但缺少接触级精度（指尖位置、滑移、力一致性）的量化指标；可借助带真值力/接触传感的采集子集建立评测集。\n- **与同期系统对比**：Sec. 2 提到并行的 EgoGrasp [^38] 等单片段系统；可在统一基准上对比数据引擎与单片段方法在精度-规模权衡上的表现。\n- **多模态语言接地扩展**：Action100M 文本标注已直接用作语义提示（附录 A.9）；可进一步构建\"视频-4D 数据-语言指令\"三元组，服务 VLA 预训练与多模态接地（Sec. 6 亦提及 HRI 与多模态方向）。\n\n### 3. 深层分析：优先级与可行性判断\n\n- **最高优先级（短期可行）**：跨机器人统一重定向器与 SLAM 模块接入——两者均不改变引擎整体架构，且模块化设计（Sec. 3.1）明确支持组件替换；重定向器训练成本数据（Tab. 6：单卡 RTX 3060、约 1.5–2 小时/机器人）表明统一模型的算力门槛很低。\n- **中等优先级（中期）**：接触级物理一致性与触觉集成——需要新的理论工具与传感数据支撑，但对精细操作任务价值最大（Sec. 7 明确指出当前方法不足以支撑需要精确手姿、精确接触时序或触觉反馈的任务）。\n- **长期方向**：全量语料验证与标准化基准建设——依赖社区协作与算力投入，但决定\"视频→动作\"范式能否真正替代实验室采集数据。\n- **风险提示**：论文未公开独立代码仓库，完整数据集 URL 因匿名评审暂缓公开（附录 C.2；Module A 已核验）；第三方扩展应优先依据 Tab. 4–6 的参数配置与项目页面验证引擎核心模块的可复现性，再进行模块替换或功能扩展。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界落地形态分析\n\n### 1. 浅层理解：落地形态概览\n\nEgoInfinity 在真实世界中的落地形态是“离线数据引擎 + 浏览器端数据服务器 + 机器人专用重定向器”三件套：\n\n- **数据引擎**：离线批量处理互联网 RGB 视频，产出度量 4D 手-物体交互数据（手部轨迹、6-DoF 物体位姿、接触相关状态）（Sec. 3、Fig. 1）；\n- **数据服务器**：支持自然语言搜索、在线处理、中间/最终结果可视化与下载，完全在浏览器端运行、无运行时后端（Sec. 5.1、Sec. C.2、Fig. 9）；\n- **重定向器**：按机器人形态分别训练的轻量网络，将 4D 手部运动编译为可执行关节轨迹（Sec. 4、Fig. 2）。\n\n典型用户路径：数据集构建者批量生产数据 → 研究者经浏览器检查/筛选/诊断 → 重定向器编译到目标机器人 → 真机执行或策略训练（Fig. 3、Fig. 10–12）。\n\n### 2. 部署约束\n\n- **输入域约束（最关键）**：当前仅支持“近似静态相机”视频，排除头戴/手持动态视角素材（Sec. 7、Sec. 3.1）；这是为避免在线 SLAM 的工程取舍，限制了语料多样性。\n- **语义标注依赖**：SAM-3 检测的文本提示直接取自 Action100M 的层级标注（短/详细动作描述与字幕），处理时无需额外 VLM，但要求语料自带语义标注（Sec. A.9）；无标注的原始语料需补提示生成环节。\n- **无触觉观测**：输出不含触觉信息，细粒度接触推理受限（Sec. 7）。\n- **接触精度受限**：交互感知精化仅提供粗粒度抓取检测与手-物体空间关联，不保证指尖精确放置、力一致性或无滑移约束（Sec. 7）。\n- **重定向器按机器人绑定**：每个新机器人需重新训练或标定（Sec. 7）；定位为功能迁移而非精细运动学模仿，对需要精确手部姿态、精确接触时序或高灵巧度的任务不足（Sec. 7）。\n- **规模边界**：当前规模受 Action100M 限制（127K 小时为理论上限），引擎本身与语料无关（Tab. 1 脚注）。\n- **匿名期限制**：完整数据托管 URL 因匿名评审暂缓公开（Sec. C.2），影响第三方即时复用。\n\n### 3. 计算/延迟影响\n\n**引擎侧（离线批处理，延迟不敏感）**：\n\n- 两遍策略控制成本：Pass 1 轻量时序扫描筛选含手片段，Pass 2 仅对活跃片段运行完整重建栈（Sec. 3.1）；\n- 感知模块普遍采用 fp16 推理：MOGE-2（ViT-L）、WILOR（DINOv2-L）、MEMFOF（Sec. A.6）；\n- 稀疏化调用：GeoCalib 仅在 3 帧均匀采样运行；SAM-3D 每物体只在最干净的无遮挡帧运行一次（Sec. A.6）；\n- 光流（MEMFOF）仅用于分类静态背景/动态像素以构建深度模板，物体位姿本身几何驱动、不消耗光流（Sec. A.6）。\n\n**重定向器侧（轻量，可按需重训）**：\n\n- 训练成本极低：单张 NVIDIA RTX 3060（12 GB），每机器人约 1.5–2 小时、500 epochs、batch 1024（Sec. B.2、Tab. 6）；\n- 推理成本：flow-matching 需 20 步 Euler 积分（Tab. 5）；滑窗推理步长可调，以权衡时间分辨率与计算量（Sec. B.3）；\n- 候选评分需对全轨迹运行批量 IK（K=5 个候选，Sec. B.3），是推理阶段主要开销。\n\n**服务侧（零后端）**：数据浏览器用 Viser 离线序列化场景并编译为自包含客户端，页面完全在浏览器运行、无运行时后端（Sec. C.2），部署成本几乎为零。\n\n### 4. 鲁棒性与安全性\n\n- **面向野外噪声的训练增强**（Sec. B.2、Tab. 6）：位置噪声 σ=0.01 m、朝向噪声 ≤0.05 rad、跟踪跳变（p=0.20，幅度 ≤0.15 m）、单手遮挡（p=0.20）、重力噪声 ≤0.10 rad、重力丢失（p=0.30）、背面相机（p=0.15）——使根坐标系估计器对重建误差、跟踪失败、部分观测与重力缺失优雅退化。\n- **引擎级鲁棒统计原语**（Sec. A.5）：MAD 离群滤波、SO(3) 弦均值、Schmitt 触发器滞回（防阈值附近抖动）、形态学闭运算（桥接 ≤30 帧、删除 <8 帧短 run）。\n- **手部估计稳定性**（Sec. A.6）：clip 级左右手投票去除标签翻转、约 35M 参数运动填充器补全缺失帧、生物力学 swing-twist 限位、四元数域 Savitzky-Golay 滤波去抖。\n- **合理性检查**（Sec. A.8）：尺度检查（SAM-3D 单目尺度偶发偏差 2–5×，超过 mask 隐含尺寸 1.8× 即覆盖）；伪目标标记（距所有手部活动 >0.5 m 且 2D 位移 <10 px 的物体被调暗而非删除，去留交由下游决定）。\n- **已知失效模式**（Sec. C.1、Fig. 5）：严重手部遮挡或手完全包裹物体时点云被抽空、网格不完整；反光/透明表面深度噪声大；SAM-3D 网格错误或 SAM-3 分割错误导致几何错误。\n- **真机安全考量**：重定向轨迹经 IK 失败帧插值填充与均匀滤波去抖后，直接在真机开环回放（Cut/Pour/Wipe，Fig. 11）；由于无接触级精度保证与力反馈，开环回放对脆弱物体、近人场景存在固有风险，实际部署需使用方自行补齐外层安全监控（碰撞检测、力限制），论文未提供该层。\n- **IK 失败兜底**（Sec. 4.3、Tab. 2、Sec. B.3）：候选按 IK 收敛率、残差跟踪误差、可操作度、关节限位裕量与平滑度评分择优；失败帧由邻域收敛解线性插值填充。\n\n### 5. 可维护性\n\n- **模块化可替换**：引擎为组件可替换流水线，各模块可随更强的 foundation/几何模型独立升级（Sec. 3.1、Sec. 1）；作者明确指出随 SLAM 感知深度模型成熟，可纳入更强几何模块以放松静态相机假设（Sec. 7）。\n- **参数治理清晰**：全部非学习阈值固定为常数、集中列于 Tab. 4，在 106 段数据集上保持不变，便于审计与迁移调参。\n- **重定向器维护成本低**：每机器人约 1.5–2 小时训练（Tab. 6），新形态适配成本主要是仿真环境搭建（MuJoCo 程序化轨迹生成，Sec. 4.2）而非真实数据采集。\n- **可诊断性**：浏览器服务器暴露中间结果（原始视频、SAM-2 mask、深度、光流）与逐帧 contact/motion/trust 信号（Sec. 5.1、Sec. C.2），支持失败诊断与交互式数据筛选。\n- **升级路径的隐含风险**：模块替换可能改变输出分布（如更换深度模型会改变度量尺度基准），跨模块标定（Sec. 3.2）需重新验证；固定阈值（Tab. 4）在语料分布漂移时可能失效，需重新人工检查。\n\n### 6. 落地结论\n\n- **适合**：数据集构建机构做离线批量数据生产；自带语义标注的大规模视频语料；近似固定机位的教程/how-to 类操作内容。\n- **不适合/需改造**：头戴/手持动态视角素材（需 SLAM 模块升级）、需要接触级精度与力反馈的精细操作任务、无语义标注的原始语料（需补 VLM 提示生成）。\n- **总体评价**：工程友好度高——重定向器训练成本极低、浏览器端零后端部署、参数集中可审计；但真机部署的安全外层（碰撞监控、力限制）与跨模块升级后的一致性重验证需使用方自行承担。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落\n\nEgoInfinity 是一个将互联网野外 RGB 视频全自动转换为可执行机器人训练数据的通用 4D 手-物体交互数据引擎，而非静态数据集（Sec. 1、Fig. 1）。引擎以模块化流水线整合手部网格估计（WILOR/MANO）、单目度量几何（MOGE-2、FLOW3R）、重力与相机标定（GeoCalib）、目标物体自动发现与分割（SAM-3/SAM-2）、物体重建（SAM-3D）与 6-DoF 跟踪（FoundationPose++），各模块可随基础模型进步独立升级（Sec. 3.1–3.2）。其关键并非简单拼接现成组件，而是通过统一度量相机坐标系与跨模块标定来抑制纯视觉重建常见的漂移与接触不一致（Sec. 3.2–3.3）。交互感知精化阶段将每帧物体分类为 static/grasped/moving（内部为六态状态机），抓握物体被刚性绑定到手部坐标系、静态物体锁定到鲁棒点云质心，从而获得物理上更可靠的度量 4D 表示（Sec. 3.3、附录 A.2–A.4）。在动作编译侧，论文提出功能性跨具身重定向器：以 Vector-Neuron SE(3) 等变网络结合 flow-matching 估计机器人特定根坐标系，再经 IK 与后优化生成可执行关节轨迹，适用于任意视角、人体仅部分可见的网络视频（Sec. 4、Fig. 2）。根坐标估计器完全在 MuJoCo 仿真中训练，配合跟踪噪声、遮挡与重力缺失等数据增广，无需任何真实世界监督（Sec. 4.2、附录 B、Tab. 6）。实验从感知保真度、运动学可行性、跨具身泛化（Unitree G1、Robonaut2、双 Franka FR3）与真机技能习得（抓取、切割、擦拭、倾倒）四个维度，验证了从网络视频到可执行机器人行为的完整链路（Sec. 5、Tab. 2、Fig. 3、Fig. 10–12）。\n\n### 2. 五条核心要点\n\n1. **数据引擎而非静态数据集**：EgoInfinity 定位为可持续升级的模块化 4D 数据引擎，输出度量化的手部轨迹、6-DoF 物体位姿与接触相关状态，无需穿戴设备、深度传感器、CAD 模型或人工物体标注；规模上限受 Action100M（127K 小时）约束，而引擎本身与语料无关（Sec. 1、Tab. 1 及脚注）。\n2. **跨模块标定 + 交互感知精化是物理可靠性的核心**：统一度量相机系（MOGE-2/FLOW3R/GeoCalib）与六态状态机驱动的刚性手部绑定，使抓握物体与手零相对运动、静态物体锁定鲁棒质心，从机制上抑制视觉跟踪漂移（Sec. 3.2–3.3、附录 A、Tab. 3、Tab. 4）。\n3. **功能性跨具身重定向**：不模仿人体精确运动学，而是估计机器人特定根坐标系并保留任务相关手部运动，使同一份 4D 数据可编译到 Unitree G1、Robonaut2、双 Franka FR3 等差异显著的形态（Sec. 4、Fig. 2、Tab. 2）。\n4. **全仿真训练、低成本可扩展**：根坐标估计器仅在 MuJoCo 中以程序化轨迹训练（VN 等变 + flow-matching，推理 20 步 Euler 采样），单机器人约 1.5–2 小时（单张 RTX 3060），并通过跟踪跳变、遮挡、重力缺失等增广保证野外鲁棒性（Sec. 4.2、附录 B、Tab. 5–6）。\n5. **端到端真机验证闭环**：从 106 段精选 Action100M 视频（88% 片段含物体被操作，Fig. 4）到三种具身的 IK 指标（Tab. 2），再到 LEAP 灵巧手抓取策略与双臂 Franka FR3 的 Cut/Pour/Wipe 真机执行，打通视频→4D 数据→机器人动作全链路（Sec. 5.2–5.4、Fig. 10–12）。\n\n### 3. 核心公式/机制\n\n**交互感知的刚性手部绑定**（Sec. 3.3、附录 A.4）：\n\n$$\n{}^{c}\\hat{\\mathbf{p}}_t^o = {}^{c}\\mathbf{p}_t^h \\cdot \\mathbf{T}^{\\text{cano}}, \\qquad \\mathbf{T}^{\\text{cano}} = (\\mathbf{R}_{\\text{canon}}, \\mathbf{t}_{\\text{canon}})\n$$\n\n其中 ${}^{c}\\mathbf{p}_t^h \\in SE(3)$ 为由掌部三个 landmark（腕 $\\mathbf{j}_0$、食指 MCP $\\mathbf{j}_5$、小指 MCP $\\mathbf{j}_{17}$）构建的关节不变手部坐标系；$\\mathbf{R}_{\\text{canon}}$ 为抓握段内剔除离群后的 SO(3) 弦平均，$\\mathbf{t}_{\\text{canon}}$ 由网格-掌面几何放置确定。该常量手部相对变换使抓握物体与手部零相对运动，从机制上消除纯视觉跟踪的漂移与接触不一致；配套的等变约束 $G\\cdot\\Phi(\\mathbf{x})=\\Phi(G\\cdot\\mathbf{x})$（Sec. 4.1）则保证根坐标估计对相机/场景的刚体变换保持一致。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 论文结构树\n\n``nEgoInfinity\n├── 1 引言（动机：互联网视频→可执行机器人数据；三大贡献：自动化引擎 / 跨模块标定与交互感知精化 / 跨具身重定向器）\n├── 2 相关工作\n│ ├── 机器人可用操作数据源（Tab. 1：Ego4D/EgoDex/HOT3D/OakInk2/UniHand-Mix/Open-X/DROID 对比）\n│ ├── 人类视频→4D 操作数据（任务/观测/动作三分类；与并发 EgoGrasp 的差异：无 SLAM、无 SMPL-X、确定性抓取信任）\n│ └── 功能性跨具身重定向（灵巧手/平行夹爪/人形上半身方法在任意视角视频上的局限）\n├── 3 EgoInfinity 数据引擎\n│ ├── 3.1 模块化流水线架构（两遍策略：Pass 1 轻量筛选 / Pass 2 完整重建）\n│ ├── 3.2 度量标定的手-物体跟踪\n│ │ ├── 统一度量几何（MOGE-2 焦距与全局尺度、FLOW3R 稠密深度、GeoCalib 重力）\n│ │ ├── 度量 3D 手部跟踪（WIOR→MANO 参数 θ/β；运动补全器）\n│ │ └── 物体发现/重建/跟踪（SAM-3 检测、SAM-2 掩码传播、SAM-3D 网格、FoundationPose++ 6-DoF）\n│ ├── 3.3 交互感知精化（三态分类 static/grasped/moving；刚性手部绑定；sanity 检查）\n│ └── 3.4 输出清理与坐标重定框（exo-to-ego 刚性重定框，非 2D 生成式翻译）\n├── 4 跨具身机器人运动重定向\n│ ├── 4.1 运动学根坐标系的等变神经估计（VN SE(3) 等变架构 + flow-matching，20 步 Euler）\n│ ├── 4.2 机器人特定模型训练（MuJoCo 仿真、OU 随机游走轨迹、增广策略）\n│ └── 4.3 轨迹后处理与重定向（假设聚类、IK 评分选择、平滑与手指重定向）\n├── 5 实验与验证\n│ ├── 5.1 浏览器端数据服务器（Fig. 3a）\n│ ├── 5.2 精选 Action100M 数据集（106 段视频；Fig. 4 统计）\n│ ├── 5.3 跨具身运动重定向（Tab. 2：Unitree G1 / Robonaut2 / 双 Franka FR3）\n│ └── 5.4 真机重定向与技能学习（LEAP 抓取策略；Franka 切/倒/擦）\n├── 6 结论\n├── 7 局限（近似静态相机假设、无接触级精度、无触觉、重定向器需按机器人重训）\n└── 附录\n ├── A 数据引擎实现（A.1 自我中心视角合成；A.2 六态状态机；A.3 状态相关位姿源 Tab. 3；A.4 刚性手部绑定；A.5 鲁棒统计原语；A.6 感知模块配置；A.7 坐标约定；A.8 sanity 过滤；A.9 参数汇总 Tab. 4）\n ├── B 重定向器实现（B.1 架构 Fig. 7 / Tab. 5；B.2 训练配置 Tab. 6；B.3 滑窗推理与优化）\n └── C 附加结果（Fig. 5 精选重建；Fig. 9 浏览器；Fig. 10 端到端流水线；Fig. 11 真机技能；Fig. 12 抓取策略）\n``n\n\n### 2. 系统与方法分解\n\n#### 2.1 输入与输出\n\n- **输入**：野外互联网 RGB 视频（近似静态相机，如教程/how-to 类内容，Sec. 3.1）+ 语义文本描述（直接取自 Action100M 层级标注，无需额外 VLM，Sec. A.9）。\n- **输出**（Sec. 3 开头）：度量手部状态（MANO 网格、21 关键点、SE(3) 全局位姿）、物体点云与网格、6-DoF 物体位姿轨迹、接触相关状态、坐标重定框（自我中心视角）输出；下游经重定向器编译为可执行关节轨迹。\n\n#### 2.2 数据引擎模块（Sec. 3 + 附录 A）\n\n1. **两遍策略**（Sec. 3.1）：Pass 1 轻量时序扫描，用手部运动统计与相机运动线索筛选含操作片段；Pass 2 仅对活跃片段运行完整重建栈，保证语料级可扩展性。\n2. **统一度量标定**（Sec. 3.2）：MOGE-2（ViT-L, fp16）估计焦距与全局度量尺度；FLOW3R 预测稠密深度（经静态背景模板逐像素中值做时序对齐，Sec. A.6）；GeoCalib 在 3 个均匀分布帧上估计重力向量 ^c g。三者将图像空间预测抬升到同一标定 3D 空间。\n3. **手部跟踪**：YOLO 手部检测（含左右手判定）→ WIOR（DINOv2-L）输出 MANO 参数 → 指尖投影对深度图 D_t 多尺度对齐恢复度量根平移 → 约 35M 参数运动补全器填充缺失帧 → 生物力学 swing-twist 限位 → 四元数空间 Savitzky-Golay（窗 9 阶 3）去抖（Sec. A.6）。\n4. **物体发现/重建/跟踪**：视频描述作为语义 prompt → SAM-3 检测（prompt-aware NMS + 包含合并，最多 7 个物体）→ SAM-2 前后向流式传播掩码 → 深度反投影得逐帧点云 → SAM-3D 在最干净无遮挡帧重建网格（含规范朝向 R^cano 与度量尺度 s_o）→ FoundationPose++ 在同一度量系跟踪 6-DoF 位姿。初始 4D 状态为 H_t = {M_t^h, K_t^h, ^c p_t^h, P_t^o, M^o, ^c p_t^o}（Sec. 3.2 公式）。\n5. **交互感知精化**（Sec. 3.3 + 附录 A）：\n - 初始 6-DoF 提案 p̃_t^o = (R^cano, center(S_t^o ⊙ D_t))；\n - **六态状态机**（Sec. A.2）：σ_t ∈ {STATIC_GLOBAL, STATIC, GRASPED_L, GRASPED_R, GRASPED_BOTH, MOVING}。全局静态门（掩码质心 10–90 百分位跨度 ≤ 0.02·min(H,W) 短路整段）、Schmitt 触发运动门（2/4 px 滞回防抖）、逐手抓取信号（2D 掩码重叠 ≥30 px 为主——对单目深度噪声免疫；3D 指尖 6 cm / 手腕 5 cm 为备）、形态学 close-and-drop 平滑（桥 30 帧 ≈2 s / 最短 run 8 帧 ≈0.5 s）；GRASPED_BOTH 经两级策略解析主导手；\n - **状态相关位姿源**（Tab. 3）：静态→鲁棒点云质心（MAD 过滤后内点均值）+ SAM-3D 规范朝向；移动→腐蚀掩码 bbox 中心反投影（Gaussian σ=2 帧）+ 逐帧 PCA 符号校正；抓取→刚性手部绑定 ^c p̂_t^o = ^c p_t^h · T^cano；\n - **刚性手部绑定**（Sec. A.4）：掌根三 landmark（j0, j5, j17）构建关节不变的 SE(3) 手部体坐标系（+y 出掌面，左右手手性显式处理）；段内 chordal mean（SO(3) SVD Procrustes，30° 离群拒绝）得 R_canon；平移由几何放置替换（掌面 y=0 贴合 + 手性翻转）；段边界 5 帧 SLERP/LERP 过渡；段内深度重对齐（K=20 最近手顶点-网格点对，超 20 cm 拒帧，SavGol 窗 7 阶 2，±0.1 m 截断）；\n - **Sanity 过滤**（Sec. A.8）：尺度检查（网格尺寸 > 1.8× 掩码隐含尺寸则覆盖 s_o）；伪目标标记（3D 质心距所有手部活动 >0.5 m 且 2D 位移 <10 px → 调暗不删除）。\n6. **输出清理与 exo-to-ego**（Sec. 3.4 + A.1）：掩码腐蚀、深度梯度过滤、统计离群移除；自我中心视角 = 在双手中点锚上方固定偏移放置虚拟相机、以重力为 up 轴、跟随交互区域，对重建点施加 ego 外参的**刚性重定框**（保留度量几何与接触，避免 inpainting/GAN 翻译的像素幻觉）——这也是论文名称的由来。\n\n#### 2.3 跨具身重定向器（Sec. 4 + 附录 B）\n\n- **根坐标系估计器 Φ**：\n - 输入表示：每手 (T,7)（3D 位置 + 4D 单位四元数），减去双手质心 c 去全局平移；每时刻 5 个 VN 通道（居中位置 + 3 个旋转轴 + 重力），形状 (T,5,3)（Sec. B.1）；\n - 编码器：VN-Linear(5,d) → 双流拼接 VN-Linear(2d,d) → 噪声根状态 4 VN 通道条件注入（sinusoidal τ-MLP 调制）→ VN-Transformer（d=128, H=4, L=4, d_ff=512, dropout 0.1，Tab. 5）→ 时间均值池化 (d,3)；\n - 输出头：旋转头经 Gram-Schmidt 正交化解码 ^c R^r ∈ SO(3)；平移头预测根相对偏移 v，^c t^r = ^c R^r v + c（避免直接相机系平移回归，保持等变）；\n - **Flow-matching**：建模 p(^c p^r | x) 条件分布，先验 ^c R_0 ~ U(SO(3))、^c t_0 ~ N(c, 0.5²I)，推理 20 步 Euler 积分（Sec. 4.1）；\n - 等变性约束：G·Φ(x) = Φ(G·x)，由 Vector Neuron 层构造性保证。\n- **训练**（Sec. 4.2 + B.2，Tab. 6）：\n - 全仿真：MuJoCo + JAX 加速；每机器人独立训练 500 epochs × 20 步/epoch，batch 1024，Adam lr 1e-3，梯度裁剪 1.0，单卡 RTX 3060 12GB 约 1.5–2 小时；\n - 轨迹生成：N_ctrl=7 个 Ornstein–Uhlenbeck 随机游走控制点（步噪声 0.025 m，弹簧常数 0.05）→ warm-start 位置 IK → 三次样条插值 T=60 帧 @30 fps（2 秒窗）；随机相机位姿将手轨迹与根帧变换到相机系；\n - 损失：flow-matching 速度场 ℓ2，旋转与体坐标系平移等权 w_R = w_t = 1.0；\n - 增广：位置噪声 σ_p=0.01 m、朝向噪声 ≤0.05 rad、跟踪跳变 p_j=0.20（幅度 ≤0.15 m）、单臂遮挡 p_o=0.20、重力噪声 ≤0.10 rad、重力丢弃 p_g=0.30、背后相机 p_c=0.15。\n- **推理与后处理**（Sec. 4.3 + B.3）：\n - 滑窗估计 → SE(3) 测地 k-means 聚成 K=5 候选 → 每候选跑全轨迹批量 IK，按双边 IK 收敛率选锚 → 平移/旋转混合因子 α_t=0.3、α_r=0.7 → Gaussian σ=10 帧平滑 → 逐帧根系 IK（warm start + 零空间正则：可操作度、自碰撞、关节限位、默认姿态偏离惩罚）→ 失败帧线性插值 → 重复均匀滤波去高频抖动；\n - 候选评分维度：IK 收敛、残差跟踪误差、可操作度、关节限位裕度、平滑度；\n - 手指：灵巧手的手指关节从 MANO 关键点经几何映射单独重定向；臂关节跟随腕部 IK 目标。\n\n### 3. 重要图表解读\n\n#### Fig. 1（数据引擎流水线总览，Sec. 3）\n\n展示从过滤后的 Action100M 野外片段与文本描述出发，引擎恢复度量手部轨迹与物体几何/位姿；交互感知精化阶段利用检测到的交互状态对齐手-物体运动并抑制漂移；最终产出度量、agent 无关的 4D 手-物体表示，供下游跨具身重定向与策略学习。该图是理解「引擎而非静态数据集」定位的核心：感知/分割/重建 → 统一度量标定 → 交互感知精化 → 重定向的模块划分与数据流一目了然。\n\n#### Tab. 2（跨具身重定向量化结果，Sec. 5.3）\n\n三具身指标：\n\n- **Unitree G1**：IK 率 0.821，位置误差 2.86 cm，朝向误差 6.73°，关节限位裕度 0.619 rad，可操作度 0.012，平滑度 0.00693；\n- **Robonaut2**：0.774 / 6.67 cm / 8.25° / 0.134 rad / 0.058 / 0.00343；\n- **双 Franka**：0.706 / 10.27 cm / 12.17° / 0.572 rad / 0.080 / 0.00582。\n\n解读：G1（人形，与人类上肢运动学最接近）跟踪误差最小；双 Franka 误差最大（10.27 cm）反映双臂独立工作空间与人手轨迹的结构性差异；Robonaut2 关节限位裕度最小（0.134 rad）提示其解更多接近限位/奇异构型。指标定义：位置误差为 IK 目标与达成位姿的 ℓ2 均值（cm），朝向误差为测地距离（°），平滑度为均方关节速度 q̇。该表支撑「同一 4D 数据可编译到异构形态」的核心主张。\n\n#### Tab. 1（与既有数据集对比，Sec. 2）\n\n从数据源、标注类型、穿戴要求、自动化程度、人工物体指定、规模六维对比：EgoInfinity 是唯一同时满足「互联网来源 + 无穿戴 + 全自动生成 + 无人工物体标注 + 机器人可用 4D 输出」的方案；规模上限 127K 小时（受 Action100M 限制，脚注 † 说明引擎本身与语料无关）。该表是差异化定位论述的定量支撑。\n\n#### Fig. 4（精选数据集统计，Sec. 5.2）\n\n(a) 片段时长分布；(b) 物体类别混合；(c) 高频动作动词；(d) 逐帧交互状态分布。关键数字：88% 片段与 47% 物体被操作，左/右/双手抓取使用均衡。验证引擎在真实网络语料上的产出多样性与状态覆盖。\n\n#### Tab. 4（引擎参数汇总，Sec. A.9）\n\n列出全部非学习阈值：全局静态门 0.02·min(H,W)、Schmitt (2,4) px、掩码重叠 30 px、指尖 6 cm、手腕 5 cm、桥接/最短 run 30/8 帧、旋转离群 30°、MAD 3×1.4826、深度重对齐 K=20 / 0.2 m / SavGol 窗 7 阶 2 / ±0.1 m、边界 ramp 5 帧、MANO SavGol 9/3、尺度 sanity 1.8×、伪目标 0.5 m / 10 px。全部为开发集上人工设定的固定常数，跨 106 段数据集保持不变——为复现提供完整配置，但也暴露阈值敏感性无消融验证的风险。\n\n### 4. 实验与评估细节\n\n- **数据集**：精选 Action100M 子集，106 段已处理操作视频，托管于浏览器端数据服务器（Sec. 5.2）；完整托管 URL 因匿名评审暂缓公开（附录 C.2）。\n- **评估视角**（Sec. 5）：四方面——交互式数据访问（Fig. 3a）、数据集统计（Fig. 4）、跨具身重定向（Tab. 2 + Fig. 3b）、真机执行与学习（Fig. 3c/d）。\n- **重定向评估指标**（Tab. 2）：IK 逐帧成功率、位置/朝向残差误差、关节限位裕度、可操作度 √det(JJᵀ)、平滑度（均方关节速度）。\n- **对比目标**：感知侧无定量基线对比（与 EgoGrasp 等并发工作仅在 Sec. 2 做定性差异论述：无在线 SLAM、无 SMPL-X 全身先验、无扩散先验精化、确定性抓取信任）；数据集层面以 Tab. 1 与 Ego4D/EgoDex/HOT3D/OakInk2/UniHand-Mix/Open-X/DROID 对比。\n- **真机验证**：LEAP 灵巧手抓取策略（以提取手部运动为先验训练，泛化到苹果/香蕉/番茄罐三种物体，Fig. 12）；双臂 Franka FR3 直接重定向执行 Cut / Pour Bowl / Pour Glass / Wipe Box / Wipe Computer 五项技能（Fig. 11）。\n- **公平性与消融**：论文未提供传统消融实验（如去除交互感知精化、去除度量标定、去除刚性绑定的对照）；鲁棒性通过训练增广（Tab. 6）间接覆盖，但各增广成分的贡献未单独量化——这是评估上的主要缺口。此外 Fig. 5 画廊中坦诚展示了失效模式（严重遮挡下点云流失、反光/透明表面深度噪声、SAM-3D 网格错误、SAM-3 误分割），与 Sec. 7 局限一致。\n- **训练成本与可扩展性**：每机器人 1.5–2 小时（RTX 3060 12GB）；除三个评估具身外还展示了 XLeRobot 的重定向（Fig. 8、Fig. 10），佐证重定向器的跨形态可扩展性。\n\n### 5. 系统架构图（适配 system 原型）\n\n``n输入：野外 RGB 视频 + 文本描述（Action100M 标注）\n │\n ▼\n┌──────────────────────────────────────────────────────┐\n│ Pass 1：轻量时序扫描（手部运动统计 + 相机运动线索筛选） │\n└──────────────────────────────────────────────────────┘\n │ 活跃片段\n ▼\n┌────────────────── 统一度量标定 ──────────────────────┐\n│ MOGE-2（焦距/全局尺度） FLOW3R（稠密深度） │\n│ GeoCalib（重力 ^c g） │\n└──────────────────────────────────────────────────────┘\n │\n ┌────┴───────────────────────────┐\n ▼ ▼\n┌────────────────┐ ┌───────────────────────────┐\n│ 手部跟踪 │ │ 物体发现/重建/跟踪 │\n│ YOLO + WIOR │ │ SAM-3 → SAM-2 → SAM-3D → │\n│ → MANO 参数 │ │ FoundationPose++（6-DoF） │\n│ → 补全/平滑 │ │ │\n└───────┬────────┘ └────────────┬──────────────┘\n ┌────┴────────────────────────────┴────┐\n │ 初始 4D 状态 H_t（网格/点云/位姿） │\n └──────────────────┬───────────────────┘\n ▼\n┌──────────── 交互感知精化 ────────────────────────────┐\n│ 六态状态机（STATIC_GLOBAL/STATIC/GRASPED_L/R/BOTH/ │\n│ MOVING） │\n│ ├ 静态 → 锁定鲁棒点云质心 + SAM-3D 规范朝向 │\n│ ├ 抓取 → 刚性手部绑定 ^c p̂_t^o = ^c p_t^h · T^cano │\n│ ├ 移动 → 掩码 bbox 反投影 + 逐帧 PCA │\n│ └ Sanity 过滤（尺度 1.8× / 伪目标 0.5 m） │\n└──────────────────────────────────────────────────────┘\n │\n ▼\n┌──────── 输出清理与 exo-to-ego 重定框 ─────────────────┐\n│ 掩码腐蚀/深度梯度/离群过滤；虚拟 ego 相机刚性重渲染 │\n└──────────────────────────────────────────────────────┘\n │ 度量 4D 手-物体表示（agent 无关）\n ▼\n┌──────────── 跨具身重定向器 ──────────────────────────┐\n│ VN SE(3) 等变 + flow-matching 根坐标系估计 Φ │\n│ → 滑窗估计 → k-means 聚类（K=5）→ IK 评分选锚 │\n│ → 根系 IK（零空间正则）→ 手指几何映射 → 平滑 │\n└──────────────────────────────────────────────────────┘\n │ 可执行关节轨迹\n ▼\n下游：Unitree G1 / Robonaut2 / 双 Franka FR3 / XLeRobot\n 真机技能：抓取（LEAP 手）、切/倒/擦（双 Franka）\n``n\n\n### 6. 关键推理链小结\n\n- **为什么需要跨模块标定而非直接拼接**（Sec. 3.2）：手（WIOR）与物体（FoundationPose++）由不同模型产生，尺度与 3D 参考系天然不一致；统一到 MOGE-2 焦距与全局尺度下的度量相机系，是手-物体关联、接触推理与下游重定向的几何前提。\n- **为什么用交互状态驱动精化而非纯视觉跟踪**（Sec. 3.3）：纯视觉跟踪在静态物体上漂移、手遮挡下失败、弱视觉对应下波动；状态机确定性地决定「何时信手、何时信视觉」，抓取段零相对运动的刚性绑定从构造上消除手-物体相对漂移。\n- **为什么根坐标系用等变网络 + flow-matching**（Sec. 4.1）：相机或人体刚性变换时根帧应随之变换（等变性保证跨视角泛化）；部分身体观测下同一手部运动对应多个合理躯干位姿（多模态分布需要条件生成建模而非确定性回归）。\n- **为什么 exo-to-ego 用刚性重定框而非 2D 生成翻译**（Sec. 3.4 + A.1）：生成式翻译引入像素幻觉并破坏几何一致性；刚性重渲染精确保留度量几何与接触关系，且提升每片段可用帧产率（避免真实头部转开/被遮挡造成的浪费）。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍深度审读（Third-Pass Deep Review）\n\n### 1. 可复现性重构（Reconstructability）\n\n**总体评级：中高。** 数据引擎的全部非学习阈值集中于 Tab. 4（16 项固定常数，附录 A.9），重定向器的架构与训练/推理超参数完整给出（Tab. 5、Tab. 6，附录 B），核心逻辑可按下述伪代码重构。主要复现风险：流水线依赖 8 个第三方基础模型的特定版本（MOGE-2、FLOW3R、GeoCalib、WILOR、SAM-2/SAM-3、SAM-3D、FoundationPose++、MEMFOF，附录 A.6），版本漂移会改变输出；独立代码仓库未公开，完整数据 URL 匿名期 withheld（附录 C.2）。\n\n**数据引擎重构伪代码**（依据 Sec. 3、附录 A）：\n\n``n输入: RGB 视频 V + Action100M 文本注释 D\nPass 1: 轻量时序扫描 → 依据手部运动统计与相机运动线索筛选含操作片段 (Sec. 3.1)\nPass 2: 对每个活跃片段:\n\n1. 度量标定: MOGE-2 → 焦距/全局尺度; FLOW3R → 稠密深度 D_t; GeoCalib → 重力 ^c g (Sec. 3.2)\n2. 手部: YOLO 检测 → WILOR → MANO 参数 (θ_t^h, β_t^h); 指尖投影多尺度对齐至度量深度;\n 片段级左右手投票 + 约35M 运动填充器 + 生物力学限位 + 四元数 SavGol(win9, ord3) (附录 A.6)\n3. 物体: SAM-3(文本提示) → SAM-2 前后向传播 → 掩码; 深度反投影 → 点云 P_t^o;\n SAM-3D(最干净无遮挡帧) → 网格 M^o、规范朝向 R^cano、规范尺度 s_o;\n FoundationPose++ → 初始 6-DoF 轨迹 (Sec. 3.2)\n4. 六态交互分类 σ_t (附录 A.2):\n - 全局静态门: 质心十分位距 Δ_[10,90] ≤ 0.02·min(H,W) → STATIC_GLOBAL\n - 每帧运动门: 质心位移 d_t → Schmitt 触发器(2,4) px → 抗抖动信号 m_t\n - 每手抓取信号: 2D 掩码重叠 ≥30 px ∨ 指尖 ≤6 cm ∨ 腕 ≤5 cm → 形态学闭运算(桥≤30帧/删<8帧)\n - 层级赋值 → σ_t; GRASPED_BOTH 经两级策略解析单一主导手\n5. 状态相关位姿源 (Tab. 3):\n - STATIC*: MAD 过滤鲁棒质心 + R^cano\n - MOVING: 平滑 bbox 中心反投影 + 逐帧 PCA(符号校正)\n - GRASPED_*: 刚性绑定 ^c p̂_t^o = ^c p_t^h · T^cano\n 手部体坐标系: 由 j_0/j_5/j_17 叉积构造(掌心不变, 左手手性翻转, Fig. 6b)\n R_canon: SO(3) 弦平均(剔除偏离种子 >30° 的离群); t_canon: 几何放置(网格厚度极值贴掌面 y=0)\n 分段内深度重对齐: K=20 最近(手顶点,网格点)对, SavGol(win7, ord2), ±0.1 m 截断\n 分段边界: 5 帧 SLERP(旋转)/LERP(平移) 过渡\n6. 合理性检查: 尺度 sanity(网格范围 >1.8× 掩码隐含尺度则覆盖 s_o); 背景误检调暗标记 (附录 A.8)\n7. 输出清理(掩码腐蚀/深度梯度过滤/统计离群移除) + exo-to-ego 刚性重定框:\n 虚拟相机锚定双手中点、上轴对齐重力、逐帧跟随交互区 (附录 A.1)\n``n\n**重定向器重构伪代码**（依据 Sec. 4、附录 B）：\n\n``n训练(每机器人独立, MuJoCo+JAX 仿真, RTX 3060 12GB, 500 epochs × 20 步, batch 1024, Adam lr=1e-3, Tab. 6):\n OU 随机游走采样 N=7 个笛卡尔控制点 → warm-start IK → 三次样条 → T=60 帧 @30fps 手部轨迹\n 随机相机位姿将手/根变换至相机系\n 增强: 位置噪声 σ_p=0.01 m / 姿态 ≤0.05 rad / 跳变 p=0.20(≤0.15 m) / 单臂遮挡 p=0.20 /\n 重力噪声 ≤0.10 rad 且 p=0.30 整体丢弃 / 背面相机 p=0.15\n VN-Transformer(d=128, H=4, L=4, d_ff=512, dropout 0.1) + flow-matching 速度场, ℓ2 损失(w_R=w_t=1.0)\n推理(附录 B.3):\n 滑动窗口 → 20 Euler 步积分采样根系假设 → SE(3) 测地 k-means 聚成 K=5 候选\n 每候选跑批量 IK → 按双侧 IK 收敛率选锚点\n 逐帧估计向锚点混合(α_t=0.3, α_r=0.7) → 高斯滤波 σ=10 帧\n 手部位姿投影至移动根系 → 逐帧 IK(warm start + 零空间正则) → 失败帧线性插值 + 均匀滤波去抖\n 手指关节: 由 MANO 关键点几何映射, 与手臂腕部 IK 解耦 (Sec. 4.3)\n``n\n**重构缺口清单**：\n\n- Pass 1 轻量扫描的筛选判据（手部运动统计与相机运动线索的具体阈值）未给出数值（Sec. 3.1）；\n- SAM-3 提示的 prompt-aware NMS 与包含合并仅文字概述，无实现细节（附录 A.6）；\n- IK 求解器的 warm start 与零空间正则的具体形式未指明（附录 B.3）；\n- 深度重对齐针对的 1-10 cm 边界深度偏移依赖具体深度模型行为，更换版本需重新校准（附录 A.3）。\n\n### 2. 关键假设（Assumptions）\n\n- **近似静态相机**：引擎仅处理相机近似固定的网络视频（教程/how-to 类），不做在线 SLAM；这是可行性边界而非可选项（Sec. 3.1、Sec. 7）。\n- **单手主导抓取可折叠**：GRASPED_BOTH 帧被两级策略折叠为单一主导手做刚性绑定，隐含假设双手协同可由单手绑定近似，牺牲双手相对运动信息（附录 A.2）。\n- **被抓物体刚性且无滑移**：抓取段内物体与手零相对运动（Sec. 3.3、附录 A.4），不建模手内重抓、滑动与物体形变。\n- **文本注释可靠覆盖目标物体**：目标发现直接从 Action100M 层级注释提取名词作为 SAM-3 提示，假设描述准确且无遗漏（附录 A.9）；描述缺失或错误时物体发现失败。\n- **功能重定向优于精确模仿**：假设存在可行机器人根系使任务相关手部运动可保留，无需恢复人体/手臂真实运动学（Sec. 4、附录 A.1 的 functional over exact 原则）。\n- **单目度量几何误差可被鲁棒统计吸收**：假设 MOGE-2/FLOW3R 度量深度与 GeoCalib 重力的误差处于 MAD 过滤、Schmitt 触发器等固定阈值算子的设计范围内（Sec. 3.2、附录 A.5、A.9）。\n\n### 3. 失败模式与盲点（Failure Modes / Blind Spots）\n\n- **严重遮挡与全包裹抓取**：手完全包裹物体时反投影点云被排空，SAM-3D 网格可能不完整或错误；2D 掩码重叠作为主信号可部分缓解，但 3D 回退信号此时失效（附录 A.2、C.1 自述）。\n- **反光/透明表面**：深度噪声大、点云不稳定，静态质心锁定与分段深度重对齐均受影响（附录 C.1）。\n- **分割与网格错误的级联传播**：SAM-3 误分割或 SAM-3D 网格粗糙会直接污染 6-DoF 轨迹与下游重定向；合理性检查只调暗不删除（附录 A.8），引擎无自动修复路径，需下游消费者自行甄别。\n- **无接触级物理保证与触觉缺失**：精化只提供粗抓取检测与空间相关，不保证指尖精确位置、力一致性或无滑移约束；对需要精确接触时序、触觉反馈或高灵巧度的任务不适用（Sec. 7）。\n\n### 4. 优点与不足（Strengths and Weaknesses）\n\n**优点**：\n\n- **系统级而非组件级创新**：跨模块度量标定 + 交互感知精化是区别于朴素堆叠的核心贡献，统一度量几何使手-物关联与接触推理可靠（Sec. 3.2-3.3）。\n- **数据获取成本结构性下降**：免穿戴、免深度传感器、免 CAD、免人工物体标注、全自动生成，规模上限 127K 小时，且引擎与语料解耦（Tab. 1 及脚注）。\n- **确定性状态机替代学习式先验**：与并行的 EgoGrasp（SLAM + SMPL-X + 扩散先验）相比，采用六态分类 + 刚性绑定的确定性方案，可解释且全部阈值公开（Sec. 2、Tab. 4）。\n- **等变 + 生成式根系估计设计优雅**：VN 层保证 SE(3) 等变性，flow-matching 建模多模态根系假设分布，纯仿真训练（每机器人约 1.5-2 小时）即可零真实监督迁移到三种具身（Sec. 4、Tab. 2、Tab. 6）。\n- **验证链完整**：从感知保真、IK 可行性（Tab. 2）、跨具身仿真（Fig. 10）到真机技能执行（Cut/Pour/Wipe，Fig. 11）与下游抓取策略学习（LEAP 手，Fig. 12），覆盖 video-to-action 全链路（Sec. 5）。\n- **交互式数据服务器**使中间结果可检查、可诊断，兼具数据策展工具属性（Sec. 5.1、附录 C.2）。\n\n**不足**：\n\n- **静态相机假设限制语料覆盖**：排除头戴/手持视角，而后者恰是 Ego4D 类自我中心数据的主力形态（Sec. 7）。\n- **公开验证规模与宣称规模不匹配**：仅 106 段精选视频（Sec. 5.2），127K 小时为理论上限（Tab. 1 脚注）；缺乏与 EgoGrasp/HaWoR 等在标准 HOI 基准上的定量感知对比。\n- **复杂具身下重定向精度有限**：Dual-Franka 位置误差 10.27 cm、IK 成功率 0.706（Tab. 2），对精细操作可能不足。\n- **重定向器逐机器人重训**：新形态需重新仿真采样与训练（Sec. 7、Tab. 6），跨形态零样本泛化未验证。\n- **阈值全部为人工检查的固定常数**（附录 A.9），跨域（不同视频风格/分辨率/场景文化）稳健性未验证。\n- **发表信息与开源缺失**：无会议/期刊标注，完整数据 URL 匿名期 withheld，独立代码未开源，短期可复现性受限（Module A 校验、附录 C.2）。\n\n### 5. 下一步研究方向（Next-Step Research Directions）\n\n- **放松静态相机假设**：随 SLAM 感知深度模型成熟，将其作为可替换几何模块接入，覆盖头戴/手持视频（Sec. 7 作者自述方向；模块化架构 Sec. 3.1 已为此预留接口）。\n- **接触级物理与触觉融合**：引入触觉估计（如文中引用的 TouchAnything，文献 [^52]）或基于物理的接触优化，实现力一致与无滑移约束，弥补 Sec. 7 明示的精度缺口。\n- **统一多具身根系估计器**：以机器人形态 embedding 或 ID 为条件训练单一模型，免除逐机器人重训，并测试跨形态零样本泛化（针对 Sec. 7 与 Tab. 6 的局限）。\n- **规模化定量评估与 scaling 研究**：在标准 HOI 基准上量化感知精度，扩大精选数据集规模，验证下游策略学习随数据量的 scaling 行为，以支撑 127K 小时上限的实际可达性论证（Sec. 5.2、Tab. 1）。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（共 38 条）\n\n#### 1. 4D Hand-Object Interaction（4D 手-物体交互）\n\n- **定义**：随时间演化的手与物体联合 3D 表示，包含手部轨迹、物体几何/网格与 6-DoF 位姿序列（4D = 3D 空间 + 时间维度）。\n- **直觉**：不仅知道“手和物体在哪里”，还知道它们每一帧如何相对运动与接触。\n- **论文中的作用**：引擎的核心输出表示（Sec. 3.2 的 H_t），是连接互联网视频与机器人动作的中间桥梁。\n- **前置知识**：3D 几何、刚体位姿（旋转+平移）。\n\n#### 2. Data Engine（数据引擎）\n\n- **定义**：可持续运行、模块可独立升级的自动化数据生产流水线，区别于一次性发布的静态数据集。\n- **直觉**：像工厂流水线一样持续把原始视频“加工”成结构化训练数据，任一工位升级整体即受益。\n- **论文中的作用**：论文的定位核心——EGOINFINITY 是引擎而非数据集（Sec. 1、Sec. 3.1、Tab. 1）。\n- **前置知识**：数据集与数据生产系统的区别。\n\n#### 3. Agent-agnostic representation（与智能体无关的表示）\n\n- **定义**：不绑定任何特定机器人或人体运动学的抽象操作表示（手部 SE(3) 轨迹 + 物体状态 + 接触线索）。\n- **直觉**：一种“通用中间语言”，任何机器人都能从中编译出自己的可执行动作。\n- **论文中的作用**：使同一份视频数据可重定向到 Unitree G1、Robonaut2、双 Franka 等多种具身（Sec. 3、Sec. 4）。\n- **前置知识**：具身（embodiment）概念。\n\n#### 4. Cross-Embodiment Retargeting（跨具身重定向）\n\n- **定义**：将一种身体形态（人手）的运动转换为另一种形态（机器人）可执行关节轨迹的过程。\n- **直觉**：把“人怎么动手”翻译成“机器人该怎么动关节”。\n- **论文中的作用**：第三大贡献（Sec. 4），实现 video-to-action 的最后一跳。\n- **前置知识**：运动学、逆运动学。\n\n#### 5. Functional retargeting（功能性重定向）\n\n- **定义**：只保留任务相关的手部运动功能，而非精确模仿人体/手臂运动学的重定向策略。\n- **直觉**：目标是“完成同样的任务”，不是“摆出同样的姿势”。\n- **论文中的作用**：解释为何无需恢复全身姿态即可处理仅手部可见、视角任意的网络视频（Sec. 2、Sec. 4）。\n- **前置知识**：与 kinematic imitation 的对比。\n\n#### 6. MANO（手部参数化模型）\n\n- **定义**：由低维姿态参数 θ 与形状参数 β 生成 3D 手部网格（21 关节、778 顶点）的统计模型。\n- **直觉**：用几十个数字“捏”出一只手。\n- **论文中的作用**：WIOR 输出 MANO 参数作为手部轨迹载体（Sec. 3.2）；灵巧手指重定向也基于 MANO 关键点（Sec. 4.3、附录 A.6）。\n- **前置知识**：参数化人体/手部模型、网格表示。\n\n#### 7. SE(3)（特殊欧氏群）\n\n- **定义**：旋转与平移的联合空间，即刚体 3D 位姿的数学空间。\n- **直觉**：描述“物体在 3D 空间中的位置和朝向”的标准数学语言。\n- **论文中的作用**：手部位姿、根坐标系、等变网络设计均建立在 SE(3) 上（Sec. 3.2、Sec. 4.1）。\n- **前置知识**：李群、旋转矩阵。\n\n#### 8. Unified metric geometry（统一度量几何）\n\n- **定义**：通过 MOGE-2（焦距与全局度量尺度）、FLOW3R（稠密深度）、GeoCalib（重力向量）把所有模块输出对齐到同一米制相机坐标系。\n- **直觉**：先统一“尺子和坐标系”，手和物体才能可靠地比对与接触。\n- **论文中的作用**：跨模块标定（cross-module calibration）的核心设计原则（Sec. 3.2）。\n- **前置知识**：单目深度估计的尺度不确定性、相机内参。\n\n#### 9. 6-DoF object pose（6 自由度物体位姿）\n\n- **定义**：物体在 3D 空间中的位置（3 自由度）与朝向（3 自由度）。\n- **直觉**：完整描述“物体在哪、朝哪”。\n- **论文中的作用**：引擎关键输出之一，由 FOUNDATIONPOSE++ 在度量系中跟踪（Sec. 3.2）。\n- **前置知识**：刚体位姿。\n\n#### 10. Interaction-aware refinement（交互感知精化）\n\n- **定义**：利用检测到的交互状态选择最可靠几何信号来修正物体轨迹的后处理阶段，替代纯视觉跟踪。\n- **直觉**：被抓住时信手、静止时锁定不动、自由运动时才信视觉——按状态切换信任源。\n- **论文中的作用**：第二大贡献，抑制漂移与接触不一致（Sec. 3.3、附录 A）。\n- **前置知识**：视觉跟踪的典型失败模式（遮挡、漂移、弱对应）。\n\n#### 11. Interaction states（交互状态，六态 Σ）\n\n- **定义**：每帧物体的离散状态标签；正文为三态 {static, grasped, moving}，内部实现为六态 Σ = {STATIC_GLOBAL, STATIC, GRASPED_L, GRASPED_R, GRASPED_BOTH, MOVING}。\n- **直觉**：给每一帧打上“物体此刻处于什么情况、被哪只手抓着”的标签。\n- **论文中的作用**：驱动状态依赖位姿源选择（Tab. 3）与刚性绑定（Sec. A.2–A.4）。\n- **前置知识**：状态机、滞后阈值。\n\n#### 12. Rigid hand binding（刚性手部绑定）\n\n- **定义**：抓取段内将物体位姿固定为手部位姿乘以常值规范变换的机制（p̂_t^o = p_t^h · T_canon）。\n- **直觉**：抓住后物体“焊”在手上，相对运动严格为零。\n- **论文中的作用**：消除抓取期间的物体位姿漂移（Sec. 3.3、Sec. A.4）。\n- **前置知识**：SE(3) 复合变换。\n\n#### 13. Hand body frame（手部体坐标系）\n\n- **定义**：由三个掌部关键点（腕 j0、食指 MCP j5、小指 MCP j17）经叉积构建的、与手指弯曲无关的 SE(3) 坐标系。\n- **直觉**：一个只随手掌整体移动、不随手指屈伸变化的“手掌坐标系”。\n- **论文中的作用**：刚性绑定的参考系（Sec. A.4、Fig. 6b）。\n- **前置知识**：坐标系构建、向量叉积。\n\n#### 14. Chirality（手性）\n\n- **定义**：左手与右手的镜像差异；在手部体坐标系中表现为 +y 轴指向掌外（右手）或掌内（左手）。\n- **直觉**：左右手坐标系方向相反，几何放置时需显式翻转。\n- **论文中的作用**：抓取放置中左右手 y 分量取 min/max 翻转（Sec. A.4）。\n- **前置知识**：右手坐标系。\n\n#### 15. Vector Neuron（VN，向量神经元）\n\n- **定义**：以 3D 向量集合为特征的网络层，对旋转按构造等变，用于搭建 SO(3) 等变网络。\n- **直觉**：网络内部“搬运”的是真正的 3D 向量，输入旋转则特征同步旋转。\n- **论文中的作用**：根坐标系估计器 Φ 的骨架（Sec. 4.1、附录 B.1、Tab. 5）。\n- **前置知识**：等变网络、3D 特征表示。\n\n#### 16. SE(3)-equivariance（SE(3) 等变性）\n\n- **定义**：若输入位姿经刚体变换 G，输出根坐标系相应变换：G·Φ(x) = Φ(G·x)。\n- **直觉**：换机位拍同样的动作，预测的躯干坐标系也跟着换，无需重训。\n- **论文中的作用**：保证根估计器对相机视角/位置变化的泛化（Sec. 4.1）。\n- **前置知识**：群论、等变与不变的区别。\n\n#### 17. Flow matching（流匹配）\n\n- **定义**：一种生成建模方法，学习把先验样本沿学到的速度场（ODE）输运到目标分布。\n- **直觉**：从随机猜测出发，沿“流动方向”逐步修正到合理答案。\n- **论文中的作用**：把根坐标系预测建模为分布 p(p^r | x)，处理“同一手部运动对应多个躯干位姿”的多解性（Sec. 4.1、附录 B.1）。\n- **前置知识**：生成模型、ODE 数值积分。\n\n#### 18. Kinematic root frame（运动学根坐标系）\n\n- **定义**：目标机器人（如人形躯干）的参考坐标系，手部运动转换到该坐标系后再做 IK 重定向。\n- **直觉**：机器人“身体”的锚点——手是相对身体运动的。\n- **论文中的作用**：重定向的核心未知量，由 Φ 从手轨迹+重力估计（Sec. 4.1、Fig. 2）。\n- **前置知识**：运动链、参考系变换。\n\n#### 19. Inverse Kinematics（IK，逆运动学）\n\n- **定义**：给定末端（腕/手）目标位姿反解关节角的逆问题。\n- **直觉**：知道手要去哪，反推每个关节转多少度。\n- **论文中的作用**：把根坐标系下的手部目标转为关节轨迹；IK 成功率是核心评估指标（Sec. 4.3、Tab. 2）。\n- **前置知识**：正运动学、雅可比矩阵。\n\n#### 20. Null-space regularization（零空间正则化）\n\n- **定义**：在 IK 中利用冗余自由度，在不影响末端跟踪的子空间内优化次级目标（可操作度、关节限位、自碰撞、默认姿态）。\n- **直觉**：主任务（手到位）不变的前提下“顺便”把姿态调得更合理。\n- **论文中的作用**：提升轨迹可行性与质量（Sec. 4.3、附录 B.3）。\n- **前置知识**：冗余机械臂、雅可比零空间。\n\n#### 21. Manipulability（可操作度）\n\n- **定义**：sqrt(det(J·J^T))，衡量机械臂在当前位形下向各方向移动末端的能力。\n- **直觉**：数值越大，手臂越“灵活”、离奇异位形越远。\n- **论文中的作用**：根候选评分与数据集统计指标之一（Tab. 2）。\n- **前置知识**：雅可比矩阵、奇异位形。\n\n#### 22. Gravity vector estimation（重力向量估计）\n\n- **定义**：从图像估计相机坐标系中的重力方向 g（GeoCalib，三帧均匀采样）。\n- **直觉**：告诉网络“哪边是下”，消解上下方向的歧义。\n- **论文中的作用**：根坐标系估计的可选输入；训练时 30% 样本丢弃重力以实现优雅退化（Sec. 3.2、Sec. 4.1、附录 B.2）。\n- **前置知识**：相机标定、场景水平面。\n\n#### 23. Monocular metric depth（单目度量深度）\n\n- **定义**：从单张 RGB 图像预测以米为单位的稠密深度图（MOGE-2、FLOW3R）。\n- **直觉**：一张照片“看出”每个像素离相机多远，且是真实物理尺度。\n- **论文中的作用**：把 2D 手/物体预测抬升到共享 3D 度量空间（Sec. 3.2、附录 A.6）。\n- **前置知识**：深度估计、相机内参与反投影。\n\n#### 24. Open-vocabulary segmentation（开放词汇分割）\n\n- **定义**：依据任意文本提示分割图像/视频中的目标区域（SAM-3 检测 + SAM-2 全片段传播），无需预定义类别。\n- **直觉**：说“tomato”就能框出视频里所有番茄并全程跟住。\n- **论文中的作用**：自动目标物体发现的入口，免除人工物体标注（Sec. 3.2、附录 A.6/A.9）。\n- **前置知识**：图像分割、视觉-语言对齐。\n\n#### 25. Object discovery（目标物体自动发现）\n\n- **定义**：从视频文本描述（Action100M 标注）自动提取物体名词作为语义提示并初始化跟踪，无需人工指定。\n- **直觉**：系统自己“读懂”视频在操作什么物体。\n- **论文中的作用**：引擎全自动性质的关键环节（Sec. 3.2、Sec. A.9）。\n- **前置知识**：语义提示、NMS 去重。\n\n#### 26. Exo-to-ego conversion（第三人称到第一人称转换）\n\n- **定义**：在恢复的 3D 度量空间中放置虚拟自我相机（跟随双手中点、以重力为上轴）重渲染场景，把任意视角视频统一为自我中心观察；是刚性重定框而非 2D 生成翻译。\n- **直觉**：不是“画”出第一人称画面，而是在 3D 场景里放一个虚拟头再“拍”一遍。\n- **论文中的作用**：论文名字（EgoInfinity）的由来与核心能力，提升可用帧产出（Sec. 3.4、Sec. A.1、Fig. 5）。\n- **前置知识**：3D 渲染、相机外参。\n\n#### 27. Two-pass strategy（两遍处理策略）\n\n- **定义**：Pass 1 轻量时序扫描按手部运动统计与相机运动线索筛选含手片段；Pass 2 仅对活跃片段运行完整重建栈。\n- **直觉**：先粗筛再精算，节省大规模语料上的算力。\n- **论文中的作用**：支撑 web-scale 可扩展性（Sec. 3.1）。\n- **前置知识**：流水线计算成本权衡。\n\n#### 28. Schmitt trigger（施密特触发器）\n\n- **定义**：双阈值滞后二值化：信号超过高阈值才置 1、低于低阈值才置 0，防止临界抖动。\n- **直觉**：像空调温控——到 28 度才开、26 度才关，避免反复开关。\n- **论文中的作用**：运动门控信号 m_t 的稳定化，阈值 (2, 4) px（Sec. A.2、A.5、Tab. 4）。\n- **前置知识**：滞后（hysteresis）概念。\n\n#### 29. MAD outlier filter（MAD 离群值过滤）\n\n- **定义**：基于中位数绝对偏差的鲁棒离群检测：内点满足 d_i ≤ d̃ + 3·1.4826·MAD。\n- **直觉**：用“中位数 ± 容忍带”剔除异常点，不怕少数极端值污染统计量。\n- **论文中的作用**：静态质心、规范平移聚合等所有鲁棒统计的基础原语（Sec. A.5）。\n- **前置知识**：鲁棒统计、中位数。\n\n#### 30. Chordal mean on SO(3)（SO(3) 上的弦均值）\n\n- **定义**：对旋转矩阵做算术平均后经 SVD 投影回 SO(3) 的旋转平均方法。\n- **直觉**：给一堆旋转求“平均朝向”。\n- **论文中的作用**：抓取段规范旋转 R_canon 的聚合（剔除偏离 30° 以上的离群后）（Sec. A.4、A.5）。\n- **前置知识**：矩阵投影、Procrustes 问题。\n\n#### 31. Morphological close-and-drop（形态学闭合-删除）\n\n- **定义**：二值时序平滑算子：桥接短于 B 的 0 间隙、删除短于 L 的 1 片段，边界段不桥接。\n- **直觉**：短暂“丢手”补回来，一闪而过的误检删掉。\n- **论文中的作用**：抓取信号时序平滑（30 帧桥接 / 8 帧最短，约 15 fps 下对应 2 s / 0.5 s）（Sec. A.2、A.5）。\n- **前置知识**：形态学运算、二值序列。\n\n#### 32. SLERP（球面线性插值）\n\n- **定义**：在旋转流形上沿大圆弧插值的方法，保持角速度均匀。\n- **直觉**：从旋转 A 到旋转 B 之间走“最短弧线”。\n- **论文中的作用**：根轨迹关键帧插值与抓取段边界平滑（5 帧过渡）（Sec. 4.3、A.4、B.3）。\n- **前置知识**：四元数、旋转插值。\n\n#### 33. Ornstein–Uhlenbeck random walk（OU 随机游走）\n\n- **定义**：带均值回复项的随机过程，用于生成平滑且有界的训练轨迹控制点（噪声 0.025 m、弹簧系数 0.05）。\n- **直觉**：像被弹簧拴住的醉汉随机走——乱走但不会跑远。\n- **论文中的作用**：MuJoCo 仿真中程序化生成手部训练轨迹（Sec. 4.2、附录 B.2）。\n- **前置知识**：随机过程基础。\n\n#### 34. MuJoCo（物理仿真引擎）\n\n- **定义**：用于机器人动力学与运动学仿真的物理引擎。\n- **直觉**：在电脑里“养”一个机器人来批量生成带真值的训练数据。\n- **论文中的作用**：根估计器完全在仿真中训练，无需真机监督（Sec. 4.2、Fig. 8）。\n- **前置知识**：物理仿真、正运动学。\n\n#### 35. Action100M（大规模视频动作数据集）\n\n- **定义**：包含 147M 动作片段、约 14.6 年时长的互联网视频数据集，是引擎当前语料来源（规模上限 127K 小时）。\n- **直觉**：取之不尽的“人类操作视频矿藏”。\n- **论文中的作用**：引擎输入语料与 106 段精选子集的来源（Sec. 1、Sec. 5.2、Tab. 1、Fig. 4）。\n- **前置知识**：视频数据集、语料规模概念。\n\n#### 36. Gram–Schmidt orthogonalization（格拉姆-施密特正交化）\n\n- **定义**：将两个向量输出正交化为合法 SO(3) 旋转矩阵的方法。\n- **直觉**：把两个不完美垂直的向量“掰正”成一组合法旋转轴。\n- **论文中的作用**：VN 旋转头解码根旋转 R^r（Sec. 4.1）。\n- **前置知识**：线性代数、正交基。\n\n#### 37. Warm-started IK（热启动逆运动学）\n\n- **定义**：以上一帧解作为当前帧 IK 初值，加速收敛并保证时序平滑。\n- **直觉**：从“上一帧的答案”开始找“这一帧的答案”。\n- **论文中的作用**：逐帧手部跟踪与根候选评分（Sec. 4.2、4.3、B.3）。\n- **前置知识**：数值迭代求解。\n\n#### 38. Approximately static camera（近似静态相机假设）\n\n- **定义**：引擎当前假设源视频相机基本不动（教程/how-to 类视频常见），从而免除在线 SLAM。\n- **直觉**：只处理“架着拍”的视频，不处理“边走边拍”。\n- **论文中的作用**：核心适用边界与首要局限；模块化设计为未来引入 SLAM 感知深度模型留出升级空间（Sec. 3.1、Sec. 7）。\n- **前置知识**：SLAM、相机运动模型。\n\n### 二、概念依赖图（文字版）\n\n``n互联网视频语料（Action100M，147M 片段）\n │\n ▼\n[两遍筛选策略] ──→ 含手活跃片段（近似静态相机假设约束适用域）\n │\n ▼\n[统一度量几何]（MOGE-2 焦距/尺度 + FLOW3R 深度 + GeoCalib 重力）\n │\n ├──→ [度量 3D 手部跟踪]（WIOR → MANO 参数 → SE(3) 手轨迹）\n │ │\n │ └──→ [手部体坐标系]（j0/j5/j17 叉积构建，含手性处理）\n │ │\n │ ▼\n │ [刚性手部绑定]（T_canon + 几何放置）\n │ ▲\n ├──→ [目标物体发现]（SAM-3 文本检测 → SAM-2 传播 → SAM-3D 网格）\n │ │\n │ └──→ [6-DoF 物体跟踪]（FOUNDATIONPOSE++）──→ 初始 4D 状态 H_t\n │ ▲\n ▼ │\n[交互感知精化] ──────────────────┘\n ├── [交互状态分类]（六态 Σ：全局静态门 + Schmitt 运动门 + 抓取信号 + 形态学平滑）\n ├── [状态依赖位姿源]（Tab. 3：静态锁质心 / 抓取绑手 / 运动用掩码反投影）\n └── [鲁棒统计原语]（MAD 过滤 / SO(3) 弦均值 / SLERP / 闭合-删除）\n │\n ▼\nAgent-agnostic 4D HOI 表示（手轨迹 + 物体网格/点云 + 6-DoF 位姿 + 接触状态）\n │\n ├──→ [Exo-to-Ego 转换]（虚拟自我相机重渲染，刚性重定框）\n │\n ▼\n[跨具身重定向]\n ├── [根坐标系估计器 Φ]\n │ ├── 依赖：Vector Neuron、SE(3) 等变性、重力向量、flow matching\n │ └── 训练：MuJoCo 仿真 + OU 随机游走轨迹 + 噪声/遮挡/重力丢弃增强\n ├── [根候选假设选择]（滑窗采样 → k-means 聚类 → IK 评分：收敛率/误差/可操作度/平滑度）\n ├── [IK 求解]（热启动 + 零空间正则化）\n └── [后处理]（失败帧插值 + 均匀滤波去抖 + SLERP 边界平滑）\n │\n ▼\n可执行关节轨迹\n ├──→ 仿真验证（Unitree G1 / Robonaut2 / 双 Franka，Tab. 2）\n └──→ 真机技能（LEAP 手抓取策略先验；双 Franka Cut/Pour/Wipe 执行）\n``n\n**依赖层次总结**：\n\n1. **数学底层**：SE(3)、旋转表示、坐标系变换 → 支撑全部几何计算；\n2. **感知层**：基础模型栈（深度/分割/手重建/位姿跟踪）→ 统一度量几何 → 初始 4D 状态；\n3. **精化层**：交互状态分类 → 状态依赖位姿源 → 刚性绑定（依赖手部体坐标系与鲁棒统计原语）；\n4. **重定向层**：4D 表示 → 根坐标系估计（依赖等变网络 + 流匹配 + 仿真训练）→ IK（依赖根坐标系）→ 关节轨迹；\n5. **应用层**：关节轨迹 → 仿真/真机验证与下游策略学习。\n\n**关键依赖链**：统一度量几何是手-物体可靠关联的前提；交互状态是精化策略的开关；手部体坐标系是刚性绑定的支点；SE(3) 等变性 + 流匹配共同解决根坐标系的多解性与视角泛化；仿真训练免除真机监督。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证、冲突与参考文献\n\n### 1. 关键事实性主张核验（每条主张尽量提供论文内双源定位）\n\n### 主张 1：Action100M 含 14.6 年素材、147M 动作片段\n\n- 来源 1：Sec. 1（Action100M alone contains 14.6 years of footage across 147M action segments）\n- 来源 2：Tab. 1 中 EGOINFINITY 行的 127K hr 及脚注 †（规模受 Action100M 限制）；14.6 年 × 8760 h/年 ≈ 127,896 h，与 127K hr 内部自洽\n- 外部核验：ref [^4]（arXiv:2601.10592, 2026）本次阅读环境无法在线访问，标记为待外部验证\n\n### 主张 2：EGOINFINITY 数据规模为 127K hr\n\n- 来源 1：Tab. 1 最后一行\n- 来源 2：Tab. 1 脚注 † 与 Sec. 5.2（实际公开仅 106 段精选视频）\n- 结论：127K hr 是引擎理论上限而非已发布数据量，引用时必须注明该脚注\n\n## 主张 3：对比数据集规模（Ego4D 3.7K hr；EgoDex 829 hr；HOT3D 13.9 hr；OakInk2 6.5 hr；DROID 350 hr；Open-X 1M+ 轨迹）\n\n- 来源 1：Tab. 1\n- 来源 2：对应参考文献 [^10][^1][^2][^3][^13][^12]；Ego4D 原文标题即 around the world in 3,000 hours，实际约 3,670 hr，与 3.7K hr 相符\n- 结论：论文内自洽，与公开文献认知一致\n\n## 主张 4：跨具身重定向量化指标\n\n- 来源 1：Tab. 2（Unitree G1：IK 率 0.821、位置误差 2.86 cm、姿态误差 6.73°；Robonaut2：0.774、6.67 cm、8.25°；Dual-Franka：0.706、10.27 cm、12.17°）\n- 来源 2：Sec. 5.3 文字描述与 Fig. 3(b) 定性展示\n- 注意：Tab. 2 仅为数据集级均值，无方差/分布信息；真机执行（Fig. 3(d)、Fig. 11）为定性 filmstrip，无成功率指标\n\n## 主张 5：精选子集含 106 段已处理视频\n\n- 来源 1：Sec. 5.2\n- 来源 2：附录 A.9（所有阈值在 106-clip 数据集上保持恒定）\n- 结论：双源一致\n\n## 主张 6：88% 片段、47% 物体发生操作交互\n\n- 来源 1：Fig. 4 标题\n- 来源 2：Sec. 5.2 提及 per-frame interaction-state distribution（Fig. 4(d)），但未重复该具体数值\n- 注意：单一来源数值，无法双源交叉验证，引用时建议标注出处为图注\n\n## 主张 7：根坐标系估计器训练配置（单卡 RTX 3060 12GB、500 epochs、每机器人约 1.5–2 小时、batch 1024、Adam lr 1e-3）\n\n- 来源 1：附录 B.2 正文\n- 来源 2：Tab. 6 汇总表\n- 结论：双源一致\n\n## 主张 8：flow-matching 推理采用 20 步 Euler 积分\n\n- 来源 1：Sec. 4.1（integrating the learned ODE with 20 Euler steps）\n- 来源 2：Tab. 5（Flow ODE steps N=20）\n- 结论：双源一致\n\n## 主张 9：交互状态采用六态内部标签并映射到正文三态\n\n- 来源 1：Sec. 3.3（static/grasped/moving 三态）\n- 来源 2：附录 A.2（Σ 六态定义与层级映射公式）\n- 结论：双源一致\n\n## 主张 10：真机技能验证（双 Franka FR3 执行 Cut/Pour/Wipe；LEAP 灵巧手抓取策略）\n\n- 来源 1：Sec. 5.4\n- 来源 2：Fig. 3(c)(d)、Fig. 11、Fig. 12、附录 C.4/C.5\n- 结论：多图定性一致，但均为演示性质，缺定量成功率与基线对比\n\n### 2. 冲突与不确定性说明\n\n1. **发表信息缺失**：正文与附录均未标注会议/期刊与年份；引用含多篇 2026 年 arXiv 预印本（如 [^4][^5][^11][^25][^28][^37][^38][^39][^52]），且附录 C.2 明确托管 URL 因匿名评审暂缓公开，推断为约 2026 年投稿的在审稿件。故 publication_date 与 publication_venue 置空。\n2. **图号不一致**：附录 B 架构图图注写作 Figure 1（Root-frame estimator architecture），而正文 B.1 引用为 Fig. 7；属排版遗留问题，不影响技术内容。\n3. **模块命名不一致**：Sec. 3.2 写 WIOR，附录 A.6 写 WILOR，ref [^26] 官方名称为 WiLOR，判定为同一模块的笔误。\n4. **OCR/排版噪声**：如 1ne per-frame pose（应为 The per-frame pose）、1able 3（Table 3）、1ne rull curated subset（应为 The full curated subset），阅读时需按上下文校正。\n5. **规模表述张力**：web-scale/127K hr 为引擎能力上限，公开可下载仅 106 段（Sec. 5.2、Tab. 1 脚注），复现与统计验证受限。\n6. **与并发工作 EgoGrasp [^38] 的边界**：论文自述感知栈相近（Sec. 2），差异点为无在线 SLAM、无 SMPL-X 身体先验、确定性抓取状态信任与语料级引擎定位；独立贡献边界有待正式发表后社区评审确认。\n7. **引用可核验性**：多条引用为未来日期 arXiv 编号（2601–2605、2511、2512 等），本次阅读环境无法外部核验其存在性与内容，按论文原文记录。\n8. **阈值泛化性**：Tab. 4 全部阈值为开发集上人工选定、非学习所得，跨语料泛化未验证（附录 A.9）。\n9. **静态相机假设**（Sec. 7）与 web-scale 目标之间存在张力，论文已自认；随 SLAM 感知深度模型成熟可放宽。\n10. **真机结果可复现性**依赖项目页面（ URL 未公开（附录 C.2）。\n\n### 3. 参考文献列表（按论文编号）\n\n[^1]: R. Hoque et al. EgoDex: Learning dexterous manipulation from large-scale egocentric video. arXiv:2505.11709, 2025.\n[^2]: P. Banerjee et al. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. CVPR 2025.\n[^3]: X. Zhan et al. OakInk2: A dataset of bimanual hands-object manipulation in complex task completion. CVPR 2024.\n[^4]: D. Chen et al. Action100M: A large-scale video action dataset. arXiv:2601.10592, 2026.\n[^5]: J. Ma et al. Robot learning from human videos: A survey. arXiv:2604.27621, 2026.\n[^6]: H. Bharadhwaj et al. Track2Act: Predicting point tracks from internet videos enables generalizable robot manipulation. ECCV 2024.\n[^7]: C. Wen et al. Any-point trajectory modeling for policy learning. arXiv:2401.00025, 2023.\n[^8]: S. Bahl et al. Affordances from human videos as a versatile representation for robotics. CVPR 2023.\n[^9]: S. Ye et al. Latent action pretraining from videos. ICLR 2025.\n[^10]: K. Grauman et al. Ego4D: Around the world in 3,000 hours of egocentric video. CVPR 2022.\n[^11]: H. Luo et al. Joint-aligned latent action: Towards scalable VLA pretraining in the wild. arXiv:2602.21736, 2026.\n[^12]: A. O'Neill et al. Open X-Embodiment: Robotic learning datasets and RT-X models. ICRA 2024.\n[^13]: A. Khazatsky et al. DROID: A large-scale in-the-wild robot manipulation dataset. arXiv:2403.12945, 2024.\n[^14]: G. Chen et al. VLMimic: Vision language models are visual imitation learner for fine-grained actions. NeurIPS 37, 2024.\n[^15]: V. Jain et al. Vid2Robot: End-to-end video-conditioned policy learning with cross-attention transformers. arXiv:2403.12943, 2024.\n[^16]: N. Wake et al. GPT-4V(ision) for robotics: Multimodal task planning from human demonstration. RA-L 9(11), 2024.\n[^17]: M. Lepert, J. Fang, J. Bohg. Phantom: Training robots without robots using only human videos. arXiv:2503.00779, 2025.\n[^18]: G. Li et al. H2R: A human-to-robot data augmentation for robot pre-training from videos. arXiv:2505.11920, 2025.\n[^19]: M. Lepert, J. Fang, J. Bohg. Masquerade: Learning from in-the-wild human videos using data-editing. arXiv:2508.09976, 2025.\n[^20]: S. Nair et al. R3M: A universal visual representation for robot manipulation. arXiv:2203.12601, 2022.\n[^21]: Y. J. Ma et al. VIP: Towards universal visual reward and representation via value-implicit pre-training. arXiv:2210.00030, 2022.\n[^22]: I. Radosavovic et al. Real-world robot learning with masked visual pre-training. CoRL 2023.\n[^23]: C.-L. Cheang et al. GR-2: A generative video-language-action model with web-scale knowledge for robot manipulation. arXiv:2410.06158, 2024.\n[^24]: X. Chen et al. VILLA-X: Enhancing latent action modeling in vision-language-action models. arXiv:2507.23682, 2025.\n[^25]: M. K. Govind et al. UniLact: Depth-aware RGB latent action learning for vision-language-action models. arXiv:2602.20231, 2026.\n[^26]: R. A. Potamias et al. WiLOR: End-to-end 3D hand localization and reconstruction in-the-wild. CVPR 2025.\n[^27]: R. Wang et al. MOGE-2: Accurate monocular geometry with metric scale and sharp details. NeurIPS 38, 2026.\n[^28]: Z. Cong et al. FLOW3R: Factored flow prediction for scalable visual geometry learning. arXiv:2602.20157, 2026.\n[^29]: N. Ravi et al. SAM 2: Segment anything in images and videos. ICLR 2025.\n[^30]: N. Carion et al. SAM 3: Segment anything with concepts. arXiv:2511.16719, 2025.\n[^31]: SAM Team et al. SAM 3D: 3DFY anything in images. arXiv:2511.16624, 2025.\n[^32]: V. Bargatin et al. MEMFOF: High-resolution training for memory-efficient multi-frame optical flow estimation. ICCV 2025.\n[^33]: A. Veicht et al. GeoCalib: Learning single-image calibration with geometric optimization. ECCV 2024.\n[^34]: J. Zhang et al. HaWoR: World-space hand motion reconstruction from egocentric videos. CVPR 2025.\n[^35]: G. Pavlakos et al. Reconstructing hands in 3D with transformers. CVPR 2024.\n[^36]: B. Wen et al. FoundationPose: Unified 6D pose estimation and tracking of novel objects. CVPR 2024.\n[^37]: Y. Ye et al. Whole: World-grounded hand-object lifted from egocentric videos. arXiv:2602.22209, 2026.\n[^38]: H. Fu et al. EgoGrasp: World-space hand-object interaction estimation from egocentric videos. arXiv:2601.01050, 2026.\n[^39]: J. Shin et al. Compose: When to trust hands for object pose tracking. arXiv:2605.23523, 2026.\n[^40]: K. Li et al. ManipTrans: Efficient dexterous bimanual manipulation transfer via residual learning. CVPR 2025.\n[^41]: Z. Chen et al. ViviDex: Learning vision-based dexterous manipulation from human videos. ICRA 2025.\n[^42]: S. Kareer et al. EgoMimic: Scaling imitation learning via egocentric video. ICRA 2025.\n[^43]: S. Park, H. Bharadhwaj, S. Tulsiani. DemoDiffusion: One-shot human imitation using pre-trained diffusion policy. arXiv:2506.20668, 2025.\n[^44]: R.-Z. Qiu et al. Humanoid policy ~ human policy. arXiv:2503.13441, 2025.\n[^45]: J. Romero, D. Tzionas, M. J. Black. Embodied Hands: Modeling and capturing hands and bodies together (MANO). ACM TOG 36(6), 2017.\n[^46]: W. Yan, J. Chu. FoundationPose++. GitHub, Mar 2025. \n[^47]: H. Li et al. MimicDreamer: Aligning human and robot demonstrations for scalable VLA training. arXiv:2509.22199, 2025.\n[^48]: H. Ci et al. H2R-Grounder: A paired-data-free paradigm for translating human interaction videos into physically grounded robot videos. arXiv:2512.09406, 2025.\n[^49]: C. Deng et al. Vector Neurons: A general framework for SO(3)-equivariant networks. ICCV 2021.\n[^50]: Y. Lipman et al. Flow matching for generative modeling. arXiv:2210.02747, 2022.\n[^51]: E. Todorov, T. Erez, Y. Tassa. MuJoCo: A physics engine for model-based control. IROS 2012.\n[^52]: J. Zhou et al. TouchAnything: A dataset and framework for bimanual tactile estimation from egocentric video. arXiv:2605.13083, 2026.\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与索引\n\n### 1. 图表完整索引\n\n#### 1.1 图（Figures）索引\n\n| 编号 | 标题/内容摘要 | 类型 | 位置 | 支持的论断 | 重要度 |\n|---|---|---|---|---|---|\n| Fig. 1 | EGOINFINITY 流水线：从过滤后的 Action100M 野外片段与文本描述出发，恢复度量手部轨迹与物体几何/位姿，经交互感知精化对齐手-物运动并抑制漂移，得到度量化的 agent-agnostic 4D 手-物表示，供跨具身重定向与策略学习 | 系统流水线示意图 | 正文 Sec. 3 开头（摘要亦引用） | 核心定位：模块化、全自动、可持续升级的 4D 数据引擎（Sec. 1 贡献 i/ii） | ★★★★★ |\n| Fig. 2 | 重定向流水线：3D 手部轨迹与重力输入仿真训练的机器人专属根坐标系估计器 Φ，生成候选根帧，聚类打分后选最优（如 Unitree G1 的躯干帧），经 IK 与后优化完成重定向 | 方法流程图 | 正文 Sec. 4.1 | 功能性跨具身重定向的两阶段流程：根帧估计 + IK 后优化（Sec. 4、贡献 iii） | ★★★★ |\n| Fig. 3 | 实验总览四联图：(a) 项目页可视化（3D 查看器、中间结果、文本描述、轨迹摘要）；(b) 4D HOI 重建在仿真与真机上重定向到多种具身；(c) 提取的手部轨迹作为下游策略先验并跨物体泛化；(d) Cut/Pour/Wipe 真机演示 | 实验结果拼图 | 正文 Sec. 5（5.1–5.4 各小节分别引用 a–d） | 四个验证维度：交互式数据访问、跨具身重定向、策略先验、真机技能执行（Sec. 5 开篇） | ★★★★★ |\n| Fig. 4 | 精选 Action100M 子集统计：(a) 片段时长分布；(b) 物体类别构成；(c) 高频动作动词；(d) 被操作物体的逐帧交互状态分布；88% 片段与 47% 物体被操作，左/右/双手抓取使用均衡 | 数据统计图（4 子图） | 正文 Sec. 5.2 | 精选子集的规模、多样性与交互状态覆盖（Sec. 5.2） | ★★★ |\n| Fig. 5 | 精选 Action100M 重建结果（合成 egocentric 视角）：每对左为原始 exocentric 源帧、右为含手部网格/物体网格与点云/6-DoF 位姿的 egocentric 重渲染；无共同拍摄视角的源片段被统一重构为一致 egocentric 观察；同时可见失败模式（严重遮挡、反光/透明表面、SAM-3D 网格缺陷） | 定性结果图 | 附录 A.1（Sec. C.1 讨论） | exo-to-ego 为 3D 刚性重构而非 2D 生成翻译（Sec. 3.4、A.1）；引擎工作边界与 Sec. 7 局限一致 | ★★★★ |\n| Fig. 6 | 数据引擎几何机制：(a) 交互状态分类器与主导手解析（全局静态门控、Schmitt 运动门控、逐手抓取信号及形态学平滑、六态层次分配、GRASPED_BOTH 两级解析）；(b) 手部体坐标系（j0/j5/j17 构建手掌系，+y 指向掌外）与考虑手性（chirality flip）的抓取放置 | 机制几何示意图 | 附录 A.2 / A.4 | 六态状态机与刚性手部绑定的确定性设计（Sec. 3.3 的实现细节） | ★★★★ |\n| Fig. 7 | 根坐标系估计器架构：双手轨迹与可选重力编码为 VN 特征，经 transformer 时序编码器，输出头预测 flow-matching 速度场，将噪声根帧样本去噪为最终估计（注意：附录版面将该图误标为 “Figure 1”，正文 Sec. B.1 引用为 Fig. 7，存在编号不一致） | 网络架构图 | 附录 B.1 | VN SE(3) 等变 + flow-matching 的根帧估计设计（Sec. 4.1） | ★★★★ |\n| Fig. 8 | 仿真采样训练轨迹示例（Unitree G1、Robonaut2、dual-Franka、XLeRobot）：左手蓝/右手橙，根帧与手轨迹投影到随机采样的相机帧（绿） | 训练数据可视化 | 附录 B.2 | 程序化轨迹生成与随机相机位姿增广（Sec. 4.2） | ★★ |\n| Fig. 9 | 交互式数据浏览器：无运行时后端的静态 Viser 客户端；主页/片段列表、3D 查看器（手轨迹、SAM-3D 物体网格、点云与包围盒、交互状态、相机锥、机器人重定向面板）、侧栏（视频统计、Action100M 文本、逐帧中间结果、含接触/运动/信任信号的轨迹摘要） | 系统界面截图 | 附录 C.2 | 浏览器端交互式数据服务器能力（Sec. 5.1）；托管 URL 因匿名暂缓公开 | ★★★ |\n| Fig. 10 | 十个采样片段的端到端 video-to-robot 流水线：原始 exocentric 帧 → 重建 egocentric 视图 → dual-Franka FR3 / Unitree G1 / Robonaut2 / XLeRobot 仿真重定向 → 真机执行 | 端到端结果拼图 | 附录 C.3 | 单一恢复的 4D 轨迹可编译到差异显著的具身并从仿真迁移到硬件（agent-agnostic 输出） | ★★★★★ |\n| Fig. 11 | dual-arm Franka FR3 真机技能执行胶片图：Cut、Pour Bowl、Pour Glass、Wipe Box、Wipe Computer 各占一行时序帧 | 真机执行结果图 | 附录 C.4 | 重定向运动可直接在硬件上功能性执行多种操作技能（Sec. 5.4） | ★★★★ |\n| Fig. 12 | LEAP 灵巧手下游抓取策略 rollout：以 EGOINFINITY 提取的手部运动为先验训练，苹果/香蕉/番茄罐各三次 rollout，跨物体形状泛化 | 策略 rollout 图 | 附录 C.5 | 恢复的运动支持学习型策略而非仅开环回放（Sec. 5.4） | ★★★★ |\n\n#### 1.2 表（Tables）索引\n\n| 编号 | 标题/内容摘要 | 类型 | 位置 | 支持的论断 | 重要度 |\n|---|---|---|---|---|---|\n| Tab. 1 | 与既有 egocentric 操作与机器人数据集对比（Ego4D/EgoDex/HOT3D/OakInk2/UniHand-Mix/Open-X/DROID）：数据源、标注类型、硬件要求、自动化程度、是否需人工指定物体、规模；EGOINFINITY 唯一同时满足互联网规模、免穿戴、全自动、免人工物体标注，规模上限 127K hr（脚注：受 Action100M 限制，引擎本身与语料无关） | 定性对比表 | 正文 Sec. 2 | 差异化定位声明：打破现有数据在规模/具身对齐/可执行性之间的权衡（Sec. 2 开篇） | ★★★★★ |\n| Tab. 2 | 三种具身重定向定量指标：Unitree G1（IK 率 0.821、位置误差 2.86 cm、姿态误差 6.73°、关节限位裕量 0.619 rad）、Robonaut2（0.774、6.67 cm、8.25°、0.134 rad）、Dual-Franka（0.706、10.27 cm、12.17°、0.572 rad），另含可操作度与平滑度 | 定量结果表（全文唯一主文定量表） | 正文 Sec. 5.3 | 跨具身运动学可行性与泛化：同一恢复数据在差异显著形态上均取得可行轨迹（贡献 iii 的量化支撑） | ★★★★★ |\n| Tab. 3 | 状态相关位姿源：各交互状态（STATIC_GLOBAL/STATIC/MOVING/GRASPED_*）下平移与旋转分别采用的几何信号（鲁棒点云质心、SAM-3D 规范朝向、掩码 bbox 反投影、刚性手部绑定等） | 机制映射表 | 附录 A.3 | 核心设计选择：交互状态决定可信几何信号来源，而非单一状态盲估器 | ★★★ |\n| Tab. 4 | 引擎参数汇总：全部非学习固定阈值（全局静态跨度 0.02·min(H,W)、Schmitt (2,4) px、掩码重叠 30 px、指尖 6 cm/手腕 5 cm、桥接 30/最短 8 帧、旋转离群 30°、MAD 3·1.4826、深度重对齐 K=20/0.2 m 与 SavGol win 7 ord 2/±0.1 m、边界 SLERP/LERP 5 帧、MANO SavGol 9/3、尺度合理性 1.8×、伪目标 0.5 m/10 px 等） | 参数汇总表 | 附录 A.9 | 可复现性：所有阈值在开发集上人工选定、跨 106 片段数据集恒定 | ★★★★ |\n| Tab. 5 | 根帧估计器模型超参：通道宽 d=128、4 注意力头、4 层 transformer、FFN 512、dropout 0.1、每手 5 个 VN 通道、条件 4 通道、输入 (T,7)、VN 特征 (T,5,3)、推理 20 步 Euler ODE | 模型超参表 | 附录 B.1 | 网络架构复现所需全部形状与超参 | ★★★ |\n| Tab. 6 | 根帧估计器训练超参：单卡 RTX 3060 (12 GB)、每机器人约 1.5–2 小时、500 epochs×20 步、batch 1024、Adam lr 1e-3、梯度裁剪 1.0、T=60 帧@30fps、7 控制点 OU 随机游走（噪声 0.025 m、弹簧 0.05）、损失权重 (1,1)、增广参数（位置噪声 0.01 m、跳变 p=0.20/0.15 m、遮挡 p=0.20、重力噪声 0.10 rad/丢弃 p=0.30、后置相机 p=0.15） | 训练配置表 | 附录 B.2 | 纯仿真训练（无真机监督）的完整复现配置；消费级 GPU 上的低成本训练 | ★★★★ |\n\n### 2. 优先深读清单（Top-Priority Deep Reads，5 项）\n\n1. **Tab. 1（数据集对比表）+ Fig. 1（流水线总览）**：二者共同承载论文的核心定位声明。Tab. 1 用七个维度（来源/标注/硬件/自动化/物体标注/规模）论证 EGOINFINITY 是唯一同时满足“互联网规模 + 免穿戴 + 全自动 + 免人工物体标注”的数据源；Fig. 1 展示支撑该声明的模块化架构。深读要点：注意 Tab. 1 脚注——127K hr 是受 Action100M 限制的语料上限而非已产出规模（当前仅公开 106 段精选视频，Sec. 5.2），避免高估实证规模。\n2. **Tab. 2（重定向定量表）**：全文唯一的主文定量结果表，直接支撑贡献 iii。深读要点：三种具身呈难度梯度（G1 位置误差 2.86 cm → Dual-Franka 10.27 cm）；Dual-Franka 的 IK 率最低（0.706）但关节限位裕量反而较大（0.572 rad vs Robonaut2 的 0.134 rad）；指标定义（测地姿态误差、可操作度 √det(JJᵀ)、平均平方关节速度）需结合表注理解；注意这些是 IK 层面的可行性指标，不含接触级精度（Sec. 7 承认此局限）。\n3. **Fig. 3（实验总览）+ Fig. 10（端到端流水线）**：构成“数据服务器 → 4D 重建 → 多具身仿真重定向 → 真机执行 → 策略学习”的完整证据链。Fig. 10 的十行样例是“单一 4D 轨迹编译到四种具身并完成仿真到真机迁移”这一 agent-agnostic 声明最直接的视觉证据；Fig. 3(d) 与 Fig. 11/12 则补足真机技能与策略学习环节。\n4. **Fig. 6 + Tab. 3 + Tab. 4（交互感知精化机制组）**：引擎区别于“朴素组件拼接”的核心创新（贡献 ii）。Fig. 6(a) 给出六态状态机的层次判定逻辑与主导手两级解析，Fig. 6(b) 给出手掌坐标系构建（j0/j5/j17 叉积构造）与手性翻转处理；Tab. 3 说明“状态决定可信信号源”的设计原则；Tab. 4 列出全部固定阈值，是复现精化模块的唯一权威参数来源。\n5. **Fig. 7 + Tab. 5 + Tab. 6（根帧估计器组）**：方法层面最主要的新组件（Sec. 4.1）。Fig. 7 展示 VN 等变编码 + flow-matching 去噪架构；Tab. 6 显示训练成本极低（单卡 RTX 3060、每机器人 1.5–2 小时、纯仿真无真机监督），这是“按机器人重训”路线可行性的关键证据；注意附录中该图版面编号误标为 “Figure 1”，正文引用为 Fig. 7。\n\n### 3. 图表关系与实验设置图\n\n### 数据引擎线（Sec. 3 + 附录 A）\n\n- Fig. 1 总流水线（Pass 1 轻量扫描 → Pass 2 完整重建 → 交互感知精化 → 输出清理与 exo-to-ego）\n - 机制细节：Fig. 6(a) 六态分类器 ↔ Tab. 3 状态→位姿源映射 ↔ Fig. 6(b) 刚性手部绑定与手性放置\n - 全部阈值：Tab. 4（复现精化模块的权威参数表）\n - 输出定性验证：Fig. 5（合成 egocentric 重建 + 失败模式自省）→ 呼应 Sec. 7 局限\n - 数据统计：Fig. 4（时长/类别/动词/状态分布，88% 片段被操作）\n - 交互访问：Fig. 9（Viser 浏览器，exo/ego 切换、逐帧中间结果）\n\n## 重定向线（Sec. 4 + 附录 B）\n\n- Fig. 2 重定向流水线（根帧估计 → 聚类打分 → IK → 后优化）\n - 架构：Fig. 7 VN 等变 + flow-matching ↔ Tab. 5 模型超参\n - 训练：Sec. 4.2 仿真程序化轨迹 ↔ Fig. 8 四机器人采样轨迹 ↔ Tab. 6 训练/增广超参\n - 推理：Sec. B.3 滑窗估计 + k-means（K=5）+ IK 打分选锚 + 锚点混合（α_t=0.3, α_r=0.7）+ 高斯平滑（σ=10 帧）\n\n## 实验验证线（Sec. 5 + 附录 C）\n\n- Fig. 3 实验总览（四维验证的枢纽图）\n - (a) 数据服务器 ↔ Fig. 9\n - (b) 跨具身重定向 ↔ Tab. 2（G1/R2/Dual-Franka 定量）↔ Fig. 10（含 XLeRobot 的十片段端到端）\n - (c) 策略先验 ↔ Fig. 12（LEAP 手跨物体抓取泛化）\n - (d) 真机技能 ↔ Fig. 11（Cut/Pour×2/Wipe×2 五项技能）\n\n**实验设置要点**：感知栈为 MOGE-2（度量深度/焦距）+ FLOW3R（稠密深度）+ GeoCalib（重力）+ WILOR（MANO 手）+ SAM-3/SAM-2/SAM-3D（发现/跟踪/重建）+ FOUNDATIONPOSE++（6-DoF 跟踪）+ MEMFOF（光流，仅用于静态背景分类）（Sec. 3.2、A.6）；重定向评估具身为 Unitree G1、Robonaut2、dual-Franka FR3（XLeRobot 仅出现在 Fig. 8/10 的仿真演示中）；真机平台为 dual-Franka FR3（技能执行）与 LEAP 灵巧手（抓取策略）（Sec. 5.3–5.4）。\n\n### 4. 图表 → 结论映射\n\n| 论文结论 | 支撑图表 | 证据性质 |\n|---|---|---|\n| 结论 1：EGOINFINITY 是全自动、模块化、互联网规模的 4D 数据引擎，区别于既有静态数据集 | Fig. 1（架构）；Tab. 1（七维对比）；Tab. 4（全参数固定可复现）；Fig. 9（交互式服务器） | 定位声明 + 系统展示 |\n| 结论 2：跨模块度量标定与交互感知精化提升物理可靠性（降低漂移与接触不一致） | Fig. 6（状态机与手部绑定几何）；Tab. 3（状态驱动位姿源）；Fig. 5（重建质量与失败模式自省） | 机制设计 + 定性验证（无接触级定量指标，Sec. 7 承认此局限） |\n| 结论 3：恢复的 4D 数据可功能性地重定向到差异显著的机器人形态 | Tab. 2（三具身 IK 率/误差/裕量/可操作度/平滑度）；Fig. 2（流程）；Fig. 3(b)；Fig. 10（含 XLeRobot 的十片段端到端） | 定量 + 定性 |\n| 结论 4：数据支持真机技能执行（Cut/Pour/Wipe）与下游策略学习 | Fig. 3(d)；Fig. 11（五项技能胶片）；Fig. 12（LEAP 手跨物体抓取泛化） | 真机演示（定性，无成功率统计） |\n| 结论 5：精选子集具备规模与多样性潜力 | Fig. 4（时长/类别/动词/状态分布）；Tab. 1（127K hr 理论上限脚注） | 统计描述（实证仅 106 段） |\n| 结论 6：局限——近似静态相机假设、无触觉、无接触级精度、重定向器需按机器人重训 | Fig. 5（可见失败模式：遮挡排空、反光噪声、网格缺陷）；Tab. 6（每机器人独立训练配置） | 自省式定性证据 + Sec. 7 文字声明 |\n\n**映射解读**：证据链呈“系统展示（Fig. 1/9）→ 机制细节（Fig. 6/Tab. 3/Tab. 4）→ 定量可行性（Tab. 2）→ 端到端定性（Fig. 10/11/12）”的递进结构。定量证据集中在重定向环节（Tab. 2 为唯一主文定量表），而感知保真度与真机技能主要以定性拼图呈现、无成功率或消融统计；这一证据分布的不对称是评审该系统类论文时需额外审视之处（与 Module E 的弱点分析衔接）。" }