# EgoLive：一个源自现实世界人类任务的大规模第一人称视角数据集京东Joy Future Academy ## 摘要当前，机器人学习的发展受到大规模高质量数据集匮乏的制约。虽然远程操作和通用操控界面等成熟的数据采集方法主导着现有数据集，但其在可扩展性和现实场景部署能力方面存在固有局限。相比之下，人类第一人称视角视频采集已成为实现可扩展、自然且源于真实场景的数据采集的有前景的方法。基于此，我们推出了EgoLive——一个专为机器人操控学习设计的大规模高质量第一人称视角数据集。与现有的第一人称视角数据集相比，EgoLive具备三项显著的技术优势：首先，它是迄今为止规模最大的、专注于现实世界任务导向型人类日常活动的开源标注第一人称视角数据集；其次，借助定制的头戴式采集设备和全面的高精度多模态标注，它提供了业界领先的数据质量；第三，所有数据均采集于无约束的真实场景，涵盖了家庭服务、零售及其他实际工作场景中的垂直领域人类工作数据，具备极高的多样性和生态效度。通过推出EgoLive，我们希望为研究界提供一个可扩展的高质量数据集，以此推动通用机器人模型的突破，助力机器人系统在现实场景中的部署。数据集： ## 1 引言缺乏大规模数据集已成为制约当代机器人操控学习模型泛化能力提升的关键瓶颈。尽管近期视觉-语言-动作（VLA）模型的预训练进展[^28] [^30]在促进现实世界机器人操控方面取得了显著成果，但仅靠扩大现有机器人数据集的规模无法实现泛化能力的进一步提升。现有数据集主要受到两大限制：一是环境多样性不足，无法反映现实世界的复杂性；二是可扩展性差，难以实现大规模数据采集。这些限制共同阻碍了能够在开放世界场景中运行的真正具备泛化能力的具身系统的发展。第一人称视角数据[^7] [^18] [^36]为解决机器人学习领域大规模数据采集的当前局限提供了有前景的解决方案。该方法通过头戴式可穿戴设备采集第一人称视觉视角，以自然的方式模拟类人的视觉感知，具备多项关键优势。人类学习的启发：第一人称视角方法倡导以人为中心的视觉感知和学习过程，能够支持类似婴儿发育过程中的好奇心驱动探索[^40] [^46]，并通过累积的第一人称经验助力技能的逐步习得。真实场景采集：与固定摄像头系统不同，该方法允许使用者在真实环境中自由移动，无需空间限制或对佩戴者造成明显干扰即可采集自然的人类行为与交互数据。可扩展性潜力：相对简单的硬件配置（如单个头戴式摄像头）使得能够以较低的设备成本在不同环境和用户中开展大规模数据采集。 --- ![Image](images/f9b8696793a847b926a21f156ea3a3f9ca5d9512ba4d19ea215b2092bceea4d1.jpg)

Figure 1 EgoLive is a large-scale high-quality and diverse egocentric dataset. It records human daily manipulation tasks with stereo vision.

人类行为与交互不受空间限制，也不会对佩戴者造成显著的物理干扰。可扩展性潜力：相对简单的硬件配置（例如单个头戴式摄像头）能够以较低的设备成本，在多样化的环境和用户群体中收集大规模数据。我们推出了EgoLive，这是一个大规模的第一人称视角数据集，用于记录现实世界中的人类任务演示。该数据集包含1,680小时、帧率为60帧/秒的高保真立体视频录像，共涵盖346种不同现实任务的65,866个片段。值得注意的是，EgoLive具备几项关键特性，使其区别于现有的第一人称视角数据集。 - 据我们所知，EgoLive是迄今为止规模最大的、针对现实世界人类任务的开源标注型第一人称视角数据集。 - 该数据集在两个维度上均展现出卓越的质量。采集规格方面：我们自主研发的头戴式采集设备能够实现类人的立体视觉，其水平视场角为$130^{\circ}$，垂直视场角为$\times$ $130^{\circ}$，视频采集帧率为60帧/秒，每台摄像头的分辨率可达$2160 \times 2160$。在标注的丰富度与准确性方面：它提供了全面的多模态标注，包括6自由度运动跟踪、细粒度语义分割以及3D场景重建，且所有标注均具有高精度。与现有的第一人称视角数据集不同，EgoLive完全是在无约束的现实环境中采集的，因此为机器人学习提供了显著更优的场景多样性与生态效度。 ## 2 相关工作 ### 2.1 操作数据采集操作数据采集大致可分为三种范式：真实机器人遥操作、通用操作接口（UMI）以及人类第一人称视角视频采集。真实机器人遥操作系统主要采用三种方式：同构主从控制、基于虚拟现实的系统以及动作捕捉技术。典型的实现案例包括ALOHA [^49]（通过有线连接的机械臂实现低成本同步遥操作）、AgiBot [^1]（基于虚拟现实/动作捕捉的人形机器人控制系统）以及特斯拉…… --- Optimus [^41]（可穿戴式动作捕捉服）。虽然这些方法能生成具有高保真度的轨迹，且能为策略学习提供可靠的物理先验，但由于对专用硬件的要求较高、需要大量人力参与，且大规模数据采集的成本高昂，因此存在可扩展性方面的局限。通用操控接口（UMI）[^10]采用配备GoPro摄像头的传感夹爪来采集人类演示数据，从而实现人机感知视角的一致性。FastUMI [^50]通过优化的手腕姿态估计算法提升了追踪精度。近期诸如Gen系列[^14] [^15]等研究利用UMI数据进行可扩展的操控策略训练。尽管这些手持式接口能够实现自然的交互并缩小视觉领域的差异，但它们通常针对特定的机器人形态定制，因此跨平台兼容性有限。此外，UMI系统难以适配灵巧手，进一步限制了其应用范围。人类以自我为中心的视频数据集提供了一种可扩展且硬件需求极低的方式，通过可穿戴摄像头捕捉自然交互行为。EgoScale [^51] 能够从超过2万小时的野外视频中提取高自由度的灵巧手部动作数据。EgoDex [^18] 借助头戴式设备实现大规模裸手追踪；EgoMimic [^19] 则通过智能眼镜完成便携式的多模态数据采集。与真实机器人遥操作相比，这种仅依赖视觉的方法消除了硬件限制和空间约束，大幅加快了现实世界数据的获取速度。与UMI这类基于机械夹爪的接口不同，该方法能保留人类手部的自然形态，从而支持直接采集高自由度的灵巧操控数据。 ### 2.2 人类以自我为中心的数据集现有的人类以自我为中心的数据集可分为三大类：通用型、操控导向型和规模化部署型。它们反映了第一人称数据采集在语义广度、交互保真度和现实场景覆盖度方面的不同设计重点。 EPIC-KITCHENS-100 [^11] 和 Ego4D [^16] 等通用型研究在自我中心视觉理解领域奠定了重要基础。它们强调大规模视频覆盖、丰富的语言监督以及日常活动与环境的多样性。因此，它们在动作识别和通用型第一人称表征学习方面具有深远影响。不过，这些数据集并未提供统一的操控导向几何信号，比如摄像头轨迹、3D手部关键点、密集的手部/物体掩码以及程序化子任务边界。这限制了它们在不依赖核心发布版本之外的额外资源的情况下，直接用于学习细粒度的操控策略或结构化操作流程。操控导向型研究通过让手-物交互可直接观测，更贴近具身技能学习的需求。EgoMimic [^19] 证明了将自我中心视频与摄像头运动及3D手部追踪相结合对机器人学习的价值。

Dataset	Scene	Scale	Resolution	FPS	Multi-view	Motion-tracking	Language Annot.	Depth
Generalist
EPIC-KITCHENS-100 [^11]	Real-world	100 h	$1920 \times 10^{80}$	50	✗	✗	✓	✗
Ego4D [^16]	Real-world	3680 h	Inconsistent	30	✗	✗	✓	✗
Manipulation-Centric
EgoMimic [^19]	Laboratory	55 h	$1408 \times 1408$	30	✗	✓	✗	✗
HOI4D [^24]	Laboratory	22 h	$1920 \times 10^{80}$	15	✗	✓	✗	✓
HOT3D [^4]	Laboratory	14 h	$1408 \times 1408$	30	✓	✓	✗	✗
EgoDex [^18]	Laboratory	829 h	$1920 \times 10^{80}$	30	✗	✓	✓	✗
Deployment-Scale
Egocentric-10K [^7]	Real-world	10k h	$1920 \times 10^{80}$	30	✗	✗	✗	✗
Xperience-10M [^36]	Real-world	1059 h	$512 \times 512$	20	✓	✓	✓	✓
EgoLive (Ours)	Real-world	1680 h	$2160 \times 2160$	60	✓	✓	✓	✓

Table 1 Comparison of representative human egocentric datasets relevant to embodied manipulation and human-to-robot transfer. A modality is marked as present only if provided in the main public release of the dataset. EgoLive targets real-world scenes with the second longest collection duration and achieves superior spatiotemporal resolution and annotation comprehensiveness.

--- HOI4D [^24] 提供了更为密集的监督信息，包括RGB-D数据、摄像头位姿、3D手部位姿、分割掩码以及动作分割结果，因此特别适用于类别级手-物交互分析。HOT3D [^4] 通过在自我中心多视角场景下提供精确的手部、物体和摄像头位姿标注，强化了3D追踪的维度。EgoDex [^18] 则在数据量和标注丰富度上进一步推进了这一范式，提供了大规模灵巧桌面操控数据，结合了语言标注、摄像头位姿和原生3D手部追踪功能。总体而言，这些数据集对于学习操控先验、动作定位以及基于演示的迁移具有重要价值。不过，它们大多仍局限于家庭、实验室或桌面场景，因此对现实服务或商业运营中长流程工作流的覆盖有限。面向部署规模的相关研究将以自我为中心的数据采集拓展到更丰富的操作多样性和更真实的长时长采集场景。Egocentric-10K [^7] 将大规模的第一人称录制引入真实工厂环境，虽然提升了真实操作视频的覆盖范围，但提供的标注类型相对有限。Xperience-10M [^36] 大幅扩展了多模态传感与标注维度，将同步的第一人称视频与深度数据、相机位姿、手部运动捕捉信息以及涵盖任务和子任务结构的分层语言标注相结合。这些数据集代表了迈向面向部署的具身智能的重要一步。 EgoLive进一步突破了这一界限，它在家庭服务、零售和药房等实际面向服务的商业场景中采集人类以自我为中心的数据，而这些场景在现有的以自我为中心的数据集中仍鲜有涉及。除了RGB视频和语言标注外，该数据集还包含相机位姿、3D手部关键点、深度图、手部掩码、交互物体掩码以及子任务分割信息，这些内容均通过我们的自动化处理和标注流程生成。全面的标注使得EgoLive不仅适用于以自我为中心的感知任务，还适用于实际操作场景中的操控定位、工作流程分解以及下游的人机协作任务。与其他以自我为中心的数据集的详细对比详见表1。 ### 2.3 从以自我为中心的数据中学习人类以自我为中心的数据为机器人操控中的表征学习和策略学习提供了视觉观测信息与人体运动数据。现有从以自我为中心的数据中学习的成果可分为三类：从人类以自我为中心的数据中学习操控能力、将人类数据迁移到机器人上，以及对全身控制的拓展。从人类以自我为中心的数据中学习操控能力的研究旨在探索能从人类以自我为中心的演示中学到哪些机器人操控能力，以及更大规模的预训练如何增强这些能力。EgoDex [^18]、EgoMimic [^19] 和 EgoVLA [^45] 分别通过手部轨迹模仿、结合人类与机器人演示进行协同训练，以及基于动作的视觉表征学习，来探究从人类以自我为中心的数据中进行动作层面的能力学习。VITRA [^23] 和 EgoScale [^51] 进一步拓展了这一方向，它们从人类以自我为中心的视频中构建与机器人对齐的训练数据，并研究了以自我为中心预训练的扩展特性。这些研究共同表明，人类以自我为中心的数据是机器人学习中可扩展的动作表征与操控先验来源。人类到机器人的迁移研究探讨了如何将从人类演示中学到的能力有效迁移到机器人执行中，以弥补实体形态上的差异。Phantom [^20]、Masquerade [^21] 和 MimicDreamer [^22] 通过图像分布对齐来缩小实体形态差异，并验证了由此产生的监督信号对机器人策略学习的有效性。Humanoid Policy ~ Human Policy [^32] 和 Being-H0.5 [^26] 通过可微分的映射转换和语义对齐的动作空间，构建了人类演示与机器人控制之间的共享动作接口。H-RDT [^5] 和 EgoBridge [^31] 则分别通过分阶段适配和表征对齐来进一步优化迁移效果。总体而言，这些研究提升了从人类以自我为中心的数据到机器人系统的操控策略迁移能力。全身控制领域的扩展研究着眼于从以自我为中心的数据中学习，而不仅限于以手为中心的操作，从而实现更协调的具身行为。ZeroWBC [^44]、EgoMI [^47] 和 EgoHumanoid [^39] 分别将研究范围从操作拓展到类人机器人全身控制、协调式主动视觉与操作，以及全身运动-操作一体化。这些研究表明，以自我为中心的数据不仅能支持操作任务， --- ![Image](images/9038fd9c40ca4cd4c406d3af6d9d040f548cc5015e3218e5417a323260115d62.jpg)

Figure 2 Human Data Capture System The system leverages JoyEgoCam which is a custom-designed head-mounted device for acquiring human behavior data in real-world environments. It features stereo RGB cameras that provide a wide field-of-view and an integrated IMU with 200Hz measurements.

还能助力实现涉及主动视觉与全身运动的更通用的具身控制。 ## 3 数据集 EgoLive是一个规模庞大、标注丰富且质量上乘的野外场景以自我为中心操作数据集。为了实现大规模数据采集，我们推出了一种轻便且符合人体工程学的头戴设备，可用于长时间的野外数据采集。我们还开发了自动化标注流程，能够生成涵盖动作轨迹、语义理解与三维重建的全面且高质量的标注结果。大量的统计分析表明，EgoLive的数据覆盖范围广且局部密度高，展现出丰富的多样性。 ### 3.1 数据采集所有数据均通过JoyEgoCam（见图2）采集，这是一款专为野外人类行为采集设计的定制头戴设备。JoyEgoCam配备了立体RGB摄像头，其视野范围与人类双眼视觉类似。高分辨率与高帧率有助于实现精细且灵活的人类动作追踪，而集成的惯性测量单元（IMU）则能提升摄像头姿态估计的精度。数据主要由招募的操作员在真实场景中采集。与会遮挡用户面部的VR头盔以及会干扰手部动作的可穿戴设备不同，我们的设备遵循低干扰的设计原则。因此，用户在采集过程中几乎不会感到不适，能够自然地进行日常活动。得益于头戴式设计以及类人的视野范围，手部自然动作能够被真实地捕捉下来。 --- ![Image](images/c50b827299e4eb62b7e0993a5d32cc99e52ab15852afe3120432e47aa339b330.jpg)

Figure 3 Overview of the automated annotation pipeline for egocentric binocular videos. (a) The raw egocentric binocular video is first undistorted, with left/right view separation and camera intrinsic calibration. (b) Hand reconstruction is conducted, integrating semantic gesture recognition and hand-object segmentation to capture interaction dynamics. (c) Dense depth reconstruction and camera localization are performed to recover the scene structure and estimate the camera trajectory based on the rectified video and sensor cues. (d) In parallel, sub-task segmentation and instruction captioning are employed to generate temporal textual description.

原始多模态数据包括分辨率为$2160 \times 2160$、帧率为60Hz的立体RGB视频，同时配有摄像头校准文件、摄像头触发帧时间戳，以及频率为200Hz、与时间同步的IMU测量数据。每段视频时长通常为1到3分钟，记录了在真实环境中进行的单次连续的中长期操作活动。 ### 3.2 自动化数据标注如图3所示，我们开发了一套完整的内部数据标注流程，用于对多模态数据流进行逐帧处理。该流程整合了三个关键组件：动作追踪：首先估算手腕与手部关节的6D轨迹，随后将其与摄像头自身运动估计结果同步，以此建立动作参考框架。手部动作的估算基于HaMeR [^29] 的两阶段方法。首先利用单目视频估算MANO [^35] 参数，以确保精确的二维投影；摄像头的自身运动则通过ORB-SLAM3 [^8] 来估算，该方法融合了双目RGB图像与IMU数据，初始化从左摄像头的第一帧开始。语义理解：通过整合检测、跟踪、分割以及基于大语言模型的文本标注技术的数据处理流程，可以获得分层语义信息，包括手-物体交互状态以及动作的自然语言描述。利用[^38]中提出的模型来检测人手及相应的交互物体，并通过BoT-SORT [^2]对输出结果进行跟踪。SAM2 [^34]则用于生成人手及交互物体的分割掩码。根据手-物体检测与跟踪结果，将每个视频片段划分为多个子任务。随后，经过微调的Qwen3VL-32B [^3]模型会将这些分割后的子任务视频作为输入，在推理阶段采用多阶段推理策略来生成细粒度的描述。 --- ![Image](images/953cade178c69d7e7a9bc492a3d5f8166b82b3fe880f9c499bf7ce8550f73d17.jpg) ![Image](images/aee6ebc4d323f4e17f84ff9f70cdaf05710e9f3570070dbfcc18d89c4f9fbc96.jpg) ![Image](images/153da5bdb209f8ed81eb766818d68fffd2280291c3a73bb778d7adb95093d656.jpg) ![Image](images/9cc52692c4313e26640d73d203e8df69860287fbedc17b482e24599721a358b8.jpg) ![Image](images/d0550651e498a4484955c2377b26c25bffaf2e068008c629d5045e5ab73631d7.jpg)

Figure 4 Discrete semantic composition of EgoLive derived from task description. (a) Distribution of task categories, illustrating coverage of real-world activity domains including household services, organization, cleaning, logistics, and other manipulation-intensive scenarios. (b) Word clouds of high-frequency semantic labels extracted from instruction captions across action, object and object attribute.

三维重建：通过有效利用双目视觉，能够实现精确的三维手部重建与深度估计。在手部运动估计的第二阶段，基于先前估算出的MANO参数进行立体优化，从而得出符合单目视频中二维投影约束的一致三维手部关键点位置。借助FoundationStereo $1152 \times 1152$，可从经过精细校准的双目RGB视频中以[^43]分辨率重建深度信息。总体而言，该流程能够从双目RGB和惯性测量单元输入数据中高效获取几何、运动学及语义标注信息，为以眼为中心的感知、手-物体交互理解以及操控策略学习等下游任务提供多模态监督信号。 ### 3.3 数据集分布以往关于基础模型的研究表明，数据多样性对于模型的稳健泛化至关重要 [^6] [^9] [^13] [^33] [^37]。机器人学习领域也有类似发现 [^14] [^15] [^42]，这推动了以数据为中心的策略研究，例如扩大数据规模、去重、重新加权以及基于质量的数据筛选，旨在优化训练数据分布，进而提升具身模型的泛化性能 [^17] [^48] [^51]。在本节中，我们将从离散和连续两个互补视角对EgoLive进行系统性分析，证明与现有的以眼为中心的数据集相比，EgoLive在覆盖范围和密度方面均展现出更好的数据多样性。 ## 离散语义分布在离散语义分析方面，我们从指令描述中提取场景类别以及物体-动作-属性标签，并利用其频率统计来比较不同数据集间的语义覆盖情况及长尾结构 [^23]。如图4所示，EgoLive涵盖了广泛的操作任务，显示出对操作密集型场景的广泛覆盖能力。词云图进一步表明，高频词汇包含了多种多样的动作、物体及物体属性。 --- ![Image](images/68c2bc69ce181dcafedfbe3aa5bf46011d77e8dd567fb65032b035cde33208bc.jpg)

Figure 5 Distributions of semantic labels derived from instruction captioning across datasets: (a) object distribution, (b) action distribution, (c) attribute distribution. The x-axis represents the word frequency threshold n and the y-axis shows the number of distinct words with frequency greater than n (log-log scale).

图5基于词语（标签）频率对EgoLive与EgoDex（829小时） [^18]以及Xperience-10M（目前可用时长为1059小时） [^36]进行了对比。显然，EgoLive的表现优于EgoDex和Xperience-10M，且在所有语义维度上均呈现出更长的长尾分布。总体而言，EgoLive在物体、动作及属性方面的语义覆盖更广，长尾分布也更自然，反映出其相较于现有以眼为中心的数据集具有更优越的语义多样性。 ## 连续特征空间分析除了离散语义分析外，我们还在连续特征空间中分析数据集的分布。具体而言，我们使用Cosmos-Embed1-448p [^27]提取图像嵌入，并通过t-SNE进行可视化。物体、环境和动作的联合表征被用以刻画以自我为中心的数据的整体结构。 t-SNE图中的局部邻域反映了语义相似性，而聚类则对应着具有相似物体、动作和场景结构的一致交互模式。各聚类之间的相对距离体现了不同交互模式间的差异。如图6所示，EgoLive在表征流形中占据更广阔的区域，且相比EgoDex和Xperience-10M展现出更连贯的局部聚类。这表明EgoLive不仅具备更广泛的交互模式，还能在连续表征空间中保留清晰的局部结构。 ## 4 精度评估 ### 4.1 手部重建为了评估手部重建的精度，我们首先提供了EgoDex与我们数据集之间2D手部关键点标注的视觉对比，如图7所示。来自EgoDex的关键点存在明显的定位误差，导致投影出的骨骼与图像中的实际手部出现显著错位。相比之下，我们的数据集生成的关键点更为精确，在所有帧中都能与手部紧密对齐。此外，我们的方法通过在立体空间中联合优化，实现了精确的3D关键点标注。通过将估计出的关键点投影到由深度图重建的对应场景中并评估其对齐程度，验证了3D估计的精度。如图8所示，预测出的3D手部骨骼与手部的点云表征高度对齐。结合4.2节中详细阐述的深度重建评估结果——该评估达到了毫米级的深度精度——我们得出结论：我们的3D关键点估计具备极具竞争力的精度。这一结果证实我们的 --- ![Image](images/b03a102137d9e48e9074ddff680c72398843070f3cfc79a7f17db80a8b1abbd1.jpg)

Figure 6 t-SNE visualization of the joint embeddings of objects, environments and actions. Example frames are representative samples from the different regions that illustrate the wide diversity of our data.

![Image](images/1b495de5c19c41420f2156f37421e2d8cb027cd5e7a616a2f9688c896817e261.jpg)

Figure 7 Qualitative Comparison of 2D Keypoint Annotations. Visualizations of 2D keypoint annotations from (a) EgoDex and (b) EgoLive. EgoDex has non-negligible annotation errors and spatial misalignments. In contrast, EgoLive provides highly accurate and robust 2D keypoint annotations.

--- ![Image](images/6496c02fb95875ddd90cec4b081553bb6abeba7058f04065309eec1449488609.jpg)

Figure 8 Multi-view Visualization of 3D Keypoints. 3D keypoint estimations rendered from four distinct perspectives: egocentric, front, left-side, and right-side views. Our method preserves strong spatial consistency with no wrist drift across all viewing angles.

手部重建框架能够有效解决深度漂移问题，即便在严重的动态遮挡情况下也能保持一致的绝对物理尺度。 ### 4.2 深度重建我们采用基于标定棋盘格的方法定量评估深度重建精度。具体而言，我们将具有已知深度梯度的阶梯阵列和ChArUco标定板作为参考目标，在0.5米到3.5米的多个距离处由我们的系统进行拍摄。完成立体校正后，

Distance (mm)	Mean Error (mm)	Error < 5 mm %	Error < 10 mm %	Error < 20 mm %	Error < 30 mm %	Error < 40 mm %
500	3.059	79.576	99.19	100.0	100.0	100.0
700	3.045	79.755	99.833	100.0	100.0	100.0
900	5.381	56.86	87.051	96.987	99.917	100.0
1100	7.091	43.84	74.817	96.099	99.417	100.0
1300	7.033	48.989	73.227	95.577	99.697	100.0
1500	8.751	35.636	63.664	92.528	99.333	99.917
1700	13.114	24.233	43.992	76.874	93.943	99.079
1900	12.083	27.696	49.601	79.745	94.904	99.074
2100	13.014	26.505	47.433	74.121	92.053	99.75
2300	15.095	20.878	40.893	69.96	87.822	96.933
2500	13.994	25.061	47.391	71.72	88.6	97.527
2700	14.82	23.789	41.761	72.063	87.318	96.4
2900	13.414	31.071	49.34	71.32	89.229	98.794
3100	15.254	26.29	45.319	65.63	83.568	97.064
3300	17.372	18.98	36.162	64.54	81.561	92.889
3500	18.035	20.952	36.861	59.798	79.431	93.478

Table 2 Quantitative analysis of the proposed depth reconstruction model in the calibration room. We report the mean reconstruction error and error distribution under different thresholds, evaluated at operating distances from 500mm to 3500mm.

--- ![Image](images/fd7c0e6b6b40210d9157a68af3b3b2226e70bd9d102a29ea6caa5c2f4ee3dada.jpg)

Figure 9 Point cloud reconstructions of the calibration board at distances ranging from 500mm to 3500mm.

利用BFGS算法联合优化全局重投影误差，从而估算相机相对于棋盘格的6D位姿。随后，根据棋盘格的已知几何形状计算各个角点的深度，将其作为预测的基准真值。通过将这一基准深度与我们深度重建方法预测的深度进行对比（如图9所示），我们获得了模型的定量评估结果，这些结果呈现在表2中。结果表明，在典型的人类操作范围（约小于0.9米）内，我们的深度重建方法能够实现较低的平均误差。为了进一步评估我们所提出方法的定性性能及实际应用价值，图10中选取了三个具有代表性的采集场景。视觉结果表明，JoyEgoCam结合深度重建方法[^43]，能够实现高质量的深度估计，精准还原背后的空间结构与复杂的3D几何信息。 ### 4.3 指令标注对于每个视频片段，会将其分割成对应完整原子动作的子任务剪辑，时长大约在1到20秒之间。我们引入了指令标注模块，为每段剪辑生成结构化的语义注释。该模块并非生成完全自由形式的描述，而是明确建模了理解以自我为中心的操控行为所需的三个核心要素：手部、被操控物体以及动作。这一设计源于这样的观察结果[^12] [^23] [^25]：在人类视频标注中，子任务与手部动作及被操控物体紧密相关。如图11顶部所示，朴素的自然语言描述可能是<用挤压的方式擦拭玻璃门>，而我们的描述则提供了关于手部使用方式、被操控物体以及动作的细粒度信息。为了评估标注结果的质量，我们采用了基于LLM作为评判者的细粒度标注评估协议，该协议会评估关键要素与真实描述的一致性，包括手部一致性、物体一致性、动作一致性以及全局一致性。手部一致性用于判断标注是否准确识别出参与交互的手部；物体一致性用于评估被操控物体是否与视觉内容匹配，涵盖物体类别、颜色和形状等方面；动作一致性则用于判断 --- ![Image](images/0bf5778eef302de504bbea950f948ecb58e4387fbad6c1785c7d6d74d5d2ee19.jpg)

Figure 10 Visualization of depth and point-cloud reconstruction results in real-world scenes from EgoLive dataset. From left to right at each row: original left image, predicted depth map and reconstructed point clouds. The spatial structure and 3D geometric information across diverse real-world scenes can be recovered effectively by our proposed method.

所描述的操控动作是否准确反映了观察到的行为。全局一致性用于判断标注是否对子任务剪辑提供了忠实且连贯的描述，同时兼顾

Sample	GT Caption	Predicted Caption	Action	Object	Hand	Global
1	Clean the glass from top to bottom with the white squeegee in the right hand.	Hold a white squeegee in the right hand and clean the glass from top to bottom.	✓	✓	✓	✓
2	Place the black cotton coat hanging on the hanger flat on the bed, then zip it up with both hands.	Place the down jacket on the bed with both hands, and zip it up.	✓	✓	✓	✓
3	Remove the cloth covering the sponge with the right hand. Then pick up the sponge with the right hand.	Move to the left, pick up the yellow sponge with the right hand, then wipe the white countertop.	✗	✗	✓	✗
4	Spread and smooth the blue-and-white striped duvet flat on the bed with both hands. Then grasp its two corners with both hands, lift it, and fully unfold it. Finally, walk toward the left of the bed.	Fold the blue-white-gray striped quilt and arrange it with both hands, then walk to the left side of the bed.	✗	✓	✓	✗

Table 3 Detailed evaluation results for the examples in Fig. 11.

--- ![Image](images/931f7a1e2133ad2be71f902446c1f69ce66a3a5183bbf4c87bd8def08700f7d5.jpg)

Figure 11 Qualitative examples from our instruction-based annotation pipeline across diverse scenes, including glass wiping, clothes folding, refrigerator cleaning, and bed making.

手部使用方式、物体交互、动作语义的联合正确性，以及句子的自然度和完整性。我们在表3中展示了图11所示案例对应的一致性评估示例。 ## 5 结论本研究推出了EgoLive，这是全球最大的开源以自我为中心的数据集，专注于现实场景中由实用需求驱动的人类日常操作活动。借助专门设计的硬件、可扩展的采集流程以及高精度标注框架，EgoLive提供了适用于机器人学习、达到工业级质量要求的人类演示数据。作为现有公开以自我为中心数据集的重要补充，它在数据规模、数据质量和多样性方面均较以往研究有显著提升。更重要的是，依托易于部署的采集设备和高效的数据生产流程，EgoLive被设计为能够持续扩大规模和覆盖范围，从而建立起不断更新的自然人类行为先验知识库。它有望启发并支持机器人领域的关键研究方向，比如人机对齐、人形机器人策略学习，最终弥合人类行为与机器人动作之间的差距。 ## 6 贡献 ## 贡献者李一航†、魏学龙、罗景舟、肖颖婧、白一博、周广远、邹腾、桂晨光、文佳俊、张赫、陈康良、潘星、刘帅燕、王大明、安涛、李嘉怡、金世博、张婉婉、王天宇、魏博仁、黄志轩、刘方胜、李若黛、张辉、李安森、龚一诚、曹鹏、梁佳明、林亮†。 --- ## 参考文献 [^1]: AgiBot. Create unlimited productivity via intelligent machines. , 2026. Accessed: 2026-04-06. [^2]: Nir Aharon, Roy Orfaig, and Ben-Zion Bobrovsky. BoT-SORT: Robust associations multi-pedestrian tracking. arXiv preprint arXiv:2206.14651, 2022. [^3]: Shuai Bai, Yuxuan Cai, Ruizhe Chen, Keqin Chen, Xionghui Chen, Zesen Cheng, Lianghao Deng, Wei Ding, Chang Gao, Chunjiang Ge, et al. Qwen3-VL technical report. $\underline{\text{arXiv preprint arXiv:2511.21631}}$, 2025. [^4]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7061–7071, 2025. [^5]: Hongzhe Bi, Lingxuan Wu, Tianwei Lin, Hengkai Tan, Zhizhong Su, Hang Su, and Jun Zhu. H-RDT: Human manipulation enhanced bimanual robotic manipulation. In $\underline{\text{Proceedings of the AAAI Conference on Artificial Intelligence}}$, volume 40, pages 18135–18143, 2026. [^6]: Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, et al. Language models are few-shot learners. Advances in Neural Information Processing Systems (NeurIPS), 2020. [^7]: AI Build. Egocentric-10K. $\underline{\text{URL , 2025. [^8]: Carlos Campos, Richard Elvira, Juan J. Gómez Rodríguez, José M. M. Montiel, and Juan D. Tardós. ORB-SLAM3: An accurate open-source library for visual, visual-inertial and multi-map slam. $\underline{\text{IEEE Transactions on Robotics}}$, 37(6):1874–1890, 2021. doi: 10.1109/TRO.2021.3075644. [^9]: Xi Chen, Josip Djolonga, Piotr Padlewski, Basil Mustafa, Soravit Changpinyo, Jialin Wu, Carlos Riquelme Ruiz, Sebastian Goodman, Xiao Wang, Yi Tay, Siamak Shakeri, Mostafa Dehghani, Daniel Salz, Mario Lucic, Michael Tschannen, Arsha Nagrani, et al. On scaling up a multilingual vision and language model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 14432–14444, June 2024. [^10]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. $\underline{\text{arXiv preprint}}$ arXiv:2402.10329, 2024. [^11]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Rescaling egocentric vision: Collection, pipeline and challenges for EPIC-KITCHENS-100. $\underline{\text{International Journal of Computer Vision}}$, 130(1):33–55, 2022. [^12]: Kunyuan Deng, Yi Wang, and Lap-Pui Chau. Egocentric human-object interaction detection: A new benchmark and method. $\underline{\text{Expert Systems with Applications}}$, 300:130216, 2026. [^13]: Samir Yitzhak Gadre, Gabriel Ilharco, Alex Fang, Jonathan Hayase, Georgios Smyrnis, Thao Nguyen, Ryan Marten, Mitchell Wortsman, et al. Datacomp: In search of the next generation of multimodal datasets. $\underline{\text{Advances in Neural Information Processing Systems}}$, 36:22046–22078, 2023. [^14]: Generalist AI Team. GEN-0: Embodied foundation models that scale with physical interaction. , 2025. Accessed: 2026-04-16. [^15]: Generalist AI Team. GEN-1: Scaling embodied foundation models to mastery. , 2025. Accessed: 2026-04-16. [^16]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4D: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 18995–19012, 2022. ## [^17]: Joey Hejna, Chethan Anand Bhateja, Yichen Jiang, Karl Pertsch, and Dorsa Sadigh. ReMix: Optimizing data mixtures for large scale imitation learning. In Pulkit Agrawal, Oliver Kroemer, and Wolfram Burgard, editors, Proceedings of The 8th Conference on Robot Learning, volume 270 of Proceedings of Machine Learning Research, pages 145–164. PMLR, 06–09 Nov 2025. URL --- [^18]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli svapurapu, and Jian Zhang. EgoDex: Learning dexterous manipulation from large-scale egocentric video. In $\underline{\text{The Fourteenth International Conference on Learning Representations}}$, 2026. URL . [^19]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. EgoMimic: Scaling imitation learning via egocentric video. In $\underline{\text{2025 IEEE International Conference on Robotics and Automation (ICRA)}}$, pages 13226–13233. IEEE, 2025. [^20]: Marion Lepert, Jiaying Fang, and Jeannette Bohg. Phantom: Training robots without robots using only human videos. In 9th Annual Conference on Robot Learning, 2025. URL . [^21]: Marion Lepert, Jiaying Fang, and Jeannette Bohg. Masquerade: Learning from in-the-wild human videos using data-editing. In $\underline{\text{IEEE International Conference on Robotics and Automation (ICRA)}}$, 2026. [^22]: Haoyun Li, Ivan Zhang, Runqi Ouyang, Xiaofeng Wang, Zheng Zhu, Zhiqin Yang, Zhentao Zhang, Boyuan Wang, Chaojun Ni, Wenkang Qin, et al. MimicDreamer: Aligning human and robot demonstrations for scalable va training. arXiv preprint arXiv:2509.22199, 2025. [^23]: Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, Huizhi Liang, Sicheng Xu, et al. VITRA: Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. In IEEE International Conference on Robotics and Automation (ICRA), 2026. [^24]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In $\underline{\text{Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}}$, pages 21013–21022, 2022. [^25]: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, and Zongqing Lu. Being-H0: vision-language-action pretraining from large-scale human videos. $\underline{\text{arXiv preprint arXiv:2507.15597}}$, 2025. [^26]: Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, et al. Being-H0.5: Scaling human-centric robot learning for cross-embodiment generalization. $\underline{\text{arXiv}}$ preprint $\underline{\text{arXiv:2601.12993}}$, 2026. [^27]: NVIDIA. Cosmos-embed1-448p: Vision-language embedding model for multimodal representation learning. $\underline{\text{Technical Report}}$, 2024. URL . [^28]: NVIDIA, Johan Bjorck, Nikita Cherniadev Fernando Castañeda, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriyan, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jianman Xiang, Yuqi Xie, Yinzhen Xu, Zhenjia Xu, Seonghyeon Ye, Zhiding Yu, Ao Zhang, Hao Zhang, Yizhou Zhao, Ruijie Zheng, and Yuke Zhu. GR00T N1: An open foundation model for generalist humanoid robots. In $\underline{\text{ArXiv Preprint}}$, March 2025. [^29]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. [^30]: Physical Intelligence. Bringing general-purpose AI to the physical world. , 2026. Accessed: 2026-04-16. [^31]: Ryan Punamiya, Dhruv Patel, Patcharapong Aphiwetsa, Pranav Kuppili, Lawrence Y Zhu, Simar Kareer, Judy Hoffman, and Danfei Xu. EgoBridge: Domain adaptation for generalizable imitation from egocentric human data. In Human to Robot: Workshop on Sensorizing, Modeling, and Learning from Humans, 2025. [^32]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J Yoon, Ryan Hoque, Lars Paulsen, et al. Humanoid policy ~ Human policy. $\underline{\text{arXiv preprint arXiv:2503.13441}}$, 2025. [^33]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, pages 8748–8763. PMLR, 2021. ## [^34]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas --- Carion、吴超元、Ross Girshick、Piotr Dollár和Christoph Feichtenhofer。SAM 2：图像与视频中的任意物体分割。arXiv预印本arXiv:2408.00714，2024年。网址：。 [^35]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. $\underline{\text{ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)}}$, November 2017. URL . [^36]: AI Ropedia. Xperience-10M. $\underline{\text{URL}}$ , 2026. [^37]: Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, Patrick Schramowski, Sasanka Kundurthy, Katherine Crowson, Ludwig Schmidt, Robert Kaczmarczyk, and Jenia Jitsev. LAION-5B: An open large-scale dataset for training next generation image-text models. $\underline{\text{Advances in Neural Information Processing Systems}}$, 35:25278–25294, 2022. [^38]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. 2020. [^39]: Modi Shi, Shijia Peng, Jin Chen, Haoran Jiang, Yinghui Li, Di Huang, Ping Luo, Hongyang Li, and Li Chen. EgoHumanoid: Unlocking in-the-wild loco-manipulation with robot-free egocentric demonstration, 2026. URL . [^40]: Linda B. Smith, Chen Yu, and Alfredo F. Pereira. Not your mother's view: the dynamics of toddler visual experience. $\underline{\text{Developmental Science}}$, 14(1):9-17, 2011. doi: . URL . [^41]: Tesla, Inc. Tesla AI and Robotics. , 2026. Accessed: 2026-04-16. [^42]: Quan Vuong, Sergey Levine, Homer Rich Walke, Karl Pertsch, Anikait Singh, Ria Doshi, Charles Xu, Jianlan Luo, Liam Tan, Dhruv Shah, Chelsea Finn, Max Du, Moo Jin Kim, Alexander Khazatsky, Jonathan Heewon Yang, Tony Z. Zhao, et al. Open X-Embodiment: Robotic learning datasets and RT-X models. In $\underline{\text{Towards Generalist}}$ Robots: $\underline{\text{Learning Paradigms for Scalable Skill Acquisition @ CoRL2023}}$, 2023. URL . [^43]: Bowen Wen, Matthew Trepte, Joseph Aribido, Jan Kautz, Orazio Gallo, and Stan Birchfield. Foundation-Stereo: Zero-shot stereo matching. In $\underline{\text{Proceedings of the IEEE/CVF conference on computer vision and pattern recognition}}$, pages 5249–5260, 2025. [^44]: Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, and Xuelong Li. ZeroWBC: Learning natural visuomotor humanoid control directly from human egocentric video. $\underline{\text{arXiv preprint}}$ arXiv:2603.09170, 2026. [^45]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, et al. EgoVLA: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440, 2025. [^46]: Chen Yu and Linda B. Smith. Embodied attention and word learning by toddlers. $\underline{\text{Cognition}}$, 125(2):244–262, 2012. ISSN 0010-0277. doi: . URL . [^47]: Justin Yu, Yide Shentui, Di Wu, Pieter Abbeel, Ken Goldberg, and Philipp Wu. EgoMI: Learning active vision and whole-body manipulation from egocentric human demonstrations. arXiv preprint arXiv:2511.00153, 2025. [^48]: Yu Zhang, Yuqi Xie, Huihan Liu, Rutav Shah, Michael Wan, Linxi Fan, and Yuke Zhu. SCIZOR: A self-supervised approach to data curation for large-scale imitation learning. In $\underline{\text{IEEE International Conference on Robotics and Automation (ICRA)}}$, 2026. To appear. [^49]: Tony Z. Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. In Proceedings of Robotics: Science and Systems, Daegu, Republic of Korea, July 2023. doi: 10.15607/RSS.2023.XIX.016. ## [^50]: Zhaxizhuoma, Kehui Liu, Chuyue Guan, Zhongjie Jia, Ziniu Wu, Xin Liu, Tianyu Wang, Shuai Liang, Pengan Chen, Pingrui Zhang, Haoming Song, Delin Qu, Dong Wang, Zhigang Wang, Nieqing Cao, Yan Ding, Bin Zhao, and Xuelong Li. FastUMI: A scalable and hardware-independent universal manipulation interface with dataset. In 9th Annual Conference on Robot Learning, 2025. URL --- [^51]: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, et al. EgoScale: Scaling dexterous manipulation with diverse egocentric human data. arXiv preprint arXiv:2602.16710, 2026.