# OpenEgo：一个用于灵巧操作的大规模多模态第一人称视角数据集 Ahad Jawaid $^{1,2}$ Yu Xiang $^{1}$ $^{1}$德克萨斯大学达拉斯分校计算机科学系 $^{2}$Physical Automation公司 ## 摘要 第一人称视角的人类视频为模仿学习提供了可扩展的演示数据，但现有数据集往往缺乏细粒度的、时间上定位精确的动作描述，或是灵巧手部标注。我们推出的OpenEgo是一个多模态第一人称视角操作数据集，包含标准化的手部姿态标注以及与意图对齐的动作基元。OpenEgo整合了来自六个公开数据集的共1107小时数据，涵盖600多个环境中的290种操作任务。我们统一了手部姿态格式，并提供了带有时间戳的描述性动作基元。为了验证其实用性，我们训练了语言条件化的模仿学习策略来预测灵巧的手部轨迹。OpenEgo旨在降低从第一人称视角视频中学习灵巧操作的门槛，并为视觉-语言-动作学习领域的可复现研究提供支持。所有资源和说明将在发布。 ## 1 引言 大规模数据集推动了语言、语音和视觉领域的泛化能力[^6] [^22]。在机器人操作领域，规模化仍面临挑战，因为收集多样化且标注精准的演示数据成本极高[^16] [^15]。以往的研究尝试从互联网视频中学习[^4]，但这些数据源在视角、手与物体的距离以及运动模式上与机器人部署场景存在差异，这种分布差异会削弱灵巧控制的迁移效果[^15]。第一人称视角视频能缩小这一差距，因为从操作者的视角来看，手和被操纵的物体始终处于画面中[^5] [^3]。 近期的研究凸显了这一方向的重要性。例如，GR00T利用第一人称视角视频来缩小视觉域差异，提升操作的动作定位精度[^2]。与此同时，基于第一人称视角演示的模仿学习越来越依赖3D手部轨迹来指导灵巧技能的训练[^9] [^18] [^7] [^19]。此外，近期关于视觉-语言-动作（VLA）模型的研究显示出一种趋势：将高层动作规划与底层控制策略相结合，比如$\pi_{0.5}$这类分层方法[^8] [^21]，其中高层模块负责预测动作基元，底层模块则执行这些动作。这些趋势共同揭示了一个缺口：缺少一个具备统一手部关节标注、且带有细粒度且与意图对齐的语言标注的大规模第一人称视角数据集。 我们推出的OpenEgo是一个整合了六个公开第一人称视角数据集的综合性数据集，涵盖了厨房任务、装配任务以及日常活动（见表1）[^17] [^12] [^24] [^7] [^1] [^23]。我们将手部姿态转换为统一格式，并添加了带有时间戳、与意图对齐的动作基元。随后，我们训练了语言条件化的模仿学习策略来预测未来的3D手部轨迹。 贡献如下：(1) 我们构建了一个统一的大规模以自我为中心的操控数据集，该数据集包含标准化的21关节手部姿态以及意图对齐的语言标注，涵盖了600多个环境中的290种操控任务。(2) 我们提出了一种专注于灵巧3D手部轨迹预测的评估协议。(3) --- ![Image](images/d85d9e74c634cead3749405e72c099a5f4945763681c1b0db5205632d393914a.jpg)
Figure 1: Illustration of high- and low-level task annotations in OpenEgo.
据我们所知，OpenEgo是迄今为止规模最大的以自我为中心的数据集，它既包含灵巧手部标注，也包含细粒度的语言动作原语，非常适合用于训练世界模型、分层视觉-语言-动作模型以及基础视觉语言模型，能够将以往的研究成果整合为统一的格式。 ## 2 相关工作 基于视频的学习。基于视频的学习为模仿学习提供了大规模数据来源，但通用的网络数据源存在分布差异：它们在视角、手与物体的距离以及运动方面与机器人部署场景存在差异，限制了知识的迁移[^4] [^15]。以自我为中心的视频能确保手部与物体始终可见[^5] [^3]。除了互联网视频外，还有几种方法直接利用带有灵巧操控监督的以自我为中心的演示数据进行学习。EgoDex汇总了大规模的手-物交互数据，包含3D手部关节信息，并将帧级轨迹预测作为学习目标[^7]。EgoMimic利用以手为中心的监督，从以自我为中心的视频中扩展模仿学习，以生成细粒度的操控行为[^9]。Humanoid Policy利用3D手部姿态轨迹来训练灵巧控制器[^18]。MotionTracks提出了适用于少样本模仿的人到机器人迁移的结构化轨迹表示[^19]。这些研究共同表明，手部轨迹标注和以自我为中心的拍摄方式为鲁棒的操控学习提供了一条切实可行的路径。 视觉-语言-动作模型。视觉-语言-动作（VLA）模型的出现进一步凸显了以自我为中心的视频资料的价值。这类模型将大规模视觉-语言预训练与操控相关的动作空间相结合[^16] [^10]。一个典型的例子是GR00T，它引入了以自我为中心的视频资料来缩小分布差异，并提升手-物交互的定位精度[^2]。分层VLA方法证明了用细粒度动作原语标注数据的实用性：高层模块负责预测动作原语，低层模块则执行这些原语[^21] [^8]。这促使人们开发出能将时间上局部化的原语与灵巧操控标注统一起来的数据集。 以自我为中心的数据集。像Ego4D[^5]和EPIC-KITCHENS[^3]这样的大型以自我为中心的数据集虽然注重规模与多样性，但通常缺乏操控所需的灵巧操控标注。HoloAssist包含了详细的交互片段和3D标注，但仅涵盖20种任务[^24]。EgoDex提供了大规模的灵巧操控标签，但没有对齐的语言原语[^7]。HOI4D采集了带有手部姿态的4D物体中心数据，但规模较小[^12]。HOT3D和HO-Cap在实验室环境中提供了高质量的3D标注，但任务多样性有限[^1] [^23]。目前还没有单一的数据源能够同时兼顾规模、任务多样性、细粒度动作原语以及标准化的灵巧操控标注。OpenEgo填补了这一空白，它将六个数据集整合为统一格式，配有意图对齐的语言标注和21关节手部轨迹数据。 ## 3 OpenEgo数据集 概述。OpenEgo将六个以自我为中心的数据源整合为1107小时、1.196亿帧、290个任务以及34.45万条记录（见表1）。这些数据集涵盖10个厨房和610个室内房间，包含24种烹饪食谱及1400个独特物体，涉及至少258名参与者。该数据集既包含短时长演示，也包含长时长演示。 手部关节。我们将所有手部姿态对齐到MANO的21个关节布局中（每个手指4个关节，加上手腕）[^20]，并将最终坐标表示为相机坐标系下的数值。对于缺乏精细标注的数据源（如CaptainCook4D），我们会检测2D关键点[^14]，并利用数据集的内参及逐帧参数进行反向投影。 ---
DatasetHours# Frames# Tasks# Record.Fine-GrainDexterousCoord. frame
CaptainCook4D [^17]545.6M24200✗✗N/A
HOI4D [^12]442.4M164k✗✓Camera
HoloAssist [^24]16617.9M202.2k✓✓World
EgoDex [^7]82990M194338k✗✓Camera
HOT3D [^1]13.33.7M3319✗✓World
HO-Cap [^23]0.6773k364✗✓World
OpenEgo (ours)1107119.6M290344.5k✓✓Camera
Table 1: Egocentric datasets combined to form OpenEgo. “Fine-Grained Annotations” refers to temporal action segments; “Dexterous Annotations” refers to 3D multi-finger/hand-pose labels. The final column reports the source coordinate frame of hand-pose annotations. Distances (where applicable) are measured in meters.
RGB-D流中的像素深度[^17]。给定像素$\mathbf{u} = (u, v, 1)^\top$、深度值z以及内参$\mathbf{K}$，我们便能恢复出相机坐标系下的3D坐标。 $$ \mathbf{X}_{c}\;=\;z\mathbf{K}^{-1}\tilde{\mathbf{u}},\quad\tilde{\mathbf{u}}=(u,v,1)^{\top}. $$ 当数据集提供世界坐标系下的手部姿态及已校准的外参时，我们会通过每帧提供的刚体变换将其转换到相机坐标系下。 $$ \mathbf{X}_{c}~=~\mathbf{R}\mathbf{\Lambda}\mathbf{X}_{w}+\mathbf{t},\qquad(\mathbf{R},\mathbf{t})~\mathrm{f r o m~d a t a s e t~e x t r i n s i c s}[24,~1,~23]. $$ 各数据集的处理流程如下（所有输出均为相机坐标系下的MANO-21关节数据）： • CaptainCook4D [^17]：没有原生的手部姿态数据；需检测2D关键点[^14]，并借助深度信息进行反向投影以获得3D关节坐标（相机坐标系下）。 • HOI4D [^12]：使用已发布的MANO参数；我们可直接获取所提供相机坐标系下的MANO关键点。对于没有姿态数据的帧，我们会采用上述的关键点检测与深度反向投影方法[^12] [^14]。 - HoloAssist [^24]：手部姿态以世界坐标系给出；我们会利用数据集提供的逐帧相机外参将其转换为相机坐标系[^24]。 • EgoDex [^7]：手部姿态已在相机坐标系下；我们将其25关节格式映射为MANO-21格式，即去掉四个非MANO关节并按MANO顺序重新索引[^7] [^20]。 • HOT3D [^1]：MANO手部姿态定义在世界坐标系中；我们先获取关节数据，再利用数据集提供的逐帧外参将其转换为相机坐标系[^1]。 • HO-Cap [^23]：提供了MANO参数；我们计算出MANO关键点，并利用逐帧外参将其从世界坐标系转换为相机坐标系[^23]。 对于所有数据源，我们都会提供二值的可见性掩码，并保留那些被遮挡或缺失的关节数据，这一做法遵循数据集的感知与标注规则[^17] [^12] [^24] [^7] [^1] [^23]。 语言基本单元。我们提供了与意图对齐的语言标注，这些标注由描述性的动作基本单元组成。每个基本单元会指明被操作的物体及对应动作，同时标注从意图开始到结束的绝对时间戳（t_start, t_end）。例如，这类基本单元包括“导航至书桌”、“从盒子里取出GoPro相机”或“右手拉开黑色相机盒拉链，同时左手握住它”。涉及操作的内容会标注执行者信息（left_hand、right_hand、both_hands）；导航类内容则会标注人物及目的地/物体。若物体可明确识别，则直接命名；若无法确定，则通过属性描述。我们仅标注直接观察到的动作，并保留动作之间的空白区间。我们还提供了高层次的任务标签。这一过程适用于所有数据源，包括那些已有细粒度标注但描述存在差异或不完整的数据源[^24]。 ## 4 实验 问题设定。每一帧最多包含两只手，每只手采用统一的21个关节布局（每个手指4个关节加上手腕）。我们将时间t的状态表示为堆叠后的左右手关节$q_t \in \mathbb{R}^{42 \times 3}$，这些关节位于相机画面中。 ---
HorizonAverage Distance (AED) $\downarrow$Final Distance (FED) $\downarrow$DTW $\downarrow$
8 frames (0.5 s @15 fps)0.04910.06330.3918
16 frames (1.0 s)0.07140.07951.1284
32 frames (2.0 s)0.08930.09262.7150
64 frames (4.0 s)0.10450.10766.7975
Table 2: Evaluation on OpenEgo for 3D hand-trajectory prediction at 15 fps. AED: average Euclidean distance; FED: final-step Euclidean distance; DTW: dynamic time-warping distance.
这些关节具有$(x,y,z)$坐标，并对应一个二值可见性掩码$m_t \in \{0,1\}^{42}$。给定RGB观测数据$x_t$、描述预期操作的语言提示$\ell$以及当前的关节状态$q_t$，策略会预测接下来的T个动作$\hat{q}_{t+1:t+T}$，其中T为训练和评估时所用的预测时域长度。 策略与训练。我们采用了先前研究中所用的ViLT策略[^25] [^11]。该模型通过掩码均方误差目标函数进行训练。 $$ \begin{array}{c} \mathcal{L}~=~\displaystyle\frac{1}{\sum_{\tau=1}^{T}\sum_{j}m_{t+\tau,j}}\sum_{\tau=1}^{T}\sum_{j}m_{t+\tau,j}\left\|\hat{q}_{t+\tau,j}-q_{t+\tau,j}\right\|_{2}^{2}, \end{array} $$ 这种目标函数会忽略被m标记为不可见的关节上的误差。由于计算资源限制，我们仅在OpenEgo数据的0.1%子集上进行训练，并留出10%的演示样本用于评估以防止数据泄露。我们使用AdamW优化器[^13]，采用余弦退火学习率调度策略，批量大小为896（相当于$\approx$1344万个采样训练实例），在$2\times$ NVIDIA RTX 4090 GPU上训练15000个梯度步。我们的训练框架遵循先前研究中的设置[^25] [^11]。 评估。我们仅使用标记为可见的关节，在保留的测试集上报告序列预测质量。我们采用三种标准的轨迹评价指标：(i) AED——整个预测时域内的平均欧几里得距离；(ii) FED——最终步骤处的欧几里得距离；以及(iii) DTW——预测关节序列与参考关节序列之间的动态时间规整距离。 结果。表2展示了不同预测时域下的序列预测情况。较短的时域会导致更低的平均误差和最终误差；AED和FED均随时域延长而增大。DTW的增长更为急剧，这反映出其对时序错配的敏感性。DTW的增长速度之所以快于AED/FED，是因为时序偏移在较长的时域内会不断累积，从而增加对齐成本。评估结果表明，在OpenEgo上训练的模型能够有效学习短时域内的灵巧动作，且随着预测时域延长，误差会平滑地增加。这说明该数据集提供了结构化的学习信号，任务难度会随着预测时域的增加而平滑上升。 ## 5 结论 我们推出了OpenEgo，这是一个用于灵巧操作的统一 Egocentric 数据集，它在相机画面中提供了标准化的21关节手部姿态，并配有与意图对齐的语言描述。我们证明OpenEgo能够支持基于语言的模仿学习策略，以实现灵巧的手部轨迹预测。据我们所知，OpenEgo是迄今为止规模最大的、整合了灵巧操作与细粒度语言标注的Egocentric操作数据集。 局限性。(1) 由于遮挡或标签缺失，某些帧中缺少手部关节信息；可见性掩码反映了这一情况。(2) 语言标注是自动生成的，仅经过部分验证；对于较长或模糊的动作，可能会出现时序漂移现象。(3) 对于缺乏灵巧操作标签的数据源，3D关节的质量取决于地标估计器和深度传感设备。(4) 实验仅在OpenEgo的0.1%数据上、针对单一架构进行训练；因此这些结果不应被视为性能上限。 伦理与更广泛影响。OpenEgo是基于公开可用的数据集构建的，每个数据集均按其各自的许可协议使用（见附录A）。潜在的风险包括 Egocentric 视频中的隐私问题以及可能被用于监控。我们通过严格遵守原始数据集的许可协议，并在处提供明确的使用条款来降低这些风险。 --- ## 参考文献 [^1]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv preprint arXiv:2406.09598, 2024. [^2]: Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, et al. Gr00t n1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025. [^3]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018. [^4]: Yilun Du, Mengjiao Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, and Pieter Abbeel. Learning universal policies via text-guided video generation, 2023. [^5]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abraham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Ziwei Zhao, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Christian Fuegen, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4d: Around the world in 3,000 hours of egocentric video, 2022. [^6]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models, 2020. [^7]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. [^8]: Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Manuel Y. Galliker, Dibya Ghosh, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, James Tanner, Quan Vuong, Homer Walke, Anna Walling, Haohuan Wang, Lili Yu, and Ury Zhilinsky. $\pi_{0.5}$: a vision-language-action model with open-world generalization, 2025. [^9]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video. arXiv preprint arXiv:2410.24221, 2024. [^10]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024. ## [^11]: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, and Peter Stone. Libero: Benchmarking knowledge transfer for lifelong robot learning. Advances in Neural Information Processing Systems, 36:44776–44791, 2023 --- [^12]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. [^13]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. [^14]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172, 2019. [^15]: Robert McCarthy, Daniel CH Tan, Dominik Schmidt, Fernando Acero, Nathan Herr, Yilun Du, Thomas G Thuruthel, and Zhibin Li. Towards generalist robot learning from internet video: A survey. Journal of Artificial Intelligence Research, 83, 2025. [^16]: Abby O'Neill, Abdul Rehman, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, et al. Open x-embodiment: Robotic learning datasets and rt-x models: Open x-embodiment collaboration 0. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 6892–6903. IEEE, 2024. [^17]: Rohith Peddi, Shivvrat Arya, Bharath Challa, Likhitha Pallapothula, Akshay Vyas, Bhavya Gouripeddi, Qifan Zhang, Jikai Wang, Vasundhara Komaragiri, Eric Ragan, et al. Captaincook4d: A dataset for understanding errors in procedural activities. Advances in Neural Information Processing Systems, 37:135626–135679, 2024. [^18]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J Yoon, Ryan Hoque, Lars Paulsen, et al. Humanoid policy~ human policy. arXiv preprint arXiv:2503.13441, 2025. [^19]: Juntao Ren, Priya Sundaresan, Dorsa Sadigh, Sanjiban Choudhury, and Jeannette Bohg. Motion tracks: A unified representation for human-robot transfer in few-shot imitation learning. arXiv preprint arXiv:2501.06994, 2025. [^20]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. [^21]: Lucy Xiaoyang Shi, Brian Ichter, Michael Equi, Liyiming Ke, Karl Pertsch, Quan Vuong, James Tanner, Anna Walling, Haohuan Wang, Niccolo Fusai, et al. Hi robot: Open-ended instruction following with hierarchical vision-language-action models. arXiv preprint arXiv:2502.19417, 2025. [^22]: Chengyi Wang, Sanyuan Chen, Yu Wu, Ziqiang Zhang, Long Zhou, Shujie Liu, Zhuo Chen, Yanqing Liu, Huaming Wang, Jinyu Li, Lei He, Sheng Zhao, and Furu Wei. Neural codec language models are zero-shot text to speech synthesizers, 2023. [^23]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. Ho-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction. arXiv preprint arXiv:2406.06843, 2024. [^24]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, et al. Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20270–20281, 2023. ## [^25]: Chuan Wen, Xingyu Lin, John So, Kai Chen, Qi Dou, Yang Gao, and Pieter Abbeel. Any-point trajectory modeling for policy learning. arXiv preprint arXiv:2401.00025, 2023 --- ## 许可证与署名说明 OpenEgo整合了六个公开可用的以自我为中心的数据集。我们遵守每个数据源的许可条款，并在所有发布版本中提供恰当的署名： • CaptainCook4D [^17]：Apache许可证2.0版。 • HOI4D [^12]：知识共享署名-非商业性使用许可4.0国际协议（CC BY-NC 4.0）。 HoloAssist [^24]：社区数据许可协议（CDLA）第2版。 • EgoDex [^7]：知识共享署名-非商业性使用-禁止演绎许可4.0国际协议（CC BY-NC-ND 4.0）。 • HOT3D [^1]：知识共享署名-相同方式共享许可4.0（CC BY-SA 4.0）/ CC BY-NC-SA 4.0（具体取决于子集）。 • HO-Cap [^23]：知识共享署名许可4.0国际协议（CC BY 4.0）。 对于允许再分发的数据集，我们会按照原始许可证要求并注明出处来发布经过处理的标注结果。具体到采用CC BY-NC-ND许可的EgoDex数据集而言，我们的标注文件需经作者许可方可提供，且用户必须首先根据相应许可条款从官方渠道获取原始的EgoDex数据。 所有发布版本均包含许可证文本和署名说明，以确保符合各个数据集的使用条款要求。