综述 # 综述：以自我为中心的多视角图像分析技术：进展、挑战与未来方向 Duc Tri Phan $^{1}$ $^{ID}$ 和 Hong Duc Nguyen $^{2,*}$ $^{ID}$ 越南岘港市阮文灵路254号，Duy Tan大学研究与发展研究所，邮编550000； $^{2}$ 新加坡南洋理工大学电气与电子工程学院，邮编639798，新加坡 通讯作者： ## 摘要 ![Image](images/0fdc9f1f7e473b6b337aab1372c709115737b7272783973d650e9b6758267e6f.jpg) 学术编辑：Jian Wei 以自我为中心的多视角图像分析是指利用佩戴在头部或身体上的多个可穿戴摄像头所采集的同步视频流进行处理，这些视频流能够提供动态现实交互中互补的第一人称视角。与单视角以自我为中心的视觉系统相比，后者可能会受到严重遮挡、运动模糊以及视野受限等问题的影响；而传统的固定摄像头多视角系统则通常假设几何结构固定且环境可控。以自我为中心的多视角系统借助可穿戴设备，能够在开放世界和移动场景中实现更稳健、更灵活的三维理解。在这篇综述中，我们系统梳理了针对可穿戴多摄像头平台的跨视角特征融合、几何一致性约束、开放世界检测、人-物交互建模、动作分割、三维重建以及新视角合成等领域的研究进展。我们详细分析了2024年至2026年间发布的关键数据集，包括HOT3D（来自Project Aria和Quest 3的833分钟同步多视角手/物体交互数据）、MultiEgo（首个用于4D社交场景重建的多以自我为中心数据集）以及Ego-1K（用于动态三维视频合成的大规模12摄像头设备）。同时，我们也探讨了这些技术与大语言模型及视觉-语言模型的结合情况，这种结合可使手部追踪、人-物交互识别以及重建保真度等方面的性能较单视角基线提升15%到30%。不过通过综合元分析我们发现，这种性能提升程度取决于具体任务：对于手部举物等受几何限制较大的任务，性能提升更明显；而对于关键步骤识别等语义识别任务，性能提升则较小，甚至在某些情况下会因简单的视角融合方式而出现负向结果。这些方法涵盖了多视角立体视觉、跨视角学习以及新视角合成等领域的内容，同时也考虑了可穿戴设备的实时性约束。文中还讨论了沉浸式增强现实/虚拟现实、辅助机器人以及健康监测等实际应用，以及运动校准、基准测试多样性以及边缘部署能力方面的挑战。因此，在这篇综述中，我们试图填补一个重要空白——专门聚焦于开放世界环境下的可穿戴多视角系统，整合最新研究成果，为开发更具具身性和持续学习能力的智能体指明未来方向。 收稿日期：2026年6月10日 修订日期：2026年7月9日 接受日期：2026年7月13日 发表日期：2026年7月17日 版权所有：© 2026 作者。 授权方：瑞士巴塞尔MDPI出版社。 本文为开放获取文章 依据知识共享 许可协议的条款与 条件发布，该协议为署名许可（CC BY）。 关键词：以眼动为中心的多视角；跨视角特征融合；多视角立体视觉；人-物交互；新视角合成；开放世界检测；3D手部/物体跟踪；以眼动为中心的动作识别 --- ### 1. 引言 #### 1.1. 以眼动为中心的视觉领域的发展 以眼动为中心的视觉，也被称为第一人称视觉，指的是通过佩戴在人体上——通常是头部或胸部[^1]——的摄像头来采集和分析视觉数据。这种设置能够直接呈现佩戴者与周围环境的交互情况。与传统第三人称（他心视角）计算机视觉不同，后者依赖固定或外部安装的摄像头从独立视角观察场景，而以眼动为中心的视觉则是从用户自身的视角记录动态场景，更贴近人类的自然视觉体验[^2]。此外，可穿戴设备技术的快速发展——比如增强现实/虚拟现实（AR/VR）头戴设备、智能眼镜以及多摄像头装置——也推动了这一领域的进步[^3]。同时，大规模数据集的构建也为该领域的发展起到了关键作用。例如，Ego4D[^4]收集了来自全球74个地点的923名参与者所拍摄的3670小时日常生活视频，极大地丰富了第一人称数据的来源，为具身人工智能（AI）研究提供了支持。Ego4D[^5]进一步拓展了这一方向，提供了同步的以眼动为中心和他心视角的记录，以便更好地理解熟练动作。此外，像HOT3D[^6]这样的开源数据集也已发布，其中包含833分钟同步的多视角手-物交互记录。这些资源提供了高质量、多模态的数据，有助于构建更稳健的模型并进行评估，同时也得益于硬件的小型化和多模态传感器的集成。现代研究平台，如Meta公司的Project Aria眼镜[^7]，集成了高分辨率RGB和单色摄像头、惯性测量单元（IMU）、视线追踪以及本地处理能力。这些特性使得在不受限制的真实环境中采集以眼动为中心的数据成为可能。近期的综述[^3] [^8]指出，以眼动为中心的视觉将计算机视觉、机器学习和认知科学联系在一起，相比静态摄像头系统，它能更深入地揭示人类动作、物体操控以及环境交互的本质。以眼动为中心的视觉的主要优势在于它能够提供沉浸式、以人为中心的感知，这与第一人称体验高度契合。其主要优点包括： - 减少遮挡现象且物体操控的视角更稳定：手部和被操控的物体通常出现在画面中央，因此更容易分析人-物交互（HOI）、识别动作以及学习技能。这些任务在第三人称视角下往往更难完成。 - 自然的具身性和情境感知能力：通过实时捕捉佩戴者的视觉和动作，以眼动为中心的系统能够让人工智能模型推断意图、预测动作并提供情境感知型辅助。这对于增强现实（AR）和虚拟现实（VR）尤为重要，因为数字内容必须能够根据视线方向、手部运动和环境变化做出流畅响应。 - 支持具身智能与人类AI协作：以自我为中心的数据可应用于机器人领域（例如基于人类演示的模仿学习）、辅助技术、健康监测以及社会行为分析。可穿戴系统能够充当记忆辅助工具，提供分步指导，或提升培训和制造环境中的生产效率。 - 为混合式及多视角系统奠定基础：尽管早期的单摄像头方案面临运动模糊和视野受限等挑战，但如今这些局限正通过可穿戴多摄像头系统逐步得到解决。此类系统能够在动态的现实场景中实现更可靠的3D重建、新视角合成以及跨视角特征融合。 --- 综上所述，在大规模数据集、先进的可穿戴硬件以及共享的社区基准测试的推动下，自我中心视觉迅速发展，这使得第一人称感知成为下一代沉浸式与交互式AI系统的核心技术。它将计算机视觉的关注点从被动观察转向主动的具身理解，对AR/VR、机器人技术以及以人为中心的计算领域具有重大意义。 #### 1.2. 单视角自我中心方法的局限性 尽管单目自中心视觉在沉浸式交互方面具有快速发展和独特优势，但它仍存在若干固有局限性，这些局限严重阻碍了其在动态、开放世界环境中的场景理解能力。其中最突出的挑战之一就是严重的运动模糊现象，这种现象源于第一人称活动中常见的头部和身体快速运动。剧烈的头部转动和向前移动会导致摄像头迅速移动，进而产生模糊的帧画面，降低视觉特征的质量，使得物体识别、手部追踪以及动作分割等任务变得更加困难。多项研究[^9] [^10]一致指出，与第三人称视角相比，运动模糊是导致自中心视频中追踪性能下降的关键因素。另一个关键问题是频繁且严重的物体遮挡现象。在自然交互过程中，佩戴者的双手、手臂或所操作的物体常常会部分或完全遮蔽场景，尤其是在近距离的人体-物体交互（HOI）中。此外，视角的动态变化还会导致物体或身体部位暂时从视野中消失，随后又重新出现，从而造成信息碎片化且不完整。相关调查[^11] [^12]强调，遮挡是自中心视频中的主要挑战，它会严重干扰姿态估计、追踪及场景理解模型的准确性和稳定性。 furthermore，视点的多样性进一步加剧了这些问题。通常安装在头部或身上的自中心摄像头会因佩戴者的自然运动而产生连续且不可预测的视角变化。这导致了异常的视角、有限的视野范围、极端的尺度变化以及快速的前景-背景切换，进而引发显著的外观变化，并降低了用于可靠三维推理的视差信息[^13]。这种多变性使得跨帧保持一致的物体或手部表征变得困难，也限制了单目深度估计或SLAM技术的有效性，往往会导致尺度漂移和三角测量误差。这些局限性共同影响了下游任务的性能，包括三维手部与物体追踪、人体-物体交互识别以及新物体检测。例如，在Ego4D和HOT3D等数据集上的基准测试[^14] [^15]表明，单目方法在处理杂乱背景、自身遮挡以及快速运动时表现不佳，在手部姿态估计和物体六自由度（DoF）追踪方面的误差率往往高于多视图方法。总之，虽然单目自中心系统能提供宝贵的第一人称视角信息，但其对运动模糊、遮挡以及极端视角变化的敏感性限制了其在真实、无约束场景中的可靠性。这些不足促使了自中心多视图系统的出现，这类系统利用可穿戴多摄像头设备提供的互补视角，通过几何一致性和冗余性来提升系统的鲁棒性。 --- #### 1.3. 自中心多视图系统的兴起 为了克服单视角自中心视觉方法固有的局限性——比如严重的运动模糊、频繁的自遮挡以及极端的视角变化——研究人员越来越多地转向将多个同步摄像头集成到可穿戴设备中的自中心多视角系统 [^16] [^17]。图1展示了从单视角自中心设置向多视角配置的发展过程，包括配备多角度摄像头的头戴式装置以及身体佩戴的摄像头阵列。这些系统能够从佩戴者的视角捕捉互补的视图，提供冗余信息和几何约束，从而增强在动态开放场景中的鲁棒性。此类系统的出现得益于硬件小型化的进步以及面向研究的可穿戴平台的普及。一个典型的例子是Meta公司的Project Aria眼镜——这是一种轻量级的AR/AI研究原型，配备了多个RGB和单色摄像头、惯性测量单元、视线追踪功能以及场景点云数据。当它与配备双前置摄像头的消费级Meta Quest 3 VR头盔结合使用时，就能实现适合实际部署的同步多视角自中心数据采集。使用Aria和Quest 3录制的HOT3D数据集正是这一趋势的体现：该数据集包含了超过833分钟（即370多万张图像）的同步多视角流，专注于三维手部和物体跟踪，充分证明了多视角方法相比单视角基线在性能上的显著优势。除了头戴式配置外，定制化的可穿戴多镜头阵列和身体佩戴的装置也拓展了应用可能性。近期值得注意的成果包括Ego-1K数据集 [^18]，它采用定制的头戴装置，将配备4个摄像头的Quest 3 VR头盔与另外12个同步工作的RGB鱼眼摄像头相结合，生成近1000段短视频，相当于约49.1万帧画面，专门用于神经三维视频合成和动态场景理解。像MultiEgoView [^16] 和MultiEgo [^19] 数据集中的身体佩戴多摄像头装置则通过在头部、骨盆、手腕和膝盖等多个部位放置同步摄像头来进一步扩大覆盖范围。这些装置利用GoPro摄像头或类似传感器，配合动作捕捉服以提供真实标注数据，从而能够提升全身姿态估计和四维社交场景重建的能力，同时减少下半身部位及远距离交互时的遮挡问题。这类自中心多视角系统的核心优势在于互补的视角，如图2所示。虽然单个头戴式摄像头在近距离操作时常会因手部遮挡或视野受限而受到影响，但安装在头部或身体其他部位的额外摄像头能提供不同的角度，从而恢复可见性 [^20]，改善用于深度估计的视差效果 [^21]，并确保不同视图间的几何一致性 [^22]。这种冗余不仅有助于抑制噪声和运动伪影，还能支持诸如跨视图特征融合 [^23]、多视角立体成像 [^24]，以及在高度动态环境中进行新视角合成的神经渲染技术 [^25]。本质上，向可穿戴多视角鱼眼镜头和身体佩戴装置的转变标志着自中心视觉领域的重要演进。通过利用多个同步视角，这些系统直接弥补了单视角方法的不足，为在不受限制的真实世界环境中实现更可靠的三维理解、人机交互建模以及具身人工智能应用奠定了坚实基础。 --- ![Image](images/54761797b560b76595cc7a86bf17f797726a246cf4e183b7f996f77aff89a351.jpg)
Figure 1. Comparison of visual perception perspectives. (A) Single egocentric view showing hand–object interaction with typical occlusions and limited field-of-view. (B) Multi-view egocentric setup using head-mounted and body-worn cameras for complementary perspectives. (C) Fixed multi-camera system in a controlled environment with static geometry. (D) Hybrid setup combining first-person and external viewpoints.
![Image](images/d8d2b679355dedca9626170538b49dc2e238a55f6f607d8620a1395bc429a0df.jpg) ![Image](images/9a1a814edc7e5a60eef7944fd005a054aa3990d90aeed329cf4e6a09846d41fc.jpg)
Figure 2. Multi-view egocentric system advantages. (Left panel): Single-view egocentric camera suffers from hand occlusions, motion blur, and limited field-of-view. (Right panel): Multi-view wearable rig (head-mounted plus body-worn cameras) provides complementary observations, enabling robust 3D understanding through cross-view fusion and geometric consistency. Color-coded regions highlight how multiple viewpoints resolve occlusions and improve visibility.
#### 1.4. 与更广泛的多视角图像分析技术的关系 以自我为中心的多视角图像分析是在计算机视觉领域传统多视角技术的基础上发展而来的，同时由于数据具有动态性、可穿戴性和第一人称特性，该技术也引入了独特的适应性改进。传统的多视角图像分析，包括多视角立体成像（MVS）[^26] [^27]、光场成像[^28] [^29]以及跨视角融合[^30] [^31]，主要聚焦于受控环境中的静态或刚性校准的相机设置，比如摄影棚拍摄或基线固定的户外场景。多视角立体成像旨在通过建立对应关系来重建密集的3D几何结构。 --- 从多个视角出发，同时保证光度一致性和极线几何约束。传统的多视图立体匹配流程[^32] [^33]以及基于学习的变体[34–36]在DTU[^37]、Tanks and Temples[^38]和Middlebury[^39]等基准测试中取得了显著成果。在以自我为中心的多视图系统中，虽然应用了类似原理，但必须适应连续的相机运动、由头部或身体动作引起的非刚性形变，以及手部或近距离物体造成的频繁遮挡现象。HOT3D[^6]等数据集表明，通过利用额外的视差和冗余信息，多视图以自我为中心的输入能够比单视图基线方法更有效地提升三维手部追踪和6自由度物体姿态估计能力，从而将立体约束成功应用于高度动态的可穿戴设备。与此同时，光场成像能够捕捉完整的四维全光函数，包括空间与角度上的光线分布，从而实现高保真的新视角合成与重新对焦。传统光场装置[^40] [^41]通常采用基线较短的密集相机阵列，而以自我为中心的多视图系统则通过稀疏且基线较宽的可穿戴相机（例如Ego-1K中的12相机装置）来近似光场特性。这种适配为3D高斯泼溅[^42]或NeRF变体[^43]等神经渲染技术提供了支持，可用于动态四维场景重建，正如MultiEgo数据集中针对社交互动的研究所示。然而，可穿戴设备中的巨大视差和快速自身运动带来了静态光场采集中未曾出现的挑战，因此需要强大的跨视图对齐与运动补偿机制。最初为多摄像头监控[^44] [^45]或自动驾驶[^46] [^47]开发的跨视图特征融合技术，能够对不同视角的信息进行对齐与整合，进而生成视角不变的特征表示。在以自我为中心的领域，这些方法演化为可变形注意力机制和基于Transformer的架构，能够同时建模时间维度与跨视图上下文信息。例如，姿态估计中的可变形立体注意力[^48]或单视图到双视图适配中的基于注意力的融合[^49]，均利用极线几何约束和跨视图共识来缓解遮挡与深度歧义问题。主要差异在于操作约束：传统多视图技术通常假设相机标定已知且固定，场景为静态或缓慢运动；而以自我为中心的多视图系统则必须在连续运动下实时完成视图间校准，应对由自身运动引起的剧烈外观变化以及开放世界中的多样性挑战。这催生了混合范式，将传统的几何线索（如极线一致性、三角测量）与现代基于学习组件（如视觉Transformer、神经渲染）相结合[^50] [^51]，从而在可穿戴设备的实际应用场景中实现稳健的性能表现。总而言之，以自我为中心的多视图图像分析是更广泛多视图技术的自然延伸，它继承了立体匹配、光场渲染和跨视图融合的核心原理，同时针对移动性、动态性和第一人称视角等挑战进行了创新。这种协同作用直接契合本期特刊聚焦于新兴可穿戴场景中多视图图像分析技术的宗旨。 #### 1.5. 本综述的范围与贡献 这篇深度综述聚焦于近年来在中心视角多视图图像分析领域的最新进展，尤其着重探讨了面向开放世界场景、实时可穿戴设备部署以及混合多模态理解的技术。与以往将多视图问题仅作为中心视角视觉研究中的次要内容来处理的综述不同，本文专门且系统地探讨了利用同步可穿戴多摄像头系统来解决第一人称动态环境中独特挑战的方法。本文的研究范围主要涵盖 2024 年至 2026 年间发表的文献，这一时期恰好有重要的多视图中心视角数据集及相关方法问世。其中关键的数据集包括：HOT3D（2025年发布），它提供了超过 833 分钟的同步多视图流数据，用于日常交互场景中的三维手部与物体跟踪。 --- 动作场景 [^6]；MultiEgo（2025年发布），首个专为社交互动中的四维动态场景重建而设计的多中心视角数据集 [^19]；以及 Ego-1K（2026年发布），该数据集采用定制的 12 摄像头装置采集了近 1000 段短视频，可用于神经三维视频合成与动态理解 [^18]。这一时间范围的设定是刻意的选择，并非忽略了早期的研究成果：基于立体视觉的深度评估的准确性和稳定性在 2000 年代和 2010 年代的传统多视图立体视觉文献中已有详尽论述[26,27,52–54]，第 1.4 节也会进一步讨论相关内容。本文并不打算重述那些早期关于深度精度的分析，而是重点探讨在可穿戴设备的限制下——即持续的自身运动、非刚性的视图间基线以及严重的手部遮挡——这些因素如何相对于传统基础重新塑造深度估计与遮挡处理机制；也正因如此，遮挡问题而非单纯的立体深度精度，才被视作本文的核心技术主线。这些数据集推动了在开放世界任务中的重大进展，这类任务中常常涉及新奇物体、交互方式及环境。我们重点关注能在实时可穿戴约束下运行的技术，包括轻量级的跨视图特征融合、高效的几何一致性约束机制，以及针对功耗和散热受限的 AR/VR 设备优化的边缘神经网络渲染技术。此外，本文特别重视那些将来自多个中心视角的视觉线索与其他模态（如运动传感器、眼动追踪数据、音频信息）相结合，再借助视觉语言模型（VLM）或大型语言模型（LLM）来增强上下文推理能力的混合理解方法。本文的主要贡献有三点：首先，它首次专门针对可穿戴多摄像头系统中的中心视角多视图图像分析进行了系统性的综述，重点探讨了面向开放世界场景、边缘设备实时约束以及混合多模态理解的技术；其次，它总结了 2024 至 2026 年间由 HOT3D、MultiEgo 和 Ego-1K 等关键数据集推动的快速进展，强调了通过跨视图融合、几何一致性和神经渲染相较于单视图方法所取得的一致性能提升；第三，它填补了现有文献中的重要空白。近期关于中心视角视觉的综合综述 [^3] [^8] [^55] 虽然对单视图及多模态中心视角研究做了出色的概述，但往往只是简要提及多视图技术——通常将其视为次要扩展内容，或归入跨视图理解小节中讨论。通过聚焦可穿戴多镜头阵列及人体携带的设备，本文回应了现实世界中动态场景下对鲁棒且能互补视点的方法的迫切需求，这些方法可直接弥补单视图方法存在的已知局限。 ### 2. 背景与技术挑战 #### 2.1. 以自我为中心的多视角数据的独特属性 以自我为中心的多视角数据具有几项显著特性，这些特性使其既区别于单视角以自我为中心的录制数据，也不同于传统的固定摄像头多视角数据集。这些特性直接源于采集系统的可穿戴属性——通常是头戴式或身体佩戴的多摄像头装置——以及其应用所处的高度动态、第一人称交互场景。其主要特征之一是动态的视角间错位。与相对摄像头姿态固定的静态多摄像头设置不同，以自我为中心的多视角系统会因头部转动、身体运动和移动而产生视角间几何关系的持续变化[^55]。这导致外部参数随时间变化、基线距离大且快速改变，以及各视角间的非刚性形变。例如，在手部与物体交互过程中，轻微的头部倾斜就可能导致摄像头相对位置的显著偏移，从而打破传统多视角立体匹配流程所依赖的刚性校准假设。HOT3D[^6]和Ego-1K[^18]等数据集生动地展现了这一挑战：同步的多视角流必须应对持续的身体运动所带来的干扰。 --- 尽管动态错位看似难以处理，但以自我为中心的多视角数据却为提升鲁棒性提供了极大的冗余性。多个互补的视角能为同一场景元素提供不同的观测结果，从而缓解单视角以自我为中心系统中常见的严重自遮挡、运动模糊以及视野受限等问题[^56]。当某个摄像头视角因佩戴者手部遮挡或因头部快速运动而产生模糊时，位于不同角度的其他摄像头往往能捕捉到更清晰或更完整的信息。这种冗余性使得通过跨视角共识机制实现更可靠的特征匹配、深度估计和物体跟踪成为可能。多视角图像分析的其他独特特性还包括近距离且杂乱的交互场景。在第一人称活动中，手部和被操纵的物体占据前景，形成尺度变化频繁且外观差异极大的杂乱场景[^57]。不过，多视角设置能提供更丰富的视差线索和多角度观测结果，从而比单目输入更有利于三维推理。此外，这类数据本质上是多模态的，通常还伴有同步的IMU测量数据、视线信息，有时还有音频，这为混合融合策略的应用开辟了道路[^58]。总而言之，虽然动态错位带来了显著的校准与对齐难题，但以自我为中心的多视角数据所具备的内在冗余性和互补视角，为克服单视角以自我为中心视觉的核心局限提供了强大助力。这些特性构成了跨视角特征融合、几何一致性约束以及在开放世界可穿戴环境中实现鲁棒三维理解等先进技术的基础。 #### 2.2. 核心技术挑战 虽然以自我为中心的多视角数据提供了宝贵的冗余信息和互补视角，但要将其潜力充分发挥于实际应用中，仍需克服若干严峻的技术挑战。其中，最基础的难题便是视图间的校准与同步，尤其是在头部或身体运动的情况下。在可穿戴多摄像头系统中，由于快速的头部转动、身体移动和行走动作，摄像头之间的相对姿态会持续变化[^59]。传统上假设几何结构固定的离线校准方法在此场景下不再可靠，因此亟需能够应对非刚性变形与时变外部参数的在线或自适应校准方法。视图间的同步同样至关重要；即便细微的时间偏差也会破坏几何一致性，尤其在高帧率或快速运动场景下更是如此。HOT3D [^6] 和 Ego-1K [^18] 等数据集表明，同步不完美以及运动引起的错位会严重干扰立体匹配和三维重建流程。此外，噪声增强、手部遮挡以及杂乱的背景进一步加剧了这一问题。近距离的第一人称交互会导致手部和被操纵物体占据前景，从而引发频繁且严重的自遮挡现象；这种情况在多摄像头同时捕捉同一交互过程的局部或高度遮挡视图时尤为明显，甚至比单视角场景更为糟糕。由于自身运动产生的运动模糊在多个视角下会被放大，而杂乱的室内外背景则引入了显著的视觉噪声和干扰物[^59]。这些因素都会降低特征质量，增加建立可靠的跨视角对应关系的难度。长期以来，大规模同步多视角自我中心数据集的匮乏阻碍了相关技术的进步。直到最近，大多数自我中心数据集仍侧重于单视角记录（如 Ego4D [^4]），多视角覆盖有限。尽管 HOT3D [^6]（833分钟）、MultiEgo [^19] 和 Ego-1K [^18] 等新数据集开始填补这一空白，但相较于单视角或固定多摄像头基准数据集，其总体规模和多样性仍显不足。这种稀缺性限制了大规模模型的训练，也使得在不同可穿戴配置及环境下评估模型的泛化能力变得困难。 --- 另一方面，边缘设备或可穿戴硬件对实时性的严格要求给计算复杂度带来了极大限制，因为 AR/VR 设备和智能眼镜需在有限的功耗、散热及内存条件下运行。复杂的多视角融合网络、神经渲染或基于Transformer的跨视角注意力机制必须经过优化才能满足设备端推理的需求，这通常涉及模型压缩、高效的注意力设计或混合边缘-云端架构。要在保持低延迟的同时实现高精度，例如每秒30帧及以上，仍是一项重大的工程挑战[^60]。最后，开放世界中对新物体和交互的需求要求模型具备超越封闭类别集的强泛化能力。可穿戴系统必须在不受约束的日常场景中检测、跟踪并理解此前未见过的物体及人机交互模式。这就需要我们采用持续学习或增量学习策略，借助视觉语言模型实现零样本识别能力，并利用多视角几何线索进行强力正则化，以防止灾难性遗忘并提升模型在分布外数据上的表现[^61] [^62]。要解决这些相互关联的挑战，必须创新性地综合运用几何约束、跨视角冗余和多模态信号，同时兼顾可穿戴设备部署的实际限制。 #### 2.3. 与固定多摄像头及自我中心-外部视角配置的比较 从摄像头移动性、几何约束、环境多样性以及实际应用性来看，以自我为中心的多视角系统与传统的固定多摄像头配置及混合配置存在显著差异。固定多摄像头系统通常用于摄影棚环境或受控实验室场景，其摄像头被刚性安装，相对姿态固定且已知。这种刚性特点使得经典的多视图立体匹配（MVS）[^34] [^50]、光场渲染[^40] [^41]以及光度一致性技术[52–54]能够直接应用，往往能生成高精度的三维重建结果和密集的对应关系。然而，这类配置的移动性和环境适应性有限；它们通常局限于视点受限的室内场景，无法捕捉日常开放环境中自然、非脚本化的人类活动。由于缺乏自身运动数据，它们也缺失理解第一人称交互、意图以及手-物体操作所需的关键动态线索。相比之下，混合配置将一台或多台可穿戴摄像头与多台外部第三人称摄像头相结合，例如Ego-Exo4D[^5]以及各种移动多摄像头装置[^63] [^64]。这些混合系统提供了互补的视角：自我中心视角能够捕捉精细的手-物体交互细节以及佩戴者的即时视野，而外部摄像头则能提供更广阔的场景上下文、减少自身遮挡现象，并实现更稳定的全身可见性。自我中心-外部视角配置有助于跨视角转换、技能学习，以及在包括户外场景在内的各种环境中提升三维手部追踪效果。不过，它们需要协调可穿戴摄像头与固定摄像头之间的同步，往往依赖外部基础设施（如三脚架固定或背包支撑的外部摄像头），从而牺牲了完全的可穿戴性和无束缚的移动性。与完全受控的固定摄像头实验室相比，在不受限的真实场景中获取数据集的基准真值更具挑战性。纯粹的自我中心多视角系统，比如使用Project Aria眼镜和Quest 3在HOT3D中采集两到三个同步的自我中心视角[^6]，或是利用MultiEgo进行4D社交重建的多自我中心视角采集[^19]，还有在Ego-1K中部署的12摄像头头戴式装置，都优先考虑完全的可穿戴性和自然的第一人称场景捕捉能力。所有摄像头会随着佩戴者一同移动，这虽然会带来动态的视图间错位和时变的外参变化，但也能通过互补的可穿戴视角提供固有的冗余性，无需依赖外部基础设施[^65]。这种设计能够—— --- 在开放世界和日常活动中，可穿戴设备能够实现真正的无束缚部署，同时始终以用户为中心进行理解。不过代价是在线校准、运动补偿以及连续自身运动下的跨视图融合所需的算法复杂度显著增加——这些挑战在固定式系统中基本不存在，而在混合系统中虽能部分缓解却无法完全消除 [^66] [^67]。总体而言，固定式多摄像头系统在受控环境中具有出色的几何精度，但缺乏真实感和移动性；以自我为中心的外部摄像头系统则通过增加环境信息丰富了场景内容，不过部署复杂度也随之提高。纯自我中心多视角方案在现实世界的可穿戴应用中具备实现可扩展的具身人工智能的最大潜力，尽管其对稳健的动态对齐和实时处理的要求也最为苛刻。这些差异凸显出为何针对自我中心多视角数据的技术——如可变形注意力机制和混合几何学习方法——至关重要，同时也需要对这一新兴领域进行深入探讨。 ### 3. 数据采集系统与硬件 #### 3.1. 头戴式多视角装置 头戴式多视角装置是采集自我中心多视角数据最常见且最实用的方式，它们既能保持自然的第一人称视角，又无需外部基础设施即可提供多个同步视点。 一个典型的例子是HOT3D数据集中使用的Meta Project Aria眼镜与Meta Quest 3 VR头显的组合 [^6]，如图3所示。Project Aria是一款重量仅75克的轻量级AR/AI研究原型设备，专为长时间舒适佩戴及机器感知而设计。在HOT3D采集配置中，它配备了一台高分辨率RGB摄像头（1408×1408像素，110°视场角，采用鱼眼镜头）和两台全局快门单色摄像头（640×480像素，150°视场角），此外还有眼动追踪摄像头、双运动传感器以及来自视觉里程计的场景点云数据。广泛普及的消费级VR头显Quest 3则提供了两台单色摄像头（1280×1024像素）。所有视频流均以30帧/秒的速度同步，最终生成超过833分钟（150万帧多视角画面，超过370万张独立图像）的手部与物体交互数据，这些数据来自19名受试者与33种不同物体的互动过程。 Ego-1K [^18] 数据集中采用了另一种先进的头戴式配置，该配置使用定制装置：以一台基于Quest 3的VR头显为中心，周围环绕12台同步工作的RGB鱼眼摄像头，总计16台摄像头。由此产生了956段短视频（每段约6.7–9.7秒，总计约49.1万帧），视频中的图像经过校正，分辨率为1280×1280像素，水平视场角达120°。这种密集的多摄像头布局专门为满足神经3D视频合成、动态场景理解以及从自我中心视角进行自由视点渲染的需求而设计。这类头戴式装置具有多项优势：时间同步性强、传感器位置相近便于校准，且与佩戴者的视线及头部运动自然对齐。不过，紧凑的外形限制了摄像头之间的距离，因此需要借助先进算法来处理近距离交互中的小视差问题，同时利用摄像头间的冗余性来提升系统的鲁棒性。 --- ![Image](images/304b1e7c027b57a8a96b16e4b7dda954bbcff9cc724aa524aad6fa8221263437.jpg)
(A) Meta unveils HOT3D Dataset
(B) Ego-1K Multiview Video Dataset
Figure 3. (A) Meta Project Aria glasses [^7] combined with Meta Quest 3 (HOT3D setup): Aria provides RGB and monochrome cameras with gaze tracking and motion sensors; Quest 3 adds dual monochrome front cameras. (B) Ego-1K [^18] 12 + 4 camera rig: A 4-camera VR headset core surrounded by 12 synchronized RGB fisheye cameras mounted in a spherical arrangement.
#### 3.2. 身体佩戴式与多用户系统 虽然头戴式设备能提供以佩戴者视线为中心、涵盖手部交互的丰富第一人称视角，但可穿戴式多摄像头系统能够将覆盖范围扩展至下半身区域、全身动作以及多用户社交互动场景——这些在仅使用头戴式设备的系统中往往会被遮挡或超出视野。这类系统通常将同步摄像头的分布在不同身体部位（如头部、骨盆、手腕和膝盖），从而提供类似 $360^{\circ}$ 的更完整的自我中心视角覆盖，能够支持全身姿态估计、下半身动作识别以及社交场景中的4D动态场景重建等高级应用。在多用户领域的一个典型例子就是MultiEgo数据集 $^{[19]}$，它是首个专为真实社交互动场景下的4D动态场景重建而设计的多视角自我中心数据集。MultiEgo记录了多名参与者在集体活动中佩戴可穿戴式或头戴式摄像头所拍摄的同步多自我中心视频流。通过同时从多个第一人称视角进行录制，便可重建涉及多人与物体互动的动态4D场景，从而支持自由视点视频合成、社交活动的全息记录以及多人人机交互理解等任务。该数据集还包含高精度的3D姿态与场景几何标注，弥补了单自我中心或固定多摄像头设置在捕捉自然、非脚本化的多用户动态方面的不足。与MultiEgo互补的是MultiEgoView数据集，它与EgoSim模拟器 $^{[16]}$ 一同发布，专注于可穿戴式配置：在头部、骨盆、左右手腕以及左右膝盖等关键位置部署六台同步的GoPro摄像头。该数据集包含13名参与者执行的35种不同动作的5小时真实世界录像（采用BABEL分类法 $^{[68]}$ 进行标注），并辅以源自AMASS动作序列 $^{[69]}$ 的虚拟环境中生成的119小时高精度模拟数据。通过Xsens动作捕捉服提供的真实全身3D姿态数据，可精准评估多视角姿态估计与运动伪影建模效果。这种配置在下肢追踪及相关活动分析方面尤为有效。 --- 仅靠头戴式摄像头就会出现严重的自身遮挡问题。与纯头戴式设备相比，可穿戴式及多用户系统具有明显优势：它们能提供更广阔的空间覆盖范围，更清晰地呈现佩戴者自身的身体（尤其是腿部和躯干），并为社交场景理解提供更丰富的个体间几何约束。不过，这类系统也带来了额外挑战，包括由于身体非刚性变形导致的更复杂的摄像头校准问题、分布式传感器间更高的同步要求，以及更大的数据量。在实际应用层面，一个反复出现的问题是：这些采集系统能在多大程度上摆脱昂贵且专为研究设计的硬件束缚？MultiEgo已经朝着这个方向迈出了一步：与Aria或Ego-1K设备不同，它完全基于RayNeo X2智能眼镜实现数据采集——这是一款面向消费者的安卓AR设备，配备单台1080p/30 FPS摄像头并支持Wi-Fi连接，而非实验室原型机。而EgoKit [^70]则更加轻便且异构性更强，这款诞生于2026年的工具包将同样的可穿戴多视角理念延伸到了日常消费电子产品中：它针对安卓手机、iPhone以及消费级XR头盔提供了统一的以自我为中心的加手腕视角录制工作流程；只需将这些主机设备与两台市售的USB手腕摄像头、头带以及USB-C集线器搭配使用，无需定制支架或实验室动作捕捉系统即可获得多视角数据。这类低成本且兼容智能手机的平台直接与消费者端的部署需求相契合，因为它们用广大用户和研究团队早已拥有的硬件，取代了Aria/OptiTrack或专用多摄像头设备所具备的亚毫米级校准精度，因此在评估现实世界中的大众市场场景时，它能作为上述高精度但高成本的系统的有益补充。 #### 3.3. 传感器模式与同步 以自我为中心的多视角系统整合了多种传感器模式，以支持稳健的感知、几何推理和多模态融合。主要的视觉模式包括RGB摄像头和单色摄像头。用于HOT3D [^6]的Project Aria眼镜配备了一台高分辨率卷帘快门RGB摄像头（1408 × 1408像素，110°视场角），可提供彩色信息；同时还有两台全局快门单色摄像头（640 × 480像素，150°视场角），能输出高对比度、低延迟的图像，非常适合跟踪和SLAM任务。Quest 3则额外配备了两台单色摄像头（1280 × 1024像素）。相比之下，MultiEgo [^19]在RayNeo X2 AR眼镜上采用了消费级RGB摄像头（1920 × 1080分辨率，30 FPS）；而Ego-1K [^18]在其由12台摄像头组成的设备中使用了多台RGB鱼眼摄像头。辅助性的非视觉传感器则能增强对时间和空间的理解。惯性测量单元（IMU）可提供高频的加速度和角速度数据（Aria设备通常配备双1 kHz IMU），从而实现运动补偿和自我速度估算。Project Aria通过两台内置的红外照明单色眼动追踪摄像头实现了视线追踪功能，能输出每帧的视线向量，这对于注意力建模、意图预测以及中央凹处理至关重要。由机载SLAM生成的3D场景点云则为重建和跟踪任务提供了密集的几何上下文。 此外，同步与校准流程对于保持异构传感器间的几何与时间一致性至关重要。在HOT3D系统中，所有图像流、注视信号和点云数据均以30帧/秒的速率进行硬件级同步，且精度达到亚毫秒级 [^6]。具体而言，这是通过共享的硬件触发信号来实现的。Aria和Quest 3的传感器流水线由同一个电子触发器驱动，从而确保所有机载摄像头能在完全相同的物理时刻拍摄每一帧画面。这种方式无需再对独立运行的时钟进行事后校准。随后，来自外部OptiTrack动作捕捉系统的光学标记流，会借助共享的SMPTE时间码与这些硬件触发的图像时间戳对齐。 --- 录制设备与动作捕捉系统之间会通过该时间码来同步。内参和外参（包括任意两个传感器之间的6自由度变换关系）均在制造过程中预先计算好，并存储在录制文件中。对于像MultiEgo这样的可穿戴式多用户系统，采用服务器-客户端Wi-Fi架构，利用与协调世界时同步的时间戳来实现亚毫秒级的时间对齐 $^{[19]}$。这是一种基于软件的不同方案：无需共享物理触发线，只需将一部智能手机设为Wi-Fi热点，通过无线网络向所有RayNeo X2客户端广播统一的开始/停止信号。每副眼镜在接收到广播后便开始独立录制，并用其本地时钟为每一帧视频和陀螺仪采样打上时间戳，该时钟的精度可达100纳秒级别，且与协调世界时保持一致。随后通过匹配各设备的时间戳来实现亚毫秒级的跨视角对齐，这与HOT3D系统中捕获时即保证同步的硬件触发方式有所不同。校准过程采用运动恢复结构技术来估算内参，并通过将场景锚定在固定物体上来确保坐标系统的一致性。这两种方案代表了多视角自我中心同步的两大主流策略。硬件触发通过共享触发信号来强制实现摄像头的同步曝光，该方法要求设备具备可用的触发接口，因此非常适合Aria+Quest 3这类单人使用的实验室级装置。相比之下，Wi-Fi广播结合精确的设备级时间戳的方式虽然放宽了对同步性的严格要求，却换来了更大的灵活性：它能自然支持多个独立的、现成的佩戴者通过无线网络连接，不过这种方式需依赖精确的时钟校准，而非共享硬件。 #### 3.4. 真实数据获取（动作捕捉与三维扫描） 准确的真实标注对于训练和评估以眼为中心的多视角技术至关重要，尤其是在3D手部与物体跟踪、姿态估计以及重建任务中。近期数据集中的采集流程结合了专业动作捕捉（mocap）系统与高精度3D扫描技术，以提供可靠的3D姿态、形状和网格数据，同时尽量减少对自然交互的干扰。在HOT3D数据集中，真实数据的采集遵循严格的实验室协议 [^6]。参与者的双手以及33个刚性物体上会贴上小型光学标记点。这些标记点通过安装在专用录制空间内的专业多摄像头动作捕捉系统（OptiTrack）进行追踪，该空间配备了红外摄像机和光线漫射板以应对光照变化。这种设置能够以高时间分辨率提供亚毫米级的精准3D姿态数据。手部标注采用UmeTrack和MANO两种标准格式，从而兼容各类手部建模与跟踪方法。对于物体而言，利用自主研发的3D扫描仪生成具有基于物理的渲染（PBR）材质的高保真3D网格，能够精确捕捉其几何结构与表面特性。最终生成的标注数据包括手部、物体及摄像机的3D姿态，为手部-物体联合跟踪基准测试提供支持。可穿戴式及多用户系统也采用了类似策略，同时还需考虑全身覆盖的需求。在MultiEgoView数据集 [^16] 中，参与者会穿着Xsens动作捕捉服，以便在现实场景录制过程中获取精准的全身体3D姿态。该数据集的合成部分则利用AMASS动作捕捉轨迹在Unreal Engine中驱动虚拟化身，并加入模拟传感器噪声以实现更真实的评估。MultiEgo数据集 [^19] 进一步扩展到多人社交场景，通过同步各参与者的动作捕捉数据来标注动态的4D交互过程及场景几何结构。至于侧重于神经3D视频合成而非精细手部-物体跟踪的Ego-1K数据集 [^18]，其真实数据主要聚焦于摄像机校准与场景一致性方面。实验室校准 --- 借助大型平面目标可实现精准的内参与外参测定，而在数据采集期间定期重新校准则能确保长时间录制过程中的稳定性。场景级的真实数据通常源自多视角重建或SLAM输出，而非基于标记点的动作捕捉。这些采集方法虽然能确保高质量的监督数据，但也存在实际权衡：基于标记点的动作捕捉需要受控环境，且可能会轻微改变自然的手部运动；3D扫描则仅限于刚性或半刚性物体。在多用户场景中，还会面临隐私与可扩展性问题 [^71] [^72]。尽管如此，光学动作捕捉与高分辨率3D扫描技术的结合，仍助力创建了能够可靠证明多视角方法在3D跟踪与重建任务中优于单视角基线的基准测试。 ### 4. 以眼为中心的多视角图像分析中的核心技术 #### 4.1. 跨视角特征融合与几何学习 跨视图特征融合与几何学习一直是通过不同方法实现有效自中心多视图图像分析的基础构件。一种基于Transformer的架构利用自我视角与外部视角之间的细粒度时空对应关系，并结合跨视图注意力机制来有效对齐时空特征[^73]。另一方面，Liu等人[^74]提出了一种基于生成对抗网络（GAN）的框架，用于融合空间与时间注意力以实现不同视图间的外观转换。最近，一种稳健的几何建模分割框架被提出[^75]，它采用三阶段架构将高层特征对齐有效地转化为精确的分割掩码。通过整合来自多个可穿戴摄像头的信息并强制保持几何一致性，这些技术直接缓解了第一人称数据中存在的动态错位、遮挡和噪声问题。 ## 多视图立体与可变形注意力 多视图立体（MVS）与可变形注意力机制已成为利用互补视角的强大工具。适配于可穿戴设备的传统MVS流程，利用同步视图间的视差来提升深度估计与3D重建效果，即便在持续的运动状态下也是如此[^32] [^76]。在HOT3D数据集中，多视图方法凭借Project Aria和Quest 3摄像头提供的额外视差与冗余信息，在3D手部追踪和6自由度物体姿态估计方面的表现优于单视图方法[^6]。可变形注意力进一步强化了这一过程：它能够灵活地在各视图间采样相关特征，动态适应不同的基线距离和运动引起的畸变，而无需依赖固定的极线几何约束[^77] [^78]。为了明确体现这种几何约束建模，我们考虑两个已校准的视图。在两个视图中均可见的3D点X必须满足极线约束$\mathbf{x}_{2}^{\top}\mathbf{F}\mathbf{x}_{1}=0$，其中$\mathbf{x}_{1}$和$\mathbf{x}_{2}$是该点在图像中的投影，F则是关联两台相机的基础矩阵。传统的可穿戴多视图立体（MVS）流程会利用这一约束：遍历一系列候选深度平面（或者等效地，构建一个以深度假设和各视图匹配成本为索引的3D代价体），随后对代价体进行规整以恢复稠密深度图[^32] [^76]。这种表述假定F（即视图间的相对位姿）在匹配过程中既已知且固定——但这一假设常因头部和身体的持续运动而被打破。可变形注意力放宽了这一严格要求，它用一组围绕参考投影位置学习得到的采样偏移量来替代固定的极线搜索路径。这使得网络能够偏离名义上的极线进行采样，从而补偿位姿漂移、卷帘式快门畸变或同步抖动带来的影响[^77] [^78]。因此，严格的几何约束便转变为初始化注意力模式的软性先验。 --- 这并非一条要求严格对应关系的硬性规则。其代价是，可变形注意力机制依赖于学习得到的权重，无法提供几何一致性的封闭形式保证。相比之下，平面扫描或代价体积多视图立体匹配技术在校准准确时能严格遵循极线约束，但一旦校准出现偏差，性能便会急剧下降。具有类别无关性且满足极线/跨视图一致性要求的候选区域生成方法，能够应对以自我为中心的互动场景中的开放世界特性。这类方法并不依赖特定类别的检测器，而是先在一幅视图中生成通用的物体或手部候选区域，再通过极线约束或学习得到的跨视图一致性损失将其传播到其他视图中 [^79]。这种方法提升了对新物体的鲁棒性，也能更好地应对近距离操作过程中常见的严重手部遮挡问题。多视图正则化技术会强制各摄像头拍摄的图像在三维位置或特征嵌入上保持一致，从而减少误检并提升杂乱场景中候选区域的质量 [^80]。用于建模时间+跨视图上下文的Transformer架构代表了统一建模领域的最新技术水平。这些模型利用自注意力或交叉注意力层，同时处理时间和视图维度的序列数据，既能捕捉短期运动动态，又能把握长距离的视图间依赖关系 [^81]。在类似Ego-1K所采用的12+4摄像头配置的密集多摄像头系统中，基于Transformer的融合技术能够有效抑制噪声、校正校准偏差，并为神经三维视频合成等下游任务提供更优质的特征表示。同样，在MultiEgo的多用户社交场景中，时间-跨视图Transformer通过整合多名参与者的自我中心视角数据流，实现了连贯的4D重建 [^82]。总体而言，这些技术将原始的多视图输入转化为几何一致且视角不变的表征。在HOT3D、Ego-1K和MultiEgo数据集上的实验结果一致表明，与单视图基线相比，这些方法在关键指标上取得了显著提升（手部追踪的MPJPE或重建的PSNR往往能提高15–30%）。未来该领域的发展很可能会聚焦于轻量化、适合边缘设备优化的变体，以便在严格的穿戴式硬件限制下仍能保持高精度。综合比较这些范式，基于几何/极线约束的方法 [^32] [^76] [^79] [^80] 在数据利用效率以及可解释性和调试便捷性方面表现最佳。此类方法的故障通常可追溯到特定的校准偏差摄像头对，但当相对姿态估计出现漂移时（在快速自身运动场景下十分常见），其性能便会急剧下降。可变形跨视图注意力机制 [^77] [^78] 对这类漂移的容忍度更高，对新场景内容的泛化能力也更强，不过它需要标注好的多视图训练数据，且当学习得到的偏移量应用于训练分布之外的情况时（比如基线异常宽或窄），其提供的几何一致性保证就会较弱。生成式跨视图转换方法 [^74] 在处理大视角变化场景时灵活性最高，包括视觉重叠极少甚至没有重叠的情况。然而，它是这三种范式中几何基础最薄弱的，其输出也无法保证与真实三维场景在度量上一致，这限制了其在姿态估计等对测量精度要求较高的下游任务中的应用。在计算开销较大的范畴中，基于Transformer的时间-跨视图融合技术 [^73] [^81] [^82] 通过对时间和视图维度数据进行联合建模，在Ego-1K和MultiEgo等密集摄像头配置系统中取得了最佳性能报告结果。不过，其计算成本会随着视图和时间维度上被关注标记数量的增加而上升，因此最不适合实时、端侧设备场景的应用。 在实际应用中，选择哪种范式并非主要取决于精确度，而是取决于特定部署场景中最无法承受的故障模式——校准漂移、分布偏移、指标不一致或延迟。 ### 4.2. 以自我为中心的多视角开放世界物体检测 以自我为中心的开放世界多视角目标检测要求模型在高度动态、杂乱且无约束的环境中识别、定位和分类已知和前所未见的物体 [^42]，如图4所示。与闭集 --- 检测不同，开放世界方法必须处理新型未见类别、手部和身体部位造成的严重遮挡以及快速的视角变化，这使得多视角冗余和几何线索尤其有价值 [^83]。因此，采用多视角正则化的增量学习和持续学习已成为应对灾难性遗忘并实现终身适应的关键策略 [^62]。在可穿戴多视角设备中，这些模型随着使用者在日常活动中遇到新物体而增量更新其知识。多视角正则化通过惩罚视图间预测的3D位置、特征嵌入或置信分数的差异来强制同步相机流之间的一致性。这种几何约束提高了学习过程中的稳定性，并减少了杂乱场景中的误报。例如，利用HOT3D同步多视角流（Project Aria + Quest 3）的方法表明，与单视角基线相比，多视角正则化提升了已知和未知手持物体6DoF姿态估计的鲁棒性 [^84] [^85]。通过极线几何或学习的跨视角注意力在视图间传播检测 [^86] [^87]，这些方法即使在模型持续纳入新交互而无需从头重新训练的情况下也能保持性能。 ![Image](images/aa64073421bbb7288ceab719cafb6b45d20cd047894457b029d0b0ac87816c13.jpg)
Multi-View Egocentric Learning and Interaction with the Real World
Figure 4. Egocentric multi-view open-world object detection.
大型语言模型（LLM）辅助的零样本标注与分类技术，通过利用LLM和视觉-语言模型（VLM）进行语义理解，无需大量标注数据即可进一步提升开放世界环境下的能力[^88] [^89]。在以自我为中心的多视角系统中，从一个或多个视角生成的初始类别无关候选对象，会通过LLM引导的推理过程得到进一步优化。例如，来自多个摄像头的视觉特征可被输入到VLM中，从而描述物体的外观、功能或上下文（比如“一个圆柱形容器很可能用于盛放液体”），进而实现对新物体的零样本分类[^90]。多视角输入通过结合互补的视角来提供更丰富的描述信息，从而减少因遮挡或特殊视角造成的歧义。近期出现的多模态以自我为中心模型[^91] [^92]（比如受MM-Ego及相关VLM框架启发的扩展模型）整合了这些能力，在Ego-1K[^18]和MultiEgo[^19]等数据集上展现出更强的泛化能力；这些数据集中的社交场景和动态场景包含了多种多样的新物体。这些技术共同促成了其在现实可穿戴场景中的实际应用——用户在这些场景中会不断遇到新物体和新交互。多视角融合不仅为物体检测提供了更多依据，还能作为持续学习的强大正则化手段；而LLM辅助则减轻了标注负担，并支持超越视觉外观的语义推理。 --- 这些优势也伴随着一些局限性，而多视角设置无法自动解决这些问题。首先，当前的LVLM容易出现多视角幻觉现象。Park等人[^93]设计了一个包含4800组问答对的专用基准测试，结果显示Qwen2.5-VL和LLaVA-OneVision等新型LVLM经常会在不同实例或视角之间混淆或错配视觉证据。因此，仅仅向VLM输入更多摄像头视图，并不能保证能将观测结果（例如某个把手或标签）正确关联到对应的物体和视角。可见，视角模糊是一个可量化且持续存在的问题，而非偶然现象。其次，即便VLM能正确地将观测结果关联到特定视角，其输出通常也只是自由文本描述或类别标签，并不包含相关的3D姿态信息。要将“一个可能用于盛放液体的圆柱形容器”这类描述转化为在尺寸和几何上均精确对齐的模型，仍需单独的定位步骤；而在此过程中，残留的多视角幻觉可能会与定位误差相互叠加。第三，VLM/LLM推理所需的延迟时间和内存占用，远远高于前文提到的几何或基于注意力的模块。这就给可穿戴式AR/VR设备通常要求的30毫秒以内的本地处理预算带来了挑战。因此，本文提及的大多数系统都是将VLM/LLM组件放在设备外运行或异步执行，而非集成到实时检测流程中。综合来看，这些幻觉、定位和延迟方面的局限性表明：当前对LLM/VLM的利用，最好被视为叠加在几何驱动的检测流程之上的语义标注辅助工具，而非多视角几何验证的替代品。 HOT3D基准测试[^94] [^95]凸显了多视角方法的明显优势：在无模型物体检测和未知物体的3D重建方面，多视角方法的表现更优，在开放世界条件下，其在精确度和召回率上的表现往往比单视角方法高出许多。未来的研究方向包括将持续学习技术与实时边缘计算约束更紧密地结合，以及开发更复杂的LLM-VLM流程——当遇到高度模糊的新物体时，这类流程能够主动向佩戴者请求少量监督信息。 #### 4.3. 以人眼为中心的多视角人机交互与动作识别 在以自我为中心的多视角场景中，视频动作检测与时间分割任务旨在定位并分类随时间变化的动作或子动作，同时精准划定它们在较长且未经裁剪的第一人称视频中的时间边界。由于视角变化迅速、干扰频繁以及日常活动的细微性，这些任务极具挑战性。多视角系统通过提供互补的时间观测数据来解决这些问题，从而增强空间鲁棒性和时间连贯性[^55]，如图5所示。用于抑制噪声和实现对齐的跨视角注意力机制，已成为处理可穿戴多视角数据流中固有噪声与错位问题的核心技术。传统的单视角动作检测器会受到运动模糊、手部遮挡以及背景杂乱的影响，导致各帧间的特征质量下降。在多视角架构中，跨视角注意力机制通常通过可变形或窗口化Transformer来实现，它们能够有选择地聚合来自不同摄像头的相关特征，同时抑制不可靠的信号[^96] [^97]。例如，当某个头戴式摄像头在快速转头时出现严重模糊时，注意力层可以侧重来自侧面或下半身摄像头的更清晰画面，以维持一致的动作表征。这种方法还能通过学习隐式的几何对应关系来强制实现各视角间的时间对齐，从而减少同步误差带来的影响。在HOT3D[^6]和Ego-1K[^18]等数据集上，跨视角注意力机制在动作检测的mAP值和边界精度方面均展现出显著提升，尤其对于在单视角视频中容易被割裂的短暂过渡性动作而言更是如此。 --- 在单视角视频中，视觉、音频及手部线索的多模态融合能进一步发挥性能优势，这得益于现代可穿戴设备所提供的互补信息流。来自多个RGB/单色摄像头的视觉特征能够捕捉外观与运动信息，而基于多视角3D跟踪得到的手部骨骼则提供了精确的交互上下文。通过内置麦克风或外部可穿戴录音设备采集的音频信号，则能提供语义线索，如语音、物体声音（例如倒水声、打字声）以及环境背景音，而这些信息往往无法仅通过视觉数据获得。有效的融合策略包括采用特定模态编码器进行后期融合、跨模态注意力机制，或是能够联合建模视觉-时间特征、手部姿态及声学特征的统一Transformer骨干网络[98–101]。在MultiEgo的多用户社交场景[^19]中，多模态多视角融合能够更精准地分割协作动作（如传递物品或群体对话），从而消除纯视觉流程中存在的歧义。最新的基准测试表明，将多视角视觉流与音频及3D手部姿态相结合，在时间分割指标上相比仅使用单视角视觉的方法可提升10–25%[^101] [^102]。总体而言，跨视角注意力机制与多模态融合技术的结合，使以自我为中心的多视角视频转化为富含细节且时间连贯的表征，适用于细粒度的动作理解。这些进展在需要精确操作指导的应用领域尤为宝贵，例如技能培训、辅助技术以及人机协作。不过，要在边缘设备上实现实时多模态推理，以及处理现实场景中噪声干扰或缺失的模态数据，仍面临诸多挑战。 ![Image](images/b338b9a1acd7dc22dfb855fb0cd6b3da0f2784e042bbdd186788171fa99be70a.jpg)
Figure 5. Egocentric multi-view human-object interaction and action recognition.
上述三种多模态融合策略不可互换。采用特定模态编码器的后期融合 [^98] 实现起来最简单，且对完全缺失的模态具有最强的容忍度，因为每个编码器可以独立丢弃。然而，由于融合仅在决策或嵌入层面进行，它无法纠正模态处理流程早期引入的错误（例如，错位的音频事件无法借助视觉上下文重新解读）。跨模态注意力机制 [^99] [^100] 能使各模态在特征层面相互制约。这对于解决歧义情况尤为有效，比如在MultiEgo数据集中的群体对话场景里，音频和手部姿态线索能消除仅靠视觉无法辨明的歧义。其局限性在于它需要来自各模态的同步性较好且干净的输入；否则，某一模态产生的噪声可能会传播到其他模态的表征中。统一Transformer骨干网络 [^101] 能在单个注意力层中同时建模视觉-时序、手部姿态和声学标记，从而取得目前报道中最显著的分割性能提升（比仅使用视觉的基线模型高出10–25%）。通过逐时刻学习该信任哪种模态，它们能提供更优的性能，但训练和部署时的计算成本也最高。 --- 与基于Transformer的跨视角融合类似，它们也难以满足实时可穿戴设备的功耗预算要求。与上述跨视角范式一样，在实际选择这些融合策略时，考虑因素更多是目标应用场景最无法承受的故障模式（缺失模态、跨模态噪声传播或计算预算限制），而非单纯的性能指标。 #### 4.4. 三维重建、新视角合成与跟踪 三维重建、新视角合成与跟踪属于以自我为中心的多视角图像分析中的最高层级任务，它们能将同步的可穿戴摄像头流转化为动态场景、手部和物体的时空连贯三维表征。这些能力对于沉浸式AR/VR体验、具身人工智能以及精准的人机协作至关重要。随着MultiEgo [^19] 等多自我中心数据集的出现，动态4D场景的神经渲染技术取得了进展。通过利用多个同步的第一人称视角，神经渲染技术（包括神经辐射场（NeRF）和3D高斯泼溅技术的变体）有望重建包含多人及物体交互的时序一致的4D场景 [^103] [^104]。 为了阐述底层的渲染形式化方法，NeRF 类方法将场景表示为一个连续函数 $F_{\Theta}(\mathbf{x}, \mathbf{d}) \to (\mathbf{c}, \sigma)$，将三维位置 $\mathbf{x}$ 和观察方向 $\mathbf{d}$ 映射到颜色 $\mathbf{c}$ 和体积密度 $\sigma$，并通过沿相机射线积分该函数来渲染像素 $\hat{C}(\mathbf{r}) = \sum_i T_i (1 - \exp(-\sigma_i \delta_i)) \mathbf{c}_i$，其中累积透射率为 $T_i = \exp(-\sum_{j < i} \sigma_j \delta_j)$。而 3D Gaussian Splatting 则将场景显式地表示为一组各向异性高斯分布，其位置、协方差、不透明度和颜色均为可学习的，这些高斯被投影并按像素进行 alpha 混合，以可显式排序的原语换取 NeRF 平滑但缓慢的逐射线采样，从而实现交互式帧率的渲染。这两种方法最初都是为密集、小基线、基本上静止的外心（exocentric）拍摄场景设计的，因此将其适配到自我中心（egocentric）多视角数据需要进一步做出两处修改：（i）必须用时间或形变变量扩展辐射场或高斯集合，以建模非刚性的场景运动，从而得到此处使用的动态 4D 扩展；（ii）由于少量宽基线、快速移动的可穿戴相机在每个时间步提供的角覆盖远比密集的摄影棚设备稀疏，因此必须显式地强制保证可用视图之间的光度与几何一致性，而不能仅依赖密集视图的冗余性 [^103] [^104]。这正是下文 MultiEgo 的跨视图一致性项，以及诸如 EgoLifter [^42] 等专门针对自我中心的高斯溅射变体所发挥的作用——它们被设计成能够在可穿戴设备的稀疏、宽基线、自运动剧烈的条件下保持稳定，而非适用于最初为其设计的密集静态相机阵列。 MultiEgo采集的多用户社交互动数据，能够通过强制保证跨视图的光度与几何一致性，来建模复杂的动态过程，比如群体对话、物品传递以及协作活动 [^19]。这些方法支持从任意虚拟摄像头生成自由视点视频（FVV），使用户能够从全新视角重现社交事件，同时保留逼真的运动与外观特征。此外，第一人称视角的互补性有助于消除单目或单视图神经渲染中的歧义，尤其是在处理被遮挡区域和快速运动元素时效果更为显著。 如HOT3D基准测试所示 [^6]，多视图冗余对三维手部与物体跟踪有着极大的助力。HOT3D利用Project Aria眼镜与Meta Quest 3同步采集的数据流，为日常操作任务中的手-物三维跟踪提供了大规模的真实标注数据。多视图方法通过结合视差线索与跨视图特征融合，其性能远超单视图基线方法。 --- 此外，还存在几何一致性损失[^105]。最先进的方法[^106] [^107]能够降低手部平均位移误差，同时减少物体6DoF姿态估计误差，即便在严重的自遮挡和快速运动情况下也是如此。此外，该数据集包含了833分钟涵盖厨房、办公室及家庭活动场景的多样化交互数据，涉及33个物体，充分体现了多视角跟踪技术在开放世界条件下的鲁棒性。手持物体抬起以及压力感知相关扩展研究更是将物理层面的理解推向了新的高度。一旦物体在3D空间中已被检测并跟踪，抬起技术便可通过整合多视角信息与形状先验或神经隐式表示，从部分以自我为中心的观测数据中重建其完整几何结构与外观。近期的一些模型[^108] [^109]通过融合视觉线索与触觉或力感应数据（例如来自带传感器的物体或手套式传感器），引入了压力感知建模机制。这些方法能够估算接触力、抓取稳定性以及操作过程中的压力分布，从而实现更精细的动作理解，并为机器人模仿学习提供逼真的模拟环境。在多视角场景下，压力感知型抬起技术有望借助更精准的3D手部姿态和物体轨迹数据，降低接触点估计中的不确定性。总体而言，这些进展表明：在重建保真度（例如新视角合成中的PSNR和SSIM值更高）、跟踪精度以及物理合理性方面，多视角系统相较于单视角系统均展现出稳定的性能优势。不过，要在可穿戴硬件上实现实时4D渲染，以及处理更长、更具多样性且包含复杂关节运动与形变的数据序列，仍面临诸多挑战。 ### 5. 数据集与基准测试 多视角与以自我为中心的视觉理解领域取得的快速进展，离不开大规模数据集的有力支撑。这些数据集提供了几何监督信息、多模态信号以及跨视角一致性数据，从而助力更稳健的3D推理与交互建模。本节将回顾具有代表性的基准测试，总结性能发展趋势，并探讨当前的局限性。 #### 5.1. 具有代表性的多视角与以自我为中心的数据集 表1总结了关键数据集，包括受控的多视角采集系统、大规模以自我为中心视频库以及混合跨视角基准测试。
Table 1. Comparison of representative datasets.
DatasetYearViewsScaleModalitiesPrimary Tasks
Panoptic Studio [^110]2015500+ cams700 sequencesRGB, depth3D pose, social interaction
InterHand2.6M [^111]202010+ cams2.6M framesRGB3D hand pose
$H_{{2}}O$ [^112]2021Multi-view100K framesRGB-DHOI
HOT3D [^6]2025Multi-view833 minRGB, IR, depth3D hand-object tracking
EPIC-KITCHENS-100 [^113]2022Ego100+ hRGB, audioAction recognition
Ego4D [^4]2022Ego3000+ hRGB, audio, IMURecognition, anticipation
Ego-Exo4D [^5]2024Ego + Exo100+ hRGB, audioCross-view understanding
MultiEgo [^19]2025Ego + ExoMulti-sessionRGB, IMU4D reconstruction
##### 5.1.1. 基于几何约束的多视角数据集 最早的多视角数据集之一——CMU全景摄影棚采用了由480多台摄像机组成的密集多摄像头系统。该系统能够实现精准的3D人体姿态重建与社会互动分析[^110]，具备极高的几何精度；不过其应用范围受限于室内实验室环境。针对手部相关研究，InterHand2.6M数据集包含了260万帧由多视角摄像机拍摄的手部交互图像，并配有精确的3D标注[^111]，从而提升了应对自遮挡和手间接触情况的鲁棒性。 --- 此外，Kwon等人提出的H20数据集专注于利用多视角RGB-D数据进行双手操作研究，支持细粒度的手-物交互建模[^112]。最近，HOT3D将数据集的多视角监督范围扩展到了手-物跟踪领域，提供了833分钟带有精确关节与物体姿态标注的同步录制数据[^6]。 ##### 5.1.2. 大规模以自我为中心的数据集 与受控多视角系统不同，大规模自我中心数据集更强调现实世界的多样性。EPIC-KITCHENS-100 [^113] 是广受欢迎的EPIC-KITCHENS数据集 [^114] 的扩展版本，包含超过100小时的第一人称厨房活动数据，能够支持动作识别与预测任务，但仅有的2D标注限制了其应用价值。Ego4D [^4] 则是一个重要里程碑，它收录了在全球范围内采集的超过3000小时的自我中心视频。该数据集包含音频、眼动、立体图像等多模态信号，还有来自多个自我中心摄像头的同步视频以及IMU数据，可支持动作识别、时间定位及预测等任务。 在此基础上，Ego-Exo4D [^5] 提供了同步的自我中心与外部视角数据，能够实现跨视角推理与3D一致性建模。最后，MultiEgo [^19] 通过结合第一人称与外部视角数据来进行动态3D建模，进一步探索了4D人体重建技术。 ##### 5.2. 性能趋势：多视角 vs. 单视角 本节将介绍近期文献中单视角与多视角方法在各种任务上的实验结果。各类基准测试表明，多视角监督机制始终能提升模型性能，在几何精度与遮挡鲁棒性方面均展现出明显优势。 ##### 5.2.1. 3D手部姿态估计 针对3D手部姿态估计任务，我们调研了InterHand2.6M [^111] 数据集上的相关方法。从表2可以看出，多视角方法在几何精度方面始终优于单视角方法。具体而言，Feng等人 [^115] 和Han等人 [^116] 提出的多视角方法，其平均关节位置误差（MPJPE）与平均顶点位置误差（MPVPE）比单视角方法低约30%。这种性能差距印证了一个前提：利用跨视角约束能够有效降低深度歧义与物体遮挡问题，从而减少3D姿态误差。此外，借助[^117] 和[^118] 中的时序数据，单视角方法的性能也能得到提升，超越静态单帧方法；因为时序卷积与基于SLAM的补全技术可以解决帧级遮挡问题，而传统的Transformer或特征融合方法无法做到这一点。 从机理上讲，这种性能差距源于InterHand2.6M数据集中的双手交互场景属于单摄像头几何约束最弱的情况。当一只手遮挡另一只手的部分区域，或者某只手几乎以侧视角度被拍摄时，单目方法必须完全依赖学习到的形状先验来推断缺失的几何信息。相比之下，Feng等人 [^115] 和Han等人 [^116] 提出的多视角方法可以通过第二个未被遮挡的视角来三角测量被遮挡的关节位置。即便是最优的多视角方法，其MPJPE误差仍会残留5.65毫米。根据该领域报道的失效模式分析，这一误差主要集中在两类棘手情况：(1) 所有可用视角下双手均被严重遮挡（例如紧握物体的场景）；(2) 双手接触导致无论使用多少摄像头都无法明确区分各个关节的对应关系。简而言之，多视角冗余确实能有效解决单视角下的遮挡问题，却无法克服所有视角共有的遮挡情况。这也解释了为何 --- 时序单视角方法[^117] [^118]能够在不增加摄像头的情况下部分弥补这一差距：它们用时间上的冗余来替代视角上的冗余。这种方法有助于处理瞬时遮挡问题，但对于持续整个交互过程的遮挡情况则仍显不足。
Table 2. 3D hand pose estimation and reconstruction models on the InterHand2.6M [^111] Dataset.
ModelViewArchitectureMPJPE (mm) $\downarrow$MPVPE (mm) $\downarrow$Accel. (mm/s $^{2}$) $\downarrow$
Ren et al. [^119]SingleDecoupled Iterative Refinement10.4910.266.28
Pavlakos et al. [^120]SingleTransformers9.8410.135.13
Pan et al. [^121]SingleFeature Fusion9.389.61—
Moon et al. [^122]SingleConditional Hand Modulator—9.40—
Ren et al. [^117]Single (Video)Temporal Convolution7.217.394.54
Yu et al. [^118]Single (Video)Generative Infilling + SLAM7.948.152.76
Feng et al. [^115]MultiExtract-Regress Network6.657.00—
Han et al. [^116]MultiCooperative Attention5.655.87—
注意：加粗表示最佳结果。$\downarrow$数值越低越好。——表示该指标未报告或不适用。（例如，基于帧的方法没有Accel.指标；仅联合估计的方法没有MPVPE指标）。 ##### 5.2.2. 手-物体交互 在手-物体交互任务中，HOT3D表明与单目基线相比，多视角以自我为中心的推理能够提升3D手-物体跟踪性能。在表3中，采用UmeTrack [^123]基线时，多视角手跟踪可将平均关键点位置误差（MKPE）降低27.2–29.2%；而在Quest 3和Aria设备上，采用FoundPose [^124]基线时，多视角6DoF物体姿态估计可使10厘米处的召回率（R@10）提升20.0–26.9%。对于手持物体抬起任务，应用多视角立体匹配方法（StereoMatch）所获得的性能提升甚至比单视角单目深度方法（MonoDepth）更为显著：在Aria设备上，无论使用真实掩码还是预测掩码，R@10的提升幅度均达到142.1–185.4%。
Table 3. Single-view and multi-view hand-object interaction performance comparison on HOT3D [^6].
DeviceSingle-ViewMulti-ViewMetricSingleMultiGain
3D hand tracking
Q3UmeTrack [^123]UmeTrack-2VMKPE $\downarrow$18.013.127.2%
Q3UmeTrack [^123] + HOT3D [^6]UmeTrack + HOT3D-2VMKPE $\downarrow$15.410.929.2%
6DoF object pose
AriaFoundPose-1V [^124]FoundPose-3VR@10 $\uparrow$41.752.926.9%
Q3FoundPose-1V [^124]FoundPose-2VR@10 $\uparrow$46.655.920.0%
In-hand object lifting
AriaMonoDepthStereoMatch-3V, GT maskR@10 $\uparrow$30.286.2185.4%
AriaMonoDepthStereoMatch-3V, pred. maskR@10 $\uparrow$23.356.4142.1%
Q3N/RStereoMatch-2V, GT maskR@10 $\uparrow$-96.8-
Q3N/RStereoMatch-2V, pred. maskR@10 $\uparrow$-75.3-
注意：加粗表示最佳结果。Q3指Quest 3。MKPE的单位为毫米。R@10表示物体抬起的10厘米处召回率，以及6DoF物体姿态的10厘米/10°召回率。增益是指MKPE的相对误差降低量和R@10的相对召回率提升量。N/R表示未报告单视角结果。 手持物体抬起任务所获得的142–185%的巨大增益，相较于手跟踪的27–29%和物体姿态估计的20–27%而言，是由任务本身的几何特性决定的，而非立体匹配方法本身所致。手跟踪和物体姿态估计仅需定位少量关节或单个刚性姿态，即便只有一个有噪声的视角，也往往能给出可用的（尽管存在偏差的）估计结果，这使得MonoDepth和单视角UmeTrack具备可提升的非 trivial基线；而手持物体抬起任务则需要恢复近距离下、大部分被手遮挡的物体的密集逐像素深度信息——在这种场景下，单个摄像头常常无法获得物体表面大部分区域的无遮挡视线，因此MonoDepth的基线召回率（23.3–30.2）几乎接近一个下限，任何可用的第二个视角都能大幅改善这一状况。根据该领域已报告的失效模式来看，当物体几乎完全被手包裹、导致任何视角下可见表面太少而无法作为匹配锚点，或是物体较薄或具有反射性、即便正确三角测量的点也会产生噪声或镜面立体对应关系时，多视角立体匹配方法的性能仍然会有所欠缺。 --- 基线召回率（23.3–30.2）几乎接近一个下限，任何可用的第二个视角都能大幅改善这一状况。根据该领域已报告的失效模式来看，当物体几乎完全被手包裹、导致任何视角下可见表面太少而无法作为匹配锚点，或是物体较薄或具有反射性、即便正确三角测量的点也会产生噪声或镜面立体对应关系时，多视角立体匹配方法的性能仍然会有所欠缺。 表3还使我们能够直接分离出观看次数的影响，因为相同的任务分别在仅支持2个视角的Quest 3设备和支持3个视角的Aria设备上进行评估。对于6自由度物体姿态估计而言，额外的视角能带来适度的性能提升（Aria的三个视角下准确率提升了26.9%，而Quest 3的两个视角下则提升了20.0%），这与“一旦第二个视角解决了大部分深度歧义后，收益便会递减”的规律相符。然而，在基于真实掩码的手持物体抬起任务中，Quest 3的2视角设置所达到的绝对召回率（96.8）反而高于Aria的3视角设置（86.2）——若认为视角越多越好，这一结果显然有悖常理；其可能的解释是：Quest 3的两台摄像头被特意安置在头显前方直接进行手持操作的区域，以保证该区域的立体视觉重叠；而Aria的第三台摄像头为了获得更宽的视野以适配场景级任务，牺牲了部分这种针对性的重叠效果。这体现了第3节中所调研的各种设备间普遍存在的权衡关系：2视角立体配对（如Quest 3、MultiEgoView的成对肢体摄像头）同步与校准成本最低，只要两个视角能覆盖感兴趣区域就能满足需求；3视角头戴式设备（如Aria以及HOT3D中的Quest 3）能在校准和带宽成本略有增加的前提下，小幅提升准确率并增强对单个视角被遮挡情况的鲁棒性；而要实现完整的自由视角神经渲染，则需要配备12至16个摄像头的密集视角设备（如Ego-1K），不过其计算与存储开销较大，目前尚无法支持设备上的实时推理。因此，配置的选择关键在于使摄像头数量与摆放位置匹配任务的几何要求，而非简单地追求视角数量最大化。 ##### 5.2.3. 动作识别与预测 表4总结了在Ego4D标准单视角设置下的预测结果[^4]。在长期动作预测（LTA）方面，基于视觉语言模型/大语言模型的最新方法[^125] [^126]相比原始的TimeSFormer基线[^127]有所改进，将动作编辑距离从0.9253降低到了0.8503。在短期物体交互预测（STA）方面，主要通过将更强的时间建模与动作上下文建模机制纳入模型来取得性能提升[^128]，整体完整动作的平均精度均值（mAP）也从3.61提高到了5.18。这些结果表明，受数据集特性的影响，Ego4D主要反映了单目自中心表征学习、多模态推理以及语言引导的上下文建模方面的进展，而非显式的多视角推理能力。因此，Ego4D可作为有用的单视角参考点，而直接的单视角与多视角对比分析则更适合依托Ego-Exo4D来进行[^5]。 在接下来的应用中，表5显示，多视角学习在Ego–Exo4D上的收益取决于具体任务和所用方法。在关键步骤识别任务中，简单的训练并不总能带来帮助：TimeSFormer的准确率从35.24降至29.84[^127]，这表明单纯加入外中心监督可能会引发视角不匹配问题。相比之下，EgoVLPv2[^129]和GLEVR[^130]取得了适度的性能提升，说明当通过视角感知预训练来处理跨视角信息时，其效果更佳，而基于图的对齐机制更能显著提升准确率（38.69% vs. 53.08%）。 ---
Table 4. Single-view anticipation results on Ego4D [^4].
ModelInputMetricResult
Long-term Action Anticipation (LTA)
Bertasius et al. [^127]Ego RGB$ED_V/N/A \downarrow$0.7169/0.7359/0.9253
Mittal et al. [^125]Ego + VLM$ED_V/N/A \downarrow$0.679/0.681/—
Kim et al. [^126]Ego + VLM/LLM$ED_V/N/A \downarrow$0.6471/0.6117/0.8503
Short-term Object Interaction Anticipation (STA)
Bertasius et al. [^127]Ego RGB$mAP_N/NV/NT/A \uparrow$26.15/9.45/8.69/3.61
Ragusa et al. [^131]Ego RGB$mAP_N/NV/NT/A \uparrow$25.06/13.29/9.14/5.12
Pasca et al. [^128]Ego + Action Context$mAP_N/NV/NT/A \uparrow$30.43/13.45/10.38/5.18
注：Ego4D的结果主要来自单自中心视角设置。加粗部分表示最佳结果。——表示暂无可用结果。ED表示动词（V）、名词（N）和动作（A）的归一化编辑距离。STA mAP针对名词（N）、名词-动词（NV）、名词-到达时间比（NT）以及完整动作（A）进行报告。
Table 5. Single-view and multi-view analysis on Ego-Exo4D [^5].
ModelSettingMetricSingleMultiGain
Keystep Recognition
Bertasius et al. [^127]Ego vs. Ego + Exo trainAcc. $\uparrow$35.2429.84-5.40%
Pramanick et al. [^129]Ego vs. Ego + ExoAcc. $\uparrow$37.8538.692.2%
Romero et al. [^130]Ego graph vs. Ego + Exo graphAcc. $\uparrow$52.3653.08+0.72%
Proficiency Estimation
Bertasius et al. [^127]Ego vs. Ego + ExosAcc. $\uparrow$42.340.8-1.5%
Bianchi et al. [^132]Ego vs. Ego + ExosAcc. $\uparrow$45.947.5+1.6%
Bianchi et al. [^133]Ego vs. Ego + ExosAcc. $\uparrow$47.348.0+0.7%
Bianchi et al. [^134]Ego vs. Ego + ExosAcc. $\uparrow$44.248.2+4.0%
Tanoue et al. [^135]Ego vs. Ego + ExosAcc. $\uparrow$44.347.8+3.5%
Braun et al. [^136]Ego vs. Ego + Exo + HRAcc. $\uparrow$39.6943.94+4.25%
注意：“单视角”指仅使用自我视角数据，除非另有说明。“多视角”指自我视角与外部视角相结合的数据，不过Braun等人[^136]的研究除外，他们额外使用了估算的心率特征。加粗部分表示最佳结果。 在熟练度评估方面，多视角融合的效果更为稳定且有益。近期的方法相较于仅使用自我视角的基线模型，性能提升了约0.7%至4.25个百分点，其中ProfVLM[^134]的多视角准确率最高，达到48.2%。这些结果表明，外部视角能为身体运动、动作执行质量以及场景语境的评估提供互补性线索，而自我视角对于近距离的手部与物体细节而言仍至关重要。总体而言，Ego-Exo4D研究证实多视角信息能够提升对精细动作的理解能力，但这种提升程度很大程度上取决于任务的具体设定。 关于关键步骤识别任务中简单训练却得到负面结果的现象，有必要从机制层面加以解释，而非仅仅将其视为个例。TimeSFormer使用相同的时空块注意力权重来处理自我视角和外部视角的帧数据；因此，当外部视角的帧被直接拼接到输入中，却没有机制来标明某个块数据源自哪种视角时，模型就必须将其自我视角下训练出的注意力模式泛化到视觉差异极大的第三人称分布上。这其实是一种分布偏移，而非有用的冗余信息来源，因此属于多视角融合的真正失效案例，而非仅仅是性能提升幅度较小而已。EgoVLPv2和GLEVR之所以没有出现这种问题，是因为它们给模型提供了明确的视角标识信号：要么通过考虑视角因素的预训练目标，要么通过图结构将自我视角和外部视角的特征作为可区分的节点，而非合并为单一流。正因如此，它们能实现性能提升而非下降，而且GLEVR基于图的对齐方式在这三种方法中取得了最高的多视角准确率（53.08%，而EgoVLPv2仅为38.69%）。相比之下，熟练度评估任务则始终能从多视角融合中受益，因为该任务旨在评估动作执行质量和身体运动正确性，所需信息如全身姿势和与工作区的距离等，往往本就不在自我相机的视野范围内；因此外部视角能提供真正互补的证据，而非对同一内容的冗余或冲突性描述。这也解释了为何表5中最大的熟练度提升来自于加入生理层面的外部视角信号（心率），而非另一种视觉视角__ PH_FOOTREF_000332__。综合来看，关键步骤识别和熟练度评估的结果表明：当额外视角能提供主视角无法获取的信息时，多视角融合就能可靠地发挥作用；而当额外视角只是重复主视角的内容，且没有明确机制来协调两者时，多视角融合的效果就不稳定，甚至会起到负面作用。 --- 视觉视角[^136]。综合来看，关键步骤识别和熟练度评估的结果表明：当额外视角能提供主视角无法获取的信息时，多视角融合就能可靠地发挥作用；而当额外视角只是重复主视角的内容，且没有明确机制来协调两者时，多视角融合的效果就不稳定，甚至会起到负面作用。 ##### 5.2.4. 多视角性能提升的综合元分析 上述各项任务分析各自给出了相应的性能提升数值，摘要中将这些数值汇总为15%至30%的范围；表6则将本文综述中所报告的每一项多视角与单视角对比的定量结果整合在一起，从而不仅能看到这一汇总数值的中心趋势，还能了解其背后的真实分布范围。
Table 6. Consolidated meta-analysis of multi-view versus single-view performance gains across all tasks and datasets surveyed in this review. Gain is relative error reduction for error metrics ( $\downarrow$) and relative or absolute improvement for accuracy/recall metrics ( $\uparrow$), as reported in the corresponding source table.
TaskDatasetMetricReported Gain (Multi vs. Single)
3D hand pose & reconstructionInterHand2.6M (Table 2)MPJPE/MPVPE $\downarrow$≈30%
3D hand trackingHOT3D (Table 3)MKPE $\downarrow$27.2-29.2%
6DoF object poseHOT3D (Table 3)R@10 $\uparrow$20.0-26.9%
In-hand object liftingHOT3D (Table 3)R@10 $\uparrow$142.1-185.4%
Multimodal action segmentationMultiEgo-style benchmarks (Section 4.3)Segmentation metrics $\uparrow$10-25%
Keystep recognition (naive fusion)Ego-Exo4D (Table 5)Accuracy $\uparrow$-5.40% to +2.2%
Keystep recognition (view-aware fusion)Ego-Exo4D (Table 5)Accuracy $\uparrow$+0.72 pt (52.36→53.08)
Proficiency estimationEgo-Exo4D (Table 5)Accuracy $\uparrow$+0.7 to +4.25 pt
从这一综合视角可得出三点观察。首先，15–30%这一关键数值能合理概括以几何计算为主的任务（如手部姿态估计、手部追踪、物体姿态估计），因为通过第二个视角的三角测量可直接消除限制单视角性能的深度或遮挡歧义。其次，更偏向语义识别而非几何估算的任务，其性能提升范围更广，甚至偶尔会出现负值：用于关键步骤识别的简单融合方法，其准确率会比仅使用单视角数据的方法低5.4个百分点；即便在该任务上表现最佳的视角感知方法，其性能提升也不到1个百分点，这一数值仅为几何类任务提升幅度的十分之一。第三，手持物体抬升任务在性能提升方面属于明显的例外（142–185%），正如前文所述，这是因为其单视角基线更接近几何层面的下限，而非具有竞争力的基准。因此，我们呈现这份元分析而非单一的汇总百分比，以此更准确地总结多视角监督在不同任务中带来的实际效果：对于受几何歧义制约的任务，多视角监督能带来显著且可靠的性能提升；而对于受语义识别制约，或因简单（未考虑视角信息的）融合设计导致的任务，其性能提升则较为有限，甚至因方法差异而出现负值。 #### 5.3. 局限性与研究空白 尽管已取得显著进展，但仍存在若干局限性。室内场景偏差：Panoptic Studio [^110]、HOT3D [^6]和InterHand2.6M [^111]等高精度多视角数据集主要在受控的室内环境中采集。野外场景及社交复杂的场景在这些数据中占比不足，这类场景主要由Ego4D [^4]、EgoCampus [^137]等单视角自中心数据集来覆盖。这限制了多视角方法在光照、背景和社交互动多样的现实场景中的泛化能力。 规模与精度的权衡：Ego4D [^4]等大规模数据集虽能提供丰富的环境多样性，但三维真实标注却相对有限。相比之下，专注于几何数据的数据集 [^111] [^112]虽然标注精准，但现实场景的变异性却有所欠缺。 多人操控任务相关研究不足：大多数手-物交互基准测试聚焦于单人操作场景，例如EPIC-KITCHENS-100 [^113]或Ego4D [^4]。而协作性或 --- 竞争性多人操控场景的相关研究仍十分匮乏。另一方面，InterHand2.6M [^111]等数据集虽聚焦双手交互，却无法捕捉多人动态，因此限制了能够处理涉及多人互动的复杂社交场景的框架的发展。 传感器泛化能力不足：许多数据集依赖经过校准的高端采集系统，这降低了其在智能手机或AR头显等消费级设备上的迁移能力。Panoptic Studio [^110]和InterHand2.6M [^111]依赖在受控环境下同步运行的多个摄像头，而HOT3D [^6]则使用Quest 3或Aria眼镜，这些设备可能并非广大科研群体都能获取。此外，与常见的消费级设备相比，这些数据集很少引入严重的运动模糊、自动曝光延迟或快门效应，这可能导致训练好的模型在现实应用中性能下降。 标准化跨模态评估：尽管有多种模态数据流（音频、惯性测量单元、视线）可供使用，但用于评估跨模态融合方法的统一基准仍十分有限。Ego4D [^4]和Ego-Exo4D [^5]侧重于动作预测与关键步骤识别，采用的评估指标包括mAP或F1分数；而手部姿态估计、手物跟踪等其他任务则依赖几何指标（如MPJPE、R@10）。因此，通过在不同模态和任务间统一评估指标与模态，就能建立起更全面、客观的基准。 ### 6. 应用与更广泛影响 多视角图像分析、以自我为中心的感知以及跨视角学习领域的进步，已在诸多领域催生出重要的应用场景。通过结合几何一致性、多模态融合与时空推理能力，这些系统正从实验室研究走向现实世界的社会与经济场景，尤其是在AR/VR、机器人技术、医疗保健、制造业以及社会应用领域，如图6所示。 ![Image](images/f9a8f3814536baaa39b32bc277511c1596eb108678e1f2a8212527ed95cb43c4.jpg)
Figure 6. Applications of multi-view image analysis, egocentric perception, and cross-view learning in AR/VR, healthcare, and Industry 4.0 transformation.
--- 精准的3D手部追踪与场景重建，能够实现头戴式显示设备和空间计算平台中的自然交互。多摄像头系统可提升在遮挡情况下的系统鲁棒性，这对于沉浸式环境中的手势控制与物体操作而言至关重要 [^123]。在机器人领域，多视角分析 [^6] [^138] 为3D姿态估计、抓取检测、接触建模以及动态场景理解提供支持。通过降低深度不确定性——尤其是在杂乱场景中——多视角几何特性能够提升机器人操作的可靠性。此外，在人机协作（HRC）中，跨视角推理能帮助机器人通过人体姿态、视线方向及手部运动来解读人类意图 [^139]，这种共同理解能够提升协作工作区的协调性与安全性。近期的研究 [^5] 还将以自我为中心的视角和以外部为中心的视角相结合，使机器人能够将内部场景表征与人类伙伴的视角对齐，从而提高任务效率与共享自主性。由于AR/VR头戴设备与移动机器人平台受限于有限的功耗与散热条件，边缘部署在此处属于首要设计约束而非事后补充考量：第4.4节所述的跨视角融合与神经渲染组件必须在第7节讨论的低延迟预算内运行，正因如此，上述多个流程更倾向于采用轻量级注意力机制或端侧SLAM技术，而非离线基准测试中使用的大型Transformer架构。 另一个相关但结构迥异的应用领域是高级驾驶辅助系统（ADAS）。在ADAS中，车辆周围会安装多个鱼眼或广角摄像头，以生成用于停车辅助、盲点监测以及开放世界障碍物检测的环视鸟瞰图 [^140]。该领域采用了本综述中所探讨的许多核心技术，包括多摄像头跨视图融合、鱼眼几何校准，以及在高度动态环境中的开放世界物体检测。不过我们仍将ADAS视为与本综述范围相邻而非其中的一部分。由于摄像头被牢固地安装在车辆底盘上，其相对几何关系固定，因此可以直接应用传统的多摄像头校准方法。此外，尽管车辆本身会在开放的、无约束的环境中移动，但该系统并不会出现以自我为中心的场景中常见的连续非刚性视图间运动现象（见第1.3节）。从这个意义上讲，图1C和1D中展示的架构在理念上更接近于这种车载固定基线模式，而非本综述主要关注的可穿戴系统。我们在此强调这种关联是因为第4.1节和第4.2节中讨论的跨视图融合与开放世界检测技术，能够很好地迁移到这一相邻且发展迅猛的应用领域。 在医疗保健和辅助生活领域，多视角及以自我为中心的系统为康复、监测和辅助技术提供支持。精准的三维姿态跟踪能够客观评估中风或受伤后的运动功能恢复情况，相比单摄像头系统能显著降低测量误差 [^141] [^142]。此外，在老年人护理方面，多摄像头智能家居系统 [^143] 能够通过克服遮挡和视角受限的问题来提升跌倒检测能力；跨视图的时间推理也有助于早期发现异常的步态模式。再者，以自我为中心的可穿戴系统通过场景理解、物体定位和活动总结来帮助视障用户，尤其是当视觉信息与音频信号结合使用时[144–146]。在远程医疗任务中，多视角和多模态采集为临床医生提供的运动反馈比标准视频通话更为可靠 [^147]。不过，医疗领域的应用需要强有力的隐私保护措施、安全的数据管理以及符合监管标准的能力，尤其是对于持续监测系统而言。实践中，这更倾向于采用设备端的姿态估计与去标识化处理（例如，在视频帧离开设备前先对面部进行模糊处理），而非将数据上传至云端。对患者或老年人的持续多摄像头监测，恰恰是传输原始视频会带来最大隐私风险的场景。 --- 此外，为实现多视角覆盖所需的额外摄像头和计算资源，会增加每张床位或每个房间的部署成本。即便多视角技术带来的精度优势最为显著，这也成了资源有限的临床和家庭护理环境中的实际应用障碍。 在制造业和工业环境中，多视角图像分析能够进一步提升自动化水平、安全性以及员工培训效果。多摄像头系统通过实现精确的零件对齐、微小缺陷检测以及生产阶段的实时验证，从而提高了装配线的精度[^148] [^149]。此外，跨视角的几何一致性减少了由反射或遮挡引起的误检现象[^150]。同时，对熟练工人的第一人称视角记录有助于构建“从演示中学习”的框架，进而将知识传递给机器人或新手学员[^151] [^152]。利用多视角回放功能，可以从不同角度详细记录并查看手部动作，从而加快技能掌握速度。另外，多视角跟踪还能提供客观的生产效率和人体工程学测量数据，有望减少重复性劳损伤害[^153]。不过，在工作场所部署相关技术时，必须确保在使用监控技术时做到透明、公平并征得用户知情同意。从成本控制的角度而言，需权衡为覆盖多视角而增加的摄像头、同步硬件及计算资源，与各工位上所实现的缺陷检测或人体工程学改善之间的利弊。因此，工业企业通常优先在价值最高或风险最大的工位安装相关设备，而非在整个生产线中全面应用。此外，将生成的跨视角融合模型部署在边缘端、直接运行在产线旁的硬件上，通常也比云端处理更受青睐。毕竟，云端处理所存在的延迟问题和对网络连接的依赖，很难满足工厂车间对实时验证和安全性的严格要求。 多视角系统还广泛应用于教育、娱乐和文化保护领域。在教育方面，三维重建技术能够打造虚拟实验室，让学生借助逼真的空间反馈与物体互动[^154]。第一人称视角分析则能帮助教师更好地了解学生在线上和线下学习环境中的注意力集中情况及参与程度[^82] [^155]。在娱乐和游戏领域，多视角动作捕捉技术提升了电影制作和交互式媒体的真实感；实时体积捕捉技术则能让用户凭借全身及手部追踪功能置身于虚拟环境之中[^156]。在文化遗产保护方面，多视角三维重建技术有助于对文物、表演和传统工艺进行数字化归档，而第一人称视角记录则能留存那些可能失传的实践性知识[^91] [^157]。即便在这些风险较低的应用场景中，仍存在着实际限制。教室和场馆部署的成本敏感性往往远高于医疗或工业场景，因此第3.2节中提到的轻量级消费级采集平台比研究级设备更受欢迎。另外，录制学生、表演者或游客的画面时，同样会涉及上文在医疗领域提到的设备端隐私处理问题。 总而言之，多视角图像分析对社会的广泛影响和经济影响十分显著，且这种影响还将持续加深。在机器人技术、AR/VR以及智能制造领域的应用为工业4.0转型提供了支撑，能够提升生产效率并降低运营成本。这些系统正日益成为辅助工具而非替代人力，它们不仅能增强安全性、减轻体力劳动强度，还能提高培训效率。基于自我中心感知的辅助技术促进了医疗领域中残疾人的可及性与独立性。多视角系统还能通过优化人群监控、应急响应协调以及基础设施检查来提升公共安全水平。不过，其广泛应用也引发了伦理与隐私方面的担忧，包括监控风险、数据滥用、偏差问题以及不明确的数据所有权等。尽管如此，负责任的人工智能框架、保护隐私的方法（如设备端处理和联邦学习）以及透明的治理机制，对于确保该技术得以可持续且对社会有益地应用而言至关重要。 --- 诸如端侧处理和联邦学习等方法，以及透明的治理机制，对于确保可持续且对社会有益的应用至关重要。 ### 7. 现有挑战与未来发展方向 尽管多视角感知、自我中心视觉以及三维感知学习领域取得了快速进展，但仍有若干重要挑战亟待解决，如图7所示。这些挑战涉及计算效率、数据集可扩展性、多模态融合、评估标准化，以及对开放世界环境的适应性。在实际部署中，一个主要限制是多视角融合的高计算成本。许多现有方法依赖于密集特征匹配[^119]、体积重建[^121]，或基于Transformer的跨视角注意力机制[^120] [^127]，这些方法需要大量的内存和处理能力。然而，AR眼镜和移动机器人等可穿戴平台要求低延迟推理（例如低于30毫秒），同时还要保证各视角间的空间一致性。在摄像机运动复杂且部分物体不可见的情况下实现实时多视角融合仍是一项未解决的难题。有前景的解决方案包括轻量级骨干网络、稀疏或基于窗口的注意力机制、模型压缩以及高效的神经渲染技术。 另一个关键问题是亟需大规模、多样化且能保护隐私的基准测试集。虽然近期发布的数据集[^4] [^5]扩大了自我中心视频的采集规模，但在户外场景覆盖、多元文化环境以及长尾活动方面仍存在局限。持续的第一人称录制[^6]也会引发严重的隐私担忧。因此，未来的基准测试集应纳入设备端匿名化处理、人脸及物体模糊协议、联邦数据收集策略，以及符合用户意愿的数据处理流程。合成数据生成与仿真平台有助于提升数据多样性并降低隐私风险，但如何确保其在真实环境中的有效性仍具挑战性。 完全的多模态融合也是另一项未解决的问题。现代数据集[^5] [^6]通常包含视觉、音频、惯性测量单元及视线信号，但许多模型仍独立处理这些模态，或仅采用简单的后期融合策略。下一代系统应支持传感器间的精确时间对齐、深度跨模态推理，以及对缺失输入数据的鲁棒性处理能力。此外，多模态大语言模型及视觉-语言模型[^125] [^126]的最新进展为语言引导的具身感知指明了方向——即利用语言作为多模态数据流上的推理接口。然而，如何将语言与精准的三维几何结构及物理交互相衔接仍尚未解决。目前大多数系统均在类别固定、任务预定义的封闭环境中训练[^18] [^113]，而现实世界的智能体却必须在动态且不断演变的环境中运作。相关的研究挑战包括避免灾难性遗忘的持续学习、开放词汇下的物体与动作识别，以及对未知环境的适应能力。 未来的研究方向可能还包括具身智能，其目标是将感知、规划与控制整合到一个用于多视角系统的统一框架中。将仿真中的强化学习与真实世界的多视角数据相结合具有广阔前景，但由于外观、动力学和传感器领域的差异，从仿真到现实的迁移仍然困难重重 [^16] [^158]。此外，以自我为中心与以外部为中心相结合的混合学习也正在成为极具潜力的方向，其中Ego-Exo4D [^5] 证明了同步的第一人称与第三人称观测对于理解熟练动作的重要性。近期出现的跨视角转换方法进一步探索了自我与外部视角对齐及视图合成技术，包括从外部视角到自我视角的视频生成 [^74] [^159]，这些技术为一致的多视角重建和新视角合成提供了有力的工具。最后，缺乏标准化的评估协议也是亟待解决的难题。HOT3D [^6]、Ego4D [^4] 以及 Ego-Exo4D [^5] 等基准测试体现了公开评估任务与开放式挑战服务器的重要性，但针对3D姿态的评估指标仍较为零散。 --- 手部与物体的交互、重建以及动作理解。未来的研究应当制定更加统一的多视角基准测试套件、标准化的多模态评估指标、跨数据集泛化协议以及开放式评估服务器，以提升研究的可重复性与透明度。 ![Image](images/c29a782e3bc0c2f56ad3fb5ff55b73cbc917a4fc02f8e8ccba15fa543c6558f2.jpg)
Figure 7. Future research directions in egocentric multi-view analysis.
### 8. 结论 以自我为中心的多视角图像分析已成为开放世界和移动环境中实现稳健感知的关键范式。通过利用同步可穿戴摄像头，这些系统克服了单视角自我中心视觉的固有局限——如遮挡、运动模糊和视野受限问题——同时也突破了传统固定多视角设置的环境局限性。本文系统梳理了近年来在跨视角特征融合、几何一致性学习、人机交互建模、动作理解、三维重建以及针对可穿戴多摄像头系统的新视角合成等方面的进展。我们重点介绍了2024年至2026年间发布的新一代大规模数据集，包括HOT3D、MultiEgo、Ego-Exo4D和Ego-1K，这些数据集在规模、模态丰富度以及时空对齐方面均推动了多视角自我中心理解技术的边界。结合视觉-语言模型和大型语言模型的进步，这些数据集在关键任务上相较于单视角基线模型实现了稳定的性能提升。除了方法论上的进展外，我们还强调这一研究方向与多视角立体成像、跨视角学习以及基于神经渲染的新视角合成等新兴领域高度契合。重要的是，以自我为中心的多视角系统正日益被整合到支持具身智能和多模态决策的高级推理框架中。其社会影响十分深远，在沉浸式AR/VR、辅助机器人、健康监测、康复以及人机交互等领域的应用潜力巨大，凸显出可穿戴多视角感知系统的变革性价值。然而，仍有若干关键挑战尚未解决，包括在无约束运动条件下的稳健校准、现实场景中基准数据的多样性不足、隐私保护型数据收集，以及在边缘设备和可穿戴硬件上的高效部署问题。总之，本文总结了2024年至2026年间以自我为中心的多视角图像分析领域的最新进展，并指出了为实现可扩展、实时且符合社会伦理的部署而必须攻克的研究缺口。我们认为，下一阶段的前沿方向在于开发能够融入日常环境、具备持续学习能力的具身智能体，以实现多视角感知、多模态推理以及开放世界适应的无缝集成。 --- 这类智能体能够在日常环境中无缝整合多视角感知、多模态推理以及开放世界适应能力。 作者贡献：概念化：H.D.N.和D.T.P.；方法论：H.D.N.和D.T.P.；验证：H.D.N.和D.T.P.；形式化分析：H.D.N.和D.T.P.；调研：D.T.P.；初稿撰写：H.D.N.和D.T.P.；审阅与编辑：H.D.N.和D.T.P.；可视化：D.T.P.；监督：H.D.N.；项目管理：H.D.N.。所有作者均已阅读并同意发表该手稿版本。 经费支持：本研究未获得外部经费支持。 机构审查委员会声明：不适用。 知情同意声明：不适用。 数据可用性声明：本研究未创建或分析新数据。数据共享不适用于本文。 利益冲突声明：作者声明不存在利益冲突。 ## 参考文献 [^1]: Bolanos, M.; Dimiccoli, M.; Radeva, P. Toward storytelling from visual lifelogging: An overview. IEEE Trans. Hum.-Mach. Syst. 2016, 47, 77–90. [CrossRef] [^2]: Miao, Q.; Price, J.; Tassiopoulos, A.; Samaras, D. Behavior-Based Skill Assessment for Open Surgery from Multi-View and Egocentric Videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 8854–8864. [^3]: Plizzari, C.; Goletto, G.; Furnari, A.; Bansal, S.; Ragusa, F.; Farinella, G.M.; Damen, D.; Tommasi, T. An Outlook into the Future of Egocentric Vision: C. Plizzari et al. Int. J. Comput. Vis. 2024, 132, 4880–4936. [CrossRef] [^4]: Grauman, K.; Westbury, A.; Byrne, E.; Chavis, Z.; Furnari, A.; Girdhar, R.; Hamburger, J.; Jiang, H.; Liu, M.; Liu, X.; et al. Ego4d: Around the world in 3000 h of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 18995–19012. [^5]: Grauman, K.; Westbury, A.; Torresani, L.; Kitani, K.; Malik, J.; Afouras, T.; Ashutosh, K.; Baiyya, V.; Bansal, S.; Boote, B.; et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–22 June 2024; pp. 19383–19400. [^6]: Banerjee, P.; Shkodrani, S.; Moulon, P.; Hampali, S.; Han, S.; Zhang, F.; Zhang, L.; Fountain, J.; Miller, E.; Basol, S.; et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 11–15 June 2025; pp. 7061–7071. [^7]: Engel, J.; Somasundaram, K.; Goesele, M.; Sun, A.; Gamino, A.; Turner, A.; Talattof, A.; Yuan, A.; Souti, B.; Meredith, B.; et al. Project aria: A new tool for egocentric multi-modal ai research. arXiv 2023, arXiv:2308.13561. [^8]: Li, X.; Qiu, H.; Wang, L.; Zhang, H.; Qi, C.; Han, L.; Xiong, H.; Li, H. Challenges and trends in egocentric vision: A survey. Mach. Intell. Res. 2026, 23, 1–33. [CrossRef] [^9]: Jiang, H.; Ramakrishnan, S.K.; Grauman, K. Single-stage visual query localization in egocentric videos. Adv. Neural Inf. Process. Syst. 2023, 36, 24143–24157. [CrossRef] [^10]: Hoshen, Y.; Ben-Artzi, G.; Peleg, S. Wisdom of the crowd in egocentric video curation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 573–579. [^11]: Bandini, A.; Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Trans. Pattern Anal. Mach. Intell. 2020, 45, 6846–6866. [CrossRef] [^12]: Thatipelli, A.; Lo, S.Y.; Roy-Chowdhury, A.K. Egocentric and exocentric methods: A short survey. Comput. Vis. Image Underst. 2025, 257, 104371. [CrossRef] [^13]: Ardeshir, S.; Borji, A. Egocentric meets top-view. IEEE Trans. Pattern Anal. Mach. Intell. 2018, 41, 1353–1366. [CrossRef] [PubMed] [^14]: Wang, H.; Singh, M.K.; Torresani, L. Ego-only: Egocentric action detection without exocentric transferring. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France 1–6 October 2023; pp. 5250–5261. [^15]: Huang, J.; Hao, S.; Hu, B.C.; Wang, H.; Wang, G. Understanding dynamic scenes in ego centric 4d point clouds. In Proceedings of the AAAI Conference on Artificial Intelligence, Singapore, 20–27 January 2026; Volume 40, pp. 5031–5039. ## [^16]: Hollidt, D.; Streli, P.; Jiang, J.; Haghighi, Y.; Qian, C.; Liu, X.; Holz, C. Egosim: An egocentric multi-view simulator and real dataset for body-worn cameras during motion and activity. Adv. Neural Inf. Process. Syst. 2024, 37, 106607–106627. [CrossRef] --- [^17]: Bano, S.; Suveges, T.; Zhang, J.; Mckenna, S.J. Multimodal egocentric analysis of focused interactions. IEEE Access 2018, 6, 37493–37505. [CrossRef] [^18]: Lee, J.Y.; Scharstein, D.; Bapat, A.; Hu, H.; Fu, A.; Zhao, H.; Sammut, P.; Li, X.; Jeapes, S.; Gupta, A.; et al. Ego-1K-A Large-Scale Multiview Video Dataset for Egocentric Vision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 19854–19863. [^19]: Li, B.; Zhong, H.; Cheng, Z.; Hu, Q.; Wang, Q.; Song, L.; Zhang, W. MultiEgo: A Multi-View Egocentric Video Dataset for 4D Scene Reconstruction. In Proceedings of the 33rd ACM International Conference on Multimedia, Dublin, Ireland, 27–31 October 2025; pp. 12882–12889. [^20]: Rahem, R.; Suleiman, W. Beyond Egocentric Limits: Multi-View Depth-Based Learning for Robust Quadrupedal Locomotion. arXiv 2025, arXiv:2511.22744. [^21]: Long, X.; Liu, L.; Li, W.; Theobalt, C.; Wang, W. Multi-view depth estimation using epipolar spatio-temporal networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 20–25 June 2021; pp. 8258–8267. [^22]: Liu, Y.; Yang, J.; Gu, X.; Chen, Y.; Guo, Y.; Yang, G.Z. Egofish3d: Egocentric 3d pose estimation from a fisheye camera via self-supervised learning. IEEE Trans. Multimed. 2023, 25, 8880–8891. [CrossRef] [^23]: Xie, L.; Xu, G.; Cai, D.; He, X. X-view: Non-egocentric multi-view 3D object detector. IEEE Trans. Image Process. 2023, 32, 1488–1497. [CrossRef] [PubMed] [^24]: Su, W.; Tao, W. Efficient edge-preserving multi-view stereo network for depth estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, Washington, DC, USA, 7–14 February 2023; Volume 37, pp. 2348–2356. [^25]: Wu, M.; Wang, Y.; Hu, Q.; Yu, J. Multi-view neural human rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 1682–1691. [^26]: Vogiatzis, G.; Hernández, C. Video-based, real-time multi-view stereo. Image Vis. Comput. 2011, 29, 434–441. [CrossRef] [^27]: Furukawa, Y.; Hernández, C. Multi-view stereo: A tutorial. Found. Trends Comput. Graph. Vis. 2015, 9, 1–148. [CrossRef] [^28]: Kim, C.; Hornung, A.; Heinzle, S.; Matusik, W.; Gross, M. Multi-perspective stereoscopy from light fields. ACM Trans. Graph. (TOG) 2011, 30, 1–10. [CrossRef] [^29]: Son, J.Y.; Lee, H.; Lee, B.R.; Lee, K.H. Holographic and light-field imaging as future 3-D displays. Proc. IEEE 2017, 105, 789–804. [CrossRef] [^30]: Han, J.; Chen, H.; Liu, N.; Yan, C.; Li, X. CNNs-based RGB-D saliency detection via cross-view transfer and multiview fusion. IEEE Trans. Cybern. 2017, 48, 3171–3183. [^31]: Qiu, H.; Wang, C.; Wang, J.; Wang, N.; Zeng, W. Cross view fusion for 3d human pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 4342–4351. [^32]: Romanoni, A.; Matteucci, M. Tapa-mvs: Textureless-aware patchmatch multi-view stereo. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 10413–10422. [^33]: Wang, F.; Galliani, S.; Vogel, C.; Speciale, P.; Pollefeys, M. Patchmatchnet: Learned multi-view patchmatch stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 20–25 June 2021; pp. 14194–14203. [^34]: Yao, Y.; Luo, Z.; Li, S.; Fang, T.; Quan, L. Mvsnet: Depth inference for unstructured multi-view stereo. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 767–783. [^35]: Yao, Y.; Luo, Z.; Li, S.; Shen, T.; Fang, T.; Quan, L. Recurrent mvsnet for high-resolution multi-view stereo depth inference. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 5525–5534. [^36]: Zhang, J.; Li, S.; Luo, Z.; Fang, T.; Yao, Y. Vis-mvsnet: Visibility-aware multi-view stereo network. Int. J. Comput. Vis. 2023, 131, 199–214. [^37]: Aanæs, H.; Jensen, R.R.; Vogiatzis, G.; Tola, E.; Dahl, A.B. Large-scale data for multiple-view stereopsis. Int. J. Comput. Vis. 2016, 120, 153–168. [CrossRef] [^38]: Knapitsch, A.; Park, J.; Zhou, Q.Y.; Koltun, V. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM Trans. Graph. (ToG) 2017, 36, 1–13. [CrossRef] [^39]: Scharstein, D.; Hirschmüller, H.; Kitajima, Y.; Krathwohl, G.; Nasić, N.; Wang, X.; Westling, P. High-resolution stereo datasets with subpixel-accurate ground truth. In Proceedings of the German Conference on Pattern Recognition, Münster, Germany, 2–5 September 2014; Springer: Berlin/Heidelberg, Germany, 2014; pp. 31–42. [^40]: Wang, G.; Xiang, W.; Pickering, M.; Chen, C.W. Light field multi-view video coding with two-directional parallel inter-view prediction. IEEE Trans. Image Process. 2016, 25, 5104–5117. [CrossRef] [PubMed] ## [^41]: Zhu, H.; Wang, Q.; Yu, J. Light field imaging: Models, calibrations, reconstructions, and applications. Front. Inf. Technol. Electron. Eng. 2017, 18, 1236–1249. [CrossRef] --- [^42]: Gu, Q.; Lv, Z.; Frost, D.; Green, S.; Straub, J.; Sweeney, C. Egolifter: Open-world 3d segmentation for egocentric perception. In Proceedings of the European Conference on Computer Vision, Milan, Italy, 29 September–4 October 2024; Springer: Berlin/Heidelberg, Germany, 2024; pp. 382–400. [^43]: Choi, C.; Kim, S.M.; Kim, Y.M. Balanced spherical grid for egocentric view synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 16590–16599. [^44]: Yoo, J.H.; Kim, Y.; Kim, J.; Choi, J.W. 3d-cvf: Generating joint camera and lidar features using cross-view spatial feature fusion for 3d object detection. In Proceedings of the European Conference on Computer Vision, Glasgow, UK, 23–28 August 2020; Springer: Berlin/Heidelberg, Germany, 2020; pp. 720–736. [^45]: Gu, Z.; Peng, G.; Yun, Y.; Liu, Y.; Wu, Z.; Zhang, J.; Li, Z.; Suo, X.; Wang, D. Cross-view detection of crowded objects based on multi-sensor fusion. In Proceedings of the 2024 18th International Conference on Control, Automation, Robotics and Vision (ICARCV), Dubai, United Arab Emirates, 12–15 December 2024; IEEE: Piscataway, NJ, USA, 2024; pp. 363–368. [^46]: Ma, J.; Xiong, G.; Xu, J.; Chen, X. CVTNet: A cross-view transformer network for LiDAR-based place recognition in autonomous driving environments. IEEE Trans. Ind. Inform. 2023, 20, 4039–4048. [^47]: Zhong, H.; Xiang, Z.; Xu, R.; Fu, J.; Xu, P.; Wang, S.; Yang, Z.; Pu, T.; Liu, E. CVFusion: Cross-view fusion of 4D radar and camera for 3D object detection. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–20 October 2025; pp. 28188–28197. [^48]: Kim, S.; Ahn, D.; Ko, B.C. Cross-modal learning with 3D deformable attention for action recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France, 1–6 October 2023; pp. 10265–10275. [^49]: Luo, K.; Guan, T.; Ju, L.; Wang, Y.; Chen, Z.; Luo, Y. Attention-aware multi-view stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 1590–1599. [^50]: Wang, X.; Zhu, Z.; Huang, G.; Qin, F.; Ye, Y.; He, Y.; Chi, X.; Wang, X. Mvster: Epipolar transformer for efficient multi-view stereo. In Proceedings of the European Conference on Computer Vision, Tel Aviv, Israel, 23–27 October 2022; Springer: Berlin/Heidelberg, Germany, 2022; pp. 573–591. [^51]: Liu, T.; Ye, X.; Zhao, W.; Pan, Z.; Shi, M.; Cao, Z. When epipolar constraint meets non-local operators in multi-view stereo. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France, 1–6 October 2023; pp. 18088–18097. [^52]: Campbell, N.D.; Vogiatzis, G.; Hernández, C.; Cipolla, R. Using multiple hypotheses to improve depth-maps for multi-view stereo. In Proceedings of the European Conference on Computer Vision, Marseille, France, 12–18 October 2008; Springer: Berlin/Heidelberg, Germany, 2008; pp. 766–779. [^53]: Tola, E.; Strecha, C.; Fua, P. Efficient large-scale multi-view stereo for ultra high-resolution image sets. Mach. Vis. Appl. 2012, 23, 903–920. [^54]: Galliani, S.; Lasinger, K.; Schindler, K. Gipuma: Massively parallel multi-view stereo reconstruction. Publ. Dtsch. Ges. Photogramm. Fernerkund. Geoinf. e. V 2016, 25, 2. [^55]: He, Y.; Huang, Y.; Chen, G.; Lu, L.; Pei, B.; Xu, J.; Lu, T.; Sato, Y. Bridging perspectives: A survey on cross-view collaborative intelligence with egocentric-exocentric vision. Int. J. Comput. Vis. 2026, 134, 62. [CrossRef] [^56]: Cao, Y.; Liu, Y.; Wang, G.; Liu, Z.; Wang, K.; Zhang, X.; Yu, J.; Tu, X. EAGLE: Episodic Appearance-and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision. In Proceedings of the AAAI Conference on Artificial Intelligence, Singapore, 20–27 January 2026; Volume 40, pp. 2634–2642. [^57]: Tan, Y.; Cheng, X.; Qin, Y.; Li, Z.; Zhang, J. Towards Stable Self-Supervised Object Representations in Unconstrained Egocentric Video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 10545–10555. [^58]: Fu, Y.; Dai, P.; Zhang, Y.; Yiqiang, F.; Zhang, Y.; Wang, H. SAME: Spatial-Aware Multimodal Egocentric Human Pose Estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, Singapore, 20–27 January 2026; Volume 40, pp. 4067–4075. [^59]: Cheng, H.; Ong, S.J.H.; Cai, S.; Koh, A.T.Y.; Ouyang, F.; Khoo, E. EgoPoseVR: Spatiotemporal Multi-Modal Reasoning for Egocentric Full-Body Pose in Virtual Reality. IEEE Trans. Vis. Comput. Graph. 2026, 32, 3211–3221. [CrossRef] [PubMed] [^60]: Jammot, M.; Braun, B.; Streli, P.; Wampfler, R.; Holz, C. egoEMOTION: Egocentric vision and physiological signals for emotion and personality recognition in real-world tasks. Adv. Neural Inf. Process. Syst. 2026, 38, 1–22. [^61]: Ballester, I.; Hermosilla, P.; Lin, W.; Glass, J.R.; Mirza, M.J.; Kampel, M. AViON4D: Audio-Visual Open-Vocabulary 4D Egocentric Scene Understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 8355–8365. [^62]: Luo, H.; Yue, Z.; Zhang, W.; Feng, Y.; Zheng, S.; Ye, D.; Lu, Z. OpenMMEgo: Enhancing egocentric understanding for LMMs with open weights and data. Adv. Neural Inf. Process. Syst. 2026, 38, 25749–25781. [^63]: Özsoy, E.; Mamur, A.; Tristram, F.; Pellegrini, C.; Wysocki, M.; Busam, B.; Navab, N. Egoexor: An ego-exo-centric operating room dataset for surgical activity understanding. Adv. Neural Inf. Process. Syst. 2026, 38, 1–18. [CrossRef] ## [^64]: Ragusa, F.; Leonardi, R.; Mazzamuto, M.; Di Mauro, D.; Quattrocchi, C.; Passanisi, A.; D’Ambra, I.; Furnari, A.; Farinella, G.M. ENIGMA-360: An Ego-Exo Dataset for Human Behavior Understanding in Industrial Scenarios. arXiv 2026, arXiv:2603.09741 --- [^65]: Kang, T.; Kim, K.; Kim, D.; Park, M.; Hyung, J.; Choo, J. EgoX: Egocentric Video Generation from a Single Exocentric Video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3-7 June 2026; pp. 11116–11126. [^66]: Jiang, X.; Xu, X.; Han, Z.; Wang, Z.; Song, J.; Shen, H.T. Egocentric Online Action Segmentation via Evidential Temporal Contextualization. IEEE Trans. Multimed. 2026, 9, 1-11. [CrossRef] [^67]: Qiu, H.; Wang, L.; Zhao, T.; Shi, Z.; Li, X.; Xu, L.; Li, H. Ego-PMOVE: Prompt-aware Mixture of View Experts Network for Egocentric Gaze Prediction. In Proceedings of the AAAI Conference on Artificial Intelligence, Singapore, 20–27 January 2026; Volume 40, pp. 8565–8573. [^68]: Punnakkal, A.R.; Chandrasekaran, A.; Athanasiou, N.; Quiros-Ramirez, A.; Black, M.J. BABEL: Bodies, action and behavior with english labels. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 20–25 June 2021; pp. 722–731. [^69]: Mahmood, N.; Ghorbani, N.; Troje, N.F.; Pons-Moll, G.; Black, M.J. AMASS: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 5442–5451. [^70]: Yu, L.; Murat, E.; Wang, B.; Zeng, Y.; Luo, T.; Zhou, H.; Li, S.; Feng, H.; Zhao, Z.; Yang, N.; et al. EgoKit: Towards Unified Low-Cost Egocentric Data Collection with Heterogeneous Devices. arXiv 2026, arXiv:2605.16797. [^71]: Thapar, D.; Nigam, A.; Arora, C. Anonymizing egocentric videos. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 2320–2329. [^72]: Li, L.; Zhu, F.; Eicher-Miller, H.; Thomas, J.G.; Huang, Y.; Sazonov, E. Extra-lightweight AI-based privacy preserving framework for egocentric wearable cameras. In Proceedings of the Computer Vision and Pattern Recognition Conference, Nashville, TN, USA, 11–15 June 2025; pp. 401–410. [^73]: Zhu, Z.; Sato, Y. Cross-View Correspondence Modeling for Joint Representation Learning Between Egocentric and Exocentric Videos. IEEE Access 2025, 13, 140733–140741. [CrossRef] [^74]: Liu, G.; Tang, H.; Latapie, H.M.; Corso, J.J.; Yan, Y. Cross-view exocentric to egocentric video synthesis. In Proceedings of the 29th ACM International Conference on Multimedia, Chengdu, China, 20–24 October 2021; pp. 974–982. [^75]: Gao, Y.; Zhang, B.; Tang, Z.; Liao, J.; Wu, W.; Liu, S. VGGT-Segmentor: Geometry-Enhanced Cross-View Segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 21690–21700. [^76]: Fonder, M.; Ernst, D.; Van Droogenbroeck, M. Parallax inference for robust temporal monocular depth estimation in unstructured environments. Sensors 2022, 22, 9374. [CrossRef] [PubMed] [^77]: Zhang, S.; Yang, J.; Hao, T.; Wu, S.; Li, M. Temporal feature fusion with deformable attention for multi-view 3D object detection. Digit. Signal Process. 2025, 168, 105518. [CrossRef] [^78]: Wang, Y.; Zeng, Z.; Guan, T.; Yang, W.; Chen, Z.; Liu, W.; Xu, L.; Luo, Y. Adaptive patch deformation for textureless-resilient multi-view stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 1621–1630. [^79]: Shen, H.; Zhuang, P.; Kou, J.; Zeng, Y.; Xu, H.; Li, J. MGD-SAM2: Multi-view guided detail-enhanced segment anything model 2 for high-resolution class-agnostic segmentation. IEEE Trans. Circuits Syst. Video Technol. 2026. [^80]: Hsu, P.H.; Zhang, K.; Wang, F.E.; Tu, T.; Li, M.F.; Liu, Y.L.; Chen, A.Y.; Sun, M.; Kuo, C.H. Openm3d: Open vocabulary multi-view indoor 3d object detection without human annotations. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–23 October 2025; pp. 8688–8698. [^81]: Zhang, Q.; Liu, Y.; Zhu, B.; Han, X.; Zhang, R.; Xiao, J.; Wang, Z. Deep multi-modal fusion transformer for emotion recognition. Eng. Appl. Artif. Intell. 2026, 168, 113967. [CrossRef] [^82]: Zhou, S.; Wang, H.; Wu, Q.; Meng, F.; Xu, L.; Zhang, W.; Li, H. Adversarially Regularized Tri-Transformer Fusion for continual multimodal egocentric activity recognition. Displays 2025, 88, 102992. [CrossRef] [^83]: Shen, Q.; Zhao, Y.; Kwon, N.; Kim, J.; Li, Y.; Kong, S. Solving instance detection from an open-world perspective. In Proceedings of the Computer Vision and Pattern Recognition Conference, Shanghai, China, 15–18 October 2025; pp. 9901–9910. [^84]: Geng, Z.; Wang, N.; Xu, S.; Ye, C.; Li, B.; Chen, Z.; Peng, S.; Zhao, H. One view, many worlds: Single-image to 3d object meets generative domain randomization for one-shot 6d pose estimation. arXiv 2025, arXiv:2509.07978. [^85]: Liu, Z.; Song, R.; Chuangqi, D.; Li, J.; Ferstl, D.; Hu, Y. Exploring 6D Object Pose Estimation with Deformation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 33078–33087. ## [^86]: Kang, J.Y.; Cho, H.; Lee, T.; Kang, M.; Wen, B.; Kim, Y.; Yoon, K.J. Event6D: Event-based Novel Object 6D Pose Tracking. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 15091–15104 --- [^87]: Moroz, A.; Zeman, V.; Mikšík, M.; Isianova, E.; David, M.; Burget, P.; Burde, V. OPFormer: Object Pose Estimation leveraging foundation model with geometric encoding. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, Tucson, AR, USA, 6–10 March 2026; pp. 6621–6632. [^88]: Cai, Y.; Li, Z.; Lu, T.; Zhu, Y.; Wu, Y.S.; Zhang, Q.; Xu, X.; Jin, Z.; Gowda, M.; Jin, Y. Toward Scalable ASL Education: Egocentric Stereo Sensing with LLM Feedback for Error-Aware Learning. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems, Barcelona, Spain, 13–17 April 2026; pp. 1–24. [^89]: Zhang, Z.; Shi, Y.; Yang, L.; Ni, S.; Ye, Q.; Wang, J. Openhoi: Open-world hand-object interaction synthesis with multimodal large language model. Adv. Neural Inf. Process. Syst. 2026, 38, 166582–166612. [^90]: Qi, Z.; Zhang, Z.; Fang, Y.; Wang, J.; Zhao, H. Gpt4scene: Understand 3d scenes from videos with vision-language models. arXiv 2025, arXiv:2501.01428. [^91]: Ye, H.; Zhang, H.; Daxberger, E.; Chen, L.; Lin, Z.; Li, Y.; Zhang, B.; You, H.; Xu, D.; Gan, Z.; et al. MMEgo: Towards building egocentric multimodal LLMs for video QA. In Proceedings of the International Conference on Learning Representations, Singapore, 24–28 April 2025; Volume 2025, pp. 71705–71723. [^92]: Yang, J.; Liu, S.; Guo, H.; Dong, Y.; Zhang, X.; Zhang, S.; Wang, P.; Zhou, Z.; Xie, B.; Wang, Z.; et al. Egolife: Towards egocentric life assistant. In Proceedings of the Computer Vision and Pattern Recognition Conference, Nashville, TN, USA, 10–17 June 2025; pp. 28885–28900. [^93]: Park, W.; Lee, I.; Kim, S.; Jang, J.; Noh, M.; Shim, K.; Shim, B. Revealing Multi-View Hallucination in Large Vision-Language Models. arXiv 2026, arXiv:2603.23934. [^94]: Ye, Y.; Li, J.; Rong, R.; Liu, C.K. Whole: World-grounded hand-object lifted from egocentric videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 3481–3491. [^95]: Luo, H.; Feng, Y.; Zhang, W.; Zheng, S.; Wang, Y.; Yuan, H.; Liu, J.; Xu, C.; Jin, Q.; Lu, Z. Being-h0: Vision-language-action pretraining from large-scale human videos. arXiv 2025, arXiv:2507.15597. [^96]: Xu, B.; Zheng, S.; Jin, Q. Pov: Prompt-oriented view-agnostic learning for egocentric hand-object interaction in the multi-view world. In Proceedings of the 31st ACM International Conference on Multimedia, Ottawa, ON, Canada, 29 October–3 November 2023; pp. 2807–2816. [^97]: Leonardi, R.; Ragusa, F.; Furnari, A.; Farinella, G.M. Exploiting multimodal synthetic data for egocentric human-object interaction detection in an industrial scenario. Comput. Vis. Image Underst. 2024, 242, 103984. [CrossRef] [^98]: Xu, L.; Yang, C.; Lin, Z.; Xu, F.; Liu, Y.; Xu, C.; Zhang, Y.; Qin, J.; Sheng, X.; Liu, Y.; et al. Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–20 October 2025; pp. 12535–12548. [^99]: Hamid, D.; Haq, M.E.U.; Yasin, A.; Murtaza, F.; Azam, M.A. Enhancing Recognition of Human–Object Interaction from Visual Data Using Egocentric Wearable Camera. Future Internet 2024, 16, 269. [CrossRef] [^100]: Li, G.; Chen, Y.; Wu, Y.; Zhao, K.; Pollefeys, M.; Tang, S. Egom2p: Egocentric multimodal multitask pretraining. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–20 October 2025; pp. 10830–10843. [^101]: He, Y.; Huang, Y.; Chen, G.; Pei, B.; Xu, J.; Lu, T.; Pang, J. Egoexobench: A benchmark for first-and third-person view video understanding in mlims. Adv. Neural Inf. Process. Syst. 2026, 38, 1–17. [^102]: Akada, H.; Wang, J.; Golyanik, V.; Theobalt, C. Bring your rear cameras for egocentric 3d human pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–20 October 2025; pp. 9497–9507. [^103]: Zhang, W.; Jia, E.Y.t.; Zhou, J.; Ma, B.; Shi, K.; Liu, Y.S.; Han, Z. NeRFPrior: Learning neural radiance field as a prior for indoor scene reconstruction. In Proceedings of the Computer Vision and Pattern Recognition Conference, Shanghai, China, 15–18 October 2025; pp. 11317–11327. [^104]: Zhang, X.; Yu, R.; Ren, S. Neural implicit representations for multi-view surface reconstruction: A survey. IEEE Trans. Vis. Comput. Graph. 2025, 31, 9444–9463. [CrossRef] [PubMed] [^105]: Kawaharazuka, K.; Oh, J.; Yamada, J.; Posner, I.; Zhu, Y. Vision-language-action models for robotics: A review towards real-world applications. IEEE Access 2025, 13, 162467–162504. [CrossRef] [^106]: Yoshida, T.; Kurita, S.; Nishimura, T.; Mori, S. Generating 6 dof object manipulation trajectories from action description in egocentric vision. In Proceedings of the Computer Vision and Pattern Recognition Conference, Shanghai, China, 15–18 October 2025; pp. 17370–17382. [^107]: Saroha, A.; Zeng, H.; Zuo, X.; Cremers, D.; Wang, X. EgoFlow: Gradient-Guided Flow Matching for Egocentric 6DoF Object Motion Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 4332–4342. ## [^108]: Xi, Z.; Ao, Z.; Wang, Y.; Gao, M.; Zhang, W.; Feng, J.; Zhou, J. WristPP: A Wrist-Worn System for Hand Pose and Pressure Estimation. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems, Barcelona, Spain, 13–17 April 2026; pp. 1–30 --- [^109]: Li, Z.; Yang, Q.; Zhuang, Y.; Guo, C.; Zuo, X.; Long, X.; Yao, Y.; Cao, X.; Shen, Q.; Zhu, H. Pressure2Motion: Hierarchical Human Motion Reconstruction from Ground Pressure with Text Guidance. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 23495–23505. [^110]: Joo, H.; Liu, H.; Tan, L.; Gui, L.; Nabbe, B.; Matthews, I.; Kanade, T.; Nobuhara, S.; Sheikh, Y. Panoptic studio: A massively multiview system for social motion capture. In Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 7–13 December 2015; pp. 3334–3342. [^111]: Moon, G.; Yu, S.I.; Wen, H.; Shiratori, T.; Lee, K.M. Interhand2. 6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Proceedings of the European Conference on Computer Vision, Glasgow, UK, 23–28 August 2020; Springer: Berlin/Heidelberg, Germany, 2020; pp. 548–564. [^112]: Kwon, T.; Tekin, B.; Stühmer, J.; Bogo, F.; Pollefeys, M. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 11–17 October 2021; pp. 10138–10148. [^113]: Damen, D.; Doughty, H.; Farinella, G.M.; Furnari, A.; Kazakos, E.; Ma, J.; Moltisanti, D.; Munro, J.; Perrett, T.; Price, W.; et al. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. Int. J. Comput. Vis. 2022, 130, 33–55. [^114]: Damen, D.; Doughty, H.; Farinella, G.M.; Fidler, S.; Furnari, A.; Kazakos, E.; Moltisanti, D.; Munro, J.; Perrett, T.; Price, W.; et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 720–736. [^115]: Feng, R.; Chen, F.; Xu, D.; Zhong, L. ER: Extract-regress network for precise 3D reconstruction of interacting hands from monocular images. Vis. Comput. 2026, 42, 107. [CrossRef] [^116]: Han, G.; Ye, Q.; Chen, A.; Chen, J. Caminterhand: Cooperative attention for multi-view interactive hand pose and mesh reconstruction. In Proceedings of the 2024 IEEE International Conference on Robotics and Automation (ICRA), Yokohama, Japan, 13–17 May 2024; IEEE: Piscataway, NJ, USA, 2024; pp. 1041–1047. [^117]: Ren, P.; Wang, J.; Sun, H.; Qi, Q.; Liu, X.; Zhang, M.; Zhang, L.; Wang, J.; Liao, J. Prior-aware Dynamic Temporal Modeling Framework for Sequential 3D Hand Pose Estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–20 October 2025; pp. 6476–6487. [^118]: Yu, Z.; Zafeiriou, S.; Birdal, T. Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In Proceedings of the Computer Vision and Pattern Recognition Conference, Shanghai, China, 15–18 October 2025; pp. 27716–27726. [^119]: Ren, P.; Wen, C.; Zheng, X.; Xue, Z.; Sun, H.; Qi, Q.; Wang, J.; Liao, J. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France, 1–6 October 2023; pp. 8014–8025. [^120]: Pavlakos, G.; Shan, D.; Radosavovic, I.; Kanazawa, A.; Fouhey, D.; Malik, J. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–22 June 2024; pp. 9826–9836. [^121]: Pan, H.; Cai, Y.; Yang, J.; Niu, S.; Gao, Q.; Wang, X. HandFI: Multilevel Interacting Hand Reconstruction Based on Multilevel Feature Fusion in RGB Images. Sensors 2024, 25, 88. [CrossRef] [PubMed] [^122]: Moon, G. Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Denver, CO, USA, 3–7 June 2026; pp. 8891–8900. [^123]: Han, S.; Wu, P.c.; Zhang, Y.; Liu, B.; Zhang, L.; Wang, Z.; Si, W.; Zhang, P.; Cai, Y.; Hodan, T.; et al. UmeTrack: Unified multi-view end-to-end hand tracking for VR. In Proceedings of the SIGGRAPH Asia 2022 Conference Papers, Daegu, Republic of Korea, 6–9 December 2022; pp. 1–9. [^124]: Örnek, E.P.; Labbé, Y.; Tekin, B.; Ma, L.; Keskin, C.; Forster, C.; Hodan, T. Foundpose: Unseen object pose estimation with foundation features. In Proceedings of the European Conference on Computer Vision, Milan, Italy, 29 September–4 October 2024; Springer: Berlin/Heidelberg, Germany, 2024; pp. 163–182. [^125]: Mittal, H.; Agarwal, N.; Lo, S.Y.; Lee, K. Can't make an omelette without breaking some eggs: Plausible action anticipation using large video-language models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–22 June 2024; pp. 18580–18590. [^126]: Kim, S.; Huang, D.; Xian, Y.; Hilliges, O.; Van Gool, L.; Wang, X. Palm: Predicting actions through language models. In Proceedings of the European Conference on Computer Vision, Milan, Italy, 29 September–4 October 2024; Springer: Berlin/Heidelberg, Germany, 2024; pp. 140–158. [^127]: Bertasius, G.; Wang, H.; Torresani, L. Is space-time attention all you need for video understanding? In Proceedings of the ICML, Virtual, 18–24 July 2021; Volume 2, p. 4. ## [^128]: Pasca, R.G.; Gavryushin, A.; Hamza, M.; Kuo, Y.L.; Mo, K.; Van Gool, L.; Hilliges, O.; Wang, X. Summarize the past to predict the future: Natural language descriptions of context boost multimodal object interaction anticipation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–22 June 2024; pp. 18286–18296 --- [^129]: Pramanick, S.; Song, Y.; Nag, S.; Lin, K.Q.; Shah, H.; Shou, M.Z.; Chellappa, R.; Zhang, P. Egovlpv2: Egocentric video-language pre-training with fusion in the backbone. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France, 1–6 October 2023; pp. 5285–5297. [^130]: Romero, J.L.; Min, K.; Tripathi, S.; Karimzadeh, M. Keystep Recognition using Graph Neural Networks. arXiv 2025, arXiv:2506.01102. [^131]: Ragusa, F.; Farinella, G.M.; Furnari, A. Stillfast: An end-to-end approach for short-term object interaction anticipation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 3636–3645. [^132]: Bianchi, E.; Liotta, A. SkillFormer: Unified multiview video understanding for proficiency estimation. In Proceedings of the Eighteenth International Conference on Machine Vision (ICMV 2025), Paris, France, 19–22 October 2025; SPIE: New York, NY, USA, 2026; Volume 14114; pp. 685–692. [^133]: Bianchi, E.; Liotta, A. PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment. In Proceedings of the 2025 IEEE International Workshop on Sport, Technology and Research (STAR), Trento, Italy, 29–31 October 2025; IEEE: Piscataway, NJ, USA, 2025; pp. 1–6. [^134]: Bianchi, E.; Staiano, J.; Liotta, A. ProfVLM: A Lightweight Video-Language Model for Multi-View Proficiency Estimation. arXiv 2025, arXiv:2509.26278. [^135]: Tanoue, H.; Nishihara, H.; Suzuki, Y.; Hori, T.; Takushima, H.; Manojkumar, A.; Shibata, Y.; Takeda, M.; Beppu, F.; Hengwei, Z.; et al. CuriosAI Submission to the EgoExo4D Proficiency Estimation Challenge 2025. arXiv 2025.arXiv:2507.08022. [^136]: Braun, B.; Armani, R.; Meier, M.; Moebus, M.; Holz, C. egoppg: Heart rate estimation from eye-tracking cameras in egocentric systems to benefit downstream vision tasks. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Honolulu, HI, USA, 19–20 October 2025; pp. 5579–5590. [^137]: John, R.; Kesari, A.; DiMatteo, V.; Dana, K. EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset. arXiv 2025, arXiv:2512.07668. [^138]: Pan, X.; Charron, N.; Yang, Y.; Peters, S.; Whelan, T.; Kong, C.; Parkhi, O.; Newcombe, R.; Ren, Y.C. Aria digital twin: A new benchmark dataset for egocentric 3d machine perception. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Paris, France, 1–6 October 2023; pp. 20133–20143. [^139]: Ma, L.; Ye, Y.; Hong, F.; Guzov, V.; Jiang, Y.; Postyeni, R.; Pesqueira, L.; Gamino, A.; Baiyya, V.; Kim, H.J.; et al. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In Proceedings of the European Conference on Computer Vision, Milan, Italy, 29 September–4 October 2024; Springer: Berlin/Heidelberg, Germany, 2024; pp. 445–465. [^140]: Musabini, A.; Novikov, I.; Soula, S.; Leonet, C.; Wang, L.; Benmokhtar, R.; Burger, F.; Boulay, T.; Perrotton, X. Enhanced Parking Perception by Multi-Task Fisheye Cross-view Transformers. IET Conf. Proc. CP887 2024, 2024, 31–38. [CrossRef] [^141]: Xue, J.; Smirnov, P.; Li, Z.; Shi, Y.; Chen, S.; Yin, X.; Yue, X.; Wang, L.; Wang, Y.; Lin, F.; et al. RePose: A Real-Time 3D Human Pose Estimation and Biomechanical Analysis Framework for Rehabilitation. arXiv 2026, arXiv:2601.00625. [^142]: An, S.; Li, Y.; Ogras, U. mri: Multi-modal 3d human pose estimation dataset using mmwave, rgb-d, and inertial sensors. Adv. Neural Inf. Process. Syst. 2022, 35, 27414–27426. [^143]: Solbach, M.D.; Tsotsos, J.K. Vision-based fallen person detection for the elderly. In Proceedings of the IEEE International Conference on Computer Vision Workshops, Venice, Italy, 22–29 October 2017; pp. 1433–1442. [^144]: Jang, J.; Kim, D.; Park, C.; Jang, M.; Lee, J.; Kim, J. ETRI-activity3D: A large-scale RGB-D dataset for robots to recognize daily activities of the elderly. In Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, 24 October 2020–24 January 2021; IEEE: Piscataway, NJ, USA, 2020; pp. 10990–10997. [^145]: Nguyen, T.T.; Kawanishi, Y.; John, V.; Komamizu, T.; Ide, I. MultiSensor-Home: A wide-area multi-modal multi-view dataset for action recognition and Transformer-based sensor fusion. In Proceedings of the 2025 IEEE 19th International Conference on Automatic Face and Gesture Recognition (FG), Clearwater, FL, USA, 26–30 May 2025; IEEE: Piscataway, NJ, USA, 2025; pp. 1–10. [^146]: Nguyen, H.D.; Phan, D.T. CMA-ECG: Cross-modal attention for enhanced ECG quality assessment and denoising. Physiol. Meas. 2025, 46, 115001. [CrossRef] [^147]: Jun, H.; Shaik, H.; DeVeaux, C.; Lewek, M.; Fuchs, H.; Bailenson, J. An evaluation study of 2D and 3D teleconferencing for remote physical therapy. PRESENCE Virtual Augment. Real. 2022, 31, 47–67. [CrossRef] [^148]: Boldo, M.; De Marchi, M.; Martini, E.; Aldegheri, S.; Quaglia, D.; Fummi, F.; Bombieri, N. Real-time multi-camera 3D human pose estimation at the edge for industrial applications. Expert Syst. Appl. 2024, 252, 124089. [CrossRef] [^149]: Wang, C.; Zhu, W.; Gao, B.B.; Gan, Z.; Zhang, J.; Gu, Z.; Qian, S.; Chen, M.; Ma, L. Real-iad: A real-world multi-view dataset for benchmarking versatile industrial anomaly detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 16–22 June 2024; pp. 22883–22892. ## [^150]: Nazeri, A.; Mishra, S.; Wagner, A.; Ruskowski, M.; Stricker, D.; Rambach, J. A Multi-Camera Vision-Based Approach for Fine-Grained Assembly Quality Control. In Proceedings of the 2025 33rd European Signal Processing Conference (EUSIPCO), Palermo, Italy, 8–12 September 2025; IEEE: Piscataway, NJ, USA, 2025: pp. 1287–1291 --- [^151]: Ragusa, F.; Furnari, A.; Farinella, G.M. Meccano: A multimodal egocentric dataset for humans behavior understanding in the industrial-like domain. Comput. Vis. Image Underst. 2023, 235, 103764. [CrossRef] [^152]: Tao, W.; Leu, M.C.; Yin, Z. Multi-modal recognition of worker activity for human-centered intelligent manufacturing. Eng. Appl. Artif. Intell. 2020, 95, 103868. [CrossRef] [^153]: González-Alonso, J.; Martín-Tapia, P.; González-Ortega, D.; Antón-Rodríguez, M.; Díaz-Pernas, F.J.; Martínez-Zarzuela, M. ME-WARD: A multimodal ergonomic analysis tool for musculoskeletal risk assessment from inertial and video data in working places. Expert Syst. Appl. 2025, 278, 127212. [CrossRef] [^154]: Rahman, F.; Mim, M.S.; Baishakhi, F.B.; Hasan, M.; Morol, M.K. A systematic review on interactive virtual reality laboratory. In Proceedings of the 2nd International Conference on Computing Advancements, Dhaka, Bangladesh, 10–12 March 2022; pp. 491–500. [^155]: Bozkir, E.; Kosel, C.; Seidel, T.; Kasneci, E. Automated visual attention detection using mobile eye tracking in behavioral classroom studies. arXiv 2025, arXiv:2505.07552. [^156]: Yang, Z.; Wang, S.; Pan, S.; Li, H.; Wang, H.; Li, L.; Li, G.; Wen, Z.; Lin, B.; Tao, J.; et al. Realizing Immersive Volumetric Video: A Multimodal Framework for 6-DoF VR Engagement. arXiv 2026, arXiv:2604.09473. [^157]: Ragusa, F.; Furnari, A.; Battiato, S.; Signorello, G.; Farinella, G.M. EGO-CH: Dataset and fundamental tasks for visitors behavioral understanding using egocentric vision. Pattern Recognit. Lett. 2020, 131, 150–157. [CrossRef] [^158]: Leonardi, R.; Furnari, A.; Ragusa, F.; Farinella, G.M. Leveraging Synthetic Data for Enhancing Egocentric Hand-Object Interaction Detection. Int. J. Comput. Vis. 2026, 134, 279. [CrossRef] [^159]: Luo, M.; Xue, Z.; Dimakis, A.; Grauman, K. Put myself in your shoes: Lifting the egocentric perspective from exocentric videos. In Proceedings of the European Conference on Computer Vision, Milan, Italy, 29 September–4 October 2024; Springer: Berlin/Heidelberg, Germany, 2024; pp. 407–425. 免责声明/出版商说明：所有出版物中所包含的陈述、观点和数据仅代表各作者及撰稿人的个人立场，并不代表MDPI和/或编辑部的观点。对于因文中提及的任何理念、方法、说明或产品而导致的人身伤害或财产损失，MDPI和/或编辑部概不负责。