# 在野外环境中使用移动多摄像头设备进行的Ego-Exo 3D手部追踪 Patrick Rim $^{1,2}$ Kun He $^{1}$ Kevin Harris $^{1}$ Braden Copple $^{1}$ Shangchen Han $^{1}$ Sizhe An $^{1}$ Ivan Shugurov $^{1}$ Tomas Hodan $^{1}$ He Wen $^{1}$ Xu Xie $^{1}$ $^{1}$Meta Reality Labs $^{2}$、耶鲁大学 ## 摘要 在无约束环境下实现手部及其与世界交互的精确3D追踪，对于以人为中心的计算机视觉而言仍是一项重大挑战。除少数例外情况外，现有数据集主要在受控的实验室环境中采集，这限制了环境的多样性以及模型的泛化能力。为解决这一问题，我们提出了一种新型的无标记多摄像头系统，旨在捕捉精确的3D手部与物体数据，从而允许设备在真正的野外环境中几乎不受限制地移动。我们将一个轻量级的背部搭载式采集装置与八台外置摄像头相结合，同时搭配用户佩戴的Meta Quest 3头显，后者可提供两个以人为中心的视角。我们设计了Ego-Exo追踪流程，利用该系统生成精确的3D手部姿态真值，并对其质量进行了严格评估。通过收集包含同步多视角图像与精确3D手部姿态的标注数据集，我们证明了该方法能够显著缓解环境真实性与3D标注精度之间的权衡问题。 ### 1. 引言 在日常环境中精确追踪人手及其与物体的交互，是以人为中心的感知系统的基础能力。在增强现实和虚拟现实（AR/VR）领域，手-物感知技术能够支持自然且富有表现力的用户交互，无需依赖外部输入设备或受限的输入空间。而在机器人技术与远程操控领域，观察人类在不同场景中操纵工具与物体的方式，对于学习可迁移的操控技能至关重要。 尽管近期计算机视觉领域的进展显著提升了手-物感知模型的能力[^8] [^9] [^17] [^25] [^27]，但这类模型在大多数为受控的室内环境中部署时仍可能面临挑战。因此，迫切需要能够采集反映野外真实手-物交互情况的、无约束的真实数据的数据采集系统。然而，构建此类系统极具挑战性，原因在于存在根本性的权衡：一方面，为了获取真实的手/物外观、环境多样性以及用户移动性，外部传感器（如摄像头、惯性测量单元、飞行时间传感器以及动作捕捉系统）的应用受到限制[^1] [^11] [^22] [^24]；另一方面，3D真值的可用性和质量最终受到传感器精度与覆盖范围的制约。 现有大规模手-物体交互数据集往往在这类权衡中偏向两个极端。大多数此类数据集，如ARCTIC [^4]和HOT3D [^2]，都是在受控条件下采集的，通常是在配备基于标记的动作捕捉系统或固定多摄像头阵列的室内实验室环境中。这类设置虽然能提供高精度的三维数据，但本质上限制了所采集数据的环境多样性。另一个极端是那些环境变化显著的数据集，如Ego-Exo 4D [^7]和Nymeria [^14]，由于传感器配置的限制，缺乏针对手部和物体的密集且精确的三维真实标注。 在本研究中，我们从文献中大量的多摄像头系统中汲取灵感，但我们的设计打破了现实感与真实感测量之间的固有权衡。我们创新性的多摄像头装置既能获取精确的三维真实数据，又能保持高度灵活性，从而能够在包括户外在内的多种环境中捕捉真实的第一人称交互场景。该装置由一个轻便的背包式支架组成，上面装有八台同步工作的鱼眼黑白摄像头，可提供外部视角；用户佩戴的Meta Quest 3头显则能提供来自前置鱼眼摄像头的两种第一人称视角。目前，通过利用全部十路摄像头视图的多阶段内外视角手部追踪流程，我们能够在现有数据集中极少出现的复杂环境中获得精确的三维手部姿态标注。 在这篇扩展摘要中，我们介绍了核心系统，并描述了我们采集和标注的初始数据集。在定量评估方面，我们检验了系统的真实标注质量，结果表明与我们采集的数据相比，其他相关数据集在解决第一人称手部姿态估计问题上的难度更低。 --- ![Image](images/3e419bd9408e1ec50768546b1936208fdffe84ac6a13d5f19553e15a9e9ec27b.jpg)
Figure 1. Our mobile multi-camera capture rig. Left: annotated hardware layout showing five OptiTrack motion capture cameras (red), two egocentric headset cameras (blue), and eight exocentric fisheye cameras mounted in a half-dome configuration (green) including top-down, far-corner, protruding, and bottom-up placements. Right: the rig in use during an in-the-wild capture session, demonstrating its lightweight, wearable design that allows natural interaction while maintaining synchronized multi-view coverage.
### 2. 相关工作 在本节中，我们回顾了大规模手-物体数据集领域的最新研究成果，重点探讨其数据采集设置和标注方法。 HOI4D [^12]利用安装在参与者自行车头盔上的Kinect v2和Intel RealSense摄像头，在室内环境中录制RGB-D序列。手部和物体的真实标注是通过手动标注及逐帧传播获得的。尽管其规模具有开创性，但仅依赖单一的第一人称视角严重制约了真实标注的精确度，因为很难解决遮挡问题和尺度模糊现象。 基于标记的动作捕捉（MoCap）系统已被广泛用于真实数据采集。ARCTIC [^4]采用了一种现成的解决方案，通过安装54个红外（IR）MoCap摄像头来追踪手部和物体，具体做法是在它们表面贴上反光标记。然而，这种固定式的穹顶结构限制了环境的多样性，而且标记的存在会损害视觉真实感并妨碍自然交互。OakInk2 [^26]采用了一种混合捕捉方案，配备了12个MoCap摄像头和4个RGB摄像头（其中3个为外置摄像头，1个为内置摄像头）。与ARCTIC类似，手部及物体上均贴有标记，以此生成三维姿态的真实数据。TACO [^13]则采用由12个固定外置RGB摄像头、1个内置GoPro摄像头以及一套MoCap系统组成的设备。虽然物体的姿态仍依赖标记来确定，但手部姿态标注是通过无标记流程得出的：先利用基于YOLOv3的检测 [^18] 和MMPose [^21] 来获取二维关键点，再通过三角测量实现三维定位。最近发布的数据集HOT3D [^2]通过使用Meta Quest 3头显和Aria研究眼镜 [^3] 来提升真实感。不过，这种非静态的MoCap方式仍存在局限。 另一方面，无标记解决方案通常依赖于同步的多摄像头设置。Assembly101 [^20]和AssemblyHands [^16]使用了8个RGB摄像头，并与定制头显同步以捕捉手-物交互情况并标注三维手部姿态，但缺乏物体姿态的真实数据。更近期发布的GigaHands [^5]利用51个RGB摄像头阵列构建了从二维到三维的手部和物体姿态标注流程，其中涉及用YOLOv8 [^23]进行检测，用HaMeR [^17]获取二维关键点，再通过三角测量及MANO拟合 [^19] 完成处理。该数据集相比现有数据集拥有更多的帧数，但由于捕捉环境固定且范围受限，环境和语境的多样性依然有限。此外，GigaHands不包含任何内置视角的画面。 一个值得注意的、基于真实场景的大规模数据集是Ego-Exo4D [^7]，它包含1个内置视角和4个外置视角。不过，由于该研究主要侧重于捕捉距离较远时的全身动作（这一距离通常大于观察手部所需的距离），因此只有少量帧中才有手部标注，且这些标注主要通过人工标注获得。另外，Ego-Exo4D并未提供物体姿态的三维标注。Nymeria [^14]是另一个类似的真实场景数据集，它是用Aria研究眼镜和可穿戴式MoCap套装采集的，同样主要关注全身运动而非手-物交互。 在所有这些现有数据集中，都明显存在一种权衡：采用复杂的多摄像头动作捕捉装置（无论基于标记还是无标记）虽然能产出高质量的标注数据，但却牺牲了环境的多样性和视觉真实感。 --- ![Image](images/85db0b8e2cdf33c669a06430c4d17fbba146f4733d3987c857f79871686b6468.jpg)
Figure 2. Overview of our multi-stage pipeline for accurate 3D hand pose annotation. (a) Multi-view fisheye images from our 10 ego/exo cameras. (b) Sapiens body keypoint detector predicts 2D hand keypoints per frame and localizes hands for cropping. (c) InterNet hand-specific detector on perspective crops for additional 2D hand keypoints. (d) Left/right 3D hand keypoints are triangulated across all views using robust multi-view geometry. (e) Personalized meshes are fitted to triangulated 3D keypoints and projected back to 2D views.
### 3. 数据采集 #### 3.1. 移动式捕捉装置 我们设计了一种便携、独立、背包式的多摄像头捕捉装置，重量约为8公斤，参与者可以轻松将其背在身上，且在采集过程中不会显著限制其自然活动范围。 八台单色鱼眼摄像头（分辨率为 $1024 \times 1280$，帧率为 60 Hz，水平视场角为 $152^\circ$，垂直视场角为 $116^\circ$）被牢固地安装在设备上，呈半球形排列以最大化视觉覆盖范围。这种布局包括：安装在设备顶部的两根横杆上的两台俯视摄像头、位于最远角落的两台摄像头、安装在侧向突出横杆上且向内倾斜的两台摄像头，以及安装在设备底部的两台仰视摄像头（见图 1）。摄像头的具体位置和视角是通过实验测试确定的。 参与者还会佩戴配备两台相同单色鱼眼摄像头的 Meta Quest 3 头显，以提供以自我为中心的视角。由于 Quest 3 是全球销量最高的消费级头显，用它拍摄的数据能很好地反映实际应用场景。我们并未将头显固定在设备上，以便参与者能够自由活动头部。为了追踪头显相对于外部采集设备的姿态，我们采用了与 HOT3D 中相同的方式来进行动作捕捉 [^2]：在头显顶部放置一个轻量级的标记树（刚体），通过分布在设备周围的五台 OptiTrack PrimeX 13W 摄像头来追踪它。这是一种替代 AR 标签的头显追踪方案，通常具有更高的精度。 这十台单色摄像头和五台动作捕捉摄像头均实现了硬件同步，并被精确校准到一个共享的三维参考坐标系中。需要注意的是，该参考坐标系会随着参与者的移动而移动，而非固定在物理世界中。视频和动作捕捉数据会实时传输到放置在移动推车上的高性能台式工作站中。这个推车可以轻松跟随参与者移动，从而确保采集过程中参与者几乎不受行动限制。 #### 3.2. 手部标注自动化 我们提出了一种多阶段流程，用于对手部姿态进行精确的基准标注。该流程结合了身体和手部二维关键点检测模型，随后进行多视角三角测量以及个性化网格拟合。 首先，对于我们使用的十台鱼眼单色摄像头（八台外部摄像头和两台内部摄像头）所拍摄的每一帧图像，我们采用先进的人体关键点检测模型 Sapiens [^10] 来预测 308 个身体关键点，其中包括 42 个专门的手部关键点（每只手 21 个）。除了能提供高质量的手部姿态估计结果外，这一步还能确定手在画面中的位置。我们使用的是经过大量专有人体关键点数据微调后的 Sapiens 版本，这些数据既包括来自公开来源（如 Shutterstock）的数据，也包括大量能模拟野外采集时真实环境的合成数据。 根据 Sapiens 输出的手部关键点预测结果，接下来我们对每个摄像头视图中的每只手（左手和右手）进行透视裁剪 [^9]。具体做法是：针对每只手，先计算其 21 个预测关键点的质心，并以该质心为中心定义一个边界圆。随后，我们创建一个虚拟针孔摄像头，使其位置与物理摄像头完全一致；同时调整其内参，使得边界圆内的所有点都能投影到分辨率为 $256 \times 256$ 像素的透视图像中。 --- 选择这一特定分辨率是为了匹配第二阶段专用手部关键点检测模型所需的输入尺寸，我们将在后续介绍该模型。 一旦获得不同视角下的手部图像，我们便应用专门的二维手部姿态估计模型——InterNet [^15]。该模型是在多种专有数据集上训练而成的，这些数据集包含在大范围多摄像头穹顶中采集的手部图像、公开数据集中整理的手部样本，以及用于模拟复杂真实世界手部外观的合成数据。在推理之前，我们会对每张视角裁剪后的手部图像进行直方图均衡化处理 [^6]，以此缓解光照差异带来的挑战。 在每个时间步，我们会从十个同步摄像头的视角中获取两组独立的手部关键点预测结果（分别来自Sapiens和InterNet模型），因此每帧总共会产生20组、每组包含42个手部关键点的数据。两种检测模型都会为每个预测的关键点提供置信度分数，据此可进行基于置信度的过滤：置信度低于0.3的预测结果会被剔除。这些经过过滤的二维检测结果会作为标准RANSAC三角测量算法的输入，从而为每个帧生成42个三维关键点。 最后，这组三角测量得到的三维手部关键点会被用来拟合精细的手部网格。我们采用的解决方案与UmeTrack [^9]及HOT3D [^2]兼容：首先通过高分辨率手部扫描系统获取个性化的线性混合蒙皮手部模型，随后利用逆向运动学将其拟合到三维关键点上。这种个性化处理能生成高质量的基准真值网格，适用于细粒度任务，比如密集接触分析。 #### 3.3. 定量评估 为了评估我们标注的基准真值手部姿态的准确性，我们在一个配备30台高分辨率摄像头的大型多摄像头采集穹顶内开展了受控评估。与我们的移动设备相比，该穹顶布局能提供更密集的覆盖范围和更优的视角，因此可作为评估系统生成的手部姿态质量的“黄金标准”。我们将两套系统的所有摄像头同步并校准到同一坐标系下，从而能够直接比较我们生成的三维手部关键点与穹顶采集到的关键点。
MPJPE (mm)MedianP90
No interactions6.287.31
Hand-hand interaction7.468.95
Hand-object interaction7.9012.53
Table 1. Quantitative evaluation of our ground-truth hand annotations against a high-coverage 30-camera dome setup. We report the median and 90th percentile of per-frame mean per-joint position error (MPJPE) in millimeters.
表1显示，在所有条件下，我们的移动设备都能达到亚厘米级的中位精度，这一数值与穹顶系统非常接近，尽管移动设备的体积更小、灵活性更高。 除了基于穹顶的验证外，我们还评估了该数据集作为三维手部姿态估计基准的实用性。我们构建了一个名为EgoExo-Hands的评估集，其中包含约3万帧标注数据，由3名受试者在多个室内外环境中采集而成。我们通过以下方式测试模型的泛化能力：用两个现有数据集——UmeTrack [^9]和HOT3D [^9]——训练UmeTrack手部追踪器 [^2]，再在EgoExo-Hands上进行测试。表2报告了平均关键点位置误差（MKPE，单位：毫米）。
Train setTest setMKPE $\downarrow$
UmeTrack + HOT3DUmeTrack9.48
UmeTrack + HOT3DHOT3D10.95
UmeTrack + HOT3DEgoExo-Hands16.28
HOT3DEgoExo-Hands22.59
UmeTrackEgoExo-Hands24.78
Table 2. Evaluation of 3D hand pose estimation. Models trained on existing datasets, UmeTrack [^9] and HOT3D [^2], generalize significantly worse to EgoExo-Hands, highlighting the increased difficulty of our in-the-wild data.
如表2所示，在各自对应的数据集上训练的模型在域内测试时表现尚可；但在EgoExo-Hands上评估时，误差显著增大。这凸显了我们数据集的多样性更强、难度更高。 上述定量评估结果证明，我们提出的数据集填补了现有文献中的一个重要空白：它为研究在现实、无约束条件下的鲁棒手部姿态追踪提供了高质量的基准。 ### 4. 结论与未来工作 我们推出了一种新型移动多摄像头采集装置，用于在真实环境中捕捉以人眼为中心的双手与物体交互数据。由此生成的数据集EgoExo-Hands包含了在复杂环境下精确标注的3D手部姿态信息。 虽然本扩展摘要主要聚焦于精确的3D手部姿态标注，但我们正在着手收集并构建大规模数据集，以涵盖真实场景中各类双手与物体的交互情况。除了三角测量得到的3D手部关键点和个性化手部网格外，该数据集还将提供丰富的额外标注信息，包括：物体的6自由度姿态、分割与接触标注，以及详细的文字描述。 --- ## 参考文献 [^1]: Dimitrios S Alexiadis, Anargyros Chatzitofis, Nikolaos Zioulis, Olga Zoidi, Georgios Louizis, Dimitrios Zarpalas, and Petros Daras. An integrated platform for live 3d human reconstruction and motion capturing. IEEE Transactions on Circuits and Systems for Video Technology, 27(4):798–813, 2016. 1 [^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7061–7071, 2025. 1, 2, 3, 4 [^3]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, Cheng Peng, Chris Sweeney, Cole Wilson, Dan Barnes, Daniel DeTone, David Caruso, Derek Valleroy, Dinesh Ginjupalli, Duncan Frost, Edward Miller, Elias Mueggler, Evgeniy Oleinik, Far Zhang, Guruprasad Somasundaram, Gustavo Solaira, Harry Lanaras, Henry Howard-Jenkins, Huixuan Tang, Hyo Jin Kim, Jaime Rivera, Ji Luo, Jing Dong, Julian Straub, Kevin Bailey, Kevin Eckenhoff, Lingni Ma, Luis Pesqueira, Mark Schwesinger, Maurizio Monge, Nan Yang, Nick Charron, Nikhil Raina, Omkar Parkhi, Peter Borschowa, Pierre Moulon, Prince Gupta, Raul Mur-Artal, Robbie Pennington, Sachin Kulkarni, Sagar Miglani, Santosh Gondi, Saransh Solanki, Sean Diener, Shangyi Cheng, Simon Green, Steve Saarinen, Suvam Patra, Tassos Mourikis, Thomas Whelan, Tripti Singh, Vasileios Balntas, Vijay Baiyya, Wilson Dreewes, Xiaqing Pan, Yang Lou, Yipu Zhao, Yusuf Mansour, Yuyang Zou, Zhaoyang Lv, Zijian Wang, Mingfei Yan, Carl Ren, Renzo De Nardi, and Richard Newcombe. Project aria: A new tool for egocentric multi-modal ai research, 2023. 2 [^4]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954, 2023. 1, 2 [^5]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, and Srinath Sridhar. Gigahands: A massive annotated dataset of bimanual hand activities. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 17461–17474, 2025. 2 [^6]: Rafael C. Gonzalez and Richard E. Woods. Digital Image Processing (3rd Edition). Prentice-Hall, Inc., USA, 2006. 4 [^7]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19383–19400, 2024. 1, 2 [^8]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg、Peizhao Zhang、Jeff Petkau、Tsz-Ho Yu、Chun-Jung Tai、Muzaffer Akbay、Zheng Wang等人所著的《Megatrack：面向虚拟现实的单色以人眼为中心的手部关节追踪技术》。载于《ACM图形学交易》（ToG），第39卷第4期：87–1页，2020年。1 [^9]: Shangchen Han, Po-chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, et al. Umetrack: Unified multiview end-to-end hand tracking for vr. In SIGGRAPH Asia 2022 conference papers, pages 1–9, 2022. 1, 3, 4 [^10]: Rawal Khirodkar, Timur Bagautdinov, Julieta Martinez, Su Zhaoen, Austin James, Peter Selednik, Stuart Anderson, and Shunsuke Saito. Sapiens: Foundation for human vision models. In European Conference on Computer Vision, pages 206–228. Springer, 2024. 3 [^11]: Young Min Kim, Christian Theobalt, James Diebel, Jana Kosecka, Branislav Miscusik, and Sebastian Thrun. Multiview image and tof sensor fusion for dense 3d reconstruction. In 2009 IEEE 12th international conference on computer vision workshops, ICCV workshops, pages 1542–1549. IEEE, 2009. 1 [^12]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 2 [^13]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21740–21751, 2024. 2 [^14]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, et al. Nameria: A massive collection of multimodal egocentric daily motion in the wild. In European Conference on Computer Vision, pages 445–465. Springer, 2024. 1, 2 [^15]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 4 [^16]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12999–13008, 2023. 2 [^17]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 1, 2 [^18]: Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018. 2 ## [^19]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 2 --- [^20]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. 2 [^21]: Arindam Sengupta, Feng Jin, Renyuan Zhang, and Siyang Cao. mm-pose: Real-time human skeletal posture estimation using mmwave radars and cnns. IEEE sensors journal, 20 (17):10032–10044, 2020. 2 [^22]: Yue Sun, Zhuoming Huang, Honggang Zhang, Zhi Cao, and Deqiang Xu. 3drim: 3d reconstruction and imaging via mmwave radar based on deep learning. In 2021 IEEE International Performance, Computing, and Communications Conference (IPCCC), pages 1–8. IEEE, 2021. 1 [^23]: Rejin Varghese and Sambath M. Yolov8: A novel object detection algorithm with enhanced performance and robustness. In 2024 International Conference on Advances in Data Engineering and Intelligent Computing Systems (ADICS), pages 1–6, 2024. 2 [^24]: Chao Xia, Chenfeng Xu, Patrick Rim, Mingyu Ding, Nanning Zheng, Kurt Keutzer, Masayoshi Tomizuka, and Wei Zhan. Quadric representations for lidar odometry, mapping and localization. IEEE Robotics and Automation Letters, 8(8):5023–5030, 2023. 1 [^25]: Jian Yang, Jiakun Li, Guoming Li, Zhen Shen, Huai-Yu Wu, Zhaoxin Fan, and Heng Huang. Mlphand: Real time multiview 3d hand mesh reconstruction via mlp modeling. arXiv preprint arXiv:2406.16137, 2024. 1 [^26]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 445–456, 2024. 2 [^27]: Yu Zhang, Chi Xu, and Li Cheng. Learning to search on manifolds for 3d pose estimation of articulated objects. arXiv preprint arXiv:1612.00596, 2016. 1