# Aria数字孪生：用于中心视觉3D机器感知的新基准数据集
潘晓青 $^{1}$、尼古拉斯·查龙 $^{1}$、杨永谦 $^{1}$、斯科特·彼得斯 $^{1}$、托马斯·惠兰 $^{1}$、孔晨 $^{1}$、奥姆卡尔·帕尔基 $^{1}$、理查德·纽科姆 $^{1}$ 以及任宇恒 $^{1}$
$^{1}$Meta Reality Labs
{xiaqingp, nickcharron, yongqian, scpeters, twhelan, chenk, omkar, newcombe, carlren}@meta.com
## 摘要
我们推出了Aria数字孪生（ADT）——这是一套利用Aria眼镜采集的中心视觉数据集，包含丰富的物体、环境和人体层面的真实标注信息。本次发布的ADT包含200组由佩戴Aria眼镜的用户在两个真实室内场景中进行的日常活动序列，涉及398个物体实例（其中324个为静止物体，74个为动态物体）。每个序列包含：a）两路单色摄像头流、一路RGB摄像头流以及两路IMU流的原始数据；b）完整的传感器校准信息；c）真实标注数据，包括Aria设备的连续六自由度（6DoF）位姿、物体6DoF位姿、3D视线向量、3D人体位姿、2D图像分割结果以及图像深度图；d）照片级逼真的合成渲染图像。据我们所知，目前尚无任何现有中心视觉数据集在精度、照片逼真度和全面性方面能与ADT相媲美。通过将ADT贡献给研究界，我们的目标是为中心视觉机器感知领域的评估树立新标准，该领域涵盖3D物体检测与跟踪、场景重建与理解、虚实迁移学习、人体姿态预测等极具挑战性的研究课题，同时也能为增强现实（AR）应用催生新的机器感知任务。为了推动对ADT研究用例的探索，我们评估了几种现有的先进物体检测、图像分割和图像翻译方法，结果证明了ADT作为基准数据集的实用价值。
### 1. 引言
近年来，由于增强现实应用的迅速兴起，中心视觉数据对机器感知领域而言愈发重要。这类应用要求现实空间与虚拟空间能够共存，同时还需具备对现实环境的语境感知能力。若要实现完整的语境感知，就必须对现实空间中的三大核心要素——人类、物体和环境进行完整且精准的3D数字化。包括光照、房间结构与布局在内的每个物体和环境组件都必须被精确数字化，才能确保在现实世界中实现虚拟空间的一致渲染。动态物体的运动需要被实时追踪，以便通过物理交互更新空间状态。佩戴AR眼镜的人类用户的状态也需被估算出来，并与数字空间相交以确定其在物理和虚拟空间中的交互情况。要实现这一切，就需要解决3D物体检测、人体姿态估计和场景重建等一系列核心问题，而数据正是其中的关键要素。
现有的旨在推动增强现实领域发展的数据集并未全面覆盖整个问题空间，而只是聚焦于特定的子问题。大规模静态场景数据集在促进3D场景理解任务方面取得了显著进展，例如静态物体检测、场景重建和房间布局估计——这些数据集包括[^7]、[^35]以及[^6]。尽管这些重建场景的照片级真实感在不断提升[^36]，但这些数据集缺乏以手为媒介产生的物体运动，而这种运动在以第一人称视角为主的增强现实场景中十分常见。以物体为中心的数据集——包括[^1]和[^41]——虽然涵盖了日益复杂的物体间遮挡情况，但为了便于标注，仍要求物体保持静止状态。动态物体数据集——包括[^11]、[^12]以及[^15]——能够捕捉手与物体的交互过程，但数据是在受控且简化的环境中采集的。以第一人称视角为主的人体运动数据集——包括[^30]和[^44]——能够记录3D人体姿态及关节位置标注，却并未对周围环境进行数字化处理。最重要的是，
---
(b) 2D visualization of ground truth projected onto Aria camera sensors. From top to bottom: the RGB, the left monochrome, the right monochrome camera sensors. From left to right: raw sensor image; photo-realistic synthetic rendering; 3D bounding boxes (cyan for stationary and red for dynamic objects), 2D bounding boxes, segmentation masks for all object instances; depth map.
Figure 1: An overview of the ADT dataset.
上述讨论的所有数据集均未采用具备增强现实特性的传感设备来应对以第一人称视角采集数据时所面临的独特挑战，例如快速的身体运动、不佳的拍摄视角以及低功耗传感硬件等问题。虽然近期出现了一些以第一人称视角为主的数据集——包括[^13]、[^37]以及[^10]——但它们要么仅提供叙事性标注，要么仅包含2D物体标注，未能解决3D空间中的相关挑战。
近年来，能够以第一人称视角采集数据的设备数量激增，例如Vuzix Blade、Pupil Labs、ORDRO EP6等。其中，Aria眼镜因其类似普通眼镜的外观设计以及完备的第一人称视角传感套件而迅速受到青睐，这些传感组件包括：
---
但不限于红绿蓝（RGB）摄像头、两个单色摄像头、两个眼动追踪摄像头以及两个惯性测量单元（IMU），借助这些组件，用户便能在现实世界的各类活动中完成广泛的机器感知任务。随着近期Aria Pilot数据集的发布[^28]，Aria数据的可用性得到了进一步提升。
鉴于上述提到的综合性以第一人称视角为主的3D数据缺口，我们创建了Aria数字孪生（ADT）数据集，旨在加速面向增强现实应用以第一人称视角为主的机器感知研究。该数据集包含了由佩戴Aria眼镜的用户在两个逼真场景——公寓和办公室——中进行的200个序列采集数据，涉及共计350个静止物体实例和50个动态物体实例。与现有研究相比，每个ADT序列都提供了更为完整且精准的数字空间真值数据，具体包括：设备校准参数、设备和物体的六自由度（6DoF）姿态、人体姿态、视线向量、物体分割结果、深度图以及照片级真实的合成图像。图1a展示了这两个场景的俯视图渲染效果，图1b则显示了投影到Aria摄像头传感器上的所有物体真值数据的2D可视化结果。图2展示了数据采集过程的快照图像以及人体真值数据的3D渲染效果。
为了构建该数据集，我们在一个计量化、照片级逼真的流程中重建了两个空间内的所有物体及整个环境。我们将动作捕捉系统与数字化空间相整合，并将其与Aria眼镜精确同步，以便在时空对齐的环境中追踪物体和人类，同时记录以人眼为中心的视觉数据。我们通过定性评估展示了三维重建的质量，通过全新的定量评估验证了物体追踪的准确性。我们对几种现有的先进物体检测、分割和图像转换方法进行了评估，以证明ADT在测试增强现实相关机器感知算法时的实用性。我们的贡献在于为数字化真实世界室内空间的质量和全面性确立了新标准，通过提供示范性数据集及此类数据集的创建方法，推动基础性的增强现实研究。
### 2. 相关工作
已有多项研究仅提供静态物体的三维姿态信息。Objectron [^1] 包含了由手机拍摄的以物体为中心的短视频，针对九类物体提供了6自由度姿态标注，用于三维物体检测任务。这些物体保持静止，且避免了摄像头的快速移动。BOP挑战赛 [^18] 包含多个用于6自由度物体姿态估计的数据集。LM [^16] 和 LM-O [^4] 数据集以特定形式提供了静止场景中物体的6自由度姿态信息。
Figure 2: Left: A snapshot of the data recording process in the apartment. Right: A 3D visualization of ground truth for object bounding boxes and the collector's body skeleton in green with eye gaze shown in orange.
这些数据集包含放置在桌面上的15个杂乱摆放的物体，且物体上带有标记。T-LESS [^17] 提出了在三维姿态估计问题中处理无纹理物体的挑战。YCB-V [^41] 通过半自动标注流程提供了21个静止杂乱摆放物体的RGB-D视频。上述研究均忽略了人与物体的交互，这限制了它们在许多真实世界增强现实场景中的实用性。
另一类常见的数据集仅关注动态物体的三维姿态。FPHA [^11] 为25个动态移动的物体提供了手部姿态和6自由度物体姿态标注，这些数据由安装在肩部的RGB-D传感器采集。物体姿态是通过放置在近似质心附近的磁传感器粗略估算得出的。ECVA [^12] 和 Ho-3D [^15] 在桌面安装的RGB-D传感装置下提供了动态物体的6自由度物体姿态标注。TUD-L [^18] 仅包含3个动态物体，其6自由度姿态为半自动标注结果。尽管这些数据集涵盖了手-物交互和遮挡情况，但物体数量有限，且缺乏头戴式采集设备，因此其与基于增强现实的机器感知的相关性受限。HOI4D [^27] 和 H2O [^21] 提供了由头戴式RGB-D传感器采集的数据，并标注了二维分割和三维物体姿态。然而，利用低精度传感器重建的场景和物体的几何精度，仍不及ADT所提供的水平。此外，由于缺乏静态场景建模和照片级逼真的重建，它们无法用于需要连接现实世界与虚拟世界的诸多增强现实任务。
上述诸多研究完全未探讨其真实数据究竟有多准确，即便有相关研究，通常也采用主观方法，或是易受人为误差和变异影响的方法。例如，Objectron [^1] 将一种
---
研究人员对比了不同标注者之间的标注结果，以了解结果中的变异程度。他们仅展示了一小部分物体类型上的实验结果，这意味着其他物体在真实数据中的变异情况可能截然不同。Ho-3D [^15] 采用了类似的验证流程，即人工标注来自RGB-D传感器的点云数据，但这种方法同样容易受到人为主观性误差以及传感器误差的影响——毕竟RGB-D传感器的误差可达数厘米之多。
近期发布了多套用于捕捉真实活动的第一人称视角视频数据集。EpicKitchen [^8] [^9] 和 Charades-Ego [^34] 记录了佩戴者日常的室内活动，并对数据标注了动作片段与二维物体边界框。EGTEA [^22] 除了活动标注外，还包含了视线注意力数据。Ego4D [^13] 构建了一套规模庞大的数据集，其中部分内容包含音频、环境的三维网格模型以及多摄像头采集的视线数据。专注于手物交互的TREK-150 [^10] 和 EgoTracks [^37]，则由带有二维物体边界框标注的第一人称视角视频组成。上述数据集的标注均停留在二维图像层面，并未涉及对三维世界的理解。EgoCap[^30] 和 EgoGlass[^44] 等数据集则是为应对第一人称视角人体姿态估计任务而提出的，但它们忽略了环境的复杂性以及物体间的交互作用。Mo2Cap2 [^42] 和 UnrealEgo [^2] 引入了环境复杂性因素，不过这些数据是合成生成的。
SUN-RGB-D [^35]、ScanNet [^7] 和 Matterport3D [^6] 等场景数据集提供了大规模真实室内场景的重建结果。这些场景的视频通常是通过RGB-D相机录制的，视频中标注了二维分割信息、三维物体边界框以及语义场景信息。尽管这些数据集提供了场景层面的真实数据，但场景中的所有物体都是静止的，且拍摄设备并非第一人称视角。此外，它们的场景数字化效果也未达到真实感标准，因此无法满足真实世界训练系统的需求。Replica [^36] 在重建质量方面有了显著提升，但同样并非第一人称视角。HyperSim [^31] 和 Openrooms [^24] 等合成场景数据集从网上收集高质量的三维模型，再通过后期处理优化以生成视觉上逼真的场景。但由于没有对应的真实世界录制数据，模拟数据与真实数据之间仍存在差距。而且，这些场景中缺乏第一人称视角数据，研究人员无法利用它们来解决增强现实相关任务。
### 3. 数据集生成方法
我们的数据集生成流程首先创建一个静态的、照片级逼真的数字场景，随后在该场景中实现对Aria眼镜、物体及人体的追踪。
#### 3.1. 静态场景数字化
房间数字化：以公寓为例，首先清空物理空间并使用高分辨率扫描仪——FARO Focus S-150进行扫描。随后根据房间拓扑结构拟合平面，将生成的点云转换为三角网格。通过最近点至网格距离度量法，将网格化过程的误差与原始点云进行对比，结果显示第50百分位（P50）和第80百分位（P80）误差分别为0.688毫米和4.68毫米。我们还重建了基于物理的渲染（PBR）材质，包括反照率贴图、粗糙度贴图和金属度贴图。反照率贴图通过摄影测量技术提取；粗糙度和金属度数值则根据金属、玻璃等材质特性手动分配给空间的不同区域。场景中每个光源的参数包括强度、形状和颜色，需以漫反射球和镜面球为参照进行手动调节。为确保重建的材质和光照能达到照片级真实感，我们采用英伟达Omniverse路径追踪软件进行全数字渲染，并参照图3a和3b所示的实拍参考图像，反复调整所有材质和光照参数。
物体数字化：每个物体的几何形状均使用ATOS 5 Bluelight 3D扫描仪获取，其提供的几何数据符合制造业的工业标准。材质的重建过程与房间数字化类似，不过是在配备旋转台、四块LED面板和三台佳能5D Mark IV相机的摄影棚中完成，这些相机采用交叉偏振技术以消除材质表面的反光现象。同样参照房间数字化的方法，我们设置真实物体与合成图像对比，以此调节物体材质使其匹配真实照片，如图3c和3d所示。
布局数字化：在收集完房间和物体的3D模型后，我们会对空间进行实际布置，并将大型家具设为静止物体——因为在实际日常场景中它们通常不会被移动。接着对布置完毕的空间进行新一轮FARO扫描，通过手动将3D模型放入点云中来初始化6自由度物体的姿态，再利用迭代最近点（ICP）算法[^33]优化几何对齐效果。与房间数字化类似，我们通过最近点至网格距离度量法监控质量，最终得到P50为4.67毫米、P80为20.51毫米的结果，这一数值代表了物体数字模型与整个场景布局的综合几何误差。
---
(a) Real photo of a room.
(b) Rendering of a room.
(c) Real photo of a birdhouse.
(d) Rendering of a birdhouse.
#### 3.2. 姿态生成
Figure 3: Real photos and their synthetic counterparts used to optimize the empty room digitization and individual object digitizations.
我们在ADT空间中追踪三个动态组件的3D姿态：物体、Aria眼镜以及人（Aria佩戴者）。它们都在同一ADT空间内捕获的所有序列中，以同一个场景坐标系来表示，即$F_S$。这使我们能够将来自不同时间帧或不同设备采集的多个数据中的物体、设备和人的姿态，绘制在同一个坐标空间中。为简化起见，我们将$F_S$设为与上述静态场景数字化过程中使用的同一坐标系，这样静态物体的3D姿态无需额外转换即可确定。图4展示了一个示例配置，包含一个动态物体（以立方体表示）、一台Aria设备以及两台Optitrack摄像机。图4还展示了同一ADT空间内的所有相关坐标系，以及用于提供最终姿态估计的系统测量值。需要注意的是，由于最终数据包含所有相对于场景坐标系的姿态，因此最终的数据中会移除所有Optitrack坐标系。我们的姿态生成过程依赖于Optitrack动作捕捉系统，该系统能提供高频率、亚毫米级精度的姿态数据[^3]，用以追踪动态物体和Aria设备的姿态。
动态物体姿态：每台由Optitrack追踪的物体k，都有其自身的坐标系来定义该物体的刚体（RB）。刚体是由一组牢固附着在物体上的标记点构成的，其在Optitrack坐标系下的3D姿态$F_{OT}$用$T_{OT,ORB_k}^{-1}$来表示。对于物体k，我们的目标是计算方程1中所表达的$T_{S,OM_k}$，其中$F_{OM}$是场景数字化过程中设定的物体模型坐标系。为了计算每个动态物体的刚体坐标系与其模型坐标系之间的姿态$T_{ORB_k,OM_k}$，我们对每个物体进行两次扫描：一次安装标记点，另一次不安装。随后通过点集配准方法对生成的两个网格进行对齐。为了将$F_{OT}$中的坐标转换为$F_{S}$，我们会在每个ADT空间的墙壁上安装标记点，从而创建场景刚体；接着采用类似ICP的点集配准方法，将扫描得到的3D标记点位置与Optitrack测量的场景刚体点对齐，进而计算出$T_{S,OT}$ [^33]。
$$ T_{S\_{O}M_{k}}=T_{S\_{O}T}\times T_{O T\_{O} R B_{k}}\times T_{O R B_{k}\_{O} M_{k}} $$
Aria设备姿态：与动态物体姿态生成过程类似，我们利用Optitrack来追踪每台Aria设备的刚体坐标系$F_{ARB}$相对于$F_{OT}$的姿态，随后计算Aria设备坐标系$F_D$相对于$F_S$（即$T_S$-ARB）的姿态。我们首先估算从一个IMU坐标系$F_{AI_0}$到$F_{ARB}$的SE(3)变换$T_{ARB\_AI_0}$。这一估算是通过收集一组数据来实现的：在Optitrack追踪刚体的同时，让设备围绕全部6个自由度运动约一分钟。我们将IMU数据拟合为一条轨迹，并求解出能使该IMU轨迹与Optitrack测量的Aria刚体轨迹最佳对齐的$T_{ARB\_AI_0}$。我们还进一步校准了每台Aria设备的外部参数和内部参数，包括：1）所有传感器坐标系与设备坐标系之间的SE(3)变换；2）采用Kannala Brandt[^38]和鱼眼径向-切向薄棱镜[^40]参数化方法校准的相机模型；3）针对加速度计和陀螺仪校准的线性校正模型。
$$ T_{S\_{A}I_{0}}=T_{S\_{O}T}\times T_{O T\_{A} R B}\times T_{A R B\_{A} I_{0}} $$
设备校准同样重要的是Optitrack与Aria之间的时间同步。我们采用了基于电影电视工程师协会（SMPTE）时间码的持续同步策略，该标准在影视行业中被广泛用于音频和视频采集之间的同步计时。我们的时间码解决方案使用了Timecode Systems公司生产的UltraSync One设备，这些设备能将Optitrack系统与所有Aria设备同步，根据我们针对Aria-Optitrack系统进行的专项测试，其平均同步精度可低于10微秒。
人体姿态：在数据收集过程中追踪人体时，我们使用由OptiTrack提供的Biomechanic57模板。
---
Figure 4: ADT Scene System Diagram.
该模板借助放置在身体特定位置的一系列标记点，通过OptiTrack的Motive软件来估算人体骨骼结构。我们会输出Motive软件估算出的人体关节数据以及原始标记点位置，供研究人员自行开展人体姿态估算研究。我们还会利用这些原始标记点位置，通过自主研发的软件生成三维人体网格模型。
#### 3.3. 系统精度
我们提出了一种全新的评估流程，用于测量三维物体姿态真值数据生成系统中的整体系统误差。我们认为这种精度验证能够显著提升数据集的价值，因为它首次为研究人员提供了关于其基于该数据集所开发算法预期性能的参考信息。
方法论：由于ADT中的物体真值数据与Aria图像相关联，我们提议量化物体在任意Aria图像视野内的姿态误差$e_p$以及重投影误差$e_r$。公式3描述了物体k上的某个$i^{th}$点在物体姿态和已校准相机模型的作用下，投影到相机j的图像平面时产生的重投影误差。我们将$\tilde{T}$定义为测量得到的物体姿态，T为真实的物体姿态，$\pi$为相机投影模型，该模型用于映射$\mathbb{R}^3 \to \mathbb{R}^2$；$\kappa$为已校准的内参，而$P_{OM_k}^i$则是标记点i在物体k的模型坐标系中的位置。公式4描述了每台相机j中每个$k^{th}$物体的姿态误差。由于公式4中的$e_p$是真实坐标系与测量坐标系之间的SE(3)变换，我们借助平移量的L2范数和轴角旋转表示法中的角度大小，分别提取出平移误差和旋转误差这两个标量值。
$$ e_{r_{k,j,i}}=\pi(\hat{T}_{C_{j}\_{O}M_{k}}\times P_{O M_{k}}^{i},\kappa)-\pi(\hat{T}_{C_{j}\_{O}M_{k}}\times p_{i},\kappa) $$
$$ \boldsymbol{e}_{p_{k,j}}=\hat{T}_{C_{j}\mathcal{M}_{k}}\times\left[T_{C_{j}\mathcal{M}_{k}}\right]^{-1} $$
在公式3和4中，$T_{C_j,OM_k}$可通过公式1和2求得，因此唯一的未知量就是真实的物体姿态$T_{C_j,OM_k}$。为了计算出相对于Aria图像的真实物体姿态，我们提议在Aria图像中标记Optitrack标记点，然后寻找能使估计的标记点投影与标记像素之间的重投影误差最小的物体姿态。由于我们拥有来自真值结果的物体姿态精确测量值，因此可以构建一个以接近真实值的数据初始化的非线性优化器，从而确保有很高的概率收敛到全局最小值。我们据此定义了目标函数$\Phi$，如公式5所示，其中$U_{d_i}$是一个包含已标记标记像素的$2 \times 1$向量。我们采用带有Huber损失函数的Levenberg-Marquardt优化器来最小化$\Phi$，进而求解物体姿态。公式5给出了物体k、相机j在特定Aria帧时间下的目标函数。
$$ \Phi_{C_{j},O M_{k}}(T_{C_{j}\lrcorner O M_{k}})=\sum_{i=1}^{I}[U_{d_{i}}-\pi(T_{C_{j}\lrcorner O M_{k}}\times P_{O M_{k}}^{i},\kappa)] $$
结果：验证数据集包含了ADT中使用的每个动态物体的录制数据。为了尽量减少因标记标注导致的误差，在我们提出的验证方法中，数据采集期间会将物体保持在Aria的臂长范围内。由于所有姿态数据均来自Optitrack摄像头，系统误差与物体距摄像头的距离无关，因此采集远距离物体的验证数据并不会带来额外益处。我们在两种ADT空间中，使用多台Aria设备收集此类验证序列，其中Aria和物体的移动速率与常规数据集发布时的预期速率相近。随后，我们将每种物体约10帧的数据输入验证流程。表1汇总了最终的系统精度结果。结果显示，平均误差分别为6.78像素（基于分辨率为$1408 \times 1408$、视场角为110度的Aria RGB图像测量）、1.29度以及6.83毫米，分别对应重投影误差、旋转误差和平移误差。需要注意的是，由于我们仅在物体靠近Aria摄像头时才提取测量值，因此测得的重投影误差比常规数据集的预期值更大，导致以像素为单位的重投影误差高于平均水平。我们还给出了优化后的重投影误差——即针对真实物体姿态优化后的重投影误差，以此证明我们的方法能够生成准确的真实姿态。
#### 3.4. 数据标注
在本节中，我们将介绍如何从原始的Aria传感器数据中获取剩余的真实标签数据。
---
| Measured Proj[pixel] | Optimized Proj[pixel] | Rot [deg] | Trans [mm] |
| Average | 6.78 | 0.56 | 1.29 | 6.83 |
| Median | 6.00 | 0.46 | 0.91 | 5.18 |
Table 1: System accuracy results for all dynamic objects.
这些数据还包括数字场景模型，以及3D物体、Aria眼镜和人体的姿态信息。
如3.2节所述，对于Aria设备捕获的每一帧，我们都能获得场景中所有物体、摄像头以及佩戴者的姿态信息。结合校准参数，这就构成了一个完整的生成模型，可用于为每一帧捕获的图像渲染出完全合成的等效图像，如图3所示。我们采用了定制的$shader^{2}$算法，该算法不会渲染物体纹理，而是逐像素输出唯一的物体整数ID和度量深度，分别用于逐帧的实例级分割和深度估计。随后，我们根据上述过程生成的分割图像，直接计算出每幅图像中每个物体实例的2D轴对齐边界框。这一过程最终会生成每帧图像的真实标签2D分割图、深度图以及2D边界框。动态物体间的遮挡问题在这一过程中会自动得到处理。图5展示了此类情况的示例。对于人体与物体之间的遮挡情况，我们也会利用近似人体网格应用相同的过程。
此外，我们利用Aria眼动追踪摄像头以30Hz的速率采集的图像来提供视线估计结果。每对眼动追踪图像都会通过我们的专有眼动追踪软件处理，从而生成每帧的视线方向向量。随后，我们通过计算该向量与场景物体的交点来确定光线深度。
### 4. 数据集内容
ADT数据集是在两种环境中采集的：公寓和办公室。公寓包含客厅、厨房、餐厅和卧室，而办公空间则是一个摆放极少办公家具的单间。公寓中有281个独特的静止物体，办公室里有15个独特的静止物体。由于某些物体存在多个实例且略有差异，因此公寓中共有324个静止物体实例，办公室则有20个静止物体实例。此外，还有74个仅在这两个空间中共享的单实例动态物体。
我们格外注重ADT空间的真实性和物体的多样性，以便能在贴近现实的生活场景中采集数据，而非在人为设计的实验室环境中。我们列出了在这两种空间内常见的活动类型。
Figure 5: Occlusion between the chair and the table is accounted for in the ground truth segmentation and 2D bounding box.
Figure 6: Number of unique object instances for the top 15 categories following the COCO definition.
| AP-box | AP-Mask |
| FPN | 21.36 | 19.81 |
| VIT-B | 11.42 | 11.64 |
Table 2: AP-box and AP-Mask (in %) for the 2D object detection and image segmentation tasks on the ADT dataset.
我们在预设的场景下针对这两种空间规划了这些活动，并为每项活动挑选了合适的物体。每个物体都标注了其所属类别。图6展示了前15种物体类别的直方图，类别定义源自COCO [^26]数据集。
我们总共发布了200个序列，其中公寓场景有150个序列，办公室场景有50个序列。我们在公寓中设计了5种单人活动和3种双人活动。单人活动包括房间装饰、餐食准备、工作、物体检查和房间清洁；双人活动则包括聚会、房间清洁和餐桌清洁。每项活动包含10到50个序列，能够充分展现采集者动作及物体交互的多样性。对于办公数据集而言，单人活动仅包含物体检查这一项。
---
### 5. 基准测试
在创建了这个标注丰富的数据集之后，我们对各类先进的AR相关任务方法进行了评估，这些任务包括2D物体检测、2D图像分割、3D物体检测以及图像到图像的转换。通过实验我们证明，该数据集非常适合用于评估重要的感知任务，同时也旨在激发新的机器感知应用场景。
#### 5.1. 2D物体检测与图像分割
我们选取了两种在MS-COCO [^26]和LVIS [^14]数据集上表现优异的先进方法：特征金字塔网络（FPN）[^25]，这是一种采用分层骨干网络的开创性成果；以及VITDet [^23]，一种基于Transformer的非分层骨干框架。为了与在MS-COCO上预训练的模型保持一致，这两种方法均在修正后的Aria RGB图像上进行了测试。评估时，我们将ADT中的物体映射到MS-COCO分类体系中的对应类别。我们采用了COCO评估协议中定义的盒平均精度（AP-Box）和掩码平均精度（AP-Mask）[^26]。我们汇总每个序列中所有帧的结果，再对所有ADT序列的结果取平均值。表2所示的评估结果凸显出，在MS-COCO这一常用的大规模训练数据集上训练的模型，与ADT中包含的真实世界以眼为中心的数据之间存在域差异。这种较差的性能可能归因于ADT数据中的快速自身运动和不理想的视角，TREK-150 [^10]在针对以眼为中心视频的2D物体跟踪任务中也观察到了这一现象。
#### 5.2. 3D物体检测
我们评估了两种最先进的3D物体检测方法：Total3D [^29] 和 Cube R-CNN [^5]，它们分别是在ScanNet [^7] 和 Omni3D [^5] 数据集上预训练的。这两种方法均在经过校正的Aria RGB图像上进行测试，测试场景与第5.1节中的任务类似。由于Total3D需要输入2D边界框，为了公平比较，我们选用MaskRCNN作为其2D检测器。与Omni3D类似，我们采用平均精度（AP）作为评价指标。我们计算了涵盖7个物体类别 $^{3}$ 且总计160万个GT 3D边界框的所有序列的AP值，置信度阈值为0.2，IoU阈值为0.25。表3中报告了前五大类别的AP数值。结果表明这些任务与第5.1节中的任务面临类似的挑战。此外，我们观察到Total3D和Cube R-CNN所需的单目传感器输入往往会导致物体3D姿态的深度信息出现误差，而利用Aria的多摄像头传感器有望改善这一问题。
| chair | bed | table | fridge | sofa |
| Cube R-CNN | 3.72 | 2.947 | 2.796 | 2.601 | 1.252 |
| Total3D | 0.847 | 0.630 | 2.228 | 0.048 | 1.298 |
Table 3: AP (in %) of top 5 categories for the 3D object detection task.
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| SyntheticADT | 16.383 | 0.456 | 0.270 |
| Pix2Pix | 23.442 | 0.674 | 0.162 |
| TSIT | 21.885 | 0.617 | 0.161 |
| LDM | 24.218 | 0.660 | 0.126 |
Table 4: Image-to-Image translation benchmarking.
Figure 7: An example of the domain transfer task. From left to right: synthetic RGB (source), LDM, real RGB (target).
#### 5.3. 图像到图像的转换
鉴于我们能够为每个ADT序列生成对应的合成孪生数据，我们探索了利用图像到图像转换方法来缩小合成数据与真实数据之间的域差距。我们使用ADT的合成-真实配对图像来训练四种最先进的方法：Pix2Pix [^19]、TSIT [^20] 以及LDM [^32]。这些方法在43个序列上训练，并在102个未见过的序列上进行评估。我们通过峰值信噪比（PSNR）、结构相似性（SSIM） [^39] 等像素级距离指标，以及感知相似性指标（LPIPS） [^43] 等感知级距离指标来衡量合成图像到真实图像的转换性能。结果见表4，图7展示了某个示例帧的定性结果。
### 6. 结论
我们推出了迄今为止最全面的第一人称视角数据集ADT。ADT包含了在两套完全数字化的空间——公寓和办公室中，利用配备多种传感器的Aria眼镜拍摄的200个序列。我们描述了为实现照片级真实感、从而生成每个序列的合成-真实孪生数据所采用的最先进的数字化流程，同时也阐述了精确的基准真值生成步骤。
---
该数据集涵盖了物体/Aria 6自由度姿态、人体姿态以及视线方向等信息，我们还对整个系统的精度进行了深入分析。随后，我们通过评估物体检测、分割和图像转换等重要的增强现实相关机器感知任务，证明了该数据集的实用性。总体而言，ADT突破了高质量、综合性第一人称视角数据集的界限，为学术界开启了此前无法实现的新研究机遇。
## 参考文献
[^1]: Adel Ahmadyan, Liangkai Zhang, Artsiom Ablavatski, Jianing Wei, and Matthias Grundmann. Objectron: A large scale dataset of object-centric videos in the wild with pose annotations. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 7822–7831, 2021.
[^2]: Hiroyasu Akada, Jian Wang, Soshi Shimada, Masaki Taka-hashi, Christian Theobalt, and Vladislav Golyanik. Unrealego: A new dataset for robust egocentric 3d human motion capture. In European Conference on Computer Vision (ECCV), 2022.
[^3]: Alexander M Aurand, Jonathan S Dufour, and William S Marras. Accuracy map of an optical motion capture system with 42 or 21 cameras in a large measurement volume. Journal of Biomechanics, 58:237–240, 2017.
[^4]: Eric Brachmann, Alexander Krull, Frank Michel, Stefan Gumhold, Jamie Shotton, and Carsten Rother. Learning 6d object pose estimation using 3d object coordinates. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part II 13, pages 536–551. Springer, 2014.
[^5]: Garrick Brazil, Julian Straub, Nikhila Ravi, Justin Johnson, and Georgia Gkioxari. Omni3D: A large benchmark and model for 3D object detection in the wild. arXiv:2207.10660, 2022.
[^6]: Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3d: Learning from rgbd data in indoor environments. International Conference on 3D Vision (3DV), 2017.
[^7]: Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017.
[^8]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In European Conference on Computer Vision (ECCV), 2018.
[^9]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection,
Epic-Kitchens-100的数据管道与挑战。《国际计算机视觉杂志》（IJCV），130:33–55，2022年。
[^10]: Matteo Dunnhofer, Antonino Furnari, Giovanni Maria Farinella, and Christian Micheloni. Visual object tracking in first person vision. International Journal of Computer Vision (IJCV), 2022.
[^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018.
[^12]: Mathieu Garon, Denis Laurendeau, and Jean-François Lalonde. A framework for evaluating 6-dof object trackers. In Proceedings of the European Conference on Computer Vision (ECCV), pages 582–597, 2018.
[^13]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022.
[^14]: Agrim Gupta, Piotr Dollar, and Ross Girshick. Lvis: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5356–5364, 2019.
[^15]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020.
[^16]: Stefan Hinterstoisser, Vincent Lepetit, Slobodan Ilic, Stefan Holzer, Gary Bradski, Kurt Konolige, and Nassir Navab. Model based training, detection and pose estimation of texture-less 3d objects in heavily cluttered scenes. In Computer Vision–ACCV 2012: 11th Asian Conference on Computer Vision, Daejeon, Korea, November 5-9, 2012, Revised Selected Papers, Part I 11, pages 548–562. Springer, 2013.
[^17]: Tomáš Hodan, Pavel Haluza, Štepán Obdržálek, Jiri Matas, Manolis Lourakis, and Xenophon Zabulis. T-less: An rgb-dataset for 6d pose estimation of texture-less objects. In 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 880–888. IEEE, 2017.
[^18]: Tomáš Hodaň, Frank Michel, Eric Brachmann, Wadim Kehl, Anders Glent Buch, Dirk Kraft, Bertram Drost, Joel Vidal, Stephan Ihrke, Xenophon Zabulis, Caner Sahin, Fabian Manhardt, Federico Tombari, Tae-Kyun Kim, Jiří Matas, and Carsten Rother. BOP: Benchmark for 6D object pose estimation. European Conference on Computer Vision (ECCV), 2018.
[^19]: Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei Afros. Image-to-image translation with conditional adversarial networks. CVPR, 2017.
[^20]: Liming Jiang, Changxu Zhang, Mingyang Huang, Chunxiao Liu, Jianping Shi, and Chen Change Loy. TSIT: A simple and versatile framework for image-to-image translation. In ECCV, 2020.
### [^21]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects
---
用于第一人称交互识别。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第10138–10148页，2021年10月。
[^22]: Yin Li, Miao Liu, and Jame Rehg. In the eye of the beholder: Gaze and actions in first person video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.
[^23]: Yanghao Li, Hanzi Mao, Ross Girshick, and Kaiming He. Exploring plain vision transformer backbones for object detection. In ECCV, 2022.
[^24]: Zhengqin Li, Ting-Wei Yu, Shen Sang, Sarah Wang, Meng Song, Yuhan Liu, Yu-Ying Yeh, Rui Zhu, Nitesh Gundavarapu, Jia Shi, et al. Openrooms: An end-to-end open framework for photorealistic indoor scene datasets. arXiv preprint arXiv:2007.12868, 2020.
[^25]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In ECCV, 2017.
[^26]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014.
[^27]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022.
[^28]: Zhaoyang Lv, Edward Miller, Jeff Meissner, Luis Pesqueira, Chris Sweeney, Jing Dong, Lingni Ma, Pratik Patel, Pierre Moulon, Kiran Somasundaram, Omkar Parkhi, Yuyang Zou, Nikhil Raina, Steve Saarinen, Yusuf M Mansour, Po-Kang Huang, Zijian Wang, Anton Troynikov, Raul Mur Artal, Daniel DeTone, Daniel Barnes, Elizabeth Argall, Andrey Lobanovskiy, David Jaeyun Kim, Philippe Boutefroy, Julian Straub, Jakob Julian Engel, Prince Gupta, Mingfei Yan, Renzo De Nardi, and Richard Newcombe. Aria pilot dataset. , 2022.
[^29]: Yinyu Nie, Xiaoguang Han, Shihui Guo, Yujian Zheng, Jian Chang, and Jian Jun Zhang. Total3understanding: Joint layout, object pose and mesh reconstruction for indoor scenes from a single image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.
[^30]: Helge Rhodin, Christian Richardt, Dan Casas, Eldar Insafutdinov, Mohammad Shafiei, Hans-Peter Seidel, Bernt Schiele, and Christian Theobalt. Egocap: egocentric marker-less motion capture with two fisheye cameras. ACM Transactions on Graphics (TOG), 35(6):1–11, 2016.
[^31]: Mike Roberts, Jason Ramapuram, Anurag Ranjan, Atulit Kumar, Miguel Angel Bautista, Nathan Paczan, Russ Webb, and Joshua M. Susskind. Hypersim: A photorealistic synthetic dataset for holistic indoor scene understanding. In ICCV, 2021.
[^32]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image
基于潜扩散模型的合成技术。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第10684–10695页，2022年。
[^33]: Aleksandr Segal, Dirk Haehnel, and Sebastian Thrun. Generalized-icp. In Robotics: science and systems, volume 2, page 435. Seattle, WA, 2009.
[^34]: Gunnar A. Sigurdsson, Abhinav Kumar Gupta, Cordelia Schmid, Ali Farhadi, and Alahari Karteek. Actor and observer: Joint modeling of first and third-person videos. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7396–7404, 2018.
[^35]: Shuran Song, Samuel P. Lichtenberg, and Jianxiong Xiao. Sun rgb-d: A rgb-d scene understanding benchmark suite. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 567–576, 2015.
[^36]: Julian Straub, Thomas Whelan, Lingni Ma, Yufan Chen, Erik Wijmans, Simon Green, Jakob J. Engel, Raul Mur-Artal, Carl Ren, Shobhit Verma, Anton Clarkson, Mingfei Yan, Brian Budge, Yajie Yan, Xiaqing Pan, June Yon, Yuyang Zou, Kimberly Leon, Nigel Carter, Jesus Briales, Tyler Gillingham, Elias Mueggler, Luis Pesqueira, Manolis Savva, Dhruv Batra, Hauke M. Strasdat, Renzo De Nardi, Michael Goesele, Steven Lovegrove, and Richard Newcombe. The Replica dataset: A digital replica of indoor spaces. arXiv preprint arXiv:1906.05797, 2019.
[^37]: Hao Tang, Kevin Liang, Kristen Grauman, Matt Feiszli, and Weiyao Wang. Egotracks: A long-term egocentric visual object tracking dataset. arXiv preprint arXiv:2301.03213, 2023.
[^38]: Vladyslav Usenko, Nikolaus Demmel, and Daniel Cremers. The double sphere camera model. In 2018 International Conference on 3D Vision (3DV), pages 552–560. IEEE, 2018.
[^39]: Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing, 13(4):600–612, 2004.
[^40]: Juyang Weng, Paul Cohen, Marc Herniou, et al. Camera calibration with distortion models and accuracy evaluation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(10):965–980, 1992.
[^41]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017.
[^42]: Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, and Christian Theobalt. Mo 2 cap 2: Real-time mobile 3d motion capture with a cap-mounted fisheye camera. IEEE transactions on visualization and computer graphics, 25(5):2093–2101, 2019.
[^43]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 586–595, 2018.
#### [^44]: Dongxu Zhao, Zhen Wei, Jisan Mahmud, and Jan-Michael Frahm. Egoglass: Egocentric-view human pose estimation
---
源自眼镜框的设计。收录于2021年国际3D视觉会议（3DV）论文集，第32–41页。IEEE出版社，2021年。
---
#### 7. 补充材料
在本节中，我们将深入探讨系统精度的测量方法以及更详细的结果。我们对2D物体检测、图像分割和3D物体检测任务进行了更深入的定性和定量分析。此外，我们还介绍了ADT数据集的另一个重要应用场景：在将人工3D边界框标注流程应用于大规模以眼为中心的数据之前，利用该数据集对其进行定量评估。
#### 7.1. 系统精度
本节提供了额外的信息和图表以便更好地描述相关方法。我们还提供了额外的表格展示结果，帮助读者更好地理解数据统计情况以及系统精度如何受不同因素的影响。
图8和图9展示了某示例帧上的系统精度分析结果。图8显示的是一张放大后的RGB图像局部，图中一名佩戴Aria设备的人正在移动一把木勺。如3.3节所述，我们对该图像进行人工标注，标记出每个标记点的中心位置。随后，系统精度估算流程会估计物体相对于图像的姿态，使3D标记点的投影与手工标注结果尽可能对齐。图9展示了应用3.3节所述的优化方法后的最终结果。绿色叉号代表手工标注结果；红色叉号表示根据该系统在该帧拍摄时刻的测量值，将标记点投影到图像平面上的结果；蓝色叉号则表示应用3.3节中的公式5优化后的标记点投影结果。绿色叉号与红色叉号之间的偏差反映了物体姿态的误差；而绿色叉号与蓝色叉号的对齐则证实了真实物体姿态的估算结果是正确的。
表6展示了两个场景下的系统精度统计数据。办公室场景下的精度略高于公寓场景。我们认为其根本原因在于公寓内的天花板较高，运动捕捉摄像头安装在此处，导致追踪精度稍差。表5展示了32个动态物体的系统精度测量结果，结果为按物体逐一平均得出。整个系统的误差来源于3D物体重建、运动捕捉系统、Aria设备姿态以及Aria设备校准环节。
#### 7.2. 2D物体检测与图像分割的性能分析
最先进的模型FPN和VIT-Det在ADT数据集上执行2D物体检测和图像分割任务时的性能，明显低于它们在COCO数据集上的表现。我们认为这种差异主要是由两个数据集的领域差异导致的。
Figure 8: Cropped version of example Aria image used for system accuracy tests.
Figure 9: Cropped version of example Aria image used for system accuracy tests with results. Red: system's estimate of where the markers should project. Green: hand labels of where the markers are located in the image. Blue: system estimate of where the markers should be after optimizing for the true object relative pose.
这与[^10]的研究结论一致。尽管我们对Aria设备的鱼眼RGB图像进行了校正，以使ADT数据集的分布更接近COCO数据集，但数据的以眼为中心特性仍然构成挑战——
---
| Object Name | Measurement Count | Translation Error [mm] | Rotation Error [deg] | Reprojection Error[pixel] |
| BlackCeramicBowl | 10 | 3.05 | 0.66 | 5.05 |
| Donut_B | 11 | 3.61 | 1.06 | 4.84 |
| MuffinPan | 10 | 3.64 | 0.59 | 5.45 |
| RedClock | 10 | 3.72 | 1.03 | 4.19 |
| DecorativeBoxHexLarge | 12 | 3.77 | 1.05 | 5.05 |
| CoffeeCan_2 | 10 | 4.06 | 0.66 | 5.43 |
| Mortar | 11 | 4.19 | 0.74 | 6.45 |
| ChoppingBoard | 10 | 4.25 | 0.49 | 5.23 |
| BlackCeramicDishLarge | 10 | 4.31 | 0.71 | 5.26 |
| WoodenFork | 13 | 4.53 | 1.65 | 6.71 |
| BirdhouseToy_2 | 17 | 4.77 | 1.11 | 4.55 |
| BambooPlate | 10 | 4.82 | 0.67 | 7.34 |
| BirdHouseToy | 12 | 5.08 | 0.72 | 7.53 |
| Orange_A | 14 | 5.22 | 2.28 | 8.19 |
| ToothBrushHolder | 12 | 5.32 | 1.66 | 7.24 |
| CakeMocha_A | 15 | 5.62 | 0.69 | 6.14 |
| WoodenSpoon | 10 | 5.85 | 2.02 | 6.42 |
| WoodenBowl | 10 | 5.85 | 0.74 | 6.53 |
| BlackPictureFrame | 13 | 6.00 | 1.16 | 8.73 |
| BlackTablet | 7 | 6.19 | 1.11 | 6.69 |
| BlackCeramicMug | 10 | 6.53 | 1.69 | 6.59 |
| BookDeepLearning | 11 | 6.56 | 0.96 | 10.31 |
| WoodenBoxSmall | 12 | 6.73 | 1.28 | 8.83 |
| Flask | 14 | 7.17 | 1.49 | 5.71 |
| GreenDecorationTall | 10 | 8.02 | 1.37 | 8.81 |
| BlackRoundTable | 11 | 8.43 | 0.65 | 5.72 |
| Cracker | 10 | 8.49 | 2.25 | 7.20 |
| BlackKitchenChair | 9 | 12.24 | 0.79 | 5.66 |
| WhiteChair | 6 | 12.35 | 0.77 | 6.83 |
| Jam | 14 | 12.57 | 1.52 | 7.32 |
| Cereal | 9 | 16.29 | 2.18 | 11.82 |
| DinoToy | 10 | 25.39 | 4.65 | 7.25 |
Table 5: Mean system accuracy results for select objects ranked by the translation error.
| Error | Apartment | Office |
| Object translation [mm] | 6.94 | 4.48 |
| Object rotation [deg] | 1.3 | 1.04 |
| Reprojection Measured [pixels] | 6.9 | 4.18 |
| Reprojection Optimized [pixels] | 0.56 | 0.47 |
Table 6: Mean system accuracy results, split by scene location.
这些算法的时间复杂度各不相同。表7展示了各类别的mAP值。从表中可以看出，沙发、椅子、冰箱等大型家具和家电类别在视频中通常更容易被检测器识别，而盆栽植物、鼠标、遥控器等物体类别的检测性能则较差。虽然这可能与视频中物体的尺寸有关，但也凸显了从野外拍摄的视频中构建日常物品真实世界索引所面临的挑战。此外，通过定性分析可以发现，图10展示了两种检测器的性能以及真实情况。FPN在检测大型物体以及视角变化较大的物体时表现更佳。尽管VIT-Det在检测小型物体方面似乎优于FPN，但其整体性能仍逊于FPN，这表明训练时的尺度与推理阶段ADT图像的尺寸之间可能存在不匹配。
---
Figure 10: Each row is an example of the comparison among the ground-truth, FPN 2D detection result and VIT-Det 2D detection result. All three examples show that FPN tends to detect larger objects better than that of VIT-Det, such as the dining table in the first and second example, and the sofa and armchairs in the third example. FPN also shows promising robustness results under view point variance such as the dining table in the second example and the leftmost armchair in the third example. In contrast, VIT-Det seems to be better at detecting smaller objects such as the bottles on the shelf behind the dining table in the first example and the fork in the second example.
#### 7.3. 三维物体检测的性能分析
Cube-RCNN和Total3d在ADT数据集上的三维物体检测性能明显较低。因此，我们对失败案例进行了进一步分析，以揭示三维物体检测研究面临的挑战。我们的观察结果包括两类主要失败情况：1）二维物体检测失败；2）三维姿态预测失败。由于我们在7.2节已经分析了二维物体检测失败的情况，本节将重点讨论三维姿态预测失败问题。图11a展示了一个典型的三维姿态预测失败案例。
---
| Category | FPN | FPN | VIT-Det | VIT-Det |
| Box | Seg | Box | Seg |
| Frisbee | 18.55 | 21.10 | 7.51 | 6.80 |
| Bottle | 2.91 | 3.03 | 1.28 | 1.32 |
| Cup | 5.67 | 5.64 | 4.56 | 4.83 |
| Fork | 8.12 | 2.85 | 4.25 | 1.13 |
| Knife | 14.50 | 10.58 | 10.82 | 7.93 |
| Spoon | 14.20 | 6.24 | 7.07 | 3.78 |
| Bowl | 17.81 | 17.41 | 7.23 | 7.53 |
| Banana | 16.87 | 12.73 | 8.25 | 6.32 |
| Apple | 21.64 | 24.03 | 12.31 | 14.03 |
| Sandwich | 14.15 | 10.94 | 8.88 | 11.41 |
| Orange | 19.84 | 21.80 | 9.87 | 10.80 |
| Carrot | 37.08 | 53.02 | 38.84 | 29.75 |
| Donut | 3.93 | 4.57 | 2.29 | 2.54 |
| Cake | 10.25 | 12.52 | 9.21 | 10.84 |
| Chair | 34.38 | 17.44 | 20.80 | 9.58 |
| Couch | 49.77 | 49.87 | 27.82 | 32.20 |
| Potted Plant | 0.51 | 0.48 | 0.40 | 0.38 |
| Bed | 7.29 | 2.42 | 6.34 | 3.61 |
| Dining Table | 25.02 | 7.63 | 2.37 | 0.75 |
| TV | 24.73 | 29.65 | 19.10 | 23.76 |
| Laptop | 12.66 | 12.78 | 2.30 | 2.61 |
| Mouse | 1.11 | 0.98 | 0.20 | 0.17 |
| Remote | 1.47 | 0.30 | 1.82 | 0.54 |
| Keyboard | 4.01 | 3.31 | 0.44 | 0.30 |
| Oven | 0.05 | 0.01 | 0.61 | 0.37 |
| Toaster | 0.09 | 0.11 | 2.22 | 2.54 |
| Refrigerator | 48.47 | 48.45 | 42.89 | 43.63 |
| Book | 10.12 | 9.23 | 3.40 | 2.83 |
| Clock | 34.33 | 34.97 | 32.21 | 33.37 |
| Vase | 0.34 | 0.28 | 0.22 | 0.12 |
| Scissors | 7.52 | 0.14 | 10.92 | 0.33 |
Table 7: Per-category 2D detection and segmentation mean mAP computed across all videos in the dataset. Large furniture and appliances are easier to detect for the detectors than the smaller objects like remotes. This indicates the challenges in the constructing real world index of everyday objects.
Cube R-CNN大致定位出了八把椅子的三维位置，但未能准确预测其三维姿态，以至于无法满足0.25的IoU阈值要求。
此外，我们还观察到深度估计方面频繁出现失败情况，这是基于单张图像输入的三维检测模型存在的根本性局限，因为从单张二维图像中推断三维数据颇具挑战性。图11b和图11c分别展示了Total3D和Cube R-CNN的两个失败示例。重新投影后的三维边界框在二维图像上贴合得很好。然而，从三维可视化结果来看，与真实情况相比，预测出的姿态存在显著误差。这一问题有望通过使用Aria的多摄像头传感器来构建更先进的三维物体检测器加以解决。
| Sofa | Photo Frame | Chair |
| Center Prediction (m) | 0.296 | 0.162 | 0.041 |
| Rotation (deg) | 3.869 | 1.952 | 1.553 |
| Relative Scale | 0.15 | 0.27 | 0.10 |
Table 8: Benchmarking of the manual annotations. It shows error in manually annotated objects measured against the accurate ground truth provided by the ADT. Smaller objects are difficult to annotate with accuracy as can be seen from the higher relative scale error of the photo frames.
从三维可视化结果来看，与真实情况相比，预测出的姿态存在显著误差。这一问题有望通过使用Aria的多摄像头传感器来构建更先进的三维物体检测器加以解决。
#### 7.4. 与人工标注的三维边界框对比
ADT真实数据集中的精确三维边界框可用于评估基于视频的人工标注流程的准确性。为了开展评估，我们从数据集中随机选取了20个视频（占总视频数的10%）进行10个类别物体的三维边界框人工标注。图12展示了人工标注的示例。我们通过计算物体的人工标注边界框与ADT中6自由度真实姿态之间的差异来评估其准确性，这些差异包括平移、旋转和尺度误差。平均平移误差为0.329米；平均旋转误差为4.29度；平均相对尺度误差为0.32。表8展示了三个示例类别的评估结果。
上述实验为测试半自动标注流程提供了独特优势，也能在为完成大规模任务而对标注员进行培训前，为其提供持续、量化且可视化的反馈。如图12所示的可视化结果可作为快速参考，帮助标注团队了解常见的失败模式与规律。
---
(a) A failure example of Cube R-CNN on predicting 3D poses of chairs.
(b) A failure example of Total3d on predicting the 3D pose of a TV object.
(c) A failure example of Total3d on predicting the 3D pose of a book object.
Figure 11: From left to right: 3D object detection in red bounding boxes; ground truth bounding boxes in green for the target object and in gray for other objects; predicted 3D bounding boxes from a top down view; predicted 3D bounding boxes from a side view.
Figure 12: Examples of the manual annotation. Small and thin objects are typically more difficult to manually annotate compared to large and bulky objects. The error margin for annotating a photo frame is much smaller as compared to annotating bigger furniture objects such as the sofa and bed. Typically annotating the depth becomes a challenging task and is often the main cause of the error. The ADT dataset allows for an accurate estimate of these errors as shown in table 8.