# X-view：非中心视角的多视角3D物体检测器
谢亮、徐国栋、蔡登（IEEE会员）、何晓飞（IEEE高级会员）
摘要—自动驾驶领域的3D物体检测算法会从鸟瞰图、透视视图或两者结合的角度来推断3D障碍物信息。近期的研究试图通过挖掘并融合多个以传感器为中心视角的数据来提升检测性能。尽管以传感器为中心的透视图能弥补鸟瞰图的一些缺陷，但远距离下的分区网格划分过于粗糙，导致目标与周围环境特征相互混杂，进而降低了特征的区分度。本文拓展了3D多视角学习领域的研究，提出了一种新颖的基于多视角的3D检测方法——X-view，旨在克服现有多视角方法的弊端。具体而言，X-view突破了传统透视图中原点必须与3D笛卡尔坐标系保持一致的限制。X-view被设计为一种通用范式，无论是基于体素/网格的方法还是基于原始点云的方法，只需极小的运行时间增量，就能应用于几乎所有基于激光雷达的3D检测器。我们在KITTI [^1]和NuScenes [^2]数据集上开展实验，验证了所提X-view方法的鲁棒性和有效性。实验结果表明，当X-view与四种主流的先进3D方法——SECOND [^3]、PointRCNN [^4]、Part- $A^{2}$ [^5]以及PV-RCNN [^6]结合使用时，均能取得稳定的性能提升。
索引词—3D物体检测、多视角融合、自动驾驶
## 一、引言
3D物体检测是自动驾驶的核心组成部分。3D检测器能够识别道路上的障碍物，辅助驾驶系统做出正确决策，从而有效保障行驶安全与效率。随着3D传感器的快速发展以及生产成本的降低，激光雷达已成为自动驾驶汽车感知周边场景的必要模块，它能够扫描周围环境并生成精确的3D描述。与2D图像不同，激光雷达生成的点云具备精确的深度值和3D空间信息，因此更有助于准确推断3D物体。
对于基于激光雷达的方法而言，无论是基于网格的 [^3]、[^7]、[^8] 还是基于点云的 [^4]、[^5]、[^9]、[^10]，它们都使用原点位于激光雷达处的原始激光雷达xyz坐标系下的点云数据。我们将这种3D xyz坐标系称为鸟瞰图（BEV）。BEV中的点能够捕捉障碍物与环境的精确3D结构，且物体的形状不受距离影响。然而，对于远距离或小尺寸的物体，点云会变得非常稀疏，导致检测器很难处理这类具有挑战性的目标。尽管在3D xyz坐标系中激光雷达点云较为稀疏，但从传感器的视角来看，点云本质上是密集的，也就是说在透视图中点的密度在角度上是保持一致的 [^11]。鸟瞰图面临的另一个问题是局部特征不匹配问题。
Fig. 1. This figure illustrates the advantages of the non-egocentric PV (perspective view). In the figure, the green grids are the voxels of egocentric PV, and the orange grids represent a non-egocentric PV whose origin is placed in the distance. In the PV coordinate (e.g. spherical or cylindrical coordinate), more closer to the origin, the grids are more meticulous, vice versa. Therefore, for the objects in the distance, e.g. the object in the red circle, they are only voxelized into few grids in the egocentric PV coordinate, which brings difficulty for precisely recognizing and locating. The non-egocentric PV can remedy this issue because these objects are voxelized more meticulously in a non-egocentric view whose origin is near the objects.
即点密度会随距离发生变化，而这类问题难以通过局部参数共享的特征提取器（如2D/3D CNN或PointNet++架构 [^12]）来解决。而在透视图中，点密度在角度上保持一致，这一问题便得到了缓解。
因此，一些研究[^11]、[^13] [^14] [^15]试图利用透视图来弥补鸟瞰图的缺陷。然而，采用透视图像的方法[^11]、[^13]同样存在单目方法的弊端，即物体形状不具备距离不变性。由于深度信息的丢失，物体在二维图像中会发生重叠，从而导致难以准确识别和定位。近期基于多视图的方法[^14]、[^15]通过将点投影到三维球面或柱面坐标中来解决深度信息丢失的问题，同时结合多视图特征也解决了距离不变性问题。不过，这些方法仅考虑了以自我为中心的视角。在透视图（PV）中，空间会沿x轴和y轴被划分为一系列扇形网格，且随着距离增加网格会变得更大、更稀疏。在以自我为中心的透视图中，远处物体的特征会与周围环境混合，从而丧失区分度。因此，以自我为中心的透视图仍不足以解决这一问题。解决该问题的途径就是突破传统的以自我为中心的约束。
---
在本文中，我们提出了一种新颖的去中心化多视图算法，称为X-view。受以往方法的启发，X-view融合了不同坐标空间的特征。与以往研究不同，X-view突破了透视图原点与鸟瞰图原点一致这一传统的自我中心约束，这种约束限制了多视图融合的能力。X-view通过平移原点来模拟不同观察者的视角，从而增加了透视图的数量；透视图的数量X可以灵活设定。其原理在于，透视图中的不同原点能让网络利用具有动态上下文的不同距离上的特征。此外，我们提出了BEV-Dominant线性插值融合（BDLI-Fusion）模块来融合多视图特征。BDLI-Fusion解决了以往多视图方法中存在的[^14]、[^15]问题。BDLI-Fusion避免了在进行体素-点-体素投影时产生的不准确性。多视图的特征提升了最终性能。得益于3Dconv [^16]、PointNet++ [^12]等高效骨干架构，额外的特征提取带来的时间和内存开销极小，我们的X-view能够在满足实时性要求的同时实现稳健的性能。
我们的贡献可概括为三个方面：
- 我们提出了一种新颖的多视图三维检测架构X-view。X-view首次突破了传统的以自我为中心的视角，通过平移原点来模拟不同观察者的视角，从而增加了透视图的数量。
- 针对以往多视图方法中存在的融合问题，我们提出了BDLI-Fusion，以简化融合操作并避免体素-点-体素投影过程中引入的不准确性。
- X-view是一种通用且灵活的架构，几乎可应用于所有主流的三维检测器。我们在四种流行的先进三维检测器上进行了实验：SECOND [^3]、PointRCNN [^4]、Part-A $^{2}$ [^5]、PV-RCNN [^6]。在KITTI [^1]和NuScenes [^2]这两个极具挑战性的数据集上的实验证明了X-view的有效性，并显示出显著的性能提升。
- X-view通过并行化加速实现了实时检测，从而满足实际工程需求。
### II. 相关工作
本节我们回顾自动驾驶领域3D检测的最新研究进展。根据检测器所使用的视图数量，3D检测方法可分为两类：基于单视图的方法和基于多视图的方法。
### A. 单视图3D检测器
一些单视图3D检测器[^17] [^18] [^19] [^20] [^21]利用单目图像来估计3D物体。然而，由于深度与尺度的投影纠缠，单目2D图像难以精准定位3D目标。与基于激光雷达的方法相比，这类方法的性能差距十分显著。基于激光雷达的方法主要分为两类：基于网格的方法和基于点的方法。基于网格的检测器[^3]、[^7]、[^8]、[^22]、[^23]、[^24]、[^25]会将点云量化为一系列离散的网格，再利用高效的稀疏3D CNN[^3]、[^7]、[^23]来处理，或者压缩输入的鸟瞰图特征图[^8]、[^24]、[^25]以满足实时性要求。基于点的方法则直接处理原始3D点，通过常用的PointNet/PointNet++架构[^5]、[^6]、[^26]或GCN[^10]来聚合点级特征。不过，尽管基于激光雷达的3D检测器近期取得了巨大成功，但它们仅利用了鸟瞰图中的点（即3D笛卡尔坐标）。使用鸟瞰图中的点不仅会在远距离处出现稀疏问题，而且对常用的局部参数共享特征提取器也不友好，因为鸟瞰图中的点密度会随距离而变化。为解决这一问题，许多研究人员开始从多个视角处理点云。
### B. 多视图3D检测器
在多视图范式下，近期诸多研究[^13]、[^27]、[^28]、[^29]利用来自多种传感器的特征（如3D激光雷达和2D摄像头）来推断3D物体。虽然这些方法也使用了透视视图特征，但仅采用了2D特征。然而，2D图像中并不包含足够的3D线索，因此难以精准定位3D物体。此外，2D图像特征与3D体素或原始点之间的模态差异也会给多传感器融合带来困难。因此，近期基于多传感器的方法性能仍略逊于纯激光雷达方法。所以下文我们主要讨论基于激光雷达的多视图方法，这类方法也与基于多传感器的多视图方法兼容。
MV3D [^13]是一种早期的多视角方法。除了图像流外，它还利用两个视角下的点云：鸟瞰图和透视图，并在RoI-Pooling操作中直接融合这两个视角的特征图。该方法存在两个缺点：首先，它将三维点投影到二维平面上以表示透视图，从而丢失了深度信息，这会影响定位精度；其次，它没有考虑不同视角下特征图之间的不一致性，而是直接将它们拼接在一起。MVF [^14]将三维xyz点映射到三维球坐标中以表示透视图，同时采用动态的点到体素及体素到点投影来进行逐点融合，从而实现鸟瞰图与透视图的协同。然而，由于将点映射到体素时的采样或池化操作会带来一些歧义，因此降低了融合的鲁棒性。PillarOD [^15]利用圆柱投影来替代球坐标，但仍会面临与MVF类似的投影问题。某些方法 [^11]、[^30]、[^31]、[^32]利用距离视图或其变体来推断三维物体，这类视图也可被视为一种透视图。CVCNet [^30]在统一坐标下提取鸟瞰图与距离视图特征，并通过跨视图变换器进行融合。RangeRCNN [^31]利用距离视图特征作为先验来初始化鸟瞰图特征，以此弥补基于距离图像方法的不足 [^11]。[^32]则利用圆柱坐标下的特征进行引导。
---
Fig. 2. This figure illustrates the main architecture of X-view. Besides the birds-eye view and egocentric perspective view, X-view innovatively introduces the non-egocentric perspective views. X-view employs view-dependent backbones to extract features of each view (the backbone1 in the figure). Then, multi-view features are fused through our proposed BEV-Dominant Linear Interpolation Fusion module. After fusion, the fused features are projected to BEV for further embedding in the backbone2 and finally to be feed into the detector head to generate final predictions. Note that the number of non-egocentric perspective views can be set flexibly according to the data scenes and demands. The time cost brought by the multiple streams can be accelerated by parallel operation.
笛卡尔坐标系下的三维卷积层。不过，所有这些多视角方法都仅考虑融合来自自我中心视角的特征，这会导致远距离的稀疏特征与周围上下文混合，进而损害其区分能力。为解决这些问题，我们提出了一种新颖的去中心化多视角融合范式——X-view。X-view突破了多视角的概念，通过模拟不同观察者的视角来增加透视图的数量，从而提升性能。同时，我们提出了以鸟瞰图为主导的线性插值融合方法（BDLI-Fusion），以解决上述投影融合问题。
### 三、X-view
X-view的核心思想是通过平移透视图坐标系的原点来突破自我中心视角对透视图的限制，并增加透视图的数量以提升性能。
图2展示了X-view的主要架构。除了传统的笛卡尔坐标系和自我中心透视图坐标系外，原始点云还会被投影到一系列非自我中心的透视图坐标系中。X-view应用了一系列视角无关的特征提取器，随后采用以鸟瞰图为主导的线性插值融合模块（简称BDLI-Fusion）来融合多个视角流中的特征。融合后的多视角特征会被送入后续的特征提取器进一步嵌入，然后再传入最终的检测头以生成最终预测结果。接下来，我们首先介绍三维检测中多视角的概念，随后分别详细介绍X-view和BDLI-Fusion的细节。
### A. 多视角
在本节中，我们首先对比传统两种视角——鸟瞰图与自我中心透视图的优势与不足，随后介绍我们的贡献：非自我中心透视图。
鸟瞰图。在本文中，我们将xyz笛卡尔坐标系称为鸟瞰图（BEV）。由于BEV的坐标与评估指标的测量结果保持一致，因此它在基于网格的方法[^3]、[^5]、[^7]、[^27]以及基于点的方法[^4]、[^9]、[^10]中均表现出色。不过，BEV也存在一些问题。由于激光雷达的工作机制，尽管激光雷达发射的激光束密度较高且角度分布均匀，但随着距离增加，点云密度会迅速下降，不同区域的点云密度差异也很大，如图3右侧所示。这种不平衡的点云密度会引发另一个问题：局部特征不匹配。无论是基于网格还是体素的算法，都会利用局部参数共享的特征提取器来嵌入特征，例如2D/3D CNN或PointNet++。当处理BEV中密度多变的特征时，这些局部参数共享的核就会出现问题。此外，远距离处过小的点云密度也会使检测器难以精确识别和定位远处的目标。BEV中的另一个挑战性问题是小尺寸物体。在深层的BEV特征图中，小目标可能仅占据几个体素或关键点，导致它们难以被精确识别和定位。
透视视图。与捕捉真实3D世界的鸟瞰图不同，透视视图（PV）模拟相机或人眼的视角，描述一种投影空间。尽管点在3D笛卡尔空间中分布稀疏，但投影到透视视图图像上时就会变得密集，这一过程类似于激光雷达扫描场景的过程[^11]。近期的多视图方法选择使用球面[^14]或圆柱[^15]坐标来表示透视视图。与BEV相比，PV坐标的体素大小会随着距原点的距离而变化，
---
Fig. 3. This figure compares the perspective view (spherical/cylindrical coordinate) and the birds-eye view (cartesian coordinate). The left is the perspective view, and the right is the birds-eye view. In the birds-eye view, the 3D space is divided into size-invariant voxels. However, the point density becomes small as the distance increases. The point densities in voxels are distance-variant, which causes the local feature mismatching issue mentioned in Section III-A. The perspective view eliminates this issue to some degree, and the point densities in the voxels are roughly consistent.
如图3所示。因此，体素内的点云密度大致一致，能够避免上述提到的局部特征不匹配问题。此外，对于小形状物体，PV能提供类似2D相机图像的“密集”描述。虽然PV可以弥补传统BEV的一些缺陷，但它仍存在远处体素尺寸过大的问题。具体来说，远处的稀疏性加上大尺寸体素带来的周围杂乱背景，会削弱特征的区分能力。
非以自我为中心的透视视图。在PV坐标（如球面或圆柱坐标）中，距原点越远，体素尺寸越大，这导致PV对远处目标的鲁棒性较差。因此，我们提出的X-view利用非以自我为中心的透视视图来解决这一问题。顾名思义，非以自我为中心的PV原点并不位于自车位置。为了提高对远处难识别物体的鲁棒性，我们可以将以自我为中心的坐标原点转移到远处区域。如图1所示，非以自我为中心的PV能在目标区域提供更精细的划分，而且非以自我为中心的坐标也模拟了场景中的另一位观察者。
### B. 非以自我为中心的多视图检测器
X-view拓展了基于多视图的3D检测概念。在以往的多视图方法中，例如MVF [^14]和PillarOD [^15]，检测器头依赖于从两种视图中提取的特征：鸟瞰图（BEV）和以自我为中心的透视视图（PV）。PV坐标的原点与激光雷达坐标一致。尽管PV可以通过不同的体素尺寸来解决局部特征不匹配的问题，但其在远距离处的体素形状较大，导致特征区分度不足，难以精确识别和定位远处目标。为解决这一问题，我们提出了X-view，它突破了以自我为中心的限制，将透视视图的数量扩展为任意多个。这些非以自我为中心的透视视图模拟了多个观察者的视角，使我们能够利用透视视图的特性来聚合不同距离下的均衡上下文信息。
将笛卡尔坐标系中的点云表示为$\mathcal{P}_{\mathrm{bev}} = \{(x_i, y_i, z_i)\}_{i=1}^N$，其中N为点的数量；传统的以自我为中心的透视视图坐标可描述为$\mathcal{P}_{\mathrm{pv}}^{\mathrm{ego}} = \{(r_i, \theta_i, \varphi_i)\}_{i=1}^N$，具体如下：
$$ r_{i}=\left\{\begin{aligned}&\sqrt{x_{i}^{2}+y_{i}^{2}+z_{i}^{2}},&sphe~coord.\\ &\sqrt{x_{i}^{2}+y_{i}^{2}},&cylin~coord.,\end{aligned}\right. $$
$$ \theta_{i}=\arctan\left(\frac{y_{i}}{x_{i}}\right) $$
$$ \varphi_{i}=\left\{\begin{aligned}&\arccos\left(\frac{z_{i}}{x_{i}^{2}+y_{i}^{2}+z_{i}^{2}}\right),&&\text{sphe coord.}\\ &z_{i},&&\text{cylin coord.}\end{aligned}\right. $$
其中$\rho$和$\rho$分别代表球坐标和柱坐标。
非以自我为中心的透视视图坐标会平移以自我为中心的透视视图的原点。将以$(x_p, y_p, \varphi_p)$为中心的非以自我为中心的透视视图记为$\mathcal{P}_{\mathrm{pv}}^{(x_p, y_p, \varphi_p)} = \{(r_i, \theta_i, \varphi_i)\}_{(x_p, y_p, \varphi_p), \text{where:}}$。
$$ r_{i}=\left\{\begin{aligned}&\sqrt{(x_{i}-x_{p})^{2}+(y_{i}-y_{p})^{2}+(z_{i}-z_{p})^{2}},\\ &\sqrt{(x_{i}-x_{p})^{2}+(y_{i}-y_{p})^{2}},\end{aligned}\right. $$
$$ \theta_{i}=\arctan\left(\frac{y_{i}-y_{p}}{x_{i}-x_{p}}\right) $$
$$ \varphi_{i}=\left\{\begin{aligned}&\arccos\left(\frac{z_{i}-z_{p}}{(x_{i}-x_{p})^{2}+(y_{i}-y_{p})^{2}+(z_{i}-z_{p})^{2}}\right)\\ &z_{i}-z_{p},\end{aligned}\right. $$
X-view同时考虑了鸟瞰图和一组以不同位置为中心的透视视图$\mathcal{P}_{\mathrm{pvs}} = \{\mathcal{P}_{\mathrm{pv}}^{(x_j,y_j,z_j)}\}_{j=1}^K$。透视视图中心的选择取决于激光雷达类型和道路场景，因此针对不同数据集的需求也会有所差异。在第VIII节中，我们将分析不同PV原点位置所产生的影响。
### C. 以鸟瞰图为主导的线性插值融合
以往的多视图方法[^14]、[^15]将点作为桥梁来融合不同视图的特征，如图4的(a)部分所示。但我们发现这种融合操作会带来一些误差。对于鸟瞰图中的特征，在从体素中检索点特征时，我们采用了线性插值法，但这会导致点相对于体素中心的位置信息丢失。
---
Fig. 4. This figure illustrates the difference between the fusion procedure of X-view and the fusion of MVF [^14] and PillarOD [^15]. The part (a) is depicts the fusion operation of MVF and PillarOD. They first retrieve the corresponding point features from the voxel feature maps of two views via the pre-constructed point-to-voxel mapping. After concatenating the features, they employ the voxel-to-point mapping to construct the voxel maps. However, this fusion procedure will involve some inaccuracy for the perspective view features. Although they using linear interpolation to retrieve point features from perspective view voxels, in the process of converting the points to birds-eye view voxels, the point position information with respect to the voxel centers will lose, which brings information loss. Therefore we remedy this issue as illustrated in part (b). We keep the birds-eye view voxels unchanged, and only project the birds-eye view voxel indices to the perspective view coordinate and retrieve the perspective view features via linear interpolation operation. Finally, we directly append the retrieved features onto the birds-eye view voxel features.
Fig. 5. Group convolution is applied to parallelize the logically parallel network branches in the practical implementation. For normal implementation, we use for loop to forward features of different views iteratively. Group convolution can take advantage of parallel computation and avoid the linear increment for the running speed. In the figure, the colors are corresponding in the upper and lower parts.
在恢复鸟瞰图体素时也会出现同样的问题，透视视图中同样存在该问题。由于鸟瞰图（BEV）和透视视图（PV）中的体素是在不同的坐标空间中体素化且尺寸也不一致，因此体素（PV）-点-体素（BEV）投影也会导致信息丢失，这对后续的检测器头而言并无益处。如图4所示，问题出在点到体素（BEV）的映射环节。在根据点特征构建体素特征图时，对于同一体素内的点而言，它们相对于体素中心的位置差异会被忽略，这会导致在构建体素特征图时，由于采样或池化操作使得同一体素内的点特征变得模糊。这些误差尤其会对定位精度造成负面影响，尤其是在体素尺寸较大的情况下。
为了解决这一问题，我们提出了BEV-Dominant线性插值融合方法，简称BDLI-Fusion。如图4的(b)部分所示，BDLI-Fusion的具体过程可分为三步：(1)对于鸟瞰图中的每个体素，我们将体素中心的xyz坐标投影到透视坐标上；(2)利用线性插值获取对应的透视图体素；(3)将获取到的特征与鸟瞰图体素特征进行融合（拼接或相加操作）。与[^14]、[^15]中的融合操作相比，BEV体素特征在BDLI-Fusion的整个过程中保持不变且一致。由于后续网络层和检测头需要依靠BEV体素来推导最终预测结果，因此我们直接以BEV体素中心作为融合目标，以避免上述不准确性。与MVF [^14]和PillarOD [^15]中的两阶段融合操作相比，我们的BDLI-Fusion结构更简单高效，仅需一次处理即可完成。
需要注意的是，我们的BDLI-Fusion仅针对采用基于网格的检测头的架构进行了改进，例如[^3]、[^5]、[^6]、[^7]、[^8]、[^24]。对于那些采用基于点的检测头的基线模型[^4]，融合操作更为简单，我们可以直接融合获取到的逐点特征。
### D. 通过分组卷积实现并行化
实时运行时间是3D检测算法必须考虑的另一项挑战。由于不同视角下的上下文存在差异，X-view为不同视角采用了视点相关的特征提取器，如图2所示。尽管不同视角的特征提取器在逻辑上是并行的，但借助PyTorch等主流深度学习框架实现时，必须通过for循环将其设计为串行计算图架构。这种串行计算过程会导致运行时间呈线性增长，难以满足实时性要求。鉴于输入特征通道数以及不同视角特征提取器的架构均保持一致，我们可以采用分组卷积操作来并行化处理，从而减少运行时间的线性增长。图5展示了通过分组卷积操作实现并行化的过程。
---
### IV. 实验
在本节中，我们首先在IV-A小节介绍实验设置；接着在IV-B小节将我们的X-view方法与近期最先进的方法进行比较；最后在IV-C小节开展一些消融研究，以分析X-view的性能。
### A. 设置
1) 数据集：我们在两个具有挑战性的公开数据集上对所提出的X-view方法进行了对比测试：KITTI [^1]和NuScenes [^2]。
KITTI数据集。KITTI [^1] 是一个用于自动驾驶的常用3D物体检测数据集。它包含7481个带标签的训练和验证样本，以及7518个无标签的测试样本。在3D物体检测方面，每个样本提供一帧激光雷达点云、一张RGB图像以及校准信息。训练样本标注有真实的3D边界框列表，以及对应的2D图像上的2D边界框。真实标注仅包含2D图像中的物体。因此，在训练和评估时，我们按照惯例仅输入相机视锥内的3D点。进行实验时，我们遵循类似 [^13] 的惯例，将有标签的样本分为两组：3712个样本作为训练集，3769个样本作为验证集。
NuScenes数据集。与KITTI数据集相比，NuScenes [^2] 数据集是更具挑战性的自动驾驶3D物体检测数据集。NuScenes包含1000个场景，涵盖10个类别，其中700个场景用于训练，150个场景用于验证，150个场景用于测试。具体而言，每个场景是一系列持续20秒的连续帧，标注的关键帧以2Hz的频率采样。连续的帧与校准数据使得利用多个激光雷达扫描结果来增强单帧点云成为可能。总体而言，用于训练、验证和测试的有标注关键帧分别达到28,000个、6,000个和6,000个。
2) 实验细节：X-view是基于GitHub上PV-RCNN [^6] 的官方代码库实现的。我们在训练和测试时对每个基准模型采用一致的配置。在KITTI数据集上，我们在单个TITAN RTX GPU上以批量大小4、初始学习率0.003、权重衰减0.01、动量0.9的参数设置下训练模型，共训练80个周期。在NuScenes数据集上，我们在单个TITAN RTX GPU上以批量大小8、初始学习率0.003、权重衰减0.01、动量0.9的参数设置下训练模型，在训练集上训练20个周期。在两个数据集上，所有模型均从头开始端到端训练，并采用ADAM优化器来更新模型参数。在我们的所有实验中，我们采用了“一站式”训练方式，包括直接在测试集上评估结果，即用一个模型训练所有类别，这与以往研究的常见做法不同。因此，为了公平比较，我们在所有实验中重新实现了基准模型，仅将改进效果与重新实现的基准模型进行比较。
数据增强。我们采用常用的数据增强方法，包括以[0.95, 1.05]之间的随机因子进行随机缩放、沿x轴随机翻转、绕z轴随机旋转，旋转角度在$[-\pi/4, \pi/4]$之间随机抽取。我们还采用常用的gt-aug [^3] 技术，随机将其他样本中的真实标注放置到当前样本中，以增加正样本数量和场景复杂度。
评估指标。对于KITTI数据集，我们基于BEV和3D AP（平均精度）指标对所有模型进行评估。AP计算基于40个召回位置。对于NuScenes数据集，我们采用mAP和NDS（NuScenes检测分数）指标进行测试。mAP基于以下距离阈值：0.5米、1.0米、2.0米和4.0米；NDS则是mAP与边界框位置、尺度、方向、速度和属性方面的精度的加权和。
### B. 实验结果
1) KITTI数据集上的结果：表I展示了X-view与四种最先进的基线模型之间的比较：SECOND [^3]、PointRCNN [^4]、Part- $A^{2}$ [^5]以及PV-RCNN [^6]。表中的mmAP是三类物体（汽车、行人和自行车）在简单、中等和困难难度下的mAP平均值。表中，“+egocentric PV”表示在基线模型基础上增加一种以自我为中心的透视视图；“X-view(2 PVs)”则表示除了以自我为中心的透视视图外，还利用另一种非自我中心的透视视图，其原点位于(60m, 0m, 0m)。结果表明，无论是在3D还是BEV AP指标上，X-view相较于基线模型以及添加了自我中心透视视图的基线模型都能取得显著提升。表II则详细列出了这三类物体在简单、中等和困难难度下的改进情况。结果显示，X-view几乎在所有类别和难度级别上均实现了显著改进。
表IV展示了KITTI测试集上的性能对比。我们将X-view与最先进的方法Part- $A^{2}$ [^5]进行了比较。基线结果是官方KITTI 3D物体基准测试中的公开结果。从结果可以看出，我们的X-view在mAP指标上取得了提升，尤其是在中等和困难难度物体上的改进尤为显著。对远距离物体的改进表明，X-view的非自我中心透视视图能够解决远距离区域中自我中心视图所存在的体素尺寸过大问题。
2) NuScenes数据集上的结果：表III展示了X-view与基线模型在NuScenes [^2]数据集验证集上的比较。基线模型为SECOND [^3]。NuScenes数据集中的点云是由激光雷达360度扫描得到的，标注信息包含了自车后方的物体。因此，与KITTI数据集的设置相比，我们在这里增加了一种非自我中心的透视视图。第三行非自我中心透视视图的原点分别设为(40m, 0m, 0m)和(-40m, 0m, 0m)。NuScenes上的结果表明，与仅在KITTI数据集上采用自我中心透视视图的基线模型相比，我们的X-view同样能实现性能提升。
### C. 消融研究
我们在KITTI数据集上进行了一些消融分析，以探究X-view的各项设计。所有消融研究均在……
---
TABLE I
THE COMPARISON WITH FOUR STATE-OF-THE-ART METHODS: SECOND [^3], POINTRCNN [^4], PART-A $^{2}$ [^5] AND PV-RCNN [^6]. THE MMAP IS THE MEAN OF THE MAP OF THREE CATEGORIES: Car, Pedestrian AND Cyclist. NOTE THE RESULTS COME FROM all-in-one TRAINING PROCEDURE, i.e. ALL MODELS ARE TRAINED FOR ALL THREE CATEGORIES IN ONE MODEL. THE RESULTS ARE EVALUATED ON THE KITTI val SET.
| Metrics | 3D mmAP | BEV mmAP |
| Methods | SECOND [^3] | PointRCNN [^4] | Part- $A^{2}$ [^5] | PV-RCNN [^6] | SECOND [^3] | PointRCNN [^4] | Part- $A^{2}$ [^5] | PV-RCNN [^6] |
| baseline | 67.51 | 72.78 | 73.00 | 74.22 | 72.18 | 76.25 | 77.53 | 77.49 |
| +egocentric PV | 68.32 | 72.62 | 73.72 | 74.80 | 73.41 | 76.89 | 77.03 | 78.42 |
| X-view(2 PVs) | 69.44 | 73.62 | 74.91 | 75.45 | 74.84 | 77.77 | 78.56 | 78.91 |
| Improvements | +1.12 | +1.00 | +1.19 | +0.65 | +1.43 | +0.88 | +1.53 | +0.49 |
TABLE II
THE DETAILED RESULTS ON KITTI val SET. IN THIS TABLE, WE CHOOSE SECOND [^3], POINTRCNN [^4] AND PV-RCNN [^6] TO SHOW THE DETAILED IMPROVEMENTS ON THE Easy, Moderate, AND Hard TARGETS OF EACH CATEGORY. IN THE TABLE, THE NORMAL NUMBERS REPRESENTS THE RESULTS OF baseline+egocentric PV AND THE NUMBERS IN THE BRACKETS REPRESENTS THE IMPROVEMENTS OF X-view(2PVs) WITH RESPECT TO THE NUMBER OUT OF THE BRACKETS.
| Methods | SECOND [^3] | PointRCNN [^4] | PV-RCNN [^6] |
| Category | Easy | Moderate | Hard | Easy | Moderate | Hard | Easy | Moderate | Hard |
| Car | 88.54(+1.51) | 80.93(+0.30) | 77.97(+0.36) | 90.87(-0.17) | 79.96(+0.31) | 77.52(+0.36) | 91.65(+0.36) | 84.39(+0.24) | 82.03(+0.53) |
| Pedestrian | 56.93(+2.10) | 51.66(+1.78) | 47.09(+1.04) | 65.43(+1.21) | 58.17(-0.07) | 51.01(+0.54) | 67.47(+0.19) | 60.56(-0.15) | 55.68(-0.39) |
| Cyclist | 83.13(-0.51) | 66.08(+2.12) | 62.49(+1.45) | 92.21(+1.92) | 71.45(+2.64) | 66.93(+2.27) | 66.93(+2.27) | 72.62(+1.51) | 68.05(+1.75) |
TABLE III
THE RESULTS ON NUSCENES val SET. THE BASELINE MODELS IS SECOND [^3]. IN THE TABLE, Ego PV REPRESENTS THE EGOCENTRIC PV AND X-view USE 1 EGOCENTRIC PV AND 2 NON-EGOCENTRIC PVs WHOSE ORIGINS ARE (40m, 0m, 0m) AND (-40m, 0m, 0m) RESPECTIVELY.
| Methods | car | truck | bus | trailer | pedes-trian | motor-cycle | bicycle | traffic-cone | construc-tion-vehicle | barrier | mAP | NDS |
| baseline | 81.48 | 51.37 | 66.65 | 37.21 | 76.98 | 43.01 | 16.88 | 57.12 | 14.68 | 59.14 | 50.45 | 61.99 |
| baseline + Ego PV | 82.01 | 51.82 | 66.68 | 38.12 | 77.54 | 43.16 | 17.07 | 58.23 | 14.98 | 59.97 | 50.96 | 62.87 |
| X-view (3 PVs) | 83.45 | 53.24 | 67.33 | 38.24 | 78.56 | 43.25 | 17.74 | 58.89 | 15.11 | 61.03 | 51.69 | 63.76 |
TABLE IV
THE RESULTS ON KITTI test SET. WE COMPARE X-VIEW WITH PART-A $^{2}$ [^5]. THE BASELINE RESULTS ARE OFFICIAL PUBLIC RESULTS ON THE KITTI 3D Object Benchmark.
| Method | Easy | Moderate | Hard | mAP |
| Part- $A^{2}$ | baseline | 87.81 | 78.49 | 73.51 | 79.94 |
| X-view | 87.72 | 80.41 | 76.22 | 81.45 |
| PV-RCNN | baseline | 90.25 | 81.43 | 76.82 | 82.83 |
| X-view | 89.21 | 81.35 | 76.87 | 82.47 |
TABLE V
THE ABLATION STUDY OF THE PERFORMANCE DIFFERENCES BETWEEN THE FUSION METHODS OF MVF AND OUR PROPOSED BDLI-FUSION. THE RESULTS IN THIS TABLE ARE THE 3D MAP FOR THREE CATEGORIES.
| fusion method | Car | Pedestrian | Cyclist | mmAP |
| Old Fusion | 83.13 | 52.76 | 70.62 | 68.83 |
| BDLI-Fusion | 83.20 | 53.53 | 71.59 | 69.44 |
TABLE VI
关于非自我中心透视视图数量的研究。结果通过汽车类别的3D AP指标进行评估。“Non-Ego PV”代表非自我中心的透视视图。
| number of non-ego PVs | Easy | Moderate | Hard | mAP | running time(ms) | GPU memory(GB) |
| 1 | 93.12 | 75.98 | 72.38 | 80.49 | 58 | 2.07 |
| 2 | 91.91 | 77.52 | 73.91 | 81.11 | 71 | 2.97 |
| 3 | 93.35 | 77.64 | 72.85 | 81.28 | 80 | 3.25 |
TABLE VII
ABLATION STUDY ABOUT THE PERFORMANCE DIFFERENCE BETWEEN spherical AND cylindrical COORDINATES. "EGO PV" REPRESENTS THE EGOCENTRIC PERSPECTIVE VIEW. "X-VIEW" APPLIES ONE MORE
EGOCENTRIC PERSPECTIVE VIEW. "X-VIEW" APPLIES ONE MORE NON-EGOCENTRIC PERSPECTIVE VIEW THAN THE "BASELINE + EGO PV".
| Model | Coordinate | Easy | Moderate | Hard | mAP |
| baseline + Ego PV | spherical | 90.76 | 76.10 | 72.36 | 79.74 |
| cylindrical | 92.34 | 76.57 | 68.47 | 79.46 |
| X-view | spherical | 93.12 | 75.98 | 72.38 | 80.49 |
| cylindrical | 91.15 | 76.04 | 72.82 | 80.01 |
TABLE VIII
THE ABLATION STUDY ABOUT THE ORIGIN POSITION OF THE PERSPECTIVE VIEW. THE RESULTS ARE 3D AP FOR Car CATEGORY.
| origin | Easy | Moderate | Hard | mean |
| (20, 0, 0) | 91.74 | 75.42 | 72.03 | 79.73 |
| (40, 0, 0) | 93.12 | 75.98 | 72.38 | 80.49 |
| (60, 0, 0) | 92.45 | 77.95 | 74.06 | 81.49 |
| (60, -20, 0) | 91.68 | 76.68 | 72.81 | 80.39 |
| (60, 20, 0) | 90.85 | 76.74 | 73.01 | 80.20 |
训练在KITTI训练集上进行，并在验证集上评估，基线模型为SECOND [^3]。
非自我中心透视视图的数量。X-view的优势之一在于非自我中心透视视图的数量可扩展。因此，我们在表VI中研究了非自我中心透视视图数量的影响。表中，第一行“1个非自我中心PV”的原点位于(40m, 0m, 0m)；第二行为(40m, -20m, 0m)和(40m, 20m, 0m)；第三行为(60m, -20m, 0m)、(40m, -20m, 0m)和(40m, 20m, 0m)。通过……
---
从结果可以看出，随着PV数量的增加，性能也会更好，但运行速度和GPU内存占用也会随之上升。我们发现，随着PV数量的增加，性能的边际增量会逐渐减小。因此，我们必须在PV数量和速度之间找到一个平衡点。此外，表VI的结果仅针对KITTI数据集给出建议（KITTI数据集中的3D点仅在前摄像头视锥内有效）。非以自我为中心的PV的起始位置和数量应根据具体数据集和道路场景进行调整。
融合方法的消融研究。在表V中，我们比较了不同融合方法的效果：MVF [^14] 与我们的BDLI-Fusion的融合。从结果可以看出，BDLI-Fusion能够带来性能提升，尤其是在骑行者和行人类别上。这是合理的，因为这两类物体的尺寸通常较小，对其的估计很容易受到不准确特征的影响。
采用球坐标还是柱坐标？[^15] 表明，与球坐标相比，柱坐标可以避免物体物理尺寸的失真。不过，这仅适用于基于柱状物的基线方法 [^8]，因为这类方法不会对z轴方向进行体素化。许多基于网格的骨干网络会将x、y、z三个方向全部体素化为3D体素。对于这些方法而言，采用柱坐标会在z轴方向上面临密度不一致的问题。因此我们在表VII中重新研究了球坐标和柱坐标之间的性能差异。结果表明，无论是基线+PV模型还是我们的X-view模型，尽管球坐标略优于柱坐标，但两种坐标带来的差异并不显著。
X-view的放置位置如何确定？我们研究了非以自我为中心的PV的不同起始位置对检测性能的影响。如前三行所示，随着起始点沿x轴从近到远移动，中等难度和困难难度级别下的性能会有所提升；而简单难度级别下物体的性能会在某一点达到峰值后下降，这是合理的，因为简单难度级别下最佳混合体素尺寸的峰值出现得比中等和困难难度级别更快。放置在较远区域的非以自我为中心的PV能为远距离目标提供更细致的网格划分和更具区分性的特征。此外，第四到第六行显示，将起始点置于对称轴上有助于我们获得最佳的检测性能。这是合理的，因为障碍物与道路场景往往相对于x轴（即行驶方向）对称分布，且KITTI数据集中输入的数据仅为前摄像头视锥内的点云。
### 五、结论
此外，X-view采用了我们改进的融合模块：BDLI Fusion，它解决了以往方法中存在的逐点融合问题。X-view架构在四种最先进的3D检测方法上均取得了显著提升：SECOND [^3]、PointRCNN [^4]、Part- $A^{2}$ [^5] 以及PV-RCNN [^6]。基于并行化操作，不同的视角流可以被加速，从而避免运行时间的线性增长，使X-view能够满足实时处理需求。
在本文中，我们对多视角3D物体检测的研究进行了推广。我们提出了一种新颖的非自我中心式多视角3D检测器，名为X-view。X-view突破了传统自我中心式约束——即透视视图的原点需与自身坐标系保持一致。通过引入非自我中心式透视视图，X-view解决了在自我中心视图中远处体素尺寸过大的问题。
## 参考文献
[^1]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, "The kitti vision benchmark suite," URL , 2015.
[^2]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 11621–11631.
[^3]: Y. Yan, Y. Mao, and B. Li, “Second: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, p. 3337, 2018.
[^4]: S. Shi, X. Wang, and H. Li, "Pointrcnn: 3d object proposal generation and detection from point cloud," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 770–779.
[^5]: S. Shi, Z. Wang, J. Shi, X. Wang, and H. Li, "From points to parts: 3d object detection from point cloud with part-aware and part-aggregation network," IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
[^6]: S. Shi, C. Guo, L. Jiang, Z. Wang, J. Shi, X. Wang, and H. Li, "Pvrcnn: Point-voxel feature set abstraction for 3d object detection," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 10529–10538.
[^7]: Y. Zhou and O. Tuzel, "Voxelnet: End-to-end learning for point cloud based 3d object detection," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 4490–4499.
[^8]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "Pointpillars: Fast encoders for object detection from point clouds," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 12697–12705.
[^9]: W. Shi and R. Rajkumar, “Point-gnn: Graph neural network for 3d object detection in a point cloud,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 1711–1719.
[^10]: Y. Wang, Y. Sun, Z. Liu, S. E. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic graph cnn for learning on point clouds,” Acm Transactions On Graphics (tog), vol. 38, no. 5, pp. 1–12, 2019.
[^11]: G. P. Meyer, A. Laddha, E. Kee, C. Vallespi-Gonzalez, and C. K. Wellington, “Lasernet: An efficient probabilistic 3d object detector for autonomous driving,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 12677–12686.
[^12]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” in Advances in neural information processing systems, 2017, pp. 5099–5108.
[^13]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915.
[^14]: Y. Zhou, P. Sun, Y. Zhang, D. Anguelov, J. Gao, T. Ouyang, J. Guo, J. Ngiam, and V. Vasudevan, "End-to-end multi-view fusion for 3d object detection in lidar point clouds," in Conference on Robot Learning, 2020, pp. 923–932.
[^15]: Y. Wang, A. Fathi, A. Kundu, D. Ross, C. Pantofaru, T. Funkhouser, and J. Solomon, "Pillar-based object detection for autonomous driving," arXiv preprint arXiv:2007.10323, 2020.
[^16]: B. Graham and L. van der Maaten, “Submanifold sparse convolutional networks,” arXiv preprint arXiv:1706.01307, 2017.
[^17]: B. Li, W. Ouyang, L. Sheng, X. Zeng, and X. Wang, “Gs3d: An efficient 3d object detection framework for autonomous driving,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 1019–1028.
[^18]: F. Manhardt, W. Kehl, and A. Gaidon, “Roi-10d: Monocular lifting of 2d detection to 6d pose and metric shape,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 2069–2078.
## [^19]: Z. Qin, J. Wang, and Y. Lu, “Monogrnet: A geometric reasoning network for monocular 3d object localization,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 8851–8858
---
[^20]: J. Ku, A. D. Pon, and S. L. Waslander, “Monocular 3d object detection leveraging accurate proposals and shape reconstruction,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 11867–11876.
[^21]: J. Chang and G. Wetzstein, “Deep optics for monocular depth estimation and 3d object detection,” in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 10193–10202.
[^22]: D. Maturana and S. Scherer, “Voxnet: A 3d convolutional neural network for real-time object recognition,” in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2015, pp. 922–928.
[^23]: B. Zhu, Z. Jiang, X. Zhou, Z. Li, and G. Yu, “Class-balanced grouping and sampling for point cloud 3d object detection,” arXiv preprint arXiv:1908.09492, 2019.
[^24]: B. Yang, W. Luo, and R. Urtasun, “Pixor: Real-time 3d object detection from point clouds,” in Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2018, pp. 7652–7660.
[^25]: T. Yin, X. Zhou, and P. Krähenbühl, “Center-based 3d object detection and tracking,” arXiv preprint arXiv:2006.11275, 2020.
[^26]: C. R. Qi, O. Litany, K. He, and L. J. Guibas, “Deep hough voting for 3d object detection in point clouds,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 9277–9286.
[^27]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3d proposal generation and object detection from view aggregation,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018, pp. 1–8.
[^28]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “Pointpainting: Sequential fusion for 3d object detection,” arXiv preprint arXiv:1911.10150, 2019.
[^29]: C. R. Qi, X. Chen, O. Litany, and L. J. Guibas, “Imvotenet: Boosting 3d object detection in point clouds with image votes,” arXiv preprint arXiv:2001.10692, 2020.
[^30]: Q. Chen, L. Sun, E. Cheung, and A. L. Yuille, “Every view counts: Cross-view consistency in 3d object detection with hybrid-cylindrical-spherical voxelization,” Advances in Neural Information Processing Systems, vol. 33, 2020.
[^31]: Z. Liang, M. Zhang, Z. Zhang, X. Zhao, and S. Pu, “Rangercnn: Towards fast and accurate 3d object detection with range image representation,” arXiv preprint arXiv:2009.00206, 2020.
[^32]: M. Rapoport-Lavie and D. Raviv, "It's all around you: Range-guided cylindrical network for 3d object detection," arXiv preprint arXiv:2012.03121, 2020.
谢亮 谢亮目前正于浙江大学计算机科学与技术学院攻读博士学位，其研究方向包括计算机视觉和机器学习。
蔡登 蔡登目前担任中国浙江大学计算机学院的教授。他于伊利诺伊大学厄巴纳-香槟分校获得博士学位。他的研究方向包括机器学习、计算机视觉、数据挖掘和信息检索。
何晓飞 何晓飞目前担任中国浙江大学计算机学院的教授。他于2000年在中国浙江大学获得学士学位，2005年在芝加哥大学获得计算机科学博士学位。获得博士学位后，何晓飞加入雅虎研究院担任研究员。他于2007年进入浙江大学任教。
徐国栋 徐国栋目前正于浙江大学计算机科学与技术学院攻读硕士学位。他的研究方向包括计算机视觉、深度学习和3D场景理解。
