# LiDAR-NeRF：基于神经辐射场的新颖激光雷达视图合成方法 唐涛 $^{*}$ 中山大学深圳校区 中国深圳 劳一兴 香港大学 中国香港 高龙飞 菜鸟集团 中国杭州 王广润 牛津大学 英国牛津 郝大阳 菜鸟集团 中国杭州 陈鹏 菜鸟集团 中国杭州 赵恒双 香港大学 中国香港 梁晓丹† 中山大学深圳校区 鹏城实验室多智能体与具身智能研究所 中国深圳 马蒂厄·萨尔兹曼 洛桑联邦理工学院计算机视觉实验室 瑞士洛桑 余凯程 西湖大学 中国杭州 ## 摘要 我们提出了一种新任务：激光雷达传感器的新颖视图合成。虽然传统的基于模型的激光雷达模拟器结合风格迁移神经网络可用于渲染新颖视图，但它们无法生成准确且逼真的激光雷达点云，因为这类渲染器依赖显式的三维重建，且利用游戏引擎，忽略了激光雷达点的重要属性。据我们所知，我们通过构建首个可微的端到端激光雷达渲染框架LiDAR-NeRF来解决这一难题，该框架利用神经辐射场（NeRF）实现三维点几何信息与属性的联合学习。然而，仅使用NeRF无法取得令人满意的结果，因为它仅专注于单个像素的学习，而忽略了局部信息，尤其是在纹理较少的区域，导致几何还原效果不佳。为此，我们采取了相应措施来解决这一问题。 我们引入了结构正则化方法来保留局部结构细节。为了评估该方法的有效性，我们构建了一个以物体为中心的多视角激光雷达数据集NeRF-MVL，该数据集包含9类物体从360度视角下由多种激光雷达传感器采集到的观测数据。我们在场景级的KITTI-360数据集以及我们构建的物体级NeRF-MVL数据集上进行的大量实验表明，我们的LiDAR-NeRF显著优于基于模型的算法。 ## CCS概念 • 计算方法 → 渲染。 ## 关键词 LiDAR-NeRF、NeRF-MVL、激光雷达视图合成 ## ACM参考格式 唐涛、高龙飞、王广润、劳一星、陈鹏、赵恒双、郝大阳、梁晓丹、Mathieu Salzmann和余凯程。2024年。LiDAR-NeRF：基于神经辐射场的新颖激光雷达视图合成。收录于第32届ACM国际多媒体会议（MM '24）论文集。ACM，纽约，美国，共9页。 ## 1 引言 从给定相机生成场景的新颖视图一直是研究领域中备受关注的重要课题。该领域近期的里程碑式成果是将可微渲染技术与神经辐射场相结合， --- ![Image](images/fbb0eae2b3527054bc62d7df3b341f7c9b81719c9706826de876948d1197c38c.jpg)
Figure 1: (Left) We introduce the task of novel view synthesis for LiDAR sensors. Given multiple LiDAR viewpoints of an object, novel LiDAR view synthesis aims to render a point cloud of the object from an arbitrary new viewpoint. (Right, Top) The mostly-closed related approaches to generating new LiDAR point clouds are some LiDAR simulators, which suffer from limited scalability and applicability, and fails to produce realistic LiDAR patterns. Furthermore, traditional NeRFs are not directly applicable to point clouds. (Right, Bottom) By contrast, we propose a novel differentiable framework, LiDAR-NeRF, with an associated neural radiance field, to avoid explicit 3D reconstruction and game engine usage. Our method enables end-to-end optimization and encompasses the 3D point attributes into the learnable field.
辐射场（NeRF）[^15]，它已成为利用不到一百张已知相机参数的输入图像来渲染照片级真实感新视图的事实标准。令人惊叹的是，这已被证明能够对自动驾驶等下游任务产生积极影响[^19] [^21] [^24] [^26] [^28] [^30]。不过，在这类自动驾驶场景中，实际系统通常不仅利用图像，还会借助激光雷达传感器，后者能提供对环境可靠的3D测量数据。因此，寻求在图像领域以及激光雷达领域生成新视图似乎是顺理成章的。然而，目前仅有的将激光雷达点云用于新视图合成的方法[^21] [^30]，也只是将其用于辅助训练，最终输出的仍是图像。换句话说，生成新的激光雷达视图这一课题尚未被探索。尽管这种数据形式具备3D特性，但该任务仍颇具挑战性，因为激光雷达只能提供场景的部分视图，且会受到与激光雷达物理建模相关的各种因素干扰。 另一方面，与之相关的大部分现有方法都是一些激光雷达模拟器[^11] [^14]，它们采用多步骤方案：先从输入点云重建三维网格，再利用游戏引擎模拟新的点云。不过，这种方法的复杂性限制了其实用性和可扩展性。此外，如图2所示，该策略往往会产生不真实的激光雷达模式，因为其显式重建和光线投射过程忽略了激光雷达点的某些关键特征。 在本文中，我们提出了一种用于新型激光雷达视图合成的开创性可微渲染方法。与RGB视图合成不同，自由视点激光雷达传感器的输出是根据给定的激光雷达传感器特定模式从周围3D场景中采样得到的点云，如图1所示。因此，直接应用依赖光度损失的NeRF公式在此场景下并不可行。为克服这一挑战，我们首先将点云转换到某个平面之上，将其作为360度范围的伪图像，其中每个伪像素代表激光雷达接收器与激光束照射到的世界点之间的距离。随后，我们利用神经网络来编码3D信息，并为每个伪像素预测多种属性。具体而言，我们回归每个伪像素的距离（即其3D坐标）、强度（反映到达该伪像素处的传感器反射光量），以及我们称之为“射线丢失”的属性（反映某个伪像素被丢弃的概率）。这最后一个属性源于我们的观察：在现实世界中，由于表面材料和法线方向的影响，部分激光雷达光束会直接丢失。与基于图像的NeRF类似，我们的LiDAR-NeRF利用多视角一致性，从而使网络能够生成精确的几何结构。尽管做出了这些努力，性能仍不尽如人意，因为NeRF仅专注于学习单个像素而忽略了局部信息，尤其是在大规模场景的低纹理区域，导致几何重建效果较差。为解决这一问题，我们提出了一种结构正则化方法以保留局部结构细节，进而为NeRF的几何估计提供指导，使其能得出更精确的结果。 通过利用现有的提供激光雷达数据的自动驾驶数据集[^1] [^12] [^23]，即可验证我们方法的有效性。然而，由于这些数据集源自车辆沿街道行驶时所采集的数据，其中所描绘的物体仅能在有限的视角变化下被观测到，因此它们最适合用于场景级合成。这与图像新视图合成中更为常见的物体级合成形成对比[^10] [^13] [^15]。因此，我们建立了一个以物体为中心的多视角激光雷达数据集，并将其命名为NeRF-MVL数据集，其中包含经过精心校准的传感器位姿，数据来源于真实自动驾驶车辆上的多激光雷达传感器。该数据集包含超过76k帧图像，涵盖了两种采集车辆、三种激光雷达设置、两条采集路径以及九类物体。 --- ![Image](images/051c2b132ee6d0066ea9c8d0d4dc3bac19529c802bf8cee01e4f5c165b27424c.jpg)
Figure 2: A comparison of novel LiDAR point clouds generated from LiDARsim [^14], PCGen [^11], and our LiDAR-NeRF. LiDARsim suffers from inaccuracies in explicit 3D mesh reconstruction. PCGen overestimates object surfaces. Specifically, laser beams emitted by the LiDAR sensor can be influenced by surface material and normal direction, resulting in some beams penetrating car glass and reaching the seats (car1 and car2), while others are lost (car3). Although an additional style-transfer net can alleviate the problem of beam loss, it does not take into account special attributes like the transmission. As opposed to prior arts, our proposed method, LiDAR-NeRF, effectively encodes 3D information and multiple attributes, achieving high fidelity with ground truth. We encourage readers to zoom in for better observations.
我们在具有挑战性的KITTI-360数据集[^12]以及我们的NeRF-MVL数据集上，从定量和定性两个角度评估了模型在场景级和物体级合成方面的能力。结果表明，与基线渲染器相比，我们的方法在各种指标和视觉质量上均表现出更优的性能，从而证明了其在激光雷达新视图合成中的有效性。 总体而言，我们的贡献如下： - 我们构建了首个用于新型激光雷达视图合成的可微框架LiDAR-NeRF，无需显式的3D重建即可渲染带有点强度和射线丢失概率的新有点云。 - 我们提出了一种结构正则化方法，能够有效保留局部结构细节，从而引导模型进行更精确的几何估计，最终实现更逼真的新型激光雷达视图合成。 - 我们利用真实自动驾驶车辆的激光雷达传感器构建了NeRF-MVL数据集，用于评估以物体为中心的新型激光雷达视图合成技术。 - 我们通过在场景级和物体级新型激光雷达视图合成任务中的定量与定性实验，验证了LiDAR-NeRF的有效性。 ## 2 相关工作 新型RGB视图合成。从一组采集的图像中合成场景的新型RGB视图是一个由来已久的问题。尤其是近年来，NeRF技术的进步展现了其在图像合成方面的卓越性能，这得益于NeRF的开创性工作[^15]。此后，人们提出了许多旨在加速[^2] [^16] [^31]以及提升泛化能力[^9] [^18] [^32]的NeRF策略。值得注意的是，深度概念已被应用于新型RGB视图合成[^3] [^17] [^22]。与此同时，在处理复杂环境（如大规模室外场景）方面也取得了巨大进展[^21] [^24] [^30]，这显示出NeRF在现实应用中巨大的潜力。不过，尽管这些工作提升了图像质量和收敛速度，但它们仍只能生成RGB图像。在实际场景中，当使用RGB相机和激光雷达等多种传感器时，仅合成图像视图是远远不够的。在这项工作中，我们借鉴NeRF的理念[^15]，首次提出了一种用于新型激光雷达视图合成的可微框架。 基于模型的激光雷达模拟器。也存在可被视为激光雷达渲染器的基于模型的激光雷达模拟器。在此领域，早期的研究[^4] [^27] [^29] [^33]利用CARLA等图形引擎[^5]来模拟激光雷达传感器。然而，由于虚拟世界采用手工制作的3D资产且做了简化的物理假设，这会导致较大的仿真到现实域差距。更近期的研究，例如LiDARsim[^14]和PCGen[^11]，采用多步骤、数据驱动的方法从真实数据模拟点云。它们首先利用真实数据重建3D场景，然后利用重建的3D场景通过光线投射来渲染新型激光雷达数据。为了缩小仿真到现实的差距，它们进一步训练网络来建模激光雷达光线丢失的物理机制。不过，这种方法涉及的多步骤影响了其适用性和可扩展性。此外，由于显式重建和光线投射忽略了激光雷达点的一些关键属性，该方法通常无法生成真实的激光雷达模式。相比之下，作为首个可微激光雷达渲染器，我们的方法简单高效，却能生成逼真的激光雷达数据。 ## 3 新型激光雷达视图合成 在本节中，我们首先给出新型激光雷达视图合成的正式问题定义，详细介绍我们的LiDAR-NeRF，最后描述我们的物体级多视角激光雷达数据集。 问题定义。新型激光雷达视图合成旨在根据一组从其他视角获取的观测数据，从任意新视角渲染物体或场景。具体来说，给定一组$\mathcal{D} = \{(P_i, G_i)\}$，其中$P_i$表示激光雷达位姿，$G_i$表示对应的观测点云，我们的目标是定义一个渲染函数f，能够从任意新位姿$P'$生成新的点云，即$G' = f_{\mathcal{D}}(P')$。为了生成精确且逼真的新型激光雷达视图，我们借鉴了NeRF的建模思路。因此，下面我们首先介绍基于图像的NeRF。 NeRF回顾。NeRF将场景表示为连续的体积辐射场。对于给定的三维点$\mathbf{x} \in \mathbb{R}^3$和观察方向$\boldsymbol{\theta}$，NeRF会学习一个隐式函数f，用于估计该点的密度变化$\boldsymbol{\sigma}$以及与视角相关的RGB颜色$\mathbf{c}$，即$(\boldsymbol{\sigma}, \mathbf{c}) = f(\mathbf{x}, \boldsymbol{\theta})$。 --- ![Image](images/cba9357f57bb71c942e6c4a6a07de5cd5df2e716a9aea7424081f0423becf7c2.jpg)
Figure 3: LiDAR model and range image representation. (Top) The physical model of a LiDAR can be described as follow: each laser beam originates from the sensor origin and shoot outwards to a point in the real world or vanishes. One common pattern of laser beams is spinning in a 360-degree fashion. (Bottom) We convert the point clouds into a range image, where each pixel corresponds to a laser beam. Note that we highlight one object in the different views to facilitate the visualization.
具体而言，NeRF利用体积渲染技术来生成图像像素。给定一个位姿$\mathbf{P}$，它会从$\mathbf{r}$的投影中心$\mathbf{P}$出发，沿方向$\mathbf{o}$发射光线$\mathbf{d}$，即$\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$。随后，沿着这条光线对隐式辐射场进行积分，通过沿光线分布的样本来近似计算颜色。其表达式如下： $$ \hat{C}(\mathbf{r})=\sum_{i=1}^{N}T_{i}\big(1-\exp(-\sigma_{i}\delta_{i})\big)\mathbf{c}_{i}\;, $$ 其中$T_i = \exp\left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right)$表示沿光线$\mathbf{r}$到采样点$t_i$的累积透射率，$\mathbf{c}_i$和$\sigma_i$分别是$t_i$处的颜色和密度，$\delta_i = t_{i+1} - t_i$则是相邻样本之间的距离。 然而，传统的NeRF方法依赖逐像素的光度误差度量，无法直接应用于新型激光雷达视图合成任务，因为这类任务的观测数据是三维点。为解决这一问题，我们研究了激光雷达模型，并将点云转换为距离表示形式。 ### 3.1 激光雷达模型与距离表示 我们先来看图3上方的激光雷达模型：它通过发射激光束并测量反射光返回传感器所需的时间来工作。对于在垂直面上有H个激光束、水平方向有W次发射的激光雷达而言，返回的属性（如距离d和强度i）会形成一个$H \times W$距离伪图像。随后可根据极坐标计算出三维点的笛卡尔坐标$(x, y, z)$，公式如下： $$ \begin{pmatrix}x\\ y\\ z\end{pmatrix}=d\begin{pmatrix}\cos(\alpha)\cos(\beta)\\ \cos(\alpha)\sin(\beta)\\ \sin(\alpha)\end{pmatrix}=d\boldsymbol{\theta}, $$ 其中$\alpha$是垂直旋转角度，即俯仰角；$\beta$是水平旋转角度，即偏航角；$\theta$表示局部传感器坐标系中的观察方向。具体到距离伪图像中的二维坐标$(h,w)$，我们有： $$ \left(\begin{matrix}{\alpha}\\ {\beta}\\ \end{matrix}\right)=\left(\begin{matrix}{|f_{\mathrm{u p}}|-h f_{v}H^{-1}}\\ {-\left(2w-W\right)\pi W^{-1}}\\ \end{matrix}\right), $$ 其中$f_v = |f_{\mathrm{down}}| + |f_{\mathrm{up}}|$是激光雷达传感器的垂直视场角。反之，激光雷达坐标系中的每个三维点$(x, y, z)$都可以被投影到大小为$H \times W$的距离伪图像上，公式如下： $$ \left(\begin{matrix}{h}\\ {w}\\ \end{matrix}\right)=\left(\begin{matrix}{\left(1-\left(\operatorname{a r c s i n}(z,d)+|f_{\operatorname{d o w n}}|\right)f_{v}^{-1}\right)H}\\ {\frac{1}{2}\left(1-\operatorname{a r c t a n}(y,x)\pi^{-1}\right)W}\\ \end{matrix}\right). $$ 需要注意的是，如果多个点投影到同一个伪像素上，只会保留距离最小的那一个点。没有投影点的像素会被填充为0。除了距离信息外，距离图像还可以编码其他点特征，比如强度。 ### 3.2 激光雷达-NeRF框架 受到NeRF在新型RGB视图合成任务中取得出色成果的启发[^15]，我们推出了首个可微分的新型激光雷达视图合成框架。 用于表示激光雷达传感器的隐式字段。如第3.1节所述，激光雷达传感器采用主动成像系统，这与相机的被动成像原理不同，因此需要对其特性进行专门建模。此外，激光雷达距离图像中的每个伪像素都对应一束真实的激光，这与NeRF中的光线更为一致。因此，我们重新构建了NeRF以实现新颖的激光雷达视图合成。对于给定的激光雷达距离图像，可通过公式(3)计算出某个伪像素对应的激光观测方向$\theta$。在我们提出的LiDAR-NeRF框架中，这些观测方向呈放射状排列，与图4(a)所示的物理现实高度吻合。通过对样本进行积分，可得到预期深度。 $$ \hat{D}(\mathbf{r})=\sum_{i=1}^{N}T_{i}\big(1-\exp(-\sigma_{i}\delta_{i})\big)t_{i}\;. $$ 预期深度代表了激光雷达传感器的距离，该距离也由距离图像中的伪像素来表示。此外，光线的起点o和观测方向$\theta$都会被转换到全局世界坐标系下，从而使得采样点t成为现实世界中的实际点，且在不同激光雷达帧/距离图像中保持一致，如图4(a)右上角所示。 考虑到这些几何特性，我们开发了一个框架，能够：1）合成具有真实几何结构的新颖激光雷达帧；2）估算场景中各处的激光雷达强度；3）预测用于指定光线会被遮挡位置的二值光线遮挡掩码。光线遮挡情况和强度均可作为激光雷达[^20]的颜色特征记录下来，且两者均依赖于观测视角。在辐射场方面，我们遵循传统NeRF的做法，使用两个连续的MLP。 --- ![Image](images/250b3766fc6e73cbc3270fc60b5a8ec67f932487be15ab39204c9edbffc2069a.jpg)
(a) LiDAR-NeRF framework
(b) Structural characteristics
Figure 4: (a) Taking multi-view LiDAR range images with associated sensor poses as input, our model produces 3D representations of the distance, the intensity, and the ray-drop probability at each pseudo-pixel. We exploit multi-view consistency of the 3D scene to help our network produce accurate geometry. (b) The physical nature of LiDAR models results in point clouds exhibiting recognizable patterns, such as the ground primarily appearing as continuous straight lines. This pattern is also evident in the transformed range images, which display significant structural features, such as their horizontal gradient being almost zero in flat areas. As a result, these structural characteristics are essential for the network to learn. To provide a clearer visual representation, we utilize the front view.
我们利用第一个MLP来估算密度$\sigma$和预期距离d。第二个MLP则如[^8]中所述，预测一个双通道特征图：分别是强度i和光线遮挡概率p。随后，与颜色的计算方式类似，我们沿光线r进行积分，就能得出每个视角下的强度和光线遮挡概率。 $$ \hat{I}(\mathbf{r})=\sum_{i=1}^{N}T_{i}\big(1-\exp(-\sigma_{i}\delta_{i})\big)\mathbf{i}_{i}\;, $$ $$ \hat{P}(\mathbf{r})=\sum_{i=1}^{N}T_{i}\big(1-\exp(-\sigma_{i}\delta_{i})\big)\mathbf{p}_{i}~. $$ 总体而言，我们的LiDAR-NeRF可以表述为一个函数$(\sigma, \mathbf{i}, \mathbf{p}) = f(\mathbf{x}, \boldsymbol{\theta})$，其结构总结于图4(a)中。 结构正则化。尽管NeRF在单个像素的学习上取得了成功，但它往往忽略了局部信息，尤其是在低纹理区域，这会导致几何结构不佳，如图8所示。因此，确定合适的正则化技术来引导NeRF的几何建模至关重要。值得注意的是，激光雷达点云呈现出清晰的模式，转换后的距离图像也显示出重要的结构特征，这些对网络学习而言不可或缺，如图4(b)所示。 起初，我们尝试应用常见的几何正则化技术，比如RegNeRF中使用的平滑损失$^{[18]}$，以及Plenoxels中用于平滑相邻点的TV损失$^{[31]}$。但我们发现，在大规模场景中这些技术并不奏效，因为相邻点之间的差异可能很大。随后，我们尝试通过梯度损失从真实数据中学习结构信息。但我们发现这种方法仍不够理想，因为梯度损失主要被NeRF模型表现优异的丰富纹理区域所主导。因此，我们提出了一种基于梯度损失的新颖结构正则化策略，将正则化作用限制在低纹理区域，比如地面。据此，结构正则化可定义为： $$ \mathcal{L}_{\mathrm{r e g}}=\left\|\hat{G_{M}}(\mathbf{R})-G_{M}(\mathbf{R})\right\|_{1}, $$ 其中R是局部补丁的训练光线集合，$G_{M}(\cdot)$表示针对低纹理区域的掩码所进行的梯度运算。 损失函数。我们的损失函数包含四个目标。 $$ \begin{aligned}\mathcal{L}_{total}=\mathcal{L}_{distance}+\lambda_{1}\mathcal{L}_{intensity}(\mathbf{r})+\\ \lambda_{2}\mathcal{L}_{raydrop}(\mathbf{r})+\lambda_{3}\mathcal{L}_{reg},\end{aligned} $$ 其中 $$ \begin{aligned}\mathcal{L}_{distance}(\mathbf{r})&=\sum\left\|\hat{D}(\mathbf{r})-D(\mathbf{r})\right\|_{1},\\\mathcal{L}_{intensity}(\mathbf{r})&=\sum\left\|\hat{I}(\mathbf{r})-I(\mathbf{r})\right\|_{2}^{2},\\\mathcal{L}_{raydrop}(\mathbf{r})&=\sum_{\mathbf{r}\in R}\left\|\hat{P}(\mathbf{r})-P(\mathbf{r})\right\|_{2}^{2},\end{aligned} $$ 这里R表示训练射线集合，$\lambda$ 则是各项的权重系数。 ### 3.3 NeRF-MVL数据集 正如实验部分所示，我们的方法可应用于现有的搭载激光雷达传感器的自动驾驶数据集 [^1] [^12] [^23]。不过，这些数据集主要聚焦于场景级的激光雷达数据。 --- ![Image](images/fa69d17e4011757e76671d56d115cca2b2f8967e7db8416453c05496227a9b56.jpg)
Figure 5: (a) We design two square paths of collection, small and large with 7 and 15 meters in length respectively. (b) Our NeRF-MVL dataset encompasses 9 objects from common traffic categories. We align multiple frames here for better visualization.
![Image](images/9e74e8b047bf1a096f745c6df76836a06ddcb165d83d9af724440eef8176e9fc.jpg)
Figure 6: Qualitative comparison on KITTI-360. Our LiDAR-NeRF produces more realistic LiDAR patterns with highly detailed structure and geometry (zoom-in for the best of views).
Table 1: LiDAR sensor configurations.
SensorDetails
LiDARSpinning, 64 beams, 10Hz capture frequency, 360° horizontal FOV, 0.6° horizontal resolution, -52.1° to +52.1° vertical FOV, ≤ 60m range, $\pm$3cm accuracy.
LiDAR-F
LiDAR-TSpinning, 64 beams, 20Hz capture frequency, 360° horizontal FOV, 0.4° horizontal resolution, -25° to +15° vertical FOV, ≤ 200m range, $\pm$2cm accuracy.
传感器位置：F：前方；T：顶部。 这些数据集记录的观测结果均来自车辆沿场景行驶时所获取的视角，多样性较低。换句话说，它们缺乏用于新RGB视图合成的那种具有挑战性的以物体为中心的数据多样性。为了推动激光雷达视图合成领域的后续研究，并验证我们提出的LiDAR-NeRF模型的有效性，我们构建了以物体为中心的多视角激光雷达数据集NeRF-MVL，该数据集配备了经过精心校准的传感器位姿，且采集自真实的自动驾驶车辆上的多激光雷达传感器数据。 数据采集。我们在一个封闭区域内采集数据集，使用的是搭载多个激光雷达传感器的自动驾驶车辆。如图5(a)所示，车辆会围绕物体沿方形路径行驶两圈，一圈为大正方形，另一圈为小正方形。为了获得更多样化的视角，我们使用了不同传感器布局和技术规格的多种类型车辆。传感器详情见表1。 数据准备。如图5(b)所示，我们的NeRF-MVL数据集包含来自不同常见交通类别的九个物体。在采集到多路径、多传感器数据后，针对每个物体，我们会裁剪出感兴趣的区域，即物体 $^{1}$。我们会为每个传感器仔细校准激光雷达的外参，也就是激光雷达相对于车体的相对位置。基于GPS和惯性测量单元提供的车辆位置信息，可得到从车体坐标系到全局世界坐标系的变换矩阵。因此，在数据集中，我们最终提供了激光雷达到全局世界的校准参数，即lidar2world矩阵，以实现所有帧的对齐。总体而言，我们的NeRF-MVL数据集包含超过7.6万帧数据，涵盖了两种采集车辆、三种激光雷达设置、两条采集路径以及九个物体。 ## 4 实验 我们从定量和定性两个维度评估LiDAR-NeRF模型的场景级和物体级合成能力。补充材料中提供了更多的实验结果和细节。 基线渲染器。由于生成新激光雷达视图的研究尚处于起步阶段，我们适度改造了现有的基于模型的激光雷达模拟器，即LiDARsim [^14] 和PCGen [^11]，将其作为基线渲染器。为了进行全面的评估和对比，我们还在附录B.4中验证了基线方法的不同设置，并在后续章节中报告最佳结果。 数据集。我们在具有挑战性的KITTI-360 [^12] 数据集上进行场景级实验，该数据集采集于郊区。 ---
Table 2: Novel LiDAR view synthesis on scene-level KITTI-360 dataset. LiDAR-NeRF outperforms the baseline in all metrics.
MethodC-D $\downarrow$F-score $\uparrow$RMSE $\downarrow$$\delta 1\uparrow$$\delta 2\uparrow$$\delta 3\uparrow$SSIM $\uparrow$MAE $\downarrow$
LiDARsim [^14]0.95166.895.74566.3471.1174.420.6960.126
PCGen [^11]0.18787.164.32876.9079.7281.380.5500.245
Ours-NeRF0.14385.934.05078.1379.7980.420.5450.235
Ours-iNGP (w/ SR)0.08192.493.61582.1883.4083.970.6260.096
我们基于4个静态郊区序列中的激光雷达帧对LiDAR-NeRF进行评估，相关序列信息见 [^6]。每个序列包含64帧数据，其中选取4帧等距帧用于评估。物体级实验则在我们的NeRF-MVL数据集上进行。为了快速验证，我们提取了该数据集的一个精简版本，仅包含7.3千帧数据，涵盖上述九个类别。 指标。对于新型激光雷达距离图像，我们计算深度估计中常用的指标[^7]：均方根误差（RMSE）以及阈值准确率（$\delta_1$、$\delta_2$、$\delta_3$）。此外，我们采用SSIM来衡量结构质量[^25]。为了进一步评估新型激光雷达视图的质量，我们将渲染出的激光雷达距离图像转换为点云，再对比原始点云与新型点云$G_1$、$G_2$。其计算公式如下： $$ \begin{align*}\mathrm{C-D}\left(G_{1},G_{2}\right)=&\frac{1}{|G_{1}|}\sum_{x\in G_{1}}\min_{y\in G_{2}}\|x-y\|_{2}^{2}+\\&\frac{1}{|G_{2}|}\sum_{y\in G_{2}}\min_{x\in G_{1}}\|y-x\|_{2}^{2}.\end{align*} $$ 我们还报告了两个点云之间阈值为5厘米时的F分数。对于新型强度图像，则采用平均绝对误差（MAE）进行评估。 ### 4.1 场景级合成 我们首先评估LiDAR-NeRF在场景级新型激光雷达视图合成方面的效果。结果列于表2顶部。我们的LiDAR-NeRF在所有指标上的表现都显著优于基线渲染器。具体而言，在C-D（0.081对比0.187、0.951）和$\delta_1$（82.18对比76.90、66.34）方面，LiDAR-NeRF相比基线渲染器具有明显优势。图6展示了定性结果：两种方法都能渲染出一般的场景结构，而我们的LiDAR-NeRF能生成更逼真的激光雷达图案，以及细节更丰富的结构与几何形态。基线激光雷达模拟器通过传统的渲染器进行显式3D重建和光线追踪，以此模拟物理激光雷达模型。 如图2和图6所示，激光雷达点云的显式3D网格重建存在不准确性，往往会高估物体表面。因此，这些方法常常生成不真实的激光雷达图案，因为其显式重建和光线投射忽略了激光雷达点的某些关键特性。具体来说，激光雷达传感器发射的激光束会受到表面材料和法向的影响，导致部分光束穿透汽车玻璃，而其他光束则会丢失。这些效应在显式重建过程中并未被充分考虑。 ### 4.2 物体级合成 我们在NeRF-MVL数据集中的九种常见交通物体上开展物体级合成实验。如表3所示，在所有九个类别上，我们的LiDAR-NeRF在所有指标上的表现仍显著优于基线渲染器，差距明显。 此外，图7中展示的定性可视化结果证明，我们的方法能生成质量极高的点云。LiDAR-NeRF模型能够高效编码3D信息和多种属性，从而准确模拟光束穿透车窗并抵达座椅处的行为。而且，从不同视角获得的高质量结果也证明了我们方法的有效性。 ### 4.3 场景编辑 由于我们的LiDAR-NeRF能够在场景级和物体级有效合成新型激光雷达视图，因此可将其用于实现场景编辑。如图10所示，我们的LiDAR-NeRF能渲染出对应的新视图，生成的增强场景具备逼真的遮挡效果且激光雷达图案一致；该过程相当于将NeRF-MVL数据集中的新物体融合到KITTI-360数据集中以编辑场景。 ### 4.4 消融实验 我们对LiDAR-NeRF框架内的各种配置进行了研究，包括对不同架构和正则化方法的探索。如表4和图8所示，我们考察了广泛使用的NeRF [^15] 以及性能最优的Instance-NGP（iNGP）[^16]。iNGP采用了一种带有多分辨率哈希编码和轻量级MLP的混合3D网格结构，其表达能力优于传统的NeRF，且能取得更好的性能。因此，我们选择将iNGP作为基础架构。 此外，我们将LiDAR-NeRF的结构正则化方法（Struc-Reg）与第3.2节中提到的正则化方法进行了比较。表4和图8中的结果从定量和定性两方面证明了我们提出的结构正则化方法的有效性。 ## 5 结论 我们提出了全新的激光雷达视图合成任务，并设计了首个可微分的激光雷达渲染器。我们所提出的方法——LiDAR-NeRF，能够通过结构正则化同时学习3D点的几何信息与属性，从而生成更精确、更逼真的激光雷达图像。我们还构建了NeRF-MVL数据集，该数据集包含9个物体，涵盖了利用多种传感器获取的360度激光雷达视角数据。我们在场景级和物体级数据上的实验均表明，我们的方法相较于基于模型的模拟器具有明显优势。 ---
Table 3: Novel LiDAR view synthesis on object-level NeRF-MVL dataset. LiDAR-NeRF outperforms the baseline in all metrics. Note that on the object-centric NeRF-MVL with rich texture information, there is no need to apply structural regularization.
MethodC-D $\downarrow$F-score $\uparrow$RMSE $\downarrow$$\delta 1$ $\uparrow$$\delta 2$ $\uparrow$$\delta 3$ $\uparrow$SSIM $\uparrow$MAE $\downarrow$
LiDARsim [^14]0.02296.015.98483.4383.4383.430.6124.143
PCGen [^11]0.07890.407.55873.1373.1373.130.2176.268
Ours-NeRF0.02892.813.86493.6593.6593.650.4622.642
Ours-iNGP0.00598.501.30598.8698.8698.860.8791.057
![Image](images/f78cdf5a971700344485e7a4460d0696d14aded930a1b53afbc9033ec8043d51.jpg)
Figure 7: Qualitative results on NeRF-MVL dataset. LiDAR-NeRF can effectively encode 3D information and multiple attributes, enabling it to accurately model the behavior of beams as they penetrate car glass and reach seats. Moreover, the high quality of the results obtained from different viewpoints serves as compelling evidence of our method's effectiveness.
Table 4: Ablations of our LiDAR-NeRF. We ablate different architectures and regularization.
![Image](images/a3e57885d68fa1e5ef264cfaac89000a58a6764e608ef0e3d8e4ef5c7654534c.jpg)
Figure 8: Qualitative evaluation of various configurations. The iNGP's hybrid grid architecture achieves more detailed structures. Our structural regularization significantly improves the geometry estimation and produces more realistic LiDAR patterns.
重要的是，我们的方法简单易行，无需依赖显式的3D重建和渲染引擎。我们希望本研究能为激光雷达视图合成领域带来新的启示，并推动该领域的未来发展。 --- ## 6 致谢 本研究部分得到了国家重点研发计划（2020AAA0109704）、科技部青年人才资助项目（2022WRQB002）、广东省杰出青年基金（项目编号2021B1515020061）、M-0461号流动基金奖、深圳市科技计划项目（项目编号GJHZ20220913142600001）以及南沙重点研发计划（项目编号2022ZD014）的支持。 ## 参考文献 [^1]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. 2020. nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 11621–11631. [^2]: Anpei Chen, Zexiang Xu, Andreas Geiger, Jingyi Yu, and Hao Su. 2022. Tensorf: Tensorial radiance fields. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXXII. Springer, 333–350. [^3]: Kangle Deng, Andrew Liu, Jun-Yan Zhu, and Deva Ramanan. 2022. Depth-supervised nerf: Fewer views and faster training for free. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 12882–12891. [^4]: Jean-Emmanuel Deschaud. 2021. KITTI-CARLA: a KITTI-like dataset generated by CARLA Simulator. arXiv preprint arXiv:2109.00892 (2021). [^5]: Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez, and Vladlen Koltun. 2017. CARLA: An open urban driving simulator. In Conference on robot learning. PMLR, 1–16. [^6]: Xiao Fu, Shangzhan Zhang, Tianrun Chen, Yichong Lu, Lanyun Zhu, Xiaowei Zhou, Andreas Geiger, and Yiyi Liao. 2022. Panoptic nerf: 3d-to-2d label transfer for panoptic urban scene segmentation. arXiv preprint arXiv:2203.15224 (2022). [^7]: Clément Godard, Oisin Mac Aodha, Michael Firman, and Gabriel J Brostow. 2019. Digging into self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF international conference on computer vision. 3828–3838. [^8]: Benoît Guillard, Sai Vemprala, Jayesh K Gupta, Ondrej Miksik, Vibhav Vineet, Pascal Fua, and Ashish Kapoor. 2022. Learning to Simulate Realistic LiDARs. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 8173–8180. [^9]: Mijeong Kim, Seonguk Seo, and Bohyung Han. 2022. Infonerf: Ray entropy minimization for few-shot neural volume rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 12912–12921. [^10]: Arno Knapitsch, Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. 2017. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM Transactions on Graphics (ToG) 36, 4 (2017), 1–13. [^11]: Chenqi Li, Yuan Ren, and Bingbing Liu. 2022. PCGen: Point Cloud Generator for LiDAR Simulation. arXiv preprint arXiv:2210.08738 (2022). [^12]: Yiyi Liao, Jun Xie, and Andreas Geiger. 2022. KITTI-360: A novel dataset and benchmarks for urban scene understanding in 2d and 3d. IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). [^13]: Lingjie Liu, Jiatao Gu, Kyaw Zaw Lin, Tat-Seng Chua, and Christian Theobalt. 2020. Neural sparse voxel fields. Advances in Neural Information Processing Systems 33 (2020), 15651–15663. [^14]: Sivabalan Manivasagam, Shenlong Wang, Kelvin Wong, Wenyuan Zeng, Mikita Sazanovich, Shuhan Tan, Bin Yang, Wei-Chiu Ma, and Raquel Urtasun. 2020. Lidarsim: Realistic lidar simulation by leveraging the real world. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 11167–11176. [^15]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. 2021. Nerf: Representing scenes as neural radiance fields for view synthesis. Commun. ACM 65, 1 (2021), 99–106. [^16]: Thomas Müller, Alex Evans, Christoph Schied, and Alexander Keller. 2022. Instant neural graphics primitives with a multiresolution hash encoding. ACM 《计算机图形学汇刊》（ToG）第41卷第4期（2022年），第1–15页。 [^17]: Thomas Neff, Pascal Stadlbauer, Mathias Parger, Andreas Kurz, Joerg H Mueller, Chakravarty R Alla Chaitanya, Anton Kaplanyan, and Markus Steinberger. 2021. DONeRF: Towards Real-Time Rendering of Compact Neural Radiance Fields using Depth Oracle Networks. In Computer Graphics Forum. Wiley Online Library, 45–59. [^18]: Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, and Noha Radwan. 2022. Regnerf: Regularizing neural radiance fields for view synthesis from sparse inputs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 5480–5490. [^19]: Julian Ost, Fahim Mannan, Nils Thuerey, Julian Knodt, and Felix Heide. 2021. Neural scene graphs for dynamic scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2856–2865. [^20]: Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. 2017. Colored point cloud registration revisited. In Proceedings of the IEEE international conference on computer vision. 143–152. [^21]: Konstantinos Rematas, Andrew Liu, Pratul P Srinivasan, Jonathan T Barron, Andrea Tagliasacchi, Thomas Funkhouser, and Vittorio Ferrari. 2022. Urban radiance fields. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 12932–12942. [^22]: Barbara Roessle, Jonathan T Barron, Ben Mildenhall, Pratul P Srinivasan, and Matthias Nießner. 2022. Dense depth priors for neural radiance fields from sparse input views. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 12892–12901. [^23]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, et al. 2020. Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2446–2454. [^24]: Matthew Tancik, Vincent Casser, Xinchen Yan, Sabeek Pradhan, Ben Mildenhall, Pratul P Srinivasan, Jonathan T Barron, and Henrik Kretzschmar. 2022. Blocknerf: Scalable large scene neural view synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 8248–8258. [^25]: Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P Simoncelli. 2004. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing 13, 4 (2004), 600–612. [^26]: Yuxi Wei, Zi Wang, Yifan Lu, Chenxin Xu, Changxing Liu, Hao Zhao, Siheng Chen, and Yanfeng Wang. 2024. Editable scene simulation for autonomous driving via collaborative llm-agents. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 15077–15087. [^27]: Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer. 2018. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In 2018 IEEE international conference on robotics and automation (ICRA). IEEE, 1887–1893. [^28]: Zirui Wu, Tianyu Liu, Liyi Luo, Zhide Zhong, Jianteng Chen, Hongmin Xiao, Chao Hou, Haozhe Lou, Yuantao Chen, Runyi Yang, et al. 2023. Mars: An instance-aware, modular and realistic simulator for autonomous driving. In CAAI International Conference on Artificial Intelligence. Springer, 3–15. [^29]: Aoran Xiao, Jiaxing Huang, Dayan Guan, Fangneng Zhan, and Shijian Lu. 2022. Transfer learning from synthetic to real lidar point cloud for semantic segmentation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36. 2795–2803. [^30]: Ziyang Xie, Junge Zhang, Wenye Li, Feihu Zhang, and Li Zhang. 2023. S-NeRF: Neural Radiance Fields for Street Views. arXiv preprint arXiv:2303.00749 (2023). [^31]: Alex Yu, Sara Fridovich-Keil, Matthew Tancik, Qinhong Chen, Benjamin Recht, and Angjoo Kanazawa. 2021. Plenoxels: Radiance fields without neural networks. arXiv preprint arXiv:2112.05131 (2021). [^32]: Alex Yu, Vickie Ye, Matthew Tancik, and Angjoo Kanazawa. 2021. pixelnerf: Neural radiance fields from one or few images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 4578–4587. [^33]: Xiangyu Yue, Bichen Wu, Sanjit A Seshia, Kurt Keutzer, and Alberto L Sangiovanni-Vincentelli. 2018. A lidar point cloud generator: from a virtual world to autonomous driving. In Proceedings of the 2018 ACM on International Conference on Multimedia Retrieval. 458–464.