综述 # 基于深度学习的行人轨迹预测综述：挑战与解决方案 蒋家明，颜凯，夏新东，杨彪 $^{*}$ 常州大学汪正微电子研究所，常州 213000，中国； (J.J.); (K.Y.); (X.X.) $^{*}$ 通讯作者： 摘要：行人轨迹预测广泛应用于智能交通系统、自动驾驶、社交机器人等各类场景中。精准预测周边行人的未来轨迹可以帮助智能体实现更优的运动规划。目前，基于深度学习的轨迹预测方法通过从轨迹数据中学习，已展现出比传统方法更优异的预测性能。然而，这类方法在提升预测精度、效率和可靠性方面仍面临诸多挑战。在本综述中，我们研究了基于深度学习的行人轨迹预测方法面临的主要挑战，并通过文献收集与分析探讨了该问题及其解决方案。具体而言，我们首先调研分析了现有的行人轨迹预测相关文献与综述工作。在此基础上，我们总结了基于深度学习的行人轨迹预测面临的若干核心挑战，包括运动不确定性、交互建模、场景理解、数据相关问题以及预测模型的可解释性。随后我们针对每一项挑战总结了对应的解决方案。接着，我们介绍了主流的轨迹预测数据集，并分析了在这些数据集上已报道的当前最优（SOTA）结果。最后，我们探讨了轨迹预测领域潜在的研究前景，旨在推动行人轨迹预测领域的发展。 ![Image](images/06227fcf979d56b9c671e28992c37c55ee1d885fbb0dc174a8757be3ec93d709.jpg) 学术编辑：陈正 版权：© 2025 作者所有。 许可方：瑞士巴塞尔MDPI。 本文为开放获取文章 按照条款和条件分发，遵循 知识共享（Creative Commons） 署名（CC BY）许可协议 ( licenses/by/4.0/)。 收稿日期：2024年12月9日 修回日期：2025年1月31日 录用日期：2025年2月4日 发表日期：2025年2月5日 引用格式：Jiang, J.; Yan, K.; Xia, X.; Yang, B. A Survey of Deep Learning-Based Pedestrian Trajectory Prediction: Challenges and Solutions. Sensors 2025, 25, 957. 关键词：轨迹预测；运动不确定性；交互建模；场景语义理解；可解释性 ## 1. 引言 随着人工智能的发展，行人轨迹预测在智能交通系统、自动驾驶、安全监控、体育分析等各类应用中受到了广泛关注。例如，通过精准预测周边行人的未来轨迹，自动驾驶车辆可以优化路径规划，实时调整行驶行为，避免人车冲突。这种预测能力在城市环境中尤为重要，城市行人流量密集，行人、车辆与骑行者之间的互动频繁且复杂。此外，实时行人追踪与预测系统可以提醒行人注意潜在危险，比如驶来的车辆或障碍物，帮助他们做出更安全的决策。除安全层面外，行人轨迹预测还能优化交通流：通过预测行人运动，交通管理系统可以动态调整交通信号灯、人行横道和车辆路线，减少拥堵和延误。这不仅提升了交通网络的整体效率，还通过缩短通勤时间、缓解出行压力改善了城市生活质量。 --- 行人轨迹预测旨在根据行人的历史轨迹和环境上下文预测其未来轨迹。传统轨迹预测方法主要分为基于运动学的方法和基于机器学习的方法。前者包括匀速模型、加速度模型和转向率模型 [^1] [^2] [^3]。尽管运动学模型具备实现简单、计算高效的优势，但在预测过程中需要充分考虑当前状态的不确定性。与之相对，基于机器学习的方法借助支持向量机（SVM） [^4] 和动态贝叶斯网络（DBN） [^5] 对行人运动模式进行建模。但这类方法捕捉复杂运动模式的效果较差，此外，精细的特征工程需要大量的领域知识和专业经验。 行人轨迹预测属于时间序列分析问题。随着深度学习的兴起，循环神经网络（RNN） [^6]、卷积神经网络（CNN） [^7]、图神经网络（GNN） [^8] 和Transformers [^9] 凭借强大的数据驱动学习能力，已被应用于行人轨迹预测任务。因此，对行人轨迹预测研究进行全面综述的需求日益迫切。 文献 [^10] 中的综述回顾分析了行人轨迹预测方法，提出了一套分类体系，根据运动建模方式和所使用的上下文信息水平对现有方法进行分类。具体而言，根据运动建模方式，现有预测方法被归纳为三类：基于物理规则的方法、基于模式的方法和基于规划的方法。另一方面，作者将上下文线索定义为所有影响运动行为的相关内外部刺激，并根据方法与目标智能体、场景中其他智能体以及静态环境属性的关联对现有预测方法进行分类。但该综述并未明确讨论行人轨迹预测面临的挑战。 文献[^11]中的调研针对自动驾驶汽车（AV）中的意图与轨迹预测展开。该调研批判性地回顾了各类模型构件对预测任务的社会维度、时间维度和生成维度的建模能力。该调研指出，自动驾驶领域的预测任务因驾驶环境具有动态性、多智能体和随机性特征而面临诸多挑战，但并未对上述挑战的解决方案进行梳理和分析。 由于人类行为本身天然具有多模态性和不确定性，调研[^12]主要聚焦于多模态轨迹预测的各类框架。文献[^13]详细介绍了目前应用最广泛的基于深度学习的行人轨迹预测方法，并根据网络架构对这些方法进行分类，包括RNN（典型为长短期记忆网络LSTM）、CNN和生成对抗网络（GAN）。另一篇综述[^14]对比了深度学习模型与广泛用于模拟行人动力学的经典基于知识的模型，对两类方法进行了全面的文献综述，并探讨了二者在技术和应用导向层面的差异。研究结果表明，深度学习算法能够准确预测局部轨迹，但深度学习算法在大规模仿真和集体动力学描述方面的能力仍有待验证。综上，文献[^13] [^14]仅基于网络架构对基于深度学习的行人轨迹预测方法进行分类分析，并未根据可解决的挑战对这些方法进行归类。 为推动基于深度学习的行人轨迹预测技术进一步发展，提升其实用性，本文针对基于深度学习的行人轨迹预测方法面临的挑战及现有解决方案展开研究。通过文献收集与梳理，本文分析了行人轨迹预测领域待解决的主要挑战，包括运动不确定性、交互建模、场景 --- 理解、数据相关问题以及预测模型的可解释性。针对上述挑战，本文研究并总结了不同挑战对应的可行解决方案，评述了部分先进解决方案的效果。本文贡献总结如下： (1) 本文从行人自身、行人所处的客观场景以及预测模型本身三个维度，总结了基于深度学习的行人轨迹预测面临的挑战，具体将挑战划分为运动不确定性、交互建模、场景理解、数据相关问题和预测模型可解释性五类。 (2) 本文针对上述各类挑战对应的解决方案进行了详尽探索，给出了全面总结。 (3) 本文调研了公开可获取的轨迹预测数据集，汇报了在这些数据集上取得的当前最优（State-Of-The-Art，SOTA）结果并进行深入分析，明确了轨迹预测领域的有效方法。 本文剩余章节的结构安排如下：第2节介绍轨迹预测的基础知识；第3节总结挑战与潜在解决方案；第4节梳理公开数据集、评价指标和SOTA结果；第5节给出结论，并探讨能够推动行人轨迹预测发展的未来研究方向。 ### 2. 基础知识 #### 2.1. 问题表述 行人轨迹预测是一项时间序列分析任务。轨迹预测的核心是根据行人的历史轨迹预测其未来位置。在轨迹预测中，行人i的轨迹被定义为一个二维（2D）真实世界或像素坐标序列：$\{X_i^T, Y_i^T\}$，其中$X_i^T = \{X_i^t \mid t \in [1, T_{\text{obs}}]\}$是包含$T_{\text{obs}}$个时间步的观测轨迹；$Y_i^T = \{Y_i^t \mid t \in [T_{\text{obs}}, T_{\text{obs}} + T_{\text{pred}}]\}$是包含$T_{\text{pred}}$个时间步的未来路径真值；i是场景$i \in [1, N]$中N个行人内的索引。$X_i^t$和$Y_i^t$均包含二维坐标。 轨迹预测的目标是优化模型 $f_{\mathrm{TP}}$，以观测信息 $\hat{Y}_{i,K}^{\tau} = \{\hat{Y}_{i,k}^{\tau} | k = 1, \ldots, K\}$、 $X_{i}^{T}$ 和 S 作为输入，预测K条未来轨迹 $X_{1:N \setminus i}^{T}$： $$ \hat{Y}_{i,K}^{\tau}=f_{\mathrm{T P}}\left(X_{i}^{T},~X_{1:N\backslash i}^{T},S\right) $$ 其中 $X_{1:N\setminus i}^{T}$ 是行人i的邻居的观测轨迹集合；S是场景信息，可以是LIDAR数据、高清（HD）地图、场景图像等。当K = 1时，每个行人仅允许得到单个预测结果，该任务为确定性轨迹预测，要求与 $Y_{i}^{T}$ 相比预测误差最小。否则，该任务就是多模态轨迹预测（Multimodal Trajectory Prediction, MTP），目标是预测所有可行未来轨迹的分布。 #### 2.2. 现有挑战 尽管深度学习已经大幅提升了轨迹预测的性能，但该领域仍面临诸多挑战。[^10] [^11] 中的综述已经提到了行人轨迹预测面临的一些挑战，例如语义场景理解、多智能体社交交互、智能体行为的不确定性和多模态性。在此基础上，我们通过进一步梳理和分析现有文献，对行人轨迹预测面临的主要挑战进行了更全面的总结。首先，作为预测对象，行人的主观行为和特征对轨迹预测结果有显著影响，其中包括行人 --- 运动的不确定性以及多行人之间的交互。其次，在实际应用中，行人所处的客观场景会影响他们的行走轨迹，因此需要对场景有充分的理解才能做出准确的预测。轨迹预测还需要获取准确可靠的场景数据，并处理存在缺陷的数据。最后，对于深度学习技术及其模型本身而言，可解释性是提升模型可靠性、使其适用于安全相关应用的必要要求。 基于上述分析，可以总结出基于深度学习的行人轨迹预测存在五大挑战：（1）运动不确定性：行人的未来运动存在不确定性，行人既可能遵守社交规则沿道路行进，也可能选择横穿道路前往其他目的地。因此，处理运动不确定性并做出合理预测颇具挑战性。（2）交互建模：对行人之间的交互进行建模是一项挑战，其他行人会影响当前行人的决策过程，需要充分考虑交互因素以全面提升预测准确性。（3）场景理解：行人在移动过程中需要绕开障碍物，因此对场景的全面理解对于获得更准确的轨迹预测至关重要。（4）数据相关问题：轨迹数据存在缺失值和长尾分布问题，从根本上影响预测准确性。（5）可解释性：基于深度学习的行人轨迹预测缺乏可解释性，降低了模型的可靠性。上述挑战及对应解决方案的概述如图1所示。 ![Image](images/61456b50a3172fe513775b21726c63f855eaa42c7edf96ed25ee76515fb72ff8.jpg)
Figure 1. Overview of the challenges and corresponding solutions.
### 3. 挑战的解决方案 本节总结了上述各项挑战的解决方案，并给出了全面梳理。 #### 3.1. 运动不确定性 行人的运动本质上具有随机性和不确定性。这种不确定性受多种因素影响，使得对未来轨迹的准确预测颇具挑战性。为了充分考虑轨迹预测中的不确定性，多样性预测是一种常用方法，可输出多模态轨迹预测结果。此外，扩散模型已被证明在捕捉轨迹预测的不确定性方面效果十分出色，因此成为缓解运动不确定性的常用解决方案。智能体的目标反映了其最终意图，预测得到的目标可作为轨迹预测的条件信息，从而在一定程度上解决运动不确定性问题。本节 --- 从三个角度介绍运动不确定性的解决方案：多样性预测、扩散模型和目标预测。 ##### 3.1.1. 多样性预测 近年来的研究多聚焦于轨迹多样性预测，其中大量研究采用了生成对抗网络（GANs）[^15]。图2a展示了GAN由生成器和判别器构成：生成器通过引入随机噪声生成多样化轨迹，判别器则将生成器预测的轨迹与实际观测轨迹区分开，使生成的轨迹更加真实且多样。Kosaraju等人[^16]提出了一种基于图的GAN，命名为Social-BiGAT，在生成轨迹与行人运动潜在变量之间建立了可逆映射，以此引导模型生成能够适配多模态分布的轨迹。Gupta等人[^17]提出了一种多样性损失，引导生成器产出多种不同轨迹，但该损失可能会引发模式崩溃问题。因此，Amirian等人[^18]受Info-GAN[^19]启发，将潜在编码融入原始随机噪声中，以此提升轨迹预测效果。除模式崩溃外，由于轨迹分布流形存在不连续性，GAN可能会生成分布外（OOD）样本。Dendorfer等人[^20]提出MG-GAN通过从多个生成器中动态选择完成预测，解决了这一问题。近期，Wang等人[^21]提出了序列熵能量模型（SEEM），该模型将最大序列熵作为生成器的损失，确保生成轨迹能够覆盖行人行为的所有模式，此外还引入了零中心势能正则化来提升训练稳定性。 ![Image](images/13294dbeb758efbbba5e3bfcffd5ca1489ac004e8c2c592106497b45435bd6ce.jpg)
Figure 2. Diagrams of GAN and CVAE structures.
条件变分自编码器（CVAE）[^22]是另一类多模态轨迹预测框架。如图2b所示，CVAE通过编码器将输入数据映射到潜在变量分布，之后从潜在分布中采样得到多个潜在变量样本作为条件，由解码器生成多条可能轨迹，通过最大化下界损失实现生成的多模态性。得益于条件信息，CVAE可以对潜在分布实现更好的控制和优化。Chen等人[^23]采用自监督对比学习对潜在分布进行分类，进而实现个性化多模态轨迹预测。Xu等人[^24]提出了用于行人轨迹预测的Social-VAE，他们 --- 采用时序VAE从预测分布中生成尽可能多的轨迹样本，推断行人未来位置的分布，再使用最终位置聚类（FPC）提升预测多样性。但CVAE无法生成和GAN一样真实的输出，同时CVAE也存在OOD问题。为解决该问题，Guo等人[^25]应用了对称交叉熵损失，该损失结合了预测分布和真实分布之间的正向与反向交叉熵，其中反向交叉熵用于惩罚OOD预测。此外，Zhou等人[^26]将CVAE与GAN结合用于多模态轨迹预测，既缓解了GAN引发的模式崩溃问题，也解决了CVAE需要额外难以定义的损失这一缺陷。 ##### 3.1.2. 扩散模型 为了解决GAN和CVAE在轨迹生成中的固有缺陷，研究者提出扩散模型，用于学习参数化马尔可夫链：该链通过迭代过程从初始共享分布逐步演化到特定目标数据分布。如图3所示，顾等人[^27]提出了一种基于Transformer的MID，通过运动不确定性扩散的反向过程实现轨迹预测。他们利用时空GNN将历史轨迹和社交交互编码为状态嵌入，作为马尔可夫链的条件。这些条件引导反向扩散过程的学习，最终生成未来轨迹。陈等人[^28]考虑了轨迹的几何等变性，提出将等变Transformer与去噪扩散相结合，结合历史信息和随机高斯噪声生成未来轨迹。 ![Image](images/061f531a20d34185f2ad7a1d3a00048deed63a2f43859f7b75379932c4d56a3a.jpg)
Figure 3. Illustration of the reverse diffusion process of pedestrian motion uncertainty variation [^27]. Given the initial ambiguous region $\mathbf{y}_K$ under the noise distribution and the desired trajectory $\mathbf{y}_0$ under the data distribution, we define the diffusion process as $(\mathbf{y}_0, \mathbf{y}_1, \cdots, \mathbf{y}_K)$, where K is the maximum number of diffusion steps. This process aims to gradually add the indeterminacy until the ground truth trajectory is corrupted into a noisy walkable region. On the contrary, we learn the reverse process as $(\mathbf{y}_K, \mathbf{y}_{K-1}, \cdots, \mathbf{y}_0)$ to gradually reduce the indeterminacy from $\mathbf{y}_K$ to generate the trajectories. Both diffusion and reverse diffusion processes are formulated by a Markov chain with Gaussian transitions.
然而，扩散模型的计算成本很高，因为它需要多个去噪步骤来保证表示能力。毛等人[^29]将 --- Leapfrog Initializer 代替扩散模型用于轨迹预测，以解决这一问题。该方法让模型跳过大量去噪步骤，直接学习丰富的未来轨迹多模态分布，大幅提升了推理速度。此外，刘等人[^30]使用多参数二元高斯分布重构未来轨迹来进行扩散建模，避免了反向扩散计算的复杂过程，并且在复杂多智能体运动建模中分离出个体不确定性，从而更有效地解决了轨迹预测中的不确定性问题。 ##### 3.1.3. 目标预测 近年来的研究聚焦于智能体的最终目标，旨在改进轨迹预测方法。Mangalam等人 [^31] 提出了一种名为Y-net的长期轨迹预测方法，该方法将智能体的不确定性划分为认知不确定性和随机不确定性。他们通过预测目标和航点对认知不确定性和随机不确定性进行建模。Lee等人 [^32] 提出了MUSE-VAE，该方法在宏观阶段通过联合学习环境和智能体运动的特征表示，实现长短期目标的预测。在微观阶段，它利用细粒度的时空表示预测单个智能体的轨迹，从而在两个不同粒度层级全面处理不确定性问题。Chiara等人 [^33] 利用历史轨迹和场景语义信息预测未来目标，他们通过循环注意力机制将目标信息融入前向网络，提升了预测精度。尽管上述方法从历史轨迹和场景中学习目标，但它们忽略了交互作用对智能体目标的影响。Choi等人 [^34] 通过观测交通场景和交互作用预测目标智能体的目标，他们建立了目标与驾驶员行为之间的因果关系以降低不确定性，实现了更准确的预测。Zhang等人 [^35] 提出了一种基于目标的轨迹预测方法ForceFormer，该方法将社会力 [^36] [^37] 整合到基于Transformer的生成模型中。它利用来自目标的驱动力引导行人运动，并通过环境和邻域的斥力对交互作用进行建模。尽管上述方法在轨迹预测领域已经取得了显著成果，在陌生环境中准确预测目的地仍然是一项极具挑战性的工作。 ##### 3.1.4. 小结 为了比较不同方法在运动不确定性和轨迹预测上的结果，表1展示了五种方法（或模型）在斯坦福无人机数据集（Stanford Drone Dataset, SDD）[^38]上的预测结果。研究采用下文公式(2)中定义的平均位移误差（ADE）和最终位移误差（FDE）作为评估不同方法的指标。如表1所示，TDOR [^25] 由于使用反向交叉熵惩罚分布外（OOD）预测，在轨迹多样性预测上的性能优于SocialVAE [^24]。MUSE-VAE [^32] 因能够在宏观和微观层面全面处理不确定性，性能优于Goal-SAR [^33]。TDOR [^25] 和MUSE-VAE [^32] 在五种方法中取得了最佳性能，这说明多样性预测方法和目标预测方法能够获得出色的结果。MID [^27] 的结果表明，采用扩散模型的方法可以取得折中的性能。 ---
Table 1. Comparison of several uncertainty prediction methods (results on the SDD [^38]).
ModelsYearADEFDE
Diversity PredictionSocialVAE [^24]20228.1011.72
TDOR [^25]20226.7710.46
Diffusion ModelsMID [^27]20227.6114.30
Goal PredictionMUSE-VAE [^32]20226.3611.10
Goal-SAR [^33]20227.7511.83
表2总结了上述缓解运动不确定性影响的方法。尽管CVAE、GAN和扩散模型等生成模型已经取得了出色成果，运动不确定性仍是行人轨迹预测领域面临的一项关键挑战。早期方案借助随机噪声生成多模态轨迹，与之相比，当前研究更侧重于预测行人的意图，例如目标和路径点，这种思路在缓解运动不确定性方面更为合理。然而，预测得到的意图中仍然存在不确定性，会进一步影响多模态轨迹的预测结果。因此，有必要通过更好地理解行人自身与环境背景来预测潜在意图。
Table 2. Summary of methods for motion uncertainty.
ModelsYearAgentsDescription
Social GAN [^17]2018PedestriansProposing diverse loss functions to generate multimodal trajectories
Social-BiGAT [^16]2019PedestriansGenerating reversible mapping between predictions and latent variables of motion
Social Ways [^18]2019PedestriansIncorporating latent encoding into the random noise to enhance predictions
Y-net [^31]2020PedestriansModeling epistemic and aleatoric uncertainties by predicting goals and waypoints
DisDis [^23]2021PedestriansUtilizing contrastive learning to categorize latent distributions
MG-GAN [^20]2021PedestriansDynamically selecting a suitable generator to avoid generating OOD samples
MUSE-VAE [^32]2022PedestriansPredicting long- and short-term goals to mitigate uncertainty at two levels
Goal-SAR [^33]2022PedestriansIntegrating trajectory and goal information using a recurrent attention mechanism
SocialVAE [^24]2022PedestriansUsing FPC to enhance the diversity of trajectory predictions
SEEM [^21]2022PedestriansUtilizing maximum sequence entropy as the loss function
TDOR [^25]2022PedestriansApplying a symmetric cross-entropy loss to generate more realistic predictions
MID [^27]2022PedestriansGradually mitigating predicted uncertainty using a diffusion model
LED [^29]2023PedestriansIntroducing Leapfrog Initializer to speed up inference in the diffusion model
DACG [^26]2023PedestriansCombining CVAE and GAN models for multimodal trajectory prediction
UPDD [^30]2023PedestriansParameterizing trajectories for improved diffusion model efficiency
ForceFormer [^35]2023PedestriansPredicting goals based on observed trajectories and scene to guide agent motion
建议：为了解决轨迹预测中的运动不确定性问题，我们提出可结合行人历史运动规律、场景上下文以及场景中典型的行人运动模式，更好地探究行人的真实意图。此外，由于运动不确定性来源于行人自身的不确定性，无法被完全消除，我们提出可对预测得到的行人多模态轨迹进行排序，再针对特定下游任务挑选合适的轨迹。 可能存在的局限性：场景上下文理解会带来额外的计算资源开销，可能影响行人轨迹预测的实时处理。为解决该问题，需要性能更强的硬件设备和更轻量的场景理解算法。 #### 3.2 交互建模 在拥挤且动态变化的场景中，行人之间存在复杂的交互，这类交互会对未来轨迹的预测产生显著影响，因此交互建模是行人轨迹预测的关键环节。 --- 主流的交互建模方法包括社会池化层 [^39] [^40]、注意力机制 [^41] [^42]以及图神经网络[43–46]。已有研究利用社会注意力模块，基于行人移动方向与未来轨迹之间的相关性聚合邻居行人的交互信息 [^40]。Yang等人 [^41]引入了社会图注意力和伪先知预测器，用于捕捉行人的社会交互和意图状态，提升了轨迹预测的性能。有研究提出了碰撞感知图Transformer [^46]，用于捕捉交通智能体之间的复杂社会交互。在此之后，有学者提出了一项额外的交互预测任务，该任务可预测智能体之间的交互概率，并通过多任务学习策略缓解图Transformer的过度平滑问题。然而，仅依靠这些方法仍然不足以完全解决行人之间的交互问题。行人之间的交互是一个跨越时空的动态过程，会随时间推移发生信息交换和行为适配。时空特征融合对行人交互建模而言至关重要。仅基于观测到的轨迹考虑交互并不全面，因为这种方式无法保障轨迹未来的交互情况。因此，针对多智能体交互建模这一挑战，相关研究可分为两个方向：时空融合和未来交互建模。 ##### 3.2.1 时空融合 近年来，RNN（典型为LSTM）和CNN已被广泛应用于轨迹预测方法中。RNN专为处理时序信息设计，它存储先前时间步的信息，结合隐藏状态与输入来确定输出，如图4a所示。Choi等人[^47]使用LSTM对所有行人的运动信息建模，通过多层感知机MLP将每个行人的位置映射到高维特征空间，以考量两个行人之间的位置关系。随后，根据所有行人与目标的位置关系为其运动特征分配权重，进行位置位移预测。CNN通过卷积层和池化层从输入数据中先提取局部特征，再提取全局特征；全连接层整合提取到的特征，完成分类或回归任务。使用CNN处理轨迹信息的一般方法如图4b所示。Xu等人[^48]提出了动态分组感知网络（Dynamic-Group-aware Network，DynGroupNet），利用动态多尺度超图表示行人交互，通过拓扑推理、神经消息传递和多尺度超图的动态嵌入演化，捕捉不同时间步下行人之间的动态交互。Wang等人[^49]采用了不同的思路，通过鸟瞰图表示构建全局空间张量，对对应时间步的特征进行嵌入以保留智能体之间的空间关系，随后利用3D-CNN捕捉轨迹序列中的时间依赖关系，并采用社会循环机制（Social Recurrent Mechanism，SRM）对行人交互建模。尽管现有的基于RNN或CNN的模型在短期预测中已表现出优异性能，但在处理长时序序列时仍然存在可扩展性限制。 由于Transformer具备强大的空间建模与长期时序建模能力，在处理动态交互问题上颇具应用前景。Transformer应用于轨迹预测任务的典型形式如图5所示。Yuan等人[^50]按时间顺序提取轨迹特征，将其输入Transformer以学习时空交互嵌入。Yang等人[^51]利用GNN和Transformer对空间与时间依赖关系建模，提出了时间卷积网络（Temporal Convolutional Network，TCN）整合时空特征，以考虑之间的动态交互 --- 行人。然而，所有这些方法都忽略了未来交互行为对未来轨迹预测的影响，这可能会导致轨迹生成性能达不到最优。 ![Image](images/4512a1a64ee1e7fcf1f101bd83efcc2b4ea37cd57e66527a31447c82cb869424.jpg)
(a) RNN
![Image](images/29e2da5225c62e592bc62faa94a74f773b48e9e820b0738363686810b43b7fd9.jpg)
(b) CNN
Figure 4. Illustration of Recurrent Neural Network (RNN) and Convolutional Neural Network (CNN) for trajectory prediction [^52].
![Image](images/9974c3c6385c3268d7a7be5f7f710d7f56f0be98de87b98c2feb865e335c378b.jpg)
Ground Truth Future States
Figure 5. Illustration of Transformer for trajectory prediction [^52].
##### 3.2.2. 未来交互建模 为了实现未来交互建模，Amirloo等人[^53]利用Transformer的自注意力机制对行人之间的交互进行建模。在解码阶段，他们以自回归的方式考虑行人的未来状态，避免预测轨迹之间产生冲突。Zhou等人[^54]提出了一种新颖的交互建模方法CSR，该方法与其他方法的不同之处在于，它在预测完成后再对智能体交互进行建模。它分别从历史轨迹和预测得到的未来轨迹中提取特征，将二者融合为全局运动特征，随后将这些运动特征输入社会非局部池化层[^55]以得到交互特征，最终利用交互特征对预测轨迹进行优化，避免出现不合理的交互。 --- 冲突问题。然而，由于行人未来运动存在不确定性，行人之间的未来交互建模也十分复杂且充满挑战性。 ##### 3.2.3 小结 交互建模的相关研究已总结在表3中。对行人之间的复杂交互进行建模是实现精确轨迹预测的另一项挑战。社会池化层、注意力机制、GNN等传统研究采用数据驱动方法进行交互建模。当前研究通过预测行人未来交互来提升轨迹预测性能。但行人交互十分复杂，仅依靠行人运动数据很难建立准确的交互模型。
Table 3. Summary of methods for interaction modeling.
ModelsYearAgentsInteractionDescription
AgentFormer [^50]2021PedestriansTransformerModeling interaction from temporal and social dimensions
DynGroupNet [^48]2022PedestriansHypergraphUtilizing hypergraph for modeling dynamic interactions
CSR [^54]2022PedestriansSocial PoolingRefining predictions by utilizing future interactions
STSF-Net [^49]2023PedestriansSRMUsing SRM to capture spatiotemporal correlations
LSSTA [^51]2023PedestriansGNNUtilizing TCN for fusing spatiotemporal feature
建议：为解决轨迹预测中的交互建模问题，我们建议结合行人心理状态和场景布局来构建更完善的行人交互模型。此外，考虑到行人未来运动轨迹更大程度上受未来交互行为影响，我们建议对行人未来交互行为进行建模，以提升轨迹预测性能。 可能存在的局限性：当前大多数行人轨迹预测数据集都从鸟瞰视角获取，很难得到行人面部和肢体的详细信息，因此难以准确捕捉行人的心理状态。此外，由于行人未来轨迹本身存在不确定性，未来交互行为的不确定性会被进一步放大，如何对未来交互行为进行准确建模是当前研究可能存在的一项局限。 #### 3.3 场景理解 场景语义信息在轨迹预测中发挥着重要作用，常被用作输入来提升预测精度。在真实场景中，环境通常十分复杂，道路上存在花坛、树木、草坪、人行道和交通信号灯等各类元素，这些元素都会影响行人的运动。因此，在轨迹预测任务中，场景语义理解需要识别场景内的多样化信息。此外，将语义信息与轨迹数据有效融合，能够进一步提升模型对场景的准确理解能力。同时，由于环境存在混杂效应，场景理解还需要深入探究场景与轨迹之间的因果关系。因此，本文从场景-轨迹融合和混杂效应两个角度介绍场景语义理解相关内容。 ##### 3.3.1 场景-轨迹融合 场景语义信息可通过语义分割[56–58]获取。He等人 [^59] 使用轻量级语义分割网络ENet [^56] 提取场景信息，之后通过逆强化学习融合场景信息与轨迹信息。此外，Yang等人 [^60] 引入SegFormer [^61] 来 --- 提取场景语义信息，通过高效的场景融合Transformer在不同粒度层级逐步融合场景信息与轨迹信息。尽管语义分割能够有效理解复杂环境，但它的计算成本很高。 因此，部分方法直接从场景中提取视觉特征，再将这些特征与行人的运动特征进行融合。彭等人 [^62] 利用卷积神经网络（CNN）对场景进行特征提取，并通过定制化注意力机制完成特征融合。徐等人 [^63] 使用CNN提取场景特征，再通过双注意力机制融合场景特征与轨迹特征。该方法能够全面考虑行人展现出的社会特征以及物理环境约束，从而生成合理的轨迹。然而，行人轨迹是动态变化的，因此轨迹与场景之间的交互也具有动态性。上述方法忽略了轨迹与场景的动态相互影响，冗余的场景信息可能会对轨迹预测的准确性产生影响。 ##### 3.3.2. 混杂效应 除了忽略动态的轨迹-场景交互之外，训练环境与实际应用环境之间的偏差是场景理解面临的另一大挑战。这种偏差使得与环境的交互成为一个负混杂因子。陈等人 [^64] 指出，环境偏差会导致模型在新环境中产生错误预测。为解决该问题，他们在环境交互E（社会交互与物理环境交互）、历史轨迹X和未来轨迹Y之间构建了因果图，箭头代表因果关系。如图6a所示，$E \to (X, Y)$ 表明环境会影响行人的历史和未来运动轨迹。根据因果推断 [^65]，当变量E同时影响X和Y两个变量时，它就会成为分析这两个变量因果关系时的混杂因子。例如，如果训练过程中右转轨迹经常与路口关联，那么实际应用中右转轨迹的预测可能会被错误归因于路口，从而忽略历史轨迹背后真实的因果关系。因此，为解决该问题，他们将反事实分析应用于轨迹预测，利用环境与历史轨迹的关联缓解环境偏差带来的负面影响（如图6b所示）。葛等人 [^66] 和连等人 [^67] 也针对历史轨迹和未来轨迹的环境交互构建了因果模型，分析其因果关系，分别利用社交交叉注意力机制和Do演算消除环境的混杂效应。因果分析能够揭示场景中影响轨迹预测的因素，因此在理解场景、提升轨迹预测准确性方面具有重要作用。 ![Image](images/2e6a89fa74de976cde4542d56a76b55fc954cd4d859e523458af0680a754105e.jpg)
E
(a)
E
![Image](images/d6f51be0605c83420dfdf57f71f48b4df19f6663ec34ffe153477a510f373acb.jpg)
(b)
Figure 6. Causal diagram of environmental interactions, historical trajectories, and future trajectories [^64]. (a): Factual causal graph. (b): Counterfactual intervention.
--- ##### 3.3.3. 总结 场景理解相关方法总结见表4。场景理解是实现准确、可靠轨迹预测的核心要素。以往大多数研究使用CNN或语义分割网络从场景中提取场景信息，再通过不同策略（如注意力机制）融合场景信息与轨迹信息。针对混杂效应问题，因果模型消除了环境差异带来的干扰，进而提升了模型在实际场景中的性能。该方向具有显著的研究潜力，有待进一步探索。
Table 4. Summary of methods for scene understanding.
ModelsYearAgentsDescription
Chen et al. [^64]2021PedestriansMitigating the effects of environmental bias using counterfactual analysis
Peng et al. [^62]2022PedestriansUsing CNN and attention mechanisms to extract and fuse scene information
IRLSOT [^59]2022PedestriansUtilizing ENet to recognize scene and interacting with the scene through IRL
CTSGI [^67]2022PedestriansApplying Do-calculus to mitigate the adverse effects of environmental bias
MGSU [^60]2023PedestriansUsing SegFormer and a multi-granularity fusion method to understand scene
SEAD [^66]2023PedestriansMitigating the effects of environmental bias using cross-attention mechanism
建议：在传统的场景与轨迹信息融合方法中，场景和轨迹被视作相互独立的组成部分。但场景会对行人轨迹产生影响，因此研究场景与轨迹之间的交互作用有助于更好地理解场景，而多条轨迹与场景之间的交互更有利于获得可靠的场景理解结果。 可能存在的局限：逆强化学习为探索场景与轨迹之间的交互提供了一种思路，但目前它仅能探索单条轨迹与场景的交互。此外，理解场景信息需要消耗大量计算资源，因此提出轻量级网络模型以实现高效场景理解也是目前备受关注的研究方向，该方向有望在轨迹预测领域取得重大突破。 #### 3.4. 数据相关问题 基于深度学习的轨迹预测方法是数据驱动方法，高度依赖轨迹数据的可靠性和准确性。但现有的轨迹预测方法很少关注数据相关问题。一方面，数据采集过程中受遮挡、探测范围限制、传感器故障等影响，轨迹数据可能存在缺失值；另一方面，轨迹数据本身存在不平衡性，具有固有的长尾分布特征。因此我们将数据相关问题归为两个方面：缺失值处理和长尾分布问题应对。 ##### 3.4.1. 缺失值处理 缺失值可能会影响轨迹预测的准确性。已有多项研究 [^68] [^69] 提出了多种不同的解决方案来应对该问题。Qi等人 [^70] 采用了结合变分自编码器与非自回归变换模型的模仿学习范式，通过联合优化这两个模型，完成未来轨迹预测和缺失值插补。Xu等人 [^71] 提出多空间图神经网络（MS-GNN），从不完整观测数据中提取紧致的空间特征，还利用变分RNN对时序依赖关系建模，以学习缺失模式。此外，Qin等人 [^72] 结合了非自回归与自回归方法，有效利用多层级自注意力机制学习观测值与缺失值之间的依赖关系。总体而言，研究人员 --- 利用观测数据外推得到缺失值，尽可能降低缺失值对轨迹预测的影响。但通过更合理的观测方法尽可能减少缺失值的产生，仍然是行人轨迹预测领域一个重要的发展方向。 ##### 3.4.2. 长尾分布问题应对 在现实场景中，大多数轨迹遵循基本运动学规则，少数轨迹呈现出复杂运动模式；大多数行人表现出简单运动模式，少数行人具有更复杂的运动模式，这种情况被称为运动模式的长尾分布。由于复杂尾部样本数量有限，模型难以充分学习其运动特征，导致对尾部样本的预测准确率较低。 Makansi等人[^73]率先在行人轨迹预测中分析了长尾问题。他们观察到，尾部样本的特征嵌入在头部样本的特征之间，导致模型在训练过程中忽略尾部样本的特征。为更好地提取尾部样本的特征，他们将对比学习引入轨迹预测，通过区分头部和尾部样本对相似样本特征进行分组。Zhou等人[^74]采用由多个预测模型组成的集成网络解决长尾分布带来的不确定性问题。随后，他们设计了一种轨迹规划器，该规划器考虑了预测不确定性引发的最坏情况，保障了自动驾驶车辆的安全性。Chen等人[^75]提出了一种名为BOsampler的新型采样方法，该方法将初始预测轨迹作为先验条件，自适应探索低概率潜在路径。但这两类方法仍需从根本上解决长尾分布问题。近期，Wang等人[^76]提出了一个即插即用的轨迹预测框架FEND，该框架利用未来轨迹信息，通过对比学习分离不同运动模式的轨迹样本，从而在特征空间中形成独立聚类。在此基础上，他们引入了分布感知超预测器来学习尾部样本的特征。上述方法能够缓解但并未彻底解决长尾问题。如何从数据层面入手，引入更多不同场景下的丰富轨迹数据、抑制长尾分布，也是一项值得研究的课题。 ##### 3.4.3 小结 轨迹数据相关问题的研究方法总结见表5。数据相关问题对数据驱动的行人预测方法至关重要，需要引入更多新技术来解决这些问题，尤其是前文提到的缺失值和长尾分布问题。
Table 5. Summary of methods for trajectory data issues.
ModelsYearAgentsDescription
Qi et al. [^70]2020PedestriansUsing an imitation learning paradigm to address missing values
Makansi et al. [^73]2021PedestriansAddressing long-tailed distribution through contrastive learning
FEND [^76]2023PedestriansProposing a future enhanced contrastive learning framework
GC-VRNN [^71]2023PedestriansIntroducing MS-GNN and RNN for addressing missing values
BOsampler [^75]2023PedestriansA sampling method for exploring low-probability tail potential paths
INGRAIN [^72]2023PedestriansUsing ensemble learning to address long-tailed distribution
建议：可采用神经随机微分方程对轨迹数据的动态变化进行建模，该方法适合处理不同因素导致的缺失值问题。针对长尾分布问题，需要考虑diver --- sity的头部样本，以便在设计对比学习框架时更准确地表示不同运动模式的样本。此外，除了上述两个数据相关问题，其他数据相关问题也有待研究和解决。 可能存在的局限性：上述方法仅能缓解缺失数据和长尾分布问题，无法彻底解决行人轨迹数据中存在的问题。为推动该领域的研究，还需要收集更多高质量、多样化、多视角的行人轨迹数据，从数据集构建本身解决数据相关问题。 #### 3.5 可解释性 基于深度学习的轨迹预测方法利用神经网络对行人的运动模式进行建模，并预测未来轨迹。尽管与传统方法相比，这类方法在预测准确率上已经取得了显著提升，但由于神经网络的黑箱特性，它们仍面临可解释性的挑战 [^77] [^78]。与神经网络不同，手工方法通过基于领域知识、专家经验和特定逻辑推理构建的规则与逻辑获得可解释性。此外，部分经典机器学习方法尽管准确率不高，但也能提供可解释的轨迹预测。因此，要让基于深度学习的轨迹预测模型具备可解释性，共有两种实现途径：与手工方法结合，以及与机器学习方法结合。 ##### 3.5.1. 与手工方法结合 离散选择模型（DCMs）[79–82]是用于解释行人决策行为的手工方法。尽管这类模型能够输出可解释的结果，但它们在预测准确率方面的表现往往不佳。因此，大多数学者将DCMs与神经网络结合，解决轨迹预测中的可解释性问题。Kothari等人 [^83] 定义了四种行人行为：保持方向、领头跟随、避障和占位。他们使用DCM学习行人可解释的未来意图，再通过神经网络对这些意图进一步优化。多项研究借助专家知识来获得可解释性。例如，Cao等人 [^84] 提出了一种基于逻辑信息的知识驱动预测方法，该方法通过从观测轨迹中学习时空逻辑规则来解释行人行为。Neumeier等人 [^85] 将专家知识融入解码器，为轨迹预测生成可解释的潜在空间。 ##### 3.5.2. 与机器学习方法结合 部分机器学习方法可以对行人的运动模式进行建模，因此将机器学习与神经网络结合能够实现优缺点互补。Shi等人 [^86] 将决策树应用于多模态轨迹预测：基于先前观测到的轨迹信息构建树结构，利用树中从根到叶的路径就可以描述行人的粗粒度运动行为。结合决策树的可解释性和神经网络的灵活性，能够同时提升轨迹预测的性能和可解释性。Yue等人 [^87] 提出了BNSP-SFM，将行为随机微分方程（SDE）与贝叶斯神经网络（BNNs）相结合。神经网络为模型带来出色的预测能力，而SDE则为模型提供了良好的可解释性。 ##### 3.5.3. 小结 模型可解释性的相关方法总结见表6。可解释性是影响轨迹预测模型实际应用的关键因素。尽管基于深度学习的轨迹预测方法已经取得了较高 --- 准确率，但缺乏可解释性导致这类方法不适用于部分与安全相关的应用场景。尽管现有研究已经通过将神经网络与机器学习或手工特征结合获得了可解释性，但这类方法仍存在预测准确率不足的缺陷。
Table 6. Summary of methods for model interpretability.
ModelsYearAgentsDescription
SAnchor [^83]2021PedestriansManually defining the motion rules for agents
SIT [^86]2022PedestriansUsing a decision tree to describe the motion of agents
Cao et al. [^84]2023PedestriansDefining spatiotemporal logical rules for agents
BNSP-SFM [^87]2023PedestriansModeling the motion of agents using Bayesian SED
建议：未来可解释轨迹预测领域的研究可聚焦于深度神经网络的可解释性。大语言模型（LLM）也是实现轨迹预测可解释性的重要途径。考虑到白盒神经网络或基于LLM的轨迹预测存在的挑战，目前可通过生成若干中间结果得到可解释的轨迹预测，例如生成目的地、行人之间的交互以及行人行为等。 可能存在的局限性：LLM不可避免地会产生幻觉问题，可能给出错误的解释。同时，部署LLM会带来额外的硬件成本，增加行人轨迹预测系统的开销。 ### 4. 数据集与评价指标 #### 4.1. 评价指标 行人轨迹预测的主流评价指标包括平均位移误差（Average Displacement Error, ADE）和最终位移误差（Final Displacement Error, FDE）。ADE表示预测时域内预测轨迹坐标与真值轨迹坐标之间的平均欧氏距离。FDE表示最终时间步上预测轨迹坐标与真值轨迹坐标之间的欧氏距离。这两个指标的计算方式如下： $$ \begin{aligned}&ADE=\frac{\sum_{i=1}^{N}\sum_{t=1}^{T_{pred}}\|\hat{Y}_{t}^{i}-Y_{t}^{i}\|_{2}}{N\times T_{pred}}\\ &FDE=\frac{1}{N}\sum_{i=1}^{N}\parallel\hat{Y}_{T_{pred}}^{i}-Y_{T_{pred}}^{i}\parallel_{2}\\ \end{aligned} $$ 式中，N表示行人数量；$T_{pred}$ 和 $T_{obs}$ 分别表示预测时域和观测时域；$\hat{Y}$ 和 Y 分别表示预测轨迹和真值轨迹；$\| \|_{2}$ 表示L2范数。 #### 4.2. 主流行人轨迹数据集 主流的行人轨迹数据集包含丰富的场景信息，覆盖了具有复杂交互行为的行人轨迹，为轨迹预测模型的训练和评估提供了重要基础，有助于模型掌握真实世界中的运动模式与规律。以下是一些常用的数据集： (1) 斯坦福无人机 [^38]：斯坦福无人机数据集（SDD）包含由无人机在斯坦福大学60个不同场景中采集的行人、骑行者、滑滑板者和车辆的轨迹数据。SDD提供了这些场景的航拍图像，以及场景中各智能体的像素坐标。此外，该数据集还包含道路、人行道、建筑、停车场、植被等各类场景元素。 --- SDD常被用于行人轨迹预测研究，多数研究采用TrajNet [^88] 中定义的划分方式，将SDD划分为训练集、测试集和验证集，具体信息如表7所示。在该划分标准下，观测时域为8个时间步（3.2秒），预测时域为12个时间步（4.8秒）。
Table 7. Split of the SDD dataset.
DatasetsScenes
Trainbookstore: 0–3; coupa: 3; deathCircle: 0–4; gates: 0, 1, 3–8; hyang: 4–7, 9; nexus: 0, 1, 3, 4, 7–9
Validationbookstore: 4–6, coupa: 2; hyang: 2, 10–14; nexus: 2, 10, 11
Testbookstore: 4–6; coupa: 2; hyang: 2, 10–14; nexus: 2, 10, 11
表8报告了SDD上的当前最优（SOTA）结果。如表中所示，MUSE-VAE [^32]采用了覆盖从宏观到微观层级的多级预测框架，用于解决长期轨迹预测问题。在宏观阶段，该模型学习环境与智能体运动的联合特征表示，以预测长期和短期运动目标。在微观阶段，它利用细粒度时空表示来预测智能体的轨迹。通过将VAE框架与宏观、微观两个阶段相结合，该模型考虑了两个粒度层级的联合不确定性，在SDD上取得了出色的结果。另一方面，CSR [^54]采用了多个非共享CVAE模型。这些模型基于初始历史观测预测下一帧的轨迹坐标，生成新的历史观测后将其输入下一个CVAE模型，直至生成完整轨迹。这种级联CVAE模型的设计有效避免了预测误差累积，从而提升了预测性能。此外，CSR [^54]通过全局融合历史轨迹和预测轨迹的特征，增强了交互建模与轨迹预测的兼容性。
Table 8. SOTA results on SDD.
ModelsYearADEFDE
P2T [^89]202012.5822.07
IRLSOT [^59]20229.6613.05
SIT [^86]20229.1315.42
MANTRA [^90]20218.9617.76
LB-EBM [^91]20218.8715.61
Graph-TERN [^92]20238.4314.26
MSRL [^93]20238.2213.39
SocialVAE [^24]20228.1011.72
Y-net [^31]20207.8511.85
Goal-SAR [^33]20227.7511.83
PPNet [^94]20237.7311.58
ExpertTraj [^95]20217.6914.38
MID [^27]20227.6114.30
STGLow [^96]20227.2011.20
TDOR [^25]20226.7710.46
E-V2-Net [^97]20236.5710.49
NSP-SFM [^37]20226.5210.61
BNSP-SFM [^87]20236.4610.49
Cao et al. [^84]20236.4110.23
MUSE-VAE [^32]20226.3611.10
CSR [^54]20224.876.32
(2) ETH [^98]和UCY [^99]：ETH数据集包含两个场景：ETH和Hotel。UCY数据集包含三个场景：UCY-ZARA1、UCY-ZARA2和UCY-UNIV。所有场景均由监控摄像头以俯视视角拍摄。 --- ETH/UCY共包含1536名行人，记录了数千条非线性轨迹。在这些数据集中，行人表现出复杂行为，包括不同方向移动、结伴行走、避撞和静止站立。与SDD相同，ETH/UCY用于行人轨迹预测任务。数据处理中，观测时域和预测时域分别为8个时间步（3.2秒）和12个时间步（4.8秒）。 表9报告了ETH/UCY上的当前最优（SOTA）结果。BNSP-SFM [^87]和STGLOW [^96]取得了其中的最佳性能。BNSP-SFM [^87]的主要优势是可解释性。它从Y-net [^31]中获得启发，将不确定性分解为行为导致的偶然不确定性，以及不可观测认知因素导致的认知不确定性。具体而言，BNSP-SFM将行人行为动力学建模为二阶随机微分方程，以处理交互产生的偶然不确定性。针对认知不确定性，BNSP-SFM采用神经网络，基于场景和交互预测行人的最终目标。此外，为了量化偶然不确定性的随机性，研究人员对影响因子施加先验，并使用贝叶斯神经网络研究运动动力学和不确定性。与BNSP-SFM不同，STGLOW [^96]采用基于流的生成模型进行预测。与基于GAN的方法不同，基于流的方法可以直接在潜在空间对数据建模。基于CVAE的方法优化观测数据对数似然的变分下界，这可能导致生成的轨迹与实际不符。相比之下，基于流的方法可以更准确地对数据分布建模，在模拟人类运动行为演化方面具有清晰的物理意义。此外，STGLOW将GNN与Transformer结合，充分建模时序依赖和空间交互，进一步提升了预测性能。
Table 9. SOTA results on ETH/UCY (ADE/FDE).
ModelsYearETHHOTELUNIVZARA1ZARA2AVG
MANTRA [^90]20210.48/0.880.17/0.330.37/0.810.27/0.580.30/0.670.32/0.65
UPDD [^30]20230.41/0.860.19/0.360.23/0.490.23/0.490.21/0.430.25/0.53
Graph-TERN [^92]20230.42/0.580.14/0.230.26/0.450.21/0.370.17/0.290.24/0.38
SIT [^86]20220.39/0.620.14/0.220.27/0.470.19/0.330.16/0.290.23/0.38
LSSTA [^51]20230.30/0.520.12/0.200.28/0.550.20/0.400.16/0.320.21/0.40
LB-EBM [^91]20210.30/0.520.13/0.200.27/0.520.20/0.370.15/0.290.21/0.38
MID [^27]20220.39/0.660.13/0.220.22/0.450.17/0.300.13/0.270.21/0.38
EgMotion [^100]20230.40/0.610.12/0.180.23/0.430.18/0.320.13/0.230.21/0.35
MemoNet [^101]20220.40/0.610.11/0.170.24/0.430.18/0.320.14/0.240.21/0.35
DACG [^26]20230.36/0.650.13/0.250.20/0.410.16/0.340.12/0.260.19/0.38
MSRL [^93]20230.28/0.470.14/0.220.24/0.430.17/0.300.14/0.230.19/0.33
ForceFomer [^35]20230.36/0.520.09/0.140.21/0.420.15/0.220.12/0.200.19/0.30
Goal-SAR [^33]20220.28/0.390.12/0.170.25/0.430.17/0.260.15/0.220.19/0.29
SGNet [^102]20220.35/0.650.12/0.240.20/0.420.12/0.240.10/0.210.18/0.35
AgentFormer [^50]20210.26/0.390.11/0.140.26/0.460.15/0.230.14/0.240.18/0.29
E-V2-Net [^97]20230.25/0.380.11/0.160.20/0.340.19/0.300.13/0.240.17/0.28
ExpertTrai [^95]20210.30/0.620.09/0.150.15/0.310.12/0.240.19/0.440.17/0.35
PPNet [^94]20230.22/0.330.09/0.130.22/0.340.18/0.270.14/0.220.17/0.25
BNSP-SFM [^87]20230.25/0.250.09/0.110.20/0.380.16/0.270.12/0.190.16/0.24
STGLow [^96]20220.31/0.400.09/0.140.16/0.330.12/0.240.09/0.190.15/0.28
(3) NBA SportVU数据集：NBA轨迹数据集由NBA通过SportVU追踪系统采集，该数据集提供了实际比赛中10名球员和篮球的运动轨迹。 表10总结了NBA数据集上的SOTA模型。这些模型利用过去2.0秒的轨迹，预测未来4.0秒的20条轨迹，使用ADE和FDE评估预测性能。Cao等人[^84]利用神经 --- 网络从大量轨迹数据中学习球员行为背后的时空逻辑规则，随后利用学到的时空逻辑规则推理智能体的意图，并通过期望最大化算法进行优化。考虑到NBA数据集中的智能体是遵守特定行为规则的运动员，文献[^74]在NBA数据集上取得了出色的表现。DynGroupNet [^48]利用动态多尺度超图对群体间交互进行建模，通过拓扑推理、神经消息传递以及多尺度超图的动态嵌入演化，捕捉智能体在不同时间步的动态交互。值得注意的是，篮球运动员往往需要配合执行防守或进攻策略，这使得篮球场景是一个高度交互的运动场景。因此，DynGroupNet [^48]非常适合解决这类动态交互问题。
Table 10. SOTA results on the NBA dataset (ADE/FDE).
MethodsYear1.0 s2.0 s3.0 s4.0 s
SocialVAE [^24]20220.49/0.660.77/1.111.11/1.461.37/1.79
MemoNet [^101]20220.38/0.560.71/1.141.00/1.571.25/1.47
Cao et al. [^84]20230.30/0.400.58/0.880.87/1.311.13/1.60
DynGroupNet [^48]20220.19/0.280.40/0.610.65/0.900.89/1.13
LED [^29]20230.18/0.270.37/0.560.58/0.840.81/1.10
(4) JAAD [^103] 和 PIE [^104]：JAAD数据集主要记录交叉口处的车辆和行人轨迹，该数据集从超过240小时的驾驶镜头中提取了丰富的标注集合，包含346个时长5-10秒的短视频片段，展示了不同天气条件下典型的城市驾驶场景。 PIE数据集包含由车载摄像头拍摄的典型交通场景记录，总时长为6小时。该数据集包含30万张标注视频帧、1842个行人样本，以及来自传感器的精准车辆信息，包括车速、行驶方向和GPS坐标，所有信息都与视频记录同步。 JAAD/PIE数据集上的一种经典方法是SGNet [^102]，该方法认为智能体的目标信息能够为未来轨迹提供更准确、更详细的预测。但与其他仅考虑行人最终目标的研究不同，SGNet [^102]认为行人的行为依赖于不同时间尺度下的目标。因此，该方法采用一个轻量级模块估计多时间尺度的目标信息，并通过注意力机制增强关键目标特征。 ### 5. 结论与展望 本调研研究了基于深度学习的行人轨迹预测面临的挑战，综述了现有的解决方案以及主流数据集。基于深度学习的轨迹预测方法面临的挑战可分为五个方面：运动不确定性、交互建模、场景语义理解、数据相关问题以及预测模型的可解释性。随后，我们总结并分析了每个挑战的解决方案，介绍了常用的轨迹预测数据集及其SOTA方法。受基于深度学习的轨迹预测方法所面临挑战的启发，未来可从以下四个方面开展探索： (1) 异质性智能体轨迹预测：正如本综述所述，多智能体交互建模是一项重大挑战。当前多数研究仍需充分考虑异质性智能体对交互的影响。对异质性智能体进行轨迹预测通常比同质性智能体难度更大。在真实交通场景中，智能体涵盖多种类别，例如行人、汽车、公交车和自行车。例如，行人面对另一名行人或汽车时的反应可能完全不同。即使一辆汽车对目标行人的影响极小，目标行人仍可能做出显著的反应。部分 --- 现有研究[^42] [^97]已提出解决方案。对异质性智能体交互建模并开展轨迹预测是一个颇具前景的研究方向。 (2) 轻量型轨迹预测模型：在真实场景中应用轨迹预测需要平衡效率与精度。然而，基于深度学习的轨迹预测模型很难实现这种平衡。预测模型考虑的因素越多，预测精度就越高，但这会提高模型复杂度，降低运行效率。此外，部分基于记忆增强网络的预测模型[^90] [^101]需要消耗一定内存，在处理复杂场景时该问题尤为突出。因此，设计兼具效率与高精度的轻量型网络架构，是未来轨迹预测研究的重要方向。 (3) 模型鲁棒性：用于训练的轨迹预测数据集通常会受到噪声和不确定性的影响。此外，在实际应用中，传感器误差、天气等因素都会带来显著的不确定性。在部分对安全性有极高要求的实际应用中，模型对抗攻击的鲁棒性正受到越来越多的关注。攻击可发生在训练阶段，攻击者可通过后门攻击等方式毒害训练数据，也可以修改目标模型的训练和推理流程[^105]。因此，优先提升模型鲁棒性至关重要，这可以增强预测模型的抗干扰能力、提高其可靠性，使其能更有效地应用于各类真实任务中。 (4) 轨迹预测与运动规划的融合：轨迹预测通常服务于下游规划任务。例如，正如文献[^94]所示，已有研究提出一种基于分类的轨迹预测方法，该方法为预测轨迹分配概率，从而更好地支撑下游任务。因此，探索如何有效融合轨迹预测与运动规划任务，是一项很有价值的研究工作。 尽管近年来轨迹预测领域已经取得了亮眼的进展，但该领域仍有提升空间。本综述将帮助读者和学界更好地理解基于深度学习的轨迹预测技术，推动未来相关研究的发展。 作者贡献：概念构思：J.J.；方法设计：K.Y.；软件开发：X.X.；验证：X.X.；形式分析：K.Y.；研究调查：J.J.；资源提供：B.Y.；数据整理：B.Y.；初稿撰写：K.Y.；审阅与编辑：J.J.；可视化：X.X.；指导：J.J.；项目管理：J.J.；资金申请：B.Y.。所有作者均已阅读并同意本手稿的发表版本。 基金资助：本研究得到江苏省科学技术厅面上项目资助（项目批准号：BK20221380），同时得到常州市科技支撑计划资助（项目批准号：CE20235037）。 伦理审查委员会声明：不适用。 知情同意声明：不适用。 数据可用性声明：支持本研究结论的原始数据可应要求向通讯作者获取。 利益冲突：作者声明不存在利益冲突。 --- ## 参考文献 [^1]: Ammoun, S.; Nashashibi, F. Real time trajectory prediction for collision risk estimation between vehicles. In Proceedings of the IEEE 5th International Conference on Intelligent Computer Communication and Processing, Cluj-Napoca, Romania, 27–29 August 2009; pp. 417–422. [^2]: Schubert, R.; Richter, E.; Wanielik, G. Comparison and evaluation of advanced motion models for vehicle tracking. In Proceedings of the 11th International Conference on Information Fusion, Cologne, Germany, 30 June–3 July 2008; pp. 1–6. [^3]: Barth, A.; Franke, U. Where will the oncoming vehicle be the next second? In Proceedings of the IEEE Intelligent Vehicles Symposium, Eindhoven, The Netherlands, 4–6 June 2008; pp. 1068–1073. [^4]: Cortes, C.; Vapnik, V. Support-vector networks. Mach. Learn. 1995, 20, 273–297. [CrossRef] [^5]: Murphy, K.P. Dynamic Bayesian Networks: Representation, Inference and Learning, 1st ed.; University of California: Berkeley, CA, USA, 2002; Chapter 1, sec. 1; pp. 1–300. [^6]: Recurrent Neural Networks: Design and Applications, 1st ed.; CRC Press: Boca Raton, FL, USA, 1999; Chapter 1, sec. 1; pp. 1–200. [^7]: LeCun, Y.; Bengio, Y. Convolutional networks for images, speech, and time series. Handb. Brain Theory Neural Netw. 1995, 3361, 1–14. [^8]: Gori, M.; Monfardini, G.; Scarselli, F. A new model for learning in graph domains. In Proceedings of the IEEE International Joint Conference on Neural Networks, Montreal, QC, Canada, 31 July 2005–4 August 2005; pp. 729–734. [^9]: Vaswani, A.; Shazeer, N.; Parmar, N.; Uszkoreit, J.; Jones, L.; Gomez, A.N.; Kaiser, L.; Polosukhin, I. Attention is all you need. Adv. Neural Inf. Process. Syst. 2017, 30, 1–11. [^10]: Rudenko, A.; Palmieri, L.; Herman, M.; Kitani, K.M.; Gavrila, D.M.; Arras, K.O. Human motion trajectory prediction: A survey. Int. J. Robot. Res. 2020, 39, 895–935. [CrossRef] [^11]: Teeti, I.; Khan, S.; Shahbaz, A.; Bradley, A.; Cuzzolin, F.; De Raedt, L. Vision-based intention and trajectory prediction in autonomous vehicles: A survey. In Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI-22), Vienna, Austria, 23–29 July 2022; pp. 5630–5637. [^12]: Huang, R.; Xue, H.; Pagnucco, M.; Salim, F.; Song, Y. Multimodal trajectory prediction: A survey. arXiv 2023, arXiv:2302.10463. [^13]: Sighencea, B.I.; Stanciu, R.I.; Căleanu, C.D. A Review of Deep Learning-Based Methods for Pedestrian Trajectory Prediction. Sensors 2021, 21, 7543. [CrossRef] [^14]: Korbmacher, R.; Tordeux, A. Review of pedestrian trajectory prediction methods: Comparing deep learning and knowledge-based approaches. IEEE Trans. Intell. Transp. Syst. 2022, 23, 24126–24144. [CrossRef] [^15]: Goodfellow, I.; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D.; Ozair, S.; Courville, A.; Bengio, Y. Generative adversarial nets. Adv. Neural Inf. Process. Syst. 2014, 27, 1–9. [^16]: Kosaraju, V.; Sadeghian, A.; Martín-Martín, R.; Reid, I.; Rezatofighi, H.; Savarese, S. Social-bigat: Multimodal trajectory forecasting using bicycle-gan and graph attention networks. Adv. Neural Inf. Process. Syst. 2019, 32, 1–10. [^17]: Gupta, A.; Johnson, J.; Fei-Fei, L.; Savarese, S.; Alahi, A. Social gan: Socially acceptable trajectories with generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 2255–2264. [^18]: Amirian, J.; Hayet, J.B.; Pettré, J. Social ways: Learning multi-modal distributions of pedestrian trajectories with gans. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Long Beach, CA, USA, 15–20 June 2019. [^19]: Chen, X.; Duan, Y.; Houthooft, R.; Schulman, J.; Sutskever, I.; Abbeel, P. Infogan: Interpretable representation learning by information maximizing generative adversarial nets. Adv. Neural Inf. Process. Syst. 2016, 29, 1–9. [^20]: Dendorfer, P.; Elflein, S.; Leal-Taixé, L. Mg-gan: A multi-generator model preventing out-of-distribution samples in pedestrian trajectory prediction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 13158–13167. [^21]: Wang, D.; Liu, H.; Wang, N.; Wang, Y.; Wang, H.; McLoone, S. SEEM: A sequence entropy energy-based model for pedestrian trajectory all-then-one prediction. IEEE Trans. Pattern Anal. Mach. Intell. 2022, 45, 1070–1086. [CrossRef] [^22]: Ivanovic, B.; Leung, K.; Schmerling, E.; Pavone, M. Multimodal deep generative models for trajectory prediction: A conditional variational autoencoder approach. IEEE Robot. Autom. Lett. 2020, 6, 295–302. [CrossRef] [^23]: Chen, G.; Li, J.; Zhou, N.; Ren, L.; Lu, J. Personalized trajectory prediction via distribution discrimination. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 15580–15589. [^24]: Xu, P.; Hayet, J.B.; Karamouzas, I. Socialvae: Human trajectory prediction using timewise latents. In Proceedings of the European Conference on Computer Vision, Tel Aviv, Israel, 23–27 October 2022; pp. 511–528. [^25]: Guo, K.; Liu, W.; Pan, J. End-to-end trajectory distribution prediction based on occupancy grid maps. In Proceedings of the IFFF/CVF Conference on Commuter Vision and Pattern Recognition. New Orleans, LA, USA 18–24 June 2022. pp. 2242–2251. ## [^26]: Zhou, Z.; Huang, G.; Su, Z.; Li, Y.; Hua, W. Dynamic attention-based CVAE-GAN for pedestrian trajectory prediction. IEEE Robot. Autom. Lett. 2022, 8, 704–711. [CrossRef] --- [^27]: Gu, T.; Chen, G.; Li, J.; Lin, C.; Rao, Y.; Zhou, J.; Lu, J. Stochastic trajectory prediction via motion indeterminacy diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 17113–17122. [^28]: Chen, K.; Chen, X.; Yu, Z.; Zhu, M.; Yang, H. Equidiff: A conditional equivariant diffusion model for trajectory prediction. In Proceedings of the IEEE 26th International Conference on Intelligent Transportation Systems (ITSC), Bilbao, Spain, 24–28 September 2023; pp. 746–751. [^29]: Mao, W.; Xu, C.; Zhu, Q.; Chen, S.; Wang, Y. Leapfrog diffusion model for stochastic trajectory prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 5517–5526. [^30]: Liu, Y.; Ye, Z.; Li, B.; Sheng, Q.Z.; Yao, L. Uncertainty-aware pedestrian trajectory prediction via distributional diffusion. arXiv 2023, arXiv:2303.08367. [CrossRef] [^31]: Mangalam, K.; An, Y.; Girase, H.; Malik, J. From goals, waypoints & paths to long term human trajectory forecasting. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 15233–15242. [^32]: Lee, M.; Sohn, S.S.; Moon, S.; Yoon, S.; Kapadia, M.; Pavlovic, V. Muse-vae: Multi-scale vae for environment-aware long-term trajectory prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 2221–2230. [^33]: Chiara, L.F.; Coscia, P.; Das, S.; Calderara, S.; Cucchiara, R.; Ballan, L. Goal-driven self-attentive recurrent networks for trajectory prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 2518–2527. [^34]: Choi, C.; Patil, A.; Malla, S. Drogon: A causal reasoning framework for future trajectory forecast. arXiv 2019, arXiv:1908.00024. [^35]: Zhang, W.; Cheng, H.; Johora, F.T.; Sester, M. ForceFormer: Exploring social force and transformer for pedestrian trajectory prediction. In Proceedings of the 2023 IEEE Intelligent Vehicles Symposium (IV), Anchorage, AK, USA, 4–7 June 2023; pp. 1–7. [^36]: Helbing, D.; Molnar, P. Social force model for pedestrian dynamics. Phys. Rev. E 1995, 51, 4282–4286. [CrossRef] [PubMed] [^37]: Yue, J.; Manocha, D.; Wang, H. Human trajectory prediction via neural social physics. In Proceedings of the European Conference on Computer Vision, Tel Aviv, Israel, 23–27 October 2022; pp. 376–394. [^38]: Robicquet, A.; Sadeghian, A.; Alahi, A.; Savarese, S. Learning social etiquette: Human trajectory understanding in crowded scenes. In Proceedings of the Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, 11–14 October 2016; pp. 549–565. [^39]: Alahi, A.; Goel, K.; Ramanathan, V.; Robicquet, A.; Fei-Fei, L.; Savarese, S. Social lstm: Human trajectory prediction in crowded spaces. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016; pp. 961–971. [^40]: Yang, B.; He, C.; Wang, P.; Chan, C.Y.; Liu, X.; Chen, Y. TPPO: A Novel Trajectory Predictor with Pseudo Oracle. IEEE Trans. Syst. Man Cybern. Syst. 2024, 54, 2846–2859. [CrossRef] [^41]: Yang, B.; Lu, Y.; Wan, R.; Hu, H.; Yang, C.; Ni, R. Meta-IRLSOT++: A meta-inverse reinforcement learning method for fast adaptation of trajectory prediction networks. Expert Syst. Appl. 2024, 240, 122499. [CrossRef] [^42]: Sun, H.; Chen, R.; Liu, T.; Wang, H.; Sun, F. LG-LSTM: Modeling LSTM-based interactions for multi-agent trajectory prediction. In Proceedings of the IEEE International Conference on Multimedia and Expo (ICME), Taipei, Taiwan, 18–22 July 2022; pp. 1–6. [^43]: Mo, X.; Huang, Z.; Xing, Y.; Lv, C. Multi-agent trajectory prediction with heterogeneous edge-enhanced graph attention network. IEEE Trans. Intell. Transp. Syst. 2022, 23, 9554–9567. [CrossRef] [^44]: Bhujel, N.; Yau, W.Y. Disentangling crowd interactions for pedestrians trajectory prediction. IEEE Robot. Autom. Lett. 2023, 8, 3078–3085. [CrossRef] [^45]: Duan, J.; Wang, L.; Long, C.; Zhou, S.; Zheng, F.; Shi, L.; Hua, G. Complementary attention gated network for pedestrian trajectory prediction. In Proceedings of the AAAI Conference on Artificial Intelligence, Vancouver, BC, Canada, 22 February–1 March 2022; Volume 36, pp. 542–550. [^46]: Yang, B.; Fan, F.; Ni, R.; Wang, H.; Jafaripournimchahi, A.; Hu, H. A multi-task learning network with a collision-aware graph transformer for traffic-agents trajectory prediction. IEEE Trans. Intell. Transp. Syst. 2024, 25, 6677–6690. [CrossRef] [^47]: Choi, I.; Song, H.; Yoo, J. Deep learning based pedestrian trajectory prediction considering location relationship between pedestrians. In Proceedings of the 2019 International Conference on Artificial Intelligence in Information and Communication (ICAIIC), Okinawa, Japan, 11–13 February 2019; pp. 449–451. [^48]: Xu, C.; Wei, Y.; Tang, B.; Yin, S.; Zhang, Y.; Chen, S.; Wang, Y. Dynamic-group-aware networks for multi-agent trajectory prediction with relational reasoning. Neural Netw. 2024, 170, 564–577. [CrossRef] [PubMed] ## [^49]: Wang, Y.; Chen, S. Multi-agent trajectory prediction with spatio-temporal sequence fusion. IEEE Trans. Multimed. 2021, 25, 13–23. [CrossRef] --- [^50]: Yuan, Y.; Weng, X.; Ou, Y.; Kitani, K.M. Agentformer: Agent-aware transformers for socio-temporal multi-agent forecasting. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 9813–9823. [^51]: Yang, C.; Pei, Z. Long-short term spatio-temporal aggregation for trajectory prediction. IEEE Trans. Intell. Transp. Syst. 2023, 24, 4114–4126. [CrossRef] [^52]: Huang, Y.; Du, J.; Yang, Z.; Zhou, Z.; Zhang, L.; Chen, H. A survey on trajectory-prediction methods for autonomous driving. IEEE Trans. Intell. Veh. 2022, 7, 652–674. [CrossRef] [^53]: Amirloo, E.; Rasouli, A.; Lakner, P.; Rohani, M.; Luo, J. Latentformer: Multi-agent transformer-based interaction modeling and trajectory prediction. arXiv 2022, arXiv:2203.01880. [^54]: Zhou, H.; Ren, D.; Yang, X.; Fan, M.; Huang, H. CSR: Cascade conditional variational auto encoder with socially-aware regression for pedestrian trajectory prediction. Pattern Recognit. 2023, 133, 109030. [CrossRef] [^55]: Mangalam, K.; Girase, H.; Agarwal, S.; Lee, K.H.; Adeli, E.; Malik, J.; Gaidon, A. It is not the journey but the destination: Endpoint conditioned trajectory prediction. In Proceedings of the Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, 23–28 August 2020; Part II 16. pp. 759–776. [^56]: Paszke, A.; Chaurasia, A.; Kim, S.; Culurciello, E. Enet: A deep neural network architecture for real-time semantic segmentation. arXiv 2016, arXiv:1606.02147. [^57]: Chen, L.C.; Papandreou, G.; Schroff, F.; Hartwig, A. Rethinking atrous convolution for semantic image segmentation. arXiv 2017, arXiv:1706.05587. [^58]: Zhao, H.; Shi, J.; Qi, X.; Wang, X.; Jia, J. Pyramid scene parsing network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 2881–2890. [^59]: He, C.; Chen, L.; Xu, L.; Yang, C.; Liu, X. IRLSOT: Inverse reinforcement learning for scene-oriented trajectory prediction. IET Intell. Transp. Syst. 2022, 16, 769–781. [CrossRef] [^60]: Yang, B.; Yang, J.; Ni, R.; Yang, C.; Liu, X. Multi-granularity scenarios understanding network for trajectory prediction. Complex Intell. Syst. 2023, 9, 851–864. [CrossRef] [^61]: Xie, E.; Wang, W.; Yu, Z.; Anandkumar, A.; Alvarez, J.M.; Luo, P. SegFormer: Simple and efficient design for semantic segmentation with transformers. Adv. Neural Inf. Process. Syst. 2021, 34, 12077–12090. [^62]: Peng, W.; Cui, Z.; Duan, Y.; Tao, X. Multi-Relational Pedestrian Trajectory Prediction in Complex Scenes. In Proceedings of the IEEE 96th Vehicular Technology Conference (VTC2022-Fall), London, UK, 26–29 September 2022; pp. 1–5. [^63]: Xu, P.; Hayet, J.B.; Karamouzas, I. Context-aware timewise VAEs for real-time vehicle trajectory prediction. IEEE Robot. Autom. Lett. 2023, 8, 5440–5447. [CrossRef] [^64]: Chen, G.; Li, J.; Lu, J.; Zhou, J. Human trajectory prediction via counterfactual analysis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 9824–9833. [^65]: Pearl, J. Statistics and causal inference: A review. Test 2003, 12, 281–345. [CrossRef] [^66]: Ge, C.; Song, S.; Huang, G. Causal intervention for human trajectory prediction with cross attention mechanism. In Proceedings of the AAAI Conference on Artificial Intelligence, Washington, DC, USA, 7–14 February 2023; Volume 37, pp. 658–666. [^67]: Lian, J.; Yu, F.; Li, L.; Zhou, Y. Causal temporal–spatial pedestrian trajectory prediction with goal point estimation and contextual interaction. IEEE Trans. Intell. Transp. Syst. 2022, 23, 24499–24509. [CrossRef] [^68]: Liu, Y.; Yu, R.; Zheng, S.; Zhan, E.; Yue, Y. Naomi: Non-autoregressive multiresolution sequence imputation. Adv. Neural Inf. Process. Syst. 2019, 32, 1–11. [^69]: Yoon, J.; Jordon, J.; Schaar, M. Gain: Missing data imputation using generative adversarial nets. In Proceedings of the International conference on machine learning, Stockholm, Sweden, 10–15 July 2018; pp. 5689–5698. [^70]: Qi, M.; Qin, J.; Wu, Y.; Yang, Y. Imitative non-autoregressive modeling for trajectory forecasting and imputation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 12736–12745. [^71]: Xu, Y.; Bazarjani, A.; Chi, H.G.; Choi, C.; Fu, Y. Uncovering the missing pattern: Unified framework towards trajectory imputation and prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 9632–9643. [^72]: Qin, K.K.; Ren, Y.; Shao, W.; Lake, B.; Privitera, F.; Salim, F. D. Multiple-level point embedding for solving human trajectory imputation with prediction. ACM Trans. Spat. Algorithms Syst. 2023, 9, 1–22. [CrossRef] [^73]: Makansi, O.; Cicek, Ö.; Marrakchi, Y.; Brox, T. On exposing the challenging long tail in future prediction of traffic actors. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 13147–13157. ## [^74]: Zhou, W.; Cao, Z.; Xu, Y.; Deng, N.; Liu, X.; Jiang, K.; Yang, D. Long-tail prediction uncertainty aware trajectory planning for self-driving vehicles. In Proceedings of the IEEE 25th International Conference on Intelligent Transportation Systems (ITSC), Macau, China, 8–12 October 2022; pp. 1275–1282. --- [^75]: Chen, G.; Chen, Z.; Fan, S.; Zhang, K. Unsupervised sampling promoting for stochastic human trajectory prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 17874–17884. [^76]: Wang, Y.; Zhang, P.; Bai, L.; Xue, J. Fend: A future enhanced distribution-aware contrastive learning framework for long-tail trajectory prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 1400–1409. [^77]: Itkina, M.; Kochenderfer, M. Interpretable self-aware neural networks for robust trajectory prediction. In Proceedings of the Conference on Robot Learning, Atlanta, GA, USA, 6–9 November 2023; pp. 606–617. [^78]: Brewitt, C.; Gyevnar, B.; Garcín, S.; Albrecht, S.V. GRIT: Fast, interpretable, and verifiable goal recognition with learned decision trees for autonomous driving. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, Czech Republic, 27 September–1 October 2021; pp. 1023–1030. [^79]: Antonini, G.; Bierlaire, M.; Weber, M. Discrete choice models of pedestrian walking behavior. Transp. Res. Part B Methodol. 2006, 40, 667–687. [CrossRef] [^80]: Guo, R.Y.; Huang, H.J. A mobile lattice gas model for simulating pedestrian evacuation. Phys. A Stat. Mech. Appl. 2008, 387, 580–586. [CrossRef] [^81]: Asano, M.; Iryo, T.; Kuwahara, M. Microscopic pedestrian simulation model combined with a tactical model for route choice behaviour. Transp. Res. Part C Emerg. Technol. 2010, 18, 842–855. [CrossRef] [^82]: Robin, T.; Antonini, G.; Bierlaire, M.; Cruz, J. Specification, estimation and validation of a pedestrian walking behavior model. Transp. Res. Part B Methodol. 2009, 43, 36–56. [CrossRef] [^83]: Kothari, P.; Sifringer, B.; Alahi, A. Interpretable social anchors for human trajectory forecasting in crowds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 20–25 June 2021; pp. 15556–15566. [^84]: Cao, C.; Yang, C.; Zhang, R.; Li, S. Discovering intrinsic spatial-temporal logic rules to explain human actions. Adv. Neural Inf. Process. Syst. 2024, 36, 1–12. [^85]: Neumeier, M.; Botsch, M.; Tollkühn, A.; Berberich, T. Variational autoencoder-based vehicle trajectory prediction with an interpretable latent space. In Proceedings of the IEEE International Intelligent Transportation Systems Conference (ITSC), Indianapolis, IN, USA, 19–22 September 2021; pp. 820–827. [^86]: Shi, L.; Wang, L.; Long, C.; Zhou, S.; Zheng, F.; Zheng, N.; Hua, G. Social interpretable tree for pedestrian trajectory prediction. In Proceedings of the AAAI Conference on Artificial Intelligence, Vancouver, BC, Canada, 22 February–1 March 2022; Volume 36, pp. 2235–2243. [^87]: Yue, J.; Manocha, D.; Wang, H. Human trajectory forecasting with explainable behavioral uncertainty. arXiv 2023, arXiv:2307.01817. [^88]: Sadeghian, A.; Kosaraju, V.; Gupta, A.; Savarese, S.; Alahi, A. Trajnet: Towards a benchmark for human trajectory prediction. arXiv 2018, arXiv:1805.07663. [^89]: Deo, N.; Trivedi, M.M. Trajectory forecasts in unknown environments conditioned on grid-based plans. arXiv 2020, arXiv:2001.00735. [^90]: Marchetti, F.; Becattini, F.; Seidenari, L.; Bimbo, A.D. Mantra: Memory augmented networks for multiple trajectory prediction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, Seattle, WA, USA, 13–19 June 2020; pp. 7143–7152. [^91]: Pang, B.; Zhao, T.; Xie, X.; Wu, Y.N. Trajectory prediction with latent belief energy-based model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 20–25 June 2021; pp. 11814–11824. [^92]: Bae, I.; Jeon, H.G. A set of control points conditioned pedestrian trajectory prediction. In Proceedings of the AAAI Conference on Artificial Intelligence, Washington, DC, USA, 7–14 February 2023; Volume 37, pp. 6155–6165. [^93]: Wu, Y.; Wang, L.; Zhou, S.; Duan, J.; Hua, G.; Tang, W. Multi-stream representation learning for pedestrian trajectory prediction. In Proceedings of the AAAI Conference on Artificial Intelligence, Washington, DC, USA, 7–14 February 2023; Volume 37, pp. 2875–2882. [^94]: Chen, W.; Yang, Z.; Xue, L.; Duan, J.; Sun, H.; Zheng, N. Multimodal pedestrian trajectory prediction using probabilistic proposal network. IEEE Trans. Circuits Syst. Video Technol. 2022, 32, 2877–2891. [CrossRef] [^95]: Zhao, H.; Wildes, R.P. Where are you heading? Dynamic trajectory prediction with expert goal examples. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 10–17 October 2021; pp. 7629–7638. [^96]: Liang, R.; Li, Y.; Zhou, J.; Li, X. STGlow: A flow-based generative framework with dual-graphormer for pedestrian trajectory prediction. IEEE Trans. Neural Netw. Learn. Syst. 2023, 35, 16504–16517. [CrossRef] [^97]: Wong, C.; Xia, B.; Peng, Q.; You, X. Another vertical view: A hierarchical network for heterogeneous trajectory prediction via spectrums. arXiv 2023, arXiv:2304.05106. ## [^98]: Pellegrini, S.; Ess, A.; Van Gool, L. Improving data association by joint modeling of pedestrian trajectories and groupings. In Proceedings of the Computer Vision–ECCV 2010: 11th European Conference on Computer Vision, Heraklion, Crete, Greece, 5–11 September 2010; pp. 452–465. --- [^99]: Lerner, A.; Chrysanthou, Y.; Lischinski, D. Crowds by example. In Computer Graphics Forum; Blackwell Publishing Ltd.: Oxford, UK, 2007; Volume 26, pp. 655–664. [^100]: Xu, C.; Tan, R.T.; Tan, Y.; Chen, S.; Wang, Y.G.; Wang, X.; Wang, Y. Eqmotion: Equivariant multi-agent motion prediction with invariant interaction reasoning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 1410–1420. [^101]: Xu, C.; Mao, W.; Zhang, W.; Chen, S. Remember intentions: Retrospective-memory-based trajectory prediction. In Proceedings of the IFFF/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 6488–6497. [^102]: Wang, C.; Wang, Y.; Xu, M.; Crandall, D.J. Stepwise goal-driven networks for trajectory prediction. IEEE Robot. Autom. Lett. 2022, 7, 2716–2723. [CrossRef] [^103]: Rasouli, A.; Kotseruba, I.; Tsotsos, J.K. Are they going to cross? a benchmark dataset and baseline for pedestrian crosswalk behavior. In Proceedings of the IEEE International Conference on Computer Vision Workshops, Venice, Italy, 22–29 October 2017; pp. 206–213. [^104]: Rasouli, A.; Kotseruba, I.; Kunic, T.; Tsotsos, J.K. Pie: A large-scale dataset and models for pedestrian intention estimation and trajectory prediction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 6262–6271. [^105]: Pourkeshavarz, M.; Sabokrou, M.; Rasouli, A. Adversarial Backdoor Attack by Naturalistic Data Poisoning on Trajectory Prediction in Autonomous Driving. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 16–22 June 2024; pp. 14885–14894. 声明/出版者注：所有出版物中所载的陈述、观点和数据均仅属于个人作者和贡献者，不代表MDPI和/或编辑方。MDPI和/或编辑方不对因本文内容提及的任何观点、方法、说明或产品所导致的人身或财产伤害承担责任。