{
  "paper_id": "89304e5ff3ae7a69b4a3af014a1e20b5",
  "paper_title": "FLOT: Scene Flow on Point Clouds guided by Optimal Transport",
  "paper_authors": [
    "Gilles Puy",
    "Alexandre Boulch",
    "Renaud Marlet"
  ],
  "publication_date": "",
  "publication_venue": "Computer Vision -- ECCV 2020",
  "abstract": "We propose and study a method called FLOT that estimates scene flow on point clouds. We start the design of FLOT by noticing that scene flow estimation on point clouds reduces to estimating a permutation matrix in a perfect world. Inspired by recent works on graph matching, we build a method to find these correspondences by borrowing tools from optimal transport. Then, we relax the transport constraints to take into account real-world imperfections. The transport cost between two points is given by the pairwise similarity between deep features extracted by a neural network trained under full supervision using synthetic datasets. Our main finding is that FLOT can perform as well as the best existing methods on synthetic and real-world datasets while requiring much less parameters and without using multiscale analysis. Our second finding is that, on the training datasets considered, most of the performance can be explained by the learned transport cost. This yields a simpler method, FLOT_0, which is obtained using a particular choice of optimal transport parameters and performs nearly as well as FLOT.",
  "keywords": [
    "scene flow",
    "point clouds",
    "optimal transport",
    "deep learning",
    "Sinkhorn algorithm",
    "FLOT"
  ],
  "paper_institutions": [
    "valeo.ai",
    "ENPC"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:11.855689Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文提出并研究了一种名为 FLOT 的点云场景流估计方法。该方法将场景流估计问题转化为在理想世界中估计置换矩阵的问题，并借鉴图匹配领域的最优传输工具来寻找点云间的软对应关系。FLOT 首先利用基于 PointNet++ 的卷积网络提取每个点的深度特征，并计算特征间的余弦距离作为传输代价；随后通过展开 Sinkhorn 算法（迭代 K 次）求解带熵正则和 KL 散度软约束的最优传输问题，得到传输计划，再通过加权质心计算初始场景流，并用残差网络进行细化。训练过程使用合成数据集 FlyingThings3D 的全监督标签，以 L1 损失优化网络参数及传输参数。实验在 FlyingThings3D 和 KITTI 场景流数据集（含遮挡和不含遮挡两种版本）上进行，采用 EPE、AS、AR、Outlier 等指标评估。结果表明，FLOT 在仅 0.11M 参数（远少于 HPLFlowNet 的 19M 和 PointPWC-Net 的 7.7M）且不使用多尺度分析的情况下，性能可与最先进方法相当。进一步研究发现，传输代价矩阵 C 对性能贡献最大，由此提出了简化版 FLOT_0（λ=0），其本质上等价于注意力机制，性能接近 FLOT。未来方向包括显式处理遮挡问题。核心公式为传输计划 T = diag(a) U diag(b)，其中 U = exp(-C/ε)，通过迭代更新 a 和 b 求解。\n\n### 关键要点\n- FLOT 将场景流估计视为最优传输问题，在理想世界中等价于估计置换矩阵。\n- 使用点云卷积网络（基于 PointNet++）提取特征，并通过余弦距离构造传输代价矩阵 C。\n- 通过展开 Sinkhorn 算法（K 次迭代）求解带熵正则和 KL 散度软约束的传输问题，参数 ε 和 λ 可学习。\n- 实验在 FlyingThings3D（FT3D_s 和 FT3D_o）和 KITTI（KITTI_s 和 KITTI_o）上进行，覆盖无遮挡和有遮挡场景。\n- 训练损失为纯 L1 范数，使用掩码排除无效（遮挡）点，优化网络参数和传输参数。\n- 在 FT3D_s 上，FLOT (K=1) 的 EPE 为 0.052，优于 FlowNet3D (0.114) 和 HPLFlowNet (0.080)，与 PointPWC-Net (0.055) 相当。\n- 在 KITTI_s 上，FLOT 的 EPE 为 0.056，显著优于对比方法，且模型大小仅 0.44 MB。\n- FLOT_0（λ=0）仅利用代价矩阵 C，性能接近 FLOT，证明 C 是性能的主要来源。\n- 遮挡对性能有负面影响，松弛质量约束可缓解但不能显式处理遮挡。\n- OT 模块的计算时间占比很小（最多 8%），主要时间消耗在特征提取器 g 上。\n- 增加 Sinkhorn 迭代次数 K 在理想数据集上提升性能，但在实际场景中 K=1 或 3 已足够，K=5 可能略微下降。\n- 残差细化网络 h 在无遮挡的理想场景中非必需，但在真实场景中可将 EPE 降低约两倍。"
}