{
  "paper_id": "325d01136c7ed34be244a839ff288530",
  "paper_title": "PUFM++: Point Cloud Upsampling via Enhanced Flow Matching",
  "paper_authors": [
    "Zhi-Song Liu",
    "Chenhang He",
    "Roland Maier",
    "Andreas Rupp"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Recent advances in generative modeling have demonstrated strong promise for high-quality point cloud upsampling. In this work, we present PUFM++, an enhanced flow-matching framework for reconstructing dense and accurate point clouds from sparse, noisy, and partial observations. PUFM++ improves flow matching along three key axes: (i) geometric fidelity, (ii) robustness to imperfect input, and (iii) consistency with downstream surface-based tasks. We introduce a two-stage flow-matching strategy that first learns a direct, straight-path flow from sparse inputs to dense targets, and then refines it using noise-perturbed samples to approximate the terminal marginal distribution better. To accelerate and stabilize inference, we propose a data-driven adaptive time scheduler that improves sampling efficiency based on interpolation behavior. We further impose on-manifold constraints during sampling to ensure that generated points remain aligned with the underlying surface. Finally, we incorporate a recurrent interface network (RIN) to strengthen hierarchical feature interactions and boost reconstruction quality. Extensive experiments on synthetic benchmarks and real-world scans show that PUFM++ sets a new state of the art in point cloud upsampling, delivering superior visual fidelity and quantitative accuracy across a wide range of tasks. Code and pretrained models are publicly available at <https://github.com/Holmes-Alan/Enhanced_PUFM>.",
  "keywords": [
    "Point Clouds",
    "Flow Matching",
    "Upsampling",
    "Testing-time Optimization"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:33:26.963651Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n点云上采样旨在从稀疏、含噪、不完整的观测中重建稠密且精确的点云，以支撑表面重建、物体识别与场景理解等下游任务；传统方法依赖手工几何先验、泛化与扩展性受限，而近期生成式方法中基于扩散的PUDM、PDANS需20–50步去噪导致推理缓慢，且多数先前工作过度依赖对底层分布不敏感的倒角距离（CD）监督。本文提出PUFM++，一个增强的流匹配上采样框架，其核心机制是学习时间相关速度场ν_θ(x,t)，由连续性方程∂p_t/∂t + ∇·(p_t·ν_θ)=0描述的概率路径将稀疏分布ρ₀传输至稠密分布ρ₁，并采用两阶段优化：第一阶段基于拍卖算法近似EMD的最优传输预对齐学习稀疏到稠密的直线路径流（MSE回归损失），第二阶段对稀疏输入施加高斯噪声扰动（σ=0.02）并以置换不变的CD损失精修端点，从而逼近终端边缘分布并增强对输入扰动的鲁棒性。方法还引入基于训练损失累积分布函数（CDF）的数据驱动自适应时间调度器（ATS）以加速并稳定推理、推理时的流形约束（kNN曲率估计与反向投影后处理）确保生成点贴合底层曲面，以及采用循环接口网络（RIN）的潜状态循环速度估计以在连续逆过程中保持全局几何一致性。实验在合成基准PUGAN（27个测试点云）与PU1K（127个测试点云）上训练评估（稠密patch含1024点、稀疏patch含256点，采用Poisson盘采样+FPS+kNN构造配对），并选用ScanNet（RGB-D室内场景）、KITTI（LiDAR驾驶）与ABC（CAD模型）三个真实数据集验证泛化性与下游任务表现；训练在两块NVIDIA V100 GPU上进行，第一阶段batch size 32、学习率10⁻⁴、100轮Adam优化，第二阶段学习率10⁻⁵、50轮，完整模型训练约10 GPU小时。评估指标涵盖CD、HD、P2F、JSD及网格重建的NC、ALR、MR。结果显示PUFM++在所有点云指标上树立新SOTA：4倍上采样时CD/HD较PUFM分别提升0.07/0.13，16倍时提升0.05/0.12，P2F较最具竞争力的Grad-PU改善0.3–0.7，JSD较PUFM降低20–45%，且仅需5–6步推理即可获得高质量结果。未来方向包括单步流匹配蒸馏与联合上采样-补全模型。实际应用涵盖机器人导航、自动驾驶（KITTI上汽车类检测AP达23.86、甚至超过原始LiDAR数据的20.36）、工业检测与CAD逆向工程，但需注意生成式重建可能被滥用于3D伪造与溯源混淆、在域偏移（文化特定物体、传感器失真）下泛化不均、以及人脸等敏感几何重建的隐私风险等现实约束。\n\n### 关键要点\n\n- 核心方法为两阶段流匹配：第一阶段用拍卖算法近似EMD进行最优传输预对齐并回归速度场，第二阶段对加噪稀疏输入以倒角距离精修，强制终端边缘分布约束（类似Schrödinger系统）并引入平滑正则以降低梯度方差。\n- 自适应时间调度器将各时间步训练MSE损失转化为难度密度ω(t)=(L(t)+ψ)^β并构建CDF，经逆变换采样分配ODE步长——困难区域多步、平滑区域少步，无需额外训练即提升重建保真度。\n- 潜状态循环速度估计将网络扩展为[ν_pred, z_{t+1}]=ν_θ(x_t, z_t, t)，RIN通过Read-Compute-Write堆叠注意力维护演化记忆；训练采用两遍估计（空初始化代理潜状态+停止梯度）弥合并行训练与顺序推理的差距。\n- 推理时流形约束：用kNN邻域协方差矩阵最小特征值占比κ=λ₁/(λ₁+λ₂+λ₃)估计曲率并加权速度更新，再以kNN反向投影的流形距离梯度做后处理，使生成点贴合底层曲面并改善网格重建。\n- 数据与设置：PUGAN与PU1K数据集上稠密patch含1024点、稀疏patch含256点；训练用Adam（第一阶段lr=10⁻⁴、100轮、batch 32；第二阶段lr=10⁻⁵、50轮、噪声σ=0.02），数据增强为随机旋转与平移。\n- 主要结果：4倍上采样CD/HD较PUFM提升0.07/0.13，16倍提升0.05/0.12；P2F较Grad-PU改善0.3–0.7；JSD较PUFM降低20–45%；网格重建NC最高（PU1K 4倍时0.957）、MR达0.992，ALR仅次于RepKPU。\n- 消融证据：EMD预对齐较CD对齐在CD/HD上再提升0.1–0.4；端点精修使CD降低0.06–0.12；RIN参数量约为PointNet++的3倍（115.26M vs 30.36M）但运行时间仅增约50%，两阶段RIN取得最优（PUGAN CD 0.098）。\n- 鲁棒性验证：在噪声水平η=0.01与0.02的PU1K上，除η=0.01时HD略逊于PUDM外，CD/HD/P2F均为最优；多尺度上采样（5–32倍）仍保持平滑表面与细直结构。\n- 真实场景表现：KITTI模拟32线LiDAR后上采样使汽车类AP达23.86（原始数据20.36）；ScanNet 4倍上采样CD/HD最优（0.899/0.156）；ABC上Point2CAD转换Res-err 0.005、P-cover 0.995，3D曲线估计CD/HD在对比方法中最优。\n- 效率优势：仅需5–6步ODE推理即可获得高质量上采样（为平衡质量与运行时间选6步），相比扩散类方法（20–50步）大幅加速，且推理时可跳过预对齐直接精修稀疏点云。\n- 约束与局限：训练数据以合成或精选3D模型为主，对文化特定物体、传感器失真等域偏移可能泛化不均；高保真重建人脸等敏感几何存在隐私风险；生成式增强可能被滥用于3D伪造，需透明披露算法修改；全部实验约800 GPU小时（单模型训练约3 kWh、1.2 kg CO₂排放）。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}