{
  "paper_id": "8d9f31aef325d04122e84328421250c9",
  "paper_title": "VI3: Grounding Pretrained 3D Foundation Models with Inertial Cues",
  "paper_authors": [
    "Ernesto Lozano",
    "Alberto Jaenal",
    "Javier Civera"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "3D foundation models (3DFMs) excel at predicting camera poses and dense depth from multiple views of a scene, showcasing strong zero-shot generalization. However, as metric scale is not observable from monocular images, their absolute scale predictions are typically inaccurate. Inertial measurement units (IMUs), present in most devices, naturally complement monocular cameras by observing scaled motion. We introduce VI3, a model-agnostic framework that metrically anchors a pretrained 3DFM using only IMU readings. VI3 initializes and preintegrates the IMU to obtain a metric motion reference, which is then used to recover the scale of the 3DFM outputs. Our method includes adaptable anchoring strategies tailored to diverse 3DFM architectures. Experiments on synthetic and real aerial datasets demonstrate that VI3 recovers metric scale without ground-truth supervision while preserving geometric consistency, acting as a fine refinement under well-conditioned motion and as a strong prior when motion is less informative.",
  "keywords": [
    "三维基础模型",
    "惯性测量单元（IMU）",
    "米制尺度恢复",
    "视觉惯性估计",
    "测试时精修",
    "IMU预积分",
    "稠密三维重建",
    "相机位姿估计"
  ],
  "paper_institutions": [
    "I3A, Universidad de Zaragoza, Spain"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:33:34.700541Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n3D基础模型（3DFM，如DUSt3R、VGGT、π³）能从多视角图像一次前馈预测相机位姿与稠密深度，但因单目图像无法观测米制尺度、且训练采用源自SfM的尺度不变监督，其重建仅定义于未知全局尺度因子，与真实物理维度脱钩；已有尺度感知方案依赖数据驱动先验或精确标定与上游米制位姿，在无约束场景易失效。本文提出VI3，一个模型无关的视觉-惯性锚定框架，仅用机载IMU读数即可将冻结的预训练3DFM物理锚定：先借助3DFM输出对IMU进行免真值初始化——闭式估计陀螺偏置、以总体最小二乘（TLS）加中值回投影估计初始速度与尺度、以GeoCalib/IMU平均/运动学最小二乘三源共识确定重力方向——再经预积分得到以首帧为原点、物理一致且重力感知的米制参考轨迹，最后通过输入条件化（适用于Pi3X、DA3等支持辅助输入的模型）或测试时精修（TTR，引入可学习标量α并解冻相机头、深度头与聚合器最后8个全局注意力块）注入尺度。实验选用覆盖全运动谱的三个航空数据集：TartanAirV2（合成、无噪高视差）、EuRoC-MAV（中等运动）与UZH-FPV（高速低视差），以n=8帧、步长2的片段评测五个骨干，TTR用AdamW固定160步、单张NVIDIA RTX 5090运行，这些设置既验证了跨骨干与跨场景的泛化能力，也检验了分布内外的差异。指标包括平移RMSE、旋转角误差、轨迹与深度尺度比（理想为1）、AbsRel与δ<1.25；结果显示up-to-scale骨干原本欠缩放3–7倍、δ<1.25≈0，TTR后尺度恢复至≈1（如TartanAirV2上VGGT轨迹尺度0.14→1.05、平移1.130→0.358 m），旋转一致改善且几何保持一致，米制骨干在分布外亦显著提升，证明物理测量锚定优于学习先验与输入条件化。未来可扩展至GNSS、轮式里程计、深度等多源米制信号融合及新视角合成、建图等下游任务。实际约束在于：米制尺度仅在运动提供足够平移视差时可恢复，属可观测性极限而非估计失败。核心机制为总目标 L(θ)=w_r·L_rot+w_p·L_pos+w_d·L_dcons+w_{a_p}·L_a^p+w_{a_d}·L_a^D，其中位姿项以惯性预积分的相对位姿为监督、跨视图深度一致性项自监督耦合深度与位姿、锚定正则保护3DFM结构先验。\n\n### 关键要点\n\n- VI3是首个在推理时将稠密3DFM先验与惯性米制锚定结合的模型无关框架，仅需机载IMU，完全绕过优化后端、地图与外部微调语料，无需任何真值监督。\n- IMU初始化利用3DFM输出与惯性读数估计陀螺偏置（相邻帧闭式解取平均）、初始速度（TLS尺度估计配合全对中值回投影幅值）与重力方向（GeoCalib、IMU加速度平均与运动学最小二乘三源共识，20°噪声下限触发离群剔除）。\n- 预积分将偏置与噪声校正后的IMU读数积分为相对旋转、位置与速度变化，生成以首帧为原点的物理一致、重力感知米制目标轨迹，作为锚定监督信号。\n- 尺度注入有两种途径：对支持辅助输入的模型（Pi3X、DA3）进行IMU位姿条件化（前馈）；对所有模型进行测试时精修，引入作用于平移与深度的可学习标量α，仅解冻相机头、深度头与聚合器最后L=8个全局注意力块。\n- 实验数据集覆盖全运动谱：TartanAirV2（24个合成场景、室内外四环境、easy/hard、P000/P002）、EuRoC-MAV全部11条序列、UZH-FPV 16条无人机竞速序列；每序列采3个n=8帧、步长2的片段，指标取中位数。\n- 评测不做轨迹对齐以评估绝对米制精度，指标含平移RMSE（米）、旋转角误差（度）、轨迹与深度尺度比（理想1）、AbsRel与δ<1.25。\n- up-to-scale骨干（VGGT、VGGT-Ω、π³）原本欠缩放3–7倍、δ<1.25≈0，TTR后尺度恢复至≈1（如TartanAirV2上VGGT轨迹尺度0.14→1.05、平移1.130→0.358 m），旋转亦一致改善。\n- 米制骨干（Pi3X、DA3）在分布外场景经TTR显著提升（UZH-FPV上Pi3X平移0.576→0.368 m、旋转0.933°→0.233°），且当数据驱动先验覆盖输入条件化时，TTR是更可靠的替代方案。\n- 消融验证设计选择：TLS优于OLS（EuRoC尺度0.76→0.96）；全对中值回投影优于首对；重力共识在UZH-FPV触发31%替换使误差23.75°→10.32°；深度一致性加锚定正则使δ<1.25从0.275升至0.324。\n- 敏感性分析表明尺度恢复对IMU偏置与重力噪声鲁棒，但对初始速度的方向尤其幅值误差高度敏感，是主要误差来源。\n- 计算成本：初始化约232 ms且与模型无关；TTR每迭代302–802 ms，160步总计48–128 s（单张RTX 5090），8个可训练块为精修容量与时间/显存的平衡点。\n- 局限：米制尺度仅在运动提供足够平移视差时可恢复，属可观测性极限而非估计失败；不同模型在该退化状态下的表现取决于其帧间速度预测质量。"
}