{
  "paper_id": "559d9e5e0ef2b5dcddbeacd3f20880e1",
  "paper_title": "FunREC: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos",
  "paper_authors": [
    "Alexandros Delitzas"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "We present FunREC, a method for reconstructing functional 3D digital twins of indoor scenes directly from egocentric RGB-D interaction videos. Unlike existing methods on articulated reconstruction, which rely on controlled setups, multi-state captures, or CAD priors, FunREC operates directly on in-the-wild human interaction sequences to recover interactable 3D scenes. It automatically discovers articulated parts, estimates their kinematic parameters, tracks their 3D motion, and reconstructs static and moving geometry in canonical space, yielding simulation-compatible meshes. Across new real and simulated benchmarks, FunREC surpasses prior work by a large margin, achieving up to +50 mIoU improvement in part segmentation, 5-10x lower articulation and pose errors, and significantly higher reconstruction accuracy. We further demonstrate applications on URDF/USD export for simulation, hand-guided affordance mapping and robot-scene interaction. Our project page is: functionalscenes.github.io.",
  "keywords": [
    "功能性3D重建",
    "数字孪生",
    "关节物体重建",
    "自我中心RGB-D视频",
    "运动学参数估计",
    "部件分割",
    "6D位姿估计",
    "TSDF融合",
    "具身智能",
    "场景理解"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:39.671378Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决从单段自我中心RGB-D交互视频重建室内场景功能性3D数字孪生的问题：不仅恢复静态几何，还要自动发现关节部件、估计运动学参数、追踪3D运动并重建仿真兼容的可交互网格。现有方法存在明显局限——MultiScan需人工对齐多状态扫描，SceneFun3D/Articulate3D依赖静态LiDAR扫描的功能标注，“数字表亲”类方法靠检索相似CAD代理，物体级关节重建方法（Ditto、PARIS、ArtGS等）则假设受控环境、固定相机或已知CAD模型，均无法端到端处理真实场景尺度的交互视频。为此作者提出FunREC，一个免训练、基于优化的流水线，融合几何推理与基础模型的语义/运动先验：先用视频-语言模型将视频切分为静态/动态片段并判定关节类型，再用RoMA匹配与SupeRANSAC估计相机位姿，用TAPIP3D提取稀疏3D轨迹并进行关节感知的运动聚类，结合SAM过分割、运动比率投票与SAM2视频传播获得像素级部件掩码，最后联合优化部件位姿与关节参数并以双TSDF体素分别融合静态场景与规范坐标系下的部件几何；其核心机制是将部件运动建模为棱柱或旋转关节，例如旋转关节变换 T_rev(a, p, θ_i) = [R(a,θ_i) | (I−R(a,θ_i))p; 0^T, 1]，其中 a 为单位旋转轴、p 为轴上支点、θ_i 为第 i 帧转角。数据方面，作者在HOI4D（实验室单物体交互）之外新构建RealFun4D（4国60套公寓的351段真实交互视频，Azure Kinect DK 1920×1080@15FPS）与OmniFun4D（12个OmniGibson场景、127段光追渲染序列），以同时覆盖真实/仿真与受控/野外设定并验证泛化性。评估涵盖关节运动估计（轴方向/位置误差、关节状态误差、失败率）、6D部件位姿（ADD-S/ADD）、部件分割（mIoU）与重建质量（Chamfer距离）：FunREC在OmniFun4D上轴方向误差仅5.3°/5.4°（旋转/棱柱）、位置误差0.03 m、失败率1.7%，三数据集分割mIoU达74.8–77.9（较基线最高提升约+50 mIoU），ADD-S为75.6–79.4%，CD为0.7–6.1 cm，关节与位姿误差较先前方法降低5–10倍，支撑了“免训练优化+基础模型先验”这一创新的有效性。进一步探索方向包括URDF/USD仿真导出、手部引导可供性映射与机器人-场景交互（如Spot机械臂复现人类开柜演示）；实际应用场景为具身智能与机器人操作的真实环境数字化，约束在于需要RGB-D输入、视频须包含足够交互运动线索，且极端遮挡或光照变化下基础模型先验可能退化。\n\n### 关键要点\n- FunREC是免训练、基于优化的系统，直接从单段自我中心RGB-D交互视频重建含可动关节部件的功能性3D数字孪生，无需多状态采集、人工标注或CAD先验。\n- 方法将视频切分为时间连续片段，用视频-语言模型自动分类静态/动态片段并预测关节类型（棱柱或旋转），各片段独立处理。\n- 相机位姿通过RoMA稠密对应、VISOR手部/交互物体掩码过滤（丢弃手部点、降权物体点）及SupeRANSAC估计，并以片段级位姿图优化保证全局一致。\n- 稀疏3D轨迹由TAPIP3D在世界坐标系中获取，每条轨迹拟合3D直线（棱柱）或圆（旋转），按平均拟合误差阈值过滤后用HDBSCAN按关节参数相似度聚类为独立运动部件。\n- 通过将运动/静态轨迹投影至SAM过分割区域并计算运动比率 γ_r = n_r^m/(n_r^m + n_r^s + ε) 生成关键帧运动掩码，再由SAM2视频传播得到时序一致的稠密部件分割。\n- 部件位姿与关节参数通过最小化位姿图残差 e_ij = log_SE(3)((T_i^m)^{-1} T_j^m T_{i→j}^m) 及回环置信度正则联合优化，用Ceres流形优化保证参数位于各自流形。\n- 几何重建采用两个独立TSDF体素：静态背景在世界系融合（排除手与运动部件像素），关节部件经 (T_i^m)^{-1} T_i^c 变换后在规范系融合，完整场景为 P_i = P^s ∪ T_i^m(P^m)，并从轨迹估计可交互运动范围。\n- 新数据集RealFun4D含351段真实交互视频（4国60套公寓，Azure Kinect DK 1080p@15FPS，含手/部件掩码与关节标注），OmniFun4D含12个OmniGibson场景的127段光追渲染序列，与HOI4D共同构成评估基准（含60段交互评测集与HOI4D的30段四类物体交互）。\n- 关节运动估计上，FunREC在OmniFun4D轴方向误差5.3°/5.4°、位置误差0.03 m、状态误差5.0°/0.02 m、失败率1.7%，在HOI4D与RealFun4D失败率为0%，远优于MonST3R、SpatialTrackerV2、BundleSDF与ArtGS。\n- 部件分割mIoU达77.9（OmniFun4D）、76.4（HOI4D）、74.8（RealFun4D），较MonST3R（23.6–26.8）和SpatialTrackerV2（5.8–13.4）提升最高约+50 mIoU。\n- 6D部件位姿ADD-S/ADD分别为79.0/71.3%、79.4/69.9%、75.6/68.1%，重建Chamfer距离为3.2、0.7、6.1 cm，均大幅领先所有基线（较BundleSDF提升逾两倍）。\n- 应用包括导出URDF/USD至Isaac Sim物理仿真（质量/惯性可由VLM推断）、3D手部网格对齐的可供性接触映射，以及Boston Dynamics Spot带臂机器人依据人类演示稳定复现开柜等交互；约束在于需RGB-D输入与足够交互运动，且依赖基础模型先验。"
}