{
  "paper_id": "6f0d7b566c5a9d52c465ba69289ae750",
  "paper_title": "EgoM2P: Egocentric Multimodal Multitask Pretraining",
  "paper_authors": [
    "Gen Li",
    "Yutong Chen",
    "Yiqian Wu",
    "Kaifeng Zhao",
    "Marc Pollefeys",
    "Siyu Tang"
  ],
  "publication_date": "2025",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "理解自我中心视觉中的多模态信号(如RGB视频、深度、相机位姿和视线)对增强现实、机器人和人机交互等应用至关重要,可使系统更好地理解相机佩戴者的动作、意图和周围环境。然而,构建大规模自我中心多模态多任务模型面临独特挑战:自我中心数据本质上具有异质性,不同设备和场景下模态覆盖差异巨大;为缺失模态(如视线或头戴式相机轨迹)生成伪标签通常不可行,使标准监督学习方法难以扩展;此外,动态相机运动和第一人称视频复杂的时空结构对现有基础模型的直接应用构成额外挑战。为应对这些挑战,我们引入一组高效时序tokenizer,并提出EgoM2P——一个从时序感知多模态token学习的掩码建模框架,用于训练面向自我中心4D理解的大型通用模型。这一统一设计支持跨多种自我中心感知与合成任务的多任务处理,包括视线预测、自我中心相机跟踪和自我中心视频单目深度估计,同时也可作为条件自我中心视频合成的生成模型。在这些任务中,EgoM2P达到或超越专用模型,且速度快一个数量级。我们将完全开源EgoM2P以支持社区并推动自我中心视觉研究。",
  "keywords": [
    "自我中心视觉",
    "多模态预训练",
    "多任务学习",
    "掩码建模",
    "时序tokenizer",
    "视线估计",
    "相机跟踪",
    "单目深度估计",
    "条件视频合成",
    "基础模型"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "Zhejiang University",
    "Microsoft"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:49.028146Z",
  "template_tag": "simple",
  "summary": "### 摘要\n理解第一人称(自我中心)视觉中的多模态信号(RGB视频、深度、相机位姿、视线)对增强现实、机器人与人机交互至关重要,但现有大规模视频模型主要面向第三人称视角,图像多模态基础模型(如4M)依赖伪标签且难以保持时序一致性,而自我中心数据模态覆盖高度异质、视线等标注难以伪生成,导致缺乏统一的自我中心多模态多任务模型。为此,本文提出EgoM2P——首个面向自我中心4D数据的多模态多任务大模型:设计统一时序tokenizer(RGB与深度视频采用Cosmos tokenizer,时间压缩4倍、空间压缩8倍;视线与相机轨迹采用基于Transformer的VQ-VAE),将四种模态压缩为时序感知离散token;并将4M的多模态掩码预训练扩展到视频域,通过按数据集规模比例采样加模态内均匀采样解决token与数据集不平衡问题,以占位符掩码处理缺失模态,并将可见token上限提升至2048。模型采用T5-Base编码器-解码器架构,在整合EgoExo4D、HoloAssist、HOT3D、ARCTIC、TACO、H2O及合成数据EgoGen等八个数据集(约40亿多模态token,视频下采样至8 FPS、256×256分辨率、2秒片段;选择真实与合成数据互补以弥补深度与轨迹精确标注的稀缺)上预训练,核心训练机制为各模态交叉熵损失的平均:L_total=(1/|M|)·Σ_{m∈M} L_m,其中 L_m=-(1/T_m)·Σ_t Σ_c y_{t,c}^{(m)}·log(ŷ_{t,c}^{(m)});推理时以多步并行解码结合无分类器引导 ŷ=(1+ω)·ŷ_cond−ω·ŷ_uncond 与核采样实现高速生成。在相机跟踪(ATE/RTE/RRE)、视线估计(MSE)、单目深度估计(Abs Rel/δ1.25)与条件视频合成(FVD/SSIM/PSNR/LPIPS)四类任务上,EgoM2P达到或超越DROID-SLAM、Align3R、RollingDepth、ControlVideo等专用SOTA模型:如EgoExo4D上ATE 0.017且推理仅0.18秒(300+ FPS,验证并行解码的高效性),视线MSE 0.0162为所有方法最低,H2O深度Abs Rel 0.055、后训练后在未见HOI4D上δ1.25达99.0%(验证跨域泛化能力),HoloAssist合成FVD 0.759显著优于基线(验证统一多任务建模的有效性)。未来工作包括在嵌入式GPU上优化以满足可穿戴设备实时处理约束、采用以离散token为条件的扩散解码器提升视觉质量,以及整合手部运动、音频、文本等更多模态;当前局限是合成视频质量受视频tokenizer量化误差的限制。\n\n### 关键要点\n- EgoM2P是首个整合RGB视频、深度视频、视线动态与相机轨迹四种模态的自我中心多模态多任务大模型,支持任意模态到任意模态的预测,覆盖感知与生成两类任务。\n- 提出统一时序tokenizer架构:RGB与深度视频采用Cosmos tokenizer(时间压缩率4、空间压缩率8),视线与相机轨迹采用基于Transformer的VQ-VAE,其训练损失包含重构L2损失、码本对齐损失与承诺损失,并对跟踪丢失的无效视线数据使用掩码L2损失。\n- 数据整理分三步:切分为2秒片段并统一重编码为高质量mp4;用RollingDepth生成像素对齐深度伪标签,并用EgoGen合成约30小时(30 FPS)带精确深度与相机轨迹标注的数据;标准化为30 FPS、逆深度表示与OpenCV相机约定(以首帧为参考帧)。\n- 针对模态token严重不平衡(每样本视频token约为视线token的170倍)与数据集规模悬殊(EgoExo4D样本数为H2O的160倍),采用先按数据集大小比例采样、再以均匀浓度参数采样模态token的策略,获得最稳定的训练与最优性能。\n- 将可见输入与目标token上限从4M的256提升至2048以容纳视频信息,输入与目标token互不重叠,缺失模态以占位符表示并被掩码,从而无需为所有模态伪标注。\n- 模型主体遵循T5-Base架构:编码器对采样的可见输入token做自注意力以整合多模态时空信息,解码器通过与编码器输出的交叉注意力和限制于同模态内的掩码自注意力预测目标token,训练损失为各可用模态交叉熵的平均。\n- 相机跟踪任务上,EgoM2P在EgoExo4D验证集取得ATE 0.017、RTE 0.004、RRE 0.429,与需要测试时几何优化的DROID-SLAM、ACE-Zero、Align3R相当,但单次前向推理仅0.18秒(300+ FPS),且无需任何3D归纳偏置即可在未见ADT数据集上泛化。\n- 视线动态估计在EgoExo4D验证集1000个视频上取得最低MSE 0.0162,优于Huang等(0.0255)与Lai等(0.0175)两种SOTA方法,预测结果更符合人类意图且更一致。\n- 单目深度估计在H2O测试集上Abs Rel 0.055、δ1.25为96.0%,后训练后在未见HOI4D数据集上达0.041与99.0%,单次端到端前向推理比需序列级优化的RollingDepth与Align3R快至少30倍。\n- 深度到RGB视频合成在HoloAssist测试集上FVD 0.759、SSIM 0.592、PSNR 15.163、LPIPS 0.336,全面优于Control-A-Video与ControlVideo;在未见ASE数据集上生成更接近真实分布的视频,而基于Stable Diffusion的基线易产生语义与几何失配的幻觉。\n- 预训练后的EgoM2P展现强跨数据集泛化能力,并可通过在未见数据集训练集上的后训练以极少量数据快速适应新领域,进一步提升各任务性能。\n- 局限与未来方向:合成视频视觉质量受当前SOTA视频tokenizer量化误差限制,可探索以离散视频token为条件的扩散解码器;未来将在嵌入式GPU上优化性能以满足可穿戴设备实时处理约束,并整合手部运动、音频、文本等更多模态。"
}