{
  "paper_id": "18e6c208d6ef0e062d4cddf7c514abc2",
  "paper_title": "Flowing from Reasoning to Motion: Learning 3D Hand Trajectory Prediction from Egocentric Human Interaction Videos",
  "paper_authors": [
    "Mingfei Chen",
    "Yifan Wang",
    "Zhengqin Li",
    "Homanga Bharadhwaj",
    "Yujin Chen",
    "Chuan Qin",
    "Ziyi Kou",
    "Yuan Tian",
    "Eric Whitmire",
    "Rajinder Sodhi",
    "Hrvoje Benko",
    "Eli Shlizerman",
    "Yue Liu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "现有3D手部轨迹预测受限于将运动与语义监督解耦的数据集，以及推理与行动之间连接较弱的模型。为解决这些问题，本文首先提出EgoMAN数据集，这是一个面向交互阶段感知3D手部轨迹预测的大规模第一视角数据集，包含21.9万条6自由度轨迹和300万个用于语义、空间与运动推理的结构化问答对。本文进一步提出EgoMAN模型，这是一个通过轨迹令牌接口连接视觉语言推理与运动生成的“推理到运动”框架。模型经过渐进式训练以对齐推理与运动动态，能够生成准确、具有阶段感知能力并可泛化到真实场景的手部轨迹。\n",
  "keywords": [
    "3D手部轨迹预测",
    "第一视角视频",
    "人机交互",
    "视觉语言模型",
    "推理到运动",
    "Flow Matching",
    "6自由度轨迹",
    "交互阶段感知",
    "意图条件生成"
  ],
  "paper_institutions": [
    "Meta",
    "University of Washington"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:16:49.427292Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究如何从第一视角RGB图像、过去手腕运动和自然语言意图出发，预测未来长时序双手6自由度轨迹，以支撑机器人操作、语言条件运动合成和主动辅助系统；相关方法中，可供性方法依赖目标检测并容易传播上游误差，扩散、VAE或状态空间模型多关注短期低层动态，而视觉语言动作模型直接生成高频连续运动时又难以保证平滑性，已有VLM与运动专家的连接则常依赖隐式令牌或冗长推理链，限制效率、泛化和可解释性。作者提出EgoMAN项目：在数据侧构建基于Aria眼镜、来自EgoExo4D、Nymeria和HOT3D-Aria的大规模第一视角数据集，涵盖300多小时、1500多个场景、约21.9万条6自由度手腕轨迹和300万个结构化问答对，并显式标注接近与操作两个阶段，问答覆盖语义、空间和运动推理；在模型侧，基于Qwen2.5-VL构建推理模块，用<ACT>语义令牌以及<START>、<CONTACT>、<END>三个阶段路点令牌输出意图语义和时间、3D位置、6D旋转，再由以Flow Matching为核心的编码-解码Transformer运动专家结合历史运动、DINOv3视觉特征、意图语义和路点生成轨迹，其核心生成机制可表示为$x_{k+1}=x_k+\\Delta t\\,\\hat{v}(x_k,t_k)$，即通过学习条件速度场并积分得到平滑、概率性的未来运动。训练采用推理预训练、运动预训练和基于轨迹令牌接口联合微调的三阶段策略，以缓解目标不匹配和联合训练不稳定问题；实验在EgoMAN-Bench上进行，其中EgoMAN-Unseen包含78个未见场景的2844条轨迹，HOT3D-OOD包含仅用于测试的990条HOT3D轨迹，指标包括ADE、FDE、DTW、旋转误差以及Contact、Traj和FPS。完整EgoMAN在K=10时于EgoMAN-Unseen达到0.124 m ADE、0.179 m FDE、0.111 m DTW和32.75°旋转误差，在HOT3D-OOD达到0.141 m ADE、0.217 m FDE、0.130 m DTW和35.09°旋转误差，相对最强外部基线HandsOnVLM的ADE分别降低约27.5%和27.3%；EgoMAN-WP还将Contact降至0.192 m、Traj降至0.127 m，并以3.45 FPS远快于依赖检测和后处理的可供性基线，消融实验证明推理预训练、Flow Matching运动预训练和显式6DoF路点接口具有互补收益。该方法适用于真实杂乱场景中的意图驱动动作预测，但当前主要约束是只建模手腕级运动和粗粒度阶段，数据仍含传感器噪声、标注不完美且缺少人工核验循环；未来可扩展到全手姿态与关节、精细接触语义和多阶段操作，并在真实机器人上验证迁移效果。\n\n### 关键要点\n\n- 预测任务被形式化为从单帧第一视角图像$\\mathbf{V}_t$、历史双手手腕轨迹和意图描述$\\mathbf{I}$映射到未来双手6自由度轨迹。\n- EgoMAN数据集整合EgoExo4D、Nymeria和HOT3D-Aria，提供300多小时、1500多个场景和约21.9万条6自由度手腕轨迹。\n- 数据集将交互划分为接近和操作两个阶段，并提供300万个结构化问答，分别覆盖语义、空间和运动推理。\n- 训练使用EgoExo4D与Nymeria，HOT3D-Aria仅用于测试；EgoMAN-Bench包含2844条未见场景样本和990条HOT3D分布外样本。\n- 推理模块定义四个轨迹令牌：<ACT>表示动作语义，<START>、<CONTACT>、<END>分别表示接近开始、操作开始和操作完成。\n- 路点令牌通过轻量头部预测时间戳、3D手腕位置和6D手腕旋转，并只对可见路点计算监督损失。\n- 运动专家是条件Flow Matching编码-解码Transformer，以历史运动、视觉特征、意图语义和阶段路点生成高频平滑轨迹。\n- 渐进式训练先分别预训练推理模块和Flow Matching运动专家，再通过轨迹令牌接口联合微调，从而缓解分布失配。\n- 在两个测试集上，完整EgoMAN在ADE、FDE、DTW和旋转误差上均优于USST、MMTwin、HandsOnVLM以及FM-base等方法。\n- EgoMAN-WP在EgoMAN-Unseen上将Contact误差降至0.192 m、Traj误差降至0.127 m，推理速度达到3.45 FPS。\n- 消融结果显示Flow Matching预训练提供最明显的单项收益，加入推理预训练和显式6DoF路点后可进一步降低FDE、DTW和旋转误差。\n- 方法的主要限制是仅覆盖手腕轨迹和粗粒度阶段，且存在噪声标注与缺少人工核验；未来可扩展到全手姿态、精细接触和真实机器人部署。"
}