{
  "paper_id": "ed68458c59a8418a6f7544625092135a",
  "paper_title": "Egocentric Prediction of Action Target in 3D",
  "paper_authors": [
    "Yiming Li",
    "Ziang Cao",
    "Andrew Liang",
    "Benjamin Liang",
    "Luoyao Chen",
    "Hang Zhao",
    "Chen Feng"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文关注从第一视角视觉中尽早预测人在三维工作空间内操作物体的目标位置。该问题对人机协作等领域十分重要，但尚未受到视觉与学习社区足够关注。为推动这一挑战性第一视角视觉任务的研究，作者提出包含超过100万帧RGB-D与IMU数据流的大型多模态数据集，并基于半自动标注获得的高质量2D和3D标签建立评估指标；同时利用循环神经网络设计基线方法，开展多种消融研究验证其有效性。结果表明该新任务值得机器人、视觉和学习领域进一步研究。\n",
  "keywords": [
    "第一视角视觉",
    "三维动作目标预测",
    "EgoPAT3D",
    "RGB-D",
    "IMU",
    "多模态融合",
    "循环神经网络",
    "人机协作"
  ],
  "paper_institutions": [
    "New York University",
    "Tongji University",
    "Tsinghua University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:14.269491Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有第一视角预测多集中于动作类别或二维区域、缺少操作场景中在线三维目标位置研究的问题，论文提出EgoPAT3D任务与数据集，目标是在伸手、抓取、放置等物体操作完成前，根据头盔相机的历史观测持续估计当前局部坐标系中的三维动作目标，从而补偿算法延迟并支持外骨骼、人机协作、增强现实等场景中的及时规划。相关研究已有动作识别、动作预测、二维热点区域和行走轨迹预测，但手部常出视野且完整轨迹难获取，因此端点目标预测更现实。作者用Azure Kinect采集RGB-D与IMU多模态数据，依据“眼快于手”的行为线索同时利用视觉外观和头部运动；数据集包含15个家庭场景、150段记录、约1.5万个动作、100万帧RGB-D及0.9百万动作帧，选择厨房、卧室、浴室等抓取移动高频环境以检验真实操作，并用MediaPipe手部中心、彩色ICP位姿变换实现半自动高质量标签。基线以PointConv编码彩色点云、MLP编码六维IMU，拼接后由两层LSTM/GRU在线更新网格置信度，核心机制为 o_t=f(X_{1:t},θ_{1:t})，并通过阈值掩码保留高分网格、以 p_t=ŝ_t^T g 加权回归坐标，训练损失 L=Σ_t w_t(y_t-p_t)^2、w_t=2-t/T，从而利用相邻网格相关性并更重罚早期误差。实验在5个已见场景和6个未见场景中划分1990/358/314个训练/验证/测试片段，另用772个片段测试泛化，采用分十阶段CLE、10%—50%早期CLE和时间加权总分，验证多模态、早期加权、TWRLoss和LSTM的作用；已见场景误差由早期约25 cm降至后期约15 cm，最佳总体18.61 cm，未见场景最佳18.82 cm，TWRLoss相对NLLLoss在已见和未见分别将总体误差从21.63和21.71 cm降至18.61和18.82 cm。结果说明多模态一阶/高阶运动信息、时间权重和网格相关损失均有价值，但约20 cm误差仍可能导致抓错物体，且数据参与者人口学特征与动作类型有限、朴素拼接难分模态重要性、RNN长序列建模不足；未来可扩展多样性、研究时间感知多模态融合和Transformer，并在隐私、滥用与能耗约束下推进实际辅助应用。\n\n### 关键要点\n\n- 该任务采用在线模式，输入可变长度的历史彩色点云和IMU流，在每一帧更新该帧局部坐标系下的三维目标位置。\n- EgoPAT3D包含15个多样化家庭场景、150段RGB-D/IMU记录、约15000个手物动作和100万帧RGB-D数据。\n- 数据由头盔固定的Azure Kinect采集，彩色分辨率为3840×2160、深度为512×512，二者均为30 FPS，并开启IMU记录和宽视场深度模式。\n- 标签通过人工切分动作片段、MediaPipe Hands估计末帧手部中心，再用彩色ICP计算相邻帧变换并将目标位置传播到历史帧。\n- 基线分别用PointConv提取点云视觉特征、MLP提取IMU运动特征，拼接融合后送入两层LSTM或GRU进行连续预测。\n- 模型将三维空间划分为网格并预测各网格置信度，TWRLoss用阈值0.5保留高分网格并对网格坐标加权求和，避免普通分类损失忽略相邻网格相关性。\n- 评估将动作片段划分为十个时间阶段，报告各阶段平均中心位置误差、观察前10%至50%时的早期误差，以及早期误差权重更高的时间加权总分。\n- 实验使用1990个训练片段、358个验证片段和314个已见场景测试片段，并使用来自10个场景的772个片段评估未见场景泛化能力。\n- 完整视觉、变换矩阵与IMU特征取得最佳结果，缺少一阶或高阶运动特征均会降低性能，说明视觉和多阶运动信息互补。\n- 现有方法仍有约20 cm误差，且数据集参与者和动作类型有限，朴素特征拼接与RNN长序列能力不足，未来需扩展多样性并研究时间感知融合和Transformer。"
}