{
  "paper_id": "c7670bdae2e98287dd352e84991c2a30",
  "paper_title": "Egocentric Meets Top-view",
  "paper_authors": [
    "Shervin Ardeshir",
    "Ali Borji"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Pattern Analysis and Machine Intelligence",
  "abstract": "得益于GoPro相机、智能手机和智能眼镜等可穿戴设备的可用性与日益普及，我们现在能够获得大量以第一人称视角拍摄的视频。监控摄像机和无人机（UAV）也提供了从俯视和倾斜视角记录的海量视频数据。自我中心视觉与监控视觉在计算机视觉界已被广泛但相互独立地研究，而这两个领域之间的关系仍未被探索。本研究首次在此方向上做出尝试，解决两个基本且具有挑战性的问题：第一，给定一组自我中心视频和一个俯视视频，该俯视视频是否包含全部或部分自我中心观看者？换言之，这些视频是否在同一环境中于同一时间拍摄？第二，如果是，如何在俯视视频中识别这些自我中心观看者？当视频在时间上未对齐时，这些问题会变得更加困难。我们用图对每种视角（自我中心或俯视）进行建模，并使用谱图匹配和时间延迟估计以迭代交替的方式计算分配和时间延迟，这种做法处理了自我中心视频与俯视视频之间的时间失配。我们在一个于不同条件下采集的包含50个俯视视频和188个自我中心视频的数据集上，以将自我中心观看者排序并分配给俯视相机中身份的方式评估了方法。结果证明了所提出的迭代交替图匹配方法的有效性。我们相信这项工作是连接自我中心与监控领域的重要第一步，对许多未来的研究和应用都有价值。",
  "keywords": [
    "自我中心视觉",
    "第一人称视觉",
    "监控",
    "图匹配",
    "可穿戴设备",
    "行人重识别"
  ],
  "paper_institutions": [
    "University of Central Florida, Center for Research in Computer Vision (CRCV)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:01.397306Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文首次尝试弥合自我中心（第一人称）视觉与俯视监控视觉这两个在计算机视觉界长期被独立研究的领域，解决两个基本而富有挑战的问题：给定一组自我中心视频和一个俯视视频，判断该俯视视频是否拍摄到了这些自我中心观看者（即视频是否在同一时间、同一环境中拍摄），以及若是，如何在俯视视频中识别每位观看者对应拍摄了哪段自我中心视频。由于自我中心视频中拍摄者本人不可见，传统行人重识别所依赖的外观线索失效，且视频间往往时间不对齐，问题更加困难。为此，方法将每种视角建模为图（节点为观看者/视频，边为成对关系），节点特征包括自我中心视频的GIST帧间相似度矩阵与俯视侧Top-FOV的IOU矩阵及可见人数时序，边特征捕捉视频对/观看者对之间的关系；随后利用谱图匹配计算软分配并用匈牙利算法得到硬分配，核心机制为联合优化目标 argmax_{x,t_d} x^T A(t_d) x，以迭代交替方式同时估计分配矩阵与各自我中心视频相对俯视参考时间的时间延迟，并设计了基于亲和矩阵主特征值的谱优化与基于图匹配分数的匹配分数优化两种算法。实验在与前作相同的自建数据集上进行，包含50个俯视视频与188个自我中心视频（超过225,000帧、室内外多种条件、可见人数3-10人、自我中心相机1-6个），该数据集专为多人在俯视相机记录下同时佩戴相机行走的场景设计，能够验证时间不对齐、不同集合完整度与视频长度下的匹配能力；评估指标为俯视视频排序的累积匹配曲线与观看者硬分配准确率，结果表明成对特征显著提升精度，时间延迟一致性约束使排序性能较基线提升超过1.3%和3.1%，中位数初始化加匹配分数迭代优化取得最佳96%分配准确率，验证了迭代交替图匹配框架的有效性。未来可探索多俯视相机分配、监督式关系学习与视觉里程计等方向；应用场景包括穿戴相机与固定相机结合的运动分析、执法中定位自我中心相机持有者、融合两类信息改进环境3D重建以及辅助视障人士导航与避障，但方法依赖人们直视前方行走的假设、高质量多目标跟踪与人体检测，且短视频会削弱特征判别力。\n\n### 关键要点\n\n- 问题定义：给定一组自我中心视频与一个俯视视频，回答两个问题——俯视视频是否包含这些自我中心观看者（即是否同地同时拍摄），以及哪位观看者拍摄了哪段自我中心视频。\n- 图表示：将自我中心视频集合与俯视视频中可见观看者分别建模为图，节点表示单个观看者/视频，边编码两者之间的成对视觉关系，两图节点数可以不同。\n- 节点特征：自我中心侧计算帧间GIST相似度矩阵（U^{GIST}(f_p,f_q)=e^{-γ|g_{f_p}-g_{f_q}|}，γ经验值设为0.5），俯视侧计算Top-FOV的IOU矩阵及Top-FOV内可见人数的时序向量。\n- 边特征：自我中心图使用两视频间的跨视频GIST相似度矩阵，俯视图使用两位观看者Top-FOV之间的IOU矩阵，用于捕捉观看者之间的关联。\n- 匹配机制：采用谱图匹配（亲和矩阵的秩一估计/主特征向量）得到软分配，再用匈牙利算法转换为硬分配，图匹配分数同时作为两图相似性的度量。\n- 时间延迟联合优化：提出 argmax_{x,t_d} x^T A(t_d) x 目标，设计谱优化（最大化亲和矩阵主特征值）与匹配分数优化两种迭代交替算法，强制各视频时间延迟的一致性。\n- 初始化策略：时间延迟可用零向量（假设时间同步）或所有互相关建议值的中位数初始化，后者显著提升分配准确率。\n- 数据集：50个测试用例（每个含1个俯视视频与若干自我中心视频），共188个自我中心视频、超过225,000帧，视频长度从10.6秒到110秒，可见人数3-10人，自我中心相机1-6个。\n- 实验结果：图匹配分数可有效对俯视视频排序（回答第一问）；最佳配置（中位数初始化+匹配分数迭代优化）达到96%分配准确率（回答第二问），排序性能较基线方法分别提升超过1.3%和3.1%。\n- 消融分析：成对（边）特征对精度贡献显著；自我中心集合完整度（n_Ego/n_Top比率）越高、视频越长，分配与排序准确率越高。\n- 约束与假设：方法假设人们大多直视前方行走（θ_d设为30度）、依赖多目标跟踪与DPM人体检测的质量，且短视频或检测不可靠时1D人数特征判别力下降。\n- 应用与展望：可用于运动分析、执法中定位自我中心相机持有者、3D重建与视障导航；未来可扩展至多俯视相机、监督式关系学习与视觉里程计。"
}