# 自我中心视角与俯视视角相遇
Shervin Ardeshir和Ali Borji，IEEE会员
摘要—得益于GoPro相机、智能手机和眼镜等可穿戴设备的普及与日益流行，我们现在能够获取大量以第一人称视角拍摄的视频。监控摄像头和无人机同样能提供海量从俯视或斜向视角录制的视频数据。在计算机视觉领域，自我中心视角与监控视角虽已被广泛研究，但彼此独立。然而，这两个领域之间的关系至今仍未被探索。在本研究中，我们首次尝试解决两个基础却极具挑战性的问题：首先，给定一组自我中心视角视频和一段俯视视角视频，这段俯视视角视频中是否包含全部或部分自我中心视角的拍摄者？换句话说，这些视频是否是在同一时间、同一环境下拍摄的？其次，如果是这样，我们该如何在俯视视角视频中识别出这些自我中心视角的拍摄者？当视频在时间上未对齐时，这些问题会变得更加棘手。我们使用图模型来表示每种视角（自我中心视角或俯视视角），并借助谱图匹配与时间延迟估计技术，以迭代交替的方式计算视频间的对应关系和时间延迟。这种方法能够有效处理自我中心视角视频与俯视视角视频之间的时间错位问题。我们在包含50段俯视视角视频和188段自我中心视角视频的数据集上评估了该方法，这些视频是在不同条件下拍摄的；评估指标包括为自我中心视角拍摄者匹配对应身份并进行排序的效果。实验结果证明了这种迭代交替的基于图的方法的有效性。我们认为，我们的工作是为连接自我中心视角与监控视角迈出的首要重要一步，对未来的诸多研究与应用都具有参考价值。
索引词—自我中心视角、第一人称视角、监控、图匹配、可穿戴设备、行人重识别
## 1 引言
O $^{N}$ one hand, wearable devices such as GoPro cameras, smart phones, and glasses have recently provided us with a large amount of video data from the first person point of view. Analysis of these videos has become an interesting and rapidly-growing research area in computer vision, from detecting and recognizing daily actions (e.g., [^2], [^3]) to localizing the field of view of an egocentric viewer (e.g., [^4]). The human-centric nature of egocentric vision offers the opportunity to study computer vision from our perspective which is the first person point of view.
另一方面，监控摄像头和无人机能够长时间记录不同地点发生的日常活动与事件的大量视觉信息。监控及俯视视角相关研究在计算机视觉领域有着悠久的历史，涵盖从行人检测与重识别（如[^5]、[^6]、[^7]）到物体跟踪（如[^8]）等。
这两类视角截然不同的视觉数据提供了互补的信息来源。如果能够合理整合，它们便能发挥出强大的分析能力。深入理解二者之间的关系，有助于将大量关于第三人称视觉的研究成果应用到以自我为中心的视觉这一新领域。此外，建立这种关系还能带来诸多重要应用。例如，佩戴在身上的摄像机所拍摄的运动员视频，与固定俯视摄像头所捕捉的视频相结合，能够为体育分析提供仅靠单一数据源无法获得的额外见解。再比如，找出俯视视频中位于以自我为中心摄像头后方的人……
Fig. 1: Left) a set of 5 egocentric videos. Right) a top-view video capturing the scene and possibly the egocentric viewers. The viewers are highlighted using red circles in the top-view video. We aim to answer the two following questions: 1) Does this set of egocentric videos belong to the viewers visible in the top-view video? 2) Assuming they do, which viewer is capturing which egocentric video?
在监控网络中识别出佩戴自我中心摄像机的人，鉴于警察越来越多地使用可穿戴设备，这对执法工作而言具有重要意义。此外，将自我中心视角信息与监控信息相融合，能够实现更精准的环境三维重建。另一个应用场景是帮助佩戴自我中心摄像机的视障人士完成导航或避障等任务（例如 [^9]）。
要建立自我中心视角与俯视视角之间的联系，首要步骤就是确定两者之间的对应关系。为了对两类内容进行进一步的相互分析，必须高效地匹配自我中心摄像机与俯视摄像机之间的内容。为了迈出这第一步，我们考虑了一种特定场景：在俯视参考摄像机中定位并识别正在录制自我中心视频的人员，如图1所示。
我们提出以下两个问题：给定一组自我中心视频和一段俯视监控视频：1）这组自我中心视频是否属于这些观看者？
---
在俯视摄像机中是否可见？2）如果是的话，哪位观看者正在录制哪段自我中心视频？要回答这些问题，我们需要将一组自我中心视频与单个俯视视频中可见的一组观看者进行比较。在我们的解决方案中，为了找到匹配项，每组数据都用一个图来表示，随后通过谱图匹配技术 [^10] 来比较这两个图。在自我中心图中，每段自我中心视频都是一个节点；在俯视图中，每个节点对应一个可见的观看者。一般来说，由于自我中心摄像机的特性，这个问题会极具挑战性——摄像机持有者在其自身的自我中心视频中是不可见的，因此我们没有关于其外貌的线索。
为了评估我们的方法，我们使用了Ardeshir和Borji提供的同一数据集 [^1]、[^11]。该数据集包含多个测试集。在每个测试集中，多名被称为自我中心观看者的人员边行走边录制视频；与此同时，俯视摄像机记录着整个区域的情况，其中包括全部或部分自我中心观看者，可能还有其他人（见图1）。接下来，我们将提及与此问题相关的一些挑战，并概述我们的方法框架。
为了了解俯视视频中每个个体的行为，我们采用多目标跟踪方法[^12]来提取俯视视频中观看者的运动轨迹。需要注意的是，第一人称视角视频捕捉的是人的视野范围而非其空间位置。因此，观看者第一人称视角视频中的二维场景内容，就对应着俯视摄像头下该观看者的视野内容。为简洁起见，下文我们将观看者的俯视视野简称为Top-FOV。由于多目标跟踪得出的轨迹无法提供俯视视频中第一人称摄像头的朝向信息，我们假定大多数情况下人都会直视前方（即头部和躯干朝前），从而从身前的世界拍摄视频。当观看者将摄像头佩戴在身上时通常就是这种情况（请参见图4）。在估算出观看者的朝向和Top-FOV后，我们便会对随时间变化的Top-FOV进行编码，并将其用作描述符。研究表明，这一特征与对应第一人称视角视频中所观察到的场景全局视觉内容（或称为Gist）的变化存在相关性。
我们还定义了成对特征，用以捕捉一对第一人称视角视频之间的关系，以及俯视摄像头下一对观看者之间的关系。直观来讲，如果一名第一人称视角观看者观测到了某个场景，而另一名第一人称视角观看者稍后也遇到了同一场景，这或许能暗示这两台摄像头之间存在某种关联。如果我们能将某位俯视观看者与其中一段第一人称视角视频匹配起来，就很有可能借助上述关联关系找到另一位观看者。实验表明，这种成对关联关系能显著提升我们的匹配准确率。这种匹配结果会帮助我们定义一个用于衡量两个图之间相似度的分数。实验证明，该图匹配分数可用于验证俯视视频是否确实捕捉到了第一人称视角观看者（详见图?所示的示意图）。
本文的其余部分安排如下：第2节介绍了本研究的相关工作；第3节阐述了我们的框架细节；第4节展示了实验结果，第5节则进行了讨论并得出结论。
## 2 相关工作
近年来，第一人称视角视频的视觉分析已成为计算机视觉领域的热门研究方向[^13]、[^14]，涵盖日常活动识别[^2]、[^3]、物体检测[^15]、视频摘要[^16]以及注视行为预测[^17]、[^18]、[^19]等。接下来，我们将回顾一些与本研究相关的先前工作，包括静态场景与第一人称视角视频的关联、第一人称视角观看者之间的社交互动，以及人物识别与定位等方面。
静态相机与自我中心相机的关联：一些研究探讨了移动相机与静态相机之间的关系。[^20]、[^21]中报道的有趣成果，探索了移动相机与静态相机之间的关系，旨在提升物体检测的准确性。[^22]融合了自我中心视觉与外中心视觉（环境中的第三人称静态相机）的信息以及激光深度数据，以改善深度感知和3D重建效果。Park等人[^23]利用第一人称和第三人称相机来预测社交场景中的注视行为。Soran等人[^24]则研究了在存在自我中心视频和多个静态视频时的动作识别问题。
自我中心观察者之间的社交互动：为了探究多个自我中心观察者之间的关系，[^25]通过估算不同场景区域的重要性并整合多个自我中心视频的共识，将若干自我中心视频合并为质量损耗更低的完整视频。Fathi等人[^26]通过检测人脸并估算其身体和头部朝向，来识别对话、独白和讨论等社交互动类型。Yonetani等人[^27]将自我中心观察者的头部运动与其他自我中心视频中出现的人物相关联，以实现自我搜索。[^28]提出了一种多任务聚类框架，利用人们在工作场所或厨房等特定环境中倾向于执行相似动作的特点，来寻找日常动作的连贯聚类。[^29]则提出了一种能够发现一组自我中心用户所使用的静态和可移动物体的框架。近期的研究[^30]在一系列时间同步且相互交互的自我中心视频中，识别出最受关注的人物。
人物识别与定位：与我们任务最为相似的计算机视觉任务或许就是人员重识别[^7]、[^31]、[^32]、[^33]。其目标是跨多个相机查找并识别人物。换句话说，某个静态相机中出现的每个人，在另一台重叠或非重叠的静态相机中是谁？不过，人员重识别的主要线索是人类的视觉外观，而这正是自我中心视频中所缺少的。过去已有关于自我中心相机中人物识别与定位的研究。[^34]利用头部运动作为生物特征，来确定哪些视频是由同一人拍摄的。
---
Fig. 2: The input to our framework is a set of egocentric videos (in this case 5 videos), and one top-view video. The goal is defined as assigning the egocentric videos to the people recording them. A graph is formed on the set of egocentric videos (each node being one of the egocentric videos), and another graph is formed on the top-view video (each node representing one of the targets present in the video). Using spectral graph matching, a soft assignment is found between the two graphs, and using a soft-to-hard assignment, each egocentric video is assigned to one of the viewers in the top-view video. This assignment is our answer to the second question in Figure 1.
[^35]中，作者利用头部运动来识别其他自我中心视频中的自我中心观察者。[^4]的工作通过将自我中心相机的视野与视频或图像参考数据集（如谷歌街景）进行匹配，来实现其视野定位。[^36]利用地标和地图符号来进行地图上的自我定位。[^37]的研究解决了可穿戴设备监控网络中的人员重识别问题，而[^38]则在时间同步的可穿戴相机上执行重识别任务。
## 3 框架
图2中的框图展示了我们方法的不同步骤。首先，每种视图（以自我为中心的视图或俯视图）都由一张图来表示，该图定义了场景中各观看者之间的关系。这两张图的节点数量可能不同，原因有二：a) 某些以自我为中心的视频可能无法获取；b) 俯视图视频中出现的某些人可能没有拍摄视频。每张图由一组节点构成，每个节点代表一名观看者（以自我为中心视图或俯视图），每条边则代表两名观看者之间的成对关系。
我们通过描述每名观看者在俯视图中的预期Top-FOV，以及其在以自我为中心视图中随时间变化的视频视觉内容，来表征该观看者。这些描述被编码在图的节点中。我们还会定义观看者对之间的成对关系，并将其编码为图的边特征（即两名观看者的视觉体验之间的关联方式）。
其次，我们利用谱图匹配来计算衡量两张图相似度的分数，同时得出以自我为中心图的节点到俯视图图的节点的对应关系。由于视频未必时间同步，因此必须考虑视频间的相对时延。为此，我们提出了一种迭代方法，可同时估算对应关系和以自我为中心观看者与俯视图视频间的相对时延。我们尝试了两种不同的迭代交替算法，分析了各自的优缺点，并在我们的数据集上评估了其性能。
实验表明，图匹配分数可作为衡量以自我为中心图和俯视图图之间相似度的指标。因此，它可被用来验证一组以自我为中心的视频是否由俯视图视频中可见的观看者录制。这使我们能够评估该方法在回答第一个问题方面的能力。此外，图匹配得到的对应关系也为第二个问题提供了答案。本节先分别介绍每种视图的图构建过程，再详细说明匹配流程。
### 3.1 图的表示
每种视图，无论是以自我为中心的视图还是俯视图，都用单张图来描述。以自我为中心的视频集用一张图表示，其中每个节点对应一个以自我为中心的视频，边则反映两段视频内容之间的成对关系。
在俯视图图中，每个节点代表被追踪观看者的预期视觉体验（在俯视图视频中），边则反映随时间变化的两段视觉体验之间的成对关系。视觉体验指的是从俯视摄像头角度看，观看者在其录制过程中预期会看到的内容。
---
Fig. 3: Adapting our method for evaluating top-view videos. We form a graph on the set of egocentric videos and compare this graph to other graphs built on different top-view videos. The top-view videos are ranked based on how similar their graph is to the egocentric graph. The performance of this ranking helps us answer our first question.
（即俯视视频中的人物），而边缘则体现了两种视觉体验随时间变化的成对关系。视觉体验指的是观察者在录制过程中通过俯视摄像头所能看到的内容。
3.1.1 俯视图图的建模：为了建模俯视摄像头下观看者的视觉体验，需要了解其在整个视频中的空间位置（即运动轨迹）。我们采用[^12]中提出的多目标跟踪方法来提取一组轨迹，每条轨迹对应场景中的一名观看者。与[^12]类似，我们使用标注好的边界框，将其中心点作为多目标跟踪器的输入。由于视频质量高、视频帧率高，且俯视图视频不存在遮挡等挑战，我们的跟踪结果近乎完美。
每个节点代表一个被追踪的个体。基于人们通常倾向于直视前方的普遍假设，我们将某人在时间t时的速度矢量作为其摄像头的朝向（记为$\theta_{t}$）。进一步假设存在一个固定角度$(\theta_{d})$，我们预期该人自我中心视频的内容会与由观察者位置出发、夹角为$\theta - \theta_{d}$和$\theta + \theta_{d}$的两条射线所形成的二维锥体内的内容一致。图4展示了画面中三名不同个体的预期顶部视野范围。在实验中，我们将$\theta_{d}$设为30度。理论上，若已知相应自我中心摄像头的内参（如焦距和传感器尺寸），就能更精确地估算角度$\theta_{d}$；但由于我们并不掌握对应的自我中心摄像头信息，因此将其设为默认值。
顶部视野范围无法直接与观察者的自我中心视图相比较。俯视图中的顶部视野区域主要包含地面，而这并非自我中心观察者通常所看到的前景内容。不过，可用于比较这两种视图的是观察者顶部视野范围随时间发生的相对变化——这种变化应与自我中心视频内容的变化相关联。直观而言，若观察者在直线上行走且视线直视前方，其顶部视野范围不会发生重大变化，因此我们预期观察者的自我中心视图会具有稳定的视觉内容。
节点特征：我们为每个节点提取两个一元特征：一个用于描述其视野范围内覆盖内容的变化，另一个则是顶部视野中可见的人数。
为了编码观察者i在俯视摄像头中看到的视觉内容的相对变化，我们构建了矩阵$T \times T$。其中，$(T$表示俯视视频中的帧数。矩阵U_i^{IOU}的元素U_i^{IOU}(f_p, f_q)$indicate the IOU (intersection over union) of the Top-FOV of person$表示帧f_p和f_q之间的相似程度$. For example, if the viewer's Top-FOV in frame 10 has high overlap with his FOV in frame 30 (thus$。如果U_i^{IOU}(10, 30)的值较高，那么我们可以预期在自我中心视频中帧10和帧30之间的视觉相似性也较高。图5(a)的中间列展示了此类特征的两个示例。
在估算出观察者i的顶部视野范围后，我们会统计每个时间帧内其顶部视野中的人数，并将结果存储在$1 \times T$向量$U_{i}^{n}$中。计算可见人数时，我们统计其顶部视野内标注的边界框数量。图4展示了三名观察者各自视野中有一名人类的情形。
---
(a)
(b)
(c)
Fig. 4: Expected field of view for three different viewers in the top-view video alongside with their corresponding egocentric frames. The short dark blue line shows the estimated orientation of the camera. The Top-FOV shown in (b) and (c) have a high overlap, therefore we expect their egocentric videos to have relatively similar visual content compared to the pairs (a,b) or (a,c) at this specific time.
顶部视野。图6的顶行展示了该特征的几个示例。
边缘特征：成对特征旨在捕捉两个不同个体之间的关系。在俯视图视频中，类似于一元矩阵$U_i^{IOU}$，我们可以构建$T \times T$矩阵$B_{ij}^{IOU}$来描述一对观察者（观察者/节点i和j）之间的关系，其中$B_{ij}^{IOU}(f_p, f_q)$定义为帧$f_p$中个体i的顶部视野与帧$f_q$中个体j的顶部视野的交并比。直观而言，若帧$f_p$中个体i的顶部视野与帧$f_q$中个体j的顶部视野相似性较高，我们预期观察者j的第$f_q$帧自我中心视频会与观察者i的第$f_p$帧自我中心视频相似。图5(b)的中间列展示了此类特征的两个示例。
3.1.2 构建自我中心图：与俯视图中的图类似，我们也在自我中心视频集合上构建一张图。该图的每个节点代表一个自我中心视频。节点之间的边用于描述一对自我中心视频之间的关系。
节点特征：与俯视图中的图类似，每个节点由两个特征来表示。首先，我们刻画整体视觉体验的演变过程。我们计算所有视频帧（针对同一观察者）的GIST特征[^39]之间的成对相似性，并将这些相似性存储在一个$T_{E_i} \times T_{E_i}$矩阵$U_{E_i}^{GIST}$中；其中元素$U_{E_i}^{GIST}(f_p, f_q)$表示自我中心视频i中帧$f_p$和帧$f_q$之间的GIST相似性，而$T_{E_i}$则是第i个自我中心视频中的帧数。图5(a)的左栏展示了此类特征的两个示例。GIST相似性是由GIST特征向量的欧几里得距离决定的函数。
$$ U_{E_{i}}^{G I S T}(f_{1},f_{2})=e^{-\gamma|g_{f_{p}}^{E_{i}}-g_{f_{q}}^{E_{i}}|}. $$
其中$g_{f_p}^{E_i}$和$g_{f_q}^{E_i}$分别是自我中心视频i中帧$f_p$和帧$f_q$的GIST描述符，$\gamma$是一个我们通过经验设定的常数，其值为0.5。
第二个特征是记录每帧中可见人数的时间序列。为了估算人数，我们对每个自我中心视频帧运用基于可变形部件模型DPM [^6]的预训练人体检测器。为确保我们的方法不会将远距离的人体纳入统计（这类人体不太可能出现在俯视摄像头中），我们会排除尺寸小于某一阈值的边界框（该阈值根据平均身高1.7米以及俯视视频所覆盖区域的直径来确定）。剩余的每个边界框都会得到一个重新缩放至[^0] [^1]区间内的检测得分，该得分代表了该边界框内含有人体的概率。我们将一帧内所有检测的得分相加，以此作为该帧中的人数计数。因此，与俯视图特征类似，我们可以用一个$E_i$向量$1 \times T_{E_i}$来表示自我中心视频i对应的节点$U_{E_i}^n$。图6的下排展示了此类特征的几个示例。
边特征：为了刻画自我中心摄像头i（包含$T_{E_i}$帧）和摄像头j（包含$T_{E_j}$帧）之间的成对关系，我们从两个视频的所有帧中提取GIST特征，并构建一个$T_{E_i} \times T_{E_j}$矩阵$B_{ij}^{GIST}$，其中$B_{ij}^{GIST}(f_p, f_q)$表示视频i的帧$f_p$与视频j的帧$f_q$之间的GIST相似性。
$$ B_{i j}^{G I S T}(f_{p},f_{q})=e^{-\gamma|g_{f_{p}}^{E_{i}}-g_{f_{q}}^{E_{j}}|}. $$
图5(b)的左栏展示了此类特征的两个示例。
### 3.2 图匹配
本节的目标是找到一个二元赋值矩阵$\mathbf{X}_{N^{e}\times N^{t}}$，其中$N^{e}$表示自我中心视频的数量，$N^{t}$表示俯视视频中的人数。当$\mathbf{X}(i,j)$等于1时，意味着自我中心视频i已被匹配为俯视视频中的观察者j。为了刻画两张图中元素之间的相似性，我们定义了亲和矩阵$A_{N^{e}N^{t}\times N^{e}N^{t}}$，其中$a_{ik,jl}$表示自我中心图中边ij与俯视图中边kl的亲和力。将矩阵$\mathbf{X}$重塑为一个向量$\mathbf{x}_{N^{e}N^{t}\times1} \in \{0,1\}^{N^{N^{t}}}$后，赋值问题便可定义为最大化下述目标函数：
$$ \underset{x}{\operatorname{argmax}}\mathbf{x}^{T}\mathbf{A}\mathbf{x}. $$
---
我们根据自我中心图 $a_{ik,jl}$ 中边 ij 的特征描述符与俯视图 $B_{ij}^{GIST}$ 中边 kl 的特征描述符之间的相似度来计算 $B_{kl}^{IOU}$。一旦确定了亲和矩阵，我们就可以测量第一张图中的各个节点与第二张图中各个节点相匹配的概率。这种概率性分配通常被称为软分配。
软分配：我们采用 [^10] 中提出的谱图匹配方法，来计算自我中心视角观看者与俯视视角观看者之间的软分配。在 [^10] 中，假设亲和矩阵是对成对分配概率的经验估计，且各分配概率在统计上相互独立，那么 A 可以用其秩一估计来表示，该估计通过以下方式计算：
$$ \operatorname*{a r g m i n}_{\mathbf{p}}|\mathbf{A}-\mathbf{p}\mathbf{p}^{T}|. $$
实际上，$\mathbf{A}$ 的秩一估计与其主特征向量并无区别。因此，$\mathbf{p}$ 既可以通过特征分解来计算，也可以通过幂迭代法迭代估计。将向量 $\mathbf{p}$ 视为分配概率，我们可以把 $\mathbf{p}_{N^{e}N^{t}\times1}$ 重塑为一个 $N^{e}\times N^{t}$ 软分配矩阵 $\mathbf{P}$，其中 $\mathbf{P}(i,j)$ 表示经过行归一化后，自我中心视角观看者 i 与俯视视频中观看者 j 相匹配的概率。
硬分配：任何软到硬的分配方法都可以用来将谱匹配生成的软分配结果转换为图节点间的硬二进制分配。我们使用著名的Munkres（又称匈牙利）算法 [^40] 来获得最终的二进制分配结果。
接下来，我们首先介绍 [^1] 中提出的原有方法，该方法仅用于解决观看者分配问题（第3.3节）。然后我们在第3.4节介绍我们的两种新迭代算法，它们旨在同时估计时间延迟并找到最佳分配方案。
### 3.3 解决观看者分配问题
如前一节所述，每个节点和边的特征都是二维矩阵。$B_{ij}^{GST}$ 是一个 $T_{E_i} \times T_{E_j}$ 矩阵，$T_{E_i}$ 和 $T_{E_j}$ 分别是自我中心视频 i 和 j 中的帧数。$B_{kl}^{IOU}$ 是一个 $T_t \times T_t$ 矩阵，$T_t$ 表示俯视视频中的帧数。需要注意的是，由于这两个矩阵大小不同（视频长度不一定相同），因此 $B_{ij}^{GST}$ 和 $B_{kl}^{IOU}$ 无法直接比较。此外，由于视频并未同步，它们的绝对时间在彼此之间也不对应。实际上，俯视视频第100帧中的观看者 i 和 j 并不对应于自我中心视频的第100帧。正因如此，我们预期会看到自我中心视频 i 中第100 + $d_i$ 帧与自我中心视频 j 中第100 + $d_j$ 帧的GIST相似度，以及第100帧中观看者 k 和 l 的Top-FOVs的交并比之间存在相关性。$d_i$ 和 $d_j$ 分别是自我中心视频 i 和 j 相对于俯视视频的时间延迟。
在 [^1] 中，两条边之间的亲和度定义如下：
$$ A_{i k j l}=\operatorname*{m a x}(B_{i j}^{G I S T}*B_{k l}^{I O U}). $$
其中，$*$表示互相关运算。对于矩阵A中满足$i = j$和$k = l$条件的元素，亲和力反映了自我中心图中的节点i与俯视图中的节点k之间的匹配程度。这两个节点之间的匹配度是通过对$U_k^{IOU}$和$U_{E_i}^{GIST}$进行二维互相关计算，以及对$U_k^n$和$U_{E_i}^n$进行一维互相关计算来确定的。两个节点的整体匹配度是这两项的加权线性组合：
$$ A_{i k i k}=\alpha\underset{}{\mathbf{m}}{\operatorname*{m a x}}(U_{E_{i}}^{G I S T}*U_{k}^{I O U})+\left(1-\alpha\right)\underset{}{\mathbf{m}}{\operatorname*{m a x}}(U_{E_{i}}^{n}*U_{k}^{n}), $$
其中，$\alpha$是一个介于0到1之间的常数，用于指定各项的贡献比例。在我们的实验中，将$\alpha$设为0.9。图5展示了从两个图中某些节点和边提取出的特征。互相关值最大的位置被解释为使两个矩阵最相似的最佳偏移量（延迟）。通过假设每个互相关在与其对应的自我中心视频的时间延迟相等的偏移量上达到最大值，时间延迟问题便得到了妥善处理。不过这一假设并不总能成立，因为它并未强制要求各时间延迟之间保持一致。我们将在下节介绍的方法中解决这一问题。
### 3.4 分配与时间延迟的联合优化
[^1]中相似性定义的缺陷在于，它并未强制要求不同自我中心视频所分配的时间延迟之间保持一致性。实际上，观看者分配问题与自我中心视频的时间延迟是相互关联的。一方面，我们需要估算时间延迟，才能准确测量对应节点/边之间的节点对节点、边对边相似性；另一方面，我们必须明确正确的分配结果，才能估算两段视频之间的时间延迟。理论上，若我们将俯视图视频视为绝对时间的参考（如图7所示），每次互相关最大化运算都会给出相对于俯视图绝对时间的一个（针对节点）或两个（针对边）自我中心时间延迟值。例如，如果自我中心视频i和j之间的边与对应俯视图边的互相关在$d_{i}^{\prime}$和$d_{j}^{\prime}$处达到最大值，那就意味着这两个值就是自我中心视频i和j的时间延迟。因此，如果边ik的互相关在第一维度上于$d_{i}^{\prime\prime}$处达到最大值（即$d_{i}^{\prime\prime} \neq d_{i}^{\prime}$），就意味着我们认定自我中心视频i起始于两个不同的绝对时间，这显然是自相矛盾的。所以，该框架必须强制所有自我中心视频的时间延迟保持一致，即为每个单独的自我中心视频指定唯一的时间延迟。最终，我们确立了联合优化时间延迟与分配方案的目标。从直观上讲，对时间延迟施加约束会限制解空间，因为采用[^1]的一些解决方案可能会隐式地为自我中心视频赋予无效（不一致）的时间延迟。
拥有n个以自我为中心的视频后，我们可以用一个$1 \times n$向量$\mathbf{t}_d$来表示它们未知的时延。取
---
(a)
(b)
Fig. 5: (a) shows two different examples of the 2D features extracted from the nodes of the graphs for which the values are color-coded. Left column shows the 2D matrices extracted from the pairwise similarities of the GIST feature descriptors $U^{GIST}$, middle shows the 2D matrices computed by intersection over union of the FOV in the top-view camera $U^{IOU}$, and the rightmost column shows the result of the 2D cross correlation between the two. (b) shows the same concept, but between two edges. Again, the leftmost figure shows the pairwise similarity between GIST descriptors of one egocentric camera to another $B^{GIST}$. Middle, shows the pairwise intersection over union of the FOVs of the pair of viewers $B^{IOU}$, and the rightmost column illustrates their 2D cross correlation. The similarities between the GIST and FOV matrices in fact capture the affinity of two nodes/edges in the two graphs.
将时延纳入考量后，目标函数将呈现如下形式：
$$ \underset{\mathbf{x},\mathbf{t}_{d}}{\mathrm{argmax}}\mathbf{x}^{T}\mathbf{A}(\mathbf{t}_{d})\mathbf{x}. $$
这让我们又回到了这个问题的“先有鸡还是先有蛋”的特性上，因此需采用迭代交替的方法：先初始化时延，再估计分配结果，随后根据结果优化时延。从直觉上讲，我们既要找到最优的分配方案，也要确定每个以自我为中心视频对应的时延。$\mathbf{A}(t_d)$就是亲和矩阵，它假设第$i_th$个以自我为中心的视频存在时延$\mathbf{t}_d(i)$。改变$\mathbf{t}_d$会直接影响亲和矩阵中的元素，而$\mathbf{x}$则决定了亲和矩阵的哪些元素会对图匹配得分产生影响。我们采用了两种不同的方法来求解该目标函数。第一种是更快的算法，它先求出最优时延向量，再处理分配问题；第二种是迭代交替法，在分配与时延估计之间来回调整。
谱优化：在第一种方法中，我们先根据以自我为中心视频的最优时延求出最优的A，再利用得到的亲和矩阵来解决分配问题。换句话说，我们假设：
$$ \operatorname*{argmax}_{\mathbf{x},\mathbf{t}_{d}}\mathbf{x}^{T}\mathbf{A}(\mathbf{t}_{d})\mathbf{x}=\operatorname*{argmax}_{\mathbf{x}}\mathbf{x}^{T}\mathbf{A}(\mathbf{t}_{d}^{*})\mathbf{x}. $$
为了找到最优的$t_d$，我们运用了亲和矩阵主特征值这一概念背后的直觉。在谱图理论中，主特征值反映了其中最具主导性的簇的强度。换句话说，主特征值越大，主要簇就越强。我们的图匹配方法基于这样一个假设：即亲和矩阵可以通过其主特征向量的一阶近似来很好地估计。因此，主特征向量对亲和矩阵的表征越准确，我们的谱图匹配结果就越可靠。最终，最佳的亲和矩阵对应于密度最大的主要簇，也就是具有最大主特征值的情形。根据这一直觉，我们可以通过以下方式找到$t_d^*$：
$$ \mathbf{t}_{d}^{*}=\underset{\mathbf{t}_{d}}{\mathrm{a r g m a x}}\;\lambda_{\mathbf{A}(\mathbf{t}_{d})}. $$
为了求解上述目标函数，我们初始化时间延迟，并利用局部搜索在n维时间延迟向量空间中迭代优化它们。具体细节在算法1中说明。实际上，我们首先通过分析相应的亲和矩阵来评估相邻的时间延迟向量。对于一个n维时间延迟向量，我们通过将其某个元素（即某段自我中心视频的时间延迟）改变一个单位（经实验确定为0.1秒）来生成其相邻的时间延迟向量。针对每个相邻向量，我们计算其对应的亲和矩阵以及主特征值。我们选取亲和矩阵中主特征值最大的相邻时间延迟向量，从而最大化$\frac{\partial \lambda_{A_{t_d}}}{\partial t_d}$，随后更新时间延迟和亲和矩阵。该算法会持续迭代，直到满足某一收敛条件为止。我们将收敛条件定义为达到局部最大的主特征值，或达到最大迭代次数。一旦满足条件，便利用求得的最优亲和矩阵来计算软分配和硬分配。
---
0 | 0.15
100 | 0.18
200 | 0.15
300 | 0.18
400 | 0.15
500 | 0.18
600 | 0.15
700 | 0.18
800 | 0.15
900 | 0.18
1000 | 0.15
0 | 3.0
100 | 3.0
200 | 2.0
300 | 3.0
400 | 1.0
500 | 3.0
600 | 1.0
700 | 2.0
800 | 3.0
900 | 1.0
1000 | 0.15
0 | 1.0
100 | 1.0
200 | 2.0
300 | 1.0
400 | 3.0
500 | 3.0
600 | 2.0
700 | 1.0
800 | 3.0
900 | 1.0
1000 | 0.15
0 | 1.0
100 | 1.0
200 | 4.0
300 | 2.0
400 | 1.0
500 | 3.0
600 | 1.0
700 | 3.0
800 | 2.0
900 | 1.0
1000 | 0.15
Fig. 6: Examples of 1D features capturing the number of humans in different frames of the videos. Left shows the summation of the detection scores at every frame for their corresponding egocentric videos. Right panel shows the number of visible people in three different viewer's Top-FOV over time. The x axis encodes the frame number in which the number of humans was measured. Both vectors are normalized and then compared to each other. The similarity between the two patterns shows the discriminative power of this feature, especially if the video is long enough (as it has 1000 frames in this case). However, our experiments show that in most cases where human detection results are not that confident or the video length is too short, this feature by itself does not result in a high assignment accuracy.
我们从分配和排名的角度探讨两种不同初始化方式所产生的效果，并将其与[^1]进行比较。
```pseudo
// Algorithm 1: Spectral Optimization
```
输入 = G, G′, itr_{max}, €
输出 = x, t_{d}
1: 过程 SPECTRAL SOLVER
2: 初始化 t_{d}
3: 计算亲和矩阵 A_{t_{d}}
4: 当 $\frac{\partial \lambda_{t_{d}}}{\partial t_{d}} > \epsilon$ 且 itr < itr_{max} 时，执行以下操作：
5: t_{d} = t_{d} + \frac{\partial \lambda_{t_{d}}}{\partial t_{d}}
6: 更新 A_{t_{d}}
7: 计算软分配 p_{t_{d}} 和硬分配 x_{t_{d}}
8: 返回 t_{d} 和 S(t_{d})。
```pseudo
// Algorithm 2: Matching Score Based Optimization
```
输入 = G, $G'$, $itr_{max}$, $\epsilon$
输出 = x，$t_d$
1: 基于匹配分数的求解器流程
2: 初始化$t_d$
3: 计算亲和矩阵$\mathbf{A}_{t_d}$、软分配结果$\mathbf{p}_{t_d}$、硬分配结果$\mathbf{x}_{t_d}$以及图匹配分数$S(t_d) = \mathbf{x}_{t_d}^T \mathbf{A}_{t_d} \mathbf{x}_{t_d}$
4: 当满足$\frac{\partial S(t_d)}{\partial t_d} > \epsilon$和$itr < it_{r_{max}}$条件时，执行以下操作：
5: $t_d = t_d + \frac{\partial S(t_d)}{\partial t_d}$
6: 更新$\mathbf{A}_{t_d}$、$\mathbf{p}_{t_d}$、$\mathbf{x}_{t_d}$以及$S(t_d)$
7: 返回$t_d$和$S(t_d)$。
基于匹配分数的优化方法：在第二种方法中，我们尝试采用迭代交替的方式同时确定$t_d$和x的最优值。首先，我们初始化$t_d$，由此得到固定的亲和矩阵；接着利用谱图匹配算法计算各分配结果。这些分配结果随后会被用于进一步优化时间延迟参数。换句话说，我们会观察在不同相邻时间延迟向量下图匹配分数的变化情况，从而选取能使图匹配分数增长的最佳方向（本质上就是$\frac{\partial S(t_d)}{\partial t_d}$）。我们会不断在时间延迟参数与分配结果之间来回调整，直至满足终止条件。与算法1类似，终止条件被定义为达到局部最大值或达到最大迭代次数。该方法的详细内容在算法2中进行了说明。实验结果表明，相较于第一种方法（算法1），该方法能获得更优的精度，但计算复杂度也更高，因为每次迭代都需要额外执行计算分配向量x的步骤。该算法的性能将在“实验结果”章节中与第一种方法进行比较。
初始化时间延迟：由于我们在本地搜索最优解，因此初始化对最终结果起着重要作用。我们考虑了两种不同的初始化方法。首先，我们假设视频是时间同步的，将向量 $t_d$ 初始化为全零向量。其次，我们通过计算互相关所提示的所有值的中位数来经验性地估计时间延迟。正如 [^1] 中所述，每次互相关最大化都会为每台以自我为中心的摄像头提供一个时间延迟；因此，涉及节点 i 的每个 $N^e$ 节点/边，在与它们进行互相关后都会得到 $N^t$ 个建议的时间延迟。对于每次互相关最大化（公式 5），可能出现两种情况：a) 由错误的对应节点/边给出的随机时间延迟值；b) 由正确对应关系给出的一致时间延迟值。因此，我们将节点 i 的时间延迟初始化为该节点所有建议值的中位数。
---
对于特定节点而言，以自我为中心的视频 $E_{i}$ 的时间延迟初始化方式如下：
$$ \mathbf{t^{*}}_{d_{i}}=\widetilde{\mathbf{T}}_{d_{i}} $$
其中 $T_{d_i}$ 是两个图中各元素隐式提示的所有时间延迟的集合：
$$ \mathbf{T}_{d_{i}}=\{\operatorname*{argmax}_{\mathbf{t}_{d_{i}}}B_{ij}^{GIST}*B_{kl}^{IOU}|\forall j\leq N^{e},k,l\leq N^{t}\}. $$
我们通过将其与将 $t_d$ 初始化为全零向量的结果进行比较，来评估这种初始化的效果。
## 4 实验结果
在本节中，我们将介绍实验设置、收集的数据、评估指标以及一些基线方法的详细信息。
### 4.1 数据集
我们收集了一个包含50个测试案例的数据集，这些视频分别拍摄于不同的室内和室外环境。每个测试案例包含一段俯视图视频以及若干由俯视图中可见人物拍摄的第一人称视角视频。图7展示了两个测试案例示例。根据所包含的第一人称摄像头子集不同，我们能够生成多达2,862个分配问题实例（具体细节将在4.2.4节中详细说明）。总体而言，该数据集包含超过225,000帧图像。俯视图中可见的人数在3到10人之间，第一人称摄像头的数量在1到6个之间，而可用的第一人称摄像头数量与俯视图中可见人数的比例则在0.16到1之间。视频长度从320帧（10.6秒）到3132帧（110秒）不等。
### 4.2 评估
我们从引言部分提出的两个问题出发来评估我们的方法。首先，给定一段俯视图视频和一组第一人称视角视频，我们能否确认该俯视图视频是否捕捉到了拍摄第一人称视频的观看者？我们在4.2.1节中分析了该方法回答这一问题的能力。
其次，已知某段俯视图视频包含了正在拍摄一组第一人称视频的观看者，我们能否确定哪位观看者拍摄了哪段第一人称视频？我们在4.2.2节和4.2.3节中回答了这个问题。
#### 4.2.1 俯视图视频排序
我们设计了一项实验，旨在评估我们的图匹配分数是否能作为衡量以自我为中心的视频集合与俯视图视频之间相似度的有效指标。我们选取同一测试案例中采集的一组以自我为中心的视频（在同一环境下录制），以及来自不同测试案例的50段不同的俯视图视频，随后将每段俯视图对应的图与以自我为中心的图进行相似性比较。在为每段俯视图视频计算出硬分配结果（得到分配向量x）之后，便会为该俯视图视频赋予分数$x^{T}Ax$。该分数实际上是两张图中对应节点和边之间相似度之和。所有俯视图视频均经过评估，且
Fig. 8: The cumulative matching curve demonstrates the performance of the proposed spectral, and matching based optimization methods (red and green), and compares them with the baseline graph matching method introduced in [^1]. It shows that our proposed algorithms outperform the baselines by more than 1.3% and 3.1%.
根据这一分数进行排名。排名准确率是通过测量真实情况中俯视图视频的排名，并绘制图8所示的累积匹配曲线来计算的。蓝色曲线表示采用[^1]所提出的基线方法时的排名准确率，该方法并未强制要求时间延迟一致性。绿色和红色曲线则分别展示了我们提出的两种算法的排名准确率：基于谱优化的算法以及基于匹配分数的优化算法。黑色虚线代表了随机排列俯视图视频时的准确率。可以看出，所有曲线的表现都优于随机排序。这表明我们的图匹配分数能够作为衡量第一人称视角视频与俯视图视频中可见观众之间相似度的有效指标。此外，绿色和红色曲线优于蓝色曲线，也证明了我们所实施的时间延迟一致性约束的有效性。而红色曲线取得了最佳结果，说明第二种算法在性能上优于基于谱优化的算法。需要注意的是，这两种算法在初始化时均采用初始化章节中所建议数值的中位数作为初始值。总体而言，该实验回答了第一个问题：图匹配分数确实可以作为缩小俯视图视频搜索范围的线索，从而帮助我们找到与一组第一人称视角摄像头相对应的视频。
#### 4.2.2 观众排名准确率
我们从排名能力的角度来评估软分配结果。换句话说，我们可以将软分配视为一种依据观众被分配到某一第一人称视角视频的概率来对俯视图视频中的观众进行排序的指标。通过计算正确匹配的排名，我们可以绘制累积匹配曲线来展示其性能。
---
Fig. 7: Two test case examples: A few sample frames of the top-view video, and each of the egocentric videos are visualized alongside with their time-delays with respect to the top-view video time-reference. The color-coding denotes the identities of the viewers.
---
我们评估了所提出方法的性能，每种方法采用两种不同的初始化方式，并在图9(a)中将其与四种基线方法进行比较。首先，随机排序（黑色虚线），即对每段第一人称视角视频，随机排列俯视视频中出现的观看者顺序。其次，根据俯视观看者的1D单特征与各自第一人称相机1D单特征的相似度进行排序（即蓝色曲线所示的可见人数）。第三，根据俯视观看者的2D单特征进行排序（GIST与FOV，由绿色曲线表示）。需注意，此处我们忽略了图中的成对关系（边，即蓝色和绿色曲线所示情况）。青色曲线展示了在[^1]中使用的方法的准确率，洋红色和红色曲线则分别显示了基于谱的方法和基于图匹配得分的方法的性能。实线曲线为中位数初始化的结果，而虚线曲线则来自零初始化。可以看出，正确初始化时间延迟对性能有显著影响。
#### 4.2.3 分配准确率
为了回答第二个问题，我们需要评估该方法在硬分配方面的准确性。我们有一组第一人称视角视频以及与之对应的俯视图视频，据此计算能够正确匹配到相应观看者的第一人称视角视频所占的百分比。我们在图9(b)中对比了所提出的两种算法在两种不同初始化方式下的硬分配准确率，同时还包括四个基线方法。与排名性能类似，第一个基线方法是随机分配：我们将每段第一人称视角视频随机分配给俯视图中可见的观看者之一。第二个基线方法仅基于一维单特征（即随时间变化的可见人数）来执行匈牙利二分匹配。第三个基线方法仅基于二维单特征（GIST与视场范围，记为Unary FOV）来执行匈牙利二分匹配，且忽略图中的成对关系（边）。第四个基线方法是[^1]中介绍的图匹配方法。图匹配方法同时利用单特征和成对特征（记为GM）时，相比各基线方法均展现出一致的准确率提升，这充分体现了成对特征在分配准确性方面的重要贡献。最后四列展示了本研究中提出的两种迭代算法的分配准确率。结果显示，将时间延迟初始化为零向量并不能提高分配准确率；而采用3.4节中提出的建议时间延迟的中位数进行初始化，则能显著提升分配准确率。其中，基于中位数初始化并结合迭代交替算法的图匹配方法取得了最高的准确率，分配准确率高达96%。图匹配方法所展现出的优异准确率回答了第二个问题。既然已知俯视图摄像头正在拍摄一组第一人称视角观看者，我们就可以利用第一人称视角视频和俯视图中的视觉线索，可靠地判断出哪位观看者正在录制哪段第一人称视角视频。
Fig. 12: The effect of video length on the assignment accuracy. As the video length increases, the assignment accuracy improves. Please note that each blue dot represents one test sample, and the dashed red curve represents the cumulative mean assignment accuracy (mean of all accuracies with video length smaller than t).
#### 4.2.4 自我中心式摄像头数量的影响
在4.2.2节和4.2.3节中，我们评估了在将各数据集中所有可用的自我中心式视频作为输入时，我们方法的性能。在本实验中，我们依据自我中心式数据集的完整性比例$\frac{n_{Ego}}{n_{Top}}$，来比较我们的分配与排序框架的准确性。每个数据集中包含$3 < N^{t} < 11$名处于俯视摄像头视野中的观看者，以及$2 < N^{e} < 8$段自我中心式视频。我们利用不同子集的自我中心式视频来评估我们的方法和基准模型的准确性。根据所包含的$2^{N^{e}} - 1$段自我中心式视频的不同，总共可生成$N^{e}$个非空的自我中心式视频子集（即所有可能的非空子集）。
图10展示了采用图匹配方法[^1]时，分配与排序的准确性随可用自我中心式视频与俯视摄像头中可见人数之比的变化情况。结果显示，随着完整性比例的提高，分配准确性显著提升。从直观上讲，更多的自我中心式摄像头能提供更多关于图结构的信息（通过提供更多成对关系项），进而提升谱图匹配与分配的准确性。
#### 4.2.5 视频长度对分配准确性的影响
在此，我们分析了视频长度对分配准确性[^1]的影响。为此，我们使用了视频的较小片段，并测量了使用更长剪辑时分配准确性的变化。如图??所示，随着视频长度的增加，分配准确性也随之提高。从直观上讲，更长的视频能生成更具区分度的单特征和成对特征，从而带来更好的性能表现。
## 5 结论与讨论
在本研究中，我们针对将多段第一人称视角视频与单段俯视视频相关联的两个核心问题展开了探讨。首先，我们能否判断一组第一人称视角视频是否属于
---
(a)
(b)
Fig. 9: (a) shows the cumulative matching curve for ranking the viewers in the top-view video. The green and blue curves belong to ranking based on the cross correlation between the 2D, and cross correlation between the 1D unary scores, respectively (Not incorporating pairwise features). The cyan curve is the graph matching method results (section 3.3), and the magenta and red curves are the results of the two iterative approaches introduced section 3.4 with two different initializations. The dashed black line shows random ranking accuracy (b) shows the assignment accuracy based on randomly assigning, using the number of humans, using unary features, using spectral graph matching, and using our two iterative approaches with two different initializations. The best performance in both (a) and (b) is achieved by the matching score based iterative optimization, when the time-delays are initialized by the median of the suggested values.
(a)
(b)
(c)
(d)
Fig. 10: Effect of the relative number of egocentric cameras referred to as the completeness ratio $\frac{n_{Ego}}{n_{Top}}$. (a) shows the ranking accuracy vs $\frac{n_{Ego}}{n_{Top}}$, only using the unary features, (b) shows the same evaluation using the graph matching output, (c) shows the accuracy of the hard assignment computed based on Hungarian bipartite matching on top of the unary features, and (d) shows the hard-assignment computed based on the spectral graph matching.
俯视视频中所呈现的一组人物？其次，在确认归属关系后，我们能否识别出具体的人物？我们提出了一种统一的框架，能够以极高的准确率回答这些问题。
实验结果表明，捕捉第一人称视角视频内容的变化模式以及它们之间的关联关系，有助于在俯视画面中识别出对应的观看者。为此，我们采用了谱图匹配技术，并证实图匹配得分是缩小俯视视频搜索范围的有效依据。此外，该框架生成的匹配结果能够将第一人称视角视频与俯视摄像头下的观看者对应起来。我们由此得出结论：仅基于摄像头的全局场景特征以及视频的时间信息，就能从单段或成对的第一人称摄像头数据中提取出有意义的特征。
实证研究表明，如果不包含二元特征，分配准确率会显著下降。这意味着捕捉俯视图与自我中心视图中观看者之间的关系是一个重要因素。此外，强制保持时间延迟的一致性能够提升分配和排序方面的准确率，因为这能防止系统产生具有矛盾性隐含时间延迟分配的错误结果。我们证明，自我中心集合的完整性是我们所提算法性能的关键因素。总体而言，自我中心集合越完整，图匹配方法的分配和排序准确率就越高。视频长度也是另一个重要因素：视频越长，在1D和2D空间中形成的区分性模式就越多。
---
(a)
(b)
r1g. 11: An example of the objective function with respect to the time-delays of two egocentric videos. The z axis in both figures shows the objective to be maximized in each of the algorithms. The z axis in (a) shows the change in the leading eigenvalue of an affinity matrix with respect to the time delay of two of the egocentric videos. The red vertical line corresponds to the correct time delays, (b) shows the change in the graph matching score with respect to two time delays. It can be observed that both the leading eigenvalue and the graph matching score reach their maximum values if the correct time-delays are selected.
特征描述符也因此更加准确，进而实现更精准的分配。
我们的研究将此前各自独立研究的两种信息源关联起来，从而从不同视角推导出关于视觉世界的新见解。我们研究了人类身份识别问题，但同样的方法也可用于理解动物或汽车等其他实体的行为。未来可以探索该问题的更通用情形，比如将多个自我中心观看者对应到多个俯视摄像头中的观看者。此外，也可以探索其他方法来解决所提出的问题或其细微变体（例如用于分析单变量及成对关系的监督学习方法）。进一步而言，视觉里程计等其它计算机视觉技术也可用于关联这两种信息源。我们最初曾尝试用里程计来解决这一问题，但结果并不准确，这或许是因为自我中心视频中存在大量抖动现象。不过，这仍可作为未来进一步研究的潜在方向。
## 参考文献
[^1]: S. Ardeshir and A. Borji, “Ego2top: Matching viewers in egocentric and top-view videos,” arXiv preprint arXiv:1607.06986, 2016.
[^2]: R. J. Fathi A, Farhadi A, "Understanding egocentric activities." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.
[^3]: R. J. Fathi A, Li Y, "Learning to recognize daily actions using gaze." Computer Vision ECCV, 2012.
[^4]: I. E. Bettadapura, Vinay and C. Pantofaru., “Egocentric field-of-view localization using first-person point-of-view devices.” Applications of Computer Vision (WACV), IEEE Winter Conference on., 2015.
[^5]: R. B. Girshick, P. F. Felzenszwalb, and D. McAllester, "Discriminatively trained deformable part models, release 5," .
[^6]: P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan, "Object detection with discriminatively trained part based models," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 9, pp. 1627–1645, 2010.
[^7]: B. F. T. M. Bak S, Corvee E, "Multiple-shot human re-identification by mean riemannian covariance grid." In Advanced Video and Signal-Based Surveillance (AVSS), 8th IEEE International Conference on, 2011.
[^8]: A. R. Zamir, A. Dehghan, and M. Shah, "GMCP-Tracker: Global multi-object tracking using generalized minimum clique graphs," in European Conference on Computer Vision (ECCV), 2012.
[^9]: V. Pradeep, G. Medioni, and J. Weiland, “A wearable system for the visually impaired,” in 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. IEEE, 2010, pp. 6233–6236.
[^10]: Y. K. Egozi, Amir and H. Guterman., "A probabilistic approach to spectral graph matching." Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013.
[^11]: S. Ardeshir and A. Borji, "From egocentric to top-view."
[^12]: O. C. Dicle, Caglayan and M. Sznaier., "The way they move: Tracking multiple targets with similar appearance." Proceedings of the IEEE International Conference on Computer Vision, 2013.
[^13]: T. Kanade and M. Hebert, “First-person vision.” Proceedings of the IEEE 100.8, 2012.
[^14]: R. C. R. M. Betancourt A, Morerio P, "The evolution of first person vision methods: A survey." Circuits and Systems for Video Technology, IEEE Transactions on, 2015.
[^15]: X. R. Fathi, Alireza and J. M. Rehg., "Learning to recognize objects in egocentric activities." Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference On, 2011.
[^16]: Z. Lu and K. Grauman., "Story-driven summarization for egocentric video." Computer Vision and Pattern Recognition (CVPR), IEEE Conference On, 2013.
[^17]: Y. Li, A. Fathi, and J. Rehg, “Learning to predict gaze in egocentric video,” in Proceedings of the IEEE International Conference on Computer Vision, 2013, pp. 3216–3223.
[^18]: P. Polatsek, W. Benesova, L. Paletta, and R. Perko, “Novelty-based spatiotemporal saliency detection for prediction of gaze in egocentric video.”
## [^19]: A. Borji, D. N. Sihite, and L. Itti, "What/where to look next? modeling top-down visual attention in complex interactive environments"
---
ments,” 《IEEE系统、人与控制论学报》，第44卷，第5期，第523–538页，2014年。
[^20]: M. B. Alahi, Alexandre and M. Kunt., "Object detection and matching with mobile cameras collaborating with fixed cameras." Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications-M2SFA2, 2008.
[^21]: B. M. K. M. Alahi A, Marimon D, "A master-slave approach for object detection and matching with fixed and mobile cameras." In Image Processing, 2008. ICIP 2008. 15th IEEE International Conference, 2008.
[^22]: L. D. C. M. F. Ferland F, Pomerleau F, "Egocentric and exocentric teleoperation interface using real-time, 3d video projection." In Human-Robot Interaction (HRI), 2009 4th ACM/IEEE International Conference on, 2009.
[^23]: E. J. Park, Hyun and Y. Sheikh., “Predicting primary gaze behavior using social saliency fields.” Proceedings of the IEEE International Conference on Computer Vision., 2013.
[^24]: B. Soran, A. Farhadi, and L. Shapiro, "Action recognition in the presence of one egocentric and multiple static cameras," in Asian Conference on Computer Vision. Springer, 2014, pp. 178–193.
[^25]: G. B.-A. Hoshen, Yedid and S. Peleg., "Wisdom of the crowd in egocentric video curation." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2014, 2014.
[^26]: J. K. H. Fathi, Alireza and J. M. Rehg., "Social interactions: A first-person perspective." Computer Vision and Pattern Recognition (CVPR), IEEE Conference on., 2012.
[^27]: R. Yonetani, K. M. Kitani, and Y. Sato, “Ego-surfing first person videos,” in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2015, pp. 5445–5454.
[^28]: e. a. Yan, Yan, "Egocentric daily activity recognition via multitask clustering." Image Processing, IEEE Transactions on, 2015.
[^29]: H. O. C. A. M.-C. W. Damen D, Leelasawassuk T, "You-do, i-learn: Discovering task relevant objects and their modes of interaction from multi-user egocentric video." BMVC, 2014.
[^30]: Y. Lin, K. Abdelfatah, Y. Zhou, X. Fan, H. Yu, H. Qian, and S. Wang, "Co-interest person detection from multiple wearable camera videos," in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 4426–4434.
[^31]: S. M. B. L. M. V. Cheng DS, Cristani M, "Custom pictorial structures for re-identification." BMVC, 2011.
[^32]: M. V. Bazzani L, Cristani M, "Symmetry-driven accumulation of local features for human characterization and re-identification." Computer Vision and Image Understanding., 2013.
[^33]: S. Modiri Assari, H. Idrees, and M. Shah, “Human re-identification in crowd videos using personal, social and environmental constraints,” in European Conference on Computer Vision. Springer, 2016.
[^34]: S. M. B. L. M. V. Cheng DS, Cristani M, "Head motion signatures from egocentric videos." In Computer Vision – ACCV. Springer International Publishing., 2014.
[^35]: K. M. K. Yonetani, Ryo and Y. Sato., "Ego-surfing first person videos." Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference on. IEEE, 2015.
[^36]: I. G. Kiefer, Peter and M. Raubal., "Where am i? investigating map matching during selflocalization with mobile eye tracking in an urban environment." Transactions in GIS 18.5, 2014.
[^37]: A. Chakraborty, B. Mandal, and H. K. Galoogahi, “Person re-identification using multiple first-person-views on wearable devices,” in 2016 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2016, pp. 1–8.
[^38]: K. Zheng, H. Guo, X. Fan, H. Yu, and S. Wang, "Identifying same persons from temporally synchronized videos taken by multiple wearable cameras."
[^39]: A. Torralba, “Contextual priming for object detection,” in International Journal of Computer Vision, Vol. 53(2), 169-191, 2003.
[^40]: H. W. Kuhn, “The hungarian method for the assignment problem,” Naval research logistics quarterly, vol. 2, no. 1-2, pp. 83–97, 1955.
他发表了多篇关于自我中心视觉、位置感知图像理解、图像地理定位等主题的论文。
Shervin Ardeshir于2012年在伊朗德黑兰的沙里夫理工大学获得电气工程学士学位，2016年在中佛罗里达大学获得硕士学位。他目前是中佛罗里达大学计算机视觉研究中心的博士生。Ali Borji分别于2001年和2004年在伊朗德黑兰的石油技术大学和伊朗设拉子的设拉子大学获得计算机工程学士和硕士学位；他于2009年在伊朗德黑兰的基础科学研究所获得认知神经科学博士学位。他目前是中佛罗里达大学计算机视觉研究中心的助理教授。他的研究兴趣包括视觉注意力、视觉搜索、机器学习、机器人技术、神经科学以及符合生物机制的视觉模型。他是IEEE会员。