# Human3.6M：自然环境中3D人体感知的大规模数据集与预测方法 卡塔林·约内斯库（Catalin Ionescu）、德拉戈什·帕帕瓦（Dragos Papava）、弗拉德·奥勒鲁（Vlad Olaru）、克里斯蒂安·斯明奇斯库（Cristian Sminchisescu） 摘要—我们引入了一个全新数据集Human3.6M，包含360万个精准的3D人体姿态。该数据集通过记录5名女性受试者和6名男性受试者在4种不同视角下的动作采集得到，用于训练真实人体感知系统，以及评估新一代人体姿态估计模型和算法。本数据集不仅将当前领域最优数据集的规模提升了数个数量级，还对现有数据集做了多维度补充：涵盖了拍照、打电话、摆姿势、问候、用餐等典型人类活动中出现的多样化动作与姿态，同时提供额外的同步图像、人体运动捕捉、飞行时间（深度）数据，以及所有参与受试者的精准3D人体扫描数据。我们还提供了可控的混合现实评估场景：在这些场景中，3D人体模型通过动作捕捉驱动生成动画，并按照正确的3D几何结构嵌入复杂真实环境，支持移动相机在遮挡条件下完成观测。最后，我们为该数据集提供了一套大规模统计模型和详细的评估基线，以体现其多样性和供研究界未来工作拓展的提升空间。我们的实验表明，针对该问题，相比现有最大规模公开数据集量级的训练集，我们性能最优的大规模模型可利用完整训练集获得20%的性能提升。而借助我们的大规模数据集，训练更高容量、更复杂模型的提升潜力十分可观，有望推动未来该领域的研究发展。本数据集以及相关大规模学习模型代码、特征、可视化工具和评估服务器均可在线获取，地址为。 索引术语—三维人体姿态估计、人体运动捕捉数据、铰接式人体建模、优化、大规模学习、结构预测、傅里叶核近似 ## 1 引言 从真实图像中得到的人体数据覆盖多种室内外场景，在娱乐、环境感知、人机交互等领域有着广泛的应用[^1] [^2] [^3]。过去15年来，在新型优化与建模方法、判别式方法、特征设计和标准化模型训练数据集的推动下，该领域取得了重大进展。目前学界已普遍达成共识：任何成功的人体感知系统，无论是生成式、判别式还是二者结合的方案，都需要充足的训练模块，同时结合图像测量提供的强约束，才能稳定运行，这一点在单目观测和（自）遮挡场景下尤为重要。这类情况在真实场景采集的图像分析中并不少见，反而十分普遍，但目前计算机视觉领域现有的人体模型和训练工具尚无法很好处理这类图像。问题的部分原因在于，人体灵活性极高，在自然背景下的运动模式复杂，且衣物和肌肉都会发生形变。遮挡等其他干扰因素也要求对场景进行全面建模，而非仅对场景中的人体建模。这类图像理解场景要求姿态感知系统利用不完整的可见信息约束对未观测身体部位的估计，极大考验了系统提取先验知识和结构关联的能力。可训练系统面临的核心挑战之一就是数据覆盖范围不足。现有的顶级数据集如HumanEva [^4]仅包含约4万个不同姿态，覆盖的运动类别十分有限，这符合该数据集最初主要用于算法评估的设计目标。相比之下，我们既希望继续提供有难度的基准测试集，也希望收集能够用于构建适配真实环境的可用系统的数据集。真实世界中人们的运动远没有多数现有数据集假设的那样规律。以行人为例：尤其是在繁忙的城市环境中，很难遇到姿态标准的行走行人。受日常事务影响，人们会携带包袋， --- 人们走路时会把手插在口袋里，在与他人交谈或打电话时会做出手势。由于人体运动学空间范围过大，无法进行规律且密集的采样，因此我们选择聚焦一组符合研究兴趣的姿态来收集数据——这些姿态在城市场景和办公场景中十分常见。这些姿态来自我们选定的15种场景，我们给测试参与者提供了大致的行为指导，同时也留给他们充足的即兴发挥空间。这一设计帮助我们更密集地覆盖部分常见的姿态变化，同时控制了训练数据与测试数据之间的差异（即协变量偏移 [^5]），且不会对二者的相似性施加不切实际的限制。不过，“打电话”或“吃饭”这类日常任务中的姿态差异十分细微：从功能角度看，无论具体执行方式如何，人们完成的都是相似的行为模式。相反，任意两个不同场景的姿态分布更可能包含差异更大的姿态，尽管这类数据采样所在的流形可能存在交集。 本文提出了一个大型数据集，该数据集采用高精度标记式动作捕捉系统采集，数据对象为穿着中度写实服装的演员，拍摄背景为室内场景。近期其他实验系统已经探索了基于无创传感器或可穿戴体载摄像头实现无约束采集的可能性[^6]，[^7]，从长远来看，随着技术发展，这类方案有望成为颇具吸引力的替代选择。随着技术不断成熟，各方向的进展都值得欢迎，尤其我们提供的数据在姿态选择层面，与现有数据集形成了互补[^4]，[^7]，[^8]。即便集结整个领域的共同努力，我们也很难对包含所有人体姿态的30余维空间进行密集采样，或是轻松处理该空间的全部信息。不过，和当前视觉识别领域的研究方向一致，聚焦典型场景和更大规模的数据集仍可以提供一定程度的先验知识引导，从而显著提升现有人体感知系统的性能。按照设计，我们的数据集具体涵盖以下方向： 大量人体姿态、多样动作与活动场景：我们采用高精度人体动作捕捉系统，共采集了超过360万种不同的人体姿态，所有姿态均从4个不同角度拍摄获取。本次动作由11名专业演员完成演示，覆盖了丰富的日常场景，包括交谈、进食、问候、打电话、摆姿势、静坐、抽烟、拍照、等候，以及多种特殊场景下的行走（手插口袋、打电话、遛狗、购买商品）。图1展示了我们重点关注的姿态类型示例，同时给出了演员重现该类姿态的图像以及对应的三维重建结果。 同步模态、2D与3D数据、受试者人体扫描：我们采集并完全同步了2D与3D两类数据，具体包括4台高速逐行扫描高分辨率摄像机输出的图像、一台飞行时间（TOF）深度传感器的数据，以及由10台高速摄像机采集的人体动作捕捉数据。我们还提供了该数据集中所有受试者的3D全身模型，所有模型均由高精度三维激光扫描仪采集得到。 评估基准、复杂背景、遮挡：本数据集不仅为实验室采集的数据提供了训练、验证与测试划分，还构建了多种混合现实场景：在由真实移动数码相机采集的视频环境中插入了逼真的图形角色，并使用我们的动作捕捉数据为这些角色添加动画。基于相机运动及其内参估计、3D环境重建和地平面估计，这些插入内容和遮挡关系在几何上是准确无误的。 在线大规模模型、特征、可视化与评估工具：我们提供用于特征提取和姿态估计的在线模型，包括线性回归器、核回归器，以及基于核依赖估计的结构化预测器。所有这些模型都辅以线性傅里叶近似，从而支持大规模非线性核模型的训练。当前这类模型的设计难度较高，对于现有大多数人体姿态估计方法而言，处理数百万张图像和三维姿态、或是利用这类大规模资源库进行训练仍然十分艰巨。我们还提供背景减除方法和人体边界框提取方法，以及基于上述内容得到的多种预计算特征（SIFT网格金字塔），方便计算机视觉和机器学习领域开展快速原型开发、实验和并行工作流。我们同时也提供了可用于可视化基于三维关节位置的骨架表示以及三维关节角度格式的软件。 ### 1.1 相关工作 在过去十年间，从图像或视频中推理三维人体姿态在研究界得到了广泛关注。由于不可能完成一份全面调研，我们向读者推荐Moeslund等人[^1]、Rosenhahn等人[^2]近期编辑的著作，以及[^3]、[^9]，以获取全面综述。最初，三维人体感知领域的研究聚焦于三维人体建模，依赖非线性优化技术。近年来，研究兴趣有所转移，更多转向基于人体动作捕捉数据集训练各组件的系统。 在三维姿态推理领域，部分方法聚焦于自动判别预测[^10] [^11] [^12] [^13] [^14]，另一些方法则旨在实现模型-图像配准[^15] [^16] [^17] [^18] [^19] [^20] [^21] [^22] [^23]，或是对三维形状[^24]、[^25]或衣物[^26]进行精准建模。这一发展进程得以推进，离不开三维人体动作捕捉数据[^4]、[^8]的可得性，也离不开各类人体扫描数据集的出现，例如商用的CAESAR数据集，或是规模更小的学术数据集SCAPE [^27]和INRIA4D [^28]。但三维人体感知模型的训练并非易事。CMU数据集[^8]包含种类丰富的人体姿态，但这些姿态并未与图像数据同步，这为端到端训练和性能评估带来了困难。由于难以获取同步图像数据对应的精准三维姿态信息，最初的评估都是定性的。后来研究人员才利用合成模型的图形渲染开展定量评估[^12]、[^29]、[^30]。HumaEva基准[^4]发布的高质量同步数据是该领域的一大重要进展，但其数据集规模和姿态多样性仍然较为有限。类似CAESAR这类商用人体扫描数据集覆盖面全面，且 --- ![Image](images/8d06595f901d490ffdea9ca2b1871b1c63930b861aa35aa711f67ea8a9345c57.jpg)
Fig. 1. Real image showing multiple people in different poses (left), and a matching sample of our actors in similar poses (middle) together with their reconstructed 3D poses from the dataset, displayed using a synthetic 3D model (right). The desire to cover the diversity of 3D poses present in such real-world environments has been one of our motivations for the creation of Human3.6M.
能够提供整个人群在统计层面显著的体型差异，但无法提供所涉受试者的动作数据或对应的图像数据。[^31]开展了一项通过手动标注获取三维姿态信息的宏大研究，不过该研究中的二维和三维标注都仅为定性，且收集的数据规模很小：300张图像中共包含1000个人。目前也已有诸多针对二维人体定位的方法研究[^31] [^32] [^33] [^34]。对于二维姿态估计任务，只需在图像中标注人体部位即可获得真值数据。现有数据集包含火柴人标注[^33]、[^35]，以及带有二维标注的姿态元扩展数据集[^36]。 在方法体系与数据可得性方面，二维和三维各领域的进展，推动了近年来业界对自然环境下真实三维人体动作捕捉的研究热潮 [^6], [^7], [^37], [^38]。目前该领域已经取得了十分令人振奋的成果，但要让这项技术能够实现数百万个人体姿态的采集，仍有诸多挑战亟待解决。飞行时间、红外或结构光传感器的公开普及，进一步刺激了业界对三维动作捕捉技术的研究兴趣 [^39], [^40]。其中最广为人知的Kinect系统，就是成功部署在商用场景的实时姿态估计解决方案的生动例证。其出色性能一方面得益于包含约100万个姿态样本的大规模专有训练集，另一方面则得益于深度信息的可用性——深度信息简化了人物与背景的分割过程，还减少了肢体三维推理的歧义性。凭借自身的规模与复杂度，Human3.6M旨在为研究界提供必要的数据，帮助学界在难度更高的仅使用强度图像的场景中取得类似性能，也可借助我们采集的飞行时间数据，在与Kinect类似的设置中，通过开放获取的规模更大、多样性更高的数据集实现同等效果。 ## 2 数据集采集与设计 本节我们将介绍动作捕捉空间、录制条件，以及本数据集的构成与设计考量。 ### 2.1 实验设置 我们的实验装置如图2(c)所示，可通过软硬件同步从15个传感器（4台数码摄像机、1台飞行时间传感器、10台动作捕捉相机）采集数据，详情见图2(b)。划定的实验区域约为6m×5m，其中有效采集空间约为4m×3m，在该空间内所有摄像机都能完整拍摄到受试者。4台数码（DV）摄像机布置在有效采集空间的四个角落，1台飞行时间（TOF）传感器安装在其中一台数码摄像机的顶部。10台动作捕捉（MoCap）相机固定安装在墙面上，以最大化有效实验空间：左右侧边缘各布置4台，水平边缘中段附近各布置2台。我们使用Human Solutions公司的Vitus LC3三维激光人体扫描仪，为每位参与实验的受试者获取了精确的三维体积模型。 三维动作捕捉系统依靠粘贴在受试者身体上的小型反光标记点工作，随时间跟踪这些标记点的位置。跟踪过程会保留标记点的标签身份，并从初始姿态开始随时间传播该身份，初始姿态可通过手动或自动方式标注。拟合过程利用每个身体标签的位置、身份以及专有人体运动模型，推断出精确的姿态参数。 ### 2.2 数据集结构 本节我们介绍本数据集中采集的人体运动的选型依据、提供的输出数据类型，以及我们预先计算完成的图像处理和输入标注内容。本数据集包含的多种数据模态示例如图3所示。 参与者与人体姿态集：数据集中的动作由11名专业演员完成，其中5名女性、6名男性，所选演员的身体质量指数（BMI）范围覆盖17至29。我们预留了7名受试者（3女4男）用于训练和验证，4名受试者（2女2男）用于测试。这一划分既提供了适度的体型差异，也覆盖了不同的活动幅度范围。我们为每位演员采集了3D人体扫描形式的体积信息，以补充仅有关节位置的信息。该数据也可用于评估人体体型估计算法[^24]。网格模型作为数据集的一部分发布（示例见图5）。受试者穿着自己的日常服装，而非特殊动作捕捉服，以尽可能保持真实感。我们给演员安排了详细任务，并向他们展示了视觉示例（人物图像），帮助他们规划一组稳定的姿态，用于构建训练、验证和测试集。但在执行这些任务时，演员获得了相当大的 ---
Type of actionScenariosTrainValidationTest
Upper body movementDirections83,85650,808114,080
Discussion154,39268,640140,764
Full body upright variationsGreeting69,98433,09684,980
Posing70,94825,80085,912
Purchases49,09633,26848,496
Taking Photo Waiting67,15238,21689,608
Walking98,23254,928123,432
Walking variationsWalking114,46847,54093,320
Walking Dog77,06830,64859,032
Walking Pair76,62036,87652,724
Variations while seated on a chairEating109,36039,37297,192
Phone Talk132,61239,30892,036
Sitting110,22846,52089,616
Smoking138,02850,77685,520
Sitting on the floorSitting Down112,17250,384105,396
Various MovementsMiscellaneous--105,576
Total1,464,216646,1801,467,684
(a) 汇总各场景后，Human3.6M中训练、验证和测试集的3D人体姿态数量统计。我们使用5名受试者用于训练（2女3男），2名用于验证（1女1男），4名受试者用于测试（2女2男）。视频帧数量与姿态数量相等（4台相机以50Hz频率采集）。TOF帧数量可通过将表格中的数值除以8得到（1个传感器以25Hz频率采集）。
MoCap SystemDV System
No x Sensor Resolution Freq. Sync10 x Vicon T40 4 Megapixels 200Hz hardwareNo x Sensor Resolution Freq. Sync4 x Basler piA1000 1000x1000 50Hz hardware
TOF SystemBody Scanner
No x Sensor Resolution Freq. Sync1 x Mesa SR4000 176x144 25Hz softwareSensor No. Lasers Point Density ToleranceVitus Smart LC3 3 7dots/cm3 < 1mm
(b) Technical summary of our different sensors.
![Image](images/f6668b37c0c3527ed338d133ccfaa8ccabb06061326102f4e45bad367ae36af7.jpg)
(c) Floor plan showing the capture region and the placement of the video, MoCap and TOF cameras.
Fig. 2. Overview of the data and the experimental setup. (a) Number of frames in training, validation and testing by scenario. (b) Technical specification of our sensors. (c) Schema of our capture space and camera placement.
![Image](images/e7acc3900db9e1d03faf8f1071802c427f0faf596957126ee59e98b8cb18d9f9.jpg)
Fig. 3. Sample of the data provided in our dataset from left to right: RGB image, person silhouette (bounding box is also available), time-of-flight (depth) data (range image shown here), 3D pose data (shown using a synthetic graphics model), accurate body surface obtained using a 3D laser scanner.
行动自由度，可以自然活动，而非被迫刻板演绎每个任务对应的动作或姿态。 该数据集包含由4台数码相机采集的360万种不同人体姿态，数据被划分为15个训练场景，涵盖存在各类不对称特征的行走（例如手插兜行走、单肩挎包行走）、坐姿、卧姿以及多种等待姿态等。数据集结构如图2(a)所示，图像示例如图4所示。 关节位置与关节角度骨架表示：现有研究中常用的姿态参数化方法包括相对三维关节位置法（R3DJP）和运动学表示法（KR）。我们的数据集同时提供两种参数化方式下的数据，两种表示的完整骨架均包含相同数量（32个）的关节。第一种表示R3DJP提供了各个关节在三维坐标系中的位置。 该数据由Vicon骨架拟合流程得到关节角度后，对受试者的骨架应用正向运动学计算得到。这种参数化被称为「相对」参数化，是因为它指定了一个特殊的根关节（大致对应盆骨位置）作为坐标系中心，其余关节的位置都相对于根关节估算得到。运动学表示法（KR）关注肢体之间的相对关节角度，使用更方便，因为它对尺度和身体比例都具有不变性；但变量之间的依赖关系复杂得多，导致估计难度更高。估算关节角度的过程需要在关节活动范围约束下进行非线性优化。 我们投入了大量精力确保数据干净、拟合过程准确，此外还监测了人体关节位置的图像投影误差。这些位置是基于正运动学获得的，在 --- ![Image](images/6b54500d5970bab5493acf9d29a578ce6451d0fabc22c716a973398dd44a3544.jpg)
Fig. 4. Sample images from our dataset, showing the variability of subjects, poses and viewing angles.
![Image](images/2032b6d05d930b66a2c37fe56a9755d200e7389c50f8041bb06c63203829d37f.jpg)
Fig. 5. High resolution meshes (body scans) of the actors involved in our experiments, illustrating the body shape variations in the dataset.
拟合完成后，我们将其与图像标记轨迹进行对比。输出结果在不同处理阶段经过了多次目视检查，以确保准确性。这些表征可以直接用于独立单目预测或多相机估计场景中。通过全局旋转平移位姿坐标，将4台DV相机的数据映射到同一统一坐标系后，单目预测数据集的规模可扩大4倍（我们也提供了实现该数据处理的代码）。如图2(b)所示，动作捕捉得到的位姿数据采样率也比DV相机的图像采样率高出（4倍）。我们的代码还支持通过生成镜像对称样本，将图像和3D位姿数据的规模翻倍。该流程最终可生成700万张带有对应3D位姿标注的图像。 图像处理、轮廓、人体 bounding box 与像素级标签。我们通过背景模型得到了所有图像的逐像素前景-背景分割结果。我们将图像模型训练为高斯分布混合模型，分别对RGB、HSV颜色通道的每个通道以及每个RGB通道的梯度建模 $^{1}$（总共有 $3+3+2\times3=12$ 个通道）。我们在图切割框架中使用上述背景模型，得到最终的前景-背景像素标注。图切割模型输入特征的权重是通过优化像素分割准确率指标学习得到的，该优化基于一组手动标注的真值轮廓，这些轮廓取自不同视频采样得到的图像子集。我们使用的分割指标是标准重叠率，即预测结果与真值轮廓之间的逐像素交并比。我们采用Nelder-Mead优化算法来处理非光滑目标函数。 该数据集还提供了准确的人体 bounding box 标注。该数据通过将骨架投影到图像中，再在投影结果周围拟合矩形框得到。为了获得准确的估计结果，我们额外执行了单独的相机校准流程，以提升Vicon系统默认校准结果的精度。这种额外校准是必要的，因为默认校准方法无法估计相机畸变参数。校准数据也随数据集发布一同提供。该校准数据是通过在采集平面放置30个反光标记点，并在每台相机中手动对它们标注，采用 --- ![Image](images/f575a375a2518a641f8e3021da212cd33c60531a5dbbb14c92c1f587038f01f5.jpg) ![Image](images/3e6f5ec7cdef1c2f630aa951ed557ba1449802b50a44188770dc94dc3b99f01c.jpg) ![Image](images/5614a77bee5af6ed2415b94366025d6c4238ba7824d970ac18eede3079f57aff.jpg) ![Image](images/28e0b2967b8d92e4ed247a244cebda215749a421a384619f44559cb69ebd915b.jpg) ![Image](images/24dd718befcdb73842aa6c72648d553bd3179f821120154c40a8895869cf318c.jpg) ![Image](images/bae491f083798acd9c8f07c9e7435b0a70a37b44dbd3e0d166c29622cb98a58c.jpg)
Fig. 6. Sample images from our mixed reality test set. The data is challenging due to the complexity of the backgrounds, viewpoints, diverse subject poses, camera motion and occlusion.
亚像素精度。我们针对该数据拟合了带有二阶径向畸变参数的模型，对四台DV摄像机分别进行处理。该流程得到的标定参数得到了显著优化，平均重投影误差为0.17像素。 我们自动生成密集像素级身体部位标签与深度图，步骤为：首先利用运动学信息渲染体积人体模型，再通过相机参数将其投影到图像中（参见 Fig. 8）。身体部位标签我们一共设置了24个，其中20个与四肢相关（每个肢体的关节占3个标签，上下部骨骼各占1个共2个标签；例如手臂由肩、肘、腕关节，以及肱骨和桡骨组成），2个对应躯干（胸部和腹部），1个对应骨盆，1个对应头部。 额外的混合现实测试数据：除了构建实验室测试集之外，我们还致力于提供能够覆盖服装变化、复杂背景、相机运动以及遮挡情况的测试数据（图6）。我们通过将高质量绑定3D动画模型插入到具备真实复杂背景、优质图像数据和精准3D姿态信息的真实视频中，制作得到了混合现实视频。这些视频是通过在真实视频中插入并渲染穿着完整衣物的合成人物（男性或女性）3D模型制作而成。据我们所知，现有文献中尚无同等难度级别的测试设置。真实图像虽然可以展示处于复杂姿态的人体，但多样背景、场景光照和遮挡都可能独立变化，这些都是视觉系统需要具备鲁棒性来应对的重要干扰因素。尽管文献中已经存在应对这类干扰因素的方法，但由于真实图像很难获得真值姿态信息，我们难以评估这些方法的有效性。我们数据集的一个组成部分就是专门为解决这类难题设计的。这并非唯一可行的真实测试场景——文献中的其他数据集[^6]，[^7]也包含不同运动动作或背景等真实测试场景。此前已经有不少工作构建了用于训练和测试3D人体姿态估计方法的混合现实设置，包括我们团队自己的早期工作[^41]，[^42]，也包括[^43]以及近年的[^44]。但此前所有工作的数据集规模都不够大。或许更重要的是，与本工作不同，这些工作在插入3D合成人体时，并未考虑拍摄背景的相机几何结构，也未考虑3D场景（例如地平面、遮挡物）的几何结构。² 用于模型动画的姿态直接选自我们的实验室测试集。我们利用动作捕捉系统提取得到ZXY顺序欧拉关节角，用于生成可自动将肢体长度与模型匹配的文件。肢体长度信息是下一步操作必需的：我们使用动画软件将捕获的动作数据重定向到图形模型的骨架上。要获得高质量渲染效果，实际插入过程需要求解（刚体）相机运动及其内参[^45]。导出的相机轨迹和模型随后被导入动画软件，在其中完成最终渲染。我们使用mental ray光线追踪渲染器搭建并渲染场景，搭配了多个位置合理的面光和天光。为提升渲染质量，我们在地面放置了一个透明平面来承接阴影。我们也制作了带遮挡的场景。该数据集包含5种由运动相机拍摄得到的不同动态背景，总共有7466帧，其中1270帧包含不同程度的遮挡。生成图像的示例如图6所示。我们将Human3.6M的这一部分视为一个示例。基于我们采集的大规模动作捕捉数据，我们可以轻松生成大批量混合现实视频用于训练和测试，这些视频包含不同身体比例、不同穿着的人物，背景可以是不同的真实静态或运动背景。 ## 3 大规模姿态估计模型 我们随本文数据集提供了多个大规模评估模型，我们重点研究自动判别框架，因为它们概念简洁，并且在 2. 插入过程涉及将人物轮廓精灵与图像背景合成，该过程可能会由此引发各类3D几何不一致问题以及图像处理伪影。 --- 可扩展性上具备潜力。我们将该估计问题建模为学习一个映射（或索引）：从人物轮廓或其边界框上提取的图像描述符，映射到基于关节位置或关节角度表示的姿态。设$X_i$为第i帧的图像描述符，$Y_i$为第i帧的姿态表示，$\mathbf{f}$（或$\mathbf{f}_w$）为带参数W的映射。我们的目标是针对训练中未见过的X和Y，估计得到一个满足$\mathbf{f}_w(X) \simeq Y$的模型。我们具体考虑的方法包括：k近邻（kNN）、线性岭回归与核岭回归（LinKRR, KRR），以及基于核依赖估计（KDE）的结构化预测方法[^12], [^46]，出于可扩展性考虑，我们在其中使用了傅里叶核近似[^38], [^47], [^48]。使用数百万样本训练这类模型（就此而言，任何其他人体姿态预测方法也不例外）难度极大，并且迄今为止，在这类带有结构化、高度相关输出的连续预测问题场景中，还没有实践证明该方案的可行性。 k近邻回归（kNN）是学习f最简单的方法之一 [^49]。受运行时间限制，在我们的场景中，“训练”仅需要存储全部训练样本或其中的一个子集。根据所使用的距离函数，可以在训练阶段构建一个中间数据结构（通常为KD树或覆盖树 [^50]），以加快测试阶段的推理速度。但这类数据结构依赖于输入度量，且大多仅在低输入维度的问题中能发挥优势，不符合我们的问题场景。我们为直方图采用$\chi^2$比较度量作为输入，该度量已知在梯度分布上表现良好（我们使用在人体轮廓或边界框上提取的SIFT网格金字塔）。对于向量$\mathbf{X} = [x_1 \ldots x_d]$和$\mathbf{Y} = [y_1 \ldots y_d]$，$\chi^2$距离定义为 $$ \chi^{2}(\mathbf{X},\mathbf{Y})=\frac{1}{d}\sum_{l}\sqrt{\frac{(x_{l}-y_{l})^{2}}{x_{l}+y_{l}}} $$ 为了能够在合理时间内完成某些非近似模型的实验，我们仅使用了40万条训练样本，每当数据量超过该上限时就会对数据进行下采样。实验中我们设置k = 1，这种情况下，预测结果就是返回输入度量下训练集中距离最近的样本对应的已存储目标值。 核岭回归（KRR）是一种简单可靠的核方法 [^51]，它可以通过单独训练模型，对每个姿态维度（关节角度或关节位置）进行独立预测。每个模型的参数$\alpha_{i}$通过求解非线性$l_{2}$正则化最小二乘问题得到： $$ \arg\min_{\alpha}\frac{1}{2}\sum_{j}\|\sum_{i}\alpha_{i}k(\mathbf{X}_{j},\mathbf{X}_{i})-\mathbf{Y}_{j}\|_{2}^{2}+\lambda\|\alpha\|_{2}^{2} $$ 该问题存在闭式解 $$ \alpha=(\mathbf{K}+\lambda\mathbf{I})^{-1}\mathbf{Y} $$ 结合$\mathbf{K}_{ij} = k(\mathbf{X}_i, \mathbf{X}_j)$和$\mathbf{Y} = [y_1, \ldots, y_n]$。该方法的缺陷在于训练集规模带来的三次方复杂度 scaling，因为需要进行一次$n \times n$矩阵求逆。在我们的实验中，我们选择$\chi^2$作为输入度量，并使用指数映射将该度量转换为核，即$k(\mathbf{X}_i, \mathbf{X}_j) = \exp(-\beta \chi^2(\mathbf{X}_i, \mathbf{X}_j))$，其中$\beta$是尺度参数。该核在文献中被称为指数-$\chi^2$核。预测通过规则$f_{\alpha,\beta}(\mathbf{X}) = \sum_i \alpha_i k(\mathbf{X}, \mathbf{X}_i)$完成。 核近似的傅里叶嵌入。我们的大规模非线性预测方法依赖于一类方法：这类方法利用从核的傅里叶变换推导得到的近似映射，将数据嵌入到欧几里得空间中。该流程[^48]依赖于博赫纳提出的一个定理，该定理保证了这类映射对于平移不变核类是存在的。这类核包含了知名且被广泛使用的高斯核和拉普拉斯核。其思路是用一个可显式计算的有限嵌入，来近似潜在的无限维或无法解析得到的核升维。该近似可以表示为依赖输入的特征函数$\phi$在频域的期望。该期望通过频率上的密度$\mu$计算，而这个密度恰好就是核k的傅里叶变换 $$ k(\mathbf{X}_{i},\mathbf{X}_{j})\simeq\int_{\omega}(\phi(\mathbf{X}_{i};\omega)\phi(\mathbf{X}_{j};\omega))\mu(\omega) $$ 测度的存在性是一项核心性质，因为它允许我们基于来自$\mu$的有限样本，通过蒙特卡洛估计对积分进行近似。因此，我们不仅能够得到核的显式表示——该表示在输入上是可分离的，即$k(\mathbf{X}_i, \mathbf{X}_j) \simeq \Phi(\mathbf{X}_i) \Phi(\mathbf{X}_j)^\top$，其中$\Phi(\mathbf{X}_i) = [\phi(\mathbf{X}_i; \omega_1) \ldots \phi(\mathbf{X}_i; \omega_D)]$是$\phi(\mathbf{X}_i; \omega)$构成的向量，$\omega$是取自$\mu(\omega) -$的D个样本，同时我们还能得到与学习成本无关的核近似保证。这种显式傅里叶特征映射可以结合线性方法用于预测。 核岭回归（LinKRR）的线性近似可以克服KRR的三次方计算负担，同时保留其大部分非线性预测性能。利用傅里叶表示和标准对偶论证，可以证明式(2)等价于 $$ \arg\min_{\mathbf{W}}\frac{1}{2}\sum_{i}\|\Phi(\mathbf{X}_{i})\mathbf{W}-\mathbf{Y}_{i}\|_{2}^{2}+\lambda\|\mathbf{W}\|_{2}^{2} $$ 这是一个应用于非线性映射后数据的最小二乘回归模型，存在闭式解 $$ \mathbf{W}=(\Phi(\mathbf{X})^{\top}\Phi(\mathbf{X})+\lambda\mathbf{I}_{D})^{-1}\Phi(\mathbf{X})^{\top}\mathbf{Y} $$ 这种情况下同样需要进行矩阵求逆，但此时矩阵的维度为$D \times D$，输入维度通常远小于训练集大小（$D \ll n$）。求逆过程与样本数量无关，这使得LinKRR成为大规模训练场景下颇具吸引力的模型。矩阵$\Phi(\mathbf{X})^\top \Phi(\mathbf{X})$的构建是关于训练集维度n的线性操作，并且可以在线计算，内存消耗很低。需要注意的是，D是该方法的参数，可用于调节效率（D越大，求逆的开销越高）和性能（D越大，近似结果越准确）之间的权衡。实验结果表明，当D足够大时，通常会 --- 对于许多有应用价值的核来说，性能几乎没有损失。为了让该方法等价于精确的KRR方法，我们采用了由$\chi^{2}$提出的指数[^48]核近似方法。 核依赖性估计（Kernel Dependency Estimation, KDE）。我们还研究了大规模结构化预测模型，该模型最早由Ionescu等人在不同的姿态估计场景中开展研究[^38]。这些模型利用傅里叶近似方法实现核依赖性估计（KDE）[^46]。标准多输出回归模型独立处理每个维度，因此忽略了目标之间的相关性。在多数情况下这种简单方法效果良好，但对于3D人体姿态估计而言，由于人体的物理和解剖学约束、人类活动所处的环境，以及诸多人类动作活动的结构与同步性，骨架关节位置之间存在强相关性。对这类相关性建模的一种可行方案是：首先基于核主成分分析（Kernel Principal Component Analysis, KPCA）[^52]，通过正交分解对多变量输出进行去相关处理[^53]。KPCA是一个通用框架，既涵盖参数核，也覆盖对应非线性流形模型或半监督学习的数据驱动核。通过核PCA得到的空间为输出提供了一个中间的低维解耦表示，此时就可以使用标准KRR对每个维度独立进行回归。为了得到最终预测结果，我们需要将从核PCA得到的、完成独立KRR预测的正交空间，映射回原始输出所在的（相关）姿态空间。该操作需要求解原像问题[^54]。 $$ \arg\min_{\mathbf{Y}}\|\Phi(\mathbf{X})\mathbf{W}-\Phi_{PCA}(\mathbf{Y})\|_{2}^{2} $$ 对于某些类别的核函数，原像可以通过解析方法计算得到，但大多数核函数并不存在精确的原像映射。通用方法是针对目标空间中的点Y优化式(7)，使该点的KPCA投影最接近输入回归器给出的预测结果。这是一个非线性、非凸优化问题，但从原输出上由独立预测器得到的初始化出发，使用梯度下降可以相当可靠地求解该问题。这个过程可以看作是从独立解出发引入相关性。 在这种情况下，我们对协变量和目标都应用傅里叶核近似方法，以得到一种非常高效的结构化预测方法。一旦计算得到目标的傅里叶特征，求解核PCA所需的复杂度仅受其维度影响，此时训练过程等价于针对这些输出求解一个岭回归问题。最终得到的方法效率很高，且不需要对数据进行子采样。 ## 4 评估与误差度量 我们提出了几种不同的性能评估指标。每种指标都各有优劣，因此我们对所有指标都进行评估并提供支持，以便更全面地展现不同方法的优缺点。$^{3}$ 设$m_{\ell,S}^{(f)}(i)$为一个函数，它返回姿态估计器输出的第f帧中骨架S第i个关节的坐标。再设$m_{\mathrm{gt},S}^{(f)}(i)$为第f帧真值标注中第i个关节的坐标。令S为特定受试者骨架，$S_u$为通用骨架。特定受试者骨架的肢体长度对应执行动作的受试者本身，通用骨架拥有一套固定的肢体长度，与执行动作的受试者无关。这使得我们可以得到R3DJP参数化形式的数据，该参数化对受试者体型具有不变性。 MPJPE即平均每关节位置误差，是多数文献都会报告的评估指标。对于一帧f和骨架S，MPJPE的计算方式为 $$ E_{M P J P E}(f,\mathcal{S})=\frac{1}{N_{\mathcal{S}}}\sum_{i=1}^{N_{\mathcal{S}}}\|m_{\mathbf{f},\mathcal{S}}^{(f)}(i)-m_{\mathbf{g t},\mathcal{S}}^{(f)}(i))\|_{2} $$ 式中$N_{S}$为骨架S中的关节数量。对于一组帧，最终误差是所有帧MPJPE的平均值。 根据评估设置的不同，若关节坐标为三维坐标，测量结果将以毫米（mm）为单位报告；若为二维坐标，误差则以像素为单位报告。对于估计关节角度的系统，我们提供了自动将角度转换为位置并计算MPJPE的选项，该过程基于测试对象骨架的正向运动学计算（误差计算流程中不会使用真值肢体长度）。 该误差指标的问题之一在于它具有对象特异性。由于很多方法在预测骨架参数（例如肢体长度）时通常会遇到困难，我们提出了一种通用的MPJPE指标，通过归一化处理，对所有研究对象都采用相同的肢体长度计算。我们将该误差指标命名为UMPJPE。 MPJAE。另一种比较姿态的方法是利用骨架关节之间的角度。我们为采用关节角度参数化方式预测姿态的方法提供了该评估选项。我们将该误差称为平均每关节角度误差（MPJAE），所有角度都在三维空间中计算。 $$ E_{M P J A E}(f,\mathcal{S})=\frac{1}{3N_{\mathcal{S}}}\sum_{i=1}^{3N_{\mathcal{S}}}|(m_{\mathbf{f},\mathcal{S}}^{(f)}(i)-m_{\mathbf{g t},\mathcal{S}}^{(f)}(i))\bmod\pm180| $$ 在这种情况下，函数m返回的是关节角度而非关节位置。该误差相对不符合直觉，因为从感知角度来看，并非所有误差的影响都应当被同等计算。如果预测肘部时出现$30^{\circ}$误差，仅会导致腕部这一个关节预测错误，但如果全局旋转出现$30^{\circ}$误差，则会导致所有关节都错位。 MPJLE。前文提出的两种误差指标MPJPE和MPJAE存在两个缺点。第一个问题是它们不具备鲁棒性——单个关节预测错误就会对整个数据集的误差产生无界影响。其次，人类难以感知的误差可能会在最终结果中被过度放大。 3. 随着该领域发展逐渐对其他指标达成共识，对于目前未包含在我们数据集分布中的指标，我们也计划对其进行实现并提供评估支持。 --- 为了解决上述这些问题，我们提出了一种新的误差指标——平均每关节定位误差，该指标使用感知容差参数t $$ E_{M P J L E@t}(f,\mathcal{S})=\frac{1}{N_{\mathcal{S}}}\sum_{i=1}^{N_{\mathcal{S}}}\mathbb{1}_{\|m_{\mathbf{f},\mathcal{S}}^{(f)}(i)-m_{\mathbf{g t},\mathcal{S}}^{(f)}(i)\|_{2}\geq t} $$ 这种误差度量可通过感知阈值固定容差水平后加以使用。例如，几厘米以内的误差通常在感知层面无法区分。另外，对应不同容差水平的误差也可以绘制在一起。通过对$t$在某个区间（例如 [^0] [^200]）上积分，我们可以得到平均误差的估计值，这就类似平均精度均值可以估计分类器性能的方式一样。该误差也可用于评估无法预测所有关节的姿态估计器，这类估计器只会受到程度较轻的惩罚。在[^35]中，研究者已经针对二维姿态估计提出了基于PCP曲线的相关方法。本文我们的不同之处在于，我们在三维而非二维空间中开展工作，并且我们独立考虑各个关节，而非成对分析关节。除了本文探究的这些感知误差度量之外，还可以设计更复杂的度量方案。这类复杂度量可以编码人与环境之间的接触关系，包括人与物体的交互或是与地平面的接触。我们的数据集不包含人与物体的交互，但地平面可以很容易地恢复得到。或者，为了更好地理解什么样的感知阈值是合适的，可以探究人们在不同图像中重新演绎（重现）展示给他们的各类人体姿态的程度。该研究方法已经应用在我们近期的工作[^55]中，感兴趣的读者可查阅该工作获取详细信息。 ## 5 实验分析 ### 5.1 数据分析 该数据集让我们具备了独特的研究优势：我们既拥有从舞台动作约束相对宽松的演员处采集到的海量数据，又拥有高精度的三维真值信息。在本节中，我们借助该真值信息，尝试深入了解我们所采集的数据集中包含的姿态的多样性与可重复性。我们还利用数据标注，对透视缩短、歧义性和自遮挡等特定视觉现象的出现情况进行便捷评估。 多样性。评估我们数据多样性的一种简单方法是统计获得的不同姿态总数。当两个姿态中至少存在一个关节，它与另一姿态对应关节的差值超过给定容差t时，我们就将这两个姿态视为不同姿态，即 $\max_i \|m_1(i) - m_2(i)\|_2 > t$。由于我们的目标不仅是提供姿态变化，还要提供外观变化，因此不同受试者的姿态无论在三维空间中多么相似，都会被判定为不同姿态。实验结果表明，当容差设置为100mm时，总共有约438654张图像，其中12%的帧对应不同姿态；当容差降低至50mm时，该占比上升至24%，对应约886409张不同姿态的图像。 可重复性。基于图像的姿态估计是一项难题，因为外观不仅会随姿态改变，还会受到诸多“干扰因素”（例如体型和衣着）的影响。解决该问题的一种方法是构建一个由来自不同受试者的高度相似姿态对组成的数据集，从而将姿态变化与其他所有因素分离开（示例参见图8，相关早期工作可参见在分层框架下保留不同程度不变性的距离函数学习研究 [^42]）。我们通过最远关节之间的距离对姿态进行比较，将阈值设置为100mm。需要注意的是，每当检测到一对相似姿态，其时间上相邻的帧通常也非常相似。我们通过按时间聚类消除这些冗余配对，仅选取相似度最高的作为代表配对。最终我们得到了一个包含10926对姿态的数据集，其中一半的姿态对来自“讨论”、“进食”和“行走”场景。 透视缩短。为评估透视缩短现象的发生情况，我们考察单个肢体三个关节的投影（上肢为肩、肘、腕，下肢为髋、膝、踝）。当所有这些投影彼此间距极小，且关节的深度排序正确时，我们即判定该事件发生。在我们的实验中，我们在采集平面中心标定了20像素的容差，并使用到相机的距离对该容差进行归一化处理。我们观察到，尽管这类事件在我们的数据集中并不常见，但确实会发生。在聚类并剔除冗余事件后，我们在训练数据中统计得到上肢共发生138次透视缩短，下肢12次；测试数据中则分别为82次和2次。由于我们的大多数场景以站立姿态为主，透视缩短大多发生在上肢，但在“坐姿”和“坐下”场景中，下肢也会发生透视缩短（总共14次）。正如预期，在受试者指向不同方向的“指示方向”场景中，透视缩短的发生次数最多（总共60次），而“吸烟”等部分场景中则没有出现过透视缩短。 歧义问题。从静态图像预测三维人体姿态时，我们需要对一个结合了透视投影与运动学的固有有损非线性变换进行逆变换 [^18]，[^19]。这种歧义意味着，如果除关节角度限制或人体不自交约束外没有其他先验信息，很难从投影中恢复原始三维姿态，而且歧义可能会在时间上持续存在 [^56]。单目三维姿态歧义的存在早已为人熟知 [^18]，[^56]，但研究这类歧义在大规模自然生态数据集中的姿态中的普遍程度仍有研究价值。我们可以通过三维和二维真实姿态信息评估歧义的发生情况。我们将歧义事件分为两类：“1类”（T1）是发生在单个肢体层面的歧义。我们判定同一肢体的两种姿态属于歧义的条件是：二者的投影距离小于阈值$d_{2D}$，但MPJPE大于某一距离$d_{3D}$。我们的实验中使用$d_{2D} = 5$像素和$d_{3D} = 100$毫米作为阈值。该阈值设置得到了大量帧对，其中许多是连续帧对。为了得到更容易解读的结果，我们按照时间索引对帧对分组，每组仅保留一个样本。第二类歧义发生在两个同类肢体之间，即手臂或腿部之间。对于两个不同的姿态，如果第一个姿态中某一肢体的关节投影，接近第二个姿态中另一对应肢体的关节投影，而两个姿态 --- ![Image](images/3782c79da9c643832ce4c88cab48610082ac2726a1f4bf5d7575b069c6f36ce7.jpg)
Fig. 7. Examples of visual ambiguities naturally occurring in our dataset, and automatically identified. The first two examples show foreshortening events for the left and right arm respectively. The next four images show a "Type 1" ambiguity for the right and left arm. The last two images show one "Type 2" ambiguity event: first the ambiguous leg pose and then the pose with respect to which the ambiguity was detected.
![Image](images/1366cdf638da98362dcdac499de65bc0072c23ef407fd3ffb73e1233ec7f9637.jpg)
Fig. 8. Illustration of additional annotations in our dataset. The first 4 images show 2 pairs of consistent poses found from different subjects. The last 3 images are obtained using 3D pose data. We render a simple geometric model and project it in the image to obtain additional annotation: joint visibility, body part support in the image and even rough pixel-wise 3D information. This allows us to detect joint occlusion, partial limb occlusion and obtain depth discontinuities.
仍然相对一致，即MPJPE不会过大，此时我们认为存在“2类”（T2）歧义。添加MPJPE约束的目的是消除前后翻转，而前后翻转正是不同肢体产生相似投影结果最可能的诱因。两种歧义的示例已在图7中给出。但需要注意的是，我们采集的数据中存在部分歧义，并不代表这类歧义及其数量会与自动单目姿态估计系统得到的结果直接相关——我们事前就知道，存在更多种类的几何歧义。核心问题在于，姿态估计系统能够借助图像约束、先验知识、环境和任务相关信息多大程度上规避这些歧义。实验结果总结于表1中。 自遮挡。与二维姿态估计数据集不同，我们的数据不会直接提供关节和肢体可见性信息。我们可以利用现有数据计算该信息：结合三维姿态信息渲染一个简单几何模型，再将该模型投影到图像上，即可得到可见性信息。图8中展示了关节位置的示例，根据这些关节位置可以轻松得到身体部位标签的可见性。此外，我们还可以得到密集部位标签（可从中推导得到部位可见性）和深度信息（可用于标记深度不连续边缘）。所有这些详细标注通常都很难获取，且在人体姿态估计领域具有很高的研究价值。 ### 5.2 预测实验 在本节中，我们给出了多种方法的定量结果，涵盖最近邻、回归和大规模结构化预测器。此外，我们还评估了针对特定目标和特定活动的专用模型，以及通用
TABLE 1
Summary of the Results for Our Type 1 (T1) and Type 2 (T2) Ambiguity Experiments Showing Counts of Distinct Ambiguity Events by Scenario, in Our Dataset
T1LArmT1RArmT1LLegT1RLegT2Legs
Directions1235251230223219425
Discussion7501950382266167881
Eating2451313032773100175
Greeting1507209923922066228
Phone Talk2255315433163045191
Posing1767246824312145117
Buying9221311120596296
Sitting23983220350836934
Sitting Down220029963270340766
Smoking2109357436603320232
Taking Photo1096140718311611109
Waiting2893382043873353265
Walking2407301732662225965
Walking Dog1142139515921468298
Walking Pair925140618281778366
--- ![Image](images/781e631d0954b234ee80e5c2f9e0bf44d7e7181b82885d5f9f40a30019c9d595.jpg)
Fig. 9. Evolution of the test error as a function of the training set size. Larger training sets offer important performance benefits for all models we have tried.
在整个数据集上训练得到的模型。我们还研究了该方法在更具挑战性的场景（例如我们混合现实数据集中的这类场景）中的成功程度。 图像描述子。针对轮廓和人体边界框描述，我们使用包含3个层级（2×2、4×4和8×8）和9个方向区间的网格SIFT描述子金字塔。这些特征的变体已被证实在以往的数据集上表现良好（例如HumanEva [^4]）$^{[14]}$, [^41]，我们的研究也证明，即使在这个更复杂的场景中，这些特征依然十分有效。由于我们的数据集已经提供了所有目标的背景减除（BS）和边界框（BB）定位结果，我们开展实验时分别测试了两种方案：一种是直接从整个边界框提取特征，另一种是使用BS掩码过滤掉部分背景后再提取描述子。 姿态数据。我们的3D姿态数据被映射到4台相机中某一台的坐标系下，所有预测任务都在该坐标系中完成。当我们统计报告关节位置误差时，骨架的根关节始终位于预测所用坐标系的中心。误差大多以毫米为单位，通过MPJPE指标报告。有时我们会使用MPJAE指标，以角度度数为单位报告误差。人体姿态由包含17个关节的骨架表示。限制关节数量有助于去除与手脚细节相关的最小连杆，运动链仅向下延伸至腕关节和踝关节即可。 训练集规模。我们首先研究了测试误差随训练集规模变化的规律（图9）。受限于可用的内存和计算资源，最大的精确KRR模型使用50000个样本训练完成，而最大的kNN模型基于400000个样本构建。结果表明，我们性能最优的近似非线性模型LinKDE借助训练集规模扩大两个数量级的优势，将测试误差降低了约20%。该实验清晰展现了使用Human3.6M数据集提升姿态估计模型准确率的潜在价值。实际上，该领域研究进步的潜力远不止于此，因为我们可以使用性能超出本文基线、容量更大的更复杂模型，且可用数据量比现有最大数据集高出两个数量级。 结果。线性傅里叶方法使用基于15000维随机特征映射（对应指数化的$\chi^2$）的输入核嵌入，以及4000维输出核嵌入（对应高斯核）。在配备8核处理器的个人电脑上处理完整数据集的典型运行时间如下：测试kNN模型（训练集下采样至30万个样本）耗时16小时；训练KRR模型（训练集含4万个样本）耗时1小时，测试耗时12小时。对于包含210万个样本的完整训练集（该规模下仅非线性模型的线性近似可有效应用），训练LinKRR耗时5小时，测试约耗时2小时；LinKDE训练约耗时5小时，测试约耗时40小时。所有方法的代码也已发布在我们的网站上。 我们共准备了多种训练与测试模型场景。最简单的一种单独处理每个受试者的数据（我们将其称为受试者专属模型，即SSM）。我们15个场景中的每个动作都分别采集了2组试次数据，分别用于训练和验证。每个受试者预留了2组动作用于测试（这些数据是受试者执行不同动作时采集得到的，并非从单一训练序列中重采样得到）。该设置包含15个训练场景中的不同姿势（其中一个场景包含坐姿，另一个则不包含）。这类实验的设计目的是将姿势变异性与体型和服装变异性分离开来。第二种更具挑战性的场景是，模型在7名固定训练受试者的数据集上训练（其中5名用于训练，2名用于验证），然后在剩余4名受试者上按动作进行预测测试（我们将其称为活动专属模型，即ASM）。最后我们采用的设置是将所有动作放在一起分析，保持受试者划分方式不变，即我们的通用模型GM。 我们首先在最简单的设置SSM上测试了基线方法（见表2）。我们发现，使用背景减除（BS）输入和边界框（BB）输入得到的结果存在差异，BB略占优势。如果考虑例如包含坐姿的例子，这一结果并不出人意料：在坐姿场景中，椅子的存在使得背景减除变得非常困难，进而影响了目标在描述符坐标系中的定位。这个问题只会影响我们的背景减除数据，因为边界框仅根据关节投影计算得到。 在我们的第二组实验设置中，我们针对每种动作单独测试了模型，这类模型被称为特定动作模型（Activity Specific Models，ASM）。我们发现，测试的错误率明显更高，这一方面是因为我们的测试集规模较大，另一方面也因为测试引入了显著的受试者身体差异。我们的“坐下”动作是最具挑战性的动作之一，该动作要求受试者以不同姿势坐在地板上。这个场景分析复杂度很高，因为它存在很高的自遮挡率，同时bounding box的纵横比也会发生变化。该场景也凸显了在规则网格上提取图像描述子方法的局限性，证实了这类方法虽然适用于站立姿势或行人场景，但并不足以支撑通用人体动作感知任务。数据集中另一个“坐姿”场景同样具有挑战性，因为场景中用到了椅子这类外部物体。“拍照”和“遛狗”动作难度也较高，这不仅因为存在bounding box变化，还因为这两类动作可重复性更低，执行动作的参与者被赋予了更大的动作自由度。总的来说， ---
TABLE 2
Results of the Different Methods, Corresponding to the Subject Specific Modeling (SSM) Setup, and for All Training Subjects in the Dataset. kNN Indicates Nearest Neighbor (k=1), KRR Is Kernel Ridge Regression, and LinKRR Represents a Linear Fourier Approximation of KRR. LinKDE Is the Linear Fourier Approximation Corresponding to a Structured Predictor Based on Kernel Dependency Estimation (KDE). Errors Are Given in mm, Using the MPJPE Metric
methodmaskS1S7S8S9S11S6
kNNBB118.93129.6074.90113.31127.98132.00
kNNBS127.91112.1963.27108.68132.96113.65
KRRBB99.9696.4158.9495.75106.50108.35
KRRBS107.96100.6658.1997.73114.84112.18
LinKRRBB114.98114.3081.69119.55126.35128.00
LinKRRBS125.46122.8982.09122.29136.81134.84
LinKDEBB94.0793.6355.3291.8097.2596.35
LinKDEBS96.1393.5151.9589.54100.96105.89
TABLE 3
Comparison of Predictors for the Activity Specific Setting (ASM), on the Test Set (Including S10). kNN Indicates Nearest Neighbor (k=1), KRR kernel Ridge Regression, LinKRR Is a Linear Fourier Approximation of KRR, and LinKDE Is the Linear Fourier Model for a Structured Predictor Based on Kernel Dependency Estimation (KDE). Errors Are Given in mm, Using the MPJPE Metric
methodmaskDirectionsDiscussionEatingGreetingPhone TalkPosingBuyingSitting
kNNBB154.23151.18136.23165.94147.51175.58180.82194.09
kNNBS166.28163.68132.19188.33145.89199.89174.38174.67
KRRBB118.96116.77109.65128.51123.05136.23153.55176.90
KRRBS130.04124.96118.60140.73125.35152.21157.45159.30
LinKRRBB123.67121.23116.09136.77130.60142.40165.14180.69
LinKRRBS136.07132.33123.90149.99132.83158.98162.36168.12
LinKDEBB115.79113.2799.52128.80113.44131.01144.89160.92
LinKDEBS124.19117.4493.01138.90111.40145.43136.94139.29
methodmaskSitting DownSmokingTaking PhotoWaitingWalkingWalking DogWalking Pair
kNNBB209.06161.22234.05176.16167.00239.38180.91
kNNBS237.05169.41247.57193.78158.27216.53189.80
KRRBB184.58120.19182.50139.66129.13183.27143.19
KRRBS213.72130.47197.21150.39119.28175.34150.43
LinKRRBB204.62128.62194.32144.54133.49191.92147.87
LinKRRBS231.57139.88208.14157.92126.90185.64156.33
LinKDEBB172.98114.00183.09138.95131.15180.56146.14
LinKDEBS203.10118.37197.13146.30115.28166.10153.59
TABLE 4
Approximations Trained and Tested on 2.1M and 1.4M Poses Respectively. The Exact KRR Results are Obtained by Using a Subset of Only 40,000 Human Poses Sampled from the Training Set. The Results for Joint Positions Are in mm Using MPJPE and the Results with Angles Are in Degrees. Computed Using MPJAE
Joint Positions
BBBS
kNNKRRLKRRLKDEkNNKRRLKRRLKDE
172.12138.85150.73127.92182.79151.73162.51137.98
Joint Angles
BBBS
kNNKRRLKRRLKDEkNNKRRLKRRLKDE
18.2813.8313.8613.6817.7513.8313.9213.74
我们认为该数据集在相对“简单”的设置、中等难度设置和高难度设置之间实现了良好的平衡，是测试全新或经过改进的特征、模型或算法的合理基准。 出于隐私方面的考虑，我们决定不公开其中一名测试对象S10的图像。不过，我们开放了该对象的所有其他相关数据，包括轮廓、边界框以及对应的图像描述子。本文中我们同时报告ASM模型和GM模型的结果，测试集包含S10（见表3和表4）。未来，无论是我们还是外部研究者开发出其他新特征，我们都会努力为S10计算这些特征并将其开放下载。我们的评测服务器支持测试集同时包含和不包含S10两种情况的误差评估。 MPJLE指标能够帮助我们了解被测方法的优缺点（见图10）。对于“进食”动作（Eating）——这是难度较低的活动之一——在150mm容差下，LinKDE平均能正确预测17个关节中的14个。相比之下，KRR和LinKRR在相同容差下仅能正确预测12个关节。 ![Image](images/3103dba4b1c2f29a2027c4e83460e71e3f7222a53b21b7418523c8c224f6620e.jpg) ![Image](images/54c8e6f298e1ac16527645f18704be58e3a4ccfbd117b21eabb3dbc621426d5f.jpg)
Fig. 10. Proposed perceptual MPJLE error measure. In the left plot we show the MPJLE for the 'Eating' ASM. We compare all our predictors, where features are computed on input segments given by background subtraction. The right plot shows similar results for the background subtraction GM. MPJPE errors for each model are given in parentheses. The results are computed using the full test set (including subject S10).
---
TABLE 5
Pose Estimation Error for Our Mixed Reality Dataset, Obtained with Moving Cameras, and Under Challenging Non-Uniform Backgrounds and Occlusion (See Fig. 6). The Errors Are Computed Using MPJAE and Do Not Include the Global Rotation. LinKRR (Here LKRR) and LinKDE (LKDE) Are Linear Fourier Approximation Methods. The Models Were Trained on the Data Captured in the Laboratory and We Tested on the Mixed-Reality Sequences. For ASM, We Used the Model Trained on Motions of the Same Type as the Test Motion. The Results Are Promising but also Show Clear Scope for Feature Design and Model Improvements (the Methods Shown Do Not Model or Predict Occlusion Explicitly)
Activity Specific Model (ASM)General Model (GM)
BBBSBBBS
kNNKRRLKRRLKDEkNNKRRLKRRLKDEkNNKRRLKRRLKDEkNNKRRLKRRLKDE
MR125.8320.0919.8119.8521.2318.0418.5818.4724.9920.6420.1119.6122.7619.4418.8218.45
MR220.4016.4017.2716.8119.4316.1616.2815.2820.2918.0018.0216.5319.2116.6416.9115.51
MR324.0820.7521.5321.2025.6022.4021.8921.8423.4020.9121.9521.2325.7821.7522.0221.75
MR425.6919.8620.6420.2622.4019.6720.1219.3526.3121.5320.7619.8923.3620.0819.9019.03
MR519.3617.1317.5417.3119.0416.5216.7216.5121.5020.8721.4919.9925.5720.8522.1419.33
MR620.4718.4919.5518.8120.9518.0718.1117.3626.2622.5822.2920.5823.0020.1620.2418.79
MR719.0316.8317.1314.7018.3513.8715.5213.8820.2819.1217.7816.2120.2119.0318.7116.53
我们最终的评测设置是基于所有测试对象的全部动作来训练模型。受数据集规模的影响，这是一个难度极高的过程，现有方法中极少有能够处理该任务的。我们将其称为通用动作（GM）设置，并在表4中展示结果。我们测试的模型目前尚无法有效利用数据中的结构信息，但令人鼓舞的是，非线性方法的线性傅里叶近似可以在合理的时间预算内应用于这类大规模数据集，并且得到了颇具潜力的结果。未来，针对更优图像描述子、改进人体肢体间相关性建模，或是大规模学习方法设计的研究，将会为数据结构带来新的见解，并最终提升3D预测的准确率。 混合现实结果。我们使用在自有实验室数据上训练得到的模型，在混合现实数据上开展测试，结果见表5。测试视频命名为混合现实（MR）1至7号。我们考虑了两种场景：一种使用生成测试视频的对应活动的ASM，另一种使用GM。本实验使用MPJAE（单位为度），受技术条件限制，忽略全局旋转对应的误差。ASM的结果总体优于GM的结果，反映出这是一个约束性更强的预测问题。和预期一致，BS结果优于BB结果，这说明在实验室环境中观测到的BB拥有更稳定训练特征的优势，被真实背景特征的贡献抵消了。 ## 6 结论 我们推出了一个大规模数据集Human3.6M，它包含360万种不同的3D关节姿态，采集自一组专业男女演员。Human3.6M对现有数据集进行了补充，纳入了现实环境中人们常见的多种人体姿态，同时提供：同步的2D与3D数据（包含飞行时间数据、高质量图像和动作捕捉数据）、演员的精准3D人体模型（身体表面扫描结果），以及用于性能评估的混合现实场景，可支持在真实背景、准确3D场景几何和存在遮挡的条件下开展评估。我们还提供了基于判别式姿态预测方法的研究和评估基准。我们的分析不仅涵盖最近邻法或标准线性、非线性回归方法，还包含先进的结构化预测器，以及基于显式傅里叶特征图对非线性模型的大规模近似方案。在数百万样本上训练非线性模型的复杂近似，为开发替代特征描述符和相关核、并在大规模下无缝测试它们创造了可能。我们的研究表明，与规模更小的同类数据集相比，我们的完整数据集能带来显著的性能提升，但目前该领域仍存在较大的改进空间。本文开发的数据、大规模结构模型、图像描述符，以及可视化和软件评估工具均可免费在线获取，供学术使用。我们希望Human3.6M及其配套工具能够推动计算机视觉、机器学习领域的进一步研究，并助力开发可在现实世界中稳定运行的更先进的3D人体感知系统。 ## 致谢 本研究部分得到CNCS-UEFICSDI资助，资助项目编号为PNII RU-RC-2/2009、PCE-2011-3-0438和CT-ERC-2012-1。感谢同事S. Cheran为网络服务器提供支持，也感谢F. Li参与了有益讨论，并为傅里叶模型提供了实验反馈。 ## 参考文献 [^1]: T. Moeslund, A. Hilton, V. Kruger, and L. Sigal, Visual Analysis of Humans: Looking at People. London, U.K.: Springer Verlag, 2011. [^2]: B. Rosenhahn, R. Klette, and D. Metaxas, Human Motion, Understanding, Modelling, Capture and Animation, vol. 36. Dordrecht, Netherlands: Springer Verlag, 2008. [^3]: C. Sminchisescu, "3D human motion analysis in monocular video: Techniques and challenges," in Human Motion. Dordrecht, Netherlands: Springer, 2008. [^4]: L. Sigal, A. Balan, and M. Black, "HumanEva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion," Int. J. Comput. Vis., vol. 87, no. 1, pp. 4–27, Mar. 2010. [^5]: M. Yamada, L. Sigal, and M. Raptis, "No bias left behind: Covariate shift adaptation for discriminative 3D pose estimation," in Proc. Eur. Conf. Computer Vision, Florence, Italy, 2012. [^6]: D. Vlasic et al., “Practical motion capture in everyday surroundings,” in Proc. SIGGRAPH, New York, NY, USA, 2007. ## [^7]: G. Pons-Moll et al., “Outdoor human motion capture using inverse kinematics and von mises-fisher sampling,” in Proc. IEEE Int. Conf. Computer Vision, Barcelona, Spain, 2011. --- [^8]: CMU HMC [Online]. Available: [^9]: C. Sminchisescu, L. Bo, C. Ionescu, and A. Kanaujia, Feature-based Human Pose Estimation, in Guide to Visual Analysis of Humans: Looking at People. London, UK: Springer, 2011. [^10]: R. Rosales and S. Sclaroff, “Learning body pose via specialized maps,” in Proc. NIPS, Cambridge, MA, USA, 2002. [^11]: A. Agarwal and B. Triggs, "Recovering 3D human pose from monocular images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 28, no. 1, pp. 44–58, Jan. 2006. [^12]: C. Sminchisescu, A. Kanaujia, and D. Metaxas, "BM $^{3}$E: Discriminative density propagation for visual tracking," IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 11, pp. 2030–2044, Nov. 2007. [^13]: L. Bo and C. Sminchisescu, "Structured output-associative regression," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Miami, FL, USA, 2009. [^14]: L. Bo and C. Sminchisescu, "Twin Gaussian processes for structured prediction," Int. J. Comput. Vision, vol. 87, no. 1–2, pp. 28–52, Mar. 2010. [^15]: J. Deutscher, A. Blake, and I. Reid, “Articulated body motion capture by annealed particle filtering,” in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Hilton Head Island, SC, USA, 2000. [^16]: H. Sidenbladh, M. Black, and D. Fleet, "Stochastic tracking of 3D human figures using 2D image motion," in Proc. European Conf. Computer Vision, Dublin, Ireland, 2000. [^17]: C. Sminchisescu and B. Triggs, "Covariance-scaled sampling for monocular 3D body tracking," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, 2001. [^20]: L. Sigal, S. Bhatia, S. Roth, M. Black, and M. Isard, "Tracking loose-limbed people," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, 2004. [^18]: C. Sminchisescu and B. Triggs, "Kinematic jump processes for monocular 3D human tracking," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Madison, WI, USA, 2003, pp. 69–76. [^21]: R. Li, M. Yang, S. Sclaroff, and T. Tian, "Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers," in Proc. Eur. Conf. Computer Vision, Graz, Austria, 2006. [^22]: M. Andriluka, S. Roth, and B. Schiele, "Monocular 3D pose estimation and tracking by detection," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, San Francisco, CA, USA, 2010. [^23]: J. Gall, B. Rosenhahn, T. Brox, and H. Seidel, "Optimization and filtering for human motion capture: A multi-layer framework," Int. J. Comput. Vision, vol. 87, pp. 75–92, Mar. 2010. [^24]: L. Sigal, A. Balan, and M. J. Black, "Combined discriminative and generative articulated pose and non-rigid shape estimation," in Proc. NIPS, 2007, pp. 1337–1344. [^25]: Y. Liu et al., “Markerless motion capture of multiple characters using multi-view image segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 11, pp. 2720–2735, Nov. 2013. [^26]: P. Guan, L. Reiss, D. Hirshberg, A. Weiss, and M. J. Black, "Drape: Dressing any person," ACM Trans. Graphics, vol. 31, no. 4, pp. 35:1–35:10, Jul. 2012. [^27]: D. Anguelov et al., "SCAPE: Shape completion and animation of people," in Proc. SIGGRAPH, New York, NY, USA, 2005. [^28]: INRIA 4D [Online]. Available: [^29]: G. Shakhnarovich, P. Viola, and T. Darrell, "Fast pose estimation with parameter sensitive hashing," in Proc. IEEE Int. Conf. Computer Vision, Nice, France, 2003. [^30]: A. Agarwal and B. Triggs, "3D human pose from silhouettes by relevance vector regression," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, 2004. [^31]: L. Bourdev and J. Malik, "Poselets: Body part detectors trained using 3d human pose annotations," in Proc. IEEE Int. Conf. Computer Vision, Kyoto, Japan, 2009. [^32]: D. Ramanan and C. Sminchisescu, "Training deformable models for localization," in Proc. CVPR, Washington, DC, USA, 2006. [^33]: V. Ferrari, M. Marin, and A. Zisserman, “Pose seach: Retrieving people using their pose,” in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Miami, FL, USA, 2009. [^34]: B. Sapp, A. Toshev, and B. Taskar, "Cascaded models for articulated pose estimation," in Proc. European Conf. Computer Vision, Heraklion, Greece, 2010, pp. 406–420. [^35]: M. Eichner and V. Ferrari, "We are family: Joint pose estimation of multiple persons," in Proc. European Conf. Computer Vision, Heraklion, Greece, 2010, pp. 228–242. [^36]: Y. Wang, D. Tran, and Z. Liao, “Learning hierarchical poselets for human parsing,” in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Washington, DC, USA, 2011, pp. 1705–1712. [^37]: T. Shiratori, H. S. Park, L. Sigal, Y. Sheikh, and J. Hodgins, "Motion capture from body-mounted cameras," in Proc. SIGGRAPH, New York, NY, USA, 2011. [^38]: C. Ionescu, F. Li, and C. Sminchisescu, "Latent structured models for human pose estimation," in Proc. IEEE Int. Conf. Computer Vision, Barcelona, Spain, Nov. 2011, pp. 2220–2227. [^39]: V. Ganapathi, C. Plagemann, D. Koller, and S. Thrun, "Real time motion capture using a single time-of-flight camera," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, San Francisco, CA, USA, 2010, pp. 755–762. [^40]: J. Shotton et al., "Real-time human pose recognition in parts from single depth images," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, 2011, pp. 119–135. [^41]: C. Sminchisescu, A. Kanaujia, and D. Metaxas, "Learning joint top-down and bottom-up processes for 3D visual inference," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Washington, DC, USA, 2006, pp. 1743–1752. [^42]: A. Kanaujia, C. Sminchisescu, and D. Metaxas, "Semi-supervised hierarchical models for 3D human pose reconstruction," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Minneapolis, MN, USA, 2006, pp. 1–8. [^43]: A. Agarwal and B. Triggs, “A local basis representation for estimating human pose from cluttered images,” in Proc. ACCV, Hyderabad, India, 2006, pp. 50–59. [^44]: L. Pishchulin, A. Jain, M. Andriluka, T. Thormaehlen, and B. Schiele, “Articulated people detection and pose estimation: Reshaping the future,” in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Providence, RI, USA, 2012, pp. 3178–3185. [^45]: R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, R. Hartley and A. Zisserman, Eds. Cambridge, U.K.: Cambridge University Press, 2000. [^46]: C. Cortes, M. Mohri, and J. Weston, "A general regression technique for learning transductions," in Proc. Int. Conf. Machine Learning, New York, NY, USA, 2005, pp. 153–160. [^47]: A. Rahimi and B. Recht, "Random features for large-scale kernel machines," in Proc. NIPS, 2007, pp. 1177–1184. [^48]: F. Li, G. Lebanon, and C. Sminchisescu, "Chebyshev approximations to the histogram $\chi^{2}$ kernel," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Providence, RI, USA, 2012, pp. 2424–2431. [^49]: G. Shakhnarovich, T. Darrell, and P. Indyk, Nearest-Neighbors Methods in Learning and Vision: Theory and Practice. Cambridge, MA, USA: MIT Press, 2006. [^50]: A. Beygelzimer, S. Kakade, and J. Langford, “Cover trees for nearest neighbor,” in Proc. Int. Conf. Machine Learning, Pittsburgh, PA, USA, 2006, pp. 97–104. [^51]: T. Hofmann, B. Schölkopf, and A. J. Smola, "Kernel methods in machine learning," Ann. Statist., vol. 36, no. 3, pp. 1171–1220, Jan. 2008. [^52]: J. Weston, O. Chapelle, A. Elisseeff, B. Schölkopf, and V. Vapnik, “Kernel dependency estimation,” in Proc. NIPS, 2002, pp. 873–880. [^53]: B. Schölkopf, A. Smola, and K. Müller, "Nonlinear component analysis as a kernel eigenvalue problem," Neural Comput., vol. 10, no. 5, pp. 1299–1319, Jul. 1998. [^54]: G. Bakir, J. Weston, and B. Scholkopf, “Learning to find pre-images,” in Proc. NIPS, 2004. [^55]: E. Marinoiu, D. Papava, and C. Sminchisescu, “Pictorial human spaces: How well do humans perceive a 3D articulated pose?” in Proc. IEEE Int. Conf. Computer Vision, 2013, pp. 1289–1296. [^56]: C. Sminchisescu and A. Jepson, "Variational mixture smoothing for non-linear dynamical systems," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Washington, DC, USA, 2004, pp. 608–615. ## [^57]: M. Brubaker and D. Fleet, "The kneed walker for human pose tracking," in Proc. IEEE Int. Conf. Computer Vision Pattern Recognition, Anchorage, AK, USA, 2008, pp. 1–8. --- [^58]: R. Urtasun, D. Fleet, A. Hertzmann, and P. Fua, “Priors for people tracking in small training sets,” in Proc. IEEE Int. Conf. Computer Vision, Washington, DC, USA, 2005, pp. 403–410. [^59]: D. Forsyth, O. Arikan, L. Ikemoto, J. O'Brien, and D. Ramanan, "Computational studies of human motion: Part 1, tracking and motion synthesis," Found. Trends Comput. Graph. Vis., vol. 1, no. 2–3, pp. 77–254, 2006. [^60]: R. Plankers and P. Fua, “Articulated soft objects for video-based body modeling,” in Proc. IEEE Int. Conf. Computer Vision, Vancouver, BC, Canada, 2001, pp. 394–401. [^61]: J. Starck and A. Hilton, "Surface capture for performance-based animation," IEEE Comput. Graph. Appl., vol. 27, no. 3, pp. 21–31, May 2007. ![Image](images/479a4170d08511caa5393b4e39c00324dc3611aef0646bf1609c5d47a596367a.jpg) Catalin Ionescu是德国波恩大学的博士候选人。作为法德联合学位项目DFH-UFA的成员，他获得了里昂国立应用科学学院颁发的工程师文凭，以及德国卡尔斯鲁厄大学颁发的计算机科学文凭。他当前的研究方向包括大规模机器学习与计算机视觉，重点为三维姿态估计。 ![Image](images/9c31ba2672d4361f7203c8b10f4a3a7ffbf365fa8e13a0ab9eeb6804ae9ad4a3.jpg) Dragos Papava于罗马尼亚布加勒斯特的布加勒斯特理工大学获得计算机科学学士学位，并在同一所大学获得计算机图形学、多媒体与虚拟现实方向硕士学位。他当前的研究方向包括计算机图形学、GPU计算和图像处理。 ![Image](images/ed632788e0340e89e9606a7d6328d0f7f49525999a650474055cc8f4eddbb0d5.jpg) Vlad Olaru分别于罗马尼亚布加勒斯特的"Politehnica"布加勒斯特大学获得BS学位，美国新泽西州新不伦瑞克的罗格斯新泽西州立大学获得MS学位，德国卡尔斯鲁厄的卡尔斯鲁厄理工大学获得PhD学位。他当前的研究方向包括分布式并行计算、操作系统、实时嵌入式系统，以及面向大规模计算机视觉程序的高性能计算。他的博士研究专注于开发 面向计算机集群的内核级单一系统映像服务。他是多个欧盟资助及国家级项目的核心成员，这些项目的研发方向包括：用于管控下一代3D智能传感器的实时操作系统软件、面向多核架构的实时Java，以及基于多核架构集群的服务器。 ![Image](images/48455f1008c72693e46ce49b69cc44d449a60ed63b2f11031e57ec0e7167d58f.jpg) 克里斯蒂安·斯明奇塞苏（Cristian Sminchisescu）在法国INRIA获得计算机科学与应用数学博士学位，研究方向聚焦成像、视觉与机器人学，获得埃菲尔优秀博士奖学金资助，随后在加拿大安大略省多伦多市多伦多大学人工智能实验室从事博士后研究。他是计算机视觉与机器学习领域顶级会议（CVPR、ICCV、ECCV、NIPS、AISTATS）的程序委员会成员，担任领域主席，负责 ICCV07-13的相关工作，同时担任IEEE PAMI副主编。他已开展100余场受邀演讲与报告，并曾在ICCV、CVPR、芝加哥机器学习暑期学校、巴塞罗那AERFAI视觉学院以及苏黎世计算机视觉暑期学校（VSS）开设3D跟踪、识别与优化方向的教程。他目前的研究兴趣涵盖计算机视觉（3D人体姿态估计、语义分割）与机器学习（优化与采样算法、结构化预测、核方法）领域。 如需了解本主题或其他任何计算机相关主题的更多信息，请访问我们的数字图书馆：。