# InterCap：无标记的人体与物体交互三维跟踪技术黄英豪 $^{1(\boxtimes)}$、塔赫里·奥米德 $^{1}$、迈克尔·J·布莱克 $^{1}$ 以及齐奥纳斯·迪米特里奥斯 $^{2}$ $^{1}$ 德国图宾根马克斯·普朗克智能系统研究所 {yhuang2, otaheri, black}@tue.mpg.de $^{2}$ 荷兰阿姆斯特丹大学摘要：人类为了完成任务，会不断与日常物品互动。要理解这类互动，计算机需要利用拍摄全身与场景互动情况的摄像头来重建相关场景。由于人体与物体之间的遮挡、运动模糊、深度/尺度歧义，以及手部及可抓取物体部位的图像分辨率较低，这一任务极具挑战性。为让问题变得可解，现有研究要么聚焦于互动中的手部而忽略身体，要么聚焦于互动中的身体而忽略手部。GRAB数据集虽然涵盖了灵巧的全身互动场景，但采用基于标记的动作捕捉技术且缺少图像；BEHAVE数据集虽记录了人体与物体的互动视频，但缺乏手部细节。我们针对以往研究的局限性，提出了InterCap这一新方法：它利用多视角RGB-D数据，结合参数化全身模型SMPL-X和已知的物体网格，来重建互动中的全身及物体。为解决上述难题，InterCap基于两个关键发现：(i) 手与物体的接触信息可用于优化二者的姿态估计；(ii) Azure Kinect传感器能帮助我们搭建简单的多视角RGB-D采集系统，在降低遮挡影响的同时实现合理的相机间同步。借助该方法，我们采集了InterCap数据集，其中包含10名受试者（5男5女）与10种不同尺寸、不同功能的物体互动的场景，涉及用手或脚接触物体的情况。总体而言，InterCap数据集包含223段RGB-D视频，共67,357帧多视角画面，每帧包含6张RGB-D图像。我们的方法为每一视频帧提供了伪真实值的身体网格和物体数据。我们的InterCap方法与数据集填补了文献中的重要空白，能为诸多研究方向提供支持。我们的数据与代码可供研究用途，获取地址为。 ## 1 引言计算机视觉领域的一个长期目标是从视频中理解人类行为。面对一段视频，人们能轻松判断出其中的物体有哪些、 --- ![Image](images/8e49b1f5c5753b55d9335e9fc73df0842b2336398024be22cfb52c9e0878c690.jpg)

Fig. 1. Humans interact with objects to accomplish tasks. To understand such interactions we need the tools to reconstruct them from whole-body videos in 4D, i.e., as 3D meshes in motion. Existing methods struggle, due to the strong occlusions, motion blur, and low-resolution of hands and object structures in such videos. Moreover, they mostly focus on the main body, ignoring the hands and objects. We develop InterCap, a novel method that reconstructs plausible interacting whole-body and object meshes from multi-view RGB-D videos, using contact constraints to account for strong ambiguities. With this we capture the rich InterCap dataset of 223 RGB-D videos (67,357 multi-view frames, with 6 Azure Kinects) containing 10 subjects (5 fe-/males) interacting with 10 objects of various sizes and affordances; note the hand-object grasps.

物体的空间布局如何，以及人类的姿态怎样。此外，他们还能深刻理解视频所描绘的行为：主体正在做什么？为何这么做？其目标是什么？又是如何实现这一目标的？为了让计算机具备从像素中推断这类抽象概念的能力，我们需要采集丰富的数据集并设计合适的算法。由于人类生活在三维世界中，他们的物理行为往往涉及与物体的互动。想想看，一个人每天会多少次走进厨房、拿起水杯并饮水？这一过程包括脚接触地面、手接触杯子、手与杯子保持接触的同时移动，以及嘴巴接触杯子饮水。因此，要理解人类行为，就必须在三维空间中对人体和物体进行联合推理。在以往的研究中，已有大量工作致力于估计三维人体模型，但这些研究并未考虑物体因素[^4]；同样，也有研究专注于估计三维物体，却未将人体纳入考量[^68]。近期甚至还有研究尝试将人体模型插入三维场景中，以使它们之间的交互看起来更真实[^16] [^30] [^65]。不过，关于估计与场景及移动物体交互的三维人体模型的研究却寥寥无几，这类研究需要明确建模并利用人体与场景/物体的接触关系。为了探究这一问题，我们需要包含丰富的人体-物体交互数据且具备可靠三维真值的视频数据集。 PROX数据集[^15]在这一方向上迈出了一步，它能够在已知的三维场景中估计人体三维模型。场景网格提供的信息有助于消除使用单摄像头时常见的姿态歧义问题。然而，PROX --- 仅涉及人体的粗略交互、没有移动物体的静态场景，且不包含灵巧的手指模型。最近的BEHAVE数据集[^3]利用多视角RGB-D数据来捕捉人体与物体的交互过程，但并未记录详细的手部姿态或精细的手部-物体接触信息。最后，GRAB数据集[^54]虽然能捕捉到我们所追求的那种精细的手部-物体及全身-物体交互情况，但它采用的是基于标记的动作捕捉技术，因此缺乏与三维真值场景配对的图像数据。我们认为，亟需一个全新的RGB视频数据集，其中要包含自然的人体-物体交互场景，能够可靠地追踪全身运动、捕捉手部姿态、跟踪物体，同时保证手部-物体接触的真实性；详见图1。这极具挑战性，需要技术创新才能实现。为此，我们设计了一套系统，该系统采用经过空间校准和时间同步的多台RGB-D传感器。我们利用这套数据拟合带有可活动手指的SMPL-X人体模型，具体做法是对PROX方法[^15]进行扩展，使其能利用多视角数据以及抓取状态下的手部姿态先验知识。我们还会追踪人与之交互的三维物体。本研究中使用的物体均为日常生活中常见的物品，我们用手持式Artec扫描仪为每件物体获取精确的三维模型。最终我们共收集了223个序列（67,357帧多视角图像），涉及10名受试者与10种物体的交互数据。然而问题在于，单独估计人体和物体并不足以保证准确的三维人体-物体接触关系。因此，本研究的一项关键创新在于联合估计二者，同时充分利用接触相关信息。物体不会独立运动，一旦它们发生移动，就说明人体与其发生了接触。我们在物体和人体上定义了可能的接触区域。接着，针对已知存在潜在接触的帧，我们在估计人体和物体姿态时会强制要求二者之间产生接触。最终得到的方法能够生成自然的人体姿态、手部姿态和物体姿态。独特的是，该方法还能提供RGB视频中全身与物体之间的详细伪真值接触信息。总之，我们的主要贡献如下：（1）我们开发了一种利用多台RGB-D摄像头的新型动作捕捉方法。该方法相对轻便灵活，且精度足够高，因此适用于日常场景的数据采集。（2）我们对以往将SMPL-X模型拟合到图像中的方法进行了扩展，使其能够适配多视角RGB-D数据，同时兼顾人体-物体接触因素。（3）我们采集了一个包含全身人体运动及与物体交互数据的新数据集，同时配套多视角RGB-D图像。我们的数据和代码可在获取。 ## 2 相关工作关于从图像或视频中估计三维人体姿态和形状的研究文献十分丰富 [^4] [^7] [^25] [^29] [^37] [^41] [^44] [^57]。本文重点关注与我们研究最相关的工作，尤其是那些涉及或能够实现人机交互捕捉的研究。 --- 基于多视角视频和惯性测量单元的运动捕捉。基于多视角视频的无标记运动捕捉技术 [^8] [^22] [^31] 已被广泛研究，且已有商业化解决方案（如Theia Markerless）。与传统基于标记的运动捕捉技术相比，无标记技术具有便捷、适用于户外环境、非侵入性强以及灵活性更高等优势。然而，无论是基于标记还是无标记的传统运动捕捉方法，都侧重于提取三维骨骼信息。虽然这对生物力学研究很有用，但我们的目标是分析身体与场景的接触情况。为了实现这一目标，我们必须捕捉到人体表面信息。目前已提出多种三维人体表示方法，近期的研究重点是从大规模三维扫描数据集中学习参数化的基于网格的人体形状模型[2,33,42–44,50,59]。本文采用SMPL-X模型 [^44]，因为它包含完全可活动的手部，而手部对于分析物体操控行为至关重要。人体参数通常是通过将三维生成模型与各种二维线索相匹配来估算的，这些线索包括卷积神经网络检测到的关节点 [^6] [^39] [^58] 或人体轮廓 [^1] [^47] [^60]。尽管这些方法效果显著，但基于单目视频的方法仍存在深度模糊和遮挡问题。为解决这一问题，研究人员提出将惯性测量单元与视频结合，以获得更精确、更稳健的结果 [^36] [^45]。许多方法能从多视角图像中估计三维人体，但仅关注骨骼而非完整的三维人体 [^9] [^10] [^19] [^24] [^46] [^55] [^66]。近期的研究致力于从多视角估计三维人体形状 [^11] [^22] [^67]。与我们研究最相关的是两个最新发布的数据集。RICH数据集 [^21] 将SMPL-X人体模型适配于室内外拍摄的多视角RGB视频，该方法利用详细的场景三维扫描数据来建模人体与环境的接触情况。不过RICH数据集并未涉及物体运动，场景完全是静止的。相比之下，BEHAVE数据集 [^3] 包含了与三维物体互动的SMPL人体模型。但我们在此基础上进一步引入了全新的接触约束，并着重捕捉手部姿态，因为这对人机交互至关重要。此外，BEHAVE数据集主要涵盖箱子和椅子等大型物体，而我们的研究对象涵盖了更广泛的物体尺寸，包括杯子等小型物体。人机交互。关于建模或分析人机交互的研究已经有很多[^3] [^13] [^14] [^18] [^26] [^40] [^48] [^56] [^61]。详细的讨论超出了本文的研究范围。在此，我们专注于在三维空间中建模和分析人机交互。然而，现有研究大多仅侧重于估计手部姿态[^14] [^17] [^18] [^49]，却忽略了身体运动、手部运动与物体运动之间的紧密关联。近期的研究开始考虑全身运动。例如，GRAB [^54] 数据集提供了以参数化人体模型（SMPL-X）形式呈现的详细物体运动及全身运动数据。遗憾的是，该数据集基于动作捕捉技术，并不包含视频资料。我们的研究重点在于追踪全身运动、物体运动以及精细的手部与物体接触情况，以便在RGB视频中提供真实的三维信息。人与场景的联合建模。此前已有一些研究探讨了静态图像和视频中的人机接触问题。例如，PHOSA能够从单张RGB图像中估算出具有合理交互关系的三维人体与三维物体[^63]。不过，我们此处的研究重点是动态场景。受以下观察结果的启发： --- 自然状态下的人类运动总是发生在三维场景中，研究人员因此提出将人体运动与周围环境一并建模[^5] [^15] [^51] [^62]。在PROX [^15] 研究中，人体与场景的接触被明确用于消除姿态估计中的歧义。该方法既避免了人体与场景相互穿透，又确保了场景与邻近身体部位能够接触。以往的研究还试图根据三维场景推断出人体最合理的位置与姿态[^16] [^30] [^65]。最近，MOVER [^62] 能够从单人 interacting with the scene 的静态单目视频中直接估算出三维场景与三维人体。尽管三维场景和人体运动都存在不确定性，但该方法通过利用接触信息消除了诸多歧义，从而提升了场景与人体的估算精度。遗憾的是，该方法假设场景是静止的，且并未对手部与物体的操控进行建模。数据集。传统上，动作捕捉是在实验室环境中使用基于标记的系统来进行的。为了捕捉物体交互和接触情况，一种方法是利用MoSh [^32] 将SMPL或SMPL-X人体模型与标记数据相匹配 [^35]。GRAB数据集 [^54] 采用了这种方法的进阶版本。不过这类方法缺乏同步的RGB视频数据。HumanEva [^52] 和Human3.6M [^23] 数据集结合了多摄像头RGB视频采集以及来自基于标记的动作捕捉技术的同步真实3D骨骼数据。但这些数据集缺少真实的3D人体网格数据，且都是在实验室环境中采集的，并不包含人与物体的互动场景。3DPW [^36] 是首个在野外环境中采集的数据集，它同时记录了视频中的自然人体外观以及精确的3D姿态数据。不过该数据集并未追踪物体或标注人与物体的交互情况。PiGraphs [^51] 和PROX [^15] 既提供了3D场景也包含了人体运动数据，但精度相对较低，且依赖单台RGB-D摄像头，因此不适合作为评估基准。最近的RICH数据集 [^21] 解决了诸多上述问题，它包含了室内外场景、高精度的SMPL-X多视角采集数据、3D场景扫描数据以及人与场景的接触信息。不过由于该数据集不包含物体操控相关内容，因此并不适用于我们的任务。另一种方法是GTA-IM [^5] 和SAIL-VOS [^20] 所采用的技术，它们通过3D图形或2D视频来生成人与场景的交互数据。这些方法虽然能提供高精度的真实数据，但视觉真实感不足。总的来说，我们认为一个3D人机交互数据集要想实用，就必须具备精确的手部姿态数据，因为人们通常是通过手来与物体互动的。我们接下来将对我们的InterCap方法进行比较。

Table 1. Dataset statistics. Comparison of our InterCap dataset to existing datasets.

Name	# of Seq.	Natural Appear.	Moving Objects	Accurate Motion	With Image	Artic Hands
HumanEva [^52]	56	✓	✗	✓	✓	✗
Human3.6M [^23]	165	✓	✗	✓	✓	✗
AMASS [^35]	11265	✓	✗	✓	✗	✗
GRAB [^54]	1334	✓	✓	✓	✗	✓
3DPW [^36]	60	✓	✗	✓	✓	✗
GTA-IM [^5]	119	✗	✗	✓	✓	✗
SAIL-VOS [^20]	201	✗	✗	✗	✗	✗
PiGraphs [^51]	63	✓	✗	✓	✓	✗
PROX [^15]	20	✓	✗	✗	✓	✗
RICH [^21]	142	✓	✗	✓	✓	✗
BEHAVE [^3]	321	✓	✓	✓	✓	✗
InterCap (ours)	223	✓	✓	✓	✓	✓

jects. We compare our InterCap dataset with other ones in Table1.

--- ## 3 InterCap方法我们的核心目标是在视频中精确估计人体和物体的运动。我们的无标记动作捕捉方法建立在Hassan等人提出的PROX-D方法基础之上 [^15]。为了提高人体追踪的精度，我们对该方法进行了扩展，使其能使用多台RGB-D摄像头；在这里我们采用了最新的Azure Kinect摄像头。这样做的理由是：从不同角度观察人体的多台摄像头能提供更多关于人体和物体运动的信息。此外，与更专业的设备相比，普通的RGB-D摄像头在受控实验室环境之外部署时灵活性更高。关键的技术挑战在于，在人 interacting with objects时，如何精确估计物体的3D姿态和位移。在本研究中，我们重点关注日常生活中常见的10种不同尺寸的刚性物体，比如杯子和椅子。尽管这些物体属于刚性物体，但由于人体和手部的遮挡，对它们的追踪并非易事。虽然关于6自由度物体姿态估计的研究已经相当丰富，但其中大部分忽略了手与物体的交互情况。近期在这一领域的研究虽颇具前景，但研究的场景仍比我们的应用场景简单得多，参见 [^53]。与以往从 RGB-D 视频中进行手和物体姿态估计[^14]的工作类似，本工作假设物体的 3D 网格是预先已知的。为此，我们首先尽可能从互联网上收集这些物体的 3D 模型，并对其余物体进行自行扫描。为了将已知的物体模型拟合到图像数据，我们首先执行语义分割，在所有相机视图中找到相应的物体区域，并通过可微渲染将 3D 网格拟合到分割出的物体轮廓。由于在某些视图中人与物体之间的严重遮挡可能使分割结果不可靠，因此聚合所有视图的分割结果可以提升物体跟踪性能。在上述步骤中，主体和物体被分开处理，且逐帧进行计算，并未施加时间平滑或接触约束。这会导致运动不连贯，且物体与身体之间会出现严重的穿透现象。更糟糕的是，我们的人体姿态估计采用了OpenPose来进行2D关键点检测，当物体遮挡身体或手部与物体相互作用时，OpenPose的检测效果会大打折扣。为了缓解这一问题，同时在这类复杂场景下仍能获得合理的人体、手部和物体姿态，我们手动标注了身体或手部与物体接触的帧，以及最有可能发生接触的身体、手部和物体顶点。这种手动标注工作十分繁琐；自动检测接触点仍是一个未解决的问题，有待后续研究解决。随后，我们明确鼓励被标注的身体和手部顶点与被标注的物体顶点相接触。我们发现这一简单的方法在实践中效果显著。更多细节将在下文阐述。 --- ### 3.1 多Kinect设备搭建我们使用6台Azure Kinect相机来同步追踪人体和物体，这些相机在办公室内呈“环形”布局安装；详见补充材料。与昂贵的专业动作捕捉系统（如Vicon）相比，多台RGB-D相机在身体追踪精度和实际场景适用性之间取得了良好平衡；而与便宜便捷但精度较低的单目RGB相机相比，多相机方案也更具优势。此外，该方法无需粘贴任何标记点，因此拍摄出的图像更为自然。相机的内参由制造商提供，外参则通过Azure Kinect的API进行标定[^38]。不过由于采用稀疏的“环形”布局时，非相邻相机无法同时清晰观测到标定板，因此标定结果可能存在一定误差。为此，我们在MeshLab中通过对比相邻相机的点云数据，多次手动优化相机外参。经实践验证，Azure Kinect的硬件同步效果良好。借助标定信息，我们选择某一台相机的3D坐标系作为全局坐标系，将其他相机的坐标系下的点云转换到全局坐标系中，以此为基础拟合SMPL-X模型和物体模型。 ### 3.2 仅物体的序列跟踪物体分割。为了在交互过程中追踪某个物体，我们需要可靠的视觉线索来与3D物体模型进行比较。为此，我们通过对整幅图像应用PointRend [^28] 来进行语义分割。随后，我们提取出与物体类别相对应的实例；具体示例见补充材料。我们假设受试者仅与单个物体交互。需要注意的是，与以往物体占据图像大部分区域的方法不同 [^14] [^15] [^40] [^56]，在我们的场景中，整个身体都是可见的，因此物体只占图像的一小部分，且经常被身体和手部遮挡；我们的场景更具挑战性。我们发现，对于椅子这类大型物体，即使物体与人之间存在严重遮挡，PointRend也能取得不错的效果；但对于瓶子或杯子这类小型物体，由于遮挡问题，其表现则差强人意。在极端情况下，物体可能在大多数视角中都无法被检测到。即便分割结果良好，物体的类别标签也可能有误。为解决这一问题，我们采取两步策略：（1）针对每一帧，检测出所有可能的物体分割候选区域及其标签。这一步只需离线执行一次。（2）在物体追踪阶段，针对每个视角，将追踪物体在第 $i^{th}$ 帧的渲染结果与第 $(i+1)^{\text{th}}$ 帧的所有已检测分割候选区域进行比较，仅保留重叠比例最大的那个候选区域。这种“渲染-比较-保留”操作会在追踪过程中迭代进行。物体追踪。通过在整个序列上进行语义分割得到物体掩码后，我们通过可微渲染技术 [^27] [^34] 将物体模型与观测数据相匹配，从而实现物体追踪。这与以往的手部-物体追踪方法类似 [^14]。我们假设物体是刚性的，且其网格模型已知。 --- 在第 $t^{\text{th}}$ 帧中，刚性物体的配置由6维旋转和平移向量 $\xi$ 指定。初始化时，我们通过将物体网格匹配到实测点云中，手动确定第一帧中物体的配置。设 $R_S$ 和 $R_D$ 为用于渲染所追踪的3D物体网格M的合成掩码和深度图像的函数；同时设 $S = \{S_\nu\}$ 为“观测到的”物体掩码，$D = \{D_\nu\}$ 为当前帧对应的深度值，其中 $\nu$ 表示相机视角。此时，我们最小化以下目标函数： $$ \begin{align*}E_{O}(\xi;S,D)=\sum_{\substack{\mathrm{view}\nu}}&\lambda_{segm}\|(R_{S}(\xi,M,\nu)-S_{\nu})*S_{\nu}\|_{F}^{2}\\&+\lambda_{depth}\|(R_{D}(\xi,M,\nu)-D_{\nu})*S_{\nu}\|_{F}^{2},\end{align*} $$ 其中，两项分别衡量渲染出的物体掩码和深度图像与检测到的掩码及观测深度之间的匹配程度；$*$ 表示逐元素乘法，$\|.\|_{F}$ 表示弗罗贝尼乌斯范数；$\lambda_{segm}$ 和 $\lambda_{depth}$ 为经验设定的权重系数。为简化起见，我们假设从主相机到其他相机帧的变换已编码在渲染函数 $R_{S}, R_{D}$ 中；此处不再显式表述。 ### 3.3 顺序性纯人体追踪我们基于多视角RGB-D视频，逐帧估计整个序列中的人体形状和姿态。这一思路与PROX-D方法类似[^15]，但我们的方法中没有3D场景约束，且使用了多个摄像头。人体姿态和形状在每一帧中都是独立优化的。我们使用SMPL-X模型[^44]来表示3D人体。SMPL-X是一种函数，给定形状、$\beta$、姿态、$\theta$、面部表情、$\psi$以及平移参数$\gamma$后，便能生成封闭性良好的网格模型。按照惯例，我们用10维空间表示形状$\beta$，在VPoser[^44]中用32维隐空间来表示身体姿态$\theta$。我们最小化下述损失函数。对于每一帧，我们本质上是将PROX方法中使用的核心损失项[^15]扩展到多视角情况： $$ \begin{align*}E_{B}(\boldsymbol{\beta},\boldsymbol{\theta},\boldsymbol{\psi},\gamma;K,J_{est})=E_{J}+&\lambda_{D}E_{D}+\lambda_{\theta_{b}}E_{\theta_{b}}+\lambda_{\theta_{h}}E_{\theta_{h}}+\lambda_{\theta_{f}}E_{\theta_{f}}\\&+\lambda_{\alpha}E_{\alpha}+\lambda_{\beta}E_{\beta}+\lambda_{\mathcal{E}}E_{\mathcal{E}}+\lambda_{\mathcal{P}}E_{\mathcal{P}},\end{align*} $$ 其中$E_{\beta}$、$E_{\theta_b}$、$E_{\theta_h}$、$E_{\theta_f}$、$E_{\varepsilon}$分别是针对人体形状、身体姿态、手部姿态、面部姿态及表情的先验损失项。此外，$E_{\alpha}$是针对肘部和膝盖过度弯曲的先验约束。这些术语的详细定义可参见[^15]。$E_J$是2D关键点重投影损失： $$ E_{J}(\beta,\theta,\gamma;K,J_{\mathrm{e s t}})=\sum_{v i e w~\nu}\sum_{j o i n t~i}k_{i}^{\nu}w_{i}^{\nu}\rho_{J}\big(\varPi_{K}^{\nu}\big(R_{\theta\gamma}\big(J(\beta)_{i}\big)\big)-J_{e s t,i}^{\nu}\big), $$ 其中$\theta = \{\theta_b, \theta_h, \theta_f\}$、$\nu$，i用于遍历不同视角和关节；$k_i^\nu$和$w_i^\nu$分别是各关节的权重和检测置信度，$\rho_J$是鲁棒的Geman-McClure误差函数[^12]，$\Pi_K^\nu$是带有K个相机参数的投影函数， --- ![Image](images/a1d0f75b92a465782055952fa4fbc4894d441759e520018713e7b111c6b7b358.jpg)

Fig. 2. The objects of our InterCap dataset. Left: Color photos. Right: Annotations for object areas that are likely to come in contact during interaction, shown in red. (Color figure online)

$R_{\theta\gamma}(J(\beta)_i)$是SMPL-X模型生成的带姿态的3D关节点，$J_{est,i}^{\nu}$则是检测到的2D关节点。项$E_D$定义为： $$ E_{D}(\beta,\theta,\gamma;K)=\sum_{v i e w~\nu}\sum_{p\in P^{\nu}}\min_{v\in V_{b}^{\nu}}\|v-p\|, $$ 其中$P''$是Azure Kinect在$\nu^{th}$视角下生成的分段点云，$V_b'$是在该视角下可见的SMPL-X顶点。该项用于衡量估计的人体网格与合并后的点云之间的差距，从而最小化这种差异。需要注意的是，与PROX不同，我们有来自所有视角的多个点云，也就是说我们的$E_D$是PROX方法中[^15]损失的多视角扩展形式。对于每个视角，我们都会动态计算可见的身体顶点，并将其与该视角的分段点云进行“对比”。最后，项$E_{\mathcal{P}}$用于惩罚SMPL-X人体网格的自我穿透现象；其更详细且正式的定义可参见PROX文献[^15]： $$ E_{\mathcal{P}}(\theta,\beta,\gamma)=E_{\mathcal{P}_{self}}(\theta,\beta). $$ ### 3.4 所有帧中的人体-物体联合跟踪我们将上述优化结果作为初始化数据，通过在所有帧中对人体和物体进行联合优化来实现精细化调整，同时需满足接触约束条件。为此，我们固定身体形状参数$\beta$，将其设为第一阶段在所有帧中计算得到的平均身体形状，这一做法与[^22]中的方法一致。随后，我们在所有帧中联合优化物体姿态和平移参数$\xi$、身体姿态$\theta$以及身体平移参数$\gamma$。我们添加了时间平滑损失以减少人体和物体的抖动现象。我们也像PROX方法那样[^15]对物体与人体的穿透现象加以约束。关键区别在于：PROX中的场景是静态的，而此处物体是可以自由移动的。 ![Image](images/a90b4cbf95894181328d1021defbc3a240bb87a414c1e930331b9a28b8aa2ac3.jpg)

Fig. 3. Annotation of likely body contact areas (red color). (Color figure online)

为了强制实现接触约束，我们标注出最有可能与物体接触的身体区域，并且针对每个物体，标记出最有可能与之接触的顶点。 --- 已进行接触标注。这些标注分别显示在图3和图2右侧，以红色标示。我们还会对身体与物体发生接触的画面序列进行标注，并强制设定它们之间的接触关系，以便即使在手部与物体之间存在大量交互和遮挡时，也能获得合理的跟踪结果。这类交互对于最先进的二维关节检测器（如OpenPose）而言极具挑战性，尤其是对手部而言。正式来说，我们对全部T帧进行全局优化，最小化损失函数E。该函数由物体拟合损失$E_O$、身体拟合损失$E_B$、运动平滑先验损失[^64]即$E_S$，以及惩罚物体加速度的损失$E_A$组成。我们还采用了地面支撑损失$E_G$，用于促使人体和物体位于地面之上，即不穿透地面。最后，我们使用身体-物体接触损失$E_C$，在存在接触的帧中将身体与物体绑定在一起。损失函数E的定义如下： $$ \begin{aligned}E&=\frac{1}{T}\sum_{\mathrm{f r a m e}t}\left[E_{O}(\varXi_{t};\mathcal{S}_{t},\mathcal{D}_{t})+E_{B}(\beta^{*},\varTheta_{t},\varPsi_{t},\varGamma_{t};\mathcal{J}_{e s t})\right]\\&\quad+\frac{1}{T}\sum_{\mathrm{f r a m e}t}\left[E_{\mathcal{P}}(\varTheta_{t},\beta^{*},\varGamma_{t})+E_{\mathcal{C}}(\beta^{*},\varTheta_{t},\varPsi_{t},\varGamma_{t},\Xi_{t},M)\right]\\&\quad+\frac{\lambda_{\mathcal{G}}}{T}\sum_{\mathrm{f r a m e}t}\left[E_{\mathcal{G}}(\beta^{*},\varTheta_{t},\varPsi_{t},\varGamma_{t})+E_{\mathcal{G}^{\prime}}(\varXi_{t},M)\right]\\&\quad+\frac{\lambda_{\mathcal{Q}}}{T}\sum_{\mathrm{f r a m e}t}\left[Q_{t}*E_{\mathcal{C}}(\beta^{*},\varTheta_{t},\varPsi_{t},M^{\prime},\varXi_{t})\right]\\&\quad+\lambda_{\mathcal{S}}E_{\mathcal{S}}(\varTheta,\varPsi,\varGamma,A;\beta^{*},T)\\&\quad+\lambda_{\mathcal{A}}E_{\mathcal{A}}(\varXi,T,M),\end{aligned} $$ 其中，$E_O$源自公式1，$E_B$源自公式2，两者均涵盖所有视角$\nu$；而$E_{\mathcal{P}}$则源自公式5。对于序列中的所有帧$t = \{1, \ldots, T\}$，$\Theta = \{\theta_t\}$、$\Psi = \{\psi_t\}$、$\Gamma = \{\gamma_t\}$分别表示身体姿态、面部表情和平移量，$\Xi = \{\xi_t\}$表示物体的旋转和平移量，$\mathcal{S} = \{S_t\}$与$\mathcal{D} = \{D_t\}$为掩码和深度块，$\mathcal{J}_{est} = \{J_{est,t}\}$为检测到的二维关键点。M代表物体网格，$\beta^*$表示平均身体形状。$E_C$会针对有接触的帧鼓励身体与物体的接触，这些接触帧由人工标注的二进制向量$Q = \{Q_t\}$、$t = \{1, \ldots, T\}$指示；若某$Q_t$帧中任何身体部位（如手、脚、大腿）与物体接触，则$t^{\text{th}}$设为1，否则设为0。运动平滑损失$E_S$会惩罚身体顶点的突然位置变化，而顶点加速度损失$E_A$则促使物体轨迹平滑。我们通过将平面拟合到点云中选取的地面点来估算地面平面。项$E_G$和$E_G'$分别用于衡量身体和物体是否穿透地面。关于上述损失项的更多细节，请参阅补充材料。最后，参数$\lambda_G$、$\lambda_Q$、$\lambda_S$和$\lambda_A$是凭经验设定的控制权重。 ## 4 InterCap数据集我们采用所提出的InterCap算法（第3节）来采集InterCap数据集，该数据集的独特之处在于它包含了多视角RGB-D视频中的全身与物体交互场景。 --- ![Image](images/2824224235930d0a17058b86160beb5fde1830f919c8f6132cf68b5b8a7f7cc8.jpg)

Fig. 4. Samples from our InterCap dataset, drawn from four sequences with different subjects and objects. The estimated 3D object and SMPL-X human meshes have plausible contacts that agree with the input images. Best viewed zoomed in.

数据采集协议。我们使用了10种日常物品，如图2左侧所示，这些物品在尺寸上有所差异，且能与身体、手或脚产生不同的交互；我们主要关注手-物交互。我们招募了10名受试者（5男5女），年龄介于25至40岁之间。根据时间安排，受试者需与7种或更多物品进行交互。要求受试者尽可能自然地与物品交互。不过，他们被要求避免过快的交互动作，以免产生严重的运动模糊（Azure Kinect仅支持最高30帧/秒），或因RGB-D传感器的技术特性而导致各Kinect拍摄的RGB图像与深度图像之间出现错位。根据物体形状和功能，我们针对每个物体最多采集3个序列，并从下方列表中选取交互意图，正如GRAB [^54]中所描述的那样： “传递”：受试者将物体递给站在其左侧或右侧的另一个虚拟人物；对方需要能够抓握的空区域。 – “检查”：受试者首先拿起物体，然后用手摆弄它，从多个角度进行视觉观察，以查看物体的各个侧面。 – “使用”：受试者以符合物体固有属性及日常使用功能的方式自然地使用该物体。我们还会记录每位受试者自行选择的自由式互动过程。所有受试者均已签署书面知情同意书，允许公开分享其数据用于研究。 4D重建。我们的InterCap方法（见第3节）以多视角RGB-D视频为输入，输出人体和物体的4D网格，即随时间变化的3D网格。人体采用SMPL-X网格表示[^44]，而物体网格则是用Artec手持式扫描仪获取的。部分数据集帧以及重建后的网格如图1和图4所示；也可观看我们网站上的相关视频。重建结果看起来十分自然，人体与物体之间的接触也符合实际。 --- ![Image](images/84d5bb074571c7c88d687978b598f11619071eca69f0bd333fe7e2439ad61109.jpg)

Fig. 5. Contact heatmaps for each object (across all subjects) and the human body (across all objects and subjects). Contact likelihood is color-coded; high likelihood is shown with red, and low with blue. Color-coding is normalized separately for each object, the body, and each hand.

![Image](images/fffb964ed984ba50c1c83e2ba53ddaa275e7cd2b9f00c7ec155c581f301fde0d.jpg) ![Image](images/64a6591c76c656b76844ba0eb4da8c0b8038fad344a6225d2499e7e0b5a0cf87.jpg)

Fig. 6. Statistics of human-object mesh penetration for all InterCap sequences. Left: The number of frames (Y-axis) with a certain penetration depth (X-axis). Right: The percentage of frames (Y-axis) with a penetration depth below a threshold (X-axis). In the legend, “Max”, “Mean” and “Median” refer to three ways of reporting the penetration for each frame, i.e., taking the maximum, mean and median value of the penetration depth of all vertices, respectively. (Color figure online)

数据集统计信息。InterCap包含223段RGB-D视频，共计67,357个多视角帧（每段视频含6张RGB-D图像）。与其他数据集的对比情况见表1。 ## 5 实验 ## 5 实验接触热图。图5左侧展示了所有受试者作用下各物体上的接触热图。我们遵循GRAB的研究协议[^54]，该协议采用基于重建后人体和物体网格的邻近度度量方法。首先，我们通过设定阈值（4.5毫米）来生成每帧的二值接触图，该阈值用于判断每个身体顶点到最近物体表面点的距离。随后，我们对这些接触图进行积分处理。 --- ![Image](images/ef78495a349e0387d9d005c635f4efa9cfb9de61548cb2c2e5e3613215cf92be.jpg) ![Image](images/3bc590d6847d2bda47c4fa35a1e07c0eb178ab84f7376d53e2312e8da4436b80.jpg)

Fig. 7. Left: Qualitative ablation of our contact term. Each pair of images shows results w/ (red) and w/ (green) the contact term. Encouraging contact results in more natural hand poses and hand-object grasps. Right: Acceleration of a random vertex w/ (dashed line) and w/ (solid line) temporal smoothing for 3 sequences (shown with different color) over the first 120 frames. Dashed lines (w/ temporal smoothing) correspond to lower acceleration, i.e., less jitter. (Color figure online)

图5右侧显示的是所有受试者和物体作用下在人体上生成的热图。热图表明，InterCap的大多数互动主要涉及右手。手掌处的接触情况符合现实，且集中在手指和掌指关节处。手背侧的“虚假”接触是由于我们复杂的摄像头设置和互动场景，以及重建过程中的微小抖动导致的。图5右侧展示了所有受试者和物体作用下的身体热图。热图显示，InterCap的大部分交互主要涉及右手。手掌处的接触效果符合预期，且集中在手指和掌指关节处。手背侧的“虚假”接触现象源于复杂的相机设置与交互场景，以及重建过程中的抖动问题。穿透现象。我们针对数据集中的所有序列，评估人体与物体网格之间的穿透情况。我们遵循GRAB等人的协议[^54]：首先找出存在至少轻微人体-物体接触的“接触帧”，随后对这些帧的统计结果进行汇报。在图6左侧，我们展示了穿透情况的分布情况——即特定网格穿透深度（X轴）对应的“接触帧”数量（Y轴）。图6右侧则展示了穿透情况的累积分布：即网格穿透程度低于某一阈值（X轴）的“接触帧”所占百分比（Y轴）。大约60%的“接触帧”的平均穿透深度≤5毫米，80%≤7毫米，98%≤20毫米。所有“接触帧”的平均穿透深度为7.2毫米。贴合精度。对于每一帧，我们计算每个网格顶点到最近的点云（PCL）点的距离；对于每个人体或物体网格，我们仅考虑通过PointRend [^28] 分割得到的对应PCL区域。人体的平均顶点到PCL距离为20.29毫米，物体则为18.50毫米。相比之下，我们的基准方法PROX-D [^15] 在人体上的误差为13.02毫米。这是意料之中的，因为PROX-D可以自由改变人体形状以适应每一帧图像，而我们的方法则为整个序列估计单一的人体形状。 --- SMPLify-X [^44] 的平均误差为79.54毫米，VIBE的平均误差为55.59毫米，ExPose的平均误差则为71.78毫米。这些数字验证了我们的方法在人体追踪方面的有效性。需要注意的是，这些方法仅基于单目RGB图像，因此没有足够的信息来准确估计3D人体网格的全局位置。因此，我们首先将输出的网格与点云对齐，再计算误差。该误差存在下限原因有二：（1）它受到Azure Kinect传感器同步设计缺陷的影响；（2）部分顶点反映的是交互过程中被遮挡的人体/物体区域，其最近PCL点属于错误对应点。尽管如此，InterCap仍能通过实验估算出合理的人体、手部及交互物体形态，这一点从上文讨论的接触热图和穿透指标中可见一斑。接触项的消融实验。图7左侧展示了加入/去除我们提出的鼓励人体与物体接触的项后的结果；可视化图像“放大”显示了手与物体的抓取情况。可以看出，鼓励接触能生成更自然的手部姿态，且穿透现象更少。上文讨论的接触热图和穿透指标也证实了这一点。时间平滑项的消融实验。图7右侧展示了去除我们的时间平滑项后的结果。每条实线表示未施加时间平滑项时随机选取的一个顶点的加速度；我们展示了3种不同的运动情况。同色的虚线则表示施加平滑项后的相同运动，显然更加平滑。我们通过实验发现，Zhang等人 [^64] 学习到的运动先验比手工设计的先验 [^22] 能产生更自然的运动效果。关于抖动问题的讨论。尽管进行了平滑处理，抖动仍不可避免。我们将此归因于两个因素：（1）OpenPose和Mask-RCNN对遮挡和光照条件（如反射、阴影、光线不足）较为敏感，而3D模型的拟合数据项正依赖于这些因素；（2）Azure Kinect传感器的同步性能虽尚可，但为避免深度相机间的干扰，各摄像头间仍存在微小延迟；从不同视角“收集”的点云会因时间差而略显“残缺”。由于图像分辨率低、运动模糊以及点云粗糙，手部的抖动相对于身体而言更为明显。尽管面临这些挑战，InterCap仍是利用普通硬件捕捉日常全身交互行为的重要一步。未来的工作将致力于研究更高级的运动先验。 ## 6 讨论本文重点关注人体与日常刚性物体的全身交互行为。我们提出了一种名为InterCap的新方法，该方法能从多视角全身视频中重建此类交互，包括自然的手部姿态及接触情况。 --- 我们采用这种方法采集了全新的InterCap数据集，其中记录了各类人员与多种常见物体互动的场景。该数据集包含了人体和物体随时间的重建3D网格（即4D网格），以及它们之间合理的接触关系。与以往大多数研究不同，我们的方法无需使用光学标记点或惯性测量单元等特殊设备，仅依靠几台消费级RGB-D摄像头即可实现。我们的系统轻便易携，有望应用于日常场景。即便在手部与物体之间存在严重遮挡的情况下，该方法仍能估算出合理的手部姿态。在未来的研究中，我们计划探索与更小物体的互动以及灵巧操作。我们的数据和代码可在获取。致谢。我们感谢Chun-Hao Paul Huang、Hongwei Yi、Jiaxiang Shang以及Mohamed Hassan在技术细节方面的有益讨论。我们感谢Taylor McConnell、Galina Henz、Marku Höschle、Senya Polikovsky、Matvey Safroshkin和Tsvetelina Alexiadis在数据收集与清洗方面的工作。我们感谢所有参与实验的人员。同时感谢Benjamin Pellkofer在信息技术和网站支持方面的帮助。作者感谢国际马克斯·普朗克智能系统研究院（IMPRS-IS）对OT的支持。本研究得到了德国联邦教育和研究部（BMBF）的支持：图宾根人工智能中心，项目编号01IS18039B。利益冲突声明：披露信息见。 ## 参考文献 [^1]: Alldieck, T., Magnor, M., Xu, W., Theobalt, C., Pons-Moll, G.: Video based reconstruction of 3D people models. In: Computer Vision and Pattern Recognition (CVPR), pp. 8387–8397 (2018) [^2]: Anguelov, D., Srinivasan, P., Koller, D., Thrun, S., Rodgers, J., Davis, J.: SCAPE: shape completion and animation of people. Trans. Graph. (TOG) 24(3), 408–416 (2005) [^3]: Bhatnagar, B.L., Xie, X., Petrov, I.A., Sminchisescu, C., Theobalt, C., Pons-Moll, G.: BEHAVE: Dataset and method for tracking human object interactions. In: Computer Vision and Pattern Recognition (CVPR), pp. 15935–15946 (2022) 4. Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., Black, M.J.：Keep It SMPL：基于单张图像自动估计3D人体姿态与形状。载于Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS第9909卷，第561–578页。Springer出版社，Cham（2016年）。 5. Cao, Z., Gao, H., Mangalam, K., Cai, Q.-Z., Vo, M., Malik, J.：结合场景上下文的长期人体运动预测。载于Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《ECCV 2020》。LNCS第12346卷，第387–404页。Springer出版社，Cham（2020年）。 ## [^6]: Cao, Z., Hidalgo, G., Simon, T., Wei, S.E., Sheikh, Y.: OpenPose: realtime multi-person 2D pose estimation using part affinity fields. Trans. Pattern Anal. Mach. Intell. (TPAMI) 43(1), 172–186 (2019) --- 7. Choutas, V., Pavlakos, G., Bolkart, T., Tzionas, D., Black, M.J.：通过身体驱动的注意力机制实现单目表情丰富的人体姿态回归。载于Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《ECCV 2020》。LNCS第12355卷，第20–40页。Springer出版社，Cham（2020年）。 [^8]: De Aguiar, E., Stoll, C., Theobalt, C., Ahmed, N., Seidel, H.P., Thrun, S.: Performance capture from sparse multi-view video. Trans. Graph. (TOG) 27(3), 1–10 (2008) [^9]: Dong, J., Fang, Q., Jiang, W., Yang, Y., Huang, Q., Bao, H., Zhou, X.: Fast and robust multi-person 3D pose estimation and tracking from multiple views. Trans. Pattern Anal. Mach. Intell. (TPAMI) 14(8), 1–12 (2021) [^10]: Dong, J., Jiang, W., Huang, Q., Bao, H., Zhou, X.: Fast and robust multi-person 3D pose estimation from multiple views. In: Computer Vision and Pattern Recognition (CVPR), pp. 7792–7801 (2019) [^11]: Dong, Z., Song, J., Chen, X., Guo, C., Hilliges, O.: Shape-aware multi-person pose estimation from multi-view images. In: International Conference on Computer Vision (ICCV), pp. 11158–11168 (2021) [^12]: Geman, S., McClure, D.E.: Statistical methods for tomographic image reconstruction. In: Proceedings of the 46th Session of the International Statistical Institute, Bulletin of the ISI, vol. 52 (1987) [^13]: Hamer, H., Schindler, K., Koller-Meier, E., Van Gool, L.: Tracking a hand manipulating an object. In: International Conference on Computer Vision (ICCV), pp. 1475–1482 (2009) [^14]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: HOnnotate: a method for 3D annotation of hand and object poses. In: Computer Vision and Pattern Recognition (CVPR), pp. 3193–3203 (2020) [^15]: Hassan, M., Choutas, V., Tzionas, D., Black, M.J.: Resolving 3D human pose ambiguities with 3D scene constrains. In: International Conference on Computer Vision (ICCV), pp. 2282–2292 (2019) [^16]: Hassan, M., Ghosh, P., Tesch, J., Tzionas, D., Black, M.J.: Populating 3D scenes by learning human-scene interaction. In: Computer Vision and Pattern Recognition (CVPR), pp. 14708–14718 (2021) [^17]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: Computer Vision and Pattern Recognition (CVPR), pp. 568–577 (2020) [^18]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Computer Vision and Pattern Recognition (CVPR), pp. 11807–11816 (2019) [^19]: He, Y., Yan, R., Fragkiadaki, K., Yu, S.I.: Epipolar transformers. In: Computer Vision and Pattern Recognition (CVPR), pp. 7776–7785 (2020) [^20]: Hu, Y.T., Chen, H.S., Hui, K., Huang, J.B., Schwing, A.G.: SAIL-VOS: semantic amodal instance level video object segmentation - a synthetic dataset and baselines. In: Computer Vision and Pattern Recognition (CVPR), pp. 3105–3115 (2019) [^21]: Huang, C.H.P., et al.: Capturing and inferring dense full-body human-scene contact. In: Computer Vision and Pattern Recognition (CVPR), pp. 13274–13285 (2022) [^22]: Huang, Y., et al.: Towards accurate marker-less human shape and pose estimation over time. In: International Conference on 3D Vision (3DV), pp. 421–430 (2017) ## [^23]: Ionescu, C., Papava, D., Olaru, V., Sminchisescu, C.: Human3.6M: large scale datasets and predictive methods for 3D human sensing in natural environments. Trans. Pattern Anal. Mach. Intell. (TPAMI) 36(7), 1325–1339 (2014) --- [^24]: Iskakov, K., Burkov, E., Lempitsky, V., Malkov, Y.: Learnable triangulation of human pose. In: International Conference on Computer Vision (ICCV), pp. 7717–7726 (2019) [^25]: Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.: End-to-end recovery of human shape and pose. In: Computer Vision and Pattern Recognition (CVPR), pp. 7122–7131 (2018) [^26]: Karunratanakul, K., Yang, J., Zhang, Y., Black, M.J., Muandet, K., Tang, S.: Grasping field: learning implicit representations for human grasps. In: International Conference on 3D Vision (3DV), pp. 333–344 (2020) [^27]: Kato, H., Ushiku, Y., Harada, T.: Neural 3D mesh renderer. In: Computer Vision and Pattern Recognition (CVPR), pp. 3907–3916 (2018) [^28]: Kirillov, A., Wu, Y., He, K., Girshick, R.: PointRend: image segmentation as rendering. In: Computer Vision and Pattern Recognition (CVPR), pp. 9799–9808 (2020) [^29]: Kocabas, M., Athanasiou, N., Black, M.J.: VIBE: video inference for human body pose and shape estimation. In: Computer Vision and Pattern Recognition (CVPR), pp. 5252–5262 (2020) [^30]: Li, X., Liu, S., Kim, K., Wang, X., Yang, M., Kautz, J.: Putting humans in a scene: learning affordance in 3D indoor environments. In: Computer Vision and Pattern Recognition (CVPR), pp. 12368–12376 (2019) [^31]: Liu, Y., Stoll, C., Gall, J., Seidel, H.P., Theobalt, C.: Markerless motion capture of interacting characters using multi-view image segmentation. In: Computer Vision and Pattern Recognition (CVPR), pp. 1249–1256 (2011) [^32]: Loper, M., Mahmood, N., Black, M.J.: MoSh: motion and shape capture from sparse markers. Trans. Graph. (TOG) 33(6), 1–13 (2014) [^33]: Loper, M., Mahmood, N., Romero, J., Pons-Moll, G., Black, M.J.: SMPL: a skinned multi-person linear model. Trans. Graph. (TOG) 34(6), 248:1–248:16 (2015) 34. Loper, M.M., Black, M.J.：OpenDR：一种近似可微渲染器。载于Fleet, D., Pajdla, T., Schiele, B., Tuytelears, T.（编）《ECCV 2014》。LNCS第8695卷，第154–169页。Springer出版社，Cham（2014年）。 [^35]: Mahmood, N., Ghorbani, N., F. Troje, N., Pons-Moll, G., Black, M.J.: AMASS: archive of motion capture as surface shapes. In: International Conference on Computer Vision (ICCV), pp. 5441–5450 (2019) 36. von Marcard, T., Henschel, R., Black, M.J., Rosenhahn, B., Pons-Moll, G.：利用惯性测量单元和移动摄像头在复杂环境中恢复精确的三维人体姿态。载于Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS第11214卷，第614–631页。Springer出版社，Cham（2018年）。 37. Mehta, D.等人：VNect：基于单台RGB摄像头的实时3D人体姿态估计。《图形学汇刊》（TOG）$\mathbf{36}(4)$，第44卷：1–14页（2017年）。 38. 微软：Azure Kinect SDK（K4A）（2022年）。 39. Newell, A., Yang, K., Deng, J.：用于人体姿态估计的堆叠沙漏网络。载于Leibe, B., Matas, J., Sebe, N., Welling, M.（编）《ECCV 2016》。LNCS第9912卷，第483–499页。Springer出版社，Cham（2016年）。 ## [^40]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In: International Conference on Computer Vision (ICCV), pp. 2088–2095 (2011) --- [^41]: Omran, M., Lassner, C., Pons-Moll, G., Gehler, P., Schiele, B.: Neural body fitting: unifying deep learning and model based human pose and shape estimation. In: International Conference on 3D Vision (3DV), pp. 484–494 (2018) [^42]: Osman, A.A.A., Bolkart, T., Tzionas, D., Black, M.J.: SUPR: a sparse unified part-based human body model. In: European Conference on Computer Vision (ECCV) (2022) 43. Osman, A.A.A.、Bolkart, T.、Black, M.J.：STAR：一种稀疏训练的关节人体回归器。载于：Vedaldi, A.、Bischof, H.、Brox, T.、Frahm, J.-M.（编）《ECCV 2020》。LNCS第12351卷，第598–613页。Springer出版社，Cham（2020年）。 [^44]: Pavlakos, G., et al.: Expressive body capture: 3D hands, face, and body from a single image. In: Computer Vision and Pattern Recognition (CVPR), pp. 10975–10985 (2019) [^45]: Pons-Moll, G., Baak, A., Helten, T., Müller, M., Seidel, H.P., Rosenhahn, B.: Multisensor-fusion for 3D full-body human motion capture. In: Computer Vision and Pattern Recognition (CVPR), pp. 663–670 (2010) [^46]: Qiu, H., Wang, C., Wang, J., Wang, N., Zeng, W.: Cross view fusion for 3D human pose estimation. In: International Conference on Computer Vision (ICCV), pp. 4341–4350 (2019) 47. Rhodin, H.、Robertini, N.、Casas, D.、Richardt, C.、Seidel, H.-P.、Theobalt, C.：利用体积轮廓线索实现通用自动化人体形状与动作捕捉。载于：Leibe, B.、Matas, J.、Sebe, N.、Welling, M.（编）《ECCV 2016》。LNCS第9909卷，第509–526页。Springer出版社，Cham（2016年）。 [^48]: Rogez, G., III, J.S.S., Ramanan, D.: Understanding everyday hands in action from RGB-D images. In: International Conference on Computer Vision (ICCV), pp. 3889–3897 (2015) [^49]: Romero, J., Kjellström, H., Kragic, D.: Hands in action: Real-time 3D reconstruction of hands in interaction with objects. In: International Conference on Robotics and Automation (ICRA), pp. 458–463 (2010) [^50]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. Trans. Graph. (TOG) 36(6), 245:1–245:17 (2017) [^51]: Savva, M., Chang, A.X., Hanrahan, P., Fisher, M., Nießner, M.: PiGraphs: Learning interaction snapshots from observations. Trans. Graph. (TOG) 35(4), 139:1–139:12 (2016) [^52]: Sigal, L., Balan, A., Black, M.J.: HumanEva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. Int. J. Comput. Vision (IJCV) 87(1–2), 4–27 (2010) [^53]: Sun, J., Wang, Z., Zhang, S., He, X., Zhao, H., Zhang, G., Zhou, X.: OnePose: one-shot object pose estimation without CAD models. In: CVPR, pp. 6825–6834 (2022) 54. Taheri, O.、Ghorbani, N.、Black, M.J.、Tzionas, D.：GRAB：一个关于人体抓取物体的全身数据集。载于：Vedaldi, A.、Bischof, H.、Brox, T.、Frahm, J.-M.（编）《ECCV 2020》。LNCS第12349卷，第581–600页。Springer出版社，Cham（2020年）。 55. Tu, H.、Wang, C.、Zeng, W.：VoxelPose：面向野外环境的多摄像头3D人体姿态估计方法。载于：Vedaldi, A.、Bischof, H.、Brox, T.、Frahm, J.-M.（编）《ECCV 2020》。LNCS第12346卷，第197–212页。Springer出版社，Cham（2020年）。 --- [^56]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. Int. J. Comput. Vis. (IJCV) 118(2), 172–193 (2016) [^57]: Varol, G., Laptev, I., Schmid, C.: Long-term temporal convolutions for action recognition. Trans. Pattern Anal. Mach. Intell. (TPAMI) 40(6), 1510–1517 (2017) [^58]: Wei, S.E., Ramakrishna, V., Kanade, T., Sheikh, Y.: Convolutional pose machines. In: Computer Vision and Pattern Recognition (CVPR), pp. 4724–4732 (2016) [^59]: Xu, H., Bazavan, E.G., Zanfir, A., Freeman, W.T., Sukthankar, R., Sminchisescu, C.: GHUM & GHUML: generative 3D human shape and articulated pose models. In: Computer Vision and Pattern Recognition (CVPR). pp. 6183–6192 (2020) [^60]: Xu, W., Chatterjee, A., Zollhöfer, M., Rhodin, H., Mehta, D., Seidel, H.P., Theobalt, C.: MonoPerfCap: human performance capture from monocular video. Trans. Graph. (TOG) 37(2), 1–15 (2018) [^61]: Yao, B., Fei-Fei, L.: Modeling mutual context of object and human pose in human-object interaction activities. In: Computer Vision and Pattern Recognition (CVPR), pp. 17–24 (2010) [^62]: Y1, H., et al.: Human-aware object placement for visual environment reconstruction. In: Computer Vision and Pattern Recognition (CVPR), pp. 3959–3970 (2022) [^63]: Zhang, J.Y., Pepose, S., Joo, H., Ramanan, D., Malik, J., Kanazawa, A.: Perceiving 3D human-object spatial arrangements from a single image in the wild. In: European Conference on Computer Vision (ECCV) (2020) [^64]: Zhang, S., Zhang, Y., Bogo, F., Pollefeys, M., Tang, S.: Learning motion priors for 4D human body capture in 3D scenes. In: Computer Vision and Pattern Recognition (CVPR), pp. 11323–11333 (2021) [^65]: Zhang, Y., Hassan, M., Neumann, H., Black, M.J., Tang, S.: Generating 3D people in scenes without people. In: Computer Vision and Pattern Recognition (CVPR), pp. 6193–6203 (2020) [^66]: Zhang, Y., An, L., Yu, T., Li, X., Li, K., Liu, Y.: 4D association graph for realtime multi-person motion capture using multiple video cameras. In: Computer Vision and Pattern Recognition (CVPR), pp. 1321–1330 (2020) [^67]: Zhang, Y., Li, Z., An, L., Li, M., Yu, T., Liu, Y.: Light-weight multi-person total capture using sparse multi-view cameras. In: International Conference on Computer Vision (ICCV), pp. 5560–5569 (2021) [^68]: Zollhöfer, M.: State of the art on 3D reconstruction with RGB-D cameras. Comput. Graph. Forum (CGF) 37(2), 625–652 (2018)