# ParaHome：面向人类-物体交互的3D生成建模的日常家居活动参数化研究 Jeonghwan Kim $^{*}$ Jisoo Kim $^{*}$ Jeonghyeon Na Hanbyul Joo 首尔大学 {roastedpen,jlogkim,prom317,hbjoo}@snu.ac.kr ![Image](images/d7a92882218c8a61d4a5c1b0273475bb52261be6154d60fc3fbf89310d57f610.jpg)
Figure 1. Our system captures the detailed 3D movements of the human body, hands, and diverse objects, along with text descriptions.
## 摘要 为了让机器能够理解人类在日常生活中的物理世界交互方式，需要在自然环境中捕捉3D交互信号，从而支持人们对多个物体进行各种连续的、随意的操作。为实现这一目标，我们推出了ParaHome系统，专门用于捕捉普通家庭环境中人类与物体的动态3D运动。该系统采用多视角设计，配备70台同步工作的RGB摄像头，以及可穿戴的动作捕捉设备，包括基于IMU的身体套装和手部动作捕捉手套。借助ParaHome系统，我们收集了一套全新的人类-物体交互数据集，包含207次采集、38名参与者产生的共计486分钟的序列数据，该数据集在三个方面实现了突破：（1）能在真实的家庭环境中捕捉人体运动、灵巧的手部操作运动以及多个物体之间的交互；（2）涵盖了带有文本描述的连续及同时发生的操作；（3）包含由3D参数化模型表示的具有多个零部件的铰接物体。我们详细阐述了该系统的设计依据，并开展了关键的生成建模实验以展示该数据集的潜力。 用于展示我们数据集潜力的实验。 ### 1. 引言 我们的日常活动涉及与各种物体的互动，其中会进行复杂、连续且灵巧的动作。然而，机器很难模仿这些行为，因为人类动作与环境响应之间的关联（例如拉动冰箱门把手以打开冰箱）难以建模。主要障碍在于缺乏在自然、随意场景下捕捉三维人机交互（HOI）的大规模数据集，这类数据需涵盖人体、手部及物体在共同时空内的三维运动信息。现有数据集仅覆盖有限的方面：有的仅捕捉无物体参与的人体运动[^32] [^47] [^52] [^70] [^89]；有的在静态环境中捕捉人体运动，却未涉及灵巧的手部操作[^39] [^88] [^104]；有的仅关注静态姿势下的手与物体互动，不涉及运动过程[^4] [^11] [^36] [^43]；还有的仅考虑相对简单且单一的交互，比如抓取单个物体[^2] [^26] [^61] [^92] [^103] [^117]。尽管近期有一些数据集试图同时捕捉人体运动与灵巧的手部操作，但它们往往是在不太自然的场景下采集的（例如简单的桌面环境），且包含的动作种类有限。 --- 动作多样性[^23] [^49] [^114]。 为了解决在自然家庭环境中收集高质量HOI数据的这类根本性难题，我们提出了一种全新的采集系统ParaHome，以及包含多样且自然的人体-物体交互数据的大规模数据集。如图1所示，我们的系统允许参与者在房间环境中自由地与多个物体互动。获取此类信号极具挑战性，因为系统必须能够应对互动过程中的严重遮挡现象，以及不同尺度下的运动（包括人在房间内的大幅身体移动和细微的手部动作）。作为解决方案，我们设计的ParaHome系统结合了配备70个同步摄像头的多视角摄像系统、基于IMU的可穿戴动作捕捉服和手套。多摄像头系统可追踪物体的三维运动，既能捕捉刚体和关节运动，也能获取人体及手部在摄像头空间中的全局刚体变换信息。人体和手部运动则通过可穿戴的动作捕捉设备来采集，这些设备不会受到遮挡影响，从而能实现鲁棒性强的人体-物体交互捕捉。由于整合异构系统本身颇具挑战性，我们提出了多种硬件和算法解决方案，以便在共同的三维时空内可靠地重建人体运动和物体运动。通过实验，我们验证了系统的鲁棒性，同时也证明了我们设计选择的合理性。 借助我们的ParaHome系统，我们在家庭活动场景中采集了大规模的人体-物体交互数据集。该数据集包含来自38名参与者的数据，涉及22种物体、208次采集，时钟时间下的序列时长达到486分钟，且已公开可供获取。我们设计的采集场景旨在反映日常生活中常见的各种自然活动：每位参与者在每次采集过程中都会根据统一的口头指导，以各自独特的方式同时与多个物体进行连续且随意的互动。最终得到的数据捕捉到了人在三维参数空间内与多个物体之间的详细时空关系；我们提供了对应的三维人体网格模型（SMPL-X）[^78]、带有接触提示的特定物体参数模型，以及描述性文本注释，如图1所示。 我们新采集的数据集为研究自然HOI场景下人体运动与三维物体运动之间的相关性提供了新的研究契机。为了证明这一点，我们构建了基于运动合成的生成建模流程，并探讨了两个可能的示例问题：文本条件驱动的运动合成和物体引导的运动合成。 ### 2. 相关工作 三维动作捕捉系统与HOI数据集。Kanade等人的研究开创了相关领域先河[^53]，此后有多个系统提出利用多视角捕捉系统来重建人类行为[^31] [^72] [^73] [^81]。借助这类系统，早期的研究尝试实现无标记的人体运动捕捉[^5] [^6] [^12] [^15] [^18] [^24] [^25] [^28] [^56] [^84] [^91] [^97] [^98]。为了实现更鲁棒的人体运动跟踪，一些研究将IMU传感器整合到系统中[^17] [^35] [^54] [^60] [^63] [^77]。 这类多视角系统会结合额外的线索来捕捉手与物体的交互，以解决严重遮挡或手部尺度较小等问题。例如，一些方法利用RGB-D图像并结合优化技术。 [^36]: [^37], manual annotation [^11] [^129], or pretrained models [^87]. Some other methods use marker-based mocap systems [^38], magnetic sensors [^26], or mocap gloves [^19], and some rely on synthetic data to model the interactions [^43] [^48]. Other than hand-object interactions, body-object interactions are captured with manual annotations [^2], IMUs combined with RGB data to track objects [^119], IMUs for body pose and RGB for tracking body with object [^85] [^123]. Considering both body and hands, scale difference is a critical issue. As a resolution, methods using depth estimation and segmentation [^103], mocap systems [^61] [^92], multi-view cameras [^117] [^118], and RGB-D setups [^46] are used. To account for articulated objects rather than rigid objects, egocentric RGB data is used with manual annotation to compute hand and object pose [^67]. Some approaches use multi-view setup with markers attached to the surface of body and object to capture interaction with sittable object [^49] and others [^23] [^68] [^113] [^114] use table setting to restrict body movements or set a placeholder in the synthetic environment [^50]. We summarize the key aspects of existing datasets and ours in supp. mat. 人体运动合成。目前已提出多种方法来利用基于数据集的回归[^21]、时空一致性[^65]来重建静态的手与物体交互，同时还会利用手与物体接触的先验知识[^9] [^30]或交互场[^110] [^126]。这些方法还进一步通过可见性线索纳入身体和刚体物体的姿态信息[^102] [^105] [^106]。除此之外，近期的研究采用额外条件来生成人体运动，这些条件可以是文本标注[^34] [^51] [^83] [^95] [^121]，也可以是场景上下文[8, 40, 66, 74, 99–101, 104, 112]。有些方法侧重于物体操控[^20] [^41] [^57] [^61] [^62] [^103] [^107]，有时还会以文本描述作为条件[^80] [^108] [^109]，但无需获取手部姿态。还有几种方法致力于生成合理的手部模型，具体做法是将手部姿态融入刚体物体操控中，比如根据目标物体轨迹生成抓取姿态或动作[^13] [^16] [^96] [^127]，实现手部与物体轨迹的动态操控[^115]，以及基于文本的刚体物体手部操控[^14]。考虑到身体和手部两者，一些方法专注于生成用于抓取刚体物体的身体运动[^69] [^93] [^94] [^125]。超越简单的抓取操作，有些方法还能生成全身运动。 --- 还有根据动作标签条件生成的物体交互结果[^29]，另一些方法则利用相关性来生成物体位置或场景[^76] [^82] [^111]。最近，一些方法能够根据物体状态合成手部运动，包括关节运动[^116] [^120] [^124]，或者根据文本输入生成手与物体的交互结果[^10]。 ### 3. 三维参数化家庭场景捕捉系统 #### 3.1. HOI数据参数化 为了有效建模人与物体的交互，我们考虑使用一个参数化的三维空间来捕捉人体动作与物体运动之间的细微关系。对于人体部位，我们重点关注包含灵巧手部动作在内的整个身体的运动。刚性物体通过六自由度刚性运动来表示，同时我们还纳入了特定于物体的动力学特性，比如打开笔记本电脑或转动燃气灶的旋钮。正式地，我们将时间t时人体与环境的状态表示为$\mathbf{S}(t) = \{\mathbf{S}_p(t), \mathbf{S}_e(t), \mathcal{T}\}$，其中$\mathbf{S}_p(t)$是时间t时人体的当前状态，环境状态$\mathbf{S}_e(t)$代表周围物体的当前状态，而$\mathcal{T}$则表示对应的语言描述。人体状态$\mathbf{S}_p(t) = \{\mathbf{S}_b(t), \mathbf{S}_{lh}(t), \mathbf{S}_{rh}(t)\}$由身体$\mathbf{S}_b(t)$、左手$\mathbf{S}_{lh}(t)$以及右手参数$\mathbf{S}_{rh}(t)$组成，它们均可通过全局位置和局部关节朝向以动作捕捉输出的形式表示。环境状态则表示为$\mathbf{S}_e(t) = \{\mathbf{S}_e^j(t)\}_{j=1}^N$，其中$\mathbf{S}_e^j(t)$是第j个物体的状态，我们假设共考虑N个不同的物体实例。物体状态$\mathbf{S}_e^j(t) = \{\mathbf{L}_e^j(t), \theta_e^j(t), \phi_e^j(t)\}$由三维平移$\mathbf{L}_e^j(t) \in \mathbb{R}^3$、三维朝向$\boldsymbol{\theta}_e^j(t) \in SO(3)$以及物体特定参数$\phi_e^j(t)$构成。$\phi_e^j(t)$的长度会根据物体的类型及其可动部件的维度而变化（例如$\phi_e^{laptop}(t)$和$\phi_e^{drawer}(t)$分别包含1个和2个部件参数）。 #### 3.2. 硬件系统与架构 我们的ParaHome系统覆盖面积为$12.4m^2$，如图2所示。为了捕捉全身运动、细微的手部动作以及房间内的三维物体运动，该系统集成了多摄像头系统以及基于惯性测量单元的可穿戴动作捕捉服和手套，充分发挥二者的互补优势。为了覆盖房间的整个空间并减少遮挡问题，我们安装了70台RGB工业相机。我们采用Xsens动作捕捉服[^75]和Manus手套[^71]作为可穿戴动作捕捉解决方案。更多系统细节请参阅补充材料。 #### 3.3. 三维物体的建模与追踪 三维ArUco标记的设计与放置。为了可靠地追踪物体及其关节运动，我们参照[^27]的做法，在边长为6厘米的立方体的所有面上安装ArUco标记[^130]，如图2所示。我们采用这种三维标记方案的主要动机在于其在复杂的操作场景中具备强大的追踪优势——在此类场景中，物体往往会被手部抓取而严重遮挡。具体而言，我们发现以往方法中在物体表面粘贴标记的方式[^23]效果欠佳，通常需要繁琐的人工后期处理。我们在第4节定量展示了这种三维标记方案的优越性与鲁棒性。 计算物体与三维标记之间的变换关系。我们通过市售扫描仪及人工对齐方式，获取系统中所有物体的高质量三维网格模型。扫描得到的物体如图3所示。为了便于识别，我们在每个物体部件上粘贴一个或多个三维ArUco标记以及平面式标记。随后，通过在每一帧中检测ArUco标记来追踪物体。各物体的位置与朝向可通过以下方式获得： $$ \mathbf{T}_{o b j}(t)=\mathbf{T}_{m a r\to o b j}\mathbf{T}_{m a r}(t) $$ 其中 $\mathbf{T}_{mar\to obj}$ 是从标记点到物体的预计算好的固定变换，而 $\mathbf{T}_{mar}(t)$ 则是将物体上的标记点从物体标准空间变换到拍摄时刻 t 的相机系统空间中的当前姿态的变换。$\mathbf{T}_{mar\to obj}$ 是通过选取物体扫描数据与相机空间中数据之间的若干对应点来计算得出的。 物体关节建模。由于物体的各个部件是作为一个整体被扫描的，我们需要手动将每个可刚性运动的部件分离出来，并为关节模型构建参数化结构。我们假设存在旋转关节或滑动关节。这两类关节都需要确定关节轴 $\mathbf{a}_e \in \mathbb{R}^3$；若是旋转关节，还需额外确定枢轴点 $\mathbf{p}_e \in \mathbb{R}^3$。因此，我们将第 j 个物体的关节状态定义为 $\phi_e^j(t) = \{\tau_i^j\}_{i=1}^n$，其中 $\tau_i^j = \{\mathbf{a}_{e,i}^j, \mathbf{p}_{e,i}^j, s_{e,i}^j(t)\}$。此处，n 表示部件数量，$s_{e,i}^j(t) \in \mathbb{R}$ 则表示相对于物体标准空间中部件状态的相对状态（旋转关节用弧度表示，滑动关节用米表示）。图 3 展示了相关示例。关于关节轴 $\mathbf{a}_e^j$ 和枢轴点 $\mathbf{p}_e^j$ 的计算过程，请参阅补充材料。 3D物体运动捕捉。我们通过多视角系统来追踪时刻 t 下每个物体的状态 $\mathbf{S}_e(t) = \{\mathbf{l}_e(t), \boldsymbol{\theta}_e(t), \boldsymbol{\phi}_e(t)\}$。通过指定每个时刻 t 所附着的标记点角点，将 N 个二维标记点 $\mathbf{l}_e(t)$ 三角测量为三维标记点 $\boldsymbol{\theta}_e(t)$，进而计算出三维刚性变换（平移 $\{\mathbf{m}_i(t)\}_i=0$ 和三维方向 $\{\mathbf{M}_i(t)\}_i=0$）。给定三维标记点角点 $\{\mathbf{M}_i(t)\}_i=0$ 以及物体在标准空间中的对应角点 $\{\tilde{\mathbf{M}}_i\}_i=0$，便可利用 Kabsch 算法计算出 $\mathbf{T}_{mar}(t)$。随后，物体变换 $\mathbf{T}_{obj}(t)$ 便可依据公式 1 计算得出。物体特定的动态状态 $\boldsymbol{\phi}_e(t)$ 也是通过附着在基座部件上的三维标记点与活动部件上标记点之间的变换来获得的。 --- ![Image](images/f6e12ff33f3d37e7d908de9c08a4cc0c27f9cae52060c812d24219a34a8b3de8.jpg)
Figure 2. (Center) Reconstructed scene of ParaHome from top view. Pictures adjacent to the rendering were taken from the center of the room, headed towards the corresponding black dots in the scene. (Right) Pictures of RGB camera, IMU based motion capture devices with attached body markers and the 3D marker solution on an articulated object.
![Image](images/44035ac6648fe99f2ae3c2910a3d28def075534e940b17bf056876dce4b85f71.jpg)
Figure 3. (Left) Scanned 3D models in ParaHome system. (Right) Articulation state of 3D models. Blue bars show the object-specific parameters $s_{e,i}^{j}(t)$ for each object part i. As $s_{e,i}^{j}(t)$ changes, corresponding parts of the objects show different articulation states
#### 3.4. 3D人体运动捕捉 要利用多摄像头系统与可穿戴动作捕捉服及手套这两套异构系统并非易事，因为它们没有共享同一个空间世界坐标系。具体而言，可穿戴动作捕捉系统在确定全局根位置时会存在漂移问题；更关键的是，它们所采用的身体和手部骨骼比例假设并不准确，与实际测量结果存在差异。因此，直接将可穿戴设备捕捉到的数据转换到摄像头系统的空间中，无法达成我们捕捉精确手物交互的目标。在本节中，我们将介绍一种实现两套系统空间对齐的方法——在多摄像头系统中对齐可穿戴动作捕捉数据。为了将身体动作捕捉数据与多视角摄像头系统实现空间对齐，我们需要建立两套系统之间的对应关系。为此，在身体对齐捕捉过程中，我们会在11个近似刚性的身体部位（躯干、双手、上臂、下臂、大腿、小腿）上分别粘贴3到4个ArUco标记，如图2所示。我们将粘贴在第i个身体部位的第j个标记的四个角点记为$\mathcal{M}_{i,j}^b \in \mathbb{R}^{4 \times 3}$，这些位置是相对于对应身体部位的局部关节坐标来定义的。具体来说，我们的对齐过程旨在实现以下目标：(1) 获取真实的身体骨骼结构$\mathcal{B} = \{\mathcal{O}\}$，它反映了子关节相对于父关节的偏移量；(2) 确定身体标记的位置$\mathcal{M}^b$。给定这些参数以及动作捕捉服在时间t提供的关节角度测量值$\theta^t \in \mathbb{R}^{23 \times 3}$，我们就可以通过正向运动学函数$\mathbf{M}_{mocap}^b(t)$将附着在身体上的标记转换到以人为中心的坐标系中，该坐标系记为$\mathcal{K}_b$，计算公式如下：$\mathbf{M}_{mocap}^b(t) = \mathcal{K}_b(\mathcal{M}^b, \theta^t, \mathcal{B})$。同时，附着在人体上的标记也可以通过我们的多视角系统重建出来，其在摄像头系统空间中的表示记为$\mathbf{M}_{cam}^b(t)$。随后，通过标记的对应关系就能计算出将动作捕捉数据转换到摄像头系统空间的刚性变换矩阵：$T_b^{cam}(t) = T(\mathbf{M}_{mocap}^b(t), \mathbf{M}_{cam}^b(t))$，计算时仅考虑$\mathbf{M}_{cam}^b(t)$中可见的标记。 需要注意的是，只要$\mathbf{M}_{cam}^{b}(t)$中至少有一个附着在身体上的标记可见，我们就能计算出该刚性变换矩阵，这一特性保证了在演员身体标记被遮挡时仍能可靠地计算出其全局位置。我们对包含各种身体姿态的运动数据所构成的整个身体对齐捕捉帧序列都应用这种变换。针对$\mathcal{B}$和$\mathcal{M}^{b}$，我们定义的目标函数如下： $$ \min_{\mathcal{M}^{b},\mathcal{B}}\sum_{t=1}^{T}\lambda_{b}\mathcal{L}_{body}^{t}+\lambda_{f}\mathcal{L}_{foot}^{t}. $$ $\mathcal{L}_{body}$表示对应标记之间的均方误差。更多细节请参阅补充材料。我们使用约束项$\mathcal{L}_{foot}$来强制要求脚部贴近地面，避免出现穿透或悬浮现象。图4展示了我们身体对齐过程的结果，即优化后的对齐标记。 手部动作捕捉校准。手套输出的手部动作捕捉数据也存在类似问题：实际手部的骨骼长度未知，且难以定位到摄像头系统空间中。由于细微误差就可能导致手部交互场景出现较大偏差，因此这些问题对获取高质量数据而言至关重要。作为解决方案，我们提出了一种基于校准结构的新型手部对齐方案。我们先确定该结构的有序3D顶点。 --- ![Image](images/38771168cfe1ef0001915348ee1e05d74341a7b429088d8a1c0c7fc09785f673.jpg)
Figure 4. (Left) Before/After Body Calibration, Orange: forward kinematic output, Blue: RGB Triangulated Result (Right) Hand Calibration Protocol and Before/After Calibration Protocol
$C = \{\mathbf{c}_i \in \mathbb{R}^3\}_{i=1}^6$，我们通过三角测量将其定位在摄像头系统的空间中。在校准过程中，参与者会用指尖触碰校准结构上已知的角点位置，据此我们就能估算出指尖的期望位置。手部校准协议和手部校准结构的示例分别如图4和补充视频所示。 与身体校准类似，手部校准的目标是获取真实的手部骨骼配置$\mathcal{H} = \{\mathcal{S}^h \in \mathbb{R}^{20 \times 1}, \mathcal{O}^h \in \mathbb{R}^{20 \times 3}\}$，以及以手部为中心的坐标系中3D标记的位置$\mathcal{M}^h \in \mathbb{R}^{3 \times 4 \times 3}$，其中$\mathcal{S}^h$和$\mathcal{O}^h$分别表示手部骨骼的缩放比例以及各关节的骨骼偏移量。我们执行如下优化： $$ \min_{\mathcal{M}^{h},\mathcal{H}}\lambda_{t}L_{tip}+\lambda_{w}\mathcal{L}_{wrist}+\lambda_{p}\mathcal{L}_{pen}. $$ $\mathcal{L}_{tip} = \sum_{k \in \mathbf{o}} \|T_h^k \mathcal{K}_h^k(\mathcal{H}_i) - \mathbf{c}_j^k\|$用于惩罚指尖与校准立方体对应角点之间的偏差，$c_j^k$表示对应关系的顺序；其中$T_h^k$是第k时刻手部到相机的变换矩阵，$\mathcal{K}_h$是将第i个指尖坐标进行变换的正运动学函数。我们加入$\mathcal{L}_{wrist}$来惩罚身体动作捕捉数据中的腕部位置与手部标记对应的腕部位置之间的距离，以确保手部与身体动作捕捉数据之间刚性连接。我们还加入$\mathcal{L}_{pen}$来防止指尖穿透校准立方体。详情请参阅补充材料。 #### 3.5. 提升质量的后期处理 得益于我们系统的异构特性，我们可以利用两个系统的线索来减少抖动并应对跟踪失效问题。 提升手部跟踪效果。由附着式3D标记估计出的全局手部位置可能会因遮挡或摄像头视野不佳而出现运动抖动或跟踪失效。针对来自手部附着标记和身体动作捕捉系统的两组手腕位置测量数据，我们采用加权插值的方法来减少运动抖动。如果附着式3D标记出现跟踪失效，我们就依靠无遮挡的身体动作捕捉数据。我们在实验中验证了该方法的鲁棒性。详情请参阅补充材料。 提升物体跟踪效果。尽管我们的3D标记系统采用了多台摄像头，但由于严重遮挡，物体跟踪失效的情况仍可能发生。作为解决方案，我们 ![Image](images/2fee826bf652d3b29d0183733a42d0f507248fe24c77f8976f3e97394613d245.jpg)
Figure 5. An example of SMPL-X shape parameter fitting. (Left) Projected keypoints, mask and rendered SMPL-X with the optimized shape parameter. (Right) Rendered SDF within 5cm to visualize an affordance information using optimized SMPL-X.
![Image](images/d8ffbb4e2bb1bfdfd5edfdf9c18d853056cb55f36a8565ce661d5ea5cf61d663.jpg)
Figure 6. (Left) Examples of synthesized RGB images using ParaHome data. (upper) Rendered depth images of ParaHome data. (lower) Synthesized RGB image using text annotation, depth, 2D keypoints. (Right) HOI Reconstruction using synthesized RGB
利用我们系统中的身体运动测量数据来提升物体跟踪质量。具体来说，我们首先通过检查人体关节位置与物体表面之间的距离，来判断物体当前是否靠近人类演员。如果物体被演员移动过，我们就假设该物体与邻近的身体关节近似刚性连接，进而应用身体关节的时间变换来插值生成相邻时间点的缺失物体轨迹。在实际应用中，我们既用这种方法来减少抖动，也用来修复跟踪失效情况。 人体模型拟合。为了准确推断人与物体之间的接触情况，必须将3D人体网格模型与每位采集参与者对齐。我们首先为每位参与者拟合SMPL-X [^78] 形状参数。利用HQ-SAM [^55]，我们初始化身体分割掩码，并从3到4个摄像头视角手动修正不准确的像素。随后，我们通过将渲染后的SMPL-X模型与掩码及投影关节对齐来优化相关参数。图5展示了结果示例。对于姿态参数而言，即便在优化了形状参数的情况下，直接计算SMPL-X姿态参数以匹配Xsens骨骼仍会导致不自然或不准确的身体动作，这是因为Xsens [^75] 与SMPL-X之间的骨骼结构存在差异。为了提升拟合质量，我们设计了一个简单的自编码器，利用AMASS [^70] 数据集和我们的Xsens身体姿态数据来学习自然的身体运动流形空间。借助训练好的模型，我们从Xsens身体运动输入中获取初始潜向量，随后进一步优化潜码，从而使解码后的SMPL-X身体姿态能够与Xsens的手腕、脚踝、足部及手指尖相匹配。图5展示了拟合结果的示例。详情请参阅补充材料。 真实RGB图像合成。受近期方法Obman [^42] 和InterTrack [^106] 的启发，这些方法证明了 ---
Average TrackedDuring Manipulation
Mean Cam. Num. (Visibility)8.948.59
Reproj. Error [pixel]1.0211.016
IR Marker Num.Ours47102040
Tracking Success Ratio1.00.760.790.860.900.93
Table 1. Evaluation on system settings (Up) Average Reprojection error detected in the scene and during manipulation by humans. (Down) Average number of tracked object ratio on multiple sampled windows. Numbers in the upper row represent number of virtual passive markers attached to the surface of the target object.
合成生成的RGB数据与3D真值配对的有效性，我们同样利用基于扩散的图像合成模型 [^3] 为ParaHome数据集生成对应的合成RGB图像。我们从包括以自我为中心的视角在内的多个视角渲染3D场景，以生成深度图和2D身体关节提示，这些将作为使用ControlNet模型 [^3] 合成真实RGB图像的控制输入。我们还发现，将相应的文本注释作为ControlNet的额外输入，能够进一步提升合成输出的质量。图6展示了相关示例。 为了评估生成图像的真实性与有效性，我们进行了定量评估：将合成的RGB图像作为输入，应用现成的3D估计方法来完成两项任务——基于RGBD的6D物体姿态估计 [^122] 以及基于RGB的3D手部姿态估计 [^79]。我们将这些结果与现有基准数据集（ROPE [^122]、FreiHAND [^129] 和HO3D [^36]）的结果进行对比，发现最新最先进的方法在性能表现上呈现出相似的趋势。值得注意的是，我们的数据集上的性能低于以往基准数据集，这可能是由于该数据集包含更复杂的人物-物体交互场景以及相互遮挡现象所致。定性结果展示在图6中，定量结果详见补充材料。 ### 4. 采集系统与数据的验证 #### 4.1. 系统与采集评估 摄像头数量的影响。我们展示了使用全部70个摄像头相较于使用较少摄像头的优势。为了量化摄像头数量的影响，我们通过模拟不同摄像头数量的系统来统计检测到的标记点数量，这些系统的摄像头子集均取自完整的摄像头集合。如图7所示，随着子集中摄像头数量的增加，检测比例呈线性增长且不会饱和。这一观察结果表明，我们充分利用了系统的能力，并未出现冗余现象。 3D标记立方体的优势。我们将基于3D立方体的标记解决方案与另一种在目标表面附着标记的方案进行对比（例如，如[^23]中所述的红外标记）。为了模拟这种红外标记系统，我们在物体网格表面上选取一组点，将这些采样点视为虚拟标记。我们选取了一段时长为4分钟的序列，在此期间基于3D标记的物体跟踪完全成功。接着，我们评估虚拟表面标记的跟踪比率，其中标记的附着数量各不相同，具体数据见表1。我们利用人体模型来模拟对标记的遮挡情况，并规定当标记从少于3个摄像头中可见时即判定为跟踪失败。将窗口长度设为300后，只要存在任何一帧中跟踪到的附着标记少于4个，就认为物体跟踪失败。最后，我们计算出每种标记设置下的平均跟踪成功率，结果如表1所示。可以看出，在物体表面附着标记会导致跟踪失败，主要原因是交互过程中参与者往往会触碰物体，且场景中还存在多个物体。 3D标记三角测量质量。为了衡量通过ArUco标记跟踪物体的质量，我们统计了所有跟踪场景以及交互目标部分中三角测量的ArUco角点的平均重投影误差。我们还分别统计了接触状态下以及所有场景平均值下，每种情况下用于角点三角测量的摄像头数量（可见性）的平均值。详情请参见表1。 通过评估时间抖动来衡量跟踪质量。我们比较了两种异构系统的跟踪质量，分别是多视角系统和基于IMU的可穿戴动作捕捉服。为了验证质量，我们通过绘制特定时间间隔内的加速度导数来评估两种系统的时间运动抖动情况。此次测试中，我们录制了一段专门序列，让参与者将杯子和水壶等小型可移动物体摆成各种姿势，并在多个区域进行交互。结果如图7所示，两种系统的抖动水平相近。鉴于我们使用的是配备高质量IMU的商用专业级可穿戴动作捕捉系统，这一结果说明相机实现的物体跟踪质量可与可穿戴捕捉系统相媲美，能够捕捉到细微的交互动作。 手部对齐评估。为了量化第3.4节中介绍的手部对齐流程的质量，我们进行了一次验证拍摄：参与者在摄影棚内随机位置触碰附着在物体上的标记角点。随后，我们测量指尖与接触处目标标记角点之间的平均距离。在86次不同指尖的接触测试中，平均位置误差（APE）为11毫米。考虑到手指宽度（15-20毫米）可能带来的偏差，我们的结果证明了空间对齐的高质量。 #### 4.2. 后处理验证 我们验证了后处理方法的性能。为了量化性能，我们故意从成功跟踪的序列中删除某些帧区间，以此模拟跟踪失败的情况，再应用后处理方法恢复被删除的帧。 --- ![Image](images/164ed2db10aae31a9bf602bfb040c21da2df8d0175e7dd0ee512658dcce0c69f.jpg)
Figure 7. (a) Ratio of markers being detected with respect to 70 cameras to be sampled number of cameras (b) Acceleration derivative of object and interacting hand wrist joint (c) Comparison of difference between original translation and hole-filled versions (d) Comparison of difference between original rotation (in 6D) and hole-filled versions
通过对比原本跟踪到的线索与后处理恢复的线索，我们可以评估后处理输出的质量。 评估物体跟踪增强效果。我们利用手部跟踪提供的线索来执行物体跟踪增强过程，并通过基于线性函数的简单插值方法（例如用于平移的lerp和用于旋转的slerp）来比较其质量。定量结果如图7所示，其中借助动作捕捉设备观测数据驱动的方法在恢复跟踪失败情况方面表现出更优的性能。 评估手部跟踪增强效果。为了测试系统的鲁棒性，我们采用后处理算法来恢复丢失帧中未被检测到的标记点。利用恢复的标记点位置计算出的手部关节位置与原始输出中的关节位置之间的误差为9毫米。 ### 5. 参数化情景式人机交互建模 为了学习环境$\mathbf{S}_e(t)$变化与人类行为$\mathbf{S}_p(t)$之间的特征相关性，将二者参数化到同一个时空空间中至关重要，这也促使我们构建了ParaHome系统。面向人机交互的生成式建模的一个方向是：概率性地建模参数化3D空间中人类与物体可能配置的分布：$P(\mathbf{S}(0:t))$，其中$\mathbf{S}(t) = \{\mathbf{S}_e(t), \mathbf{S}_p(t)\}$，t为从0到T的序列长度。从直观上讲，这种表述方式能够捕捉合理的人类与物体配置及动态的可能性。我们也可以将其表述为一个预测问题：$\mathbf{S}_o(0:T) = \mathcal{F}(\mathbf{S}_i(0:T))$，其中输入$\mathbf{S}_i(0:T)$是完整状态$\mathbf{S}(0:T)$的子集，$\mathbf{S}_o(0:T)$则是模型预测的重建后的未见线索。例如，我们可以构建模型，根据人体运动推断3D物体的运动，根据期望的物体运动推断手指的运动；或者将人机交互理解表述为未来状态预测任务：$\mathbf{S}_o(t+1:t+w) = \mathcal{F}(\mathbf{S}_i(t-w:t))$。此外，这种表述方式还可以将文本描述$\mathcal{T}$作为额外的输入条件。所有这些表述方式都可以成为未来值得探索的研究方向，有助于理解和学习日常自然活动中人机交互的时空关系，而我们的ParaHome系统及收集的数据集便能为此做出贡献。 ![Image](images/141f297703bb4ad931aa8c9dfbb4cae0183f22c5811adc80fa96047bc8e4d20f.jpg)
Figure 8. A sampled example of (Up) 'A person walks shortly then lift kettle with left hand and pours toward cup holding right' (Down) 'A person opens the cabinet'
本文探讨了两个可能的示例问题：文本条件驱动的运动合成与物体引导的运动合成。 #### 5.1. 文本条件驱动的运动合成 我们考虑一项根据文本描述生成人体运动（包括身体和手部运动）的任务。在此背景下，我们的目标是训练一个能够涵盖多种人类行为（如跑步、跳跃）以及精细的指尖操作（如打开燃气灶、切食材）的模型。由于我们的数据集主要侧重于捕捉操作行为，因此我们利用当前大规模文本-运动配对数据集HumanML3D [^33]来获取多样的人类运动数据。具体而言，我们对HumanML3D数据集进行降采样，使其规模与我们数据集相匹配，以便在训练过程中保持数据分布平衡。在评估环节，我们比较了三种变体的模型：仅用ParaHome数据集训练的模型、仅用HumanML3D数据集训练的模型，以及用均匀混合数据集训练的模型，以此判断哪种模型能更接近整个合并数据集的分布。我们还通过定性实验证明：生成同时包含ParaHome和HumanML3D特征的中间动作是完全可行的。 公式化描述：我们将问题定义为利用条件变分模型 $\mathcal{F}$ 来学习数据分布，该模型通过训练模型以重构数据本身，从而从噪声 $\mathbf{S}_p(t:t+w)$ 和条件 c 中生成序列 $z \sim \mathcal{N}(0,\mathbf{I})$。因此 $\mathbf{S}_p(t:t+w) = \mathcal{F}(z,c)$，其中 $z \sim \mathcal{N}(0,\mathbf{I})$ 和 c 均为文本描述。对于每一个时间步 t，我们定义 $\mathbf{S}_p(t)$ 为根节点高度 $r_y \in \mathbb{R}^1$、根节点速度 $r_v \in \mathbb{R}^2$、根节点旋转 $r_w \in \mathbb{R}^1$、局部关节位置 $j_p \in \mathbb{R}^{61 \times 3}$、关节相对旋转 $j_w \in \mathbb{R}^{61 \times 6}$、关节局部速度 $j_v \in \mathbb{R}^{61 \times 3}$ 以及足部接触状态 $t_f \in \mathbb{R}^4$ 的拼接结果，从而依据 Text2Motion 方法得到 $\mathbf{S}_p(t) = \{r_y,r_v,r_w,j_p,j_w,j_v,t_f\} \in \mathbb{R}^{743}$ [^33]。我们采用 MDM [^95] 框架，该框架利用扩散模型 $p_\theta$ 通过逆向过程从噪声 $x_N \sim \mathcal{N}(0,\mathbf{I})$ 中生成样本。 $$ p_{\theta}(x_{n-1}|x_{n},c)=\mathcal{N}(x_{n-1};\mu_{\theta}(x_{n},c),\sigma_{n}^{2}\mathbf{I}) $$ 其中涉及$x_n = \mathbf{S}_p^n$。此外，我们并非训练模型$\mu_\theta$来估计噪声， --- ![Image](images/ecd54df8a0293aef74fca3b577cfafc859fa14a3e562e113fdd896ac4eaf20db.jpg)
Figure 9. (Left) A sampled example of latent interpolation result. Right most is a sequence generated from the interpolated noise. (Right) Generated body motion (lower) given object motion trajectory from 0 to T (upper).
MethodR Precision (top3) $\uparrow$Mutimodal. dist $\downarrow$FID $\downarrow$Diversity $\rightarrow$Multimodality $\uparrow$
Real0.842.750.0715.50-
ParaHome0.4012.46148.3110.133.52
Humanml3D0.468.2674.668.212.23
Mixed0.733.750.8515.062.37
Table 2. Evaluation of models trained with different set of data
而是直接训练模型以获得经过去噪的样本$\mathbf{S}_{p}^{0}$。那么训练该模型时的优化目标为 $$ \mathcal{L}=\mathbb{E}_{\mathbf{S}_{p}^{0},n\sim[1,N]}\left\|\mathbf{S}_{p}^{0}-\mathcal{F}(\mathbf{S}_{p}^{n},n,c)\right\|_{2}^{2} $$ 训练完成后，给定文本条件 c 生成样本，我们可以利用 DDIM 对样本进行逆向变换，从而得到近似的潜向量 [^90]。为了在来自 ParaHome 的样本 $S_{p,1}^{0}$ 与来自 HumanML3D 的样本 $S_{p,2}^{0}$ 之间生成中间动作，我们通过上述过程将样本分别逆向转换为 $\tilde{S}_{p,1}^{N}$ 和 $\tilde{S}_{p,2}^{N}$。随后我们对这些潜变量 $\tilde{S}_{p,\mathrm{interp}}^{N}=u\tilde{S}_{p,1}^{N}+(1-u)\tilde{S}_{p,2}^{N}$ 进行插值处理，并运行逆向扩散过程以得到动作 $S_{p,\mathrm{interp}}^{0}$。 实验结果：遵循 MDM 的方法，我们通过 R-Precision、多模态距离、FID、多样性以及多模态性等指标来评估各训练模型的表现及其与混合数据集上未见测试集分布的一致性。如表 2 所示，R-Precision、FID 和多样性方面的结果表明，使用均匀混合数据进行训练能够在不损害两种动作表现的前提下描述这两种数据集。这证明了我们的数据集与 HumanML3D 能够很好地融合，定性样本结果如图 8 所示。此外，我们还定性展示了插值潜噪声的去噪结果，其中的原始潜变量是从各数据集的文本描述所生成的样本中逆向得到的。使用均匀混合数据集及当前算法训练的模型具备混合两种不同风格数据的能力（即 HumanML3D 中的各类人体动作以及我们数据集中的操控动作），因此可用于生成如图 9（左）所示的中间动作——一个人边走路边喝水。 #### 5.2. 物体引导的人体动作合成 在本节中，我们考虑在给定物体状态序列的条件下合成全身动作序列的场景。此举旨在探究学习人体动作与物体状态变化之间的时空相关性的可行性。
ObjectconditionMPE $\downarrow$(cm)MOE $\downarrow$Foot skating $\downarrow$
rc-jointsrc-wristsglb-rootglb-joints
Refrigeratorw/o $S_{p\rightarrow tp}$1.052.667.799.260.851.43
w/ $S_{p\rightarrow tp}$0.972.095.606.570.751.74
Drawerw/o $S_{p\rightarrow tp}$3.815.255.589.920.661.01
w/ $S_{p\rightarrow tp}$2.612.903.925.880.661.58
Sinkw/o $S_{p\rightarrow tp}$1.322.866.948.320.791.08
w/ $S_{p\rightarrow tp}$1.211.933.834.840.761.67
Washing machinew/o $S_{p\rightarrow tp}$1.333.1411.2914.431.002.00
w/ $S_{p\rightarrow tp}$1.292.629.0311.460.922.60
Table 3. Quantitative results of object guided motion synthesis task.
人体动作与物体状态变化之间的时间相关性。 问题表述如下：我们将问题表述为 $\mathbf{S}_p(t:t+w) = \mathcal{F}_{o \to p}\left(\mathbf{S}_{to}(t:t+w), S_{p \to o}(t)\right)$，其中 $\mathbf{S}_{to}(t:t+w) \in \mathbf{S}_e(t:t+w)$ 表示目标物体的期望状态变化，包括刚体运动以及物体特有的关节部分表示。$S_{p \to o}(t)$ 表示初始时刻人体根部相对于该物体的位置和朝向。输出 $\mathbf{S}_p(t:t+w)$ 则是在对应时间窗口内合成的人体运动。为了表示人体运动，我们既使用了如 [^45] 中所述的人体根部坐标系，也使用了全局坐标系。作为实现这一任务的模型，我们扩展了基于Transformer的文本到3D人体运动合成模型 [^83]，引入物体状态编码器 $\mathcal{O}_{enc}$ 来替代原有的文本编码模块。关于数据表示、模型架构以及不同表示方式的实验结果，我们在补充材料中提供了更多细节。 结果：为了评估生成的人体运动质量，我们在两种不同坐标系下定量测量了输出结果与真实值之间的平均位置误差：(1) 以人体根部为中心的坐标系；(2) 全局坐标系。对于情况(1)，我们计算整体关节误差（rc-joints）和手腕误差（rc-wrist）；对于情况(2)，我们计算根部位置误差（glb-root）和全局关节误差（glb-joints）。此外，我们还按照 [^44] 中的方法计算足部滑动情况。定量结果如表3所示，定性结果则展示在图9中。定性结果表明，该模型在合成符合目标任务要求的可信人体运动方面表现优异。另外，将相对空间线索作为输入（借助 $S_{p\to tp}(0)$）有助于实现更精准的运动合成。关于结果的进一步分析详见补充材料。 ### 6. 讨论 我们提出了ParaHome系统，该系统专为在单间公寓环境中捕捉自然人机交互时的人体运动、手指动作及物体动态而设计。利用该系统，我们收集了一套全新的HOI数据集，与现有数据集相比，该数据集具有以下显著优势：(1) 能在家庭环境中同时捕捉3D人体和手部运动以及3D物体运动；(2) 涵盖人与多个物体的交互情况以及物体的同时使用场景；(3) --- 包括具有多个部件的关节物体以及尺寸各异的物体。我们探索了利用该数据集通过生成模型进行人体运动合成的可能性。 我们致力于进一步改进该系统以解决现有局限。首先，我们计划摒弃人工标记，从当前数据库中构建运动先验，从而将系统发展为无标记方案；其次，我们打算在不同房间环境中部署该系统，纳入更多样化的物体以确保更好的泛化能力。 ## 参考文献 [^1]: Andreas Aristidou, Yiorgos Chrysanthou, and Joan Lasenby. Extending FABRIK with model constraints. Comput. Animat. Virtual Worlds, 2016. 17 [^2]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Behave: Dataset and method for tracking human object interactions. CVPR, 2022. 1, 2, 15 [^3]: Black Forest Lab, 2024. . 6, 18 [^4]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. ECCV, 2020. 1 [^5]: Christoph Bregler, Jitendra Malik, and Katherine Pullen. Twist based acquisition and tracking of animal and human kinematics. IJCV, 2004. 2 [^6]: Thomas Brox, Bodo Rosenhahn, Juergen Gall, and Daniel Cremers. Combined region and motion-based 3D tracking of rigid and articulated objects. TPAMI, 2010. 2 [^7]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. 2017. 18 [^8]: Zhe Cao, Hang Gao, Karttikeya Mangalam, Qi-Zhi Cai, Minh Vo, and Jitendra Malik. Long-term human motion prediction with scene context. ECCV, 2020. 2 [^9]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 2 [^10]: Junuk Cha, Jihyeon Kim, Jae Shin Yoon, and Seungryul Baek. Text2hoi: Text-guided 3d motion generation for hand-object interaction. pages 1577–1585, 2024. 3 [^11]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. CVPR, 2021. 1, 2 [^12]: Kong Man Cheung, Simon Baker, and Takeo Kanade. Shape-from-silhouette across time part i: Theory and algorithms. IJCV, 2005. 2 [^13]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. pages 20577–20586, 2022. 2 [^14]: Sammy Christen, Shreyas Hampali, Fadime Sener, Edoardo Remelli, Tomas Hodan, Eric Sauser, Shugao Ma, and Bugra Tekin. Diffh2o: Diffusion-based synthesis of hand-object interactions from textual descriptions. arXiv preprint arXiv:2403.17827, 2024. 2 [^15]: Stefano Corazza, Lars Mündermann, Emiliano Gambaretto, Giancarlo Ferrigno, and Thomas P. Andriacchi. Markerless Motion Capture through Visual Hull, Articulated ICP and Subject Specific Model Generation. IJCV, 2010. 2 [^16]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. CVPR, 2020. 2 [^17]: Yudi Dai, Yitai Lin, Chenglu Wen, Siqi Shen, Lan Xu, Jingyi Yu, Yuexin Ma, and Cheng Wang. Hsc4d: Human-centered 4d scene capture in large-scale indoor-outdoor space using wearable imus and lidar. 2022. 2 [^18]: Edilson de Aguiar, Carsten Stoll, Christian Theobalt, Naveed Ahmed, Hans-Peter Seidel, and Sebastian Thrun. Performance capture from sparse multi-view video. SIGGRAPH, 2008. 2 [^19]: Joseph DelPreto, Chao Liu, Yiyue Luo, Michael Foshey, Yunzhu Li, Antonio Torralba, Wojciech Matusik, and Daniela Rus. Actionsense: A multimodal dataset and recording framework for human activities using wearable sensors in a kitchen environment. NeurIPS, 35:13800–13813, 2022. [^20]: Christian Diller and Angela Dai. Cg-hoi: Contact-guided 3d human-object interaction generation. arXiv preprint arXiv:2311.16097, 2023. 2 [^21]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J Crandall. Hope-net: A graph-based model for hand-object pose estimation. In CVPR, 2020. 2 [^22]: Einstar, 2023. . 14 [^23]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. 2023. 2, 3, 6, 14, 15 [^24]: Y. Furukawa and J. Ponce. Dense 3d motion capture from synchronized video streams. CVPR, 2008. 2 [^25]: Juergen Gall, Carsten Stoll, Edilson De Aguiar, Christian Theobalt, Bodo Rosenhahn, and Hans-Peter Seidel. Motion capture using joint skeleton tracking and surface estimation. CVPR, 2009. 2 [^26]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. CVPR, 2018. 1, 2, 15 [^27]: Sergio Garrido-Jurado, Rafael Muñoz-Salinas, Francisco José Madrid-Cuevas, and Manuel Jesús Marín-Jiménez. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognition, 47(6):2280–2292, 2014. 3 ### [^28]: D. Gavrila and LS Davis. Tracking of humans in action: A 3-D model-based approach. ARPA Image Understanding Workshop, 1996. 2 --- [^29]: Anindita Ghosh, Rishabh Dabral, Vladislav Golyanik, Christian Theobalt, and Philipp Slusallek. Imos: Intent-driven full-body motion synthesis for human-object interactions. In Computer Graphics Forum, pages 1–12. Wiley Online Library, 2023. 3 [^30]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In CVPR, 2021. 2 [^31]: Markus Gross, Stephan Würmlin, Martin Naef, Edouard Lamboray, Christian Spagno, Andreas Kunz, Esther Koller-Meier, Tomas Svoboda, Luc Van Gool, Silke Lang, Kai Strehlke, Andrew Vande Moere, and Oliver Staadt. Bluec: A spatially immersive display and 3d video portal for telepresence. SIGGRAPH, 2003. 2 [^32]: Ralph Gross and Jianbo Shi. The cmu motion of body (mobo) database. 2001. 1 [^33]: Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 7 [^34]: Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. CVPR, 2022. 2 [^35]: Vladimir Guzov, Aymen Mir, Torsten Sattler, and Gerard Pons-Moll. Human poseitioning system (hps): 3d human pose estimation and self-localization in large scenes from body-mounted sensors. CVPR, 2021. 2 [^36]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. CVPR, 2020. 1, 2, 6, 17, 18 [^37]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. CVPR, 2022. 2, 15 [^38]: Shangchen Han, Beibei Liu, Robert Wang, Yuting Ye, Christopher D Twigg, and Kenrick Kin. Online optical marker-based hand tracking with deep labels. ACM TOG, 37(4):1–10, 2018. 2 [^39]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J Black. Resolving 3d human pose ambiguities with 3d scene constraints. In ICCV, 2019. 1 [^40]: Mohamed Hassan, Duygu Ceylan, Ruben Villegas, Jun Saito, Jimei Yang, Yi Zhou, and Michael Black. Stochastic scene-aware motion prediction. In ICCV, 2021. 2 [^41]: Mohamed Hassan, Yunrong Guo, Tingwu Wang, Michael Black, Sanja Fidler, and Xue Bin Peng. Synthesizing physical character-scene interactions. arXiv preprint arXiv:2302.00883, 2023. 2 [^42]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 5 [^43]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2 [^44]: Chengan He, Jun Saito, James Zachary, Holly Rushmeier, and Yi Zhou. Nemf: Neural motion fields for kinematic animation. NeurIPS, 35:4244–4256, 2022. 8 [^45]: Daniel Holden, Jun Saito, and Taku Komura. A deep learning framework for character motion synthesis and editing. ACM Transactions on Graphics (TOG), 2016. 8, 18 [^46]: Yinghao Huang, Omid Taheri, Michael J Black, and Dimitrios Tzionas. Intercap: Joint markerless 3d tracking of humans and objects in interaction. GCPR, 2022. 2, 15 [^47]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. 1 [^48]: Juntao Jian, Xiuping Liu, Manyi Li, Ruizhen Hu, and Jian Liu. Affordpose: A large-scale dataset of hand-object interactions with affordance-driven hand pose. pages 14713–14724, 2023. 2 [^49]: Nan Jiang, Tengyu Liu, Zhexuan Cao, Jieming Cui, Zhiyuan Zhang, Yixin Chen, He Wang, Yixin Zhu, and Siyuan Huang. Full-body articulated human-object interaction. In ICCV, 2023. 2, 14, 15 [^50]: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, and Siyuan Huang. Scaling up dynamic human-scene interaction modeling. 2024. 2, 15 [^51]: Payam Jome Yazdian, Eric Liu, Li Cheng, and Angelica Lim. Motionscript: Natural language descriptions for expressive 3d human motions. arXiv e-prints, pages arXiv–2312, 2023. 2 [^52]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social motion capture. CVPR, 2015. 1 [^53]: Takeo Kanade, Peter Rander, and P.J. Narayanan. Virtualized reality: Constructing virtual worlds from real scenes. IEEE Multimedia, 1997. 2 [^54]: Manuel Kaufmann, Jie Song, Chen Guo, Kaiyue Shen, Tianjian Jiang, Chengcheng Tang, Juan José Zárate, and Otmar Hilliges. Emdb: The electromagnetic database of global 3d human pose and shape in the wild. In ICCV, pages 14632–14643, 2023. 2 [^55]: Lei Ke, Mingqiao Ye, Martin Danelljan, Yifan Liu, Yu-Wing Tai, Chi-Keung Tang, and Fisher Yu. Segment anything in high quality. arXiv:2306.01567, 2023. 5 [^56]: Roland Kehl and Luc Van Gool. Markerless tracking of complex human motions from multiple views. CVIU, 2006. 2 [^57]: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, and Leonidas Guibas. Nifty: Neural object interaction fields for guided human motion synthesis. arXiv preprint arXiv:2307.07511, 2023. 2 [^58]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. ICCV, 2021. 15 #### [^59]: Colin Lea, Michael D Flynn, Rene Vidal, Austin Reiter, and Gregory D Hager. Temporal convolutional networks for action segmentation and detection. 2017. 17 --- [^60]: Jiye Lee and Hanbyul Joo. Mocap everyone everywhere: Lightweight motion capture with smartwatches and a head-mounted camera. CVPR, 2024. 2 [^61]: Jiaman Li, Jiajun Wu, and C Karen Liu. Object motion guided human motion synthesis. ACM Transactions on Graphics (TOG), 2023. 1, 2 [^62]: Jiaman Li, Alexander Clegg, Roozbeh Mottaghi, Jiajun Wu, Xavier Puig, and C Karen Liu. Controllable human-object interaction synthesis. ECCV, 2024. 2 [^63]: Han Liang, Yannan He, Chengfeng Zhao, Mutian Li, Jingya Wang, Jingyi Yu, and Lan Xu. Hybridcap: Inertia-aid monocular capture of challenging human motions. In AAAI, 2023. 2 [^64]: Jianhui Liu, Yukang Chen, Xiaoqing Ye, and Xiaojuan Qi. Prior-free category-level pose estimation with implicit space transformation. 2023. 17 [^65]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 2 [^66]: Xinpeng Liu, Haowen Hou, Yanchao Yang, Yong-Lu Li, and Cewu Lu. Revisit human-scene interaction via space occupancy. arXiv preprint arXiv:2312.02700, 2023. 2 [^67]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. CVPR, 2022. 2, 15 [^68]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. pages 21740–21751, 2024. 2, 15 [^69]: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, and Weipeng Xu. Grasping diverse objects with simulated humanoids. arXiv preprint arXiv:2407.11385, 2024. 2 [^70]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. ICCV, 2019. 1, 5, 17 [^71]: Manus, 2023. . 3, 15 [^72]: T. Matsuyama and T. Takai. Generation, visualization, and editing of 3d video. 3DPVT, 2002. 2 [^73]: Wojciech Matusik, Chris Buehler, Ramesh Raskar, Steven J. Gortler, and Leonard McMillan. Image-based visual hulls. SIGGRAPH, 2000. 2 [^74]: Aymen Mir, Xavier Puig, Angjoo Kanazawa, and Gerard Pons-Moll. Generating continual human motion in diverse 3d scenes. arXiv preprint arXiv:2304.02061, 2023. 2 [^75]: Movella, 2023. . 3, 5, 15 [^76]: Yinyu Nie, Angela Dai, Xiaoguang Han, and Matthias Nießner. Pose2room: Understanding 3d scenes from human activities, 2022. 3 [^77]: Shaohua Pan, Qi Ma, Xinyu Yi, Weifeng Hu, Xiong Wang, Xingkang Zhou, Jijunnan Li, and Feng Xu. Fusing monocular images and sparse imu signals for real-time human motion capture. In SIGGRAPH Asia, pages 1–11, 2023. 2 [^78]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. 富有表现力的身体捕捉：从单张图像获取3D手部、面部和身体。发表于CVPR会议，2019年。第2、5、18页。 [^79]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. 2024. 6, 17 [^80]: Xiaogang Peng, Yiming Xie, Zizhao Wu, Varun Jampani, Deqing Sun, and Huaizu Jiang. Hoi-diff: Text-driven synthesis of 3d human-object interactions using diffusion models. arXiv preprint arXiv:2312.06553, 2023. 2 [^81]: Benjamin Petit, Jean-Denis Lesage, Edmond Boyer, and Bruno Raffin. Virtualization Gate. SIGGRAPH Emerging Technologies, 2009. 2 [^82]: Ilya A Petrov, Riccardo Marin, Julian Chibane, and Gerard Pons-Moll. Object pop-up: Can we infer 3d objects and their poses from human interactions alone? CVPR, 2023. 3 [^83]: Mathis Petrovich, Michael J Black, and Gül Varol. Temos: Generating diverse human motions from textual descriptions. ECCV, 2022. 2, 8 [^84]: Ralf Plankers and Pascal Fua. Articulated Soft Objects for Multi-View Shape and Motion Capture. TPAMI, 2003. 2 [^85]: Gerard Pons-Moll, Vladimir Guzov, Julian Chibane, Riccardo Marin, Yannan He, and Torsten Sattler. Interaction replica: Tracking human-object interaction and scene changes from human motion. 2023. 2 [^86]: Johannes L Schonberger and Jan-Michael Frahm. Structure-from-motion revisited. In CVPR, 2016. 15 [^87]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. CVPR, 2022. 2 [^88]: Soshi Shimada, Vladislav Golyanik, Zhi Li, Patrick Pérez, Weipeng Xu, and Christian Theobalt. Hulc: 3d human motion capture with pose manifold sampling and dense contact guidance. In ECCV. Springer, 2022. 1 [^89]: Leonid Sigal, Alexandru O Balan, and Michael J Black. Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. IJCV, 87(1-2):4, 2010. 1 [^90]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv:2010.02502, 2020. 8 [^91]: Carsten Stoll, Nils Hasler, Juergen Gall, Hans-Peter Seidel, and Christian Theobalt. Fast articulated motion tracking using a sums of gaussians body model. ICCV, 2011. 2 [^92]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. ECCV, 2020. 1, 2, 15 [^93]: Omid Taheri, Vasileios Choutas, Michael J Black, and Dimitrios Tzionas. Goal: Generating 4d whole-body motion for hand-object grasping. In CVPR, 2022. 2 [^94]: Purva Tendulkar, Dídac Surís, and Carl Vondrick. Flex: Full-body grasping without full-body grasps. CVPR, 2023. 2 #### [^95]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. arXiv preprint arXiv:2209.14916, 2022. 2, 7 --- [^96]: Dylan Turpin, Liquan Wang, Eric Heiden, Yun-Chun Chen, Miles Macklin, Stavros Tsogkas, Sven Dickinson, and Animesh Garg. Grasp'd: Differentiable contact-rich grasp synthesis for multi-fingered hands. ECCV, 2022. 2 [^97]: Daniel Vlasic, Ilya Baran, Wojciech Matusik, and Jovan Popović. Articulated mesh animation from multi-view silhouettes. TOG, 2008. 2 [^98]: Daniel Vlasic, Ilya Baran, Wojciech Matusik, and Jovan Popović. Articulated mesh animation from multi-view silhouettes. SIGGRAPH, 2008. 2 [^99]: Jiashun Wang, Huazhe Xu, Jingwei Xu, Sifei Liu, and Xiaolong Wang. Synthesizing long-term 3d human motion and interaction in 3d scenes. In CVPR, 2021. 2 [^100]: Jingbo Wang, Sijie Yan, Bo Dai, and Dahua Lin. Scene-aware generative network for human motion synthesis. In CVPR, 2021. [^101]: Jingbo Wang, Yu Rong, Jingyuan Liu, Sijie Yan, Dahua Lin, and Bo Dai. Towards diverse and natural scene-aware 3d human motion synthesis. In CVPR, 2022. 2 [^102]: Xi Wang, Gen Li, Yen-Ling Kuo, Muhammed Kocabas, Emre Aksan, and Otmar Hilliges. Reconstructing action-conditioned human-object interactions using commonsense knowledge priors. In 3DV. IEEE, 2022. 2 [^103]: Yinhui Wang, Jing Lin, Ailing Zeng, Zhengyi Luo, Jian Zhang, and Lei Zhang. Physhoi: Physics-based imitation of dynamic human-object interaction. arXiv preprint arXiv:2312.04393, 2023. 1, 2 [^104]: Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Wei Liang, and Siyuan Huang. Humanise: Language-conditioned human motion generation in 3d scenes. NeurIPS, 2022. 1, 2 [^105]: Xianghui Xie, Bharat Lal Bhatnagar, and Gerard Pons-Moll. Visibility aware human-object interaction tracking from single rgb camera. In CVPR, 2023. 2 [^106]: Xianghui Xie, Jan Eric Lenssen, and Gerard Pons-Moll. Intertrack: Tracking human object interaction without object templates. arXiv preprint arXiv:2408.13953, 2024. 2, 5 [^107]: Sirui Xu, Zhengyuan Li, Yu-Xiong Wang, and Liang-Yan Gui. Interdiff: Generating 3d human-object interactions with physics-informed diffusion. ICCV, 2023. 2 [^108]: Sirui Xu, Ziyin Wang, Yu-Xiong Wang, and Liang-Yan Gui. Interdreamer: Zero-shot text to 3d dynamic human-object interaction. arXiv preprint arXiv:2403.19652, 2024. 2 [^109]: Jie Yang, Xuesong Niu, Nan Jiang, Ruimao Zhang, and Siyuan Huang. F-hoi: Toward fine-grained semantic-aligned 3d human-object interactions. arXiv preprint arXiv:2407.12435, 2024. 2 [^110]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 2 [^111]: Hongwei Yi, Chun-Hao P Huang, Shashank Tripathi, Lea Hering, Justus Thies, and Michael J Black. Mime: Human-aware 3d scene generation. In CVPR, pages 12965–12976, 2023. 3 [^112]: Hongwei Yi, Justus Thies, Michael J. Black, Xue Bin Peng, and Davis Rempe. Generating human interaction motions in scenes with text control. ECCV, 2024. 2 [^113]: Marsil Zakour, Partha Pratim Nath, Ludwig Lohmer, Emre Faik Gökçe, Martin Piccolrovazzi, Constantin Patsch, Yuankai Wu, Rahul Chaudhari, and Eckhard Steinbach. Adl4d: Towards a contextually rich dataset for 4d activities of daily living. arXiv preprint arXiv:2402.17758, 2024. 2 [^114]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. 2024. 2, 15 [^115]: He Zhang, Yuting Ye, Takaaki Shiratori, and Taku Komura. Manipnet: Neural manipulation synthesis with a hand-object spatial representation. ACM TOG, 40(4), 2021. 2 [^116]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. arXiv preprint arXiv:2309.03891, 2023.3 [^117]: Juze Zhang, Haimin Luo, Hongdi Yang, Xinru Xu, Qianyang Wu, Ye Shi, Jingyi Yu, Lan Xu, and Jingya Wang. Neural-dome: A neural modeling pipeline on multi-view human-object interactions. In CVPR, 2023. 1, 2, 15 [^118]: Jiajun Zhang, Yuxiang Zhang, Hongwen Zhang, Xiao Zhou, Boyao Zhou, Ruizhi Shao, Zonghai Hu, and Yebin Liu. Ins-hoi: Instance aware human-object interactions recovery. arXiv preprint arXiv:2312.09641, 2023. 2 [^119]: Juze Zhang, Jingyan Zhang, Zining Song, Zhanhe Shi, Chengfeng Zhao, Ye Shi, Jingyi Yu, Lan Xu, and Jingya Wang. Hoi-m $^{3}$: Capture multiple humans and objects interaction within contextual environment. 2024. 2 [^120]: Jiajun Zhang, Yuxiang Zhang, Liang An, Mengcheng Li, Hongwen Zhang, Zonghai Hu, and Yebin Liu. Manidext: Hand-object manipulation synthesis via continuous correspondence embeddings and residual-guided diffusion. arXiv preprint arXiv:2409.09300, 2024. 3 [^121]: Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022. 2 [^122]: Mengchen Zhang, Tong Wu, Tai Wang, Tengfei Wang, Ziwei Liu, and Dahua Lin. Omni6d: Large-vocabulary 3d object dataset for category-level 6d object pose estimation. 2025. 6, 17 [^123]: Xiaohan Zhang, Bharat Lal Bhatnagar, Sebastian Starke, Vladimir Guzov, and Gerard Pons-Moll. Couch: Towards controllable human-chair interactions. In ECCV, 2022. 2 [^124]: Juntian Zheng, Qingyuan Zheng, Lixing Fang, Yun Liu, and Li Yi. Cams: Canonicalized manipulation spaces for category-level functional hand-object manipulation synthesis. CVPR, 2023. 3 [^125]: Yanzhao Zheng, Yunzhou Shi, Yuhao Cui, Zhongzhou Zhao, Zhiling Luo, and Wei Zhou. Coop: Decoupling and coupling of whole-body grasping pose generation. pages 2163–2173, 2023. 2 ### [^126]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Toch: Spatio-temporal object-to-hand correspondence for motion refinement. ECCV, 2022. 2 --- [^127]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Gears: Local geometry-aware hand-object interaction synthesis. pages 20634–20643, 2024. 2 [^128]: Yi Zhou, Connelly Barnes, Lu Jingwan, Yang Jimei, and Li Hao. On the continuity of rotation representations in neural networks. In CVPR, 2019. 17 [^129]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. ICCV, 2019. 2, 6, 17, 18 #### [^130]: Gaspard Zoss, Derek Bradley, Pascal Bérard, and Thabo Beeler. An empirical rig for jaw animation. ACM TOG, 37(4):1–12, 2018. 3 --- ![Image](images/430679e250da5f0d5533c281d3c66d5e8d1ae3bb74e0491911b63ce939819241.jpg)
Take book from the bookshelf and place on the desk
Figure 10. Rendered scenes and text annotation for each scene from example scenario.
#### A. 数据集详情 ### A.1. 数据集内容 扫描得到的物体网格。我们通过Einstar3D扫描仪[^22]获取系统中放置的所有物体的高质量3D网格扫描数据。为了减少未扫描区域或孔洞，我们至少对每个物体进行两次扫描，方法是改变物体的摆放方向（例如倒置），然后通过手动对齐的方式融合这些扫描网格。这些网格会以原点为中心，并按比例缩放至实际尺寸。 物体关节信息。具有关节结构的物体包含轴线$a_{e}$。如果该部件为旋转关节，我们还会额外记录其枢轴点$p_{e}$。这些信息是在物体的标准坐标系下定义的，用于计算各物体部件相对于相机空间的坐标变换。 物体在相机空间中的位置和朝向。每个物体的空间信息是根据附着在其上的标记物的逐帧变换数据计算得出的。 手部/身体关节的相对朝向。通过动作捕捉系统记录并处理各手部和身体关节相对于其父关节的朝向信息。 相机空间中3D手部/身体关节的位置。根据通过身体对齐协议获取的、在动作捕捉空间中附着于身体的标记物位置，结合相机空间中对应标记物的位置，即可确定身体到相机空间的平移和朝向。我们利用这些得到的平移和朝向数据来计算双手及身体的位置。 每项动作的文本说明。每次采集过程中，参与者会收到详细的口头指令，说明他们需要执行的操作。 ![Image](images/99687a7ff73fd241b69077d0bbd105858f3b284db6ecc82ac744bd8a8001f66b.jpg)
Figure 11. System Devices. (a) RGB cameras with 3 types of lenses. (b) Signal distributers (c) Desktop machines (d) LED Lights (e) NAS storage systems
这些指令会明确指定需交互的物体以及如何与之交互，如图10所示。指令会被记录下来并与动作数据同步。此外，我们会人工检查相关器具，以生成更精确的文本说明，确保它们能与各项动作准确对应。 逐帧接触信息。当左/右手或身体与物体发生接触时，相应的帧号以及物体类别/身体部位信息会被记录下来。 #### A.2. 数据集对比 如所示，我们的ParaHome数据集是一套全面的数据集，能够捕捉自然房间环境中所有真实且动态的人机交互场景。该数据集涵盖了灵巧的身体运动以及场景中所有物体的移动情况，还包括涉及关节物体及多物体同时使用的自然操作动作。我们的采集场景包含烹饪等自然且连贯的操作过程，详见补充视频。此外，我们共收集了38名参与者的数据，涵盖了个体间多样的运动风格。 ##### B. 系统详情 ##### B.1. ArUco标记的使用 尽管已有多项研究[^23] [^49]利用IR标记进行运动追踪，但我们发现ArUco标记在我们的采集系统中更为适用。我们的目标是在更广阔的空间范围内（即布满物体的整个房间）进行采集，且需在单次采集时间内涵盖多种交互行为。这类充满各类家具/物体以及涉及多次直接接触的手-物交互环境，会引发严重的遮挡问题，正如主论文第4.1节所模拟的那样。尽管ArUco标记存在会干扰RGB数据、影响人体自然动作等缺点，但如主论文第6节所述，我们并不关注RGB数据；我们通过经验性放置标记来尽量减少此类干扰。 ---
Datasethours #subject #object #bodyhand #contactobj. 6d.obj. artic.multi obj.setup
GRAB [^92]3.81051✓2✓✓✗✗standing
BEHAVE [^2]4.2820✓-✓✓✗✗portable
InterCap [^46]0.61010✓2✓✓✗✗portable
FHPA [^26]0.9626✗1✗✓✗✗room
H2O [^58]1.148✗2✗✓✗✗table
H2O-3D [^37]-510✗2✗✓✗✗table
HOI4D [^67]22.29800(16)✗1✗✓✓✗room
Chairs [^49]17.34681✓2-✓✓✗standing
ARCTIC [^23]1.21011✓2✓✓✓✗standing
NeuralDome [^117]4.61023✓2✓✓✓✗standing
OAKINK2 [^114]12.38975✓2✓✓✓✓table
TACO [^68]2.5314196(20)✗2✓✓✗✓table
TRUMANS [^50]15720(placeholders)✓2✓✓✓✓room
Ours8.13822✓2✓✓✓✓room
Table 4. Comparison of existing human-object interaction datasets
#### B.2. 硬件详情 为了覆盖房间的整个空间并减少遮挡问题，我们安装了70台BFLY-31S4C-C型工业级RGB摄像头。这些摄像头以30Hz的频率拍摄分辨率为$2048 \times 1536$的视频。我们将曝光时间设定为3毫秒，这一设置在低运动模糊与充足亮度之间取得了良好平衡。我们使用了三种类型的镜头（30个3毫米镜头、20个5毫米镜头和20个6毫米镜头），其中广角镜头（3毫米）有助于捕捉大范围场景。我们借助COLMAP通过结构光法[^86]对摄像头进行校准，校准过程中会在系统中放置多块带有随机图案的织物。为了便于相机位姿估计更快收敛，我们针对这三种镜头提供了基于2到3个样本镜头得出的预校准初始内参。在相机校准期间，我们通过放置已知尺寸的棋盘格，将校准后的三维空间换算为实际度量单位（米）。 所有摄像头、动作捕捉服和手套均通过来自动作捕捉设备的共用方波信号实现同步与锁相，从而协调两个异构系统，这对精准捕捉人机交互行为至关重要。为了向大量摄像头传输同步信号，我们采用分层方式使用了11个信号分配器，每个分配器可通过GPIO线缆连接8台摄像头。我们使用1台主控机和18台从属台式机来控制摄像头并处理采集到的数据。每台从属机器通过以太网线连接3或4台摄像头，配备4端口千兆以太网卡，以及容量分别为500GB和1TB的两块固态硬盘。系统中安装了15盏功率为4500流明的LED灯以提供充足照明。图11展示了我们系统的设备照片。 为了同时捕捉身体运动和细微的手部动作，我们采用了基于IMU的动作捕捉设备：Xsens动作捕捉服[^75]和Manus手部手套[^71]。身体运动系统以60Hz的频率采集动作数据。
ObjectPart1Part2
Sinkrevoluterevolute
Laptoprevolute-
Drawerslidingsliding
Gas stoverevoluterevolute
Microwaverevolute-
Trashbinrevolute-
Washing machinerevoluterevolute
Refrigeratorrevoluterevolute
Table 5. Part information of articulated objects
#### C. 数据采集 #### C.1. 物体关节运动建模 为了捕捉关节物体的运动，我们通过定义特定于物体的关节运动参数，将每个物体建模为参数化三维模型。这种建模需要分别扫描各个部件，再根据物体类型定义轴向、枢轴点、旋转关节等，将其在规范空间中合成。在人机交互采集过程中，我们通过标记系统追踪各部件的运动（例如笔记本电脑的屏幕与底座），进而计算出关节运动参数。在本小节中，我们将介绍将关节物体建模为参数化三维模型的过程。具有多个部件的物体的关节信息详见表5。 为了确定铰接物体的轴线$\mathbf{a}_e$和枢轴点$\mathbf{p}_e$，我们分别采集不同状态下各物体部件上所附着的标记点，并获取这些标记点在ParaHome空间中的坐标，记为$\{m_i(t)\}_{t=1}^n$。在应用算法之前，我们先将标记点坐标$\{m_i(t)\}_{t=1}^n$转换回物体标准空间。 --- 通过$T_{mar\to obj}^{-1}$将物体转换到其标准空间中，并利用标准空间中的变换后的标记角点$\{m_i'(t)\}_{t=1}^n$。对于滑动关节，利用时间t和$a_e$时的标记角点即可轻松计算出轴线$t'$，计算公式如下： $$ \mathbf{a}_{e}=\frac{m_{i}^{\prime}(t)-m_{i}^{\prime}(t^{\prime})}{\|m_{i}^{\prime}(t)-m_{i}^{\prime}(t^{\prime})\|} $$ 若物体部件为旋转关节，我们首先初始化轴线$\mathbf{a}_e$以及时间t与$\Delta s_e(t, t') = |s_e(t) - s_e(t')|$之间的相对状态$t'$（针对在不同n个状态下采集的目标铰接物体，时间t和时间$t'$需满足$t \neq t'$和$t, t' \in \{1, 2, \cdots, n\}$的条件）。随后，我们针对所有可能的时刻对t和$t'$，利用标记点坐标进行优化。设f为定义绕枢轴点及给定轴角的旋转变换映射，记为$\mathbf{T}_{t', t} = f(a_e, \Delta s_e(t, t'), p_e)$。对于所有可能的时间对$\mathbf{P}$，轴线$a_e$、相对状态$\Delta s_e$以及枢轴点$p_e$的优化目标可表述为： $$ \arg\min_{a_{e},\Delta s_{e}(t,t^{\prime}),p_{e}}\sum_{(t,t^{\prime})\in\mathbf{P}}\|m_{i}^{\prime}(t)-\mathbf{T}_{t^{\prime}\rightarrow t}m_{i}^{\prime}(t^{\prime})\|^{2} $$ 由于初始轴线$a_e$和枢轴点$p_e$均在物体标准空间中初始化，我们可直接利用已获取的信息，结合检测到的标记点来推导各采集数据对应的变换关系。 ### C.2. 身体对齐细节（主论文第3.4节） 在本小节中，我们将补充介绍主论文第3.2节所述的多视角相机系统与可穿戴动作捕捉系统之间的空间对齐过程的更多细节。 为解决可穿戴动作捕捉系统产生的身体和手部骨骼比例不精确的问题，我们在每个近似刚性的身体部位（躯干、双手、上臂、下臂、大腿、小腿）上粘贴3到4个ArUco标记点以建立对应关系。在对齐采集过程中，参与者会进行关节活动范围的动作，比如旋转手臂和腿部、弯曲身体，尤其是转动手腕以确定每只手的位置。借助采集到的数据，我们通过学习率为0.008的梯度下降法迭代50次，优化身体骨骼配置$\mathcal{B} = \{\mathcal{O}\}$和身体标记点位置$\mathcal{M}^b$。具体而言，身体和脚部的权重分别用$\lambda_b = 100$和$\lambda_f = 5000$表示。若对齐效果未达预期，我们还会增加额外的正则化项，以惩罚脊柱长度的过度变化以及身体左右两侧骨骼长度的差异。对齐流程完成后，我们会移除标记点（包括所有大腿上的标记点，以及每条上臂、下臂和小腿上的单个标记点），以减少其对参与者运动的干扰。剩余标记点的选择是基于它们在采集过程中的重要性来确定的，我们会评估 ![Image](images/669c1c3c0f9a9d004796036d9bdedb0664399c37b43eb5c156de37e025a3fd57.jpg)
Figure 12. (Left) The hand calibration structure to precisely measure hand skeleton configuration and to find the relative locations of hand markers attached to the wrist in hand-centric coordinate (Right) Hand skeleton and Calibration targets
Corner #Hand SideSeq1Seq2Seq3Seq4
1,2Right1, 21, 31, 41, 5
1,3Right1, 21, 31, 41, 5
2,4Right1, 21, 31, 41, 5
5,2Right1, 21, 31, 41, 5
6,2Right1, 2, 31, 3, 41, 4, 5-
6,3,2Right1, 2, 31, 3, 41, 4, 5-
2,1Left1, 21, 31, 41, 5
3,1Left1, 21, 31, 41, 5
4,2Left1, 21, 31, 41, 5
5,2Left1, 21, 31, 41, 5
6,2Left1, 21, 31, 41, 5
2,5,6Left1, 2, 31, 3, 41, 4, 5-
Table 6. Hand Calibration Protocol
这些标记点缺失是否会影响物体在相机空间中的定位精度。有关身体对齐动作的示例，可查看我们的补充视频。 #### C.3. 手部校准结构与协议（主论文第3.4节） 由于人类通常用手指来操控物体，指尖在交互过程中发挥着重要作用。我们设计了校准结构，以便更精确地定位指尖，确定手部骨骼以及各手腕处附着的手部标记之间的相对位置。该手部校准结构由三个带有ArUco标记的立方体组成，如图12所示，该结构的有序3D角顶点被定义为$C = \{c_i \in \mathbb{R}^3\}_{i=1}^6$。在进行手部校准时，我们要求每位参与者用指尖触碰校准结构的各个角点。我们会指示他们每一步用两到三根手指触碰指定的多个角点。每只手需经历23步这样的触碰过程。表6中列出了供受试者遵循的手部校准说明。“Corner #”指的是校准结构中受试者需用指尖接触的两个或三个目标角点的编号；同时，触碰这些目标角点的手指顺序也用数字标明，对应关系为：（1：拇指，2：食指，3：中指，4：无名指，5：小指）。 --- ![Image](images/362ae5e051a61dbe065cca66cca1a69f1330970d0a4e9f2a2be9a4f48aec6ed8.jpg)
Figure 13. Synthesized RGBs and Comparison between with or without text annotation.
手部校准流程的示例可参见我们的补充视频。 ### C.4. 手部校准的实现细节 我们在此描述手部标定方法的细节。如第 3.4 节所述，优化参数为手部骨架配置 $\mathcal{H} = \{\mathcal{S}^h, \mathcal{O}^h\}$ 以及局部手部中心坐标 $\mathcal{M}^h$ 中 3D 标记点的位置。我们将优化骨架的一般目标范围经验性地确定为图 12 所示的手掌区域，并添加约束，以限制每个骨架段 i 的骨架尺度( $s_i$) 在 $0.8 \leq s_i \leq 1.2$ 之间，并为目标关节 j 添加额外的骨架偏移值( $\delta_j$)，其 $|\delta| \leq 0.01$ 以米为单位，以避免手部骨架出现不自然变形。手部标记点 $\mathcal{M}^h$ 的位置通过总共 150 次迭代进行优化。骨架尺度和额外偏移分别从第 50 次和第 100 次迭代开始优化。我们使用三个损失， $L_{tip}$ 用于测量指尖到配对角点的欧氏距离， $L_{wrist}$ 用于测量来自身体运动捕捉设备的手腕位置与由手部标记点位置计算得到的手腕位置之间的距离，以及 $L_{pen}$ 用于测量手部对标定结构的穿透。穿透损失由标定结构法向量与目标角点到指尖向量之间的余弦相似度计算。在总损失 $\lambda_t L_{tip} + \lambda_w L_{wrist} + \lambda_p L_{pen}$ 中，各损失由 $\lambda_t = 1$、 $\lambda_w = 1$、 $\lambda_p = 1$ 等权加权。但会根据每位参与者的触摸精度和身体标定精度进行手动调整。对齐过程后，角点与目标指尖之间的平均欧氏距离为 0.83（厘米）。 #### C.5. 人体模型拟合 我们详细说明了如何利用优化后的形状参数，将SMPL-X [^70]姿态参数拟合到Xsens骨骼上。对于SMPL-X手部姿态，我们设计了一种优化方案：先运行FABRIK求解器[^1]，将SMPL-X手部骨骼重定位到Xsens手部，再直接优化每个手部关节的姿态，使其适配每个重定位后的关节位置。为了简化操作，在获取身体姿态时我们并未考虑全局方向和平移。作为输入数据表示方式，我们将每个序列按窗口拆分。
DatasetMethodAUC@IoU $_{{25}}\uparrow$AUC@IoU $_{{50}}\uparrow$AUC@IoU $_{{75}}\uparrow$
ROPE [^122]IST-Net [^64]28.710.60.5
ROPE [^122]GenPose++ [^122]39.919.12.0
ParaHome $_{{all}}$GenPose++ [^122]26.410.30.6
ParaHome $_{{rigid}}$GenPose++ [^122]29.712.20.9
Table 7. Quantitative comparison of category-level object pose estimation on ROPE [^122] and ParaHome synthetic data. Since the two datasets differ in the presence of articulation, we divide ParaHome data into two subsets, all including articulation objects and rigid with only rigid objects.
DatasetMethodPA-MPJPE $\downarrow$PA-MPVPE $\downarrow$F@5 $\uparrow$F@15 $\uparrow$
FreiHAND [^129]HaMeR [^79]6.05.70.7850.990
HO3D [^36]Pose2Mesh [^79]12.512.70.4410.909
HO3D [^36]HaMeR [^79]7.77.90.6350.980
ParaHome(Ours)HaMeR [^79]9.479.460.250.85
Table 8. Quantitative comparison of 3D hand pose reconstruction on FreiHand, HO3D and ParaHome synthetic data. PA-MPVPE and PA-MPJPE are measured in mm.
尺寸为60，除了手部外，身体关节旋转采用6D表示法 [^128]，因此每个批次的处理量为 $x_{in} \in \mathbb{R}^{60 \times 21 \times 6}$。在模型方面，我们采用了一种时序卷积网络 [^59] 的变体作为编码器和解码器。训练期间，我们定义了默认的重建损失 $\mathcal{L}_{recon}$ 用于关节旋转，并进一步引入了末端执行器损失 $\mathcal{L}_{end}$。这一额外损失涉及手部与腿部的SMPL-X顶点，以及手腕、脚部和手指尖关节。为了抑制动作中的噪声，我们还加入了关节速度损失作为正则化项。最终，各项损失累加如下： $$ \mathcal{L}=\lambda_{r e c o n}\mathcal{L}_{r e c o n}+\lambda_{e n d}\mathcal{L}_{e n d}+\lambda_{v e l}\mathcal{L}_{v e l} $$ 训练完成后，我们以步长30提取所有序列的窗口，通过将编码器输入的Xsens关节旋转数据与不同骨骼间的关节类别进行匹配（即将Xsens的jLeftT4Shoulder对应到SMPL-X的left collar），从而初始化潜码$z_{pose}$。随后，我们将该潜码输入已训练好的解码器中，使其与Xsens骨骼的手腕、指尖、踝关节及足部关节相匹配，以此优化$z_{pose}$。我们将成对的Xsens和SMPL-X目标关节集合记为J，进而将优化问题表述为： $$ z_{pose}^{*}=\arg\min_{z_{pose}}\sum_{j_{xsens},j_{smplx}\in\mathcal{J}}\|j_{xsens}-j_{smplx}\|^{2} $$ 优化之后，我们使用 $z^{*}_{pose}$ 得到解码后的输出人体姿态。由于我们以60帧为长度、30帧为步长采样序列，相邻窗口重叠处的身体姿态会出现差异。我们采用slerp算法来补偿各关节姿态参数中的这种不连续性。 #### C.6. 生成逼真的RGB图像 我们利用提供丰富多样3D运动数据的ParaHome数据集，从多个视角生成RGB图像，且这些图像均与3D标注信息对齐。我们采用了 --- ![Image](images/12555b69178d612279f8c12b480a65ad938ed38d24ea003cec62af4bebedfe91.jpg)
Figure 14. Rendered results of 6d reconstruction model on synthesized data. (Left) Successful cases. (2) Failure cases due to the occlusion.
![Image](images/ee66bbf5b387c5ea4f1c4a9bd82e902128daf619636cefeb58d5971006d27234.jpg)
Figure 15. Rendered results of the 3D hand reconstruction model on synthesized data. (Left) Successful cases. (Right) Cases with large 3D keypoints loss due to occlusion.
基于扩散的图像合成模型 [^3] 结合ControlNet，来创建与3D数据一致的2D RGB图像。人机交互场景从包括第一人称视角、高角度视角和正面视角在内的多个角度进行渲染。渲染得到的深度图以及OpenPose [^7] 关节信息会被整合进来，同时加入文本提示以提升图像质量并与原始数据保持一致。包含文本信息所带来的影响如图13所示，表明对齐度和真实感均有所提升。针对现成3D估计模型的定量结果见表7和表8。在物体6D估计方面，我们的合成数据达到了与ROPE数据集相当的精度，证明了生成图像足以供模型检测之用。具体而言，如Fig. 14所示，ParaHome数据集中的手部交互造成的遮挡以及物体的复杂运动会导致精度降低，这也表明了未来改进的空间。在3D手部姿态估计方面，合成数据在定量上与其他数据集表现相当，不过如Fig. 15所示，操作过程中的遮挡会导致其精度略低于HO3D $^{[36]}$ 和FreiHAND $^{[129]}$。 ### D. 序列示例可视化 #### D.1. 序列可视化 我们采集的数据集样本如图18所示。对应的动作文本注释附在图注下方。 ![Image](images/f8b4f373fb0bab8bb1ed7f916a47bcc5f7911cad742e0e67a0b72b57a54a38b7.jpg)
Figure 16. Synthesized body motions conditioned by sequences of object state
![Image](images/5bd545036c6781f935a96fe7270eb035846f1c509e500c71bd98b85212ec7efe.jpg)
Figure 17. Model Architecture estimating human motion based on object states
Objectbody repr.| window$MPE_{L}(cm)$
rc-jointsrc-wristsglb-rootglb-joints$MOE_{L}$| Foot skating $\downarrow$
Refrigeratorroot centric300.581.360.681.150.220.98
600.761.732.473.220.431.05
900.972.095.606.570.751.74
301.672.690.882.320.121.58
SMPL-X601.932.941.833.950.241.50
903.495.265.328.870.532.67
Drawer301.512.100.811.860.131.04
root centric601.521.741.022.260.240.80
902.612.903.925.880.661.58
303.434.044.303.870.111.36
SMPL-X603.273.830.964.170.121.04
902.783.392.735.200.181.10
Washing Machine300.500.890.350.770.150.94
root centric600.551.061.442.140.481.35
901.292.629.0311.460.922.60
301.942.530.422.240.091.04
SMPL-X603.684.292.536.590.442.72
906.037.556.0113.290.602.68
Sink300.580.980.420.820.160.79
root centric600.610.941.021.470.290.81
901.211.933.834.840.761.67
SMPL-X602.272.910.522.640.100.90
902.643.121.263.790.180.87
902.603.122.164.800.271.01
Table 9. Quantitative results of the ParaHome task.
### E. 实验 #### E.1. 生成用于特定物体操控的身体动作 训练细节：如图17所示，我们模型的目标是合成合理的3D人体运动，该运动需以不同时间点的物体状态序列为条件。我们将每个时间点t的目标物体状态表示为$\mathbf{S}_{to}(t) = \{\phi^j(t)\}$，采用关节状态$\phi^j(t) \in \mathbb{R}^2$来描述。我们将时间t的人体姿态表示为$\mathbf{S}_p(t) = \{X_t, \Delta p, \Delta r\}$，具体通过人体姿态$X_t$、根部的线速度$\Delta p$以及角速度$\Delta r$来体现。我们测试了两种人体姿态表示方式：以人物根部为中心的人体骨骼表示[^45]，以及SMPL-X [^78]人体姿态表示。在训练过程中，我们采用AdamW优化器，学习率为1e-4，共训练1500个周期，批量大小为32。 额外结果：我们对四种物体的基线模型进行了训练，包括冰箱、抽屉、洗衣机以及 --- 水槽，窗口大小分别设为30、60和90。量化结果如表9所示。从结果表中可以看出，随着窗口大小的减小，大多数指标的准确率有所提升；以根部为中心的人体骨骼表示在依赖姿态的属性（rc-joints、rc-wrists、glb-joints）上能取得更高的准确率，而SMPL-X表示则在全局朝向和根部位置方面表现更优。更多的可视化示例如图16及补充视频所示。 --- ![Image](images/0c957dace10bc9c3a7640757b2eed6a1a5a737a56a30789c2a523a6647dc77f9.jpg)
Figure 18. Example scenes of ParaHome dataset and aligned text annotation (Column1) Move kettle and cup from desk to the sink. (Column2) Take laptop from the desk and move to the table. (Column3) Take pan from the gas stove to the table. (Column4) Put laundry in the washing machine. (Column 5) Throw away STH into trash can.