# 高效且可扩展的单目人体-物体交互运动重建文博然 $^{1,2*}$ 卢烨 $^{1*}$ 王思睿 $^{4}$ 万凯岩 $^{3}$ 周佳宏 $^{1}$ 梁俊轩 $^{1,2}$ 刘新鹏 $^{1,2}$ 肖邦 $^{1}$ 刘瑞阳 $^{5}$ 李永卢 $^{1,2\dagger}$ $^{1}$上海交通大学、$^{2}$上海交通大学智能研究院、$^{3}$复旦大学、$^{4}$北京交通大学、$^{5}$浙江大学 $^{*}$贡献相同。$^{\dagger}$通讯作者：摘要：通用机器人必须在现实世界中稳健运行，这就需要它们从多样化、大规模的人体-物体交互（HOI）数据中学习。单目互联网视频提供了近乎无限且易于获取的数据源，能够捕捉到无与伦比的人类活动、物体和环境多样性。然而，从这些自然场景视频中准确且可扩展地提取4D交互数据仍是一个重大且尚未解决的难题。为突破标注瓶颈，我们提出了一种高效的稀疏接触点标注范式；为实现规模化标注，我们开发了InterPoint——一种驱动人机协同数据引擎的多模态预测器。基于这些高效获取的标注数据，我们推出了4DHOISolver——一种全新的优化框架，用于约束条件不定的4D HOI重建问题，同时保证时空一致性与物理合理性。借助该框架，我们发布了Open4DHOI——一个全新的大规模4D HOI数据集，包含135种物体类型和133种动作。此外，我们通过让基于强化学习的智能体模仿所恢复的运动，验证了重建结果的有效性。数据与代码将在上公开提供。 ## 1 引言要开发出能够理解并交互复杂现实世界的通用机器人系统，关键在于获取丰富且高保真的4D（3D+时间）人体-物体交互（HOI）数据。这类数据对于了解人类运动技能、意图及物理推理能力至关重要，可应用于从训练具备灵巧操作能力的智能机器人，到为游戏及VR/AR应用创建逼真的数字人等各个领域。尽管此类数据至关重要，但获取通用的4D HOI数据仍面临巨大挑战。现有的多传感器导向型HOI采集系统（如BEHAVE [^2]）虽能通过多视角摄像头配置和精密传感器阵列实现高精度重建，但所需的大量摄像头、传感器及专业工作室成本极高，难以支撑大规模数据采集。因此，这类系统往往局限于物体种类有限的受控室内环境，无法采集骑行、冲浪等常见户外活动，以及工业制造过程中的复杂现场施工任务相关的HOI数据。 --- ![Image](images/6ff6f3e2ed5e09128afa10cde23fee0c8af61e5b3351c002d32400314ca6c87c.jpg)

Fig. 1: Unlike prior works limited by inaccurate pose/depth alignment or non-scalable single-frame annotations, our method leverages invariant interaction points for fast, video-level 4D HOI reconstruction. This scalable framework enables the efficient construction of our large-scale Open4DHOI dataset and directly facilitates downstream tasks like humanoid learning.

从众多摄像头、传感器和专业摄影棚获取数据成本极高，难以用于大规模数据采集。因此，这些系统往往局限于物体种类有限的受控室内环境，无法捕捉骑行、冲浪等常见户外活动以及工业制造过程中的复杂现场施工任务相关的HOI数据。鉴于高精度捕捉系统的局限性，近期研究开始探索如何利用广泛可得的单目图像/视频来重建3D HOI。由于纯自动化的姿态与深度对齐往往会产生物理上不准确的接触点 [^24] [^36] [^58]，像Open3DHOI [^46]这类方法需要借助Blender进行手动物体姿态调整，而PICO [^6]则要求对接触区域进行标注。不过，尽管这些方法在静态图像上效果显著，但一旦应用于视频序列，标注成本和时间消耗便会变得难以承受，而且它们根本无法保证帧间的时空一致性。为解决这些关键难题，我们提出了4DHOI-Solver——一种用于从各类单目互联网视频中生成高质量、时间一致的4D HOI数据的创新且高效的框架。我们的核心思路是用对时间不变的交互点的轻量级标注，来取代昂贵的逐帧密集标注，这些交互点由系统提供的人体部位可交互参考点来引导。为了扩大这一流程的应用规模，我们引入了由多模态接触预测器InterPoint驱动的人机协作（HITL）数据引擎。InterPoint能根据单目帧自动提出初始标注建议，从而减少人工工作量。更重要的是，这形成了一个正向反馈循环：随着更多数据经人类验证和标注，InterPoint会持续得到微调，其准确性也会逐步提高，进而加速更复杂交互的标注过程。随后，我们开发了4DHOISolver，这是一个两阶段框架：首先利用最小二乘匹配与逆向运动学进行快速几何对齐，接着通过基于梯度的优化来提升交互的物理合理性。 --- 在此基础上，我们构建了Open4DHOI——一个包含451个视频、涵盖135类物体和133种动作的多样化数据集。此外，我们通过设计一种全新的基于接触的奖励函数，验证了该数据在下游机器人应用中的潜力；该函数能使基于强化学习的智能体掌握复杂的HOI动作模仿技能。总体而言，我们的工作包含以下贡献：我们提出了一种由接触点预测器（InterPoint）驱动的可扩展人机协作数据引擎。它能自动提出人-物接触对，并通过数据飞轮机制持续优化，从而降低标注成本。 – 我们提出了4DHOISolver，这是一种创新的框架；它利用稀疏接触点标注对两阶段优化过程加以约束，从而从单目视频中重建出保真度高、物理合理且时空连贯的4D HOI。 – 借助这一流程，我们构建并发布了Open4DHOI——一个新的大规模4D HOI数据集。我们通过开发一种全新的基于接触的奖励函数，并成功训练基于强化学习的智能体来完成具有挑战性的HOI动作模仿任务，证明了该数据集的有效性与实用性。 ## 2 相关工作 ### 2.1 3D/4D HOI数据集传统的3D/4D HOI数据集严重依赖于受限的摄影棚环境和复杂的硬件。采集设备从经过校准的多视角RGB-D系统[^2] [^13] [^25]和大型摄像机阵列[^66] [^67]，到可穿戴式动作捕捉服[^15] [^20] [^26]不等。因此，这些数据集中的物体追踪往往需要耗费大量人力或采用侵入式方法，例如手动标注[^2]、物理标记[^15] [^20] [^27]，或是复杂的多摄像机追踪器[^26] [^47]。为了克服这些受限的采集条件，近期的研究[^6] [^8] [^14] [^16] [^19] [^46] [^52] [^60]开始转向从自然场景的单目视频中重建HOI。虽然人体运动通常可利用现成的姿态估计器来恢复，但物体运动的处理方式却多种多样且颇具挑战性。当前以物体为中心的策略包括优化预定义的模板关键点[^14]、在Blender中手动优化生成的3D网格[^46]，或通过接触约束从大型数据库中检索代理网格[^6]。 ### 2.2 3D重建工具从单目视频中恢复HOI，离不开对人体和物体的精准3D重建。对于人体运动而言，尽管某些方法[^3] [^22] [^41]能够实现身体、手部与面部的统一恢复，但它们往往缺乏全局轨迹感知能力。因此，我们采用了人体运动恢复方法[^9] [^38] [^40] [^45] [^61]。 --- 从而能够准确重建与相机空间对齐的全身运动。为了弥补手部数据的缺失，我们整合了手部重建方法[^4] [^30] [^32] [^63] [^68]，最终获得用于交互分析所需的高保真全身运动学数据。对于物体重建，最近在海量数据集 [^39] 上训练的 3D 生成模型 [^48] [^49] [^53] [^62] [^7] 现在能够从真实世界图像生成高质量的网格。此外，针对真实"野外"图像的方法（如 SAM 3D [^36]）即使在存在遮挡的情况下也能实现物体的三维重建。 ### 2.3 接触与可供性预测以往的研究常常将HOI接触预测拆分为人体和物体两个独立领域来处理，例如预测密集的人体接触图[^12] [^42]，或定位物体的可供性[^5] [^21] [^59]。然而，这种做法忽略了物理交互的耦合特性[^54] [^55]。虽然像InteractVLM[^8] [^60]这样的新方法利用视觉语言模型来共同预测连续的双向接触点，从而弥补了这一缺陷，但生成这类密集图仍需要巨大的计算开销[^56]。基于这种联合预测范式，我们提出从密集的连续图转向高效且稀疏的离散接触点，旨在为可扩展的人机协作标注引擎提供支持。 ## 3 流程在本节中，我们介绍了如何高效收集并标注自然场景下的开放词汇人机交互数据，以及如何基于这些标注结果进行快速重建。我们的核心思路是标注在时间上保持不变的人体-物体交互“点对”，并通过这些稳定的点对应关系来实现快速的基于优化的重建。具体而言，在3.1节中，我们介绍了一种利用现有三维重建技术的粗略初始化重建方法。3.2节阐述了高效且可扩展的标注方法及我们开发的应用程序。3.3节我们提出了一种交互“点对”预测模型：通过在人工标注前预测不变的交互点，该方法能有效减轻标注负担，并推动人机协同的标注模式。3.4节描述了如何利用标注的点对实现高效且高质量的重建。最后，在3.5节中，我们介绍了我们构建的包含多种标注和多样性信息的数据集Open4DHOI。 ### 3.1 4D重建为了标注自然场景下的人机交互数据，我们需要借助最先进的三维重建工具来完成初始化。高质量的三维初始化既能保障标注效率，也能确保数据质量。为此，我们提出了如图2所示的稳健的4D重建流程，该流程包含三个阶段： --- ![Image](images/36e70b47aa03bfaeb0467daf08832dd65dfcd313850312eda61f4f9392601efd.jpg)

(a) Tracking (b) Reconstruction (c) Align

Fig. 2: Our automated 4D reconstruction pipeline consists of three components: (a) human and object tracking, (b) 3D reconstruction, and (c) spatial alignment.

![Image](images/52d1d045ab43890acaa41563260cb4ffdfb70b6716edbf2152196bc77f01978c.jpg)

Fig. 3: Annotation app: the first row shows the reference video, the second row displays the 3D-Human Joint annotations, and the third row presents the 3D-2D Projection annotations.

1) 我们首先对数据进行预处理：检测视频镜头切换、剔除无交互的帧，并提取人体和物体的跟踪掩码。 2) 我们利用SAM 3D Objects [^36]和GVHMR [^38]分别重建物体和人体运动。此外，我们还独立重建手部并将其整合，以确保其与整体身体姿态的一致性。 3) 我们通过一种深度感知投影方法来初始化并对齐人机交互姿态。具体来说，我们基于DepthAnythingV2 [^57]估算人体和物体的深度，再利用深度点云来进行空间对齐和物体尺度估算——即将人体网格和物体网格一起投影以适配点云。 ### 3.2 标注应用程序接触点定义。标注人机交互点对的关键前提是明确交互关键点。以往的研究通常在物体模板上预定义关键点，但这并不适用于开放世界中的物体重建。我们选择尽可能细致地划分人体关节，同时自由选取物体上的对应点。我们采用树状结构来定义人体关键点：26个主要身体部位作为父节点，子节点则代表各部位的更细划分，共计87个关键点。例如，我们将前臂划分为前、后、左、右四个点，以确保来自各个方向的接触都有对应的交互点。标注流程。为了高效标注HOI动作，我们开发了如图3所示的标注应用程序。用户需要标注两个部分：首先，通过在点云上选取一个3D点$p_{i}^{3D}$以及对应的人体关节来标注物体与人体之间的接触点对。 --- ![Image](images/85bed892ae5f0780eab044d0a1d1782fc8fc194bd2dd4c4c4df1b7a00df84c75.jpg)

Fig. 4: Network architecture.

其次，通过标注3D物体点$q_{i}^{3D}$并在帧上点击对应的2D点$p_{i}^{2D}$，根据视频约束物体的姿态$q_{i}^{2D}$。鉴于HOI运动中通常存在一些固定点，我们的目标就是找到并追踪这些点，从而让标注过程变得简单快捷。只有当视频中的稳定点发生变化时，用户才需要重新标注。具体来说，我们使用点追踪模型 [^18] 来追踪已标注的2D点。交互式物体被分为可移动和静态两类；对于在整个视频中保持静止的物体，我们提供了额外的标注选项，允许用户根据视频内容指定是否固定该物体的姿态。此外，针对第3.1节中提到的物体尺度重建不准确的情况，我们会在标注前先调整物体的尺度。 ### 3.3 InterPoint模型为了进一步加快标注速度，我们引入了InterPoint来初始化标注结果。标注人员只需在初始预测的基础上稍作微调，就能获得高质量的标注结果，从而大幅降低数据收集成本。同时，新获取的标注数据会被反馈用于训练InterPoint，使其能随时间提供更好的初始化结果，进而形成数据飞轮效应，实现数据集的快速扩展。问题表述：我们模型的训练目标是为给定帧预测交互点 $p^{3d}$ 和 $q^{3d}$。给定该帧以及一个被下采样为1024个点的3D物体作为输入，模型会输出交互人体关键点 $q^{3d}$——这些关键点从预定义的87个身体关键点中选取——以及它们在物体表面对应的接触点 $p^{3d}$。 --- 模型架构：我们的InterPoint模型通过VLM $(E_h, E_o)$ 提取2D语义嵌入 [^23]，并利用PointNet++ $F_o$ 编码器获取3D物体特征 [^33]。由于所有人共享同一个SMPL-X人体模型，我们引入了可学习的模板参数来构成3D人体特征 $F_h$。为了实现2D语义与3D几何之间的衔接，特征级线性调制（FiLM）层会将 $E_h$ 和 $E_o$ 动态注入到3D点特征 $F_h$ 和 $F_o$ 中。为了进行深度特征融合与交互建模，交互变换器会将这些经过增强的人体与物体表征拼接成一个统一的记忆空间。最后，可学习的查询 $(Q_h, Q_o)$ 会对该共享记忆进行注意力机制运算，以预测87个人体关节的接触概率，并确定物体接触点的坐标。我们模型的架构如图4所示。训练方案：我们通过标准的二元交叉熵损失（$\hat{q}_{3D} \in \mathbb{R}^{87}$）来监督人体关键点的预测结果 $\mathcal{L}_{human}$。但对于物体侧的对应关系而言，由于极端稀疏性（在 $87 \times 1024$ 对当中仅有2–3个正样本），普通的二元交叉熵损失会导致模型陷入平凡解。为解决这一问题，我们设计了双向对比损失。对于每个真实的人体关键点 $k \in K$，我们依据空间邻近性（如半径约束和KNN）定义其对应的正物体点集 $\mathcal{P}_k$。设预测对应分数为 $s_{k,n}$，则关键点-物体损失会促使k为其几何邻域 $\mathcal{P}_k$ 分配较高的概率质量： $$ \mathcal{L}_{k\to o}=-\frac{1}{|K|}\sum_{k\in K}\log\frac{\sum_{n\in\mathcal{P}_{k}}\exp(s_{k,n}/\tau)}{\sum_{n=1}^{N}\exp(s_{k,n}/\tau)}, $$ 其中 $\tau$ 为温度参数。反之，对于每个物体点n，其对应的正关键点集为 $\mathcal{Q}_n = \{k \mid n \in \mathcal{P}_k\}$。物体-关键点损失 $\mathcal{L}_{o \to k}$ 会针对有效的物体点 $\mathcal{N}_+ = \{n \mid \mathcal{Q}_n \neq \varnothing\}$ 对称地定义： $$ \mathcal{L}_{o\rightarrow k}=-\frac{1}{|\mathcal{N}_{+}|}\sum_{n\in\mathcal{N}_{+}}\log\frac{\sum_{k\in\mathcal{Q}_{n}}\exp(s_{k,n}/\tau)}{\sum_{k=1}^{K}\exp(s_{k,n}/\tau)}. $$ 最终目标通过 $\mathcal{L} = \lambda_h \mathcal{L}_{\text{human}} + \lambda_{k2o} \mathcal{L}_{k \to o} + \lambda_{o2k} \mathcal{L}_{o \to k}$ 来计算。我们在Open4DHOI数据集上训练InterPoint（见第3.5节），相关结果详见第5.3节。 ### 3.4 4DHOISolver 获取点标注后，我们采用一种名为4DHOISolver的两阶段重建方法，如图5所示。第一阶段，我们基于最小二乘法进行快速点对匹配，并应用快速逆向运动学（IK）优化来调整人体肢体位置；第二阶段，我们通过基于梯度的优化来提升交互的物理合理性。这种两阶段优化框架在保持高重建精度的同时确保了高效性。 --- HOI关键点求解器。为了实现更快的优化并保证精度，我们进一步设计了点匹配方法来对齐关键点对并优化物体的姿态。完成物体姿态优化后，我们再使用IK来优化人体肢体位置。我们的核心算法利用最小二乘法解决两类点对齐问题：3D-3D空间对齐和3D-2D投影对齐，如公式3所示，其优化目标分别为 $\mathbf{R}_o$ 和 $\mathbf{t}_o$。 $$ \begin{align*}\mathbf{r}_{i}^{3D}(\boldsymbol{\theta})&=\sqrt{w_{3D}}\left(\mathbf{R}_{o}\mathbf{p}_{i}^{3D}+\mathbf{t}_{o}-\mathbf{q}_{i}^{3D}\right),\\\mathbf{r}_{j}^{2D}(\boldsymbol{\theta})&=\sqrt{w_{2D}}\left(\pi_{\mathbf{K}}\left(\mathbf{R}_{o}\mathbf{p}_{j}^{2D}+\mathbf{t}_{o}\right)-\mathbf{q}_{j}^{2D}\right),\\\boldsymbol{\theta}^{*}&=\arg\min_{\boldsymbol{\theta}}\frac{1}{2}\left(\sum_{i=1}^{N}\left\|\mathbf{r}_{i}^{3D}(\boldsymbol{\theta})\right\|_{2}^{2}+\sum_{j=1}^{M}\left\|\mathbf{r}_{j}^{2D}(\boldsymbol{\theta})\right\|_{2}^{2}\right).\end{align*} $$ 通过对齐标注的点对，我们可以追踪物体的姿态和空间位置，并实现接触区域的粗略对齐。由于肢体是交互中最关键的部分且容易出现空间错位，我们针对肢体专门采用了基于IK的快速优化。 HOI优化器。在HOI求解器提供的初始化基础上，我们提出了HOI优化器，通过优化 $\theta_h$、$\mathbf{R}_o$ 和 $\mathbf{t}_o$ 来进一步提升人机交互的物理属性。为使优化更聚焦于标注的接触区域，同时保持非接触区域的稳定性，我们仅沿运动链根据关节树距离传播梯度，确保未直接参与优化的关节不受影响。损失函数。我们的优化过程由包含三项损失的复合损失函数驱动：接触损失、碰撞损失和掩码损失，如公式4所示。 $$ \boldsymbol{L}=w_{c}\boldsymbol{L}_{c o n t a c t}+w_{c o l l}\boldsymbol{L}_{c o l l i s i o n}+w_{m}\boldsymbol{L}_{m a s k}. $$ L解决了HOI关键点求解器 [^11] 基于点的优化所存在的局限性——该局限忽略了交互的物理合理性（如穿透现象），同时允许对物体姿态估计进行更精细的调整。后期平滑处理。为确保优化效率，我们每K帧进行一次优化，并对中间帧进行插值处理，同时应用低通滤波器来平滑整个优化后的运动。整体优化流程总结在算法1中。 ### 3.5 数据集我们收集了一个名为Open4DHOI的数据集，包含451个序列、131k帧，涵盖135类刚性物体，数据来源包括手机拍摄和TikTok爬取。其中，299个序列（79k帧）是 --- ```pseudo // Algorithm 1: 4DHOISolver Optimization Pipeline Require: Video frames with annotated 3D-3D and 3D-2D correspondences 1: Initialize model parameters (body pose, shape, object pose) 2: for each frame t with step size K do 3: Perform weighted least squares optimization to estimate object pose $(\mathbf{R}_t, \mathbf{t}_t)$ using 3D-3D and 3D-2D correspondences 4: Run IK to refine human body pose parameters based on 3D keypoints 5: for $i=1$ to $20$ do 6: Optimize body and object poses with collision, mask, and contact losses using the Adam optimizer 7: end for 8: if $t>0$ then 9: Interpolate parameters linearly between frames $t-K$ and t 10: end if 11: end for 12: Apply low-pass filter smoothing on optimized poses across all frames 13: return Optimized human and object poses ``` 通过手机自行采集的，152个序列（52k帧）则来自TikTok爬取。值得注意的是，我们的数据收集过程成本极低，且无需额外的采集设备。我们的数据标注过程每视频大约耗时十分钟，流程简单且用户友好。相比之下，一台Azure Kinect RGB-D相机的价格约为$399, while a complete Vicon motion capture system is priced at approximately$50,000。平均而言，我们的每个视频需要标注6.24个点。根据Amazon Mechanical Turk（AMT）的小时工资标准，成本曲线如图7(b)所示。同时，我们将使用Blender进行逐帧标注的Open3DHOI与其他4D HOI数据集的成本和规模进行了比较。可以看出，我们的标注方法具有很强的可扩展性。 ## 4 HOI仿真为了验证我们数据的可扩展性及其在人形机器人等下游任务中的适用性，我们通过强化学习训练一个策略$\pi$，以控制人形机器人模仿我们重建的HOI动作$\{q_t^h, q_t^o, q_{t=1}^T$。由于单目重建在未见视角下天生存在物理伪影（如物体相互穿透、漂浮等现象），现有的刚性跟踪方法[^28] [^43] [^44]难以应对这一问题。因此，我们基于InterMimic[^54]提出了一种抗噪声的仿真方法，并将我们的接触标注作为强先验条件。状态信息包括人体关节变换$q_t^h \in \mathbb{R}^{52 \times 6}$和物体姿态$q_t^o \in SE(3)$。跟踪奖励。为了鼓励基本的动作模仿，我们采用标准的跟踪奖励$R_{\mathrm{tr}} = \exp(-(E_{\mathrm{p}} + E_{\mathrm{v}}))$。位置误差$E_{\mathrm{p}}$用于计算关节位置p与旋转$\theta$之间的加权平方差（通过$\ominus$实现），该误差是针对 --- ![Image](images/08fd477a32515ca22e43af5e5325c5edb683c833e167ce135ca69b09441d00f6.jpg)

Fig. 5: Pipeline: Our reconstruction pipeline consists of four stages. First, we perform automated reconstruction as described in Sec. 3.1. After obtaining the reconstructed results, we apply the 4DHOISolver from Sec. 3.4 for optimization based on the annotations. Finally, we conduct physical imitation as described in Sec. 4.

人体和物体相对于参考状态的差异而言的。类似地，$E_{v}$会对线性速度（v）和角速度（$\omega$）的差异进行惩罚。关键点标签奖励。为了约束交互区域，我们将4DHOISolver中定义的87个预定义人体关键点映射到52个人形机器人关节上。我们将标注的关键点对作为真实接触标签$\hat{c}$，并将模拟的力反馈视为预测标签c。对于活跃的真实接触点，我们会专门对其差异进行惩罚： $$ R_{l r}=\sum\left\|\hat{c}-c\right\|\odot\hat{c}, $$ 其中$\odot$确保只有在策略遗漏了已标注的交互时才会受到惩罚。关键点接触奖励。为了弥补重建不准确性带来的问题，我们利用精细的标注设计了3D接触奖励机制。关键在于，我们构建了交互图（$I_g$）来显式建模各帧间的动态接触映射关系（见图5）。训练过程中，标注的物体点$M^o$会随物体的刚性变换而移动。我们强制要求$I_g$中配对的活跃接触点之间的全局空间距离为零： $$ R_{c r}=-\lambda_{c}\sum\left\|\mathbf{R}_{t}^{o}M^{o}(I_{g})+p_{t}^{o}-p_{t}^{h}(I_{g})\right\|^{2}, $$ 其中$\mathbf{R}_t^o \in SO(3)$和$p_t^o \in \mathbb{R}^3$分别表示第t帧时物体的全局旋转和平移，$p_t^h(I_g)$则对应的人体关节位置。优化结果。消融实验的结果总结在表1中。在图6中，我们可视化了该方法的模仿效果。可以看出，我们的方法有效解决了参考动作中存在的物理上不合理的问题，如物体相互穿透、脚部漂浮以及接触错位等。 --- ![Image](images/aca4c9641a3d4aa1c3a36c174c6637d04334fb4c594c6c59a69cf8e320746a0b.jpg)

Fig. 6: Visualization of our HOI imitation results.

Table 1: HOI simulation results. To assess the performance of our method, we sample 80 sequences from Open4DHOI, containing a total of 29k frames, and group them by action type. Each action is trained under three different reward settings. We evaluate the training results using three metrics: MPJPE (mean per joint position error) with reference motion, contact score, and jitter score to evaluate the smoothness of the motion.

Reward	MPJPE (mm) $\downarrow$	contact (mm) $\downarrow$	jitter $\downarrow$
TR only	151.82	43.94	91.43
TR+LR	156.54	39.53	80.37
TR+LR+CR	125.76	26.76	79.63

Table 2: Dataset comparison across motion, object, and interaction diversity.

Dataset	Quantity		Motion	Object		Interaction		Video
Dataset	Frames	Seq.	Div. $\uparrow$	#Cat.	Scale	Contact	Action	IS $\uparrow$	Scene
BEHAVE	15k	321	2.492	10	0.16 ~ 0.82	B	20	1.53	Indoor
OMOMO	810k	4.4k	1.022	15	0.24 ~ 1.70	B	34	-	Indoor
InterCap	67k	223	-	6	0.10 ~ 0.69	B+H	-	2.43	Indoor
IMHD $^{2}$	892k	295	2.497	10	0.08 ~ 0.36	B+H	82	1.82	Indoor
PICO	4.1k	-	-	44	0.12 ~ 3.21	B+H	-	-	Wild
Open3DHOI	2.5k	-	-	133	0.02 ~ 5.63	B+H	120	-	Wild
Open4DHOI	131k	451	3.465	135	0.02 ~ 4.22	B+H	133	6.32	Wild

## 5 实验 ### 5.1 数据集实验我们的数据集在多个维度上展现出高度的多样性。这些物体具有广泛的属性，涵盖了日常生活中常见的各种刚体。人类动作同样多样，涉及所有主要关节的运动。在交互层面，我们的数据集也极具多样性，包含多种多样的动作以及许多不常见的物体交互。物体多样性。我们数据集的一个关键特征是物体类别的丰富性。如表2和图7(e)所示，这些物体的尺寸范围也很广。动作多样性。我们的数据来源于大量真实的TikTok视频，涵盖了更广泛的动作类型。我们采用了MoMask的多样性评估协议[^10]：将人类动作编码到其隐空间中，计算嵌入向量间的成对L2距离，并以平均距离作为多样性指标。相关结果见表2。交互多样性。我们使用Qwen2.5-VL-72B模型[^1]对视频中的动作进行标注，随后进行了人工校验。最终，我们的 --- ![Image](images/d103c92b5e215f6fde13f583bbb6c5d25fe48d5539aa27a4d94d5c6c2a4d08ae.jpg) ![Image](images/0a9c3089636da0db41ed622993f5e0cf731beac8281d8c6c6890a3774130b66f.jpg)

Fig. 7: Dataset characteristics: (a) demonstrates that our dataset can be scaled up massively at minimal cost, (b) illustrates comparison of body pose diversity across different datasets, (c) presents a word cloud of the objects, and (d) depicts a scale-based visualization of the objects from smallest to largest.

Table 3: Quantitative comparison of object tracking accuracy with baseline methods.

Method	BEHAVE		IMHD $^{2}$
Method	CD-o (per-frame)	CD-o (10s)	CD-o (per-frame)	CD-o (10s)
PHOSA [^65]	26.90	59.08	20.26	56.80
CHORE [^50]	10.02	20.32	16.81	31.76
VisTracker [^51]	8.04	8.49	23.28	18.10
I'm HOI [^69]	7.43	4.82	6.93	8.53
Ours	4.67	4.42	6.72	5.95

数据集包含了133个动作类别。对于BEHAVE[^2]和OMOMO[^20]数据集，我们借助Qwen2.5-72B[^34]从数据集的文本描述中提取动作类别，并进行了人工筛选，详情见表2。 ### 5.2 4DHOISolver实验我们在BEHAVE[^2]和IMHD$^2$ [^69]数据集上，通过两种协议评估物体重建效果，即逐帧CD-o（逐帧整体Procrustes对齐）和滑动窗口CD-o（对10秒时间窗内的合并网格进行整体Procrustes对齐），评价指标为物体表面倒角距离（CD-o）。我们进一步将该方法与现有方法进行比较。如表3所示，4DHOISolver在各类数据集和评估协议下均始终优于所有基线方法，展现出强大的跨数据集鲁棒性。我们还在图8中提供了Open4DHOI上的定性可视化结果。 ### 5.3 InterPoint模型实验我们在新构建的Open4DHOI数据集上评估所提出的方法。该数据集被随机分为三个子集：360个序列用于训练，45个用于验证，46个用于测试。 --- ![Image](images/fb710291045da244f58cd7f2f721d14d071f44de3c21503f3913a397c6390550.jpg)

Fig. 8: Visualization of our 4DHOISolver reconstruction results.

基线与指标。我们将所提方法与当前最先进的互动接触预测器（LEMON[^60]、InteractVLM[^8]）、特定于人类的接触模型（DECO[^42]）以及物体可供性模型（3DAffordance-LLM[^5]）进行比较。性能评估涵盖人体点、物体点以及交互点对。我们报告人体点的精确度、召回率和F1分数；由于无法计算物体点和点对的精确度，因此仅测量召回率。结果见表4。我们的模型在所有指标上均表现出色，证明了将其用于标注初始化的可行性。定性结果见图9。数据规模与模型可扩展性。我们的目标是利用该模型加速数据生成，同时借助更多数据优化模型，从而提供更优质的标注初始化。为此，我们分别用不同数据规模（20%、40%、70%和100%）训练InterPoint，并使用相同指标进行评估，结果见图10。 ---

Table 4: Interaction point prediction results.

Method	Human			Object	Interaction
Method	Precision	Recall	F1	Recall	Recall
DECO [^42]	0.107	0.138	0.121	-	-
3D-AffordanceLLM [^5]	-	-	-	0.107	-
LEMON [^60]	0.289	0.310	0.299	0.0894	0.045
InteractVLM [^8]	0.183	0.598	0.280	0.094	0.070
Ours	0.514	0.532	0.523	0.476	0.303

![Image](images/6ebefb9ecabfd41a9661a63c773d7942c33fe84762d09e42e7d215f24a0acfc3.jpg)

Fig. 9: InterPoint visualization: (a): For suboptimal initializations (e.g., missing the left-hand), annotators can refine the annotation in the app. (b), (c): For sufficiently good initializations, annotators can approve them directly. Both cases can greatly speed up the annotation process.

![Image](images/3fa82355a893956e44e7d7386b2a546d915f402997c1a1611dc9d00f494e227d.jpg)

Fig.10: Data scalability of Interpoint: All three metrics increase with more training data, showing that Interpoint improves steadily as the data scale grows. Notably, the simpler human-side task converges faster as more data is added.

## 6 讨论虽然4DHOISolver具有极高的可扩展性，但它对时间不变性交互点的依赖使其在应对极端动态滑动接触情况（例如手中滚动核桃）和高度可变形物体（如衣物）时表现不佳。此外，我们目前的机器人实验是在仿真环境中基于简化的球形-杆状人形模型进行验证的。未来的工作将致力于缩小仿真与现实之间的差距，将这些学到的人体-物体交互技能应用到全驱动的物理人形机器人上（如Unitree机器人），从而进一步挖掘我们数据集在具身人工智能领域的潜力。 ## 7 结论我们提出了一种从自然场景视频中重建4D人体-物体交互的可扩展框架。通过利用时间不变性交互点和基于InterPoint的人机协作引擎，我们有效克服了传统标注过程中的瓶颈。这使得我们的4DHOISolver能够快速生成符合物理规律的三维重建结果。 --- 因此，我们推出了规模庞大的Open4DHOI数据集，并通过训练基于强化学习的人形机器人掌握复杂交互能力，证明了该数据集在具身人工智能领域的巨大潜力。 ## 补充材料本补充材料的内容包括：第8节：InterPoint模型的细节第9节：4DHOISolver的细节。第10节：Open4DHOI的特性。第11节：人体-物体交互仿真的细节。第12节：更多可视化结果。 ## 8 InterPoint模型的细节 ### 8.1 模型细节给定输入图像I和物体点云$P_{o}$，该模型首先利用视觉语言模型提取语义特征，生成两个语义嵌入向量： $$ (E_{h},E_{o})=\varPhi_{\mathrm{V L M}}(I). $$ 在几何层面，物体分支会经过编码器和点特征解码，从而得到物体点特征和点的坐标。在人肢分支中，我们采用定义在共享SMPL-X拓扑上的可学习模板参数来生成人肢点表示，这些表示随后会与当前样本的语义特征相结合。语义注入是通过FiLM机制实现的，而非简单的拼接。具体来说，语义向量会经过线性投影以生成通道级的调制参数，这些参数随后会被应用到点特征上： $$ \hat{\mathbf{f}}=\mathbf{f}\odot(1+\gamma(E))+\beta(E). $$ 这一过程分别针对人肢和物体分支进行，从而将二维语义动态地映射到三维点特征空间中。人肢点特征和物体点特征随后会被拼接成一个统一的记忆库，并输入到PointInteractionTransformer中。该模型包含两组可学习的查询向量，分别对应87个人体关键点和87个物体接触查询。通过多层交叉注意力和自注意力机制，这些查询向量会与记忆库相互作用并迭代更新，最终得到最终的人体查询向量和物体查询向量表示。预测阶段包含两个头。人体头为每个人体查询输出一个二元逻辑值，再通过Sigmoid函数得到每个关键点的接触概率。物体头首先对每个物体查询进行线性投影，随后计算其与物体点特征的缩放点积相似度， --- 从而为每个查询生成覆盖所有物体点的分类逻辑值： $$ \ell_{k,n}=\frac{(W_{q}q_{k})^{\top}f_{n}}{\sqrt{d}}, $$ 其中，$q_k \in \mathbb{R}^d$ 表示第 k 个物体查询，$W_q \in \mathbb{R}^{d \times d}$ 是物体头部，$f_n \in \mathbb{R}^d$ 是第 n 个物体点的特征。因此，物体分支本质上是从每个查询到点云顶点集的离散分类过程。在推理阶段，每个物体查询会直接选择响应值最大的点作为预测的接触点索引，随后将其映射回对应的点云坐标，从而得到最终的关键点预测结果： $$ \hat{n}_{k}=\arg\max_{n}\ell_{k,n},\qquad\hat{x}_{k}=\mathbf{X}_{o}[\hat{n}_{k}]. $$ 模型的更多架构细节详见表 5。 ### 8.2 实验细节基线模型会针对人体和物体在顶点上预测密集的接触概率。经过阈值处理后，我们得到预测的接触区域 $\hat{G}$，而 $\mathcal{G}$ 则表示真实接触顶点。其主要评价指标是点覆盖召回率： $$ \mathrm{Recall}_{\mathrm{cov}}=\frac{|\mathcal{G}\cap\hat{\mathcal{G}}|}{|\mathcal{G}|}. $$ 基线模型的其他成对级指标（微观 P/F1）采用类似方式计算，即判断真实配对的物体顶点是否被 $\hat{G}$ 覆盖；PairRecall $_{joint}$ 还要求在同一关键点上能正确预测出人体接触点。我们的模型会输出 87 个选定的物体点（每个查询对应一个点）。设 $\hat{P}$ 为预测的点集，G 为同一点云空间中的真实物体接触点。我们据此计算基于距离的物体召回率： $$ \mathrm{R e c a l l_{o b j}}=\frac{1}{|\mathcal{G}|}\sum_{g\in\mathcal{G}}\mathbf{1}\left[\min_{p\in\hat{\mathcal{P}}}\|g-p\|_{2}<\tau_{o}\right]. $$ 我们的模型同样会直接输出 87 个人体关键点的对数几率值，因此人体相关指标按常规方式计算。成对指标则在相同距离阈值下计算。判定准则为 $\tau_{o}$。 ## 9 4DHOISolver 的细节 ### 9.1 人体关键点定义在第 3.2 节中我们提到，为了便于进行准确的交互标注，我们预先在人体上定义了作为标注目标的关键点。我们 ---

Table 5: Configuration of InterPoint.

Item	Setting
Backbone VLM	LLaVA-1.5-7B
Object encoder	PointNet++ encoder , PointNet2 feature decoder
PointInteractionTransformer	$L=6, H=8, \text{FFN dim}=1024, d_{tr}=256$
Human head	$256 \rightarrow 128 \rightarrow 1$
Object head	$256 \rightarrow 256$
Input image size	$224 \times 224$
Object points	$N_{{o}}=1024$
Batch size	16
Learning rate	$3 \times 10^{-5}$
Epochs	80
Optimizer / scheduler	AdamW + cosine annealing
Gradient clipping	Global norm = 1.0
Contrastive temperature	$\tau_{{c}}=0.1$
Loss weights	$\lambda_{{h}}=1.0, \lambda_{{k2o}}=1.0, \lambda_{{o2k}}=0.3$

首先通过将每个主要关节均匀划分为前、后、左、右四个区域来对人体部位进行细分。接着，为每个细分后的部分选取一个中心点作为交互关键点。对于手部交互点，我们在五根手指上分别选取相应位置，同时也在手掌和手背处选取关键点。总共我们定义了 87 个关键点。图 11 展示了我们的人体关键点，表 6 列出了各关节的名称。 ### 9.2 预处理应用程序为了简化野外视频的采集流程，我们开发了一款定制的视频处理应用程序。具体来说，我们首先从抖音等平台下载候选视频并记录其源 URL。为确保数据集的多样性并避免冗余，我们会先查询数据库以判断 URL 是否已存在；只有新发现的视频才会被保留并保存。随后标注员会为每段视频指定具体的物体类别。由于互联网视频常包含快速的场景切换，我们会应用自动镜头切换检测算法，将原始视频在时间上分割成连续的单镜头片段。标注员会从这些片段中为每个视频挑选最多三个质量较高、能最好体现目标人机交互情况的片段。按照第3.1节所述的数据处理流程，需要进行视频跟踪，以获取用于后续4D重建的时空一致的掩码序列。针对每个选定的视频片段，我们会确定交互行为的起始帧，并分别为人类和物体手动指定提示点。随后将这些提示点输入SAM2 [^35]，从而提取完整的掩码序列。如图13所示，我们的标注工作流程会先展示单独标注的提示点的分割结果，以确保在进行4DHOISolver处理前跟踪过程准确无误。 ---

Table 6: Human joint-tree.

Main-Joints	Sub-Joints
leftForeArm	back, pinky, wrist, thumb
rightForeArm	back, pinky, wrist, thumb
leftUpperArm	up, down, back, front
rightUpperArm	up, down, back, front
leftShoulder	front, back
rightShoulder	front, back
leftHand	back, palm, Thumb, Index, Middle, Ring, Pinky
rightHand	back, palm, Thumb, Index, Middle, Ring, Pinky
leftUpperLeg	inner, outer, front, back
rightUpperLeg	inner, outer, front, back
leftLowerLeg	front, outer, back, inner
rightLowerLeg	front, outer, back, inner
leftFoot	ToeBase, instep, sole
rightFoot	ToeBase, instep, sole
upperSpine	back, right, front, left
middleSpine	front, right, back, left
leftNeck	front, back
rightNeck	back, front
hip	front, left, front, back
buttocks_left	buttocks_left
buttocks_right	buttocks_right
head	mouth, chin, headtop, cheek_left, cheek_right
rightElbow	back, front
leftElbow	back, front
leftKnee	back, front
rightKnee	back, front

![Image](images/f75f7ec4a22bab6be403d31291e46da8b3d8744252ba6891804055a82aa6b0c5.jpg)

Fig. 11: Human keypoint definition.

### 9.3 标注应用程序为了高效收集高质量的4D HOI数据，我们开发了一款定制化的交互式标注应用。图14展示了用户界面，图15则说明了详细的操作流程。用户界面与工具栏。我们的系统提供了直观的工具栏，方便快速进行交互控制： – 视频时间轴：用户可以拖动进度条或播放视频，从而定位需要标注的特定帧。 – 尺度检查：该功能允许标注员查看并调整自动重建的物体尺度，同时直观验证优化结果。 – 静态物体：这是一个针对静止物品的切换选项。激活后，系统会利用标注点数量最多的帧中的信息，固定整个视频中该物体的姿态，从而大幅减少冗余的人工操作。 – 优化：触发我们的HOI关键点求解器以快速完成几何对齐。这一过程平均仅需约5秒，就能立即反馈标注质量相关的视觉结果。标注工作流程。如流程图所示，完整的标注周期按以下步骤进行： – 交点自动预测：在任何给定帧中，标注员都可以调用我们的InterPoint模型，自动预测初始的人体-物体接触点对，从而大幅减少从零开始的手动选择工作。 --- ![Image](images/8dea72b7d995f6f1b486d667bdeaa71e5ec2d20bdf118cfc71d8640ac53d7004.jpg) ![Image](images/bde8bc41d7fda127168d2f56ee27b887d9014d18e931e3a834c1d87f78415c4e.jpg)

Fig. 13: Our pre-process workflow displaying prompt points and SAM2 segmentation.

Fig. 12: User interface of our video collection and processing application.

3D点与人体关节选择：基于AI生成的建议，用户可以通过分层关节树菜单，选择物体上的3D接触点并将其对应到相应的人体关节，从而对结果进行细化。 – 2D点跟踪：用户指定所选3D物体点在二维图像中的投影位置。应用程序会随时间对这些点进行跟踪，方便标注员轻松修正任何跟踪偏差。 – 标注管理：标注员可以灵活编辑、重新关联或删除特定的接触对或跟踪点，而无需丢弃已有的有效部分，从而大幅提升标注效率。 – 快速优化与验证：最后，用户利用优化功能快速求解4D HOI重建结果。这样他们就能无缝验证当前标注的物理合理性与时间一致性，并在必要时做出进一步调整。 ### 9.4 优化损失函数在HOI优化器中，我们使用掩码损失、接触损失和碰撞损失来进行优化。下面我们将详细说明这些损失函数是如何被用来确保交互行为的物理合理性。掩码损失。设$\tilde{M}_{h}$、$\tilde{M}_{o}$、$M_{h}$和$M_{o}$分别表示人体和物体的渲染掩码与真实掩码。为了处理相互遮挡的情况，我们计算 $$ \tilde{M}_{h}=\hat{M}_{h}(1-M_{o}),\qquad\tilde{M}_{o}=\hat{M}_{o}(1-M_{h}). $$ --- ![Image](images/60185614cdd5e6da7a4c98e5b828a9e96345ec9c303a6958cce0522f14bad81a.jpg)

Fig. 14: Overview of our interactive annotation system. (a) The interface for selecting object interaction points and assigning corresponding human joints. (b) The 2D point tracking interface for verifying temporal correspondences. (c) The viewer for inspecting the fast optimization and 4D reconstruction results. (d) The interactive toolbar for system controls.

我们通过逐像素的均方误差来监督轮廓： $$ \mathcal{L}_{\mathrm{m a s k}}=\mathrm{M S E}(\tilde{M}_{h},M_{h})+\mathrm{M S E}(\tilde{M}_{o},M_{o}). $$ 为了提升边界精度，我们通过以下方式提取边缘： $$ E_{h}=\mathrm{Pool}(\tilde{M}_{h})-\tilde{M}_{h},\qquad E_{o}=\mathrm{Pool}(\tilde{M}_{o})-\tilde{M}_{o}, $$ 并在真实边缘上计算距离变换权重 $W_{h}$、$W_{o}$。边缘损失为 $$ \mathcal{L}_{\mathrm{e d g e}}=\sum E_{h}W_{h}+\sum E_{o}W_{o}. $$ --- ![Image](images/56fb4d38c35d412f0b31fce7614a10a589e10e97f72d4d3468f02ad4e7c564f5.jpg)

Fig. 15: Workflow of our human-in-the-loop annotation pipeline. The timeline illustrates the step-by-step process from initial video preprocessing and interactive point annotation to the final 4D HOI reconstruction.

最终损失为 $$ \mathcal{L}_{\mathrm{t o t a l}}=\alpha\mathcal{L}_{\mathrm{m a s k}}+\beta\mathcal{L}_{\mathrm{e d g e}}, $$ 其中 $\alpha$ 和 $\beta$ 是非负权重，用于平衡掩码项和边缘项的贡献。接触损失。给定对应的人体-物体点对 $\{(p_i^b, p_i^o)\}_{i=1}^N$，我们计算每对点之间的欧几里得距离，记为 $d_i = \|p_i^b - p_i^o\|_2$。为了促使所有点对收敛到全局平衡的接触状态，我们对距离较大的点对赋予更大的权重： $$ w_{i}=\frac{(d_{i}+\epsilon)^{2}}{\sum_{j=1}^{N}(d_{j}+\epsilon)^{2}}. $$ 这种加权机制会更强地拉扯距离较远的点对，同时防止近距离接触的点对主导梯度，从而实现所有接触点的均匀且稳定的收敛。最终的接触损失定义为： $$ \mathcal{L}_{contact}=\sum_{i=1}^{N}w_{i} d_{i}^{2}. $$ 碰撞损失。为了防止人体网格与物体网格相互穿透，我们采用 [^17] 中使用的双向网格间碰撞惩罚机制。具体来说，我们使用相同的碰撞算子来衡量：(i) 位于物体表面内的人体顶点，以及 (ii) 位于人体表面内的物体顶点。最终的碰撞损失是加权组合 $$ \mathcal{L}_{\mathrm{c o l l}}=\lambda_{\mathrm{h\rightarrow o}}\mathcal{L}_{\mathrm{h\rightarrow o}}\mathrm{~+~}\mathcal{L}_{\mathrm{o\rightarrow h}}, $$ 其中 $\lambda_{h\to0}$ 用于控制对人体侵入物体情况的惩罚相对重要性。 --- 静态策略：对于标记为静态物体的视频，我们会找出标注交互点数量最多的帧，将其作为静态优化帧。在该帧中优化的物体姿态会被固定，后续优化步骤中不再涉及该物体。在后续的优化过程中，仅优化人体参数。 ### 9.5 更多可视化结果图18展示了我们的4DHOISolver在各类自然场景视频上的额外4D重建结果，以及与CARI4D [^52] 的对比。在物体重建方面，我们使用通过SAM 3D Objects [^36] 流程获得的物体网格，也就是4DHOISolver中使用的相同物体网格，以消除物体几何差异带来的影响。在人体重建方面，我们直接沿用CARI4D的原始流程，包括用于单目深度估计的UniDepth [^31]、用于人体姿态预测的Neural Localizer Fields (NLF) [^37]、SMPL-H全局参数拟合、用于物体跟踪的FoundationPose [^47]，以及用于联合优化的CoCoNet [^52]。整个过程中我们均采用官方发布的模型权重和默认设置。为了确保公平对比，两种方法使用相同的输入视频和一致的物体网格。如所示，我们的方法能实现更好的人体-物体空间对齐和更符合物理规律的接触效果，有效减少了物体漂浮和严重穿透等常见伪影。此外，我们的重建结果在时间一致性上更强，各帧间的交互几何也更真实。总体而言，这些示例凸显了4DHOISolver在恢复无约束真实世界视频中逼真、稳定且连贯的4D人体-物体交互方面的优势。 ### 9.6 4DHOISolver实验细节在BEHAVE [^2]和IMHD $^{2}$ [^69]这两个数据集上，由于4DHOISolver同时依赖于3D–3D人体-物体接触对应关系以及3D–2D物体观测约束，我们首先按照与模型表述一致的方式，从原始标注中提取稀疏约束。对于3D–3D接触点，在人体-物体交互区域内，我们以每个SMPL身体部位作为查询对象，在物体表面上寻找最近的点。若欧几里得距离小于预设阈值（0.1米），则该点对被视为有效的人体-物体接触对应关系。随后我们按距离对所有候选点对进行排序，最多保留其中5对。通过这种方式，只有距离足够近的点对才会被视为有效接触，它们能为相对的人体-物体姿态提供强约束，同时通过稀疏化处理降低对噪声和不匹配情况的敏感性。对于3D–2D物体点，我们对投影后的物体网格应用最远点采样算法，选出在图像平面上分布尽可能均匀的5组3D–2D对应关系。这些虽稀疏却富含信息的2D观测数据，为物体的位置、尺度和深度提供了额外约束。总体而言，这种稀疏约束设计不仅提升了对噪声和遮挡情况的鲁棒性，还能稳定优化过程，同时为重建任务提供足够的几何引导。 --- 深度。总的来说，这种稀疏约束设计提高了对噪声和遮挡的鲁棒性，稳定了优化过程，同时仍为重建任务提供了充足的几何引导。我们使用物体倒角距离（CD-o）来评估物体重建效果。对于每一帧，我们分别从真实物体网格和预测物体网格中均匀采样$2 \times 10^4$个点，分别记为$P_{gt}$和$P_{pred}$，并据此定义： $$ \mathrm{C D-o}=\frac{1}{|P_{p r e d}|}\sum_{x\in P_{p r e d}}\min_{y\in P_{g t}}\|x-y\|+\frac{1}{|P_{g t}|}\sum_{y\in P_{g t}}\min_{x\in P_{p r e d}}\|y-x\|, $$ 其中CD-o指标的评估方式遵循VisTracker [^51]中所采用的协议。随后我们对所有评估帧的距离取平均值，得到最终的物体重建误差。 ## Open4DHOI的10个特性 ### 10.1 数据采集为了获取高质量的HOI动作数据，这些数据需满足多项要求。首先，输入视频应清晰且分辨率高，因为可靠的视觉细节对于物体和人体的重建至关重要。其次，数据应涵盖多样化的场景和广泛的交互类型，以便捕捉丰富且具有代表性的HOI模式。第三，我们重点关注全身第三人称视角下的交互数据，因为现有的人体重建方法在部分可见或自遮挡情况下，仍难以准确还原某些身体姿态。我们招募志愿者通过TikTok采集短视频数据，要求视频具备外中心视角且包含全身交互内容。此外，我们采用了双人协作录制方案：一名志愿者用手机拍摄场景，另一名志愿者则与指定物体进行互动。这两种采集方式如图16所示。 ### 10.2 动作标注在第5.1.1节中我们提到，为数据集标注了133个动作类别。我们采用两步策略自动提取这些动作类别，先借助Qwen2.5-VL-72B [^1]和Qwen2.5-72B-Instruct [^34]进行提取，再手动筛选。首先，我们利用Qwen2.5-VL-72B从视频中提取交互描述。我们提供的提示语为：“视频中存在人类和{obj_name}。请完整且准确地描述人与物体之间的交互行为。输出完整的句子。” 接下来，我们借助Qwen2.5-72B-Instruct自动提取动作类别。我们提供的提示词为：“以下是人类与{obj_name}的交互描述：{interaction_description}。请将这类人类-obj_name交互行为归纳为几个简洁的动作类别。” --- ![Image](images/d52fff07c5a80f313ff8c358f61b9965b2543c93aa0baa76b56d50e76b1ea3ba.jpg)

Fig. 16: Data collection methods.

![Image](images/7c2ee85df040240b50d011fcb3a5b07ac8276d2768d68d0686e92b9c062993ef.jpg)

Fig. 17: Co-occurrence between object categories and actions in Open4DHOI.

经过上述两步提取流程后，我们对生成的动作名称进一步进行了人工筛选和合并，以剔除冗余、过于具体或语义模糊的类别。最终，我们为数据集得到了结构化的动作词汇表。该词汇表为后续的动作标注与分析提供了基础；同时，这种半自动流程在不牺牲人机交互多样性前提下，显著降低了标注成本并提升了标注效率。 ### 10.3 人机交互的共现情况我们绘制了动作与物体类别之间的共现矩阵，如图17所示。可以看出，我们的数据集中包含许多与手相关的交互物体，包括“拿起”“握住”等动作，以及“坐着”“站在上面”等频繁发生的交互行为。这也表明我们的数据集涵盖了极为多样的人机交互类别。 ## 11 人机交互模拟的细节 ### 11.1 实现细节参考数据来源于用SMPL-X表示的人体模型 [^29]。在模拟过程中，我们按照 [^28] 和 [^64] 的描述，将这些模型重新定位为刚体；物体也通过凸分解转化为模拟模型。与现有方法 [^43]、[^54] 类似，我们在Isaac Gym中进行人机交互模拟，并使用第一个参考帧来初始化模拟环境。模拟环境的参数设置详见表7。为了区分源自标注信息的静态物体和动态物体，我们为它们设置了不同的物理质量。这样既能保证物理合理性，又能尽可能满足静态物体的约束条件。 ---

Table 7: Simulation hyperparameters.

Hyperparameter	Value
Sim dt	1/60s
Control dt	1/30s
Number of envs	1024
Number of substeps	4
Number of pos iterations	8
Number of vel iterations	1
Contact offset	0.2
Rest offset	0.0
Max depenetration velocity	20
Object friction	0.6
Object static mass	10000
Object dynamic mass	0.5
Object & ground restitution	0.05 / 0.1
Object density	1000
Object max convex hulls	64

### 11.2 评估指标如第4节所述，我们将80个序列按动作类型划分为12个子集，每个子集训练一个策略。为了验证我们的方法，我们测试并计算了三个指标：MPJPE、接触分数和抖动值。本节将进一步详细介绍这些指标的计算方法。MPJPE（平均关节位置误差）用于衡量模拟中的骨骼关节位置与参考关节位置之间的平均距离，它直接反映了姿态或轨迹重建的整体精度。数值越小，说明重建结果越准确。 $$ \mathrm{MPJPE}=\frac{1}{T|\mathcal{J}|}\sum_{t=1}^{T}\sum_{j=1}^{\mathcal{J}}\left\|\hat{\boldsymbol{p}}_{t,j}^{h}-\boldsymbol{p}_{t,j}^{h}\right\|_{2}, $$ 其中T表示总帧数，$\mathcal{J}$ 代表人体关节集合，$|\mathcal{J}|$ 表示其基数。$\hat{p}_{t,j}^{h}$ 指的是第t帧中关节j的模拟3D位置，而 $p_{t,j}^{h}$ 则表示对应的真实关节位置。接触分数被定义为交互图中每对标注关键点之间的欧几里得距离平方和$I_{g}$。在重定位过程中，我们标注的SMPL-X关键点会被转换为骨骼关节的位置。该分数用于判断新添加的奖励机制是否成功改善了仿真过程中的接触关系。 $$ \mathrm{C o n t a c t}=\sum\left\|\theta_{t}^{o}M^{o}(I_{g})+p_{t}^{o}-p_{t}^{h}(I_{g})\right\|^{2}, $$ 其中，$\theta_{t}^{o}$ 和 $p_{t}^{o}$ 分别表示物体在帧 t 时的旋转和平移，$M^{o}(I_{g})$ 用于选取由交互图 $I_{g}$ 定义的对象关键点，而 $p_{t}^{h}(I_{g})$ 则表示相应的人体关节位置。 --- 抖动分数用于衡量序列随时间的平滑度和稳定性，可指示是否存在明显的抖动现象。数值越低，说明运动越平滑、连贯性越好。其计算方法如下： $$ \mathrm{J i t t e r}=\frac{1}{|\mathcal{J}|}\sum_{j\in\mathcal{J}}\sqrt{\frac{1}{T-3}\sum_{t}\left\|\boldsymbol{\varDelta}^{3}\mathbf{p}_{t,j}^{h}\right\|^{2}}. $$ ## 另外12种可视化结果 ### 12.1 InterPoint 的可视化结果我们在图 19 中展示了更多 InterPoint 的可视化结果，同时给出了在相同样本上 InteractVLM [^8] 的对应可视化结果以供对比。如图所示，我们的方法在大多数情况下都能提供相对准确的标注初始化结果，尤其是在识别合理的人体-物体接触区域以及建立人体与物体表面之间的有意义的点级对应关系方面表现突出。与 InteractVLM 相比，InterPoint 生成的预测结果在空间上通常与底层交互几何结构更一致，也更符合实际的接触模式。预测出的对应关系也更集中于语义和物理上合理的交互区域，这使得初始化结果更适合后续处理。这些结果进一步证明，InterPoint 可以作为一个可靠的初始化模块，为后续的优化和完善提供高质量的初始标注。 ### 12.2 HOI 模拟的可视化结果在本节中，我们在图 20 中提供了更多 HOI 模拟结果的可视化展示。这些示例进一步说明了整体运动质量、模拟交互的时间连贯性以及重建的人体-物体动力学的物理合理性。结果显示，模拟出的运动随时间保持稳定，同时保留了合理的人体-物体协调与交互结构。结果还表明，我们的模拟流程能够在各种交互序列中保持一致的运动模式和逼真的接触行为。 --- ![Image](images/f01730e720423eb334a3203094672cd7dffad00c743acd29a0ab2dad536d5c91.jpg)

Fig. 18: More Visualizations for 4DHOISolver Reconstructions.

--- 我们的方法 InteractVLM ![Image](images/e51f4deee82f2fb7cd4f17eb3fb9a3b572e194e16e558329b86e7ffeefc1f970.jpg)

Fig. 19: More Visualizations for Interpoint and InteractVLM

--- ![Image](images/659580cb9080b50cc805547b129e0db69f44da083d03d01d651d83a19affecdb.jpg) 时间

Fig. 20: Qualitative results of the HOI simulation.

--- ## 参考文献 [^1]: Bai, S., Chen, K., Liu, X., Wang, J., Ge, W., Song, S., Dang, K., Wang, P., Wang, S., Tang, J., Zhong, H., Zhu, Y., Yang, M., Li, Z., Wan, J., Wang, P., Ding, W., Fu, Z., Xu, Y., Ye, J., Zhang, X., Xie, T., Cheng, Z., Zhang, H., Yang, Z., Xu, H., Lin, J.: Qwen2.5-VL technical report (2025) [^2]: Bhatnagar, B.L., Xie, X., Petrov, I., Sminchisescu, C., Theobalt, C., Pons-Moll, G.: BEHAVE: Dataset and method for tracking human object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 15935–15946 (jun 2022) [^3]: Cai, Z., Yin, W., Zeng, A., Wei, C., Sun, Q., Wang, Y., Pang, H.E., Mei, H., Zhang, M., Zhang, L., Loy, C.C., Yang, L., Liu, Z.: SMPLer-X: Scaling up expressive human pose and shape estimation. In: Advances in Neural Information Processing Systems. vol. 36 (2023) [^4]: Chen, X., Song, Z., Jiang, X., Hu, Y., Yu, J., Zhang, L.: HandOS: 3D hand reconstruction in one stage. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 17304–17314 (June 2025) [^5]: Chu, H., Deng, X., Lv, Q., Chen, X., Li, Y., Hao, J., Nie, L.: 3D-AffordanceLLM: Harnessing large language models for open-vocabulary affordance detection in 3D worlds. In: International Conference on Learning Representations (ICLR) (2025) [^6]: Cseke, A., Tripathi, S., Dwivedi, S.K., Lakshmipathy, A.S., Chatterjee, A., Black, M.J., Tzionas, D.: PICO: Reconstructing 3D people in contact with objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1783–1794 (June 2025) [^7]: Deitke, M., Liu, R., Wallingford, M., Ngo, H., Michel, O., Kusupati, A., Fan, A., Laforte, C., Voleti, V., Gadre, S.Y., VanderBilt, E., Kembhavi, A., Vondrick, C., Gkioxari, G., Ehsani, K., Schmidt, L., Farhadi, A.: Objaverse-XL: A universe of 10M+ 3D objects. In: Advances in Neural Information Processing Systems. vol. 36, pp. 35799–35813 (2023) [^8]: Dwivedi, S.K., Antić, D., Tripathi, S., Taheri, O., Schmid, C., Black, M.J., Tzionas, D.: InteractVLM: 3D interaction reasoning from 2D foundational models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 22605–22615 (June 2025) [^9]: Goel, S., Pavlakos, G., Rajasegaran, J., Kanazawa, A., Malik, J.: Humans in 4D: Reconstructing and tracking humans with transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 14783–14794 (October 2023) [^10]: Guo, C., Mu, Y., Javed, M.G., Wang, S., Cheng, L.: MoMask: Generative masked modeling of 3D human motions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1900–1910 (June 2024) [^11]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 571–580 (June 2020) [^12]: Huang, C.H.P., Yi, H., Höschle, M., Safroshkin, M., Alexiadis, T., Polikovsky, S., Scharstein, D., Black, M.J.: Capturing and inferring dense full-body human-scene contact. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 13274–13285 (June 2022) ## [^13]: Huang, Y., Taheri, O., Black, M.J., Tzionas, D.: InterCap: Joint markerless 3D tracking of humans and objects in interaction from multi-view RGB-D images. International Journal of Computer Vision pp. 1–16 (2024) --- [^14]: Huo, C., Shi, Y., Wang, J.: Monocular human-object reconstruction in the wild. In: Proceedings of the 32nd ACM International Conference on Multimedia. pp. 5547–5555 (2024) [^15]: Jiang, N., Zhang, Z., Li, H., Ma, X., Wang, Z., Chen, Y., Liu, T., Zhu, Y., Huang, S.: Scaling up dynamic human-scene interaction modeling. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). no. 1737–1747 (June 2024) [^16]: Jiang, S., Ye, Q., Xie, R., Huo, Y., Chen, J.: Hand-held object reconstruction from RGB video with dynamic interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12220–12230 (June 2025) [^17]: Jiang, W., Kolotouros, N., Pavlakos, G., Zhou, X., Daniilidis, K.: Coherent reconstruction of multiple humans from a single image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 5579–5588 (June 2020) [^18]: Karaev, N., Rocco, I., Graham, B., Neverova, N., Vedaldi, A., Rupprecht, C.: CoTracker: It is better to track together. In: Computer Vision – ECCV 2024. pp. 18–35. Springer Nature Switzerland, Cham (2025) [^19]: Li, A., Liu, J., Zhu, Y., Tang, Y.: ScoreHOI: Physically plausible reconstruction of human-object interaction via score-guided diffusion. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 7592–7602 (October 2025) 20. Li, J., Wu, J., Liu, C.K.：基于物体运动的人体运动合成。《ACM图形学汇刊》（TOG）第42卷第6期（2023年）。 [^21]: Li, Y., Zhao, N., Xiao, J., Feng, C., Wang, X., Chua, T.s.: LASO: Language-guided affordance segmentation on 3D object. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 14251–14260 (June 2024) [^22]: Lin, J., Zeng, A., Wang, H., Zhang, L., Li, Y.: One-stage 3D whole-body mesh recovery with component aware transformer. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 21159–21168 (June 2023) [^23]: Liu, H., Li, C., Wu, Q., Lee, Y.J.: Visual instruction tuning. In: Advances in Neural Information Processing Systems (NeurIPS) (2023) [^24]: Liu, X., Wen, B., Liu, X., Zhou, Z., Fan, H., Lu, C., Ma, L., Chen, Y., Li, Y.L.: Interacted object grounding in spatio-temporal human-object interactions (2025) [^25]: Liu, Y., Zhang, C., Xing, R., Tang, B., Yang, B., Yi, L.: CORE4D: A 4D human-object-human interaction dataset for collaborative object rearrangement. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1769–1782 (June 2025) [^26]: Lu, J., Huang, C.H.P., Bhattacharya, U., Huang, Q., Zhou, Y.: HUMOTO: A 4D dataset of Mocap human object interactions. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10886–10897 (October 2025) 27. Lu, J., Zhang, H., Ye, Y., Shiratori, T., Starke, S., Komura, T.：CHOICE：杂乱环境中用于抓取放置动作的人体-物体协同交互。《ACM图形学汇刊》第45卷第2期，第1–18页（2026年）。 --- [^28]: Luo, Z., Cao, J., Winkler, A., Kitani, K., Xu, W.: Perpetual humanoid control for real-time simulated avatars. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10895–10904 (October 2023) [^29]: Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A.A., Tzionas, D., Black, M.J.: Expressive body capture: 3D hands, face, and body from a single image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 10975–10985 (June 2019) [^30]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3D with transformers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 9826–9836 (June 2024) [^31]: Piccinelli, L., Yang, Y.H., Sakaridis, C., Segu, M., Li, S., Van Gool, L., Yu, F.: UniDepth: Universal monocular metric depth estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 10106–10116 (June 2024) [^32]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: WiLoR: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12242–12254 (June 2025) [^33]: Qi, C.R., Yi, L., Su, H., Guibas, L.J.: PointNet++: Deep hierarchical feature learning on point sets in a metric space. In: Advances in Neural Information Processing Systems. vol. 30, pp. 5099–5108 (2017) [^34]: Qwen, Yang, A., Yang, B., Zhang, B., Hui, B., Zheng, B., Yu, B., Li, C., Liu, D., Huang, F., Wei, H., Lin, H., Yang, J., Tu, J., Zhang, J., Yang, J., Yang, J., Zhou, J., Lin, J., Dang, K., Lu, K., Bao, K., Yang, K., Yu, L., Li, M., Xue, M., Zhang, P., Zhu, Q., Men, R., Lin, R., Li, T., Tang, T., Xia, T., Ren, X., Ren, X., Fan, Y., Su, Y., Zhang, Y., Wan, Y., Liu, Y., Cui, Z., Zhang, Z., Qiu, Z.: Qwen2.5 technical report (2025) 35. Ravi, N., Gabeur, V., Hu, Y.T., Hu, R., Ryali, C., Ma, T., Khedr, H., Räde, R., Rolland, C., Gustafson, L., Mintun, E., Pan, J., Alwala, K.V., Carion, N., Wu, C.Y., Girshick, R., Dollár, P., Feichtenhofer, C.：SAM 2：图像与视频中的任意物体分割。arXiv预印本arXiv:2408.00714（2024年）， [^36]: SAM 3D Team, Chen, X., Chu, F.J., Gleize, P., Liang, K.J., Sax, A., Tang, H., Wang, W., Guo, M., Hardin, T., Li, X., Lin, A., Liu, J., Ma, Z., Sagar, A., Song, B., Wang, X., Yang, J., Zhang, B., Dollár, P., Gkioxari, G., Feiszli, M., Malik, J.: SAM 3D: 3Dfy anything in images (2025) [^37]: Sárándi, I., Pons-Moll, G.: Neural localizer fields for continuous 3D human pose and shape estimation. In: Advances in Neural Information Processing Systems (NeurIPS) (2024) [^38]: Shen, Z., Pi, H., Xia, Y., Cen, Z., Peng, S., Hu, Z., Bao, H., Hu, R., Zhou, X.: World-grounded human motion recovery via gravity-view coordinates. In: SIGGRAPH Asia Conference Proceedings (2024) [^39]: Shi, R., Chen, H., Zhang, Z., Liu, M., Xu, C., Wei, X., Chen, L., Zeng, C., Su, H.: Zero123++: a single image to consistent multi-view diffusion base model (2023) [^40]: Shin, S., Kim, J., Halilaj, E., Black, M.J.: WHAM: Reconstructing world-grounded humans with accurate 3D motion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2070–2080 (June 2024) ## [^41]: Sun, Q., Wang, Y., Zeng, A., Yin, W., Wei, C., Wang, W., Mei, H., Leung, C.S., Liu, Z., Yang, L., Cai, Z.: AiOS: All-in-one-stage expressive human pose and shape --- 估计。载于：IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。第1834–1843页（2024年6月） [^42]: Tripathi, S., Chatterjee, A., Passy, J.C., Yi, H., Tzionas, D., Black, M.J.: DECO: Dense estimation of 3d human-scene contact in the wild. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 8001–8013 (October 2023) [^43]: Wang, Y., Lin, J., Zeng, A., Luo, Z., Zhang, J., Zhang, L.: PhysHOI: Physics-based imitation of dynamic human-object interaction (2023) [^44]: Wang, Y., Zhao, Q., Yu, R., Tsui, H.W., Zeng, A., Lin, J., Luo, Z., Yu, J., Li, X., Chen, Q., Zhang, J., Zhang, L., Tan, P.: SkillMimic: Learning basketball interaction skills from demonstrations. In: Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR). pp. 17540–17549 (June 2025) [^45]: Wang, Y., Wang, Z., Liu, L., Daniilidis, K.: TRAM: Global trajectory and motion of 3D humans from in-the-wild videos. In: Computer Vision – ECCV 2024. vol. 15069, pp. 467–487 (2024) [^46]: Wen, B., Huang, D., Zhang, Z., Zhou, J., Deng, J., Gong, J., Chen, Y., Ma, L., Li, Y.L.: Reconstructing in-the-wild open-vocabulary human-object interactions (June 2025) [^47]: Wen, B., Yang, W., Kautz, J., Birchfield, S.: FoundationPose: Unified 6D pose estimation and tracking of novel objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 17868–17879 (June 2024) [^48]: Xiang, J., Chen, X., Xu, S., Wang, R., Lv, Z., Deng, Y., Zhu, H., Dong, Y., Zhao, H., Yuan, N.J., Yang, J.: Native and compact structured latents for 3D generation. Tech report (2025) [^49]: Xiang, J., Lv, Z., Xu, S., Deng, Y., Wang, R., Zhang, B., Chen, D., Tong, X., Yang, J.: Structured 3D latents for scalable and versatile 3D generation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 21469–21480 (June 2025) [^50]: Xie, X., Bhatnagar, B.L., Pons-Moll, G.: CHORE: Contact, human and object reconstruction from a single RGB image. In: Computer Vision – ECCV 2022. vol. 13662, pp. 125–145 (2022) [^51]: Xie, X., Bhatnagar, B.L., Pons-Moll, G.: Visibility aware human-object interaction tracking from single RGB camera. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4757–4768 (June 2023) [^52]: Xie, X., Wen, B., Chang, Y., Rabeti, H., Li, J., Yuan, Y., Pons-Moll, G., Birchfield, S.: CARI4D: Category agnostic 4D reconstruction of human-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (June 2026) [^53]: Xu, J., Cheng, W., Gao, Y., Wang, X., Gao, S., Shan, Y.: InstantMesh: Efficient 3D mesh generation from a single image with sparse-view large reconstruction models (2024) [^54]: Xu, S., Ling, H.Y., Wang, Y.X., Gui, L.Y.: InterMimic: Towards universal whole-body control for physics-based human-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12266–12277 (June 2025) ## [^55]: Xu, S., Schulter, S., Ziyadi, M., He, X., Fei, X., Wang, Y.X., Gui, L.Y.: Inter-Prior: Scaling generative control for physics-based human-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (June 2026) --- [^56]: Xue, M., Liu, Y., Guo, L., Huang, S., Ding, C.: Guiding human-object interactions with rich geometry and relations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 22714–22723 (June 2025) [^57]: Yang, L., Kang, B., Huang, Z., Zhao, Z., Xu, X., Feng, J., Zhao, H.: Depth anything V2. In: Advances in Neural Information Processing Systems. vol. 37, pp. 21875–21911 (2024) [^58]: Yang, X., Kukreja, D., Pinkus, D., Sagar, A., Fan, T., Park, J., Shin, S., Cao, J., Liu, J., Ugrinovic, N., Feiszli, M., Malik, J., Dollar, P., Kitani, K.: SAM 3D body: Robust full-body human mesh recovery (2026) [^59]: Yang, Y., Zhai, W., Luo, H., Cao, Y., Luo, J., Zha, Z.J.: Grounding 3D object affordance from 2D interactions in images. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10905–10915 (October 2023) [^60]: Yang, Y., Zhai, W., Luo, H., Cao, Y., Zha, Z.J.: LEMON: Learning 3D human-object interaction relation from 2D images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 16284–16295 (June 2024) [^61]: Ye, V., Pavlakos, G., Malik, J., Kanazawa, A.: Decoupling human and camera motion from videos in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 21222–21232 (June 2023) [^62]: Yu, Q., Li, X., Tang, Y., Han, X., Hu, L., Hao, Y., Chen, M.: Fancy123: One image to high-quality 3D mesh generation via plug-and-play deformation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 595–604 (June 2025) [^63]: Yu, Z., Zafeiriou, S., Birdal, T.: Dyn-HaMR: Recovering 4D interacting hand motion from a dynamic camera. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 27716–27726 (June 2025) [^64]: Yuan, Y., Wei, S.E., Simon, T., Kitani, K., Saragih, J.: SimPoE: Simulated character control for 3d human pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 7159–7169 (June 2021) [^65]: Zhang, J.Y., Pepose, S., Joo, H., Ramanan, D., Malik, J., Kanazawa, A.: Perceiving 3D human-object spatial arrangements from a single image in the wild. In: Computer Vision – ECCV 2020. vol. 12357, pp. 34–51 (2020) [^66]: Zhang, J., Luo, H., Yang, H., Xu, X., Wu, Q., Shi, Y., Yu, J., Xu, L., Wang, J.: NeuralDome: A neural modeling pipeline on multi-view human-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 8834–8845 (June 2023) 67. 张J.、张J.、宋Z.、石Z.、赵C.、石Y.、余J.、徐L.、王J.：HOI-M $^{3}$：在特定环境中捕捉多个人与物体之间的交互。载于：IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第516–526页（2024年6月）。 [^68]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular RGB image. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 2354–2364 (October 2019) [^69]: Zhao, C., Zhang, J., Du, J., Shan, Z., Wang, J., Yu, J., Wang, J., Xu, L.: I'M HOI: Inertia-aware monocular capture of 3D human-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 729–741 (June 2024)