# HUMOTO：一个关于动作捕捉的人体物体交互4D数据集

陆佳欣 $^{1,2,*}$、黄春豪 $^{2}$、乌塔兰·巴塔查里亚 $^{2}$、黄启星 $^{1}$、周毅 $^{2}$

$^{1}$德克萨斯大学奥斯汀分校，$^{2}$Adobe研究院

<mailto:lujiaxin@utexas.edu>，{chunhaoh, ubhattac, yizho}@adobe.com，<mailto:huangqx@cs.utexas.edu>

![Image](images/f1773bd9f33b0325cda9513bc447e8b1034747992b7678a1d3ed46e469f87fe9.jpg)

<div style="text-align: center;">Figure 1. Overview of the HUMOTO dataset. The dataset contains mocap 4D human-object interaction animations with multiple objects. The unique features of the dataset include its detailed, accurate interaction modeling, specifically the detailed hand pose. The objects are precisely modeled by artists. We additionally provide different abstract levels of text annotation for the interactions.</div>

## 摘要

我们推出了“带物体的人体动作数据集（HUMOTO）”，这是一份用于动作生成、计算机视觉和机器人应用的高保真人体-物体交互数据集。该数据集包含735个序列，总时长达7,875秒，帧率为30帧/秒，涵盖了与63种精细建模的物体以及72个可活动部件的交互场景。我们的创新点包括：采用场景驱动的LLM脚本生成流程，能够创建完整且富有目的性的任务，并具备自然的进展逻辑；同时采用动作捕捉与摄像头同步录制方案，有效解决了遮挡问题。HUMOTO涵盖了从烹饪到户外野餐等多种活动场景，既保证了物理层面的准确性，又符合逻辑上的任务流程。专业艺术家会对每个序列进行严格清理和校验，最大程度减少了脚部滑动和物体穿透现象。我们还提供了与其他数据集的对比基准测试。HUMOTO所包含的全身动作数据及同时发生的多物体交互信息，不仅解决了数据采集领域的关键难题，还为推进逼真的人体-物体交互建模提供了宝贵机遇。

该研究涉及多个研究领域，在动画制作、机器人技术以及具身人工智能系统等方面具有实际应用价值。项目页面：<https://jiaxin-lu.github.io/humoto/>。

### 1. 引言

4D人体物体交互（HOI）数据对于理解人类在三维世界中的行为至关重要，同时在计算机视觉 [^41] [^49] [^50] [^69] [^75] [^76] [^79]、机器人技术 [^4] [^12] [^46] [^48] [^52] [^62]、计算机图形学 [^25] [^32] [^56] 以及生成式AI [^2] [^26] [^40] [^71] 等诸多应用中发挥着重要作用。这些应用范围涵盖HOI检测与重建、运动生成、基于演示的机器人学习，甚至图像/视频生成。上述所有领域都依赖4D HOI数据来采集人体与物体的姿态、真实几何结构、动力学信息、作用力以及多视角观测数据 [^70] [^72]。然而，缺乏逼真的4D数据阻碍了相关技术的发展，尤其是在涉及多个物体和精细操作的场景中 [^16] [^35]。随着生成式模型和判别式模型的不断进步 [^10] [^40] [^49] [^51] [^67]，对高质量HOI数据的需求也愈发迫切。

获取高质量的4D HOI数据成本高昂，原因在于

---

以往需要复杂的动作捕捉设备和大量的人工数据清洗工作。尽管近期已有多项研究提供了各种4D人体-物体运动数据集 [^1] [^35] [^39] [^58] [^59] [^61] [^78] [^81] [^82]，但大多数数据集仅关注单一物体的交互，或缺乏详细的手部动作记录。能够捕捉与多个物体交互、涵盖全身及手部运动的综合性数据集，仍是该领域的一大空白。

为解决这一问题，我们推出了 $\underline{\text{Human Motions}}$ 与 $\underline{\text{Objects}}$（HUMOTO）——一套源自真实表演的新型4D动画数据集。HUMOTO包含735个精心挑选的动作序列，总时长达7,875秒（帧率为30 fps），涵盖了各类日常活动以及与63个物体（共72个独立部件）的交互场景。许多场景涉及多个物体的交互，例如使用各种厨具准备餐食、整理储物空间以及布置房间等。这些物体的尺寸范围广泛，从小型家居用品如厨具和工具，到大型家具，均依据实际尺寸建模。所有人体动作均被详细记录下来，包括身体和手部的运动，并配有文字注释。

由于细粒度、多物体交互的录制过程极为复杂，HUMOTO的采集工作极具挑战性。它需要精确的校准、专业设备以及大量的后期处理，才能生成干净且高质量的动作序列。借助最先进的技术，包括基于大语言模型（LLM）生成的脚本和多传感器追踪技术，我们最终打造出细节丰富、保真度极高的数据集。

本数据集的独特优势源于我们采用的互补式捕捉方法。为了生成涵盖各类日常活动的多样化动作脚本，我们以导演的思维设计故事与动作，并引入“场景驱动型大语言模型脚本生成法”来分层创建这些脚本。为了在物体遮挡频繁的情况下捕捉人体动作，我们采用配备电磁场（EMF）技术的动作捕捉服和手套来追踪表演者，同时利用双Kinect RGB-D传感器记录物体的姿态。这种多模态系统确保了在大规模动作和精细操作场景下，即便存在严重遮挡，仍能保持高保真度。

所有序列都经过了严格的清洗，并由专业艺术家进行独立验证，尤其注重解决脚部滑动和物体穿透等常见问题，以确保动作干净自然且细节得以保留，从而适用于机器学习环境。我们还邀请了独立艺术家团队从专业角度对整套数据集的质量进行评估。此外，我们提出了一套用于评估本数据集及其他人机交互数据集的指标，为人体运动、物体运动及交互质量提供了全面的基准。

HUMOTO为运动生成、机器人技术、计算机视觉和2D生成领域的模型训练提供了宝贵的资源。这些序列不仅捕捉了物理动态，还体现了任务的逻辑进程，因此对于学习自然动作序列和任务规划具有重要价值 [^39] [^48]。该数据集的综合性使其在多个领域都能发挥作用：运动生成模型可以借此学习自然的互动模式 [^10] [^51]；机器人研究人员能够借此研究人类的操控策略 [^13] [^48] [^52]；计算机视觉系统则可以利用其中精确的3D真实数据来进行检测、跟踪与重建训练 [^41] [^50] [^69] [^79]。图像或视频生成系统也能借助经过验证的运动序列来创作内容并进行授权 [^25] [^36] [^71]。

本研究的贡献主要包括以下几点。

- 一个高保真度的HOI数据集，包含复杂、有意义且多样化的日常交互场景，涉及多种物体以及不同尺度下的交互。

- 一种多模态采集方法，结合了场景驱动的LLM脚本编写技术与多传感器设置，即便在遮挡情况复杂的场景下也能保留细微的交互细节。

- 一套用于评估HOI数据集的质量指标与基准测试，旨在为人体运动、物体运动及交互质量建立量化标准。

### 2. 相关工作

人体运动捕捉技术。近年来，基于摄像头的人体姿态估计技术取得了显著进展，包括单目RGB和RGB-D设备，这大大拓展了人体运动捕捉的应用范围。早期研究探索了无标记系统 [^5] [^7] [^14] [^15] [^34] [^57]，而诸如OpenPose [^3]和DensePose [^20]等较新的框架则能提供可靠的2D和3D关节检测结果。这些基于摄像头的系统通常会通过优化技术 [^23]或预训练模型 [^54] [^82]来进一步提升追踪精度。与此同时，基于标记的姿态估计方法也已被成功应用于人机交互场景 [^44] [^45] [^47]，在特定环境下能提供更精准的结果。尽管这些技术在无约束环境中表现良好，但在处理复杂姿态或遮挡情况时往往存在局限。

运动捕捉服（mocap）已成为研究和工业应用中捕捉高保真人体运动的常用工具。光学运动捕捉系统和电磁场运动捕捉服均已被用于数据集采集 [^9] [^17] [^24] [^37]，能够在更具挑战性的场景中提供广泛的覆盖能力。

在物体姿态估计方面，RGB-D摄像头在HOI场景中越来越普及。先进的技术 [^42] [^60] [^66] [^68]在物体检测与定位方面展现了卓越的性能。在神经网络领域，惯性测量单元（IMU）已被安装在物体上以追踪特定参数 [^22] [^80] [^82]。

人机运动数据集。人机——

---

![Image](images/037879e27a4f58f324e2137f72c23204a213852105f2b43c843d45f4863a2b2c.jpg)

<div style="text-align: center;">Figure 2. Scene-Driven LLM Scripting. We established target scenes, prepared relevant interaction objects, and then leveraged LLMs to generate detailed action scripts.</div>

物体交互领域已经发展出多个重要的数据集，每个数据集都针对人机交互的不同方面。GRAB [^58] 是最早致力于全身人机交互研究的数据集之一；不过它主要聚焦于上半身交互，因此并未纳入我们的比较范围。BEHAVE [^1] 和 OMOMO [^39] 虽然呈现了更复杂的场景，但缺乏详细的手部姿态信息。IMHD [^78] 专门面向体育赛事等高度动态的人机交互场景。Home [^35] 和 TRUMANs [^33] 则研究了家庭环境中的人机交互情况，不过这些场景往往较为静态，变化性有限。TACO [^44] 更侧重于捕捉以自我为中心的交互行为。除了专门的人机交互数据集外，MIXAMO [^29] 还提供了一个用于角色动画和游戏开发的运动捕捉数据综合库。HUMAN3.6M [^83] 则是一个大规模的人体运动捕捉数据集，主要聚焦于日常自然活动而非人机交互。

尽管这些数据集都显著推动了该领域的发展，但在捕捉现实世界中多物体交互的复杂性方面仍存在局限。一个关键缺陷是手部与物体的交互常常不够准确：手部要么完全脱离物体，要么会明显穿透物体表面。此外，许多现有数据集中的动作都是孤立且无意义的，即便有文本注释，也难以从中提取出有意义的日常连续活动表征。这些局限性阻碍了能够理解自然人机交互的模型的发展，尤其是在涉及多个物体或需要精细操作的情况下。

HUMOTO数据集通过一套全面的采集方法，推动了人机交互研究的发展。

### 3. 数据采集

![Image](images/1a89a2bddf1ee99dfe5efd37656d9779e493e752ecf973629434ff4947b9753f.jpg)

<div style="text-align: center;">Figure 3. Capture environment. Left: Overview of our capturing environment showing two Kinect cameras, stage, lighting, calibration board, and interaction objects. Right: Calibration procedure with the performer in a standardized position, enabling precise alignment between mocap suit data and camera coordinates.</div>

![Image](images/641d399e453219b416cd443b1c3cfd11e4150dd70f013e56dc9410102f5750de.jpg)

<div style="text-align: center;">Figure 4. 3D Meshes. Artist-modeled objects used in HUMOTO.</div>

该采集方法借鉴了电影制作流程。我们首先利用大语言模型生成描述日常自然活动的脚本，随后精心挑选并建模常见的家用物品，最后在配备双Kinect摄像头的定制运动捕捉舞台上完成交互数据的采集。

#### 3.1. 脚本开发

为解决现有数据集里交互行为往往随意且缺乏关联的问题，我们采取系统化方法，在采集大量运动数据前先编写动作脚本。受电影制作中将动作划分为不同场景的流程启发，我们建立了“场景驱动型大语言模型脚本生成”框架来实现脚本自动化生成。首先，我们将收集到的相关物品按逻辑归类，形成概念上的“房间”；接着把这些分类结果提供给大语言模型，以便在特定场景空间中生成连贯的交互序列，如图2所示。最终得到的叙事中，表演者会执行有明确目的的任务，比如打开抽屉取物品、在桌上整理物件或准备餐食，从而确保每一个动作都有清晰的功能。关于“场景驱动型大语言模型脚本生成”流程的更多细节，可参见补充材料（图14）。

#### 3.2. 环境与数据采集

物体与人类。HUMOTO基于精心挑选的63种标准家用物品，涵盖72个独立功能部件（见图4）。与以往依赖3D扫描的数据集不同，我们聘请专业艺术家来创建精确的数字模型，以捕捉关键细节，包括可活动的零部件以及便于抓握的表面。

---

![Image](images/e9c0abdff2cfc772869034cd832ef3d61df38073e4dbda6ae1098f077e285bcc.jpg)

<div style="text-align: center;">Figure 5. HUMOTO dataset visualization. We depict human-object interactions with text descriptions (left), detailed hand poses, and contact maps highlighting interaction areas (middle), and trajectories of human body parts and objects during activities (right). These complementary representations provide comprehensive data for various applications.</div>

这既保证了几何精度，又保留了实现逼真交互所必需的部位级信息。

我们的表演者身着Rokoko智能服装[^53]并佩戴配套手套，能够以每秒30帧的速率高精度追踪全身动作和手指关节活动。惯性传感器网络提供了可靠的骨骼追踪数据，而专用手套则能捕捉到自然操作物体时所需的精细手部动作。这些骨骼动作随后会被映射到采用标准Mixamo骨骼绑定技术的中性人体模型上[^29]。

环境设置。为了尽量减少Rokoko服装的惯性传感器与周围金属结构之间的磁干扰，我们搭建了一个定制的木制舞台，将表演者抬离地面12英寸。两台Kinect摄像头被放置在两个角落，既能最大化捕捉范围，又能减少复杂交互过程中的遮挡现象。通过校准板建立共同坐标系，实现了摄像头与动作捕捉系统之间的空间对齐。该系统采用双计算机架构：一台负责处理Kinect摄像头画面和物体追踪数据，另一台则负责处理Rokoko动作捕捉数据，两者通过专用网络传输UDP指令以保持精确的时间同步。

采集过程。我们要求表演者带着目的性而非机械式地执行预设的交互动作，既要满足数据分析所需的精确度，又要保留人类动作特有的流畅性。这种方法在采集涉及多个物体的复杂序列时尤为重要——表演者可能会同时操作多个物品，比如打开抽屉并伸手取物，或在桌面上重新摆放多个物件。我们成功采集了这些细微且复杂的多物体交互数据，甚至包括手抖等无意识行为，这些正是真实人类与环境互动的特征。

原始数据处理。技术处理流程主要解决了两大难题：人体动作捕捉数据与物体追踪数据之间的时间同步和空间对齐。在每次采集开始时，表演者会在一个预定位置摆出校准姿势，该位置是Rokoko系统追踪性能最佳的区域。通过校准板参考，该位置会被映射到摄像头坐标系下，从而生成一个用于对齐两个坐标框架的变换矩阵。

物体追踪借助双Kinect摄像头设置来减少遮挡现象。FoundationPose[^66]算法会分析视觉数据以确定每个物体的6自由度姿态。为了解决快速运动过程中帧间一致性假设带来的局限，我们采用了基于掩码像素差异的动态重置机制：一旦检测到大幅度运动，便重新初始化追踪过程。为了进一步提升追踪效果，我们利用SAM2并结合针对性的人工标注来生成物体掩码，确保物体在暂时被遮挡的帧中仍能保持追踪的一致性。

#### 3.3. 数据清洗与标注

多阶段质量保证。我们的质量保证流程采用两阶段方法，结合了技术优化与独立验证。在技术优化阶段，专业艺术家会修正诸如漂移和追踪误差等采集瑕疵，以确保交互过程的逻辑一致性。在随后的验证阶段，独立团队会对序列进行核查，确保其中的人体-物体交互自然且合理，同时解决关节抖动和脚部滑动等问题。我们反复迭代这两个阶段，直至满足所有质量标准，从而确保数据能真实反映自然场景。

---

动作与交互。

文本标注。我们邀请了一个独立小组，根据实际表现为每个序列提供文字描述。这些标注包含三个要素：(1) 简洁的标题，突出序列的主要目标并说明细微差异；(2) 简短的脚本，对场景中的动作与交互进行完整而简练的描述；(3) 详细的长脚本，对序列中的具体动作与交互展开详尽阐述。这种多层次的文本标注提升了数据集在需要视觉与语义双重理解的应用中的实用性，尤其适用于人体-物体交互领域。

通过脚本生成、数据采集、处理、质量控制和标注这一整套流程，我们最终得到了能够同时捕捉物体操作机制及其自然发生顺序的数据集。HUMOTO为研究人员提供了反映人类如何串联多个动作以实现更高层次目标的数据，从而推动人类行为预测[^27]、基于演示的机器人学习[^8] [^13]、虚拟角色动画[^30] [^38] [^52]以及增强现实应用[^36]等领域的研究进展。

### 4. 数据集分析

本节将对动作质量进行定量与定性评估，并将HUMOTO与现有数据集进行对比：BEHAVE[^1]、OMOMO[^39]、IMHD[^82]、ParaHome[^35]以及GRAB[^58]。

#### 4.1. 定量评估

我们采用脚部滑动、抖动、穿透程度、接触熵以及状态一致性等指标来评估人体动作、物体运动及人体-物体交互情况。这些指标能够反映动作质量、交互真实度以及交互状态的多样性。此外，我们引入了一种新指标——运动信噪比（MSNR），用于衡量数据集中动作相对于噪声的质量。MSNR利用关节运动学的信噪比（SNR）[^55]来评估动作质量。较高的SNR值意味着动作更平滑，但过度平滑可能导致重要细节丢失。我们以Mixamo作为人体动作质量的基准，该数据集是由艺术家整理过的行业标准动作捕捉数据集。MSNR值越接近Mixamo的数据集，其动作质量就越可比。更多细节与指标公式详见附录A.2.1。

人体与物体运动对比。HUMOTO在多项关键运动质量指标上均表现出色。该数据集的脚部滑动程度在所有对比数据集中最低，显著优于BEHAVE [^1]和ParaHome [^35]等成熟数据集。这一改进得益于我们严谨的动作捕捉流程以及由专业艺术家主导的质量管控。人体运动的抖动值较低，说明动作平滑自然，仅略逊于IMHD [^82]；不过IMHD中的快速动作在序列中往往会产生类似的加速度变化。虽然Mixamo数据集的脚部滑动和抖动值较高，但需注意Mixamo包含街舞等特殊动作，这类动作本身具有更强的动态性，因此会导致相关指标升高，这与典型的人体-物体交互场景有所不同。

HUMOTO的运动信噪比达到9.42 dB，接近Mixamo的参考值。与IMHD和OMOMO相比，HUMOTO的信噪比略低，这是因为HUMOTO涉及复杂的手部姿态交互，会引入更多高频成分，这些成分常被视作“噪声”。值得注意的是，OMOMO虽然信噪比高但抖动值也高，这说明其信号虽干净却仍存在突兀的动作变化，这一现象值得进一步研究。HUMOTO的高连贯性体现了其动作的一致性与针对性，同时还能保持较强的多样性，尤其是与Mixamo相比更是如此。其他数据集异常高的多样性得分或许反映的是过多噪声而非真正的动作差异，从而人为抬高了其熵值测量结果。

在物体运动方面，HUMOTO的抖动值极低，说明其物体操控效果逼真，这一点与OMOMO和IMHD的高抖动值形成鲜明对比。ParaHome的物体抖动值极低，是因为其长序列中的物体大多处于静止状态，几乎不与人体发生互动。

接触质量对比。HUMOTO在接触质量指标上表现突出，即便包含精细的手部姿态，其穿透程度仍是所有数据集中最低的。相较于BEHAVE和OMOMO，这种数量级的提升体现了我们在捕捉人与物体空间关系方面的卓越精度，这对于构建物理上合理的交互模型至关重要。HUMOTO的接触熵值显示出接触状态间的平衡分布：既比ParaHome更具多样性，又比IMHD和BEHAVE中可能存在噪声的模式更集中，这表明其交互过程富有意义且不会出现过度波动。在状态一致性方面，HUMOTO介于高度一致但可能过于简化的ParaHome与一致性较差的BEHAVE之间，既能保持真实的状态过渡，又避免了可能反映追踪误差的快速波动。

总体而言，HUMOTO结合了精细的手部细节与优异的脚部滑动、物体运动平滑度及低穿透度等指标，因此对于需要物理上精确的人体-物体交互且动作自然的应用场景而言极具价值。

#### 4.2. 定性评估

定量结果会受到数据集特征的影响，而这些特征未必代表质量问题。因此，应整体解读这些结果，而非孤立看待。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Dataset</td><td colspan="5">Human Motion</td><td rowspan="2">Object Motion</td><td colspan="3">Contact</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Foot Sliding (cm) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jerk (m/s $^{3}$) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MSNR (dB) $\rightarrow$</td><td style='text-align: center; word-wrap: break-word;'>Coherence $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Diversity $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Penetration (cm) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Contact Entropy $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>State Consistency $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEHAVE [^1]</td><td style='text-align: center; word-wrap: break-word;'>4.556</td><td style='text-align: center; word-wrap: break-word;'>4.08</td><td style='text-align: center; word-wrap: break-word;'>5.51</td><td style='text-align: center; word-wrap: break-word;'>0.533</td><td style='text-align: center; word-wrap: break-word;'>0.966</td><td style='text-align: center; word-wrap: break-word;'>10.40</td><td style='text-align: center; word-wrap: break-word;'>0.0606</td><td style='text-align: center; word-wrap: break-word;'>2.2915</td><td style='text-align: center; word-wrap: break-word;'>0.0667</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OMOMO [^39]</td><td style='text-align: center; word-wrap: break-word;'>2.130</td><td style='text-align: center; word-wrap: break-word;'>15.10</td><td style='text-align: center; word-wrap: break-word;'>12.37</td><td style='text-align: center; word-wrap: break-word;'>0.619</td><td style='text-align: center; word-wrap: break-word;'>0.978</td><td style='text-align: center; word-wrap: break-word;'>27.40</td><td style='text-align: center; word-wrap: break-word;'>0.0602</td><td style='text-align: center; word-wrap: break-word;'>1.9468</td><td style='text-align: center; word-wrap: break-word;'>0.4837</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IMHD [^82]</td><td style='text-align: center; word-wrap: break-word;'>1.474</td><td style='text-align: center; word-wrap: break-word;'>1.14</td><td style='text-align: center; word-wrap: break-word;'>14.20</td><td style='text-align: center; word-wrap: break-word;'>0.554</td><td style='text-align: center; word-wrap: break-word;'>0.951</td><td style='text-align: center; word-wrap: break-word;'>24.06</td><td style='text-align: center; word-wrap: break-word;'>0.1172</td><td style='text-align: center; word-wrap: break-word;'>2.4265</td><td style='text-align: center; word-wrap: break-word;'>0.2411</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ParaHome [^35]</td><td style='text-align: center; word-wrap: break-word;'>3.008</td><td style='text-align: center; word-wrap: break-word;'>9.19</td><td style='text-align: center; word-wrap: break-word;'>1.82</td><td style='text-align: center; word-wrap: break-word;'>0.592</td><td style='text-align: center; word-wrap: break-word;'>0.980</td><td style='text-align: center; word-wrap: break-word;'>0.08</td><td style='text-align: center; word-wrap: break-word;'>0.2167</td><td style='text-align: center; word-wrap: break-word;'>1.0254</td><td style='text-align: center; word-wrap: break-word;'>0.6815</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HUMOTO</td><td style='text-align: center; word-wrap: break-word;'>0.958</td><td style='text-align: center; word-wrap: break-word;'>1.87</td><td style='text-align: center; word-wrap: break-word;'>9.42</td><td style='text-align: center; word-wrap: break-word;'>0.653</td><td style='text-align: center; word-wrap: break-word;'>0.956</td><td style='text-align: center; word-wrap: break-word;'>1.13</td><td style='text-align: center; word-wrap: break-word;'>0.0068</td><td style='text-align: center; word-wrap: break-word;'>1.4587</td><td style='text-align: center; word-wrap: break-word;'>0.5061</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Mixamo</td><td style='text-align: center; word-wrap: break-word;'>3.184</td><td style='text-align: center; word-wrap: break-word;'>8.14</td><td style='text-align: center; word-wrap: break-word;'>10.88</td><td style='text-align: center; word-wrap: break-word;'>0.616</td><td style='text-align: center; word-wrap: break-word;'>0.958</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr></table>

<div style="text-align: center;">Table 1. Quantitative evaluation across human-object interaction datasets. Metrics defined in Appendix A.2.1 should be interpreted holistically, as optimal values depend on specific applications. The table includes two additional statistical indicators that provide context for understanding dataset characteristics. Bold indicates best, underline indicates  $\underline{\text{second-best}}$. ↑: higher values are better, ↓: lower values are better, and →: values closer to Mixamo are better.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'># hours # sub.</td><td style='text-align: center; word-wrap: break-word;'># obj.</td><td style='text-align: center; word-wrap: break-word;'>hand</td><td style='text-align: center; word-wrap: break-word;'>body</td><td style='text-align: center; word-wrap: break-word;'>max.</td><td style='text-align: center; word-wrap: break-word;'>obj.</td><td style='text-align: center; word-wrap: break-word;'>setup</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GRAB [^58]</td><td style='text-align: center; word-wrap: break-word;'>3.8</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>51</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>standing</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BEHAVE [^1]</td><td style='text-align: center; word-wrap: break-word;'>4.2</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>portable</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterCap [^28]</td><td style='text-align: center; word-wrap: break-word;'>0.6</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>portable</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OMOMO [^39]</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>15</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>portable</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FHPA [^18]</td><td style='text-align: center; word-wrap: break-word;'>0.9</td><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'>26</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>room</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOI4D [^43]</td><td style='text-align: center; word-wrap: break-word;'>22.2</td><td style='text-align: center; word-wrap: break-word;'>9</td><td style='text-align: center; word-wrap: break-word;'>800</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>room</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Chairs [^31]</td><td style='text-align: center; word-wrap: break-word;'>16.2</td><td style='text-align: center; word-wrap: break-word;'>46</td><td style='text-align: center; word-wrap: break-word;'>70</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>standing</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ARCTIC [^11]</td><td style='text-align: center; word-wrap: break-word;'>1.2</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>standing</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NeuralDome [^77]</td><td style='text-align: center; word-wrap: break-word;'>4.6</td><td style='text-align: center; word-wrap: break-word;'>10</td><td style='text-align: center; word-wrap: break-word;'>23</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>standing</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TRUMANS [^33]</td><td style='text-align: center; word-wrap: break-word;'>15</td><td style='text-align: center; word-wrap: break-word;'>7</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>- (proxies)</td><td style='text-align: center; word-wrap: break-word;'>room</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ParaHome [^35]</td><td style='text-align: center; word-wrap: break-word;'>8.1</td><td style='text-align: center; word-wrap: break-word;'>38</td><td style='text-align: center; word-wrap: break-word;'>22</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>22</td><td style='text-align: center; word-wrap: break-word;'>room</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HUMOTO</td><td style='text-align: center; word-wrap: break-word;'>2.2</td><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>63</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>15</td><td style='text-align: center; word-wrap: break-word;'>scene</td></tr></table>

<div style="text-align: center;">Table 2. Dataset statistics. We provide details on the total durations, number of subjects, objects, presence of hand and body data, maximum objects in scene, and data collection setup styles.</div>

由于这些数值会受到运动与交互复杂度等多种因素的影响，因此不能单独解释，所以我们也提供了定性评估。

##### 4.2.1. 视觉质量

我们在图6中展示了视觉质量的对比结果。BEHAVE和OMOMO仅使用标准的手部模板，并未考虑精细的手指姿态，而IMHD虽然提供了更精细的手部建模，但在多个场景中出现了明显的穿透现象。ParaHome能够实现相对灵活的手部运动，不过其捕捉方法（在手上粘贴标签）会干扰自然动作，导致数据集中频繁出现握拳姿态。HUMOTO则展现了更优的手部姿态质量，尤其是在交互过程中。我们还对各数据集中的物体网格质量进行了比较：以往数据集中的物体因3D扫描技术的限制而存在噪声伪影，而我们采用的物体建模流程则能生成干净且精确的模型。

##### 4.2.2. 感知研究

为了补充定量分析结果，我们开展了一项人类感知研究，通过绝对质量评估和直接成对比较的方式，评估HUMOTO与现有HOI数据集的表现。本次在线研究共有26名参与者，他们均为计算人体运动领域的学生和研究人员，我们在此报告研究结果。

![Image](images/e09fd93016c9035e3310c18f88fa0947a14e040d3c411aef5abec084ddf51cc1.jpg)

<div style="text-align: center;">Figure 6. Quality comparison. We compare different datasets on motion dynamics, hand pose accuracy, and object meshes.</div>

绝对质量评估：参与者根据5点李克特量表，对来自HUMOTO、BEHAVE、IMHD、OMOMO和ParaHome的随机选取视频进行评分。HUMOTO在所有类别中均取得了最高分：人体运动（$4.79 \pm 0.49$，其中82%的参与者给出了满分）、物体运动（$4.88 \pm 0.36$）、交互质量（$4.75 \pm 0.57$）以及整体质量（$4.78 \pm 0.43$）。这些分数显著优于所有对比数据集，其中交互质量方面的差距最为明显：BEHAVE仅得到$2.48 \pm 1.05$的分数，就连IMHD等较新的数据集（$3.94 \pm 1.04$）也远远落后。

成对比较：在这项研究中，参与者直接对比了HUMOTO与其他展示相同交互任务的数据集。结果显示，HUMOTO在所有维度上均表现优异：有96%的参与者认为HUMOTO的整体质量优于BEHAVE。即便与更新颖的数据集相比，HUMOTO也始终更受青睐：相较于IMHD，46%的参与者偏好HUMOTO（另有50%认为两者同等优秀）；相较于OMOMO，65%的参与者选择HUMOTO（28%认为两者持平）；相较于ParaHome，82%的参与者倾向HUMOTO（15%认为两者相当）。就交互质量而言，HUMOTO的表现优于BEHAVE（94%的参与者偏好）、OMOMO（65%）和ParaHome（67%）；而与IMHD相比，38%的参与者偏好HUMOTO，46%认为两者同等优秀。

这些结果证明了HU-MOTO在绝对评分和直接比较中均具备卓越的质量。

---

![Image](images/9605a056d2da7fa066bbc0727387ea7e281f2c1e3b7b11c554e6b59c7add3481.jpg)

受试者用左手从深盘中舀取食材。

<div style="text-align: center;">Figure 7. Motion Generation by MotionGPT [^30]. Left: Motion generated from the short scrip. Mid: Motion generated from the long script. Right: Motion with same text annotation from HU-MOTO dataset.</div>

尤其是在交互质量和整体性能方面。详细内容见附录A.3。

### 5. 讨论

基于第3节所述的新颖脚本生成流程、多传感器动作捕捉系统以及严格的质量控制机制，HUMOTO数据集不仅提供了物体操控的详细机制，还呈现了这些操控自然发生的有目的性序列。HUMOTO对广泛的研究和应用具有极高的价值，下文我们将重点介绍其中的部分内容。

人机交互与运动生成。我们的数据集为生成模型的开发提供了支持，这些模型能够将文本描述（例如“拿起咖啡杯并饮用”）转化为逼真的交互序列。HUMOTO数据集中丰富的物体和交互类型，为基于文本的运动合成提供了充足的监督信息。该数据集颇具挑战性，因为目前最先进的人机交互模型尚无法生成涉及多个物体的交互运动。为验证这一点，我们在图7中利用HUMOTO提示词对MotionGPT [^30]进行测试。结果显示，该模型虽能根据较为抽象的描述生成少量合理的运动，但相较于HUMOTO数据集中采集的真实运动，它无法准确生成更精细的运动。这一实验表明，即便最先进的运动生成方法已经用AMASS[^47]和HumanML3D [^21]等大规模数据集进行训练，它们在生成细致的人机交互运动方面仍面临困难。HUMOTO正是为了填补这一空白而设计的。

机器人技术与具身智能。HUMOTO数据集中呈现的交互精度和多样性，使其在机器人研究领域具有特殊价值。为展示我们数据的实用性，我们借助PyBullet [^6]在仿真环境中将HUMOTO与Parahome [^35]进行对比。在为物体赋予权重并将质量参数设置为与Parahome数据集相近后，我们使用CoACD [^65]来获取用于仿真的凸面形状。最终帧与第一帧的叠加效果如下：

![Image](images/54c45e92b85947fbaef0e6e3c340b759f0d255095e192fefe10b8b493909a780.jpg)

<div style="text-align: center;">Figure 8. Data for Robotics. Top: Two simulator visualizations showing human sitting and holding mug. HUMOTO (left) displays minimal displacement, while ParaHome (right) shows significant object displacement during identical actions. Bottom: Hand manipulation comparison between HUMOTO (left) and simulated robotic grasps from DexGraspNet (right).</div>

（见图8顶部）结果显示，与Parahome数据集相比，我们数据集中的物体位移明显更小，而Parahome数据集中被交互的物体会出现大幅移动。抓取合成是机器人领域的热门研究方向 [^46] [^62] [^63]，这类研究通常依赖仿真数据；尽管这些数据能通过仿真器验证，却往往会产生不自然的现象（例如手位于杯子底部）或功能上不合理的抓取方式（例如手指伸进碗内）。对比图8底部HUMOTO与DexGraspNet [^63]中的类似物体抓取结果可知，我们的手部姿态更为自然，且符合日常使用习惯。此外，HUMOTO中以任务为导向的运动数据，能够帮助机器人学习系统培养出可直接应用于现实家庭辅助场景的能力，而非仅仅局限于简单的交互基本动作。

复杂场景下的姿态估计。即便是最先进的人体姿态估计方法，在复杂交互场景中仍面临诸多挑战。HUMOTO为这些难题提供了精确的基准数据，尤其是手部关节的细节信息——当物体部分遮挡人体部位时，这些数据便成为理想训练素材，能帮助模型在视觉受阻的情况下推断关节位置。图9显示，即便是领先的运动和姿态估计模型，如4D Humans [^19]和TRAM [^64]，也难以根据我们数据集的渲染结果预测出正确的姿态。此外，这些模型均未具备手部姿态估计功能。

授权2D生成。生成逼真的图像和视频往往需要难以获取的数据，比如不同视角、物体操控或光照变化等。HUMOTO提供了丰富的人参与的场景数据，可用于模拟物体的添加/移除、隐藏区域的显露，以及光照和阴影效果的捕捉（见图10右侧）。现有的2D模型，如Affordance Diffusion [^74]，常常会产生手部扭曲、姿态模糊等瑕疵（见图10左下角）。HUMOTO则能提供高质量、逼真的复杂人机交互渲染结果。

---

![Image](images/3e8e80595dc14a4cbf30bcae9ad7cabdc231610f0a1a057b2839dd500fb6dbcc.jpg)

<div style="text-align: center;">Figure 9. Human motion and pose estimation results on HUMOTO. Comparison between 4D Humans [^19] (Mid) and TRAM [^64] (Bottom) on rendered images, showing estimated meshes (colored) against ground truth skeleton (white).</div>

![Image](images/2a635e0a9e5136fe9e67bf16cd81b3e5255da6005c549ede18d0af4998f06230.jpg)

<div style="text-align: center;">Figure 10. Image editing. Left: Hand-object interaction image generation conditioned on a mug. Recent work Affordance Diffusion (bottom row) produces physically implausible interactions with imprecise hand positioning, while HUMOTO can provide renderings (top row) of realistic hand placements at various positions. Right: Our dataset can also be used to provide renderings of object addition and removal, capturing differences in shadows and reflections, and facilitating authorized human-in-scene generative model training.</div>

这些交互数据能够为人类-物体交互模型的训练提供更精准的依据 [^73] [^74]。

### 6. 结论与局限性

在这项研究中，我们提出了HUMOTO——一个包含详细且精准的手部动作数据的人类-物体交互综合数据集，同时还提出了一种专门的场景驱动式LLM脚本编写方法，用于分层设计交互脚本。

尽管HUMOTO取得了诸多进展，但仍存在一些局限性。首先，受动作捕捉服尺寸的限制，我们的数据集仅包含一名表演者，这可能会导致数据偏向于特定的人体形态和运动风格。其次，数据集的准备过程需要大量的人工清理和精细化处理捕捉到的动作数据。虽然这种人工干预能确保数据的高质量，但也会耗费大量的资源。为在未来解决这一难题，我们需要更先进、更稳健的姿态估计方法。我们希望HUMOTO能成为开发此类自动化技术的基础训练集，最终减少收集高保真人类-物体交互数据所需的人工投入。

---

## 致谢

作者们感谢Jimei Yang在脚本开发初期提供的讨论，感谢Nathan Carr设计并搭建用于动作捕捉的木质舞台。我们还要感谢Ziwen Chen对动作捕捉服的测试工作，以及Yuan Yao、Hanwen Jiang、Sanghyun Son、Shoubin Yu在安装物体方面给予的帮助。Q. Huang得到了NSF-2047677、NSF-2413161、NSF-2504906、NSF-2515626项目以及Adobe和Google提供的GIFT资助。我们也要感谢UT GenAI中心对GPU使用时间的慷慨支持。

## 参考文献

[^1]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Behave: Dataset and method for tracking human object interactions. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2022. 2, 3, 5, 6

[^2]: Yukang Cao, Liang Pan, Kai Han, Kwan-Yee K. Wong, and Ziwei Liu. AvatarGO: Zero-shot 4d human-object interaction generation and animation. In The Thirteenth International Conference on Learning Representations, 2025. 1

[^3]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43:172–186, 2018. 2

[^4]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, page 02783649241273668, 2023. 1

[^5]: Stefano Corazza, Lars Mündermann, Emiliano Gambaretto, Giancarlo Ferrigno, and Thomas P. Andriacchi. Markerless motion capture through visual hull, articulated icp and subject specific model generation. International Journal of Computer Vision, 87:156–169, 2010. 2

[^6]: Erwin Coumans and Yunfei Bai. Pybullet, a python module for physics simulation for games, robotics and machine learning, 2016. 7

[^7]: Edilson de Aguiar, Carsten Stoll, Christian Theobalt, Naveed Ahmed, Hans-Peter Seidel, and Sebastian Thrun. Performance capture from sparse multi-view video. ACM Trans. Graph., 27(3):1–10, 2008. 2

[^8]: Joseph DelPreto, Jeffrey Ian Lipton, Lindsay M. Sanneman, Aidan J. Fay, Christopher K. Fourie, Changhyun Choi, and Daniela Rus. Helping robots learn: A human-robot master-apprentice model using demonstrations via virtual reality teleoperation. 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 10226–10233, 2020. 5

[^9]: Joseph DelPreto, Chao Liu, Yiyue Luo, Michael Foshey, Yunzhu Li, Antonio Torralba, Wojciech Matusik, and Daniela Rus. Actionsense: A multimodal dataset and recording framework for human activities using wearable sensors

在厨房环境中展开研究。载于《神经信息处理系统会议》，2022年。2

[^10]: Christian Diller and Angela Dai. Cg-hoi: Contact-guided 3d human-object interaction generation. In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2024. 1, 2

[^11]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 6

[^12]: Adam Fishman, Adithyavairavan Murali, Clemens Eppner, Bryan Peele, Byron Boots, and Dieter Fox. Motion policy networks. In Proceedings of the 6th Conference on Robot Learning (CoRL), 2022. 1

[^13]: Zipeng Fu, Tony Zhao, and Chelsea Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. ArXiv, abs/2401.02117, 2024. 2, 5

[^14]: Yasutaka Furukawa and Jean Ponce. Dense 3d motion capture from synchronized video streams. 2008 IEEE Conference on Computer Vision and Pattern Recognition, pages 1–8, 2008. 2

[^15]: Juergen Gall, Carsten Stoll, Edilson de Aguiar, Christian Theobalt, Bodo Rosenhahn, and Hans-Peter Seidel. Motion capture using joint skeleton tracking and surface estimation. 2009 IEEE Conference on Computer Vision and Pattern Recognition, pages 1746–1753, 2009. 2

[^16]: Jiawei Gao, Ziqin Wang, Zeqi Xiao, Jingbo Wang, Tai Wang, Jinkun Cao, Xiaolin Hu, Si Liu, Jifeng Dai, and Jiangmiao Pang. CooHOI: Learning cooperative human-object interaction with manipulated object dynamics. In The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024. 1

[^17]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 409–419, 2017. 2

[^18]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 409–419, 2017. 6

[^19]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. Humans in 4D: Reconstructing and tracking humans with transformers. In ICCV, 2023. 7, 8

[^20]: Riza Alp Güler, Natalia Neverova, and Iasonas Kokkinos. Densepose: Dense human pose estimation in the wild. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7297–7306, 2018. 2

## [^21]: Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5152–5161, 2022. 7

---

[^22]: Vladimir Guzov, Julian Chibane, Riccardo Marin, Yannan He, Torsten Sattler, and Gerard Pons-Moll. Interaction replica: Tracking human-object interaction and scene changes from human motion. 2024 International Conference on 3D Vision (3DV), pages 1006–1016, 2022. 2

[^23]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3193–3203, 2019. 2

[^24]: Shangchen Han, Beibei Liu, Robert Y. Wang, Yuting Ye, Christopher D. Twigg, and Kenrick Kin. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics (TOG), 37:1–10, 2018. 2

[^25]: Mohamed Hassan, Yunrong Guo, Tingwu Wang, Michael Black, Sanja Fidler, and Xue Bin Peng. Synthesizing physical character-scene interactions. In ACM SIGGRAPH 2023 Conference Proceedings, New York, NY, USA, 2023. Association for Computing Machinery. 1, 2

[^26]: Li Hu. Animate anyone: Consistent and controllable image-to-video synthesis for character animation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 8153–8163, 2024. 1

[^27]: Zhiming Hu, Zheming Yin, Daniel Haeufe, Syn Schmitt, and Andreas Bulling. Hoimotion: Forecasting human motion during human-object interactions using egocentric 3d object bounding boxes. IEEE Transactions on Visualization and Computer Graphics, 2024. 5

[^28]: Yinghao Huang, Omid Tehari, Michael J. Black, Dimitrios Tzionas Max Planck Institute for Intelligent Systems, Tubingen, Germany, University of Amsterdam, Amsterdam, and The Netherlands. Intercap: Joint markerless 3d tracking of humans and objects in interaction. In German Conference on Pattern Recognition, 2022. 6

[^29]: Adobe Systems Inc. Mixamo, 2018. Accessed: 2025-03-07. 3, 4

[^30]: Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, and Tao Chen. Motiongpt: Human motion as a foreign language. Advances in Neural Information Processing Systems, 36, 2024. 5, 7

[^31]: Nan Jiang, Tengyu Liu, Zhexuan Cao, Jieming Cui, Zhiyuan Zhang, Yixin Chen, Heng Wang, Yixin Zhu, and Siyuan Huang. Full-body articulated human-object interaction. 2023 IEEE/CVF International Conference on Computer Vision (ICCV), pages 9331–9342, 2022. 6

[^32]: Nan Jiang, Zimo He, Zi Wang, Hongjie Li, Yixin Chen, Siyuan Huang, and Yixin Zhu. Autonomous character-scene interaction synthesis from text instruction. In SIGGRAPH Asia 2024 Conference Papers, New York, NY, USA, 2024. Association for Computing Machinery. 1

[^33]: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, and Siyuan Huang. Scaling up dynamic human-scene interaction modeling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1737–1747, 2024. 3, 6

[^34]: Roland Kehl and Luc Van Gool. Markerless tracking of complex human motions from multiple views. Comput. Vis. Image Underst., 104:190–209, 2006. 2

[^35]: Jeonghwan Kim, Jisoo Kim, Jeongheon Na, and Hanbyul Joo. Parahome: Parameterizing everyday home activities towards 3d generative modeling of human-object interactions. ArXiv, abs/2401.10232, 2024. 1, 2, 3, 5, 6, 7

[^36]: Yeonjoon Kim, Hangi Park, Seungbae Bang, and Sung-Hee Lee. Retargeting human-object interaction to virtual avatars. IEEE Transactions on Visualization and Computer Graphics, 22:2405–2412, 2016. 2,5

[^37]: Makito Kobayashi, Chen-Chieh Liao, Keito Inoue, Sentaro Yojima, and Masafumi Takahashi. Motion capture dataset for practical use of ai-based motion editing and stylization, 2023. 2

[^38]: Lucas Kovar, Michael Gleicher, and Frédéric H. Pighin. Motion graphs. Seminal Graphics Papers: Pushing the Boundaries, Volume 2, 2002. 5

[^39]: Jiaman Li, Jiajun Wu, and C. Karen Liu. Object motion guided human motion synthesis. ACM Transactions on Graphics (TOG), 42:1–11, 2023. 2, 3, 5, 6

[^40]: Jiaman Li, Alexander Clegg, Roozbeh Mottaghi, Jiajun Wu, Xavier Puig, and C. Karen Liu. Controllable human-object interaction synthesis. In ECCV, 2024. 1

[^41]: Liulei Li, Wenguan Wang, and Yi Yang. Human-object interaction detection collaborated with large relation-driven diffusion models. In The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024. 1,2

[^42]: Jiehong Lin, Lihua Liu, Dekun Lu, and Kui Jia. Sam-6d: Segment anything model meets zero-shot 6d object pose estimation. arXiv preprint arXiv:2311.15707, 2023. 2

[^43]: Yunze Liu, Yun Liu, Chen Jiang, Zhoujie Fu, Kangbo Lyu, Weikang Wan, Hao Shen, Bo-Hua Liang, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20981–20990, 2022. 6

[^44]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. arXiv preprint arXiv:2401.08399, 2024. 2, 3

[^45]: Matthew M. Loper, Naureen Mahmood, and Michael J. Black. MoSh: Motion and shape capture from sparse markers. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 33(6):220:1–220:13, 2014. 2

[^46]: Jiaxin Lu, Hao Kang, Haoxiang Li, Bo Liu, Yiding Yang, Qixing Huang, and Gang Hua. Ugg: Unified generative grasping. In Computer Vision – ECCV 2024: 18th European Conference, Milan, Italy, September 29–October 4, 2024, Proceedings, Part LXVII, page 414–433, Berlin, Heidelberg, 2024. Springer-Verlag. 1, 7

[^47]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. Amass: Archive of motion capture as surface shapes. In The IEEE International Conference on Computer Vision (ICCV), 2019. 2, 7

## [^48]: Esteve Valls Mascaro, Daniel Sliwowski, and Dongheui Lee. HOI4ABOT: Human-object interaction anticipation for hu

---

人类意图读取与协作机器人相关研究。载于第七届机器人学习年会，2023年。1, 2

[^49]: Hyeongjin Nam, Daniel Sungho Jung, Gyeongsik Moon, and Kyoung Mu Lee. Joint reconstruction of 3d human and object via contact-based refinement transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10218–10227, 2024. 1

[^50]: Jeeseung Park, Jin-Woo Park, and Jong-Seok Lee. Viplo: Vision transformer based pose-conditioned self-loop graph for human-object interaction detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 17152–17162, 2023. 1, 2

[^51]: Xiaogang Peng, Yiming Xie, Zizhao Wu, Varun Jampani, Deqing Sun, and Huaizu Jiang. Hoi-diff: Text-driven synthesis of 3d human-object interactions using diffusion models. arXiv preprint arXiv:2312.06553, 2023. 1, 2

[^52]: Xue Bin Peng, Pieter Abbeel, Sergey Levine, and Michiel van de Panne. Deepmimic: Example-guided deep reinforcement learning of physics-based character skills. ACM Trans. Graph., 37(4):143:1–143:14, 2018. 1, 2, 5

[^53]: Rokoko. Smartsuit pro ii. <https://www.rokoko.com/products/smartsuit-pro>, 2022. 4

[^54]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21064–21074, 2022. 2

[^55]: Claude E. Shannon. Communication in the presence of noise. Proceedings of the IRE, 37:10–21, 1949. 5

[^56]: Sebastian Starke, He Zhang, Taku Komura, and Jun Saito. Neural state machine for character-scene interactions. ACM Trans. Graph., 38(6), 2019. 1

[^57]: Carsten Stoll, Nils Hasler, Juergen Gall, Hans-Peter Seidel, and Christian Theobalt. Fast articulated motion tracking using a sums of gaussians body model. 2011 International Conference on Computer Vision, pages 951–958, 2011. 2

[^58]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020. 2, 3, 5, 6

[^59]: Rong Tian, Zijing Zhao, Weijie Liu, Haoyan Liu, Weiquan Mao, Zhe Zhao, and Kimmo Yan. Samp: A model inference toolkit of post-training quantization for text processing via self-adaptive mixed-precision. In Conference on Empirical Methods in Natural Language Processing, 2022. 2

[^60]: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, and Stan Birchfield. Deep object pose estimation for semantic robotic grasping of household objects. ArXiv, abs/1809.10790, 2018. 2

[^61]: Weilin Wan, Lei Yang, Lingjie Liu, Zhuoying Zhang, Ruixing Jia, Yi-King Choi, Jia Pan, Christian Theobalt, Taku Komura, and Wenping Wang. Learn to predict how humans manipulate large-sized objects from interactive motions. IEEE Robotics and Automation Letters, 7(2):4702–4709, 2022.

[^62]: Weikang Wan, Haoran Geng, Yun Liu, Zikang Shan, Yaodong Yang, Li Yi, and He Wang. Unidexgrasp++: Im-

通过几何感知式课程学习以及迭代式通用-专用模型学习，验证灵巧抓取策略的有效性。载于《IEEE/CVF国际计算机视觉会议论文集》，第3891–3902页，2023年。1, 7

[^63]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 11359–11366, 2022. 7

[^64]: Yufu Wang, Ziyun Wang, Lingjie Liu, and Kostas Daniilidis. Tram: Global trajectory and motion of 3d humans from in-the-wild videos. In European Conference on Computer Vision, 2024. 7, 8

[^65]: Xinyue Wei, Minghua Liu, Zhan Ling, and Hao Su. Approximate convex decomposition for 3d meshes with collision-aware concavity and tree search. ACM Transactions on Graphics (TOG), 41(4):1–18, 2022. 7

[^66]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 17868–17879, 2024. 2, 4

[^67]: Zhen Wu, Jiaman Li, Pei Xu, and C. Karen Liu. Human-object interaction from human-level instructions, 2024. 1

[^68]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. ArXiv, abs/1711.00199, 2017. 2

[^69]: Xianghui Xie, Bharat Lal Bhatnagar, and Gerard Pons-Moll. Chore: Contact, human and object reconstruction from a single rgb image. In European Conference on Computer Vision (ECCV). Springer, 2022. 1, 2

[^70]: Xianghui Xie, Xi Wang, Nikos Athanasiou, Bharat Lal Bhatnagar, Chun-Hao P. Huang, Kaichun Mo, Hao Chen, Xia Jia, Zerui Zhang, Liangxian Cui, Xiao Lin, Bingqiao Qian, Jie Xiao, Wenfei Yang, Hyeongjin Nam, Daniel Sungho Jung, Kihoon Kim, Kyoung Mu Lee, Otmar Hilliges, and Gerard Pons-Moll. Robin challenge: Reconstruction of human object interaction, 2024. 1

[^71]: Sirui Xu, Zhengyuan Li, Yu-Xiong Wang, and Liang-Yan Gui. InterDiff: Generating 3d human-object interactions with physics-informed diffusion. In ICCV, 2023. 1, 2

[^72]: Sirui Xu, Ziyin Wang, Yu-Xiong Wang, and Liangyan Gui. Interdreamer: Zero-shot text to 3d dynamic human-object interaction. In The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024. 1

[^73]: Zihui Xue, Mi Luo, Changan Chen, and Kristen Grauman. HOI-swap: Swapping objects in videos with hand-object interaction awareness. In The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024. 8

[^74]: Yufei Ye, Xueting Li, Abhinav Gupta, Shalini De Mello, Stan Birchfield, Jiaming Song, Shubham Tulsiani, and Sifei Liu. Affordance diffusion: Synthesizing hand-object interactions. In CVPR, 2023. 7, 8

## [^75]: Hangjie Yuan, Shiwei Zhang, Xiang Wang, Samuel Albanie, Yining Pan, Tao Feng, Jianwen Jiang, Dong Ni

---

Yingya Zhang和Deli Zhao。Rlipv2：关系型语言-图像预训练的快速扩展。载于《IEEE/CVF国际计算机视觉会议论文集》，第21649–21661页，2023年。1

[^76]: Frederic Z Zhang, Yuhui Yuan, Dylan Campbell, Zhuoyao Zhong, and Stephen Gould. Exploring predicate visual context in detecting of human-object interactions. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10411–10421, 2023. 1

[^77]: Juze Zhang, Haimin Luo, Hongdi Yang, Xinru Xu, Qianyang Wu, Ye Shi, Jingyi Yu, Lan Xu, and Jingya Wang. Neural-dome: A neural modeling pipeline on multi-view human-object interactions. In CVPR, 2023. 6

[^78]: Juze Zhang, Jingyan Zhang, Zining Song, Zhanhe Shi, Chengfeng Zhao, Ye Shi, Jingyi Yu, Lan Xu, and Jingya Wang. Hoi-m3: Capture multiple humans and objects interaction within contextual environment. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 516–526, 2024. 2, 3

[^79]: Jason Y. Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. In European Conference on Computer Vision (ECCV), 2020. 1, 2

[^80]: Xiaohan Zhang, Bharat Lal Bhatnagar, Vladimir Guzov, Sebastian Starke, and Gerard Pons-Moll. Couch: Towards controllable human-chair interactions. ArXiv, abs/2205.00541, 2022. 2

[^81]: Xiaohan Zhang, Bharat Lal Bhatnagar, Sebastian Starke, Vladimir Guzov, and Gerard Pons-Moll. Couch: Towards controllable human-chair interactions. In European Conference on Computer Vision (ECCV). Springer, 2022. 2

[^82]: Chengfeng Zhao, Juze Zhang, Jiashen Du, Ziwei Shan, Junye Wang, Jingyi Yu, Jingya Wang, and Lan Xu. I'm hoi: Inertia-aware monocular capture of 3d human-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 729–741, 2024. 2, 5, 6

[^83]: Yue Zhu, Nermin Samet, and David Picard. H3wb: Human3.6m 3d wholebody dataset and benchmark. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 20166–20177, 2023. 3