# CHOLR：基于接触感知的4D手-物体交互重建
徐浩，香港中文大学，中国
刘一林，伦敦大学学院，英国
王银桥，香港中文大学，中国
傅志荣，香港中文大学，中国
尼洛伊·J·米特拉，伦敦大学学院、Adobe研究院，英国
图1. 从单目RGB视频中，CHOIR能够重建开放世界真实场景下的4D手-物体交互（HOI）数据，包括3D手部运动、3D物体形状、6D姿态轨迹以及接触证据。热图展示了HOI的接触信息（相关视频见补充材料）。
我们想探究：能否将日常开放世界的单目视频转化为可复用的4D交互基元——即随时间变化的关节化手部运动、带6D姿态的物体形状，以及接触发生的时间与位置。具备这种能力就能实现真实交互的大规模挖掘；除了重建之外，还能支持场景感知的合成与规划。然而，从具有挑战性的单目视频中重建手-物体交互（HOI）仍十分困难：现有方法往往假设物体已知或场景经过精心挑选，而且单独估计的手部和物体在杂乱背景、遮挡以及未见过的物体几何结构影响下很容易出现错位。针对这一场景，我们提出了CHOIR——一种面向单目相机的基于接触感知的HOI重建框架，它将接触作为手部与物体之间的显式耦合信号。CHOIR首先利用开放世界的视觉先验初始化一个粗略的、不考虑接触的4D HOI序列；接着引入生成式的HOI空间校正模块来预测光线深度修正值，从而校正手部与物体的相对位置，再在校正后的几何结构上得出每帧的初始接触对应关系；最后，通过结合动态更新的接触约束进行基于接触感知的联合优化，以确保几何、时间和接触的一致性。在受控及具有挑战性的视频上的实验表明，CHOIR在物体重建精度、物理合理性以及时间一致性方面均优于现有最先进方法。
## 1 引言
“世界只能通过行动而非沉思来把握。手比眼睛更重要……手是思维的锋刃。”
——雅各布·布罗诺夫斯基，《人类的攀升》（1973年）
布罗诺夫斯基的论述从接触的角度定义了手-物体交互（HOI）：接触正是感知转化为行动的关键节点。受此启发，我们的目标是从单目RGB视频中还原出底层的4D交互数据：关节化的手部运动、随时间变化的物体形状与6D姿态，以及接触发生的时间与位置。我们重点关注开放世界的操作视频，这类视频中的物体及周围杂物事先并不可知，还包括存在频繁遮挡和单目深度歧义的挑战性接触交互阶段。如果这一目标能够实现，就能将日常视频转化为可复用的交互痕迹，用于挖掘、理解和场景感知合成。
尽管进展迅速，但当前的手物交互（HOI）流水线在未经专门设计的场景下仍面临挑战。许多方法[Liu等人，2021年、2025年；Wang等人，2025年]都是在严格的假设条件下开发并验证的，比如已知物体模型或类别、少量杂乱物体、轻微遮挡，或是经过精心控制的采集环境。此外，这些方法往往采用弱耦合方式估计手和物体，缺乏重建过程中全程接触等显式约束。因此，当被操纵的物体未被见过、部分遮挡或视觉上难以辨识时，性能便会下降——而这恰恰是Epic-Kitchens [Damen等人，2018年]和TASTE-Rob [Zhao等人，2025年]这类日常单目视频所呈现的场景。合成的手物交互数据[Hasson等人，2019年；Wang等人，2022年]以及实验室采集的数据[Chao等人，2021年；Hampali等人，2020年；Taheri等人，2020年；Yang等人，2022年；Zhan等人，2024年]虽能提供宝贵的监督信息，但要大规模获取包含物体形状、物体姿态、手部运动及显式接触的多样化、符合物理规律的4D交互轨迹仍十分困难。
在此类情况下，接触信息虽然稀疏，却是手物耦合的强大线索，不过只有在手与物体的相对位置得到校正后，它才能发挥可靠作用。因此，难点并不在于
---
仅仅让每一帧看起来合理而已。一条有用的4D手物交互轨迹必须同时满足图像证据、物体的度量几何特征、时间上连贯的手部运动，以及符合物理规律的手物接近关系。这些要求彼此紧密关联：视觉上合理的物体掩码可能仍对应着错误的度量尺度，平滑的手部轨迹可能会偏离物体，而在校正相对深度之前测得的接触线索可能会强化错误的表面对应关系。
这促使我们采用分阶段重建策略：首先建立无接触约束的4D序列（阶段1：开放世界手物交互分析），接着校正交互帧中的手物位置（阶段2：生成式手物交互空间矫正），最后稳定随时间变化的耦合运动（阶段3：基于接触信息的优化）；详见图2。拆分这些步骤还能简化流水线的诊断过程：每个阶段在最终联合优化前都有明确的输入、输出和故障模式，而不会将尺度、接触和时间方面的误差隐藏在复杂的优化过程中。
我们设计了CHOIR，这是一种能从单目RGB视频中恢复结构化4D手物交互轨迹且保持手物耦合关系显式化的、基于接触信息的方法。首先，我们提取2D交互线索并初始化一个粗略的、无接触约束的4D手物交互序列。物体是利用SAM-3D-Objects [SAM 3D Team等人，2025年]从锚定帧中重建的，通过双向跟踪并结合严格的姿态接受规则来保持一致性，再经独立拟合优化，从而在进行接触推理前使序列在视觉上对齐。与此同时，手部运动则利用最新的手部重建先验[Pavlakos等人，2024年；Yu等人，2025年]进行初始化与时间上的稳定处理。
其次，即便手和物体是独立初始化的，仍可能因相对深度错误而发生错位，从而导致基于邻近性的接触搜索失败，或使手附着在错误的物体表面。这使得接触关系的构建成为空间校正的结果，而非独立的接触图预测问题：在询问哪些表面会发生接触之前，必须首先对手和物体进行空间一致性校正。为此，我们的生成式HOI空间校正模块利用流匹配先验来预测交互帧中的光线深度校正，将手-物体几何结构优化为符合接触逻辑的关系，同时保留图像证据。随后，从校正后的几何结构中提取初始接触对应关系，即手部接触顶点和物体的重心锚点。这些对应关系作为优化的初始化依据，而非最终的重建结果。最后，基于这种校正后的初始化数据启动顾及接触关系的联合优化，定期根据当前几何结构重建软接触缓存，并结合接触、穿透、轮廓、锚点和时间损失来优化整个4D序列。
我们在可控且极具挑战性的单目视频上对CHOIR进行了评估。在HO3D数据集[Hampali等人，2020年]上，CHOIR在物体重建和手-物体对齐方面均优于现有最先进的基线方法[Fan等人，2024年；Liu等人，2025年；Wang等人，2025年]。针对真实场景的评估，我们基于TASTE-Rob数据集[Zhao等人，2025年]中的100段视频基准以及自行拍摄的视频，报告了无需参考的物理与时间指标，并补充了多视角视频对比以进行时间维度评估。这些结果表明，我们的校正与顾及接触关系的优化方法在保持图像对齐的同时，提升了物理合理性与稳定性。详见图1。
总而言之，我们的贡献主要有三点。首先，我们提出了一种开放世界的单目4D HOI重建方法，该方法能够提取2D交互线索、执行受控的物体跟踪，并生成粗略的、不考虑接触关系的序列。其次，我们提出了生成式HOI空间校正机制，用于在构建每帧的初始重心接触对应关系之前预测光线深度校正。第三，我们开发了顾及接触关系的联合优化算法，该算法具备动态更新的接触约束，并已在可控及真实场景视频中验证了有效性。
## 2 相关工作
2D手-物体理解。可靠的2D空间理解是3D/4D手-物体重建的前提。早期的研究，如MediaPipe[Lugaresi等人，2019年]和100DOH[Shan等人，2020年]，为2D手部理解建立了重要的基准；而近期的大规模研究方法[Cheng等人，2023年；Potamias等人，2025年；Xu等人，2022年]则进一步提升了性能。然而，背景杂乱的无约束视频[Zhao等人，2025年]中的域偏移问题仍难以解决。
单目3D/4D手部重建。3D手部重建技术已从单图像网格恢复发展到4D跟踪。早期将MANO [Romero et al. 2017]模型拟合到2D观测数据上的参数化方法[Boukhayma et al. 2019]已被基于Transformer的架构所取代。值得注意的是，HaMeR [Pavlakos et al. 2024]利用大规模视觉Transformer实现稳健的单图像估计，而WiLoR [Potamias et al. 2025]则通过优化姿态来改善图像对齐效果。在视频处理方面，SeqHAND [Yang et al. 2020]和Deformer [Fu et al. 2023]等方法会强制保证时间上的平滑性。近期的研究如Dyn-HaMR [Yu et al. 2025]、HaWoR [Zhang et al. 2025b]以及HaPTIC [Ye et al. 2026]通过建模相机动态和多帧先验，进一步推进了4D手部运动恢复技术。尽管这些方法在孤立手部运动恢复方面表现优异，却无法重建被操纵物体或物体接触情况。相比之下，我们致力于解决开放世界中的手物交互问题，在明确的物理约束下同时捕捉手部与物体的运动。
单目3D/4D手物重建。恢复手物交互信息面临物体几何形状未知、严重遮挡以及动力学耦合等挑战。早期基于学习的方法主要聚焦于单目手部运动捕捉[Zhou et al. 2020]或预扫描物体模板的对齐[Hasson et al. 2019]。为了突破固定模板的限制，后续研究采用了神经隐式表示[Chen et al. 2022; Ye et al. 2022]。在视频处理领域，HOLD [Fan et al. 2024]旨在实现跨类别的时间序列重建，而DiffHOI [Ye et al. 2023]和G-HOP [Ye et al. 2024]则利用基于扩散模型的优化技术。最近，生成式先验（如EasyHOI [Liu et al. 2025]、MagicHOI [Wang et al. 2025]）能够合成合理的手物姿态以应对遮挡问题。这一研究方向也受益于3D生成模型领域的整体进步[Hu et al. 2023b; Hui et al. 2022b; Liu et al. 2023]，包括可控3D及场景生成[Feng et al. 2025; Hu et al. 2023a, 2024, 2026; Hui et al. 2022a; Liu et al. 2026; Yan et al. 2026]、3D场景分割[Zhu et al. 2024a, 2025a,b]以及几何分析[Du et al. 2025; Zhu et al. 2021, 2024b]。概念上相关的BimArt [Zhang et al. 2025a]提出了一种用于手物交互的生成式先验，但侧重于双手交互的前向合成。
---
Fig. 2. Method overview. Stage 1: From a monocular video, we first obtain 2D HOI cues and initialize 3D hand/object reconstructions to form a coarse 4D HOI sequence. Stage 2: A flow-matching generative HOI spatial rectification module rectifies hand-object relative placement before initial contact correspondence construction. Stage 3: Hierarchical contact-aware optimization refines the sequence across phases, yielding physically consistent 4D hand-object interactions.
尽管取得了这些进展，在开放世界环境中恢复高保真度的4D手物交互信息仍非易事。首先，虽然HOLD、DIFFHOI和G-HOP等隐式表示具备拓扑灵活性，但在缺乏明确3D先验的情况下，从单目输入中保留几何细节仍颇具挑战。其次，生成式方法主要侧重于视觉上的合理性。EasyHOI [Liu et al. 2025]在单视图重建方面表现出色，却并未显式建模4D运动所需的时间连贯性与接触一致性；而MagicHOI [Wang et al. 2025]对初始化误差、遮挡以及遮挡区域的接触情况较为敏感。相比之下，CHOIR旨在实现带有明确接触对应关系的自动化4D重建，并采用顾及接触情况的联合优化策略。最后，虽然基于优化的后处理技术在确保多领域有效性方面效果显著[Grady et al. 2021; Shen et al. 2025]，但实现贯穿整个交互生命周期的自动化、基于物理规律的4D重建仍鲜有研究涉及。
## 3 概述
问题定义。我们的目标是从开放世界环境下拍摄的单目RGB视频中，恢复出手与物体交互（HOI）的连贯4D表征。具体而言，输入视频可能记录的是完整的原子级交互过程——手部接近静态物体、抓取并操纵该物体，最后将物体放回场景（见图3）；也可能仅包含物体的主动操纵阶段。最终输出包括手部运动、物体形状、物体6D位姿轨迹以及接触证据，以实现空间和时间上一致的4D HOI重建。为使这一目标可达成，我们假定物体是刚性的。
## 该任务面临诸多挑战
(i) 2D感知困境。专门的交互检测器[Cheng et al. 2023; Leonardi et al. 2024; Shan et al. 2020]难以泛化到未见过的场景，而通用模型[Karaev et al. 2025; Potamias et al. 2025; Ravi et al. 2024]也无法直接理解HOI语义。目前尚无现成的流程能够稳健地识别、分割并跟踪交互过程中的手部及对应的特定物体。
Fig. 3. Problem definition: our goal is to reconstruct 4D HOI from a monocular RGB video of a complete atomic interaction that includes (i) hand approaching a static object; (ii) grasping and manipulating the object; and (iii) putting the object back. Active-manipulation-only clips are also allowed.
(ii) 3D空间歧义。单目图像存在深度和尺度歧义，尤其是在手与物体相互遮挡的情况下，导致手部与物体之间难以实现可靠的空间对齐。这种错位会导致基于邻近度的接触搜索失败，或将手部错误地附着到物体表面。
(iii) 4D物理复杂性。扩展到4D维度时，需要在存在接触的帧和阶段保持物理上合理的接触关系，同时在无接触帧中保留图像对齐性。由于接触证据稀疏且依赖具体阶段，必须同时强制满足时间上的物理有效性要求，以及穿透、轮廓、锚点和运动先验约束；否则重建结果容易出现物体互相穿透、漂浮伪影或时间漂移等问题。
方法概述。我们的核心发现是：接触在交互过程中提供了明确且可迁移的手与物体耦合线索。尽管单目感知得到的手部和物体估计结果存在噪声，但经过生成式HOI空间校正以及基于接触的测试时优化后，就能将其提炼为物理上一致的关系。CHOIR包含三个阶段（图2）：(i) 开放世界HOI分析阶段提取2D交互线索，恢复手/物体几何结构，跟踪运动，并进行粗略的独立拟合，从而得到与接触无关的四维HOI序列（第4.1节）；(ii) 生成式HOI空间校正阶段利用流匹配先验预测光线深度修正值，以校正交互帧中的手与物体位置；随后在校正后的几何结构上读取每帧的接触对应点作为重心锚点（第4.2节）；
---
(iii) 基于接触的联合优化阶段以校正后的初始化结果和接触证据为基础，结合动态重构的软接触约束，以及轮廓、穿透、锚点和时间损失项，共同优化手/物体轨迹（第4.3节）。
## 4 方法
### 4.1 第一阶段：开放世界HOI分析
给定单目RGB视频，第一阶段会提取可靠的图像证据，并将其转化为独立的、符合度量标准且不受接触方式影响的4D HOI序列（见图2）。该序列提供了粗略的交互几何信息，第二阶段会对这些信息进行校正，随后在第三阶段开展基于接触关系的优化。我们在下文概述主要组成部分，详细内容请参阅补充材料。
步骤1：2D交互线索提取。对于每一帧，我们估算2D交互线索：手部边界框、手性以及2D关节；交互物体的边界框；还有有模态/无模态的手-物体掩码。通用基础模型[Cheng et al. 2023; Potamias et al. 2025]在分布外视频中仍存在手性错误、漏检以及物体定位不准的问题。因此，我们采用自适应流程，在选定的交互帧周围挖掘物体的伪标签，并利用这些标签对WiLoR[Potamias et al. 2025]进行微调，增加一个交互物体框预测头；同时采用SAM 2传播[Ravi et al. 2024]以及模态视频分割[Chen et al. 2025]来获取时间上完整的掩码。更多细节请参阅补充材料。
步骤2：3D几何恢复。HaMeR[Pavlakos et al. 2024]会初始化每帧的MANO手部姿态和相机相关平移参数。SAM-3D-Objects[SAM 3D Team et al. 2025]则从物体锚定帧中重建出规范的物体网格、度量尺度以及初始6D姿态。该锚定帧默认为第一帧，但也可以是任何物体可见性可靠的帧，其重建结果即为用于后续跟踪的固定物体几何形状。
步骤3：4D运动跟踪。为了将孤立的3D估计值转化为连贯的重建帧序列，VIPE[Huang et al. 2025]提供相机估计值，而Dyn-HaMR[Yu et al. 2025]则将初始的MANO估计值稳定为4D手部轨迹。对于物体而言，我们使用SAM-3D-Objects作为受保护的跟随跟踪器：从锚定帧的重建结果出发，我们固定形状、尺度和平移尺度潜变量，仅更新旋转和平移姿态潜变量，从而得出随时间变化的双向6D物体姿态。异常姿态会被剔除，缺失的姿态会被插值补充，最终得到的密集物体姿态序列则为步骤4中的粗略孤立拟合提供初始数据。具体策略详见补充材料。
步骤4：粗略孤立序列拟合。上述得到的跟踪4D序列仍只是粗略的初始结果：物体在遮挡情况下可能会出现姿态漂移，手部估计值也可能存在2D投影误差或不合理的关节活动。因此，我们在第1阶段的HOI空间校正之前先执行孤立拟合步骤，因为该步骤仍依赖图像证据和通用先验，其目标是为第2阶段生成时间上可用的粗略4D HOI序列。
针对手部，我们通过优化MANO参数来确保图像对齐、单目深度一致性、合理的关节活动以及时间稳定性：
$$ \mathcal{L}_{h}^{\mathrm{i s o}}=\mathcal{L}_{2D}^{h}+\lambda_{\mathrm{d e p t h}}\mathcal{L}_{\mathrm{d e p t h}}^{h}+\lambda_{\mathrm{a n a t}}\mathcal{L}_{\mathrm{a n a t}}^{h}+\lambda_{\mathrm{p r i o r}}\mathcal{L}_{\mathrm{p r i o r}}^{h}+\lambda_{\mathrm{t e m p}}^{h}\mathcal{L}_{\mathrm{t e m p}}^{h}, $$
其中，$\mathcal{L}_{2D}^{h}$用于使投影后的关节与2D证据保持一致；$\mathcal{L}_{depth}^{h}$利用手部掩码内的中等度量深度来稳定手腕深度；$\mathcal{L}_{anat}^{h}$可抑制解剖学上不合理的手指姿态；$\mathcal{L}_{prior}^{h}$能将解 gently 地锚定在HaMeR的初始结果上；$\mathcal{L}_{temp}^{h}$则能减少帧与帧之间的抖动。对于物体而言，当渲染掩码与目标掩码不重叠时，直接的掩码IoU优化会产生微弱或不稳定的梯度。因此，我们采用具有时间和静态一致性的互补轮廓项来进行优化：
$$ \mathcal{L}_{o}^{\mathrm{i s o}}=\lambda_{\mathrm{r e p}}\mathcal{L}_{\mathrm{r e p}}+\lambda_{\mathrm{a t t r}}\mathcal{L}_{\mathrm{a t t r}}+\lambda_{\mathrm{t e m p}}^{o}\mathcal{L}_{\mathrm{t e m p}}^{o}+\lambda_{\mathrm{s t a t}}\mathcal{L}_{\mathrm{s t a t}}^{o}, $$
其中，$\mathcal{L}_{\text{rep}}$ 用于惩罚超出非模态掩码范围的渲染像素，防止渲染物体渗入背景区域；$\mathcal{L}_{\text{attr}}$ 会将投影顶点拉向未被覆盖的目标掩码区域，即便在掩码尚未重叠时也能提供有效的梯度信息；$\mathcal{L}_{\text{temp}}^{o}$ 能够平滑遮挡情况下的姿态变化；而 $\mathcal{L}_{\text{stat}}^{o}$ 则可将静态片段与一致的物体状态绑定。简而言之，借助渲染轮廓 $\mathbf{M}$、非模态掩码 $\hat{\mathbf{M}}$、物体顶点 $\mathcal{V}$、相机投影 $\Pi(\cdot)$、图像域 $\Omega$ 以及采样的未被覆盖的目标掩码像素 S，
$$ \begin{align*}\mathcal{L}_{\mathrm{rep}}&=\frac{1}{|\Omega|}\sum_{\mathbf{p}\in\Omega}\left[\max\left(\mathbf{M}_{\mathbf{p}}-\hat{\mathbf{M}}_{\mathbf{p}},0\right)\right]^{2},\\\mathrm{and}\mathcal{L}_{\mathrm{attr}}&=\frac{1}{|\mathcal{S}|}\sum_{\mathbf{p}\in\mathcal{S}}\min_{\mathbf{v}\in\mathcal{V}}\|\mathbf{p}-\Pi(\mathbf{v})\|_{2}^{2}.\end{align*} $$
在此步骤之后，我们会应用射线尺度对齐技术，使物体序列沿相机射线滑动，从而让它的交互深度统计特性与手部匹配，在保持图像空间轮廓拟合度的同时，优化第二阶段矫正所需的深度初始化参数。关于精确的目标像素采样、EMA归一化、权重及调度策略的详细信息，请参阅补充材料。
### 4.2 第二阶段：生成式HOI空间矫正
第一阶段生成的序列虽然在视觉上对齐，但不一定符合物理规律：手部可能会悬停、穿透物体，或在遮挡情况下发生偏移。第二阶段首先会在交互范围内矫正手与物体的相对位置，将不稳定的手部估计值调整到符合接触逻辑的对齐状态，随后才会构建接触锚点。接着，它会从矫正后的几何结构中提取每帧的初始接触对应关系，这些关系由手部顶点和重心式的物体锚点表示，而非直接输出最终优化的姿态。
建模交互不一致性。我们利用经过物理过滤的大规模合成抓取数据，学习条件化的合理抓取模型。我们以DexGraspNet [Wang et al. 2022]为基础，针对不同形状、随机尺寸及初始位置的物体（包括桌面和空中场景）模拟抓取过程。随后，我们使用物理引擎（即PyBullet [Coumans and Bai 2016]）剔除不稳定的抓取情况，仅保留在重力和扰动作用下仍能保持稳定的配置，例如摇晃或外力干扰的情况。最终得到一组符合接触要求的目标抓取样本。
---
Fig. 4. Our flow-matching-based generative HOI spatial rectification.
为了模拟单目视觉中的不确定性，我们为每个模拟的手部抓取姿态生成一个对应的含噪源抓取样本，具体方法是引入各向异性的射线对齐扰动，以突出深度不确定性：沿相机射线方向采用较大的方差，平面内噪声较小，同时保留MANO参数中的解剖结构特征。因此，每对训练数据包含：(i) 含噪的手部估计值及观察方向，(ii) 物体几何结构与姿态上下文，以及 (iii) 带有接触监督的物理上合理的目标抓取样本。我们的配对数据示例如图6所示。
生成式HOI空间矫正。给定物体几何结构及初始的（可能未对齐的）手部估计值，我们的目标并非回归单一的确定性姿态，而是建模具有接触一致性的物理上合理的修正分布。因此，我们将矫正过程表述为一个条件生成过程，用以预测遮挡情况下的接触一致性手-物对齐结果。
具体来说，我们用表面点（包含法向量）来表示物体，并将模型基于当前的3D手部关节、观察方向和物体尺度进行条件化。我们将主要的单目视觉误差模式（即深度歧义）参数化为沿相机光线的1D偏移量，并训练一个基于流匹配的模型 [Lipman et al. 2023]，该模型能将带噪声的深度偏移映射到与物体几何形状一致的校正后偏移量，如图4所示。设 $P^0$ 表示采样的物体表面点，$n^0$ 表示对应的法向量，$J^h$ 表示带噪声的手部关节，$\mathbf{r}$ 表示观察光线，s 表示物体尺度。模型会预测沿观察光线 $\mathbf{r}$ 的标量修正值，因为这一深度方向能够捕捉主要的单目视觉歧义，同时保留图像空间中的手部形态。利用流匹配模型 $v_0$、时间 $\tau \in [0, 1]$ 和状态 $z_\tau \in \mathbb{R}^1$（其中 $z_\tau$ 是源偏移量与校正后目标偏移量之间的带噪声的中间光线偏移状态），即可得到校正速度：
$$ \frac{\mathrm{d}z_{\tau}}{\mathrm{d}\tau}=v_{\theta}(z_{\tau},\tau\mid\mathbf{J}^{h},\mathbf{r},s,\mathbf{P}^{o},\mathbf{n}^{o}). $$
对于交互范围内的每一帧，通过采样这种条件化流即可预测光线深度修正值，从而将带噪声的手部估计位置置于可能接触物体的表面附近，同时保留其在图像空间中的特征。随后，根据这种校正后的手-物几何关系来计算初始接触锚点。关于Transformer分词、自注意力/交叉注意力模块以及AdaLN时间条件化的细节，详见补充材料。
接触对应关系建立。对于每一帧交互画面，校正后的手部估计结果会呈现出稀疏的接触结构，供第4.3节中的接触感知优化使用。为了在修正后的相对几何关系中计算锚点，我们首先通过Procrustes配准将每帧的物体网格对齐到其规范空间中，再相应地变换校正后的手部顶点。在这一规范空间内，我们对物体表面进行密集采样，并为每个候选的MANO接触顶点检索最接近的K个表面点；这些候选点涵盖指尖、指垫和手掌区域。只有当满足以下两个几何条件时，才能确立有效的对应关系：(i) 欧几里得距离低于预设的邻近阈值；(ii) 物体表面方向与对应指垫的法向量相容，以确保锚点位于物理上合理的接触面。经几何验证的表面点随后会被投影到物体网格上，并被参数化为重心坐标（face_id, barycentric）。这些每帧的初始锚点将为第3阶段提供接触证据，在该阶段中，软接触缓存会在优化过程中被重新构建并稳定下来。
### 4.3 第3阶段：接触感知的HOI优化
第1阶段输出的是视觉上对齐但未必符合物理规律的结果，第2阶段则提供了带有接触对应关系的校正后交互序列，但尚未得到最终姿态。第3阶段会以第2阶段的对应关系作为接触证据，并结合第1阶段的图像对齐与时间先验，从校正后的初始状态出发，共同优化手部与物体的运动轨迹。
对于每个视频片段，我们将其划分为最多五个阶段——静止前、接近、操作、释放和静止后——不过许多片段仅包含其中的一部分（见图3）。当存在接触对应关系时，接触损失项才会生效；而轮廓、穿透、锚点和时间项则在整个序列中提供上下文信息。关于阶段检测的细节、阈值和调度规则，详见补充材料。接触感知优化过程会最小化五个加权目标函数：
$$ \mathcal{L}_{\mathrm{HOI}}=\lambda_{\mathrm{con}}\mathcal{L}_{\mathrm{con}}+\lambda_{\mathrm{pen}}\mathcal{L}_{\mathrm{pen}}+\lambda_{\mathrm{sil}}\mathcal{L}_{\mathrm{sil}}+\lambda_{\mathrm{anc}}\mathcal{L}_{\mathrm{anc}}+\lambda_{\mathrm{temp}}\mathcal{L}_{\mathrm{temp}}. $$
$\mathcal{L}_{\text{con}}$会将活跃的接触顶点拉向物体表面锚点；$\mathcal{L}_{\text{pen}}$会惩罚物体间的相互穿透现象；$\mathcal{L}_{\text{sil}}$会使渲染出的轮廓与无模态掩码对齐；$\mathcal{L}_{\text{anc}}$会收集物体/手部锚点以及可靠的2D/解剖学证据；而$\mathcal{L}_{\text{temp}}$则用于保证运动的平滑性。
接触与穿透约束。从第2阶段修正后的交互帧开始，优化器会定期根据当前手-物体几何结构重建一个软性的top-K对应缓存。每个活跃的MANO接触顶点都会与由面ID和重心坐标表示的物体表面锚点相关联。$\mathcal{L}_{\text{con}}$中的一个代表性项是软对应损失。
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{c o n t a c t}}=\frac{\sum_{t,i}c_{t,i}\sum_{k=1}^{K}\omega_{t,i,k}\|\mathbf{v}_{t,i}^{h}-\mathbf{a}_{t,i,k}^{o}\|_{2}^{2}}{\sum_{t,i}c_{t,i}},}\end{array} $$
其中，$\mathbf{v}_{t,i}^h$表示帧t时的手部接触顶点；$c_{t,i}$是其接触置信度/门控值，该值通过利用邻近性、法线兼容性以及时间记忆从重建的缓存中计算得出；$\omega_{t,i,k}$是基于锚点距离计算得到的、针对top-K候选物体锚点的归一化softmax权重；$\mathbf{a}_{t,i,k}^o$则是动态重建的重心物体锚点。如果某个视频片段中没有活跃的接触点，我们就跳过$\mathcal{L}_{contact}$。与此同时，一个单向穿透项会在所有优化帧上发挥作用，将位于物体内部的手部顶点推回物体表面。设$\mathcal{V}^h = \{\mathbf{v}^h\}$为
---
手部网格顶点的集合，$d_o(\mathbf{v}^h)$为带符号的穿透深度——在物体内部为正值，外部为非正值，而$\epsilon_{\text{pen}}$为一个较小的容差阈值。我们采用
$$ \mathcal{L}_{\mathrm{p e n}}=\frac{1}{|\mathcal{V}^{h}|}\sum_{\mathbf{v}^{h}}\max\left(d_{o}(\mathbf{v}^{h})-\epsilon_{\mathrm{p e n}},0\right). $$
这一阶段允许物体姿态可训练，其中轮廓和锚点组可防止接触约束将物体移出图像中的证据范围。
轮廓、锚点和时间稳定性。当接触证据稀疏或具有阶段性特征时，剩余的损失项族可稳定优化过程。我们采用以下简洁的定义：
$$ \begin{aligned}\mathcal{L}_{\mathrm{sil}}&=\frac{1}{T}\sum_{t}\ell_{\mathrm{mask}}\Big(\mathcal{R}(\mathbf{O}_{t}),\hat{\mathbf{M}}_{t}^{o}\Big),\\\mathcal{L}_{\mathrm{anc}}&=\mathcal{L}_{2D}^{h}+\mathcal{L}_{\mathrm{anat}}^{h}+\mathcal{L}_{\mathrm{pose}}^{h}+\mathcal{L}_{\mathrm{pose}}^{o},\\ and\mathcal{L}_{\mathrm{temp}}&=\frac{1}{T}\sum_{t}\left(\left\|\Delta\mathbf{x}_{t}\right\|_{2}^{2}+\left\|\Delta^{2}\mathbf{x}_{t}\right\|_{2}^{2}\right),\end{aligned} $$
其中T为优化帧的数量；$\mathcal{R}(\mathbf{O}_{t})$是来自物体状态$\mathbf{O}_{t}$的渲染物体轮廓；$\hat{\mathbf{M}}_{t}^{o}$是无模态物体掩码；$\ell_{\mathrm{mask}}$是将渲染轮廓与目标无模态掩码之间的均方误差作为轮廓差异的计算方式；$\mathcal{L}_{2D}^{h}$、$\mathcal{L}_{2anat}^{h}$、$\mathcal{L}_{pose}^{h}$、$\mathcal{L}_{pose}^{o}$分别对应2D手部关节、3D手部解剖结构、手部姿态和物体姿态上的锚点项；$\mathbf{x}_{t}$则汇总了优化后的手部姿态、手腕运动和物体姿态，其中$\Delta$和$\Delta^{2}$分别表示一阶和二阶时间有限差分。
关于接触缓存的构建、损失分量及权重、阈值和优化计划的详细信息，请参阅补充材料。
## 5 实验
基线对比。我们将CHOIR与五种具有代表性的最先进无模板HOI重建基线进行比较：iHOI [Ye等人，2022]、DiffHOI [Ye等人，2023]、HOLD [Fan等人，2024]、EasyHOI [Liu等人，2025]以及MagicHOI [Wang等人，2025]。
训练数据集。为了训练我们的生成式HOI空间校正模块（见第4.2节），我们以DexGraspNet [Wang等人，2022]中的GraspPair为基础构建训练集。GraspPair是一个大规模合成数据集，包含来自133个类别的5355个物体的$\sim$50万对手-物体抓取样本。平均而言，每个物体对应200种物理上可行的抓取配置，从而提供了多样化的兼容3D手部姿态。这些样本用于指导流匹配模型学习合理的手-物体空间关系，使其能泛化到未见过的物体上。
评估基准。我们利用来自三个来源的数据来评估指标准确性和开放世界鲁棒性。(i) HO3D [Hampali et al. 2020]提供了实验室采集的带有真实3D标注的视频；按照标准流程 [Fan et al. 2024; Wang et al. 2025]，我们选用其中的14个序列子集进行定量指标评估。(ii) TASTE-Rob [Zhao et al. 2025]提供了多样化的单目序列，这些序列包含杂乱背景下的刚性物体以及长尾场景，我们从中选取了70个具有挑战性的单手视频片段。(iii) 自行拍摄的视频包含30个随意录制的视频片段，涵盖了各种物体、场景和运动类型，用于测试无约束条件下的泛化能力。为了评估野外环境下的性能——此时无法获得3D真实值——
Table 1. Quantitative comparison on HO3D using ground-truth reconstruction metrics (top) and reference-free metrics (bottom). Best results are bold.
| Method | CD | F5 | F10 | MPJPE | $CD_{{h}}$ | RS |
| [cm] $\downarrow$ | [%] $\uparrow$ | [%] $\uparrow$ | [mm] $\downarrow$ | [cm] $\downarrow$ | $\downarrow$ |
| iHOI | 2.37 | 35.78 | 62.11 | 27.75 | 25.45 | 0.17 |
| DiffHOI | 2.30 | 39.59 | 64.49 | 16.02 | 33.33 | 0.13 |
| EasyHOI | 1.86 | 46.10 | 70.92 | 16.69 | 19.55 | 0.28 |
| HOLD | 1.31 | 57.20 | 80.23 | 30.79 | 21.28 | 0.62 |
| MagicHOI | 0.87 | 69.72 | 92.15 | 4.62 | 2.39 | 0.11 |
| Ours | 0.77 | 72.33 | 96.03 | 5.55 | 2.41 | 0.10 |
| Method | mIoU | Pen. Ratio | H-O Dist. | $Acc_{{h}}$ | $Acc_{{o}}$ | |
| [%] $\uparrow$ | [%] $\downarrow$ | [cm] $\downarrow$ | [cm/fr $^{{2}}$] $\downarrow$ | [cm/fr $^{{2}}$] $\downarrow$ | |
| HOLD | 75.01 | 17.72 | 0.10 | 2.07 | 1.03 | |
| MagicHOI | 70.57 | 14.11 | 0.36 | 9.51 | 7.51 | |
| Ours | 85.87 | 4.58 | 0.06 | 1.75 | 1.08 | |
我们整理了一个综合基准，结合了TASTE-Rob和自行拍摄的视频。对于每个基线模型，我们仅在其至少三分之一帧能生成重建结果的序列上计算指标。由于基线模型的输出中存在异常值，因此我们在野外对比中报告均值、标准差和中位数。详细内容见补充材料。
评估指标。我们评估手部姿态、物体形状以及手-物对齐质量。遵循 [Fan et al. 2024; Wang et al. 2025; Ye et al. 2023] 的方法，我们报告手部关节的基于根节点的MPJPE（毫米）以及物体重建的Chamfer距离（CD，厘米）。对于其余HO3D以物体为中心的指标，我们依照MagicHOI评估协议 [Wang et al. 2025] 来计算局部形状细节的5毫米阈值F分数（F5）和10毫米阈值F分数（F10）。对于手相对对齐而言，我们将预测的物体网格根据估计的手部根节点进行平移，随后计算手相对Chamfer距离（ $CD_h$）。最后，我们报告相对尺度（RS），其中 $s_{ICP}$ 是用于将预测网格与真实值对齐的ICP缩放因子。若 $\frac{1}{s_{ICP}} - 1$，则RS = $s_{ICP} < 1$；若 $\frac{1}{s_{ICP}}$，则RS = 1 - $s_{ICP} \geq 1$；RS = 0表示物理尺寸正确。
由于野外基准缺乏3D真实值，我们采用以下无需参考的指标。(i) 物理合理性：我们计算手-物最近距离（H-O Dist.）和穿透体积比（Pen. Ratio），以评估漂浮和相交伪影的程度。(ii) 视频对齐：我们计算渲染出的3D轮廓与追踪到的2D掩码之间的掩码交并比（mIoU），以评估空间保真度。(iii) 时间平滑性：我们报告每帧加速度，单位为厘米/帧 $^2$。Acc $_h$ 是各帧间3D手部关节的二阶有限差分平均值。Acc $_c$ 是基于物体中心计算的，可用于评估那些重建物体几何形状在帧间发生变化的基线模型。
实现细节。我们使用PyTorch [Paszke et al. 2019]实现该方法，并采用Adam优化器 [Kingma and Ba 2015]来训练前馈模型（第二阶段）以及优化第一阶段和第三阶段中的手/物姿态。详情请参阅补充材料。
定量对比。表1报告了HO3D数据集上的真实重建指标和无需参考的指标结果。CHOIR在物体CD、F分数和尺度误差方面均取得了最佳表现。
---
Table 2. Quantitative comparison on the in-the-wild benchmark. HOLD-valid and MagicHOI-valid denote subsets where the corresponding baseline reconstructs at least one third of frames. Numbers in parentheses indicate subset sizes.
| Method | Evaluation set | mIoU [%] $\uparrow$ | Pen. Ratio [%] $\downarrow$ | H-O [cm] $\downarrow$ | Acc $_{h}$ [cm/fr $^{2}$] $\downarrow$ | Acc $_{o}$ [cm/fr $^{2}$] $\downarrow$ |
| Mean | Std | Med. | Mean | Std | Med. | Mean | Std | Med. | Mean | Std | Med. | Mean | Std | Med. |
| HOLD | HOLD-valid (30) | 27.19 | 29.08 | 10.18 | 1.08 | 1.81 | 0.06 | 194.71 | 528.52 | 5.62 | 36.03 | 114.39 | 4.15 | 32.61 | 73.61 | 3.11 |
| Ours | HOLD-valid (30) | 78.85 | 11.40 | 83.43 | 6.12 | 5.28 | 4.26 | 0.09 | 0.08 | 0.06 | 0.43 | 0.25 | 0.41 | 0.12 | 0.08 | 0.10 |
| MagicHOI | MagicHOI-valid (22) | 23.20 | 21.88 | 16.59 | 3.95 | 6.41 | 1.07 | 6.82 | 10.53 | 2.20 | 3.71 | 5.15 | 2.02 | 2.70 | 5.10 | 1.18 |
| Ours | MagicHOI-valid (22) | 77.89 | 11.62 | 80.56 | 6.51 | 5.99 | 4.26 | 0.11 | 0.08 | 0.06 | 0.36 | 0.21 | 0.36 | 0.11 | 0.08 | 0.10 |
| Ours | All videos (100) | 76.65 | 11.93 | 79.13 | 5.81 | 4.92 | 4.00 | 0.10 | 0.13 | 0.06 | 0.42 | 0.26 | 0.41 | 0.12 | 0.08 | 0.10 |
这表明该方法能更精确地恢复物体形状和6D姿态。MagicHOI [Wang et al. 2025]通过冻结HaMeR [Pavlakos et al. 2024]的手部估计结果，获得了更低的MPJPE，而我们的方法仅将HaMeR用作初始化，并联合优化手和物体的对齐。更低的穿透比、更小的手-物距离以及更平滑的手部运动，进一步体现了接触感知优化在物体重建之外的优势。
表2报告了没有3D真实值的野外视频的平均値、标准差和中位数。HOLD和MagicHOI分别在30个和22个视频上生成了可用的重建结果；由于基于COLMAP的跟踪出现故障，大多数其他序列无法成功重建。为了公平比较，我们在相同的基线验证子集以及完整基准测试上对CHOIR进行评估。即便在验证子集上，各基线方法的中位mIoU值也较低，且手与物体间的距离较大，而CHOIR在子集和完整评估中均表现出更强的对齐效果以及更平滑的手/物体运动轨迹。
定性比较。我们首先在HO3D数据集和野外视频上对CHOIR与基线方法进行比较。图10展示了HO3D上的比较结果，图5则对比了CHOIR与HOLD、Magic-CHOI在TASTE-Rob数据集及自拍视频上的表现——这些场景下基线流程能够生成可用的重建结果。与那些常出现接触缺失、物体相互穿透或手部漂浮现象的基线方法相比，我们提出的接触感知优化算法能够实现更紧密的手-物体对齐，且物理上不合理的穿透现象也更少。图9进一步展示了我们的方法所处理的具有挑战性的野外案例：第1列中的小型物体、第2列中随时间变化的手部姿态与接触状态，以及第3列中接触面积较小的透明物体。可视化的接触图揭示了由CHOIR定位出的合理的手-物体接触区域。补充网页提供了CHOIR与HOLD、Magic-HOI的多视角视频对比，以及接触图的时间维度可视化结果。这些可视化结果显示，CHOIR能够随时间保持连贯的手-物体几何结构与接触关系。Easy-HOI虽在定量评估中有所体现，但由于其逐帧输出不稳定，故未纳入视频展示。
开放世界/野外场景相关讨论。我们从四个方面阐明“开放世界”和“野外场景”的范畴：(i) 在物体方面，CHOIR不需要特定类别的模板或已知的3D形状；物体几何结构是从视频中重建的，因此能够处理未见过的日常物体。(ii) 在摄像头方面，CHOIR可在单目RGB视频上运行，无需校准好的静态设置，且能在统一的摄像头/重建坐标系下重建手-物体运动。(iii) 在物体运动方面，我们恢复的是包含旋转和平移的刚性6D位姿轨迹，而非仅局限于物体中心或图像空间掩码层面的跟踪。
Fig. 5. Comparison with HOLD and MagicHOI on in-the-wild videos.
(iv) 在接触方面，我们的公式会在存在接触的帧上构建接触证据，并在优化过程中更新软接触约束，因此交互过程中活动的手部顶点可以发生变化。不过，我们目前还无法处理任意的重握动作或高度非刚性的物体形变问题。
消融实验。我们在表3的野外基准测试上进行了消融实验，其中无参考指标直接衡量视觉对齐、手-物体距离、穿透程度以及时间平滑性。第(a)行和第(b)行表明，第一阶段术语$\mathcal{L}_{rep}$和$\mathcal{L}_{attr}$对于孤立物体的拟合至关重要：移除它们会显著降低mIoU值并增大手-物体距离。第(c)行移除了第二阶段的矫正步骤；尽管轮廓得分保持相似，但手-物体距离却几乎翻倍，这证实了该阶段主要用于修正相对位置。第(d)–(f)行分别单独考察了第三阶段中的穿透、接触和时间相关术语，展示了它们对穿透处理、接触对齐和运动平滑性的影响。我们将穿透比率与手-物体距离结合起来解读，因为低穿透得分也可能源于手部与物体重建结果过于分离。图8显示，移除关键组件会导致物体姿态变差、接触缺失或穿透伪影更严重。图7进一步表明，第二阶段矫正能在建立接触对应关系之前改善手-物体对齐效果。为完整起见，HO3D的消融实验结果详见补充材料。
## 6 结论
我们提出了CHOIR，这是一个用于从单目视频中重建开放世界4D手-物体交互的端到端框架。其核心创新在于采用“以接触为先”的建模方式：我们将接触视为可传递的量，用以关联手部动作与物体几何结构，即便初始单目估计存在噪声或被遮挡，也能实现稳健的联合恢复。通过结合生成式HOI空间矫正与基于接触的测试时优化技术，CHOIR
---
Table 3. Ablation study on the in-the-wild benchmark.
| Method | mIoU | Pen. Ratio | H-O Dist. | Acc $_{{h}}$ | Acc $_{{o}}$ |
| [%] $\uparrow$ | [%] $\downarrow$ | [cm] $\downarrow$ | [ $cm/fr^{{2}}$] $\downarrow$ | [ $cm/fr^{{2}}$] $\downarrow$ |
| (a) Stage 1 w/o $\mathcal{L}_{rep}$ | 59.24 | 7.82 | 0.13 | 0.43 | 0.09 |
| (b) Stage 1 w/o $\mathcal{L}_{attr}$ | 53.06 | 2.50 | 0.42 | 0.45 | 0.08 |
| (c) w/o Stage 2 rect. | 76.78 | 5.30 | 0.22 | 0.36 | 0.12 |
| (d) Stage 3 w/o $\mathcal{L}_{pen}$ | 76.65 | 6.37 | 0.10 | 0.42 | 0.12 |
| (e) Stage 3 w/o $\mathcal{L}_{contact}$ | 76.65 | 4.61 | 0.12 | 0.42 | 0.12 |
| (f) Stage 3 w/o $\mathcal{L}_{temp}$ | 76.65 | 5.90 | 0.11 | 0.43 | 0.12 |
| (g) Full (Ours) | 76.65 | 5.81 | 0.10 | 0.42 | 0.12 |
能够生成时间上一致的3D手部运动、物体形状及6D姿态轨迹，还能识别明确的抓取/释放事件，并且能泛化到未见过的物体以及杂乱的真实场景。
局限性与未来工作。我们依赖上游的2D和3D初始化结果；物体分割/跟踪或初始重建中的误差可能会影响到最终的HOI结果。该优化过程还依赖于有效的锚定帧，当物体在序列开头或结尾被严重遮挡时，优化效果会变差。目前我们仅处理单手交互，并未建模双手操作或更复杂的动力学现象。在未来的工作中，我们将利用输入视频中的多视角线索来优化物体几何结构，扩展框架以支持双手交互，并将当前的迭代方法发展为前馈模型。
---
物体
配对数据
物体
配对数据
物体
配对数据
物体
配对数据
物体
图6. 来自我们的GraspPair数据集的示例。每个案例包含一个包含4,096个点的物体点云、源手姿态（红色）、目标手姿态（蓝色）以及相机光线方向（黄色）。
配对数据
HO3D
第二阶段之前
第二阶段之后
真实值
第二阶段之前
第二阶段之后
真实值
TASTE-Rob
第二阶段之前
第二阶段之后
最终结果
自行采集数据
第二阶段之前
第二阶段之后
最终结果
图7. HO3D、TASTE-Rob以及自行采集视频中第二阶段校正与接触对应关系的可视化结果。我们对比了第二阶段前后的重建效果，若有真实数据则与之对比，否则则与最终优化结果对比。
自行采集数据
无 $\mathcal{L}_{rep}$
无 $\mathcal{L}_{attr}$
无第二阶段校正
无 $L_{contact}$
无 $\mathcal{L}_{pen}$
完整流程
图8. CHOIR核心组件相对于完整流程的定性消融实验结果。第一行显示相机视角，第二行显示侧视图。
TASTE-Rob
TASTE-Rob
自行采集数据
Fig. 9. Visual results of our CHOIR on the challenging cases in TASTE-Rob and self-captured videos. Each case shows the input view, a novel-view rendering with the estimated contact map, and the rest-pose hand contact map. Temporal results are shown in videos on the supplementary webpage.
---
Fig. 10. Qualitative comparison between CHOIR and state-of-the-art methods on HO3D. Red circles indicate regions of interest for comparing baseline reconstructions with ours. See videos on the supplementary webpage for temporal comparisons.
---
## 补充材料
## 7. 实现细节
本补充材料提供了CHOIR三个阶段的实现细节，涵盖了阈值设定、优化项、调度策略以及工程决策等内容，这些内容因篇幅限制未在主论文中阐述。
### 7.1 第一阶段：开放世界HOI分析
二维线索提取。给定RGB视频后，我们会估算每帧的手部边界框、手部左右属性、二维手部关节、交互物体边界框以及手部/物体掩码。用于检测器适配的物体伪标签是从运动选定的交互帧周围挖掘得到的。我们将该帧定义为指尖速度曲线中的第一个局部最小值，这一时刻通常对应抓取或操作动作的起始点。在该帧处，我们以指尖为中心生成10×10的点网格，将其作为提示输入给SAM 2 [Ravi et al. 2024]，从而收集候选物体掩码。我们保留那些时间运动轨迹与手部轨迹相关的候选掩码，由此得到与被操作物体相关联而非背景干扰物的物体伪标签。随后，这些伪标签会被用来微调WiLoR [Potamias et al. 2025]，为其添加交互物体边界框头模块。
掩码传播与无模态细化。测试时，我们以物体检测置信度最高的帧作为初始物体掩码，利用SAM 2 [Ravi et al. 2024]在视频中双向传播该掩码。由于传播得到的掩码是有模态的，可能会遗漏被手部遮挡的区域，因此我们采用无模态视频分割器 [Chen et al. 2025]对其细化处理。得到的无模态轮廓会被物体姿态跟踪器以及第一阶段和第三阶段轮廓损失函数所使用。
手部与物体初始化。HaMeR [Pavlakos et al. 2024]会在每帧中初始化MANO [Romero et al. 2017]手部参数。VIPE [Huang et al. 2025]负责估算相机外参，Dyn-HaMR [Yu et al. 2025]则对手部轨迹进行时间上的稳定化处理。对于物体而言，SAM-3D-Objects [SAM 3D Team et al. 2025]会从物体锚定帧重建出规范网格以及初始的度量尺度6D姿态，锚定帧默认取第一帧，但也可替换为任何物体可见性良好的帧。这一锚定帧的重建结果定义了后续跟踪器所使用的固定物体几何形状。
受保护的SAM-3D物体遵循跟踪机制。SAM-3D物体[SAM 3D团队等，2025年]是一种单帧重建器。因此，我们采用受保护的跟随跟踪流程来获取密集的物体姿态序列。首先，在物体锚定帧上执行完整的单帧重建，并存储推断出的物体状态。对于后续帧，我们以该锚定帧状态为初始值，保持形状、缩放和平移缩放潜变量固定不变，仅更新旋转和平移姿态潜变量。这样既能保留物体的几何形状和度量尺度，又能让每一帧根据可见图像信息重新估计姿态。在跟随推理过程中，我们还可选择性地应用弱姿态关键帧速度正则化器：
$$ \mathbf{v}_{t}^{(R^{o},T^{o})}\gets\mathbf{v}_{t}^{(R^{o},T^{o})}-\lambda_{\mathrm{t e m p}}\left(\mathbf{x}_{t}^{(R^{o},T^{o})}-\hat{\mathbf{x}}_{t,\mathrm{p r e v}}^{(R^{o},T^{o})}\right), $$
此处$\mathbf{x}_t^{(R^o,T^o)}$表示当前的旋转/平移姿态潜变量，$\hat{\mathbf{x}}_{t,\text{prev}}^{(R^o,T^o)}$表示传播后的姿态关键帧参考值，而$\lambda_{\text{temp}} = 0.5$则代表其他相关量。主要的安全机制是角度约束：如果候选帧与上一个已接受的跟踪估计值之间的四元数角度距离超过$60^\circ$，则该候选帧会被拒绝。我们会尝试使用递增的随机种子重新计算最多三次；若所有尝试均失败，该帧就会被标记为缺失，且上一个已接受的估计值也不会被更新。缺失的旋转数据通过球面线性插值（SLERP）填补，平移数据则通过线性插值填补。由此得到的密集物体姿态将用于初始化第1阶段的孤立序列拟合（步骤4）。
静态物体初始化。在进行完整序列拟合之前，我们会利用可用的可见静态片段来优化共享的物体姿态和缩放参数。优化目标结合了柔和的轮廓掩码损失和度量深度损失：
$$ \mathcal{L}_{\mathrm{s t a t i c}}=\mathcal{L}_{\mathrm{m a s k}}+\mathcal{L}_{\mathrm{d e p t h}}. $$
此处$\mathcal{L}_{\text{mask}}$表示渲染轮廓与模态物体掩码之间的均方误差，$\mathcal{L}_{\text{depth}}$表示渲染深度与SAM-3D物体所使用的MoGeV2度量深度估计之间的均方误差，该误差是在既被渲染又属于模态掩码范围内的像素上计算的。这两项损失会经过指数移动平均归一化处理，并赋予相等的相对权重。我们使用Adam[Kingma和Ba，2015年]优化器进行500次迭代，学习率为$10^{-3}$；随后会进行ICP合理性检查，只有当引发的缩放变化处于[0.7, 1.3]范围内且非模态掩码的IoU至少为0.8时，该结果才会被接受。
孤立序列拟合。第1阶段的孤立拟合会在第2阶段的交互物体空间校正之前，优化物体轨迹和MANO[Romero等人，2017年]手部参数。它采用了主论文中提出的排斥项和吸引项来进行物体轮廓拟合，同时结合时间/静态物体正则化以及手部姿态正则化。对于物体而言，我们进行如下优化：
$$ \begin{array}{r}{\mathcal{L}_{o}^{\mathrm{i s o}}=\mathcal{L}_{\mathrm{r e p}}+\mathcal{L}_{\mathrm{a t t r}}+\mathcal{L}_{\mathrm{t e m p}}^{o}+\mathcal{L}_{\mathrm{s t a t}}^{o}.}\end{array} $$
在实现过程中，我们对排斥项和吸引项进行了指数移动平均归一化处理，$\mathcal{L}_{\mathrm{rep}}$、$\mathcal{L}_{\mathrm{attr}}$、$\mathcal{L}_{\mathrm{temp}}^{o}$和$\mathcal{L}_{\mathrm{stat}}^{o}$对应的权重分别为1.5、1.0、10和1。物体的时间项表达式为：
$$ \mathcal{L}_{temp}^{o}=\mathcal{L}_{sm-rot}+\mathcal{L}_{sm-tr}, $$
其中$\mathcal{L}_{sm-rot}$和$\mathcal{L}_{sm-tr}$分别用于对物体旋转和平移施加时间平滑约束。设$\mathbf{M}$表示渲染后的物体轮廓，$\hat{\mathbf{M}}$表示目标非模态物体掩码，$\Omega$表示图像域。排斥损失会对目标掩码之外渲染出的像素进行惩罚：
$$ \mathcal{L}_{\mathrm{r e p}}=\frac{1}{|\Omega|}\sum_{\mathbf{p}\in\Omega}\left[\max\left(\mathbf{M}_{\mathbf{p}}-\hat{\mathbf{M}}_{\mathbf{p}},0\right)\right]^{2}. $$
吸引损失则从目标掩码区域中抽取2000个样本，并且对尚未被渲染轮廓覆盖的目标像素给予更高的概率。我们从以下范围抽取像素：
$$ \mathcal{P}(\mathbf{p})\propto\hat{\mathbf{M}}_{\mathbf{p}}+\alpha_{\mathrm{u n c o v e r}}\hat{\mathbf{M}}_{\mathbf{p}}(1-\mathbf{M}_{\mathbf{p}})+\varepsilon, $$
其中$\alpha_{uncover} = 20$。采样集合S仅限于目标掩码像素，且偏向于未被覆盖的区域。与主论文保持一致，我们随后定义：
$$ \mathcal{L}_{\mathrm{a t t r}}=\frac{1}{\left|S\right|}\sum_{\mathbf{p}\in S}\min_{\mathbf{v}\in\mathcal{V}}\left\|\mathbf{p}-\Pi(\mathbf{v})\right\|_{2}^{2}. $$
---
这里，S 表示采样的像素集，$\mathcal{V}$ 表示物体顶点集，而 $\Pi(\cdot)$ 表示相机投影。静态一致性项将交互前后的静态片段与片段级别的平均物体姿态联系起来：
$$ \mathcal{L}_{stat}^{o}=\sum_{S\in\{pre,post\}}\left(\|\mathbf{R}_{S}^{o}-\bar{\mathbf{R}}_{S}^{o}\|_{2}^{2}+\|\mathbf{T}_{S}^{o}-\bar{\mathbf{T}}_{S}^{o}\|_{2}^{2}\right), $$
其中，$\mathbf{R}_S^o$ 和 $\mathbf{T}_S^o$ 分别表示静态片段 S 的物体旋转和平移，而 $\mathbf{\bar{R}}_S^o$ 和 $\mathbf{\bar{T}}_S^o$ 则表示它们的片段平均值。这种静态一致性被赋予 $10^2$ 的在线权重。
对于手部，我们进行优化：
$$ \mathcal{L}_{h}^{\mathrm{i s o}}=\mathcal{L}_{2D}^{h}+\mathcal{L}_{\mathrm{a n a t}}^{h}+\mathcal{L}_{\mathrm{p r i o r}}^{h}+\mathcal{L}_{\mathrm{d e p t h}}^{h}+\mathcal{L}_{\mathrm{t e m p}}^{h}. $$
这里，$\mathcal{L}_{2D}^{h}$ 表示 2D 关节重投影损失，$\mathcal{L}_{anat}^{h}$ 表示 MANO [Romero et al. 2017] 扭转-伸展-弯曲解剖约束，$\mathcal{L}_{prior}^{h}$ 将手部锚定在 6D 旋转空间中的 HaMeR [Pavlakos et al. 2024] MANO 姿态上，$\mathcal{L}_{depth}^{h}$ 将手腕深度锚定在手 Mask 内的中值深度估计值上，而 $\mathcal{L}_{temp}^{h}$ 则是对 3D 手部关节的一阶平滑处理。我们对 $\mathcal{L}_{2D}^{h}$ 进行 EMA 归一化，归一化后为其赋予单位权重。我们分别对 $\max(0.1\lambda_{temp}^{o}, 1.0)$、$\mathcal{L}_{anat}^{h}$、$\mathcal{L}_{prior}^{h}$ 和 $\mathcal{L}_{depth}^{h}$ 使用 5、1、10 和 $\mathcal{L}_{temp}^{h}$ 的权重。在单独拟合之后，光线尺度对齐会将物体轨迹沿相机光线移动，使其交互深度统计数据更好地匹配手部序列，从而生成第 2 阶段所使用的粗略的、与接触无关的 4D HOI 序列。
### 7.2 第 2 阶段：生成式 HOI 空间校正
生成式 HOI 空间校正架构。校正网络采用主论文中所示的架构。训练样本来自 DexGraspNet [Wang et al. 2022]，并通过 PyBullet [Coumans and Bai 2016] 进行筛选；我们均匀采样物体表面点 $\mathbf{P}^0 \in \mathbb{R}^{N \times 3}$ 及其法线 $\mathbf{n}^0$，将物体归一化为单位球体，然后利用受 PointNet++ [Qi et al. 2017] 启发的轻量级点骨干网络，从 $N'$ 最远下采样点中构建密集几何标记。编码器对坐标敏感而非旋转不变，因为接触有效性取决于物体的绝对朝向。
在流匹配时刻 $\tau$ [Lipman et al. 2023]，标量状态 $z_{\tau}$ 表示沿相机光线的深度偏移。我们首先使用特定于标记的 MLP，将时间、状态、含噪手部关节、物体尺度和观察光线分别嵌入为 $\mathbf{e}_{\tau}$、$\mathbf{e}_{z}$、$\mathbf{e}_{J}$、$\mathbf{e}_{s}$ 和 $\mathbf{e}_{r}$。随后形成状态和条件标记：
$$ \begin{aligned}\mathbf{H}_{0}&=Concat\big(\mathbf{e}_{\tau},\mathbf{e}_{z},\mathbf{e}_{J},\mathbf{e}_{s},\mathbf{e}_{r}\big)+\mathbf{E}_{\mathrm{PE}},\\\mathbf{H}_{self}&=Attn(\mathbf{H}_{0},\mathbf{H}_{0},\mathbf{H}_{0}).\end{aligned} $$
我们使用 PointNet++ 风格的点编码器 [Qi et al. 2017] 获取物体几何标记，记为 $\mathcal{E}$：
$$ \mathbf{H_{o b j}}=\mathcal{E}(\mathbf{P}^{o},\mathbf{n}^{o})+\mathbf{E}_{\mathrm{P E}}^{o}, $$
状态/条件标记通过交叉注意力机制查询这些标记：
$$ \mathbf{H}_{\mathrm{c r o s s}}=\mathrm{A t t n}(\mathbf{H}_{\mathrm{s e l f}},\mathbf{H}_{\mathrm{o b j}},\mathbf{H}_{\mathrm{o b j}}). $$
这里，Attn(Q, K, V) = softmax(QK^T / \sqrt{d})V，E_{PE} 表示位置嵌入，遵循标准的 Transformer [Vaswani et al. 2017]。流匹配时间 $\tau$ 也通过 AdaLN 风格的条件化方式 [Peebles and Xie 2023] 注入到 Transformer 块中。对应于 $z_\tau$ 的标记被解码为标量速度 $v_\theta(z_\tau, \tau \mid J^h, \mathbf{r}, s, \mathbf{P}^o, \mathbf{n}^o)$。
初始锚点构建。在对每个交互帧应用生成式HOI深度校正后，我们会在矫正后的手-物体几何结构上构建初始接触对应关系。我们将每一帧的物体网格与第一个交互帧的规范网格对齐，以固定随机种子采样10,000个规范物体表面点，然后为每个候选的MANO [Romero et al. 2017]接触顶点查找距离最近的K = 50个样本。只有当对应点的距离小于2厘米且手法线/物体方向夹角落在$60^{\circ}$锥体内时，该对应关系才会被保留。被选中的点会被投影回物体表面，并存储为面索引以及重心坐标。
### 7.3 第3阶段：考虑接触的HOI优化
阶段分割。当视频中存在预静态、接近、交互、释放和后静态阶段时，会将其划分为这些阶段。分割过程结合了CoTracker [Karaev et al. 2025]提供的物体点轨迹运动数据以及无模态物体掩码的帧间IoU变化。连续接触片段可能仅包含交互阶段；缺失的阶段会被跳过，而非强行补充。
目标扩展。我们详细介绍了第3阶段使用的五类损失函数：接触$\mathcal{L}_{con}$、穿透$\mathcal{L}_{pen}$、轮廓$\mathcal{L}_{sil}$、锚点$\mathcal{L}_{anc}$以及时间$\mathcal{L}_{temp}$。这些项作为测试时的重建约束应用于4D序列。
在实现中，接触类损失包含软对应关系项和轻量级缓存稳定项：
$$ \mathcal{L}_{\mathrm{c o n}}=\mathcal{L}_{\mathrm{c o n t a c t}}+\mathcal{L}_{\mathrm{t e m p l a t e}}+\mathcal{L}_{\mathrm{b r i d g e}}+\mathcal{L}_{\mathrm{g a p}}+\mathcal{L}_{\mathrm{p a t c h}}. $$
$\mathcal{L}_{\text{contact}}$是软对应关系损失，它会将活跃的手部接触顶点拉向其对应的重心物体锚点。$\mathcal{L}_{\text{template}}$、$\mathcal{L}_{\text{bridge}}$、$\mathcal{L}_{\text{gap}}$和$\mathcal{L}_{\text{patch}}$用于在短暂的时间间隔和局部邻域内稳定可靠的接触关系。我们对$10^3$使用权重$\mathcal{L}_{\text{contact}}$；这些辅助稳定项采用退火权重，并已包含在发布的代码中。
软接触项仅限于交互帧：
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{c o n t a c t}}=\frac{\sum_{t,i}c_{t,i}\sum_{k=1}^{8}\omega_{t,i,k}\|\mathbf{v}_{t,i}^{h}-\mathbf{a}_{t,i,k}^{o}\|_{2}^{2}}{\sum_{t,i}c_{t,i}}.}\end{array} $$
此处$\mathbf{a}_{t,i,k}^{o}$为重心物体锚点，$\omega_{t,i,k}$是根据表面采样距离从前8个锚点计算出的softmax权重，其中涉及$\sigma = 0.01$；$c_{t,i}$则是第3阶段的接触置信度，它来源于当前的邻近性/法线证据以及时间记忆。软对应关系缓存会定期根据当前优化的几何结构重新构建，其种子由第2阶段矫正后的接触证据提供。每次重建均采用5厘米的距离阈值和$60^{\circ}$法线兼容性锥体，同时利用时间记忆来确保接触关系的稳定性。
穿透项应用于所有帧，且为单向作用：
$$ \mathcal{L}_{\mathrm{p e n}}=\frac{1}{T|\mathcal{V}^{h}|}\sum_{t}\sum_{\mathbf{v}^{h}\in\mathcal{V}_{t}^{h}}\min\left(\max((\mathbf{v}_{\mathrm{n n}}^{o}-\mathbf{v}^{h})^{\top}\mathbf{n}_{\mathrm{n n}}^{o}-\epsilon_{\mathrm{p e n}},0)\right),0.0 $$
---
Table 4. Evaluation-set statistics. "Total cases" denotes the available cases, while method columns report the number of successfully evaluated cases.
| Dataset | Total cases | 3D GT | HOLD | MagicHOI | Ours |
| HO3D | 14 | Yes | 14 | 14 | 14 |
| TASTE-Rob | 70 | No | 22 | 14 | 70 |
| Self-captured | 30 | No | 8 | 8 | 30 |
| Total | 114 | - | 44 | 36 | 114 |
其中$\mathcal{V}_t^h$表示t帧时的手部顶点集合；$\mathbf{v}_{\mathrm{nn}}^o$和$\mathbf{n}_{\mathrm{nn}}^o$分别表示与手部顶点$\mathbf{v}^h$最近的物体顶点及其外法线，死区范围为$\epsilon_{\mathrm{pen}} = 5\,\mathrm{mm}$，每个顶点的残差裁剪阈值为0.04，内联权重为500。
锚点类损失可分解为
$$ \mathcal{L}_{\mathrm{a n c}}=\mathcal{L}_{2D}^{h}+\mathcal{L}_{\mathrm{a n a t}}^{h}+\mathcal{L}_{\mathrm{p o s e}}^{h}+\mathcal{L}_{\mathrm{p o s e}}^{o}. $$
我们分别对$\mathcal{L}_{2D}^{h}$、$\mathcal{L}_{\mathrm{anat}}^{h}$和$\mathcal{L}_{\mathrm{pose}}^{h}$使用0.5、30和100的权重。物体姿态-锚点项可进一步拆分为
$$ \mathcal{L}_{\mathrm{p o s e}}^{o}=\mathcal{L}_{\mathrm{o b j-a n c h o r}}^{\mathrm{n o n-i n t e r}}+\mathcal{L}_{\mathrm{o b j-a n c h o r}}^{\mathrm{i n t e r}}, $$
各组件上的内联权重均为100。非交互组件将预静态/非接触帧或非接触帧中的物体姿态锚定到Stage 1的隔离轨迹上，而交互组件则将交互帧中的物体姿态锚定到Stage 2的校正初始化轨迹上。这样就能防止接触力将物体从图像证据所指示的位置推离。轮廓组$\mathcal{L}_{sil}$会将渲染出的物体轮廓与无模态物体掩码对齐，其内联权重为500。
时间组为
$$ \begin{aligned}\mathcal{L}_{temp}&=\mathcal{L}_{pose-vel}+\mathcal{L}_{obj-vel}+\mathcal{L}_{wrist-anchor}\\&\quad+\mathcal{L}_{hand-tr-vel}+\mathcal{L}_{root-R-vel}+\mathcal{L}_{pose-acc}\\&\quad+\mathcal{L}_{hand-tr-acc}+\mathcal{L}_{root-R-acc}.\end{aligned} $$
$\mathcal{L}_{\text{wrist-anchor}}$会将手腕平移锚定到校正后的/输入轨迹上。“vel”和“acc”下标分别表示一阶和二阶时间有限差分，而“R”和“tr”则表示旋转和平移。按照上述顺序，对应的内联权重分别为500、500、200、200、500、1,000、5,000和3,000。为避免轴角环绕伪影，MANO [Romero等人，2017]中的手指姿态和根部旋转平滑度是在6D旋转或旋转矩阵空间中计算的。Stage 3会运行800次迭代，优化器采用Adam [Kingma和Ba，2015]，物体姿态的学习率为$3\times10^{-4}$，MANO手指姿态的学习率为$5\times10^{-4}$，手腕旋转/平移的学习率为$5\times10^{-5}$。
## 8 评估详情
评估集统计数据。表4总结了每个数据集和方法的可用案例数与已评估案例数。野外基准测试包含70个TASTE-Rob视频和30个自行拍摄的视频。若某个基线序列中至少有三分之一的帧能生成可用的重建结果，则认定该序列重建成功；按照这一标准，HOLD在30个序列上取得成功，MagicHOI在22个序列上取得成功，而CHOIR则在全部100个视频上进行了评估。
无参考指标详情。对于没有3D真实数据的数据集，我们报告无参考的图像对齐、物理合理性和时间平滑度指标。设$\mathcal{T}$为某种方法下具有有效重建结果的帧集合。对于输出缺失的基线，所有逐帧指标均基于$\mathcal{T}$取平均值，且仅对连续的有效帧三元组计算时间加速度。
对于视频对齐，设$\mathbf{M}_t^{\text{rend}}$为渲染出的手-物体轮廓，$\mathbf{M}_t^{\text{obs}}$为第t帧中追踪到的2D手-物体掩码。我们计算
$$ \mathrm{mIoU}=\frac{1}{|\mathcal{T}|}\sum_{t\in\mathcal{T}}\frac{|\mathbf{M}_{t}^{\mathrm{rend}}\cap\mathbf{M}_{t}^{\mathrm{obs}}|}{|\mathbf{M}_{t}^{\mathrm{rend}}\cup\mathbf{M}_{t}^{\mathrm{obs}}|}. $$
对于手-物体接近程度，设$\mathcal{V}_t^h$和$\mathcal{V}_t^o$分别表示第t帧中重建出的手部顶点和物体顶点。手-物体距离即为最近表面距离，
$$ \mathrm{H-O~Dist.}=\frac{1}{|\mathcal{T}|}\sum_{t\in\mathcal{T}}\min_{\mathbf{v}^{h}\in\mathcal{V}_{t}^{h},\mathbf{v}^{o}\in\mathcal{V}_{t}^{o}}\left\|\mathbf{v}^{h}-\mathbf{v}^{o}\right\|_{2}. $$
对于穿透情况，设$d_t^o(\mathbf{v}^h)$为手部顶点到物体的有符号距离，物体在内部时该值为正，外部则为非正值。我们报告物体内部的手部顶点所占百分比，
$$ \mathrm{P e n.R a t i o}=\frac{100}{|\mathcal{T}|}\sum_{t\in\mathcal{T}}\frac{1}{|\mathcal{V}_{t}^{h}|}\sum_{\mathbf{v}^{h}\in\mathcal{V}_{t}^{h}}\mathbb{1}\bigl[d_{t}^{o}(\mathbf{v}^{h})>0\bigr]\;. $$
最后，对于时间平滑度，设$\mathbf{J}_{t,j}^{h}$为第t帧中关节j的3D位置，J表示手部关节的数量。我们将物体中心$\mathbf{c}_{t}^{o}$定义为重建出的物体顶点$\mathcal{V}_{t}^{o}$的质心，设$\mathcal{A} \subset \mathcal{T}$为有效中间帧的集合，这些帧的相邻帧$t-1$和$t+1$同样有效。由于位置以厘米为单位，我们计算
$$ \mathrm{A c c}_{h}=\frac{1}{|\mathcal{A}|J}\sum_{t\in\mathcal{A}}\sum_{j=1}^{J}\left\|\mathbf{J}_{t+1,j}^{h}-2\mathbf{J}_{t,j}^{h}+\mathbf{J}_{t-1,j}^{h}\right\|_{2}, $$
并将物体中心作为物体加速度的通用轨迹表示。
$$ {\mathrm{A c c}}_{o}=\frac{1}{|\mathcal{A}|}\sum_{t\in\mathcal{A}}\left\|\mathbf{c}_{t+1}^{o}-2\mathbf{c}_{t}^{o}+\mathbf{c}_{t-1}^{o}\right\|_{2}. $$
两种加速度指标均以cm/帧$^{2}$为单位报告。
## 9 额外结果
本节汇总了补充的可视化诊断结果、消融实验数据、运行时细节以及异常情况说明。之所以在此处纳入可视化诊断结果，是因为它们展示了后续4D重建和接触感知优化阶段所使用的中间图像证据。
第1阶段：2D资产。第1阶段会生成模态掩码、非模态掩码、2D手部/物体框以及2D关节信息，这些作为后续4D重建阶段的图像空间证据。图12展示了具有代表性的输出结果。
HO3D消融实验。为求完整起见，我们在表5中加入了基于HO3D的物体中心化消融实验结果。几种第3阶段的变体在物体中心化指标上的得分相近，这是因为相较于物体几何形状、物体姿态以及手部根部与物体的位置关系，这些指标对接触侧手指更新的敏感度更低。
---
Table 5. Supplementary HO3D ablation study.
| Method | CD | F5 | F10 | MPJPE | $CD_{{h}}$ | RS |
| [cm] $\downarrow$ | [%] $\uparrow$ | [%] $\uparrow$ | [mm] $\downarrow$ | [cm] $\downarrow$ | $\downarrow$ |
| (a) Stage 1 w/o $\mathcal{L}_{rep}$ | 0.771 | 72.41 | 96.62 | 5.84 | 7.24 | 0.38 |
| (b) Stage 1 w/o $\mathcal{L}_{attr}$ | 0.833 | 69.88 | 94.79 | 5.76 | 5.65 | 0.25 |
| (c) w/o Stage 2 rect. | 0.770 | 72.15 | 97.27 | 6.02 | 4.49 | 0.10 |
| (d) Stage 3 w/o $\mathcal{L}_{pen}$ | 0.770 | 73.26 | 95.96 | 5.55 | 2.41 | 0.10 |
| (e) Stage 3 w/o $\mathcal{L}_{contact}$ | 0.771 | 72.57 | 96.62 | 5.55 | 2.41 | 0.10 |
| (f) Stage 3 w/o $\mathcal{L}_{temp}$ | 0.768 | 72.75 | 96.90 | 5.55 | 2.41 | 0.10 |
| (g) Full (Ours) | 0.772 | 72.33 | 96.03 | 5.55 | 2.41 | 0.10 |
双手交互扩展情况。尽管主流程是针对单手交互设计的，但只需简单修改即可适配双手交互场景，即两只手分别操控不同物体或同一物体，相关演示可在补充网页上查看。当两只手操控不同物体时，我们会针对每对手部-物体配对独立运行单手处理流程。在此类情况下，手部尺度和2D关节约束有助于降低单目深度歧义，因此恢复出的两种交互结果往往在视觉上兼容；但由于缺乏明确的跨手深度约束或关节优化机制，全局一致性无法得到严格保证。
对于两只手操控同一物体的情况，我们会共享从同一锚定帧重建出的物体几何形状。随后分别为左手和右手运行第2至第3阶段，从而得到使用相同物体形状的两条优化后的手部-物体序列。为了合并这两条序列，我们会计算两个优化后物体姿态之间的刚性变换，并利用该相对变换将一只手的整体姿态映射到另一只手-物体重建的坐标系中。如此便能生成两只手与同一物体交互的同一坐标系下的可视化结果。这一流程仅为用于可视化的事后合成操作，并非完整的双手交互优化方案，未来的研究应当同时建模双手及其接触关系。
运行时表现。所有实验均基于PyTorch [Paszke et al. 2019]实现，并在NVIDIA RTX 4090 GPU上运行。我们统计的是每段视频的平均运行时，视频由约200帧组成。HOLD [Fan et al. 2024]的总推理时间约为10小时，EasyHOI [Liu et al. 2025]约为9小时，MagicHOI [Wang et al. 2025]约为2小时，CHOIR则约为30分钟。对于我们的流程而言，第1阶段用于提取2D线索和处理掩码的时间约为20分钟，用于重建物体关键帧并进行受控跟踪的时间约为5分钟，用于孤立序列拟合的时间约为30秒。第2阶段的生成式HOI空间校正耗时约10秒，第3阶段的接触感知优化耗时约2分钟。生成式HOI空间校正模块的一次性训练成本不计入每段视频的推理运行时内。
## 10 局限性
CHOIR假设在单目RGB视频中仅有一只手操控刚性物体。它能够处理杂乱背景、遮挡情况以及未知物体类别，但当无法从锚定帧中恢复物体几何形状、物体被长时间完全遮挡，或者强烈的旋转对称性导致仅凭轮廓和接触信息无法判断旋转角度时，该模型可能会失效。非刚性
Fig. 11. Representative failure cases. Most failures originate from Stage 1 initialization: (a) incomplete 2D object detection or segmentation, (b) incorrect metric object scale estimation or scale refinement, and (c) ambiguous or inaccurate pose tracking for geometrically symmetric objects under rapid or large motion changes.
物体、铰接物体以及完整的双手关节优化，是未来值得探索的研究方向。
故障案例。主要的故障模式源于第1阶段中的上游物体初始化问题。图11展示了三类典型情况：第1步中二维物体检测或分割不完整；第2步中物体尺度的估计或细化出现偏差；第3步中，在快速或大范围运动下，几何对称的物体会出现姿态跟踪歧义。由于第2阶段是在已恢复的物体几何结构基础上修正手与物体的位置，而第3阶段则围绕该初始结果及接触证据进行优化，因此后续阶段很难完全纠正这些错误。掩码不完整会导致物体几何形状缺失或失真，尺度误差会使交互发生在错误的度量范围内，而快速运动下的对称姿态歧义则会导致被跟踪物体的轨迹与实际观察到的接触情况不一致。最终，虽然后续的接触感知优化可能改善局部对齐效果，但仍可能保留错误的物体形状、尺度或姿态模式。
## 参考文献
Adnane Boukhayma、Rodrigo de Bem和Philip H. S. Torr。2019年。基于野外图像的三维手部形状与姿态估计。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第10843–10852页。
Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S. Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。2021年。DexYCB：用于捕捉物体抓取行为的基准测试。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。
Kaihua Chen、Deva Ramanan和Tarasha Khurana。2025年。利用扩散先验进行视频非模态分割。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第22890–22900页。
Zerui Chen、Yana Hasson、Cordelia Schmid和Ivan Laptev。2022年。AlignSDF：用于手物重建的姿态对齐有符号距离场。载于欧洲计算机视觉会议（ECCV）论文集，Springer出版社，第231–248页。
Tianyi Cheng、Dandan Shan、Ayda Hassen、Richard Higgins和David Fouhey。2023年。迈向大规模更丰富的手部二维理解。载于神经信息处理系统大会（NeurIPS），第36卷，第30453–30465页。
---
Fig. 12. Visualization of Stage 1 2D assets. The figure shows modal object masks, amodal object masks, 2D hand and object bounding boxes, and 2D hand joints, which provide the image-space evidence used by the subsequent 3D reconstruction, HOI spatial rectification, and optimization stages.
---
信息处理逻辑系统（NeurIPS），第36卷，第30453–30465页。
Erwin Coumans和Yunfei Bai。2016年。PyBullet：一款用于游戏、机器人及机器学习领域的物理模拟Python模块。。
Dima Damen、Hazel Doughty、Giovanni Maria Farinella、Sanja Fidler、Antonino Furnari、Evangelos Kazakos、Davide Moltisanti、Jonathan Munro、Toby Perrett、Will Price和Michael Wray。2018年。扩展以中心视觉：EPIC-KITCHENS数据集。载于欧洲计算机视觉会议（ECCV）论文集。
Keyu Du、Jingyu Hu、Haipeng Li、Hao Xu、Haibin Huang、Chi-Wing Fu和Shuaicheng Liu。2025年。用于三维语义对应的分层神经语义表示。载于SIGGRAPH Asia会议论文集，第1–11页。
Zicong Fan、Maria Parelli、Maria Eleni Kadoglou、Xu Chen、Muhammed Kocabas、Michael J. Black和Otmar Hilliges。2024年。HOLD：从视频中实现类别无关的手部与物体交互三维重建。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第494–504页。
Hao Feng、Zhi Zuo、Jia-hui Pan、Ka-hei Hui、Yihua Shao、Qi Dou、Wei Xie和Zhengzhe Liu。2025年。Wonderverse：基于视频生成模型的可扩展三维场景生成。arXiv预印本arXiv:2503.09160（2025年）。
付启辰、刘星宇、徐冉、胡安·卡洛斯·涅夫莱斯和克里斯·M·基塔尼。2023年。Deformer：用于鲁棒手部姿态估计的动态融合Transformer。载于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》。第23600–23611页。
帕特里克·格雷迪、唐成程、克里斯托弗·D·特威格、米赫·沃、萨马斯·布拉姆巴特和查尔斯·C·肯普。2021年。ContactOpt：通过优化接触点来改善抓取效果。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》。第1471–1481页。
什雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格和文森特·勒佩蒂。2020年。HOnnotate：一种用于手部与物体姿态的3D标注方法。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》。
雅娜·哈松、古尔·瓦罗尔、季米特里奥斯·齐奥纳斯、伊戈尔·卡列瓦特克、迈克尔·J·布莱克、伊万·拉普捷夫和科迪莉亚·施密德。2019年。学习手部与受操纵物体的联合重建。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》。第11807–11816页。
胡静宇、许嘉熙、刘正哲、张浩和傅志伟。2023a。CLIPX-Plore：结合CLIP与形状空间实现3D形状探索。载于《SIGGRAPH Asia会议论文集》。第1–12页。
胡静宇、许嘉熙、刘正哲、李瑞辉和傅志伟。2023b。神经小波域扩散模型用于3D形状生成、反演与操控。《ACM图形学汇刊（TOG）》第42卷第6期（2023年）。
胡静宇、许嘉熙、刘正哲、张浩和傅志伟。2024年。CNS-Edit：通过耦合神经形状优化实现3D形状编辑。载于《SIGGRAPH会议论文集》。第1–12页。
胡静宇、胡斌、许嘉熙、李海鹏、刘正哲、丹尼尔·科恩-奥尔和傅志伟。2026年。PEGAsus：3D几何与外观个性化技术。arXiv预印本arXiv:2602.08198（2026年）。
许嘉熙、李瑞辉、胡静宇和傅志伟。2022a。Neural Template：拓扑感知的3D网格重建与解耦生成。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》。第18572–18582页。
许嘉熙、李瑞辉、胡静宇和傅志伟。2022b。神经小波域扩散模型用于3D形状生成。载于《SIGGRAPH Asia会议论文集》。第1–9页。
黄佳辉、周群杰、赫萨姆·拉贝蒂、亚历山大·科罗夫科、凌欢、任轩驰、沈天昌、高俊、德米特里·斯列皮切夫、林建轩、任佳伟、谢凯文、乔伊迪普·比斯瓦斯、劳拉·莱阿尔-泰克塞和桑贾·菲德勒。2025年。ViPE：用于3D几何感知的视频姿态引擎。英伟达研究白皮书。arXiv:2508.10934 [cs.CV]
尼基塔·卡拉耶夫、尤里·马卡罗夫、王建元、娜塔莉亚·内韦罗娃、安德烈亚·韦达尔迪和克里斯蒂安·鲁普雷希特。2025年。CoTracker3：通过伪标注真实视频实现更简单且更优的点跟踪技术。载于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》。第6013–6022页。
迪德里克·P·金玛和吉米·巴。2015年。Adam：一种随机优化方法。载于《国际学习表征会议（ICLR）论文集》。
罗萨里奥·莱昂纳尔迪、安东诺·富尔纳里、弗朗西斯科·拉古萨和乔瓦尼·玛丽亚·法里内拉。2024年。合成数据对以眼为中心的手部-物体交互检测是否有用？载于《欧洲计算机视觉会议（ECCV）论文集》。施普林格出版社，第36–54页。
亚伦·利普曼、陈立青、赫利·本-哈穆、马克西米利安·尼克尔和马特·勒。2023年。用于生成建模的流匹配技术。载于《国际学习表征会议（ICLR）论文集》。
刘少伟、蒋涵文、徐佳瑞、刘思飞和王小龙。2021年。基于半监督学习的3D手物交互姿态估计。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第14687–14697页。
刘正哲、胡静宇、许嘉熙、齐晓娟、Daniel Cohen-Or和傅志雄。2023年。EXIM：一种用于文本引导的3D形状生成的混合显式-隐式表示。ACM图形学汇刊（TOG）第42卷第6期（2023年），第1–12页。
刘雨萌、龙晓晓、杨泽民、刘远、Marc Habermann、Christian Theobalt、马跃新和王文平。2025年。EasyHOI：释放大模型的强大能力
用于重建现实场景中的手物交互。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第7037–7047页。
刘子山、唐泽聪、吴若成、郑新哲、胡静宇、许嘉熙、谢浩然、戴博和刘正哲。2026年。Imagine a City：用于程序化3D城市生成的CityGenAgent。arXiv预印本arXiv:2602.05362（2026年）。
Camillo Lugaresi、唐久强、Hadon Nash、Chris McClanahan、Esha Uboweja、Michael Hays、张帆、张楚玲、杨明光、李柱贤等。2019年。MediaPipe：构建感知流水线的框架。arXiv预印本arXiv:1906.08172（2019年）。
Paszke Adam、Gross Sam、Massa Francisco、Lerer Adam、Bradbury James、Chanan Gregory、Killeen Trevor、Lin Zeming、Gimelshein Natalia、Antiga Luca、Desmaison Alban、Köpf Andreas、Yang Edward、DeVito Zach、Raison Martin、Tejani Alykhan、Chilamkurthy Sasank、Steiner Benoit、方璐、白俊杰和Chintala Soumith。2019年。PyTorch：一种命令式、高性能的深度学习库。载于神经信息处理系统大会（NeurIPS）论文集，Curran Associates, Inc.出版，第8024–8035页。
Georgios Pavlakos、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Malik Jitendra。2024年。基于Transformer的3D手部重建。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9826–9836页。
Peebles William和谢赛宁。2023年。基于Transformer的可扩展扩散模型。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第4195–4205页。
Potamias Rolandos Alexandros、张静雷、邓建康和Zafeiriou Stefanos。2025年。WiLoR：现实场景中端到端的3D手部定位与重建。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第12242–12254页。
Qi Charles R.、Yi Li、Su Hao和Guibas Leonidas J.。2017年。PointNet++：度量空间中点集的深度层次特征学习。载于神经信息处理系统大会（NeurIPS）论文集，第30卷。
Ravi Nikhila、Valentin Gabeur、Hu Yuan-Ting、Hu Ronghang、Ryali Chaitanya、Ma Tengyu、Khedr Haitham、Rädle Roman、Rolland Chloe、Gustafson Laura、Mintun Eric、潘俊廷、Alwala Kalyan Vasudev、Carion Nicolas、Wu Chao-Yuan、Girshick Ross、Dollár Piotr和Feichtenhofer Christoph。2024年。SAM 2：图像与视频中的任意物体分割。arXiv预印本arXiv:2408.00714（2024年）。
Romero Javier、Tzionas Dimitrios和Black Michael J.。2017年。Embodied Hands：手与身体的联合建模与捕捉。ACM图形学汇刊第36卷第6期（2017年），第245:1–245:17页。
SAM 3D团队、陈星宇、朱富仁、Pierre Gleize、Kevin J. Liang、Alexander Sax、唐浩、王伟尧、Michelle Guo、Thibaut Hardin、李翔、林奥涵、刘佳伟、马子琪、Anushka Sagar、宋博文、王晓东、杨佳宁、张博文、Piotr Dollár、Georgia Gkioxari、Matt Feiszli以及Jitendra Malik。2025年。SAM 3D：将图像中的任何物体转化为3D模型。arXiv:2511.16624 [cs.CV]
单丹丹、耿嘉琪、Michelle Shu以及David F. Fouhey。2020年。在互联网规模上理解人类手部的接触情况。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第9869–9878页。
沈一超、Ariel Shamir以及五十岚武夫。2025年。LayoutRectifier：一种基于优化的平面设计布局生成后处理方法。载于《计算机图形学论坛》第44卷。Wiley出版社，e70273。
Omid Taheri、Nima Ghorbani、Michael J. Black以及Dimitrios Tzionas。2020年。GRAB：一个关于人体抓取物体的全身数据集。载于欧洲计算机视觉会议（ECCV）论文集。
Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser以及Illia Polosukhin。2017年。注意力机制就是一切。载于神经信息处理系统大会（NeurIPS）论文集第30卷。
王瑞成、张佳良、陈佳怡、徐银珍、李普浩、刘腾宇以及王赫。2022年。DexGraspNet：一个基于仿真的大规模机器人灵巧抓取通用物体数据集。arXiv预印本arXiv:2210.02697（2022年）。
王世博、何浩楠、Maria Parelli、Christoph Gebhardt、范子聪以及宋杰。2025年。MagicHOI：利用3D先验从短单目视频片段中精确重建手-物体交互关系。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第5957–5968页。
徐宇飞、张静、张启明以及陶大程。2022年。ViTPose：用于人体姿态估计的简单视觉Transformer基准模型。载于神经信息处理系统大会（NeurIPS）论文集。
John Yang、Hyung Jin Chang、Seungeui Lee以及Nojun Kwak。2020年。SeqHAND：基于RGB序列的3D手部姿态与形状估计方法。载于欧洲计算机视觉会议（ECCV）论文集。Springer出版社，第122–139页。
杨立新、李凯琳、詹欣雨、吴飞、徐安然、刘柳以及卢泽武。2022年。OakInk：一个用于理解手-物体交互的大规模知识库。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。
严伟龙、刘顾以及胡静宇。一致性。
---
叶宇飞、冯耀、Omid Taheri、冯海文、Shubham Tulsiani以及Michael J. Black。2026年。从单目视频预测4D手部轨迹。载于3D视觉国际会议（3DV）论文集。
叶宇飞、Abhinav Gupta、Kris Kitani以及Shubham Tulsiani。2024年。G-HOP：用于交互重建与抓取合成的生成式手-物体先验模型。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第1911–1920页。
叶宇飞、Abhinav Gupta以及Shubham Tulsiani。2022年。你手中拿的是什么？对手中通用物体的3D重建。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第3895–3905页。
叶宇飞、Poorvi Hebbar、Abhinav Gupta以及Shubham Tulsiani。2023年。基于扩散模型引导的日常手-物体交互片段重建。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第19717–19728页。
虞正迪、Stefanos Zafeiriou和Tolga Birdal。2025年。Dyn-HaMR：从动态摄像头恢复4D交互手部运动。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第27716–27726页。
詹新宇、杨立欣、赵一飞、毛康瑞、徐汉林、林泽南、李凯琳和卢泽武。2024年。OakInk2：一个关于复杂任务完成中双手与物体操控的数据集。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第445–456页。
张景雷、邓建康、马超和Rolandos Alexandros Potamias。2025b。
HaWoR：从第一人称视频中重建世界空间手部运动。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第1805–1815页。
张婉月、Rishabh Dabral、Vladislav Golyanik、Vasileios Choutas、Eduardo Alvarado、Thabo Beeler、Marc Habermann和Christian Theobalt。2025a。BimArt：一种用于合成带关节物体的3D双手交互的统一方法。载于IEEE/CVF计算机视觉与模式识别会议论文集。
识别（CVPR）。第27694–27705页。
赵宏翔、刘星辰、许沐天、郝一鸣、陈伟凯和韩晓光。2025年。TASTE-Rob：推进面向通用机器人操控的任务导向型手-物交互视频生成。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第27683–27693页。
周玉晓、Marc Habermann、徐伟鹏、Ikhsanul Habibie、Christian Theobalt和施峰。2020年。利用多模态数据实现单目实时手部形状与运动捕捉。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第5346–5355页。
朱润松、刘远、董振、王渊、蒋腾平、王文平 and 杨必胜。2021年。AdaFit：重新思考基于学习的点云法向估计。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集，第6118–6127页。
朱润松、邱石、吴倩怡、许嘉熙、Heng Pheng-Ann和Fu Chi-Wing。2024a。PCF-Lift：基于概率对比融合的全景分割提升技术。载于欧洲计算机视觉会议（ECCV）论文集，Springer出版社，第92–108页。
朱润松、康迪、许嘉熙、钱越、邱石、董振、包林超、Heng Pheng-Ann和Fu Chi-Wing。2024b。SSP：用于从无方向点云进行表面重建的半符号化优先级神经拟合方法。载于IEEE/CVF应用计算机视觉冬季会议（WACV）论文集，第3769–3778页。
朱润松、邱石、刘正哲、许嘉熙、吴倩怡、Heng Pheng-Ann和Fu Chi-Wing。2025a。重新思考高斯泼溅中的端到端2D转3D场景分割问题。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第3656–3665页。
朱润松、许嘉熙、刘正哲、吴倩怡、唐伟良、邱石、Heng Pheng-Ann和Fu Chi-Wing。2025b。COS3D：协作式开放词汇3D分割技术。arXiv预印本arXiv:2510.20238（2025年）。