{ "paper_id": "c4af90a411e6a30da226d3132f43036e", "paper_title": "ECHO: Ego-Centric modeling of Human-Object interactions", "paper_authors": [ "Ilya A. Petrov", "Vladimir Guzov", "Riccardo Marin", "Emre Aksan", "Xu Chen", "Daniel Cremers", "Thabo Beeler", "Gerard Pons-Moll" ], "publication_date": "", "publication_venue": "unknown", "abstract": "Modeling human-object interactions (HOI) from an egocentric perspective is a critical yet challenging task, particularly when relying on sparse signals from wearable devices like smart glasses and watches. We present ECHO, the first unified framework to jointly recover human pose, object motion, and contact dynamics solely from head and wrist tracking. To tackle the underconstrained nature of this problem, we introduce a novel tri-variate diffusion process with independent noise schedules that models the mutual dependencies between the human, object, and interaction modalities. This formulation allows ECHO to operate with flexible input configurations, making it robust to intermittent tracking and capable of leveraging partial observations. Crucially, it enables training on a combination of large-scale human motion datasets and smaller HOI collections, learning strong priors while capturing interaction nuances. Furthermore, we employ a smooth inpainting inference mechanism that enables the generation of temporally consistent interactions for arbitrarily long sequences. Extensive evaluations demonstrate that ECHO achieves state-of-the-art performance, significantly outperforming existing methods lacking such flexibility.", "keywords": [ "人-物交互", "自我中心感知", "扩散模型", "人体运动重建", "接触动力学", "可穿戴传感器", "稀疏追踪", "SMPL-X", "平滑修复" ], "paper_institutions": [ "University of Tübingen, Germany", "Tübingen AI Center, Germany", "Technical University of Munich, Germany", "Munich Center for Machine Learning, Germany", "Google, Switzerland", "Max Planck Institute for Informatics, Saarland Informatics Campus, Germany" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:36:25.211999Z", "template_tag": "deep_read", "summary": "# ECHO: Ego-Centric modeling of Human-Object interactions\n\n\n**作者 / Authors:** Ilya A. Petrov, Vladimir Guzov, Riccardo Marin, Emre Aksan, Xu Chen, Daniel Cremers, Thabo Beeler, Gerard Pons-Moll\n\n\n**单位 / Institutions:** University of Tübingen, Germany, Tübingen AI Center, Germany, Technical University of Munich, Germany, Munich Center for Machine Learning, Germany, Google, Switzerland, Max Planck Institute for Informatics, Saarland Informatics Campus, Germany\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## 1. 论文元数据\n\n- **标题**: ECHO: Ego-Centric modeling of Human-Object interactions\n- **作者（姓名 / 单位 / 背景）**:\n - Ilya A. Petrov — University of Tübingen & Tübingen AI Center（德国）；IMPRS-IS 支持（致谢部分）\n - Vladimir Guzov — University of Tübingen & Tübingen AI Center（德国）\n - Riccardo Marin — Technical University of Munich & Munich Center for Machine Learning（德国）；受 EU Horizon 2020 Marie Skłodowska-Curie 资助\n - Emre Aksan — Google（瑞士）\n - Xu Chen — Google（瑞士）\n - Daniel Cremers — Technical University of Munich & Munich Center for Machine Learning（德国）\n - Thabo Beeler — Google（瑞士）\n - Gerard Pons-Moll — University of Tübingen & Tübingen AI Center & Max Planck Institute for Informatics（德国）\n- **发表载体**: 正文未明确标注会议/期刊与年份；排版为 Springer LNCS 风格（含 \"Abstract.\" 起始格式），引用文献包含 2025–2026 年论文，推测为 2026 年前后的计算机视觉顶级会议（如 ECCV）论文，但需以正式出处为准。\n\n## 2. 研究定位\n\n- **研究领域**: 计算机视觉 / 人体运动感知与生成（egocentric perception、human-object interaction、diffusion 生成模型）\n- **具体任务**: 仅凭可穿戴设备的三点稀疏追踪（智能眼镜头部 + 双手腕），联合恢复全身人体姿态 H、物体运动轨迹 O 与接触序列 I（含人-物接触与人-地面接触），支持任意长度序列的在线推理，并对间歇性追踪与部分观测保持鲁棒（Sec. 1、Fig. 1）\n- **目标用户 / 应用场景**: 佩戴智能眼镜、智能手表/指环等设备的终端用户；面向医疗健康、个人助理、娱乐、机器人与空间智能（spatial AI）等应用（Sec. 1）\n\n## 3. 输入材料清单\n\n- **PDF**: 有（正文 Sec. 1–5 + 参考文献完整）\n- **附录 / 补充材料**: 有（Sec. 6–10：更广泛影响、扩散背景与符号表 Tab. S1、附加实验 Tab. S2–S6、实现细节、指标定义）\n- **代码链接**: \n- **数据集链接**: 未提供作者自建数据集；实验使用公开数据集 BEHAVE、OMOMO、AMASS、Aria Digital Twin（Sec. 4）\n\n## 4. 缺失材料与风险\n\n- **缺失项**: 正式发表载体与年份未在文本中标注；补充视频（动态定性结果，Fig. 5/S1 处引用）未随文本提供；部分关键实现细节（损失权重、guidance、smooth inpainting 公式）仅见于补充材料\n- **可能影响**: 无法从文本直接确认论文出处与级别；复现训练/推理需依赖开源仓库与补充材料 Sec. 9；定性对比（接触穿透/悬浮等伪影）需观看补充视频才能完整评估\n\n## 5. 阅读路线\n\n- **Step 1**: 读摘要、Fig. 1 与 Sec. 1 引言，明确“三点稀疏追踪 → 联合 HOI 重建”的问题设定与三大贡献\n- **Step 2**: 读 Sec. 3.1 表示方法：per-frame head-centric 坐标系、SMPL-X 人体、SE(3) 物体轨迹、sigmoid 映射的连续接触向量 I（式见 Sec. 3.1）\n- **Step 3**: 读 Sec. 3.2–3.3 核心方法：独立噪声调度的三变量扩散（Fig. 3）、DiT 架构、AMASS+HOI 联合训练策略、smooth inpainting（Fig. 4）与推理引导\n- **Step 4**: 读 Sec. 4 实验：基线构造（BoDiffusion+O、EgoAllo+H+O）、数据集与指标、Table 1–5 主结果、噪声鲁棒性与消融\n- **Step 5**: 读补充材料 Sec. 8–10：物理合理性评估（Tab. S3）、接触条件化（Tab. S4）、OMOMO 消融（Tab. S6）、损失与指标完整定义\n- **Step 6**: 读 Sec. 5 结论与局限性，梳理未来方向（精细手指交互、RGB 条件化、复杂场景约束）\n\n### 分类依据（paper_archetype = method）\n\n- 论文核心贡献是**新算法/模型**：带独立噪声调度的 tri-variate diffusion 框架及配套 smooth inpainting 推理机制（Sec. 3、Fig. 3、Fig. 4），而非综述性整理或硬件/系统栈设计。\n- 以大量定量对比（Tab. 1–2）、鲁棒性实验（Tab. 3–4）与消融（Tab. 5、S2–S6）验证方法有效性，符合典型 method 类论文结构。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## 1. 论文类型与类别\n\n- **类型**: 方法类论文（method）。核心贡献是**新算法/模型框架**：带独立噪声调度的 tri-variate diffusion 模型与 smooth inpainting 推理机制（Sec. 3、Fig. 3、Fig. 4），而非综述或系统/硬件设计。\n- **子领域**: 计算机视觉 / 自我中心感知（egocentric perception）/ 人-物交互（HOI）建模 / 扩散生成模型。\n- **判断依据**: 论文以定量对比（Tab. 1–2）、鲁棒性实验（Tab. 3–4）、消融（Tab. 5、S2–S6）验证新方法的有效性，符合典型 method 类论文结构；作者在贡献列表中亦明确以方法创新为主（Sec. 1 末尾）。\n\n## 2. 研究背景与上下文\n\n- **应用驱动**: 智能眼镜、指环、腕带等可穿戴设备日益普及，从这类稀疏信号中鲁棒地感知人-物交互，可赋能医疗健康、个人助理、娱乐、机器人与空间智能（Sec. 1）。\n- **现有方法局限**:\n - 既有 egocentric HOI 方法依赖 RGB 图像、预扫描场景或专用捕捉服，并依赖手工设计的约束（Sec. 1；Sec. 2.3 中 iReplica [^26] 需要全身 IMU、预定义 3D 场景与复杂初始化；IMU-HOI [^58] 需要六个身体 IMU 加物体搭载 IMU）。\n - HOI 数据集（BEHAVE [^6]、OMOMO [^56]）规模与多样性远小于 AMASS [^64] 等大型人体运动数据集（Sec. 1）。\n - TriDi [^79] 虽建模人-物-交互联合分布，但仅限静态姿态且只用 HOI 数据训练（Sec. 2.2）。\n- **研究缺口**: 缺少一个能从多模态联合学习、仅凭稀疏可穿戴信号、支持任意长度序列的统一 egocentric HOI 方法——这正是 ECHO 要填补的空白（Sec. 1）。\n\n## 3. 直觉正确性检查（关键假设及合理性）\n\n- **假设 1：三点追踪（头部 + 双手腕）足以联合恢复全身姿态、物体轨迹与接触**。\n - 合理性：EgoAllo [^115] 已证明头部追踪可恢复全身运动，加入手腕信息进一步约束手部交互；实验上 ECHO 在 BEHAVE 达到 MPJPE 6.8 cm、物体 E_v2v 33.5 cm（Tab. 1），支持该假设可行。\n- **假设 2：三变量独立噪声调度的扩散过程能有效建模模态间依赖**。\n - 合理性：训练时对 2³ 种噪声/干净组合采样并同步已扩散模态的噪声级别（Sec. 3.2 Training），迫使模型从观测模态重建缺失模态；消融中去掉接触模态（仅 H, O）后人体与物体质量均显著下降（Tab. 5），证明接触模态确实起到连接作用。\n- **假设 3：AMASS + HOI 联合训练可同时学到强运动先验与交互动态**。\n - 合理性：证据非常强——NoAMASS 变体在 AMASS 上 MPJPE 从 7.4 恶化到 43.1（Tab. 2），在 BEHAVE 上也从 6.8 恶化到 8.7（Tab. 5）；补充材料 Tab. S2 进一步排除“仅因数据可及”的解释（两阶段 A-FT 变体同样退化）。\n- **假设 4：物体 canonical mesh 已知（Sec. 3.1）**。\n - 这是限制性假设：对完全未知物体不适用，但符合当前 HOI 建模惯例（BEHAVE/OMOMO 均提供物体模板），且物体类别与几何通过 one-hot + PointNext 特征编码（Sec. 3.1）。\n- **假设 5：人体形状参数 β 已知（Sec. 3.1）**。\n - 简化问题但限制个性化；对佩戴设备场景可接受。\n- **潜在疑点**: 接触用 sigmoid 距离映射（Sec. 3.1 公式）是连续代理而非真实二值接触；但物理合理性评估显示 ECHO 的接触率 79.5%（BEHAVE）接近 GT 的 80.2%，穿透分数与最小距离均接近 GT（Tab. S3），疑点被实验缓解。\n\n## 4. 核心贡献（3–5 条）\n\n1. **首个**从可穿戴三点追踪联合恢复人体运动、物体轨迹与接触的 HOI 方法（Sec. 1 贡献列表；Sec. 2.3 与 iReplica、IMU-HOI 的对比）。\n2. **统一的 tri-variate diffusion 模型**：三个模态使用独立噪声调度，支持灵活跨模态条件化与部分观测，对传感器噪声/间歇性追踪鲁棒，可对任意长度序列推理（Sec. 3.2、Fig. 3；Tab. 3–4 验证）。\n3. **AMASS + HOI 联合训练策略**：对 AMASS 样本用可学习 token 替代物体条件，在单一生成框架内同时学习强运动先验与交互动态（Sec. 3.2 Training；Tab. 2、Tab. S2 消融验证）。\n4. **Smooth inpainting 推理机制**：在重叠区域对过去与当前预测做加权混合，实现无缝、时间一致的任意长序列在线生成（Sec. 3.3、Fig. 4；Tab. 5 消融显示去掉后性能下降）。\n5. **SOTA 性能与开源**：在 BEHAVE/OMOMO 上显著超越改造后的基线（Tab. 1），代码与训练模型开源（Sec. 1 贡献列表；\n\n## 5. 清晰度评估\n\n- **结构**: 引言 → 相关工作 → 方法 → 实验 → 结论，逻辑清晰；方法部分按“表示（3.1）→ 模型（3.2）→ 推理（3.3）”组织，易于跟随。\n- **图表**: Fig. 1 直观呈现任务设定与多种推理模式；Fig. 2 说明 head-centric 表示；Fig. 3 是理解模型的关键总览图；Fig. 4 清楚对比三种推理策略；Fig. 5/6 提供定性对比与泛化展示；表格排版规范、含均值±方差。\n- **公式**: 核心公式完整给出（训练目标、接触 sigmoid 映射、egocentric 条件定义，Sec. 3.1–3.2）；损失权重、guidance 与 smooth inpainting 的具体公式放在补充材料 Sec. 9，正文保持简洁。\n- **可读性**: 对熟悉扩散模型与 SMPL-X 的读者友好；DDPM 背景与符号表置于补充材料 Sec. 7（Tab. S1），降低正文门槛。\n- **小瑕疵**: 正文未标注发表载体与年份；Sec. 1 中 OMOMO 一处拼写为 \"OMOO\"；Tab. 1 的 BEHAVE 部分列头（Human/Object 归属）排版略有歧义，需结合 OMOMO 表理解。\n\n## 6. 继续或停止建议\n\n- **建议：继续深入阅读（值得进行第二、三遍精读）**。\n- **理由**:\n - 方法新颖且是“首个”：三点追踪下的统一 egocentric HOI 建模（Sec. 1、Sec. 2.3）。\n - 实验充分：基线对比、噪声鲁棒性、稀疏输入、消融、物理合理性评估（Tab. 1–5、S2–S6）形成完整证据链。\n - 开源可复现：代码与训练模型公开（Sec. 1）。\n - 对从事 egocentric 感知、HOI 建模、扩散模型应用的研究者有直接参考价值。\n- **例外**: 若读者只关心应用前景而不关心方法细节，读 Sec. 1、Fig. 1 与 Tab. 1 后即可停止。\n\n## 7. 结构大纲图\n\nmarkmap\n\n# ECHO 论文总览\n\n## 1 引言\n\n### 问题：三点稀疏追踪 → 联合 HOI 重建\n\n### 三大贡献\n\n## 2 相关工作\n\n### Egocentric 运动重建\n\n### Exocentric HOI 建模\n\n### Egocentric HOI 方法（iReplica / IMU-HOI 对比）\n\n## 3 方法\n\n### 3.1 表示\n\n#### Head-centric 逐帧坐标系\n\n#### 物体：SE(3) 轨迹 + PointNext 特征\n\n#### 人体：SMPL-X 姿态\n\n#### 接触：sigmoid 距离映射（HOI + Env）\n\n#### Egocentric 条件 E\n\n### 3.2 ECHO 模型\n\n#### Tri-variate diffusion（独立噪声调度）\n\n#### DiT 架构 + rotary 位置编码\n\n#### 训练：2^3 噪声组合 + AMASS 联合训练\n\n### 3.3 推理\n\n#### Smooth inpainting\n\n#### Inference guidance（接触对齐 + 防滑步）\n\n## 4 实验\n\n### 实现细节与数据集（BEHAVE / OMOMO / AMASS / ADT）\n\n### 4.1 基线对比（Tab. 1–2，Fig. 5–6）\n\n### 4.2 噪声与稀疏输入（Tab. 3–4）\n\n### 4.3 消融（Tab. 5）\n\n## 5 结论\n\n### 局限与未来工作（手指细节、RGB 条件、复杂场景）\n\n## 补充材料\n\n### 更广泛影响 / 扩散背景与符号表\n\n### 附加实验（Tab. S2–S6）\n\n### 实现细节（损失、guidance、smooth inpainting 公式）\n\n### 指标定义\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文要解决的核心问题是：**仅凭可穿戴设备（智能眼镜头部 + 双手腕/指环）的三点稀疏追踪信号，联合恢复全身人体姿态 H、物体运动轨迹 O 与接触序列 I（含人-物接触与人-地接触）**，同时支持任意长度序列的在线推理，并对间歇性追踪与部分观测保持鲁棒（Sec. 1、Fig. 1、Abstract）。\n\n### 2. 痛点与现有方法的不足\n\n- **输入条件苛刻、可扩展性差**：现有 egocentric HOI 方法通常依赖 RGB 图像、预扫描场景或专用捕捉服，并依赖手工设计的交互约束（Sec. 1）；例如 iReplica 需要全身 IMU、预定义 3D 场景与复杂初始化（Sec. 2.3），IMU-HOI 需要六个身体 IMU 外加物体上安装的 IMU（Sec. 2.3），限制了真实场景部署与泛化。\n- **缺乏统一的自我中心 HOI 建模**：现有自我中心运动重建方法只建模人体运动、忽略与物体的动态交互（Sec. 2.1）；而 HOI 生成方法多依赖文本/场景/视觉条件或物体 IMU，无法从稀疏可穿戴信号端到端联合建模人、物、接触三个模态（Sec. 2.2、2.3；TriDi 仅限静态姿态且只用 HOI 数据训练）。\n- **数据规模不匹配**：HOI 数据集（BEHAVE、OMOMO）的规模与多样性远小于 AMASS 等大型人体运动数据集，现有方法无法在单一模型中联合利用 motion-only 与 HOI 数据学习强运动先验（Sec. 1、Sec. 2.2；Tab. 2 中 NoAMASS 变体 MPJPE 从 7.4 骤降至 43.1 印证此点）。\n- **鲁棒性与序列长度受限**：现实场景中手部追踪常出现间歇性缺失，而现有方法对传感器噪声、部分观测与任意长度序列缺乏灵活支持（Sec. 1、Fig. 1；Tab. 3 实验动机）。\n\n### 3. 形式化目标 / 优化目标\n\n- **三变量扩散训练目标**（Sec. 3.2）：对三个模态 H、O、I 采用**独立噪声调度** T_H、T_O、T_I，最小化\n min_ψ E_p E_T E_q ‖ ECHO_ψ(H^{T_H}, O^{T_O}, I^{T_I}; T_H, T_O, T_I; C_O, E) − (H^0, O^0, I^0) ‖_2\n 其中条件为三点自我中心追踪 E 与物体信息 C_O = (y_O, f_O)（Sec. 3.1–3.2）。独立调度的关键作用：将已知模态的噪声级别设为 0 即可实现灵活的跨模态条件化与部分观测利用（Sec. 3.2、Fig. 3）。\n- **训练损失**（Sup. Mat. Sec. 9）：六项加权和 L_ECHO = λ_n^H·L_n^H + λ_n^O·L_n^O + λ_n^I·L_n^I + λ_s^O·L_s^O + λ_j^H·L_j^H + λ_s^H·L_s^H，即三个模态的重建损失 + 物体轨迹平滑损失 + 人体关节误差 + 脚部滑步惩罚；权重 λ_n^H = λ_n^O = 5.0、λ_n^I = 1、其余为 0.01。\n- **推理引导**（Sec. 3.3、Sup. Sec. 9）：采用 classifier-based guidance，F = λ_HOI·F_HOI + λ_skate·F_skate（λ_HOI = 150、λ_skate = 0.25），强制预测的人/物网格与预测接触向量 ĉ_I 对齐并抑制脚部滑步，保证物理合理的交互。\n\n### 4. 成功标准（指标与期望性质）\n\n- **人体重建指标**（Sec. 4 Metrics）：MPJPE（cm）↓、MPJVE ↓、Foot Contact (FC) ↑。\n- **物体重建指标**（Sec. 4 Metrics）：顶点到顶点误差 E_v2v（cm）↓、中心误差 E_c（cm）↓、旋转差 Rot. Diff. ↓、接触精度 Acc_I ↑。\n- **物理合理性**（Sup. Tab. S3）：最小人-物距离 Min. D. ↓、接触比例 C% ↑、穿透深度 PD ↓、穿透分数 P_sc ↓；ECHO 接近 GT（BEHAVE 上 C% = 79.5 vs GT 80.2），优于产生悬浮/穿透伪影的基线。\n- **期望性质**：\n - 对间歇性手部追踪鲁棒：随机丢弃 ≤50% 手部追踪时性能几乎不变，75% 以上才明显退化（Tab. 3、Tab. S5）；\n - 可利用任意模态（H、O 或 I）的部分观测，显著提升该模态精度并正则化其他模态（Tab. 4、Tab. S4）；\n - 支持任意长度序列的在线推理且窗口过渡平滑（Sec. 3.3 smooth inpainting，Fig. 4；Tab. 5 消融验证其必要性）；\n - 在 BEHAVE、OMOMO、AMASS 上达到 SOTA（Tab. 1、Tab. 2：ECHO 在 BEHAVE/OMOMO 上 MPJPE 分别为 6.8/6.0 cm，优于 BoDiffusion+O 与 EgoAllo+H+O）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作分析\n\n### 1. 最强基线与比较轴（Sec. 4.1, Tab. 1–2）\n\n- **BoDiffusion [^10] + O**\n - Method：基于 DiT [^76] 的扩散模型，将稀疏追踪与噪声运动序列拼接为输入；作者将其扩展为 BoDiffusion+O（拼接物体变换 token、加入物体形状嵌入与类别条件）以支持 HOI 预测。\n - Core idea：单一扩散过程直接从稀疏观测生成全身运动。\n - Limitation：单一噪声调度、拼接式多模态输入，缺乏跨模态灵活条件化与联合训练先验；物体误差显著更大（BEHAVE 上 E_v2v 44.2cm vs ECHO 33.5cm，Rot. Diff. 110.9° vs 92.9°，Tab. 1）。\n- **EgoAllo [^115] + H+O**\n - Method：原为仅头部条件化的全身+手部运动估计（per-frame head-centric 规范化），作者按官方实现扩展手部条件并加入物体姿态预测。\n - Core idea：头部中心坐标系下的人体运动估计，是 ECHO 表示设计（Sec. 3.1）的直接来源。\n - Limitation：不建模物体交互动力学；物体旋转误差大（Rot. Diff. 111.6° vs ECHO 92.9°，Tab. 1），AMASS 运动生成亦落后（MPJPE 8.9 vs 7.4，Tab. 2）。\n- **比较轴**：人体 MPJPE / MPJVE / FC，物体 E_v2v / E_c / Rot. Diff. / Acc_I（BEHAVE 与 OMOMO，Tab. 1）；AMASS 运动生成质量（Tab. 2）；间歇性手部追踪鲁棒性（Tab. 3、S5）；稀疏部分观测（Tab. 4）；物理合理性（Tab. S3）；组件消融（Tab. 5、S6）。所有基线与 ECHO 均在 AMASS+BEHAVE+OMOMO 联合数据上训练，并在 head-centric 空间预测物体以保证公平（Sec. 4.1）。\n\n### 2. 最接近的方法与关键差异\n\n- **TriDi [^79]（最接近的公式化）**\n - Method：对人-物-交互三元分布做 tri-variate diffusion。\n - Core idea：与 ECHO 同源的三变量联合建模思想（ECHO 明确受其启发，Sec. 3.2）。\n - Limitation：仅处理静态姿态、只在 HOI 数据上训练；ECHO 将其扩展到任意长度序列，并在单一模型中联合训练 motion-only（AMASS）与 HOI 数据，建立稀疏自我中心条件所需的强运动先验（Sec. 2.2；Tab. 2 的 NoAMASS 消融证实其必要性）。\n- **HMD² [^27]（推理机制来源）**\n - Method：从单头戴设备做环境感知运动生成，采用 inpainting 式滑窗在线推理。\n - Limitation：丢弃重叠区新预测、不建模物体；ECHO 提出 smooth inpainting（Fig. 4、Sec. 3.3），在每个扩散步对重叠区做过去/当前预测加权融合，实现无缝长序列生成。\n- **iReplica [^26]（唯一其他自我中心动态 HOI 方法）**\n - Limitation：需全身 IMU、预定义 3D 场景、复杂初始化，交互依赖手工启发式；ECHO 仅需三点追踪、物体无需改造，并从数据学习 HOI 动力学（Sec. 2.3）。\n- **IMU-HOI [^58]（并行工作）**：需 6 个身体 IMU + 物体安装 IMU 的密集配置；ECHO 用稀疏三点头手追踪且物体不安装传感器。\n- **EgoGrasp [^24]、WHOLE [^114]、Glove2Hand [^127]**：从自我中心视频/多模态手套恢复交互，但仅建模手部且需专用硬件；ECHO 重建全身。\n- **HOI-Diff [^77]、InterDreamer [^108]**：在 HOI 模型外部利用 AMASS 先验（检索-优化或微调 MDM）；ECHO 在单一生成框架内联合训练（Sec. 2.2）。\n\n### 3. 正交方向（互补但非直接竞争）\n\n- 文本/动作标签条件化 HOI 生成 [^9] [^18] [^54] [^57] [^89] [^107]：条件灵活但缺乏细粒度控制与细节交互。\n- 场景条件化（TRUMANS [^42]）：提升真实感但需先验场景知识。\n- 视觉条件化：RGB [2, 15, 21, 69, 95, 101–104, 123]、多视角 [^44] [^122]、RGBD [^6] [^38]、文本+图像 [^112]：保真度高但依赖相机、可扩展性受限。\n- 静态环境中以人为中心的场景交互建模 [^30] [^31] [^36] [^67] [^92] [^105] [^126] [^48] [^111] [^119]：不建模物体位移。\n- 无物体的自我中心运动重建：IMU 系方法 [^37] [^43] [^68] [^96] [^97] [^109] [^116] [^117] [^132]、EgoEgo [^55]（头部轨迹→全身）、LookOut [^72]（视频→头部轨迹）：忽略用户-物体动态交互。\n- 从部分信息生成交互：过去观测 [^25] [^106]、物体位置 [^7] [^49] [^56]、人体姿态 [^78] [^125]——ECHO 将此类稀疏观测统一为模态级条件化而非专用机制（Sec. 2.2、3.2）。\n\n### 4. 一句话定位\n\nECHO 是首个仅凭可穿戴三点稀疏追踪（智能眼镜头部 + 双腕）在任意长度序列上联合重建全身人体姿态、物体运动与接触动力学的统一框架；与最近邻 TriDi 的关键差异在于独立噪声调度的 tri-variate diffusion 支持灵活跨模态条件化，并以 AMASS+HOI 单模型联合训练建立强运动先验，从而在稀疏自我中心条件下全面超越现有方法（Tab. 1–2）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（方法机制解析）\n\n### 1. 核心机制概述\n\nECHO 将“仅凭三点稀疏追踪（智能眼镜头部 + 双手腕）联合恢复全身姿态、物体轨迹与接触”这一严重欠约束问题，转化为一个**条件生成问题**：用单一网络建模联合分布 p(H, O, I | E, C_O)，其中 H 为人体运动、O 为物体运动、I 为接触序列，E 为三点追踪条件，C_O 为物体类别与几何条件（Sec. 3, Fig. 3）。方法由五个核心机制支撑：\n\n- **三变量扩散 + 独立噪声调度**（Sec. 3.2, Fig. 3）：三个模态各自拥有独立去噪步 T_H, T_O, T_I。将已知模态的噪声级别设为 0 即可将其作为条件，从而天然支持任意跨模态条件化、部分观测与间歇性追踪——这是全文最核心的创新。\n- **每帧头部中心表示**（Sec. 3.1, Fig. 2）：以每帧头部位置为锚点，保证对序列全局配置的不变性，任意窗口可直接推理而无需显式规范化。\n- **AMASS + HOI 数据联合训练**（Sec. 3.2, Tab. 2, Tab. S2）：单一模型同时学习强人体运动先验与交互动态；两阶段微调变体（A-FT）显著退化（AMASS MPJPE 15.9 vs 联合训练 7.4，Tab. S2），证明收益来自联合建模本身而非数据访问。\n- **Smooth inpainting 在线推理**（Sec. 3.3, Fig. 4）：在窗口重叠区、每个扩散步混合新旧预测，实现任意长度序列的无缝自回归生成。\n- **推理引导**（Sec. 3.3, Sup. Sec. 9）：基于预测接触向量的 classifier-based guidance，强制预测人/物网格与预测接触对齐，保证物理合理性。\n\n### 2. 分步拆解\n\n### Step 1 — 模态表示（Sec. 3.1）\n\n- **人体**：采用 SMPL-X 参数模型，仅建模身体姿态 θ_H ∈ R^{21×6}（形状 β 已知）；根变换 T_H 通过将 SMPL-X 头部关节对齐到三点追踪的头部位置获得；序列定义为 H = {θ_H^{1..N}}。\n- **物体**：假设规范网格已知，表示为头部中心坐标系下的 SE(3) 变换序列 O = {T_O^{1..N}}，旋转转为 R^6（遵循 [^131]）；物体类别 one-hot 向量 y_O 与 PointNext 提取的特征 f_O ∈ R^{1024} 组成全局条件 C_O = (y_O, f_O)。\n- **接触**：建模为连续模态 I。人-物接触由采样人体表面点 P_c 到物体网格的最短距离经 sigmoid 映射得到（64 维）；人-地接触基于下肢关节速度与地面接近度计算（8 维，遵循 [^83] [^115]）。\n- **自我中心条件**：E = {[ΔT_head^{t-1,t}, R_can,head^t, h_head^t, ΔT_hands^{t-1,t}, R_can,hands^t]^{1..N}}，扩展自 EgoAllo [^115]，新增手部相对变换。\n\n### Step 2 — 三变量扩散建模（Sec. 3.2）\n\n- 采用 DDPM [^32] 框架，并按 [^82] 直接预测原始样本而非所加噪声。\n- 三个模态独立加噪：训练时每个模态要么加噪、要么作为干净条件，从 2^3 种组合中采样；为保证稳定，所有加噪模态同步使用相同噪声级别，而非各自独立采样。\n- 训练时随机丢弃手部/物体条件以模拟间歇性追踪，使模型对传感器噪声鲁棒（Tab. 3/S5 验证：75% 手部数据缺失仍保持稳定性能）。\n\n### Step 3 — 网络架构（Sec. 3.2, Fig. 3）\n\n- 基于 DiT（Diffusion Transformer）[^76] + rotary positional embeddings [^90] 的多模态改造，共 57.7M 参数。\n- 输入 token：H/O/I 序列（各自处于加噪或观测状态）、ego 条件 E、物体条件 C_O、以及各模态去噪步 {T_H, T_O, T_I}。\n\n## Step 4 — 训练目标（Sec. 3.2 + Sup. Sec. 9）\n\n- 主目标：E_p E_T E_q ||ECHO_ψ(H^{T_H}, O^{T_O}, I^{T_I}; T_H, T_O, T_I; C_O, E) − (H^0, O^0, I^0)||_2。\n- 总损失为六项加权和（Sup. Sec. 9）：三个模态重建损失 L_n^H, L_n^O, L_n^I + 物体轨迹平滑 L_s^O + 人体关节误差 L_j^H + 脚滑惩罚 L_s^H；权重 λ_n^H = λ_n^O = 5.0，λ_n^I = 1，其余为 0.01。\n- AMASS 样本（无物体交互）用可学习 token 替代物体条件 C_O，指示模型忽略物体交互；消融证实联合训练的收益（Tab. 2, Tab. 5 NoAMASS）。\n\n## Step 5 — 推理（Sec. 3.3 + Sup. Sec. 9）\n\n- **Smooth inpainting**：重叠区预测替换为 α·当前 + (1−α)·过去的加权平均（α = 0.4），在每个扩散步执行；重叠大小可调，以平衡上下文长度与推理延迟。\n- **推理引导**：F = λ_HOI·F_HOI + λ_skate·F_skate（λ_HOI = 150，λ_skate = 0.25），采用 reconstruction guidance（scale λ = 0.1，遵循 [^33]）在每个去噪步直接修正预测样本。\n- **效率**：100 DDPM 步；60 帧窗口 640 ms（无引导）/ 980 ms（有引导），约 46/30 FPS，摊薄每帧约 21–33 ms（Sec. 4 实现细节）。\n\n### 3. 关键公式与模块角色\n\n| 公式 / 模块 | 位置 | 作用 |\n|---|---|---|\n| c_I^HOI = {σ(α·(τ_c − d(p, V_O))) \\| p ∈ P_c} | Sec. 3.1 | 将接触距离连续化映射到 [^0] [^1]，适配扩散框架并避免训练不稳定 |\n| ΔT_head^{t-1,t} = (T_world,head^{t-1})^{-1} · T_world,head^t | Sec. 3.1 | 头部中心相对变换条件，保证对全局配置的平移/旋转不变性 |\n| 三变量扩散训练目标（独立调度 T_H, T_O, T_I） | Sec. 3.2 | 联合建模三模态依赖；独立调度实现灵活跨模态条件化与部分观测利用 |\n| Smooth inpainting：Ẑ_W^T := α·Ẑ_W^T + (1−α)·Ẑ_{W−1} | Sec. 3.3 / Sup. Sec. 9 | 窗口重叠区平滑过渡，支持任意长序列在线自回归生成 |\n| F_HOI = (1/\\|P_c\\|)⟨d̂, ĉ_I^HOI⟩ 与 F_skate | Sup. Sec. 9 | 引导预测人/物网格与预测接触对齐，减少穿透/悬浮伪影 |\n| L_ECHO 六项加权损失 | Sup. Sec. 9 | 同时约束重建精度、轨迹平滑与物理合理性（脚滑惩罚） |\n\n### 4. 流程图\n\nmermaid\nflowchart TD\n A[\"输入: 三点追踪 E (头部+双腕) + 物体网格/类别 C_O\"] --> B[\"每帧头部中心表示 (Sec. 3.1, Fig. 2)\"]\n B --> C[\"构造 token: H/O/I (加噪或观测) + 条件 E + 去噪步 T_H,T_O,T_I\"]\n C --> D[\"DiT 去噪网络 ECHO_ψ (Fig. 3)\"]\n D --> E{\"各模态噪声级别\"}\n E -->|\"已知模态 (T=0)\"| F[\"作为条件约束其余模态\"]\n E -->|\"未知模态\"| G[\"从噪声迭代去噪\"]\n F --> H[\"推理引导: F_HOI + F_skate (每步修正预测)\"]\n G --> H\n H --> I[\"输出: 全身姿态 H + 物体轨迹 O + 接触序列 I\"]\n I --> J[\"Smooth inpainting: 重叠区 α=0.4 混合新旧预测\"]\n J --> K[\"自回归拼接 → 任意长序列在线生成\"]\n``n\n\n### 5. 机制与问题的对应关系（为何有效）\n\n- **欠约束 → 生成式先验**：扩散模型从数据学习条件分布，天然处理稀疏输入下的一对多映射（Sec. 1, Sec. 3.2）。\n- **HOI 数据稀缺 → 联合训练**：AMASS（仅运动）+ BEHAVE/OMOMO（交互）在同一三变量框架内训练；NoAMASS 消融显示 AMASS 上 MPJPE 从 7.4 恶化至 43.1（Tab. 2），BEHAVE 上从 6.8 恶化至 8.7（Tab. 5），证明大规模运动先验不可或缺。\n- **传感器噪声/间歇追踪 → 条件随机丢弃 + 独立调度**：随机丢弃 75% 手部追踪仍稳定（BEHAVE MPJPE 6.8→7.6，Tab. 3；OMOMO 类似，Tab. S5）。\n- **任意长序列 → smooth inpainting**：去掉平滑混合（Inpaint w/o smooth）导致 BEHAVE 上 MPJPE 从 6.8 升至 8.1（Tab. 5），验证其对时序一致性的贡献。\n- **物理合理性 → 接触模态 + 推理引导**：去掉接触模态（仅 H,O）使 BEHAVE MPJPE 从 6.8 升至 8.1（Tab. 5），说明接触是连接人体与物体模态的关键桥梁；物理指标（Min. D.、C%、PD）接近真值并优于基线（Tab. S3）；提供接触条件 I 时性能提升最大（Tab. S4）。\n- **整体效果**：上述机制共同使 ECHO 在 BEHAVE/OMOMO 上全面超越 BoDiffusion+O 与 EgoAllo+H+O（Tab. 1），并在 AMASS 运动生成上同样领先（Tab. 2）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评估设置\n\n### 1. 数据集与基准清单（浅层理解）\n\n- **BEHAVE [^6]**（CVPR 2022）：人-物交互（HOI）数据集，RGB-D 捕获，含 SMPL+H 人体与物体 6D 轨迹；原始数据帧率限制为 30 fps。用途：HOI 训练 + 主测试集（Tab. 1、3、5、S3）。\n- **OMOMO [^56]**（TOG 2023）：物体运动引导的人体动作合成 HOI 数据集。用途：HOI 训练 + 主测试集（Tab. 1、S5、S6）。\n- **AMASS [^64]**（ICCV 2019）：大规模纯人体动捕集合，规模远超现有 HOI 数据集（Sec. 1 明确指出 HOI 数据在规模与多样性上的局限）。用途：学习人体运动先验 + 运动生成质量评估（Tab. 2）。\n- **Aria Digital Twin [^73]**（ICCV 2023）：egocentric 3D 感知基准。用途：仅用于对未见运动与物体的泛化性定性评估（Fig. 6），不参与训练。\n\n### 2. 预处理与划分/覆盖设置（中层分析）\n\n- **人体模型统一**：BEHAVE 序列由 SMPL+H 格式转换为 SMPL-X，使用 [^91] 提供的代码（Sec. 4 \"Datasets\"）。\n- **帧率统一**：所有序列下采样至 30 fps，因 BEHAVE 数据本身限制为该帧率（Sec. 4）。\n- **物体表示**：假设物体 canonical mesh 已知；类别 one-hot 编码（34 类，Tab. S1 中 y_O ∈ {0,1}^34），用 PointNext [^81] 从 canonical 顶点（1500 顶点，Tab. S1）提取 1024 维特征 f_O 作为全局条件 C_O（Sec. 3.1）。\n- **训练采样**：训练时采样窗口大小 W=60（Sec. 4；Tab. S1）；评估时对完整序列做连续推理（Sec. 4）。\n- **数据划分**：BEHAVE 与 OMOMO 采用官方 train-test split；AMASS 采用 EgoAllo [^115] 的划分（Sec. 4）。\n- **联合训练策略**：ECHO 与所有基线均在 AMASS+BEHAVE+OMOMO 联合数据上训练以保证公平（Sec. 4.1）；AMASS 样本以可学习 token 替代物体条件 C_O，提示模型忽略物体交互（Sec. 3.2）。\n- **鲁棒性模拟设置**：随机丢弃 0/25/50/75/90% 手部追踪（Tab. 3、S5）；提供 10/25/50/100% 的人体或物体稀疏观测（Tab. 4、S4）；补充材料还测试以接触 I 作为额外条件（Tab. S4）。\n\n### 3. 训练 / 推理 / 评估环境（中层分析）\n\n**训练环境**（Sec. 4 \"Implementation details\"、Sup. Mat. Sec. 9）：\n\n- 模型 57.7M 参数，基于 DiT [^76] + rotary positional embeddings [^90]。\n- AdamW 优化器，学习率 5e-4，batch size 256，训练 300k 步（约 30 小时），单张 NVIDIA RTX 5090 GPU。\n- 损失权重：λ_n^H = λ_n^O = 5.0，λ_n^I = 1，λ_s^O = λ_j^H = λ_s^H = 0.01（六项损失：三模态重建、物体轨迹平滑、人体关节误差、脚部滑移惩罚）。\n- 训练时从 2^3 个噪声/干净模态组合中采样，并对所有被扩散模态同步噪声水平；随机丢弃手部与物体条件以模拟间歇性追踪（Sec. 3.2）。\n\n**推理环境**（Sec. 4、Sup. Mat. Sec. 9）：\n\n- 100 步 DDPM；去噪步域 {0,...,1000}（Tab. S1）。\n- 60 帧窗口 + 30 帧重叠：无引导 640 ms/窗口，有引导 980 ms/窗口（RTX 5090），吞吐约 46 FPS / 30 FPS，摊销每帧约 21–33 ms。\n- smooth inpainting 混合因子 α=0.4；guidance 权重 λ_HOI=150、λ_skate=0.25，reconstruction guidance scale λ=0.1。\n- 可视化工具：aitviewer [^46]、Blendify [^29]。\n\n**评估指标**（Sec. 4 \"Metrics\"、Sup. Mat. Sec. 10）：\n\n- 人体：MPJPE（cm）、MPJVE、FC（脚部接触分数，踝/脚阈值 10/5 cm）。\n- 物体：E_v2v（cm）、E_c（cm）、Rot. Diff.（旋转差）、接触精度 Acc_I。\n- 物理合理性（Tab. S3）：Min. D.、C%、PD、P_sc（沿用 CHOIS [^54] 与 DiffH2O [^13] 的指标）。\n- 结果报告为 3 次运行的均值±方差（Sec. 4.1）。\n\n**基线设置**（Sec. 4.1）：\n\n- BoDiffusion+O：在 DiT 基线 BoDiffusion [^10] 上扩展物体建模（拼接物体变换 token、附加物体形状嵌入与类别信息），训练时对每窗口做 head-centric 规范化。\n- EgoAllo+H+O：在 EgoAllo [^115] 上加入手部条件与物体姿态预测（按官方实现扩展）。\n- 两基线均在 AMASS+BEHAVE+OMOMO 联合数据上训练，且物体姿态同样在 head-centric 空间预测，保证坐标系一致。\n\n### 4. 这些选择的意义与验证内容（深层分析）\n\n- **AMASS 联合训练是核心设计**：弥补 HOI 数据规模不足、学习强人体运动先验。NoAMASS 消融显示 AMASS 上 MPJPE 从 7.4 恶化至 43.1（Tab. 2），BEHAVE 上从 6.8 恶化至 8.7（Tab. 5）；两阶段变体 A-FT（AMASS 预训练→HOI 微调）同样显著退化（AMASS MPJPE 15.9，Tab. S2），证明收益来自三变量联合建模本身而非单纯数据访问——这是对方法核心主张的直接验证。\n- **官方划分 + 联合训练基线**：确保与 BoDiffusion+O、EgoAllo+H+O 的比较公平，排除数据量与坐标系差异的干扰（Sec. 4.1）。\n- **30 fps 统一与 SMPL-X 转换**：消除帧率与人体参数化格式差异带来的评估偏差，使三数据集可在同一表示下联合训练。\n- **噪声/稀疏模拟实验**：验证对间歇性手部追踪的鲁棒性（丢弃 ≤50% 时性能几乎不变，75% 时仅轻微退化，Tab. 3/S5），以及利用部分观测的能力（50% 物体观测使 E_v2v 从 33.5 降至 10.75，Tab. 4）——直接支撑“灵活条件化”这一贡献主张。\n- **实时性设置（100 步 DDPM、30 帧重叠、smooth inpainting）**：在生成质量与延迟间折中，支撑在线任意长序列推理的可行性（Sec. 3.3、Fig. 4；消融显示去掉 smooth blending 会降低时序一致性，Tab. 5/S6）。\n- **Aria Digital Twin 定性评估**：验证模型对训练分布之外的新运动与新物体的泛化能力（Fig. 6），弥补合成基准与真实 in-the-wild 场景之间的差距。\n- **风险与局限**：正文未标注正式发表载体与年份；损失权重、guidance 与 smooth inpainting 公式仅见于补充材料 Sec. 9，复现需依赖开源仓库（. 5/S1 处引用）。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## 1. 评估指标（定义见 Sec. 4 “Metrics” 与补充材料 Sec. 10）\n\n## 人体运动指标\n\n- **MPJPE**（cm，↓）：预测关节与真值关节间的平均 L2 距离（Mean Per-Joint Position Error）。\n- **MPJVE**（cm，↓）：关节速度误差均值（Mean Per-Joint Velocity Error），速度由相邻帧关节位置差分得到，衡量时序平滑性。\n- **FC**（Foot Contact，↑）：双脚 4 个关节（双踝、双脚）距地面低于阈值（踝 10 cm、脚 5 cm）的帧数占比，衡量脚-地接触合理性。\n\n## 物体指标\n\n- **E_v2v**（cm，↓）：预测物体顶点与真值顶点的平均 L2 距离（vertex-to-vertex error）。\n- **E_c**（cm，↓）：预测物体中心与真值中心的 L2 距离。\n- **Rot. Diff.**（↓）：预测物体全局旋转与真值的平均角度差。\n- **Acc_I**（↑）：将预测人-物网格间距离经阈值二值化后与真值接触向量的准确率（contact accuracy）。\n\n## 物理合理性指标（补充材料 Tab. S3）\n\n- **Min. D.**（cm，↓）：人-物最小距离；**C%**（↑）：接触帧比例；**P_sc**（cm，↓）：穿透分数（CHOIS 定义）；**PD**（cm，↓）：穿透深度（DiffH2O 定义）。\n\n## 2. 主要结果（具体数字）\n\n## HOI 重建（Tab. 1，BEHAVE / OMOMO 测试集，3 次运行均值±方差）\n\n- BEHAVE：ECHO 人体 MPJPE **6.8±0.1**、MPJVE **7.5±0.1**、FC **0.94±0.00**；物体 E_v2v **33.5±0.5**、E_c **20.1±0.3**、Rot. Diff. **92.9±2.2**、Acc_I **93.1±0.2**。\n- OMOMO：ECHO 人体 MPJPE **6.0±0.1**、MPJVE **6.1±0.1**、FC **0.93±0.01**；物体 E_v2v **26.5±1.1**、E_c **15.2±0.3**、Rot. Diff. **86.5±6.7**、Acc_I **96.9±0.1**。\n\n## 纯运动生成（Tab. 2，AMASS）\n\n- ECHO：MPJPE **7.4±0.1**、MPJVE **8.6±0.2**、FC **1.0**，优于两个基线；去掉 AMASS 联合训练（NoAMASS）后 MPJPE 恶化至 **43.1±0.1**、MPJVE **40.3±0.1**、FC 降至 0.8，凸显大规模运动数据对学习人体运动先验的重要性。\n\n## 推理效率（Sec. 4 Implementation details）\n\n- 模型 57.7M 参数；推理用 100 步 DDPM；RTX 5090 上 60 帧窗口无引导 640 ms、有引导 980 ms，吞吐约 46 FPS / 30 FPS，摊薄每帧约 21–33 ms，支持在线任意长序列的低延迟推理。\n\n## 3. 与基线 / 代表性先前工作对比\n\n## 定量对比（Tab. 1、Tab. 2）\n\n- vs. **BoDiffusion+O**：BEHAVE 上人体 MPJPE 6.8 vs 8.3（降低 1.5 cm），物体 E_v2v 33.5 vs 44.2（降低 10.7 cm）；OMOMO 上 MPJPE 6.0 vs 7.6、E_v2v 26.5 vs 33.2；AMASS 上 MPJPE 7.4 vs 11.4。ECHO 在人体与物体上全面领先。\n- vs. **EgoAllo+H+O**：人体运动相当或略优（BEHAVE MPJPE 6.8 vs 7.6；OMOMO 6.0 vs 6.6），物体预测显著更优（BEHAVE E_v2v 33.5 vs 39.1；OMOMO 26.5 vs 30.8），验证三变量联合建模对物体追踪的增益（Sec. 4.1）。\n- AMASS 上 ECHO（7.4）优于 EgoAllo+H+O（8.9）与 BoDiffusion+O（11.4），说明联合 HOI 公式学到了更强的人体运动先验（Tab. 2）。\n\n## 物理合理性对比（Tab. S3）\n\n- BEHAVE：ECHO Min. D. **3.5±0.1**、C% **79.5±2.1**、P_sc **0.037±0.002**，最接近真值（Data：3.3 / 80.2 / 0.029）；BoDiffusion+O 的 P_sc（0.021）虽更低但源于大量悬浮（C% 仅 54.0）；EgoAllo+H+O 穿透更重（PD 2.5）。\n- OMOMO：ECHO Min. D. 2.0、C% 86.1、PD 1.1、P_sc 0.016，整体最接近真值（1.3 / 91.4 / 0.9 / 0.006）。\n\n## 定性对比（Fig. 5、Fig. 6、Fig. S1）\n\n- 基线常出现物体穿透或悬浮伪影；ECHO 生成物理上更合理的接触，并在 Aria Digital Twin 序列上展示了对新运动与新物体的泛化能力（动态结果见补充视频）。\n\n## 4. 消融、敏感性与跨数据集综合\n\n## 噪声鲁棒性（Tab. 3 BEHAVE；Tab. S5 OMOMO）\n\n- 随机丢弃手部追踪：BEHAVE 上丢弃 50% 时 MPJPE 仅从 6.8 升至 7.0，75% 时为 7.6，90% 时才明显退化至 9.3；OMOMO 上 90% 丢弃时 MPJPE 为 7.7（完整输入为 6.0）。证实对间歇性追踪的强鲁棒性。\n\n## 稀疏部分观测（Tab. 4；Tab. S4）\n\n- 提供稀疏人体观测：BEHAVE 上仅 10% 帧即可将 MPJPE 从 6.82 降至 5.84，50% 时降至 3.71，同时物体指标几乎不变。\n- 提供稀疏物体观测：50% 观测使 E_v2v 从 33.46 大幅降至 10.75、E_c 从 20.13 降至 7.93，人体指标亦略有改善（6.82→6.79）。\n- 提供接触 I 作为条件（Tab. S4）带来三种模态中最大收益：BEHAVE MPJPE 6.60、E_v2v 32.03；OMOMO MPJPE 5.81、MPJVE 5.78，说明接触信息是连接人-物模态的关键。\n\n## 组件消融（Tab. 5 BEHAVE；Tab. S6 OMOMO）\n\n- **NoGuide**：影响较小（BEHAVE E_c 20.1→20.3），推理引导主要改善更嘈杂的 BEHAVE 数据上的物体预测。\n- **Inpaint w/o smooth**：BEHAVE MPJPE 6.8→6.9、E_c 20.1→20.4，验证 smooth inpainting 对时序一致性的贡献。\n- **去掉接触模态 (H, O)**：退化最明显之一，BEHAVE MPJPE 6.8→8.1、MPJVE 7.5→9.0，证明接触在耦合人体与物体中的核心作用。\n- **NoAMASS**：BEHAVE MPJPE 6.8→8.7、E_v2v 33.5→34.7；OMOMO MPJPE 6.0→7.4，再次确认大规模运动先验的必要性。\n\n## 两阶段训练对照（Tab. S2）\n\n- ECHO A-FT（AMASS 预训练→HOI 微调）在 AMASS 上 MPJPE 恶化至 15.9±0.7（联合训练为 7.4），BEHAVE / OMOMO 上也劣于联合训练（8.6 / 7.5 vs 6.8 / 6.0），证明收益来自三变量联合建模公式本身，而非仅仅数据访问方式。\n\n## 综合结论\n\n- ECHO 在两个 HOI 基准（BEHAVE、OMOMO）与纯运动基准（AMASS）上均达到 SOTA；其优势来源于：三变量独立噪声调度扩散、AMASS+HOI 联合训练、接触显式建模、smooth inpainting 与推理引导；对间歇性追踪与部分观测保持稳健，并满足近实时（约 30–46 FPS）的部署需求。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：未来可探索的方向\n\n### 浅层理解：论文自身指出的未来工作（Sec. 5 Limitations and future work）\n\n论文在结论部分明确列出三个方向：\n\n1. **复杂场景约束**：当前模型仅建模物体交互与地面环境接触，纳入来自动态环境的精细约束对复杂场景中的长期运动一致性至关重要（Sec. 5）。\n2. **精细手指交互**：缺乏细粒度手指追踪限制了对小物体（如笔、剪刀）的灵巧交互重建；引入 egocentric RGB 视频等额外模态可帮助解析精细运动细节（Sec. 5）。\n3. **视觉条件化与数据集**：扩展框架以支持视觉条件化，并收集目前缺失的基于 RGB 的 egocentric HOI 数据集（Sec. 5）。\n\n### 中层分析：理论 / 工程 / 数据与评估三维度展开\n\n#### 1. 理论方向\n\n- **N 元扩散理论**：ECHO 的 tri-variate diffusion 采用三个独立噪声调度（Sec. 3.2、Fig. 3），其收敛性与模态间一致性尚缺理论保证；可推广至任意 N 个模态（IMU、RGB、场景几何等），并研究各模态噪声调度之间的最优耦合策略。\n- **联合训练的理论解释**：Tab. 2 与 Tab. S2 显示单模型联合训练（AMASS+HOI）显著优于两阶段微调（A-FT 在 AMASS 上 MPJPE 从 7.4 恶化到 15.9），但单一生成框架为何能同时学到强运动先验与交互动态仍缺乏理论刻画，可从数据分布混合与多任务学习角度形式化分析。\n- **接触表示与 guidance 理论**：连续接触向量由 sigmoid 距离映射构造（Sec. 3.1），阈值 τ_c 与衰减锐度 α 的选择、以及推理 guidance（F_HOI 与 F_skate，Sup. Mat. Sec. 9，λ_HOI=150、λ_skate=0.25）的最优权衡值得进一步理论化。\n\n#### 2. 工程方向\n\n- **实时性与端侧部署**：当前在 RTX 5090 上处理 60 帧窗口需 640–980 ms（约 46/30 FPS，Sec. 4 实现细节），距智能眼镜端侧实时运行仍有差距；可通过蒸馏、减少 DDPM 步数（当前 100 步）、量化或自适应 overlap（Sec. 3.3 指出 overlap 可权衡上下文长度与延迟）进行优化。\n- **多模态接入**：Sec. 1 指出 tri-variate 公式天然兼容 IMU 人体追踪或 RGB 物体追踪等额外模态；工程上需设计模态 token 化、缺失模态掩码与噪声水平同步策略（训练时对扩散模态同步噪声水平，Sec. 3.2）。\n- **动态场景约束**：将环境从平面地面扩展到含家具/移动物体的复杂场景，需在 guidance（Sec. 3.3）中加入场景碰撞/穿透项，并解决场景几何的在线获取（如 SLAM/3D 重建）。\n- **长序列稳定性**：smooth inpainting（Sec. 3.3、Fig. 4，混合因子 α=0.4）在极长序列上的误差累积与漂移行为需要工程化监控与自适应混合权重设计。\n\n#### 3. 数据与评估方向\n\n- **RGB-based egocentric HOI 数据集**：论文明确指出此类数据集目前缺失（Sec. 5），构建同时包含 RGB、三点追踪与 GT 交互标注的数据集是解锁视觉条件化与精细手指两条路线的关键瓶颈。\n- **扩大 HOI 数据规模与多样性**：现有 BEHAVE/OMOMO 规模有限（Sec. 1、Sec. 3.2 训练策略），需扩展物体类别（当前 one-hot 编码为 34 类，Tab. S1）、场景与交互类型覆盖。\n- **in-the-wild 评估协议**：目前仅在 Aria Digital Twin 上做了初步泛化展示（Fig. 6），应建立包含真实传感器噪声与间歇追踪的标准化 benchmark（Tab. 3/S5 的随机丢弃模拟可升级为真实设备采集验证）。\n- **物理合理性指标体系**：Tab. S3 显示 ECHO 在接触率 79.5% 与穿透分 0.037 cm 之间取得平衡，但接触-穿透权衡尚无统一评价标准，可发展基于物理仿真的综合评估协议。\n- **隐私与伦理评估**：Sec. 6 指出该技术可能被滥用于未授权监控，未来需建立隐私保护评估协议与负责任部署准则。\n\n### 深层分析：优先级与研究路线建议\n\n- **短期（约 1 年内）**：数据侧最紧迫——RGB egocentric HOI 数据集的收集可同时解锁视觉条件化与精细手指交互两条路线（Sec. 5）；工程侧优先推进推理加速与端侧移植。\n- **中期**：为 N 元扩散建立跨模态一致性的理论保证，支撑更多模态接入；建立 in-the-wild benchmark 与统一的物理合理性评估指标。\n- **长期**：面向空间智能（spatial AI，Sec. 1）的完整 egocentric 感知系统——构建联合人体、物体、场景与接触的统一生成框架，并与机器人操作、医疗健康、个人助理等下游应用形成闭环。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：现实世界部署视角（How would this show up in real-world use?）\n\n### 7.1 浅层：部署形态与硬件前提\n\n- **输入设备**：仅需三点稀疏追踪——智能眼镜（头部）+ 双手腕设备（智能手表/指环），无需 RGB、无需预扫描场景、无需给物体加装传感器（Sec. 1、Fig. 1；与 iReplica [^26]、IMU-HOI [^58] 的对比见 Sec. 2.3）。\n- **物体先验要求**：每个交互物体的 canonical mesh 必须预先提供给模型，并以 one-hot 类别向量（34 类，Tab. S1）+ PointNext 特征（R^1024）作为全局条件（Sec. 3.1）。这意味着**未知物体无法直接处理**，是部署的首要约束。\n- **人体先验要求**：SMPL-X 形状参数 β 假设已知（Sec. 3.1），实际产品中需额外的体型估计或用户标定流程。\n- **帧率约定**：所有序列下采样至 30 fps（受 BEHAVE 数据限制，Sec. 4），部署时传感器管线需对齐该帧率。\n\n### 7.2 中层：计算与延迟影响（compute/latency）\n\n- **模型规模与训练成本**：57.7M 参数；AdamW、300k 步、batch 256、lr 5e-4，**单张 NVIDIA RTX 5090 约 30 小时**完成训练（Sec. 4 Implementation details）。训练成本对学术实验室和小型团队友好，无需分布式集群。\n- **推理延迟**：100 步 DDPM；60 帧窗口、30 帧重叠下，RTX 5090 上**无 guidance 640 ms、有 guidance 980 ms**，对应吞吐约 46 FPS / 30 FPS，摊销 **21–33 ms/帧**（Sec. 4）。\n- **可调延迟旋钮**：重叠区大小可调，用于平衡上下文长度与推理延迟（Sec. 3.3）；关闭 guidance 几乎不损失精度（NoGuide 消融，Tab. 5：MPJPE 6.8→6.8，E_v2v 33.5→33.6），是低延迟部署的现成选项。\n- **部署含义（深层解读）**：摊销帧率满足 30 FPS 的视觉连续性，但**窗口级首帧延迟 0.6–1 s**，且所有数字基于桌面级 RTX 5090——论文未演示智能眼镜/移动端 on-device 部署，也未提供量化/蒸馏后的边缘端结果。因此当前形态更适合：AR 叠加渲染、离线活动分析、云端推理+设备回传；对 <100 ms 严格闭环（如机器人实时避障）尚不适用。\n\n### 7.3 中层：鲁棒性与可靠性（robustness）\n\n- **间歇性手部追踪**：随机丢弃手部追踪 ≤50% 时性能几乎不变（BEHAVE MPJPE 6.8→7.0，Tab. 3；OMOMO 6.0→6.1，Tab. S5），75% 起明显退化（7.6 / 6.4），90% 时仍可用（9.3 / 7.7）。这直接对应真实场景中手表/指环被遮挡或脱戴的情况。鲁棒性来源于训练时随机丢弃手/物体条件的数据增强（Sec. 3.2）。\n- **部分观测增益**：提供 10–50% 的人体或物体稀疏观测可显著提升对应模态精度——50% 物体观测使 E_v2v 从 33.5 降至 10.75 cm、E_c 从 20.1 降至 7.93 cm（Tab. 4）；接触 I 条件化带来三模态中最大收益（Tab. S4）。部署上意味着：任何额外传感器（IMU、RGB 姿态估计、物体检测器）都能即插即用地提升质量（Sec. 1 声称的 universal conditioning）。\n- **物理合理性**：接触率 C% = 79.5%（GT 80.2%），Min. D. 3.5 cm 接近 GT 3.3 cm，穿透/悬浮伪影显著少于基线（Tab. S3；定性对比 Fig. 5、Fig. S1）。推理期 classifier-based guidance（λ_HOI=150、λ_skate=0.25，Sup. Mat. Sec. 9）在噪声较大的 BEHAVE 上主要改善物体预测（Tab. 5）。\n- **长序列稳定性**：smooth inpainting（混合因子 α=0.4，Sup. Mat. Sec. 9）在窗口重叠区逐步融合新旧预测，消除标准 inpainting 的接缝（Fig. 4；消融 Tab. 5 'Inpaint w/o smooth' 显示去掉后 MPJPE 6.8→8.1），支持任意长度在线推理——这是长时间佩戴场景（全天活动监测）的关键工程保障。\n\n### 7.4 深层：安全与隐私问题（safety）\n\n- **隐私风险（作者自述）**：Sup. Mat. Sec. 6 Broader impacts 明确指出，连续追踪详细人体动作可能被滥用于**未授权监控**，造成隐私问题；作者承认未来技术进步会加剧滥用可能，强调负责任开发须是持续优先事项。\n- **错误输出的下游风险**：目标应用包括医疗健康与个人助理（Sec. 1）。guidance 仅保证**几何/接触层面**的合理性（接触对齐、防滑步），不保证语义正确性——若用于健康监测（如跌倒检测、行为评估），错误重建可能引发误判，需在产品层增加置信度估计与人工复核。\n- **能力边界带来的安全隐患**：无精细手指追踪，小物体（笔、剪刀）的灵巧交互重建受限（Sec. 5 Limitations）；仅建模人-地面环境接触，缺乏家具/墙面等复杂场景约束，长期复杂场景运动一致性无法保证（Sec. 5）。在这些边界外使用输出（如机器人抓取规划）需格外谨慎。\n\n### 7.5 深层：可维护性与可扩展性（maintainability）\n\n- **开源完备性**：代码与训练模型均已开源（Sec. 1 贡献列表； 0.01）、guidance 公式、smooth inpainting 公式均在 Sup. Mat. Sec. 9 完整给出，复现与二次开发门槛低。\n- **数据管线维护**：训练需联合 AMASS + BEHAVE + OMOMO；BEHAVE 需从 SMPL+H 转换为 SMPL-X（Sec. 4）。NoAMASS 消融（Tab. 2：MPJPE 7.4→43.1；Tab. 5：8.7）与两阶段 A-FT 对照（Tab. S2：AMASS MPJPE 15.9 vs 7.4）证明联合训练公式本身是性能来源——未来更新数据集时必须保持 motion-only 与 HOI 数据**联合**训练，不能简单先训后微调。\n- **模态扩展性**：三变量扩散 + 独立噪声调度天然容纳新模态（IMU 人体追踪、RGB 物体追踪），无需改架构（Sec. 1、Sec. 5），维护成本低。\n- **类别扩展成本**：物体类别为 34 维 one-hot 封闭词表（Tab. S1），新增物体类别需重训或改造条件编码（如换文本嵌入），这是长期维护中主要的迭代点。\n\n### 7.6 部署差距清单（gap analysis）\n\n| 维度 | 现状 | 差距 |\n|---|---|---|\n| 延迟 | 640–980 ms/窗口，21–33 ms/帧摊销（Sec. 4） | 不满足 <100 ms 严格实时闭环 |\n| 算力 | RTX 5090 级桌面 GPU | 无边缘端/眼镜端 on-device 验证 |\n| 物体 | 需已知 canonical mesh + 34 类封闭词表（Sec. 3.1、Tab. S1） | 未知物体、开放词表不支持 |\n| 场景 | 仅地面接触（Sec. 5） | 无家具/动态环境约束 |\n| 手部 | 仅手腕追踪，无手指（Sec. 5） | 小物体灵巧交互受限 |\n| 评估域 | BEHAVE/OMOMO 实验室数据；Aria Digital Twin 仅定性泛化（Fig. 6） | 缺少 in-the-wild 定量验证 |\n\n### 7.7 工程落地建议（基于论文证据）\n\n- **AR 助手场景**：关闭 guidance 换取 ~340 ms 延迟节省（980→640 ms），精度损失可忽略（Tab. 5 NoGuide）；调小重叠区进一步压延迟（Sec. 3.3）。\n- **医疗/高保真场景**：开启 guidance 并尽量接入接触或物体稀疏观测（Tab. S4、Tab. 4 显示收益最大），提升物理合理性与精度。\n- **隐私合规**：参考 Sec. 6 的自述风险，优先端侧/边缘推理与数据最小化，避免原始追踪数据上传。\n- **结论**：ECHO 在'稀疏可穿戴输入 → 全身 HOI 重建'这一部署形态上首次打通了从模型到开源实现的完整链路，鲁棒性与长序列机制面向真实佩戴场景设计；但桌面级算力依赖、物体 mesh 先验与场景约束缺失，使其当前定位为**近实时云端/工作站方案**，距离眼镜端全天候自主运行仍需边缘化与感知扩展工作。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## 模块 C8：精炼总结\n\n### 1. 总结段落\n\nECHO 是首个仅凭可穿戴设备三点稀疏追踪（智能眼镜头部追踪 + 双手腕追踪）联合恢复全身人体姿态 H、物体运动轨迹 O 与接触序列 I 的统一框架（Sec. 1、Fig. 1）。其核心创新是带独立噪声调度的 tri-variate diffusion 过程，在单一 DiT 网络内建模人、物、接触三个模态之间的相互依赖（Sec. 3.2、Fig. 3）。这一设计带来极高的推理灵活性：将任一模态的噪声水平置零即可将其转化为已知条件，从而天然支持部分观测、间歇性追踪与跨模态条件化（Sec. 3.2、Tab. 4）。训练层面，模型在 AMASS 大规模人体运动数据与 BEHAVE/OMOMO 等 HOI 数据集上联合训练，AMASS 样本以可学习 token 替代物体条件，从而同时获得强运动先验与交互动态（Sec. 3.2、Tab. 2）。推理阶段采用 smooth inpainting 机制，在窗口重叠区对过去与当前预测进行加权融合，实现任意长度序列的时间一致在线生成（Sec. 3.3、Fig. 4）。实验显示 ECHO 在 BEHAVE 与 OMOMO 上全面超越 BoDiffusion+O 与 EgoAllo+H+O 基线，物体误差与接触质量显著改善（Tab. 1、Fig. 5）。消融进一步证明 inference guidance、smooth inpainting、接触模态与 AMASS 联合训练各自不可或缺（Tab. 5、S6）。\n\n### 2. 五条关键要点\n\n1. **首个三点追踪 HOI 方法**：仅凭头部 + 双手腕追踪即可联合重建全身姿态、物体轨迹与接触，无需 RGB、预扫描场景、动捕服或密集 IMU，且对未加装传感器的物体适用（Sec. 1、Sec. 2.3）。\n2. **独立噪声调度的 tri-variate diffusion 是灵活性之源**：三模态各自持有去噪步 $\\mathcal{T}_{\\mathcal{H}}, \\mathcal{T}_{\\mathcal{O}}, \\mathcal{T}_{\\mathcal{I}}$，将某模态噪声置零即转化为条件输入，天然支持部分观测与间歇追踪（Sec. 3.2、Fig. 3）。\n3. **AMASS + HOI 联合训练至关重要**：去掉 AMASS 后 AMASS 测试 MPJPE 从 7.4 恶化到 43.1（Tab. 2），两阶段微调变体 A-FT 也明显退化（Tab. S2），说明收益来自联合建模公式本身而非单纯的数据访问。\n4. **smooth inpainting 保障长序列一致性**：相比标准 inpainting 丢弃重叠区新预测，该方法在每个扩散步对重叠区做加权混合（混合因子 $\\alpha=0.4$），支持实时在线推理（约 46 FPS，640–980 ms/窗口，Sec. 4、Sec. 9）。\n5. **接触模态是连接人与物的桥梁**：仅用 (H, O) 两模态时人/物性能均显著下降（Tab. 5、S6）；提供接触条件 I 带来所有附加模态中最大增益（Tab. S4），且模型在 75% 手部追踪缺失下仍保持稳定（Tab. 3、S5）。\n\n### 3. 核心公式/机制\n\nTri-variate diffusion 训练目标（Sec. 3.2）——三个模态使用独立去噪步，在同一 DiT 网络中联合去噪：\n\n$$\\mathbb{E}_{p}\\,\\mathbb{E}_{\\mathcal{T}}\\,\\mathbb{E}_{q}\\,\\big\\|\\,\\mathrm{ECHO}_{\\psi}\\big(\\mathcal{H}^{\\mathcal{T}_{\\mathcal{H}}},\\mathcal{O}^{\\mathcal{T}_{\\mathcal{O}}},\\mathcal{I}^{\\mathcal{T}_{\\mathcal{I}}};\\,\\mathcal{T}_{\\mathcal{H}},\\mathcal{T}_{\\mathcal{O}},\\mathcal{T}_{\\mathcal{I}};\\,\\mathcal{C}_{\\mathcal{O}},\\mathcal{E}\\big)-(\\mathcal{H}^{0},\\mathcal{O}^{0},\\mathcal{I}^{0})\\big\\|_{2}$$\n\n其中 $(\\mathcal{T}_{\\mathcal{H}},\\mathcal{T}_{\\mathcal{O}},\\mathcal{T}_{\\mathcal{I}})$ 独立均匀采样，$\\mathcal{E}$ 为三点 egocentric 条件（相对头/手变换、规范化旋转、头到地面距离），$\\mathcal{C}_{\\mathcal{O}}$ 为物体类别 one-hot 与 PointNext 几何特征。训练时从 $2^3$ 个噪声/干净组合中采样并同步所有已扩散模态的噪声水平，使模型学会从观测模态重建缺失模态；配合 smooth inpainting（重叠区预测 $\\hat{z}:=\\alpha\\hat{z}^{\\mathcal{T}}+(1-\\alpha)\\hat{z}_{\\mathcal{W}-1}$，Sec. 9）即可自回归生成任意长度的时序一致 HOI 序列。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n# Module D：第二遍精读（结构树 / 方法分解 / 图表解读 / 实验细节 / 流程图）\n\n## 1. 论文结构树\n\n``nECHO（正文 Sec. 1–5 + 补充材料 Sec. 6–10）\n├── 1 Introduction — 问题设定（3点可穿戴追踪 → 联合HOI重建）、三大贡献\n├── 2 Related Work\n│ ├── 2.1 Egocentric Motion Reconstruction（IMU/HMD/扩散生成；HMD^2、EgoAllo、EgoEgo）\n│ ├── 2.2 Exocentric HOI Modeling（文本/RGB/场景条件；TriDi 三变量静态版）\n│ └── 2.3 Egocentric HOI Reconstruction（iReplica、IMU-HOI 等对比定位）\n├── 3 Method\n│ ├── 3.1 Representation（per-frame head-centric 坐标系；H/O/I 三模态表示；条件 E；Fig. 2）\n│ ├── 3.2 ECHO model（tri-variate diffusion 独立噪声调度 + DiT 架构 + 训练策略；Fig. 3）\n│ └── 3.3 Inference（smooth inpainting；classifier-based guidance；Fig. 4）\n├── 4 Experiments\n│ ├── 实现细节 / 数据集 / 指标\n│ ├── 4.1 与基线对比（Tab. 1–2；定性 Fig. 5–6）\n│ ├── 4.2 噪声条件与稀疏输入（Tab. 3–4）\n│ └── 4.3 消融（Tab. 5）\n├── 5 Conclusions + 局限与未来工作\n└── 补充材料\n ├── 6 Broader impacts\n ├── 7 扩散背景 + 符号表（Tab. S1）\n ├── 8 附加评估（两阶段训练 Tab. S2、物理合理性 Tab. S3、接触条件化 Tab. S4、OMOMO 噪声 Tab. S5、OMOMO 消融 Tab. S6；定性 Fig. S1）\n ├── 9 实现细节（六项损失、guidance 公式、smooth inpainting 公式）\n └── 10 指标完整定义\n``n\n\n## 2. 方法与系统分解（method archetype）\n\n### 2.1 输入 / 输出\n\n- **输入**（Sec. 3.1、Sec. 3.2、Fig. 3）：\n 1. 三点 egocentric 条件 E：逐帧相对头部位姿 ΔT_head^{t-1,t}、规范化头部旋转 R_can,head、头到地面距离 h_head、相对手部位姿 ΔT_hands 与规范化手部旋转 R_can,hands（旋转以 R^6 表示）。\n 2. 物体条件 C_O = (y_O, f_O)：类别 one-hot 向量（域 {0,1}^34，Tab. S1）+ PointNext 从规范化物体顶点提取的 1024 维特征（Sec. 3.1）。\n 3. 可选：H/O/I 任一模态的稀疏或完整观测——通过把该模态去噪步置 0 实现 inpainting 式条件化（Sec. 3.2）。\n- **输出**：完整 HOI 序列 {Ĥ, Ô, Î}——SMPL-X 全身姿态（θ_H ∈ R^{21×6}，形状 β 已知）、head-centric 物体 SE(3) 轨迹、连续接触向量序列（64 个人-物接触点 + 8 个下肢人-地接触，Sec. 3.1、Tab. S1）。\n\n### 2.2 关键表示设计（Sec. 3.1，Fig. 2）\n\n- **per-frame head-centric 坐标系**：不同于序列级规范化（HMD^2、EgoEgo），采用 EgoAllo 的逐帧变体，物体位置以每帧头部位置为锚点，保持对序列全局配置的不变性，任意窗口可直接推理而无需显式规范化（Sec. 3.1）。\n- **接触连续化**：人-物接触由 SMPL-X 采样点 P_c（64 点）到物体网格的最短距离经 sigmoid 映射到 [^0] [^1]：c_I^HOI = σ(α·(τ_c − d(p, V_O)))；人-地接触基于下肢关节速度与离地高度计算（沿用 [^83] [^115]）（Sec. 3.1）。\n- **人体全局位姿**：通过将 SMPL-X 头部关节对齐三点追踪的头位置来推断 T_H（Sec. 3.1）。\n\n### 2.3 核心模型：tri-variate diffusion + DiT（Sec. 3.2，Fig. 3）\n\n- 对 H、O、I 分别维护独立去噪步 T_H、T_O、T_I（域 {0,…,1000}，Tab. S1），采用 x0-预测参数化（遵循 [^82]），训练目标（Sec. 3.2 式）：\n min_ψ E_p E_T E_q ‖ECHO_ψ(H^{T_H}, O^{T_O}, I^{T_I}; T_H, T_O, T_I; C_O, E) − (H^0, O^0, I^0)‖₂。\n- **独立噪声调度的意义**：已知模态噪声步置 0 即成为条件，其余模态被预测；单一网络统一承担生成与补全两种角色，天然支持部分观测与跨模态条件化（Sec. 3.2）。\n- **架构**：Diffusion Transformer (DiT) [^76] + rotary positional embeddings [^90]，57.7M 参数（Sec. 4 实现细节）。\n\n### 2.4 训练流程（Sec. 3.2 + Sup. Sec. 9）\n\n1. 数据：AMASS + BEHAVE + OMOMO 联合训练；AMASS 样本将 C_O 替换为可学习 token，指示模型忽略物体交互（Sec. 3.2 Training）。\n2. 噪声采样：每个模态独立选择加噪或保持干净（2^3 种组合），但所有被加噪模态同步同一噪声水平以保证稳定（Sec. 3.2 Training）。\n3. 鲁棒性增强：随机丢弃手部与物体条件，模拟间歇性追踪（Sec. 3.2 Training）。\n4. 损失（Sup. Sec. 9）：L_ECHO = 5.0·L_n^H + 5.0·L_n^O + 1·L_n^I + 0.01·(L_s^O + L_j^H + L_s^H)，即三模态重建损失 + 物体轨迹平滑（关键点线速度/角速度）+ 人体关节误差 + 足部滑步惩罚。\n5. 优化：AdamW，batch 256，lr 5e-4，300k 步（约 30 小时，单卡 RTX 5090）（Sec. 4 实现细节）。\n\n### 2.5 推理流程（Sec. 3.3 + Sup. Sec. 9）\n\n- 100 步 DDPM 去噪；每个去噪步依次执行：\n 1. 网络预测 (Ĥ, Ô, Î)；\n 2. **smooth inpainting**：当前窗口与上一窗口重叠区按 α=0.4 加权混合（Ĥ_W^{T} := α·Ĥ_W^{T} + (1−α)·Ĥ_{W−1}，三模态同理），替代 HMD^2 在重叠区直接丢弃新预测的做法（Fig. 4；Sup. Sec. 9）；\n 3. **classifier-based guidance**：F = 150·F_HOI + 0.25·F_skate；F_HOI 以预测人/物网格间距离与预测接触向量的内积对齐二者，F_skate 惩罚足部滑步；以 reconstruction guidance 形式（scale 0.1）在每个去噪步直接修正预测样本（Sup. Sec. 9）。\n- 窗口 W=60、重叠 30 帧；60 帧窗口耗时 640 ms（无 guidance）/ 980 ms（有 guidance），吞吐约 46 / 30 FPS，摊薄每帧 21–33 ms（Sec. 4 实现细节）。\n\n## 3. 重要图表解读（≥2 个）\n\n### Fig. 3（ECHO 总览图）— 方法核心机制\n\n- 输入 token 由条件 E 与 H/O/I 三模态 token 组成：观测模态直接输入、未知模态输入噪声；每个模态携带独立去噪步 T_H/T_O/T_I。\n- 图示例演示扩展条件化：把接触 I 作为附加输入（噪声步 0），网络推断与之匹配的 H 与 O——正是独立噪声调度带来的灵活输入配置能力（Sec. 3.2 与图对应）。\n- 解读要点：单一网络同时承担生成与补全，无需为不同输入配置训练不同模型，这是与 BoDiffusion/EgoAllo 等基线的本质区别。\n\n### Fig. 4（三种推理策略对比）— smooth inpainting 动机\n\n- 左：标准滑窗推理，忽略过去预测上下文，窗口拼接处易断裂；\n- 中：HMD^2 式 inpainting，用过去预测作条件但在重叠区丢弃新预测，完全依赖旧数据；\n- 右：ECHO 的 smooth inpainting，在每个扩散步对重叠区做过去/当前预测加权混合，实现无缝过渡（Sec. 3.3）。\n- 定量佐证：Tab. 5 中 Inpaint w/o smooth 使 BEHAVE 上 MPJPE 6.8→6.9、E_c 20.1→20.4（连续长序列推理下差异更明显）。\n\n### Table 1（与基线对比，BEHAVE 与 OMOMO）— 主结果\n\n- BEHAVE：ECHO MPJPE 6.8±0.1 / MPJVE 7.5±0.1 / FC 0.94 / E_v2v 33.5±0.5 / E_c 20.1±0.3 / Rot. Diff. 92.9±2.2 / Acc_I 93.1±0.2，全面优于 BoDiffusion+O（8.3/10.1/0.82/44.2/29.9/110.9/91.8）与 EgoAllo+H+O（7.6/8.6/0.95/39.1/22.5/111.6/91.7）。\n- OMOMO：ECHO 6.0/6.1/0.93/26.5/15.2/86.5/96.9 同样最优；FC 上 EgoAllo+H+O 略高（0.95 vs 0.93），但人-物指标大幅领先。\n- 结论：物体 E_v2v 相对 EgoAllo+H+O 降低约 14%（两数据集），验证 tri-variate 联合建模对交互约束的收益（Sec. 4.1）。\n\n### Table 2（AMASS 运动生成质量）— 联合训练的价值\n\n- ECHO 在 AMASS 上 MPJPE 7.4±0.1，优于 EgoAllo+H+O（8.9）与 BoDiffusion+O（11.4）；\n- NoAMASS 变体 MPJPE 暴跌至 43.1±0.1、FC 降至 0.8，证明大规模纯运动数据对强人体先验不可或缺（Sec. 4.1）。\n- 补充 Tab. S2 排除数据访问因素：两阶段训练（A-FT：AMASS 预训练→HOI 微调）AMASS MPJPE 15.9，显著差于联合训练的 7.4，说明收益来自 tri-variate 公式本身而非数据量。\n\n## 4. 实验与评估细节\n\n### 4.1 数据集与协议\n\n- 训练/评估：BEHAVE + OMOMO + AMASS 并集；BEHAVE/OMOMO 用官方划分，AMASS 用 EgoAllo 划分；BEHAVE 由 SMPL+H 转为 SMPL-X（用 [^91] 代码）；全部下采样至 30 fps；训练窗口 W=60，评估对完整序列连续推理（Sec. 4 Datasets）。\n- 公平性：所有模型（除 NoAMASS）在三个数据集并集上训练；两个基线均被作者扩展以支持物体建模（BoDiffusion+O 拼接物体 token 与形状/类别条件；EgoAllo+H+O 增加手部条件），且物体位姿同样在 head-centric 空间预测以对齐坐标系（Sec. 4.1 Baselines）。\n\n### 4.2 指标\n\n- 人体：MPJPE（cm）、MPJVE、FC（足部触地帧比例，阈值 10/5 cm）；\n- 物体：E_v2v（cm）、E_c（cm）、Rot. Diff.（角度差）、Acc_I（预测网格距离阈值化后与真值二值接触的准确率）（Sec. 4 Metrics；Sup. Sec. 10）；\n- 物理合理性（补充）：Min. D.、C%、PD、P_sc（Tab. S3）。\n\n### 4.3 对比目标与主结果\n\n- 基线：BoDiffusion+O、EgoAllo+H+O（均为作者扩展的端到端 egocentric 方法；多阶段方法因需大幅改架构未纳入）（Sec. 4.1）。\n- 定量主结果见上文 Table 1/2 解读；定性上（Fig. 5、Fig. S1）基线常出现物体穿透/悬浮伪影，ECHO 接触更合理；Fig. 6 展示对 Aria Digital Twin 新运动/新物体的泛化。\n- 物理指标（Tab. S3）：BEHAVE 上 ECHO Min. D. 3.5 cm、C% 79.5，最接近真值（3.3/80.2）；BoDiffusion+O 的 P_sc 看似更低（0.021）但源于大量悬浮（C% 仅 54.0），ECHO 以 79.5% C% 平衡接触与穿透（P_sc 0.037）。\n\n### 4.4 鲁棒性实验\n\n- 间歇手部追踪（Tab. 3，BEHAVE）：随机丢弃 0–90% 手部追踪，MPJPE 仅从 6.8 升至 9.3（90% 时），75% 以内退化温和；OMOMO 趋势一致（Tab. S5）。\n- 稀疏附加观测（Tab. 4）：提供 50% 稀疏人体观测使 MPJPE 从 6.82 降至 3.71；提供 50% 稀疏物体观测使 E_v2v 从 33.46 降至 10.75、E_c 从 20.13 降至 7.93，且另一模态也小幅受益——验证跨模态条件化的实用价值。\n- 接触条件化（Tab. S4）：提供 I 观测带来三模态中最大增益（BEHAVE：6.60/7.22/32.03/18.59），说明接触是连接人/物的关键桥梁模态。\n\n### 4.5 消融（Tab. 5 BEHAVE；Tab. S6 OMOMO）\n\n- NoGuide：主要影响噪声更大的 BEHAVE 上的物体预测（E_c 20.1→20.3）；\n- Inpaint w/o smooth：各指标小幅退化，验证平滑混合对长序列时序一致性的作用；\n- 去掉接触模态 (H,O)：BEHAVE MPJPE 6.8→8.1、MPJVE 7.5→9.0，退化最明显之一，证明接触是耦合人/物的核心；\n- NoAMASS：MPJPE 6.8→8.7（BEHAVE）、6.0→7.4（OMOMO），确认大规模运动先验的重要性；\n- OMOMO 消融（Tab. S6）趋势一致。\n\n## 5. 方法流程图（method archetype）\n\n``n ┌───────────────────── 输入 ─────────────────────┐\n │ 3点追踪 E: ΔT_head, R_can,head, h_head, │\n │ ΔT_hands, R_can,hands │\n │ 物体条件 C_O = (one-hot y_O, PointNext f_O) │\n │ [可选] H/O/I 任一模态观测 (对应噪声步=0) │\n └───────────────────────┬─────────────────────────┘\n ▼\n ┌──────── ECHO 去噪网络: DiT + RoPE (57.7M 参数) ─────────┐\n │ tokens = [E] + [H^{T_H}|噪声] + [O^{T_O}|噪声] + [I^{T_I}|噪声] │\n │ 独立去噪步 T_H, T_O, T_I ∈ {0..1000} (tri-variate) │\n └───────────────────────┬─────────────────────────────────┘\n ▼ ×100 DDPM 步, 每步执行:\n ① 预测 (Ĥ, Ô, Î)\n ② smooth inpainting: 重叠区 ← 0.4·新 + 0.6·旧 (逐模态)\n ③ guidance: F = 150·F_HOI + 0.25·F_skate → scale 0.1 梯度修正\n ▼\n ┌────────────────────── 输出 ──────────────────────┐\n │ H: SMPL-X 全身姿态 θ_H ∈ R^{21×6} │\n │ O: head-centric SE(3) 物体轨迹 │\n │ I: 连续接触向量 (64 HOI 点 + 8 下肢关节) │\n └───────────────────────────────────────────────────┘\n\n训练侧: AMASS(C_O→可学习token) + BEHAVE + OMOMO 联合训练\n → 每模态 2^3 加噪/干净组合 (被加噪模态同步噪声水平)\n → 随机丢弃手/物条件 (模拟间歇追踪)\n → L = 5·L_n^H + 5·L_n^O + 1·L_n^I + 0.01·(L_s^O + L_j^H + L_s^H)\n``n\n\n## 6. 第二遍小结（浅→深要点）\n\n- **浅层**：ECHO 是从三点可穿戴追踪联合重建人/物/接触的扩散模型，在 BEHAVE/OMOMO/AMASS 上取得 SOTA。\n- **中层**：三项使能技术——独立噪声调度的 tri-variate diffusion（灵活条件化 + 多数据集联合训练）、smooth inpainting（任意长序列在线推理）、contact-aware guidance（物理合理性）。\n- **深层**：独立噪声调度把「生成」与「补全」统一在单网络内，是联合训练 AMASS+HOI 成为可能的关键；消融（Tab. 5、S2、S6）从模态、数据、推理策略三个角度验证各组件必要性，其中接触模态与 AMASS 先验贡献最大（(H,O) 消融与 NoAMASS 退化最显著）。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n# Module E：第三轮深度评审（Third-pass deep review）\n\n## 1. 可复现性重构（Reconstructability）\n\n### 1.1 复现所需信息清单\n\n- **模型架构**：基于 DiT [^76] 并使用 rotary positional embeddings [^90] 的去噪网络，总参数量 57.7M（Sec. 4 Implementation details）；输入 token 由 egocentric 条件 E、物体条件 C_O =（one-hot 类别 y_O, PointNext 特征 f_O ∈ R^1024）以及 H/O/I 三个模态构成，每个模态携带独立去噪步 T_H, T_O, T_I（Sec. 3.2, Fig. 3）。\n- **表示方式**：per-frame head-centric 坐标系（Sec. 3.1, Fig. 2）；人体为 SMPL-X 身体姿态 θ_H ∈ R^{21×6}（形状 β 假设已知）；物体为 SE(3) 轨迹（旋转转 R^6，引 [^131]）；接触 I 为 sigmoid 距离映射的连续向量（64 个人-物接触点 + 8 个脚-地接触点，Tab. S1）。\n- **训练超参**：AdamW，300k 步，batch size 256，lr 5e-4，单卡 RTX 5090 约 30 小时；窗口 W=60，统一降采样至 30 fps；损失权重 λ_n^H = λ_n^O = 5.0、λ_n^I = 1、λ_s^O = λ_j^H = λ_s^H = 0.01（Sup. Mat. Sec. 9）。\n- **推理超参**：100 步 DDPM；窗口 60 帧、重叠 30 帧；smooth inpainting 混合系数 α = 0.4；guidance 权重 λ_HOI = 150、λ_skate = 0.25、guidance scale λ = 0.1（Sup. Mat. Sec. 9）。\n- **数据**：BEHAVE + OMOMO + AMASS 联合训练（AMASS 样本用可学习 token 替代物体条件）；使用官方 train/test split；BEHAVE 由 SMPL+H 转换为 SMPL-X（Sec. 4）。\n- **代码**： 。\n\n### 1.2 训练伪代码（依据 Sec. 3.2 与 Sup. Mat. Sec. 9 重构）\n\n``nfor step in 1..300000:\n (H0, O0, I0, E, C_O) ← 从 BEHAVE ∪ OMOMO ∪ AMASS 采样 60 帧窗口\n if 样本来自 AMASS: C_O ← 可学习 token（表示无物体交互）\n m ← 从 {noisy/clean}^3 共 8 种组合中采样（决定哪些模态加噪）\n τ* ← U{0..1000}；对所有加噪模态使用同一 τ*（同步噪声水平，Sec. 3.2 Training）\n 对每个加噪模态 X ∈ {H, O, I}: X^τ ← √ᾱ_τ·X^0 + √(1−ᾱ_τ)·ε\n 以一定概率随机丢弃手部/物体条件（模拟间歇追踪）\n (Ĥ0, Ô0, Î0) ← ECHO_ψ(X^τ; τ_H, τ_O, τ_I, C_O, E)\n L ← λ_n^H·L_recon^H + λ_n^O·L_recon^O + λ_n^I·L_recon^I\n + λ_s^O·L_smooth^O + λ_j^H·L_joint^H + λ_s^H·L_footskate\n AdamW 更新 ψ\n``n\n\n### 1.3 在线推理伪代码（smooth inpainting + guidance，依据 Sec. 3.3 与 Sup. Mat. Sec. 9）\n\n``nprev ← ∅\nfor 每个新窗口（步长 30 帧，窗口 60 帧）:\n H^100, O^100, I^100 ~ N(0, I)\n for t = 100..1:\n (Ĥ0, Ô0, Î0) ← ECHO_ψ(H^t, O^t, I^t; t, t, t, C_O, E)\n\n # smooth inpainting：重叠区与上一窗口预测逐步加权混合\n\n Ĥ0 ← 0.4·Ĥ0 + 0.6·prev_H（重叠帧；Ô0、Î0 同理）\n\n # reconstruction guidance（每步直接修改预测样本，引 [33]）\n\n F ← 150·F_HOI(Ĥ0, Ô0, Î0) + 0.25·F_skate(Ĥ0, Î0)\n (Ĥ0, Ô0, Î0) ← (Ĥ0, Ô0, Î0) − 0.1·∇F\n DDPM 反向一步，得到 H^{t−1}, O^{t−1}, I^{t−1}\n 输出窗口新增 30 帧；prev ← 本窗口最终预测\n``n\n\n### 1.4 复现风险点\n\n- DiT 的层数/宽度/注意力头数等架构细节正文未给出（仅总参数量 57.7M），需依赖开源代码（Sec. 4）。\n- 接触 sigmoid 映射中的距离阈值 τ_c 与锐度 α 的具体数值正文与补充材料均未列出（Sec. 3.1），复现时需查代码。\n- 评估协议为全序列连续推理、3 次运行取均值±方差（Sec. 4 Metrics），需严格复用同一协议才能对齐 Tab. 1–5 的数字。\n\n## 2. 关键假设（Assumptions）\n\n- **物体规范网格已知**：每个物体的 canonical mesh 作为输入给定，并用 PointNext 提取几何特征（Sec. 3.1）；对完全未知几何的物体无法直接处理。\n- **人体形状 β 已知**：仅估计身体姿态 θ_H，形状参数假设已知（Sec. 3.1）。\n- **头部追踪始终可用**：per-frame head-centric 表示与全局平移 T_H 的恢复均锚定于头部位置；噪声实验中也明确保持头部追踪完整、仅丢弃手部数据（Sec. 4.2, Tab. 3）。\n- **地面为已知平面**：人-环境接触仅建模脚-地接触，基于关节速度与离地距离（Sec. 3.1，引 [^83] [^115]），不处理一般场景几何。\n- **训练分布覆盖目标交互**：物体类别限制在 34 类 one-hot 编码（Tab. S1），对分布外物体与交互模式的泛化仅由 Aria Digital Twin 定性展示（Fig. 6），未做定量验证。\n- **稀疏三点信号质量足够**：假设真实设备噪声可用随机丢弃近似模拟，未建模系统性偏差（漂移、标定误差、遮挡模式等）（Sec. 4.2）。\n\n## 3. 失效模式与盲点（Failure modes / blind spots）\n\n- **手部追踪大面积缺失时性能明显下滑**：随机丢弃 75% 手部数据时 BEHAVE MPJPE 从 6.8 升至 7.6、MPJVE 从 7.5 升至 10.3；90% 时进一步恶化至 9.3 / 10.3（Tab. 3；OMOMO 趋势类似，Tab. S5）。\n- **精细手指交互缺失**：不建模手指，无法处理笔、剪刀等小物体的灵巧操作（Sec. 5 Limitations 明确承认）。\n- **场景约束仅限地面**：复杂或动态环境中缺乏一般性约束，长期一致性无保证（Sec. 5）。\n- **guidance 收益有限且依赖数据噪声水平**：NoGuide 消融在 BEHAVE 上仅轻微变差（E_v2v 33.5 → 33.6），在更干净的 OMOMO 上几乎无差别（Tab. 5 vs Tab. S6）；且物理指标（Tab. S3）显示 ECHO 在 BEHAVE 上的穿透深度 PD（2.3 cm）仍高于 BoDiffusion+O（1.4 cm），主要靠更高接触率 C%（79.5% vs 54.0%）取得平衡。\n\n## 4. 优点与不足（Strengths & weaknesses）\n\n### 优点\n\n- **问题设定首创且实用**：首个仅凭头+双腕三点追踪联合恢复全身 HOI 的统一框架（Sec. 1 贡献列表；Sec. 2.3 与 iReplica、IMU-HOI 的对比论证）。\n- **三变量独立噪声调度设计优雅**：将任一模态噪声水平置零即转化为条件，实现灵活的跨模态条件化与部分观测利用（Sec. 3.2, Fig. 3）；Tab. 4 显示 50% 稀疏物体观测可将 E_v2v 从 33.5 降至 10.8。\n- **联合训练策略被充分验证**：NoAMASS 使 AMASS MPJPE 从 7.4 恶化到 43.1（Tab. 2）；两阶段 A-FT 变体也退化到 15.9（Tab. S2），证明收益来自三变量联合建模而非单纯的数据访问。\n- **在线长序列推理完整**：smooth inpainting 优于标准 inpainting（Tab. 5：连续推理下 Inpaint w/o smooth 使 MPJPE 从 6.8 恶化到 8.1）；吞吐约 46 FPS（无 guidance）/ 30 FPS（有 guidance）（Sec. 4 Implementation details）。\n- **接触模态价值被量化**：去掉 I 模态（仅 H, O）在 BEHAVE 上 MPJPE 6.8 → 8.1（Tab. 5）；提供接触条件在三种模态中带来最大增益（Tab. S4）。\n\n### 不足\n\n- **基线均为改造版**：BoDiffusion+O、EgoAllo+H+O 为作者自行扩展的基线，缺少与原生 HOI 方法（如 HOI-Diff、TriDi、IMU-HOI）在相同输入设定下的直接对比（Sec. 4.1 承认多阶段方法难以公平适配）。\n- **输入要求偏强**：需要物体规范网格、类别标签与已知人体形状，限制即插即用性（Sec. 3.1）。\n- **延迟未达严格实时**：每 60 帧窗口 640–980 ms（摊薄 21–33 ms/帧），且在 RTX 5090 上测得，未讨论可穿戴设备端侧部署（Sec. 4）。\n- **评估域较窄**：定量仅 BEHAVE/OMOMO/AMASS，ADT 仅定性（Fig. 6）；真实智能眼镜的系统性噪声仅用随机丢弃模拟，与真实退化分布可能存在差距（Sec. 4.2）。\n- **缺乏不确定性度量**：评估全为单样本确定性指标，未报告生成多样性或置信度。\n\n## 5. 下一步研究方向（Next-step research directions）\n\n- **引入 egocentric RGB 条件化**：融合头戴相机视频以恢复手指级细节，并推动建设目前缺失的带 RGB 的 egocentric HOI 数据集（Sec. 5 明确列为未来方向）。\n- **扩展环境约束**：纳入一般场景几何与动态障碍约束，保证复杂场景下的长期物理一致性（Sec. 5）。\n- **模板无关的物体表示**：以可学习物体隐编码或开放词汇特征替代已知 canonical mesh + one-hot 类别，提升对未见物体的泛化（针对 Sec. 3.1 假设的改进）。\n- **端侧实时化**：通过蒸馏、减少 DDPM 步数或缓存重叠区预测，将 640–980 ms/窗口的延迟压缩到可穿戴设备可用的水平（基于 Sec. 4 延迟数据的推论）。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（共 33 条）\n\n### 1. Egocentric perception（自我中心感知）\n\n- 定义：从佩戴在用户身上的传感器（智能眼镜、手表、指环）视角感知用户自身运动及其与环境的交互。\n- 直觉：以第一人称视角理解“用户在做什么”，而非依赖外部相机。\n- 论文中的作用：整体问题域；ECHO 是首个在此设定下联合建模全身人-物交互的方法（Sec. 1, Fig. 1）。\n- 前置知识：可穿戴计算、3D 人体姿态估计基础。\n\n## 2. Human-Object Interaction, HOI（人-物交互）\n\n- 定义：人体与物体间的动态交互，涵盖人体姿态、物体运动轨迹与二者接触关系。\n- 直觉：如“人拿起杯子”，人、物、接触三者缺一不可。\n- 论文中的作用：建模目标；ECHO 联合输出人体 H、物体 O、接触 I 三个模态（Sec. 1, Sec. 3）。\n- 前置知识：条目 1。\n\n## 3. Three-point tracking（三点追踪）\n\n- 定义：仅使用头部（智能眼镜）与双手腕（手表/指环）共三个追踪点的稀疏 3D 信号作为输入。\n- 直觉：用最少的可穿戴传感器“三角定位”全身行为。\n- 论文中的作用：ECHO 的核心输入设定，也是“首个方法”贡献的基础（Sec. 1, Sec. 3）。\n- 前置知识：条目 1、2。\n\n## 4. Tri-variate diffusion（三变量扩散）\n\n- 定义：在单一去噪网络中对人体 H、物体 O、接触 I 三个模态联合建模的扩散过程。\n- 直觉：三个模态“同锅共煮”，网络被迫学习它们之间的相互依赖。\n- 论文中的作用：方法核心创新，使模型能从任意模态组合推理其余模态（Sec. 3.2, Fig. 3）。\n- 前置知识：DDPM（条目 6）、多模态学习。\n\n## 5. Independent noise schedules（独立噪声调度）\n\n- 定义：三个模态各自拥有独立的去噪步 T_H、T_O、T_I，可处于不同噪声水平。\n- 直觉：已知某模态时把它的噪声设为 0，模型即条件于它预测其余模态。\n- 论文中的作用：实现灵活跨模态条件化与部分观测利用的关键机制（Sec. 3.2）。\n- 前置知识：条目 4、扩散前向过程数学。\n\n## 6. DDPM, Denoising Diffusion Probabilistic Model（去噪扩散概率模型）\n\n- 定义：前向过程逐步加噪至高斯分布、反向过程学习逐步去噪的生成模型。\n- 直觉：“把信号逐步打成雪花点，再学会一步步还原”。\n- 论文中的作用：ECHO 的生成框架基础，推理采用 100 步采样（Sec. 3.2, Sup. Sec. 7）。\n- 前置知识：马尔可夫链、高斯噪声、神经网络训练。\n\n## 7. x0-prediction（原始样本预测参数化）\n\n- 定义：去噪网络直接预测干净样本 z^0，而非传统 DDPM 中的噪声 ε（沿用 Ramesh et al. [^82] 的做法）。\n- 直觉：让网络“一步看到目标”，再由采样公式迭代细化。\n- 论文中的作用：训练目标与迭代去噪公式的基础（Sec. 3.2, Sup. Sec. 7）。\n- 前置知识：条目 6。\n\n## 8. Head-centric coordinate system（头部中心坐标系）\n\n- 定义：每帧以规范化后的头部位置为锚点定义所有模态坐标的坐标系。\n- 直觉：“以头为原点看世界”，消除全局位置差异。\n- 论文中的作用：所有输入/输出表示的统一坐标框架（Sec. 3.1, Fig. 2）。\n- 前置知识：3D 刚体变换。\n\n## 9. Per-frame canonicalization（逐帧规范化）\n\n- 定义：相比序列级规范化，逐帧以头部位置为锚，使任意时间窗口无需额外规范化即可推理。\n- 直觉：每帧自带“局部原点”，窗口切分自由。\n- 论文中的作用：支撑任意长度序列与任意窗口推理（Sec. 3.1，继承自 EgoAllo [^115]）。\n- 前置知识：条目 8。\n\n## 10. SMPL-X（参数化人体模型）\n\n- 定义：输入根位姿 T_H、姿态 θ、形状 β、面部参数 ψ，输出 10475 个顶点网格的参数化人体函数。\n- 直觉：“人体即函数”：调参数即得具体人体网格。\n- 论文中的作用：人体模态 H 的表示；ECHO 仅建模 21 个身体关节（6D 旋转），形状 β 假设已知，根位姿由头部关节对齐推断（Sec. 3.1）。\n- 前置知识：参数化人体模型、轴角旋转。\n\n## 11. SE(3) transformation（SE(3) 刚体变换）\n\n- 定义：由旋转 R 与平移 t 组成的三维刚体变换，记作 T=(R,t)。\n- 直觉：描述“物体在哪、朝向如何”的自然数学语言。\n- 论文中的作用：物体轨迹 O 与相对头/手变换 ΔT 的表示形式（Sec. 3.1）。\n- 前置知识：线性代数、李群基础。\n\n## 12. R^6 rotation representation（六维旋转表示）\n\n- 定义：将三维旋转映射为连续 6 维向量的表示（Zhou et al. [^131]），利于神经网络回归。\n- 直觉：轴角/四元数不连续，6D 表示“处处平滑”，网络更好学。\n- 论文中的作用：所有送入网络的旋转（人体姿态、物体旋转、条件旋转）均采用此表示（Sec. 3.1）。\n- 前置知识：条目 11。\n\n## 13. Contact vector & sigmoid mapping（接触向量与 sigmoid 映射）\n\n- 定义：从 SMPL-X 表面采样点 P_c 到物体网格的最短距离 d，经 c=σ(α·(τ_c−d)) 映射到 [^0] [^1]，与人-地面接触向量拼接为连续接触模态 I。\n- 直觉：把“碰没碰到”变成可微的软概率，扩散训练更稳定。\n- 论文中的作用：第三模态 I 的定义；为训练信号、自监督引导与稀疏条件化提供基础（Sec. 3.1）。\n- 前置知识：sigmoid 函数、距离场概念。\n\n## 14. Egocentric conditioning E（自我中心条件）\n\n- 定义：由相对头/手变换 ΔT_head、ΔT_hands、规范化旋转 R_can,head、R_can,hands 与头到地面距离 h_head 组成的逐帧条件序列。\n- 直觉：把三点追踪信号“翻译”成与全局位置无关的相对量。\n- 论文中的作用：扩散模型的输入条件（Sec. 3.1，扩展自 EgoAllo）。\n- 前置知识：条目 8、11、12。\n\n## 15. DiT, Diffusion Transformer（扩散 Transformer）\n\n- 定义：以 Transformer 为骨干的扩散模型架构（Peebles & Xie [^76]）。\n- 直觉：把 U-Net 换成 Transformer，token 化输入更灵活。\n- 论文中的作用：ECHO 去噪网络的骨干，天然适配多模态 token 拼接（Sec. 3.2, Fig. 3）。\n- 前置知识：Transformer、条目 6。\n\n## 16. Rotary positional embeddings, RoPE（旋转位置编码）\n\n- 定义：通过旋转操作向注意力注入相对位置信息的编码方式（Su et al. [^90]）。\n- 直觉：让注意力“知道”token 的先后与距离关系。\n- 论文中的作用：DiT 中的位置编码选择（Sec. 3.2）。\n- 前置知识：条目 15。\n\n## 17. PointNext（点云特征提取网络）\n\n- 定义：改进 PointNet++ 的点云学习架构（Qian et al. [^81]）。\n- 直觉：从一堆 3D 点中提取描述形状的向量。\n- 论文中的作用：从物体规范网格顶点 V_O 提取 1024 维特征 f_O，与 one-hot 类别 y_O 组成全局条件 C_O（Sec. 3.1）。\n- 前置知识：点云处理基础。\n\n## 18. Learnable tokens（可学习 token）\n\n- 定义：一组随训练更新的嵌入向量；AMASS 样本无物体时，用其替代物体条件 C_O。\n- 直觉：给模型一个“本次没有物体”的占位信号。\n- 论文中的作用：实现运动数据与 HOI 数据联合训练的桥梁（Sec. 3.2）。\n- 前置知识：条目 15、19。\n\n## 19. AMASS（大规模人体运动数据集）\n\n- 定义：统一格式的大规模人体运动捕捉存档（Mahmood et al. [^64]）。\n- 直觉：海量“纯人体动作”库，规模远超 HOI 数据集。\n- 论文中的作用：提供强人体运动先验；消融显示去掉 AMASS 后性能显著恶化（BEHAVE 上 MPJPE 6.8→8.7，AMASS 测试上 7.4→43.1）（Sec. 3.2, Tab. 2, Tab. 5）。\n- 前置知识：运动捕捉。\n\n## 20. BEHAVE / OMOMO（HOI 数据集）\n\n- 定义：两个公开人-物交互数据集，提供人体与物体运动的真值序列。\n- 直觉：规模较小但含“人+物+交互”的完整标注。\n- 论文中的作用：训练与主要评测基准（Sec. 4, Tab. 1）。\n- 前置知识：条目 2。\n\n## 21. Aria Digital Twin（ADT 数据集）\n\n- 定义：带真值的自我中心（Aria 眼镜）基准数据集（Pan et al. [^73]）。\n- 直觉：真实眼镜录制的场景，可检验泛化能力。\n- 论文中的作用：零训练泛化评估（Fig. 6）。\n- 前置知识：条目 1。\n\n## 22. Sliding window inference（滑动窗口推理）\n\n- 定义：以固定长度窗口（W=60 帧）在长序列上滑动、逐窗生成结果的在线推理方式。\n- 直觉：像“逐段直播”处理无限长输入，但段间接缝需要处理。\n- 论文中的作用：ECHO 在线推理的底层范式，smooth inpainting 的改进对象（Sec. 3.3）。\n- 前置知识：条目 6。\n\n## 23. Inpainting-based inference（基于修补的推理）\n\n- 定义：HMD² [^27] 提出的策略：新窗口以过去预测为条件，但丢弃重叠区的新预测、只保留旧预测。\n- 直觉：像图像修补一样“补全”未来，但接缝可能生硬。\n- 论文中的作用：smooth inpainting 的直接前身与对比对象（Sec. 3.3, Fig. 4）。\n- 前置知识：条目 22、扩散修补概念。\n\n## 24. Smooth inpainting（平滑修补）\n\n- 定义：在每个去噪步将重叠区预测替换为过去与当前预测的加权平均（混合因子 α=0.4），实现窗口间渐变过渡。\n- 直觉：新旧预测“淡入淡出”融合，接缝消失。\n- 论文中的作用：支持任意长度序列的时序一致生成；消融显示去掉后性能下降（Sec. 3.3, Fig. 4, Tab. 5, Sup. Sec. 9）。\n- 前置知识：条目 23。\n\n## 25. Classifier-based / reconstruction guidance（推理引导）\n\n- 定义：去噪每步按引导函数 F 的梯度修正预测；F 含人-物接触对齐项 F_HOI 与脚-地面防滑项 F_skate（权重 150 / 0.25，重构引导尺度 λ=0.1）。\n- 直觉：生成过程中“物理教练”随时纠正穿透与滑步。\n- 论文中的作用：提升交互物理合理性；NoGuide 消融显示对噪声较大的 BEHAVE 物体预测影响最明显（Sec. 3.3, Tab. 5, Sup. Sec. 9）。\n- 前置知识：条目 6、13、分类器引导概念。\n\n## 26. Foot skating penalty（脚滑惩罚）\n\n- 定义：当预测接触标签显示脚在地面时，惩罚脚部关节速度的损失/引导项。\n- 直觉：脚“贴地”时不应平移滑动。\n- 论文中的作用：训练损失 L_s^H 与推理引导 F_skate 的组成部分（Sec. 3.2, Sup. Sec. 9）。\n- 前置知识：条目 13。\n\n## 27. Intermittent tracking（间歇性追踪）\n\n- 定义：手部追踪信号随机丢失的真实场景；训练时随机丢弃手/物条件模拟，测试时按比例丢弃验证鲁棒性。\n- 直觉：手表偶尔丢信号，模型不能崩。\n- 论文中的作用：核心鲁棒性卖点；75% 丢失以内性能基本稳定（Sec. 3.2, Tab. 3, Tab. S5）。\n- 前置知识：条目 5、18。\n\n## 28. Partial observations（部分观测）\n\n- 定义：某模态仅有稀疏帧的观测（如 10–50% 帧的物体追踪或人体姿态），可作为额外条件输入。\n- 直觉：有比没有强，哪怕只有零星几帧。\n- 论文中的作用：展示三变量扩散的灵活性；50% 稀疏物体观测使 E_v2v 从 33.5 降至 10.75（Sec. 4.2, Tab. 4, Tab. S4）。\n- 前置知识：条目 5。\n\n## 29. Joint training on motion-only + HOI data（运动数据与 HOI 数据联合训练）\n\n- 定义：单一模型同时在 AMASS（无物体）与 BEHAVE/OMOMO（有交互）上训练，而非两阶段预训练-微调。\n- 直觉：既“见多识广”（动作多样）又“精于交互”，且两者在同一模型内融合。\n- 论文中的作用：关键贡献之一；两阶段变体 A-FT 明显退化，证明收益来自三变量联合建模本身（Sec. 3.2, Tab. 2, Tab. S2）。\n- 前置知识：条目 18、19、20。\n\n## 30. 人体运动指标：MPJPE / MPJVE / FC\n\n- 定义：MPJPE 为预测与真值关节的平均 L2 位置误差（cm）；MPJVE 为关节平均速度误差；FC 为脚部关节贴近地面帧的比例。\n- 直觉：分别衡量“位置准不准、动得顺不顺、脚贴地是否合理”。\n- 论文中的作用：人体重建质量评测（Sec. 4, Sup. Sec. 10）。\n- 前置知识：L2 距离。\n\n**31. 物体指标：E_v2v / E_c / Rot. Diff. / Acc_I**\n\n- 定义：E_v2v 为物体顶点平均误差；E_c 为物体中心误差；Rot. Diff. 为全局旋转平均角度差；Acc_I 为二值接触准确率。\n- 直觉：从形状、位置、朝向、接触四个角度评价物体重建。\n- 论文中的作用：物体与交互质量评测（Sec. 4, Sup. Sec. 10）。\n- 前置知识：条目 13。\n\n**32. 物理合理性指标：Min. D. / C% / PD / P_sc**\n\n- 定义：最小人-物距离、接触帧百分比、穿透深度、穿透分数（沿用 CHOIS 与 DiffH2O 的定义）。\n- 直觉：检查生成结果是否“穿模”或“悬空”。\n- 论文中的作用：补充材料中的物理评估；ECHO 接近真值并平衡接触与穿透（Tab. S3）。\n- 前置知识：条目 13、31。\n\n## 33. 关键相关工作：EgoAllo / HMD² / TriDi / BoDiffusion\n\n- 定义：EgoAllo 提供逐帧头部中心表示与头/手条件；HMD² 提供 inpainting 推理；TriDi 提出静态三变量扩散；BoDiffusion 是基于 DiT 的稀疏观测扩散基线。\n- 直觉：ECHO 站在这四项工作的肩膀上：表示取自 EgoAllo、推理取自 HMD² 并改进、三变量思想取自 TriDi 并扩展到时序、基线对比 BoDiffusion。\n- 论文中的作用：方法组件的直接来源与实验对照（Sec. 2, Sec. 3, Sec. 4.1）。\n- 前置知识：条目 4、6、9、22、23。\n\n### 二、概念依赖图（文字版）\n\n``n【问题层】\n可穿戴设备与自我中心感知 (1)\n├── 三点追踪 (3)\n│ └── 自我中心条件 E (14) ──────────────┐\n├── 人-物交互 HOI (2) │\n│ └── 三模态：H 人体 / O 物体 / I 接触 │\n└── 间歇性追踪 (27) 与部分观测 (28) │\n └── 需求：灵活条件化 ─────────────┐ │\n │ │\n【表示层】 │ │\n头部中心坐标系 (8) │ │\n├── 逐帧规范化 (9) ← EgoAllo (33) │ │\n├── 人体表示：SMPL-X (10) → H │ │\n├── 物体表示：SE(3) (11) + R^6 (12) → O │ │\n├── 接触表示：sigmoid 映射 (13) → I │ │\n└── 物体几何：PointNext (17) → C_O │ │\n ▼ ▼\n【模型层】\nDDPM (6) → x0-预测 (7)\n└── 三变量扩散 (4) ← TriDi (33)\n ├── 独立噪声调度 (5) ← 满足灵活条件化需求\n ├── 骨干：DiT (15) + RoPE (16)\n ├── 全局条件：C_O (17) + 可学习 token (18)\n └── 联合训练策略 (29)：AMASS (19) + BEHAVE/OMOMO (20)\n ← 解决 HOI 数据稀缺\n\n【推理层】\n滑动窗口 (22) → inpainting 推理 (23) ← HMD² (33)\n└── smooth inpainting (24)：任意长序列平滑生成\n推理引导 (25) + 脚滑惩罚 (26)：物理合理性\n采样：100 步 DDPM，640–980 ms / 60 帧窗口\n\n【评估层】\n人体指标 (30)：MPJPE / MPJVE / FC\n物体指标 (31)：E_v2v / E_c / Rot. Diff. / Acc_I\n物理指标 (32)：Min. D. / C% / PD / P_sc\n泛化评估：Aria Digital Twin (21)\n\n【依赖主线总结】\n三点追踪 → 头部中心表示 → 三变量扩散（独立调度）\n→ AMASS+HOI 联合训练 → smooth inpainting + 推理引导\n→ 任意长、鲁棒、物理合理的自我中心 HOI 重建\n``n\n（括号内数字对应术语表条目编号；建议阅读顺序：问题层 → 表示层 → 模型层 → 推理层 → 评估层。）\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：核验、冲突与参考文献\n\n### 1. 关键事实性声明核验（每条声明提供至少两个文内来源）\n\n### 声明 1：ECHO 是首个仅凭可穿戴三点追踪（头部 + 双手腕）联合恢复全身人体姿态、物体轨迹与接触序列的方法。\n\n- 来源 1：Abstract（the first unified framework to jointly recover human pose, object motion, and contact dynamics solely from head and wrist tracking）。\n- 来源 2：Sec. 1 贡献列表（We present the first method to reconstruct HOI from wearable 3-point tracking）。\n- 来源 3：Sec. 2.3（ECHO is the first method to model full-body HOI under sparse egocentric conditioning and over arbitrary-length sequences）。\n- 核验结论：文内三处表述一致；与最近邻方法对比（iReplica [^26] 需全身 IMU 与预扫描场景；IMU-HOI [^58] 需 6 个身体 IMU + 物体 IMU；EgoGrasp [^24]/WHOLE [^114] 仅处理手部）支持该声明。但“首个”为作者自述，外部核验需检索同期预印本。\n\n### 声明 2：核心方法为三变量扩散过程（H、O、I 三模态），且各模态使用独立噪声调度。\n\n- 来源 1：Abstract（tri-variate diffusion process with independent noise schedules）。\n- 来源 2：Sec. 3.2（定义 T_H、T_O、T_I 及三模态联合训练目标公式）。\n- 来源 3：Fig. 3（每个模态对应独立 denoising step 的架构图）。\n- 来源 4：Sup. Mat. Sec. 7 与 Tab. S1（DDPM 背景、去噪步域 {0,...,1000}）。\n- 核验结论：一致，正文与补充材料之间无矛盾。\n\n### 声明 3：网络基于 DiT [^76] 与 rotary positional embeddings [^90]，共 57.7M 参数。\n\n- 来源 1：Sec. 3.2 Universal multi-modal architecture 段。\n- 来源 2：Sec. 4 Implementation details（The ECHO model comprises 57.7M parameters）。\n- 核验结论：一致。\n\n## 声明 4：训练配置为 AdamW [^61]、300k 步（约 30 小时）、batch size 256、学习率 5e-4、单卡 NVIDIA RTX 5090；推理使用 100 步 DDPM。\n\n- 来源 1：Sec. 4 Implementation details。\n- 来源 2：Sup. Mat. Sec. 9（损失权重 λ_n^H=λ_n^O=5.0、λ_n^I=1、其余 0.01 等实现细节）。\n- 核验结论：一致。注意训练噪声调度为 1000 步（Tab. S1），推理采样 100 步，两者语义不同但互不矛盾。\n\n**声明 5：BEHAVE 主结果——ECHO MPJPE 6.8±0.1 cm、MPJVE 7.5±0.1、FC 0.94、E_v2v 33.5±0.5、E_c 20.1±0.3、Rot. Diff. 92.9±2.2、Acc_I 93.1±0.2；物体指标优于两基线，人体指标与 EgoAllo+H+O 相当或更优。**\n\n- 来源 1：Tab. 1（BEHAVE 部分）。\n- 来源 2：Tab. 3（0% 行）与 Tab. 5（ECHO 行）数值完全一致。\n- 来源 3：Tab. S2（ECHO 行 BEHAVE 列：MPJPE 6.8±0.1、E_v2v 33.5±0.5）。\n- 核验结论：多处交叉一致，数值可信。\n\n**声明 6：OMOMO 主结果——MPJPE 6.0±0.1、MPJVE 6.1±0.1、E_v2v 26.5±1.1、E_c 15.2±0.3。**\n\n- 来源 1：Tab. 1（OMOMO 部分）。\n- 来源 2：Tab. S5（0% 行）与 Tab. S6（ECHO 行）。\n- 来源 3：Tab. S2（ECHO 行 OMOMO 列）。\n- 核验结论：一致。\n\n## 声明 7：AMASS 运动生成上 ECHO MPJPE 7.4±0.1 优于两基线；去掉 AMASS 训练（NoAMASS）退化至 43.1±0.1，证明大规模运动数据的关键作用。\n\n- 来源 1：Tab. 2。\n- 来源 2：Sec. 4.1 Motion generation 段文字。\n- 来源 3：Tab. S2（两阶段 A-FT 变体 AMASS MPJPE 15.9±0.7，同样差于联合训练的 7.4±0.1，佐证增益来自三变量联合建模而非单纯数据访问）。\n- 核验结论：一致，且 Tab. S2 排除了“仅因数据更多”的替代解释。\n\n## 声明 8：对间歇性手部追踪鲁棒——随机丢弃 ≤50% 手部追踪时性能几乎不变，≥75% 才显著退化。\n\n- 来源 1：Tab. 3（BEHAVE：0%→6.8、50%→7.0、75%→7.6、90%→9.3）。\n- 来源 2：Tab. S5（OMOMO：0%→6.0、75%→6.4、90%→7.7）。\n- 来源 3：Sec. 4.2 文字（significant performance degradation only when 75% or more of the data is missing）。\n- 核验结论：两个数据集趋势一致。\n\n**声明 9：稀疏/部分观测可显著提升对应模态精度——50% 稀疏 H 使 BEHAVE MPJPE 6.82→3.71；50% 稀疏 O 使 E_v2v 33.46→10.75；提供接触 I 条件化带来最大增益。**\n\n- 来源 1：Tab. 4。\n- 来源 2：Tab. S4（ECHO w. I 在 BEHAVE 上 MPJPE 6.60、E_v2v 32.03，优于 w. H 与 w. O）。\n- 来源 3：Sec. 4.2 与 Sup. Mat. Sec. 8 文字。\n- 核验结论：一致。\n\n## 声明 10：消融结论——guidance 主要改善噪声较大数据（BEHAVE）上的物体预测；无 smooth inpainting 性能下降；去掉接触模态（仅 H,O）显著变差；NoAMASS 显著变差。\n\n- 来源 1：Tab. 5（BEHAVE）。\n- 来源 2：Tab. S6（OMOMO，趋势一致）。\n- 来源 3：Sec. 4.3 文字。\n- 核验结论：一致。\n\n**声明 11：物理合理性——BEHAVE 上 ECHO 接触率 C% 79.5±2.1（GT 80.2）、最小距离 Min. D. 3.5±0.1（GT 3.3），优于两基线；BoDiffusion+O 的 P_sc=0.021 数值更低但接触率仅 54.0%，源于大量悬浮伪影。**\n\n- 来源 1：Tab. S3。\n- 来源 2：Sup. Mat. Sec. 8 Physical plausibility 文字。\n- 来源 3：Fig. 5 定性对比（基线出现穿透/悬浮伪影）。\n- 核验结论：一致；注意 P_sc 单指标需结合 C% 解读，否则会误读为 BoDiffusion+O 更优。\n\n## 声明 12：smooth inpainting 在重叠区域对过去与当前预测加权平均（α=0.4），在每个扩散步执行，支持任意长度序列的在线推理。\n\n- 来源 1：Sec. 3.3 与 Fig. 4。\n- 来源 2：Sup. Mat. Sec. 9（公式与 α=0.4）。\n- 核验结论：一致。\n\n**声明 13：推理引导采用 classifier-based guidance [^17] 与 reconstruction guidance 形式 [^33]，权重 λ_HOI=150、λ_skate=0.25、引导尺度 λ=0.1。**\n\n- 来源 1：Sec. 3.3 Inference guidance。\n- 来源 2：Sup. Mat. Sec. 9（完整公式与权重）。\n- 核验结论：一致。\n\n## 声明 14：接触表示为 64 个人-物接触点（距离经 sigmoid 映射到 [^0] [^1]）+ 8 个下半身人-地接触点。\n\n- 来源 1：Sec. 3.1 Contacts 公式（c_I^HOI、c_I^Env）。\n- 来源 2：Tab. S1（c_I^HOI ∈ [^0] [^1]^64、c_I^Env ∈ [^0] [^1]^8、P_c ⊂ R^64）。\n- 核验结论：一致。\n\n## 声明 15：训练与评测数据为 BEHAVE [^6] + OMOMO [^56] + AMASS [^64] 联合；BEHAVE/OMOMO 用官方划分，AMASS 用 EgoAllo [^115] 划分；统一降采样至 30 fps；训练窗口 W=60，推理重叠 30 帧。\n\n- 来源 1：Sec. 4 Datasets 与 Implementation details。\n- 来源 2：Sec. 4.1 Baselines（所有模型均在三数据集并集上训练）。\n- 来源 3：Tab. S1（W=60）。\n- 核验结论：一致。\n\n## 声明 16：代码与训练模型开源（github.com/ptrvilya/echo），项目主页 virtualhumans.mpi-inf.mpg.de/echo/。\n\n- 来源 1：Sec. 1 贡献列表。\n- 来源 2：首页页脚项目链接。\n- 核验结论：文内一致；链接实际可用性需联网核验（本次未执行）。\n\n## 声明 17：在 Aria Digital Twin [^73] 序列上展示对新颖运动与物体的泛化。\n\n- 来源 1：Fig. 6。\n- 来源 2：Sec. 4.1 文字。\n- 核验结论：文内一致；但仅为定性证据，无定量指标支撑。\n\n## 声明 18：资助信息——DFG 409792180（Emmy Noether：Real Virtual Humans）、ERC Advanced Grant SIMULACRON、MSCA 101109330（R. Marin）、IMPRS-IS（I. A. Petrov）、Carl Zeiss Foundation、Google Cloud。\n\n- 来源 1：Acknowledgments。\n- 来源 2：作者单位（Tübingen / Tübingen AI Center / TUM / Google 瑞士 / MPI-INF）与致谢内容互洽。\n- 核验结论：一致。\n\n### 2. 冲突与不确定性说明\n\n1. **发表载体与年份缺失（主要不确定性）**：正文与补充材料均未标注会议/期刊与年份。排版为 Springer LNCS 风格；参考文献含多篇 2025–2026 年文献（[^58] CVPR 2026、[^127] CVPR 2026、[^114] arXiv:2602.22209 等），网页访问日期为 accessed February 7, 2026（[^66][^71][^80]）。综合推测为 2026 年前后的计算机视觉顶级会议（如 ECCV）论文，但无法从文本确认，须以正式出版信息为准。\n2. **数据集名称拼写不一致**：Sec. 1（HOI datasets like BEHAVE [^6] and OMOO [^56]）与 Sup. Mat. Sec. 8（ablation studies on the OMOO dataset）写作 OMOO，其余各处（Sec. 4、Tab. 1、Tab. S2/S5/S6）均为 OMOMO。判定为笔误，实指 OMOMO [^56]。\n3. **Tab. 1 表头排版错位**：第一张表（BEHAVE）的列分组与数据列未对齐（E_v2v 被排入 Human 组下方）。经与 Tab. 3/5、Tab. S2 数值交叉比对，确认 E_v2v=33.5、E_c=20.1 属 Object 指标。\n4. **Tab. 5 行标签与数值错位**：Inpaint w/o smooth (H, O) 行下出现两组数值（6.9/7.6/33.7/20.4 与 8.1/9.0/34.4/20.7）。对照 Tab. S6 中 Inpaint w/o smooth 与 (H, O) 为两行独立消融，推断第一组对应 Inpaint w/o smooth、第二组对应 (H, O)。\n5. **Tab. S4 数值格式异常**：OMOMO 部分 ECHO w. H 的 E_c 写作 14.64 ± 0.026，方差小数位与同表其他行（±0.27、±0.28）不一致，疑为 ±0.26 之误。\n6. **参考文献 [^8] 条目损坏**：该条目文本乱码/截断（Cao, C., Zhang, V using recur mod' ntric gesture recognition noral transformer CV (2017)），无法核验完整书目信息。\n7. **2026 年“未来”文献无法独立核验**：[^2] arXiv:2604.20800、[^24] arXiv:2601.01050、[^48] arXiv:2604.19673、[^53] CVPR 2026、[^58] CVPR 2026、[^70] ECCV 2026、[^87] 3DV 2026、[^107] CVPR 2026、[^114] arXiv:2602.22209、[^119] 2026、[^121] CVPR 2026、[^127] CVPR 2026。这些条目在阅读时点无法经公开渠道核实，可能为预印本或占位引用。\n8. **补充视频缺失**：Fig. 5、Fig. S1 与 Sec. 4.1 引用的补充视频未随文本提供，动态时序质量（窗口过渡平滑性）无法核验。\n9. **SOTA 声明的外部效度受限**：无现成端到端 egocentric HOI 方法可直接对比，基线为作者自行扩展的 BoDiffusion+O 与 EgoAllo+H+O（Sec. 4.1）；与并发方法（IMU-HOI [^58]、EgoGrasp [^24]、WHOLE [^114]）无定量比较。\n10. **硬件时效性**：训练与推理均在 NVIDIA RTX 5090 上完成（Sec. 4），复现者若无该硬件需重新估算训练/推理耗时。\n11. **FC 指标跨数据集不可直接比较**：BEHAVE Data 行 FC=0.73、OMOMO Data 行 FC=0.96、AMASS 上限 1.0（Tab. 1/2），接触分布差异大，跨数据集比较需谨慎。\n12. **训练/推理步数区分**：训练噪声调度为 1000 步（Tab. S1），推理采样 100 步（Sec. 4），两处数字不同但语义不同，复现时勿混淆。\n\n### 3. 参考文献列表（按论文编号节选核验涉及的关键文献）\n\n- [^6] Bhatnagar, B.L., Xie, X., Petrov, I.A., Sminchisescu, C., Theobalt, C., Pons-Moll, G.: BEHAVE: Dataset and method for tracking human object interactions. CVPR, pp. 15935–15946 (2022).\n- [^10] Castillo, A., Escobar, M., Jeanneret, G., et al.: BoDiffusion: Diffusing sparse observations for full-body human motion synthesis. ICCV, pp. 4221–4231 (2023).\n- [^13] Christen, S., Hampali, S., Sener, F., et al.: Diff2O: Diffusion-based synthesis of hand-object interactions from textual descriptions. SIGGRAPH Asia (2024).（Tab. S3 中 PD 指标来源）\n- [^17] Dhariwal, P., Nichol, A.: Diffusion models beat GANs on image synthesis. NeurIPS 34, 8780–8794 (2021).\n- [^24] Fu, H., Wang, W., Qiao, X., et al.: EgoGrasp: World-space hand-object interaction estimation from egocentric videos. arXiv:2601.01050 (2026).（未能独立核验）\n- [^26] Guzov, V., Chibane, J., Marin, R., et al.: Interaction Replica: Tracking human-object interaction and scene changes from human motion. 3DV (2024).\n- [^27] Guzov, V., Jiang, Y., Hong, F., et al.: HMD2: Environment-aware motion generation from single egocentric head-mounted device. 3DV (2025).\n- [^28] Guzov, V., Mir, A., Sattler, T., Pons-Moll, G.: Human Poseitioning System (HPS). CVPR (2021).\n- [^29] Guzov, V., Petrov, I.A., Pons-Moll, G.: Blendify – Python rendering framework for Blender. arXiv:2410.17858 (2024).\n- [^32] Ho, J., Jain, A., Abbeel, P.: Denoising diffusion probabilistic models. NeurIPS 33, 6840–6851 (2020).\n- [^33] Ho, J., Salimans, T., Gritsenko, A., et al.: Video diffusion models. NeurIPS 35, 8633–8646 (2022).\n- [^42] Jiang, N., Zhang, Z., Li, H., et al.: Scaling up dynamic human-scene interaction modeling (TRUMANS). CVPR, pp. 1737–1747 (2024).\n- [^46] Kaufmann, M., Vechev, V., Mylonopoulos, D.: aitviewer. (2022).\n- [^54] Li, J., Clegg, A., Mottaghi, R., Wu, J., Puig, X., Liu, C.K.: Controllable human-object interaction synthesis (CHOIS). ECCV, pp. 54–72 (2024).（Tab. S3 中 C% 指标来源）\n- [^55] Li, J., Liu, K., Wu, J.: Ego-body pose estimation via ego-head pose estimation (EgoEgo). CVPR, pp. 17142–17151 (2023).\n- [^56] Li, J., Wu, J., Liu, C.K.: Object motion guided human motion synthesis (OMOMO). ACM TOG 42(6), 1–11 (2023).\n- [^58] Lin, L., Xia, S., Lai, Z., et al.: IMU-HOI: A symbiotic framework for coherent human-object interaction and motion capture via contact-conscious inertial fusion. CVPR, pp. 42901–42910 (2026).（未能独立核验）\n- [^61] Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. arXiv:1711.05101 (2017).\n- [^64] Mahmood, N., Ghorbani, N., Troje, N.F., Pons-Moll, G., Black, M.J.: AMASS: Archive of motion capture as surface shapes. ICCV, pp. 5442–5451 (2019).\n- [^73] Pan, X., Charron, N., Yang, Y., et al.: Aria Digital Twin: A new benchmark dataset for egocentric 3D machine perception. ICCV, pp. 20133–20143 (2023).\n- [^75] Pavlakos, G., Choutas, V., Ghorbani, N., et al.: Expressive body capture: 3D hands, face, and body from a single image (SMPL-X). CVPR, pp. 10975–10985 (2019).\n- [^76] Peebles, W., Xie, S.: Scalable diffusion models with transformers (DiT). ICCV, pp. 4195–4205 (2023).\n- [^79] Petrov, I.A., Marin, R., Chibane, J., Pons-Moll, G.: TriDi: Trilateral diffusion of 3D humans, objects, and interactions. ICCV (2025).\n- [^81] Qian, G., Li, Y., Peng, H., et al.: PointNext: Revisiting PointNet++ with improved training and scaling strategies. NeurIPS 35, 23192–23204 (2022).\n- [^82] Ramesh, A., Dhariwal, P., Nichol, A., Chu, C., Chen, M.: Hierarchical text-conditional image generation with CLIP latents. arXiv:2204.06125 (2022).\n- [^83] Rempe, D., Birdal, T., Hertzmann, A., et al.: HuMoR: 3D human motion model for robust pose estimation. ICCV, pp. 11488–11499 (2021).\n- [^90] Su, J., Ahmed, M., Lu, Y., et al.: RoFormer: Enhanced transformer with rotary position embedding. Neurocomputing 568, 127063 (2024).\n- [^91] Sárándi, I., Pons-Moll, G.: Neural localizer fields for continuous 3D human pose and shape estimation. NeurIPS (2024).\n- [^114] Ye, Y., Li, J., Rong, R., Liu, C.K.: WHOLE: World-grounded hand-object lifted from egocentric videos. arXiv:2602.22209 (2026).（未能独立核验）\n- [^115] Yi, B., Ye, V., Zheng, M., Li, Y., Müller, L., Pavlakos, G., Ma, Y., Malik, J., Kanazawa, A.: Estimating body and hand motion in an ego-sensed world (EgoAllo). CVPR, pp. 7072–7084 (2025).\n- [^128] Zhao, C., Zhang, J., Du, J., et al.: I'M HOI: Inertia-aware monocular capture of 3D human-object interactions. CVPR, pp. 729–741 (2024).\n\n### 4. 外部核验建议（可选后续步骤）\n\n- 访问 与项目主页，确认代码/模型可用性与版本。\n- 在 DBLP/arXiv/CVF Open Access 检索论文标题与作者，确认正式发表载体与年份。\n- 对 2026 年引用条目（[^2][^24][^48][^53][^58][^70][^87][^107][^114][^119][^121][^127]）逐一检索，确认其真实性与出版状态。\n- 复现时优先依据 Sup. Mat. Sec. 9 的超参（损失权重、guidance 权重、α=0.4）与开源仓库配置文件交叉核对。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n# Module H：图表提取与深度阅读指南\n\n## 1. 图表完整索引\n\n### 1.1 正文图（Fig. 1–6）\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支持的论断 | 阅读评分 |\n|---|---|---|---|---|---|\n| Fig. 1 | ECHO：从稀疏可穿戴信号推断复杂交互；首个仅凭3点稀疏追踪联合恢复全身HOI序列的方法；底部展示多种推理模式（红色为部分/间歇观测的人体、物体或接触） | 问题示意 + 能力总览 | Sec. 1，第1–2页 | 贡献1：首个3点追踪HOI方法；灵活输入配置（部分/间歇观测） | ★★★★★ |\n| Fig. 2 | Representation：ECHO在逐帧（per-frame）head-centric坐标系下运行 | 表示方法示意 | Sec. 3.1 | 逐帧head-centric表示对序列全局配置不变，支持任意窗口推理而无需显式规范化 | ★★★★ |\n| Fig. 3 | ECHO overview：仅需头部/手部追踪与物体类别即可预测H、O、I；输入token由条件与各模态（观测值或噪声）组成；每个模态使用独立去噪步；示例中以接触I为额外输入推断H与O | 架构图（核心） | Sec. 3.2 | 贡献2：tri-variate diffusion架构与跨模态灵活条件化机制 | ★★★★★ |\n| Fig. 4 | 推理策略对比：标准滑窗（左，忽略过去上下文）vs inpainting（中，丢弃重叠区新预测）vs smooth inpainting（右，每个扩散步混合新旧预测） | 方法对比示意 | Sec. 3.3 | smooth inpainting保证任意长序列的无缝、时序一致生成 | ★★★★★ |\n| Fig. 5 | ECHO定性结果：跨多样场景准确重建HOI；竞争方法无法捕捉正确接触动力学，产生物体穿透或悬浮伪影 | 定性结果 | Sec. 4.1 | ECHO生成物理合理的交互，基线接触建模失败 | ★★★★ |\n| Fig. 6 | Aria Digital Twin定性结果：泛化到新运动与新物体（RGB仅作参考） | 定性结果 | Sec. 4 | 对分布外数据的零样本泛化能力 | ★★★ |\n\n### 1.2 正文表（Tab. 1–5）\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支持的论断 | 关键数值 | 阅读评分 |\n|---|---|---|---|---|---|---|\n| Tab. 1 | BEHAVE与OMOMO上与基线对比（含两个子表：上BEHAVE、下OMOMO；3次运行均值±方差） | 主定量对比 | Sec. 4.1 | ECHO在HOI建模上显著优于基线，人体运动质量具竞争力 | BEHAVE：MPJPE 6.8±0.1（vs EgoAllo+H+O 7.6±0.1、BoDiffusion+O 8.3±0.2）；E_v2v 33.5±0.5（vs 39.1/44.2）；Rot. Diff. 92.9±2.2（vs 111.6/110.9）；OMOMO：MPJPE 6.0±0.1，E_v2v 26.5±1.1 | ★★★★★ |\n| Tab. 2 | AMASS运动生成质量（含NoAMASS对照） | 定量对比+消融 | Sec. 4.1 | 联合HOI公式学到强人体运动先验；无AMASS训练大幅退化证明大规模运动数据的重要性 | ECHO：MPJPE 7.4±0.1、MPJVE 8.6±0.2、FC 1.0；NoAMASS：43.1±0.1、40.3±0.1、FC 0.8 | ★★★★★ |\n| Tab. 3 | 噪声模拟评估（BEHAVE，随机丢弃0–90%手部追踪） | 鲁棒性实验 | Sec. 4.2 | 对间歇性手部追踪鲁棒，仅当75%以上数据缺失才显著退化 | 0%：MPJPE 6.8；50%：7.0；75%：7.6；90%：9.3 | ★★★★ |\n| Tab. 4 | 稀疏追踪评估（BEHAVE，额外提供10/25/50/100%的H或O观测） | 灵活性实验 | Sec. 4.2 | 部分观测一个模态显著提升该模态重建质量并轻微正则化另一模态 | Sparse O 50%：E_v2v 33.46→10.75±0.64、E_c 20.13→7.93；Sparse H 50%：MPJPE 6.82→3.71±0.07 | ★★★★ |\n| Tab. 5 | BEHAVE消融（NoGuide / Inpaint w/o smooth / (H,O) / NoAMASS） | 消融实验 | Sec. 4.3 | guidance、smooth inpainting、三模态设计、AMASS联合训练均有效 | NoAMASS：MPJPE 8.7±0.1；(H,O)（去掉接触模态）：8.1±0.1；Inpaint w/o smooth：6.9±0.1 | ★★★★★ |\n\n### 1.3 补充材料图表（Tab. S1–S6，Fig. S1）\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支持的论断 | 关键数值 | 阅读评分 |\n|---|---|---|---|---|---|---|\n| Tab. S1 | 符号表（全部符号、描述与定义域） | 参考表 | Sup. Sec. 7 | 统一符号体系（W=60帧；去噪步∈{0,…,1000}；c_I^HOI∈[^0] [^1]^64；c_I^Env∈[^0] [^1]^8等） | — | ★★ |\n| Tab. S2 | AMASS微调对照（A-FT：AMASS预训练→HOI微调两阶段） | 消融/对照 | Sup. Sec. 8 | 增益来自tri-variate联合训练公式本身，而非数据访问 | A-FT在AMASS上MPJPE 15.9±0.7 vs ECHO 7.4±0.1 | ★★★★ |\n| Tab. S3 | 物理合理性分析（Min. D. / C% / PD / P_sc） | 定量评估 | Sup. Sec. 8 | ECHO接近GT，平衡接触与穿透；基线产生悬浮与穿透 | BEHAVE：Min.D 3.5±0.1、C% 79.5±2.1（GT为80.2）；BoDiffusion+O仅54.0% C% | ★★★★ |\n| Tab. S4 | 接触条件化评估（BEHAVE+OMOMO，提供H/O/I之一作为额外输入） | 补充实验 | Sup. Sec. 8 | 提供接触信息I在三个模态中带来最大质量提升 | BEHAVE w. I：MPJPE 6.60±0.09、E_v2v 32.03±0.72 | ★★★ |\n| Tab. S5 | OMOMO噪声模拟（0–90%手部数据丢弃） | 鲁棒性补充 | Sup. Sec. 8 | OMOMO上同样对间歇手部追踪鲁棒 | 90%：MPJPE 7.7±0.5（0%时为6.0±0.1） | ★★ |\n| Tab. S6 | OMOMO消融（NoGuide / Inpaint w/o smooth / (H,O) / NoAMASS） | 消融补充 | Sup. Sec. 8 | 与BEHAVE消融趋势一致，验证设计普适性 | NoAMASS：MPJPE 7.4±0.1 vs 6.0±0.1；(H,O)：7.3±0.1 | ★★★ |\n| Fig. S1 | 补充定性结果（与基线对比） | 定性结果 | Sup. Sec. 8 | 与Fig. 5一致：基线穿透/悬浮，ECHO物理合理 | — | ★★ |\n\n## 2. 最高优先级深度阅读（Top-priority deep reads）\n\n1. **Fig. 3（架构总览，Sec. 3.2）**：全文方法核心。需理解：H/O/I三模态token与条件token（E与C_O）共同输入DiT（含rotary positional embeddings）；每个模态有独立去噪步 T_H/T_O/T_I；将已知模态的噪声级置零即实现“观测→推断其余模态”的灵活条件化。这是tri-variate diffusion与标准单调度扩散的本质区别。\n2. **Tab. 1（主结果对比，Sec. 4.1）**：SOTA声明的核心证据。注意ECHO优势最大的是物体指标（BEHAVE Rot. Diff. 92.9 vs 基线110.9/111.6；E_v2v 33.5 vs 39.1/44.2），人体指标与EgoAllo+H+O接近但全面更优；所有数值为3次运行的均值±方差，需关注方差量级（±0.1–0.5）。\n3. **Fig. 4 + Tab. 5（smooth inpainting及其消融，Sec. 3.3/4.3）**：推理阶段关键创新。Fig. 4直观对比三种滑窗策略；Tab. 5中“Inpaint w/o smooth”行（6.9±0.1）与完整ECHO（6.8±0.1）差距看似小，但该机制的价值在于长序列时序一致性（定性需看补充视频）；补充公式见Sup. Sec. 9（混合因子α=0.4）。\n4. **Tab. 2 + Tab. S2（AMASS联合训练的双重验证）**：这是本文区别于TriDi（仅HOI数据训练）与HOI-Diff/InterDreamer（外部检索/微调AMASS先验）的关键。Tab. 2的NoAMASS（MPJPE 43.1）与Tab. S2的A-FT（15.9）共同证明：性能增益来自tri-variate联合公式，而非单纯的数据访问。\n5. **Tab. 3 + Tab. 4（鲁棒性与稀疏输入，Sec. 4.2）**：支撑“灵活输入配置”贡献的定量证据。Tab. 3显示≤50%手部数据缺失几乎无退化（6.8→7.0）；Tab. 4显示50%稀疏物体观测使E_v2v从33.46骤降至10.75，验证部分观测利用能力——这是iReplica/IMU-HOI等方法不具备的特性。\n\n## 3. 图表关系 / 实验设置图\n\n``n问题设定（Fig. 1：3点追踪 → 联合HOI重建；多种推理模式）\n │\n表示层（Fig. 2：per-frame head-centric坐标系；H=SMPL-X姿态，O=SE(3)轨迹，I=sigmoid接触向量）\n │\n方法核心（Fig. 3：tri-variate diffusion + DiT架构，独立噪声调度）\n ├── 训练：AMASS + BEHAVE + OMOMO联合；2^3噪声/干净组合采样；同步已扩散模态噪声级\n └── 推理：smooth inpainting（Fig. 4）+ classifier-based guidance（H-O接触项 + 足地滑步项）\n │\n实验验证（数据：BEHAVE/OMOMO官方划分 + EgoAllo的AMASS划分；30 fps；窗口W=60）\n ├── 定量主结果：Tab. 1（HOI对比）、Tab. 2（AMASS运动质量）\n ├── 鲁棒性：Tab. 3（BEHAVE噪声）、Tab. S5（OMOMO噪声）、Tab. 4（稀疏H/O）、Tab. S4（接触条件化）\n ├── 消融：Tab. 5（BEHAVE）、Tab. S6（OMOMO）、Tab. S2（A-FT两阶段对照）\n ├── 物理合理性：Tab. S3（Min. D./C%/PD/P_sc）\n └── 定性：Fig. 5（测试集）、Fig. 6（Aria DT泛化）、Fig. S1（补充）\n``n\n**实验设置要点**（Sec. 4实现细节）：模型57.7M参数；AdamW优化器训练300k步（约30小时），batch size 256，学习率5e-4，单卡NVIDIA RTX 5090；推理用100步DDPM；60帧窗口+30帧重叠，每窗口640 ms（无guidance）/980 ms（有guidance），约合46/30 FPS、摊销21–33 ms/帧。\n\n## 4. 图表 → 结论映射\n\n| 论文结论 | 支撑图表 | 证据链说明 |\n|---|---|---|\n| 贡献1：首个从可穿戴3点追踪端到端重建HOI的方法 | Fig. 1；Tab. 1；Sec. 2.3 | Fig. 1界定问题设定与能力边界；Tab. 1证明两个扩展基线（BoDiffusion+O、EgoAllo+H+O）在人体与物体指标上均不及ECHO；Sec. 2.3论证现有方法（iReplica、IMU-HOI等）均需更重的传感配置 |\n| 贡献2a：tri-variate联合训练学到强运动先验 | Tab. 2；Tab. S2；Fig. 3 | NoAMASS（43.1）与A-FT（15.9）大幅退化 → 增益来自联合公式本身而非数据访问；Fig. 3展示实现该公式的架构基础 |\n| 贡献2b：灵活跨模态条件化与部分观测利用 | Fig. 3；Tab. 4；Tab. S4 | 噪声级置零即条件化（Fig. 3示例）；稀疏H/O输入显著提升对应模态（Tab. 4）；接触I条件化收益最大（Tab. S4） |\n| 贡献2c：对间歇性追踪鲁棒 | Tab. 3；Tab. S5 | 50%手部数据缺失时BEHAVE MPJPE仅从6.8→7.0；OMOMO趋势一致（6.0→6.1） |\n| 贡献2d：任意长序列时序一致生成 | Fig. 4；Tab. 5（Inpaint w/o smooth行）；Sup. Sec. 9 | smooth inpainting在每个扩散步以α=0.4混合新旧预测；去掉后指标退化且定性出现不连续 |\n| 贡献3：SOTA性能 | Tab. 1；Tab. 2；Fig. 5；Fig. 6；Tab. S3 | 定量全面领先（Tab. 1/2）+ 定性无穿透/悬浮伪影（Fig. 5/6）+ 物理指标接近GT（Tab. S3：C% 79.5 vs GT 80.2） |\n| 接触模态I是连接H与O的关键桥梁 | Tab. 5（(H,O)行）；Tab. S6；Tab. S4 | 去掉I模态后人体与物体误差均上升（BEHAVE MPJPE 6.8→8.1）；提供I条件化在三个模态中收益最大 |\n| 局限：缺乏精细手指交互、复杂场景约束、RGB条件化 | Sec. 5（文字陈述，无专门图表） | 结论部分明确列出三点局限与未来方向；注意此结论暂无定量图表支撑，需依赖补充视频与后续工作验证 |\n\n**阅读提示**：Tab. 1的HTML排版中第一个子表表头存在列名错位（“BEHAVE”跨列标注不精确），应以第二个子表（OMOMO，表头完整）为参照解读；两子表分别对应BEHAVE与OMOMO测试集，正文Sec. 4.1文字已确认。" }