{ "paper_id": "2d185ed77af9bc227d119428d88147fd", "paper_title": "ACE-Ego-Hand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery", "paper_authors": [ "Yufei Liu", "Xixi Wang", "Hao Li", "Ganlong Zhao", "Kaitong Cai", "Chengkai Jin", "Chunxiao Liu", "Jianbo Liu", "Siyuan Huang", "Xingang Pan", "Hongsheng Li" ], "publication_date": "2026", "publication_venue": "unknown", "abstract": "Egocentric video offers scalable manipulation data for embodied AI, yet recovering metric 3D hand trajectories remains challenging due to severe object occlusion and frequent out-of-sight gaps. Existing single-frame and windowed temporal regressors fail when a hand briefly leaves the frame, while recent video diffusion models (VDMs) rely on heavy, stochastic multi-step sampling as pixel-space renderers. We instead repurpose a VDM into a deterministic geometry encoder. A single forward pass over the clean latent exposes scene content beyond current observations, including occluded and out-of-sight hands. We introduce ACE-Ego-Hand, an offline clip-level framework that extracts features via a Deterministic Clean-Latent Encoder and decodes them with a Bidirectional Spatiotemporal Decoder. ACE-Ego-Hand recovers continuous bimanual trajectories with metric placement and no external detector, while a Ray-Based Camera Solver supports a second configuration that needs no test-time camera intrinsics. Across five egocentric benchmarks, ACE-Ego-Hand sets a new state of the art, cutting MPJPE-p by 30% on occlusion-heavy ARCTIC and 40% on HOT3D. These gains reach 46%–61% once out-of-sight hands are included in the evaluation, offering a scalable path from everyday human video to robot manipulation data. The code is publicly available at github.com/ggxxii/ACE-Ego-Hand.", "keywords": [ "第一人称视频", "3D手部运动恢复", "视频扩散模型", "遮挡鲁棒性", "出视野手部重建", "MANO", "免内参推理", "机器人操作数据" ], "paper_institutions": [ "Shanghai Jiao Tong University", "Nanyang Technological University", "The Chinese University of Hong Kong", "ACE Robotics" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:33:46.191090Z", "template_tag": "deep_read", "summary": "# ACE-Ego-Hand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery\n\n\n**作者 / Authors:** Yufei Liu, Xixi Wang, Hao Li, Ganlong Zhao, Kaitong Cai, Chengkai Jin, Chunxiao Liu, Jianbo Liu, Siyuan Huang, Xingang Pan, Hongsheng Li\n\n\n**单位 / Institutions:** Shanghai Jiao Tong University, Nanyang Technological University, The Chinese University of Hong Kong, ACE Robotics\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 1. 论文元数据\n\n- **标题**：ACE-Ego-Hand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery\n- **作者**（姓名 / 单位 / 备注，依文首署名与上标标注）：\n - Yufei Liu（上海交通大学 Shanghai Jiao Tong University；ACE Robotics）\n - Xixi Wang（南洋理工大学 Nanyang Technological University）\n - Hao Li（香港中文大学 CUHK；ACE Robotics）\n - Ganlong Zhao（香港中文大学；ACE Robotics）\n - Kaitong Cai（ACE Robotics）\n - Chengkai Jin（南洋理工大学；ACE Robotics）\n - Chunxiao Liu（ACE Robotics）\n - Jianbo Liu（ACE Robotics）\n - Siyuan Huang（ACE Robotics；项目 leader †）\n - Xingang Pan（南洋理工大学）\n - Hongsheng Li（香港中文大学；ACE Robotics；通讯作者 ‡）\n- **发表渠道**：文中未标注具体会议/期刊与年份；从行文格式、双栏 CVPR 风格模板及参考文献（含多篇 2025/2026 会议论文，如 EgoForce SIGGRAPH 2026、EgoDex ICLR 2026）推断为计算机视觉领域的会议投稿/预印本（约 2026 年）。\n\n### 2. 研究定位\n\n- **研究领域**：计算机视觉——3D 手部姿态与运动恢复、视频扩散模型（VDM）作为感知表征。\n- **具体任务**：从自我中心（egocentric）RGB 视频中恢复度量级（metric）双手 3D MANO 轨迹（全局朝向、关节 articulation、相机系平移、逐片段 shape），重点解决严重手-物交互遮挡与手部完全离开视野（out-of-sight, OOS）的恢复问题（摘要、Sec. 1、Figure 1）。\n- **目标用户/应用场景**：具身智能与机器人学习的数据生产者——从大规模日常人类视频规模化提取操作（manipulation）数据；定位为“离线片段级”数据整理工具而非闭环控制器（Sec. 5、Appendix F.1）。\n\n### 3. 输入材料清单\n\n- **PDF**：是（正文 Sec. 1–5 与全部图表已提供）。\n- **附录/补充材料**：是（Appendix A 评测协议与数据划分；B 架构与优化细节；C 附加定量结果 H2O/OakInk2、OOS 分层、吞吐；D 失败模式与设计选择分析；E 定性结果与机械手重定向；F 局限与数据使用声明）。\n- **代码链接**：github.com/ggxxii/ACE-Ego-Hand（摘要中声明代码公开）。\n- **数据集链接**：未直接给出；训练/评测使用公开数据集 ARCTIC、HOT3D、H2O、OakInk2、HOI4D、Re:InterHand、FreiHAND、RHD（Table S2），其中 Xperience-10M 为受控访问（Appendix F.2）。\n\n### 4. 缺失材料与风险\n\n- **缺失项**：正式发表渠道与日期未标注；各数据集的预处理/下载脚本未随文给出；对比基线 ViDiHand 无公开代码（其预测由原作者按请求生成，Appendix A.3）。\n- **可能影响**：无法核对最终发表版本与页码；复现训练需自行获取并按 Appendix A.2 处理七个数据源，成本较高；ViDiHand 的对比数字依赖作者间协作，第三方独立复现该基线存在障碍；HOI4D/H2O 部分依赖伪真值标注，绝对精度解读需谨慎（Appendix A.2、F.1）。\n\n### 5. 阅读路线\n\n- **Step 1**：读摘要、Figure 1、Figure 2 与 Sec. 1，掌握核心主张——“将 VDM 用作确定性编码器（Deterministic Clean-Latent Encoder）而非像素渲染器”，以及三项贡献。\n- **Step 2**：精读 Sec. 3.1–3.3 与 Figure 3，理解三大模块（Clean-Latent Encoder、Bidirectional Spatiotemporal Decoder、Ray-Based Camera Solver）及 standard / K-free 两种配置的差异（仅 bearing 来源不同，Sec. 3.3）。\n- **Step 3**：读 Sec. 4.1 评测协议与 Table 1 主结果，注意 -p 覆盖惩罚协议，以及 MPJPE^OOS 与 MPJPE+OOS 两个总体不可互换的指标（Appendix A.1、Table S1）。\n- **Step 4**：读 Sec. 4.3 消融（Table 2 特征源、Table 3 解码器/相机求解）与 Appendix D（tap 深度 Table S6、clean vs noised latent Table S7、图像边缘失败 Table S5），验证“生成式先验在 OOS 情形优于判别式编码器”的论证链。\n- **Step 5**：读 Sec. 5 与 Appendix F，明确局限：离线片段级处理、射线场对训练相机族的泛化依赖、OOS 增益仅为腕对齐（不证明绝对位置）、长片段单次解码的精度-平滑度权衡。\n\n### 分类理由\n\n- 论文核心贡献是一个新算法/学习框架：将预训练视频扩散模型（Wan 2.2 DiT）改造为确定性几何编码器，配合端到端训练的双向时空解码器与射线相机求解器（Sec. 3、贡献列表），并以五基准 SOTA 实验支撑。\n- 非系统/平台类工作，也非综述性综合，故归类为 `method`。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型**：方法类论文（method）。核心贡献是一个新的学习框架：将预训练视频扩散模型（VDM，Wan 2.2 DiT）从\"像素渲染器\"重新定位为\"确定性几何编码器\"，配合端到端训练的 Bidirectional Spatiotemporal Decoder 与 Ray-Based Camera Solver（Sec. 3、贡献列表、Figure 2）。\n- **任务定位**：从自我中心（egocentric）RGB 视频中恢复度量级双手 3D MANO 轨迹（全局朝向、关节、相机系平移、逐片段 shape），重点解决严重手-物交互（HOI）遮挡与手部完全离开视野（out-of-sight, OOS）问题（摘要、Sec. 1、Figure 1）。\n- **应用场景**：面向具身智能/机器人学习的离线片段级操作数据生产工具，而非闭环控制器（Sec. 5、Appendix F.1）。\n\n### 2. 研究背景与上下文\n\n- **领域驱动力**：自我中心视频是机器人操作数据的可扩展来源，但利用它需要从原始素材恢复度量级 3D 手部运动（Sec. 1 开篇）。\n- **两大固有挑战**：① 频繁的 HOI 遮挡；② 头部快速运动使手部完全离开视野，画面中不留任何视觉证据（Sec. 1、Figure 1）。\n- **现有方法的三条路线及其局限**（Sec. 2）：\n - 单帧\"检测–裁剪–回归\"（WildHands、HaMeR、WiLoR 等）：尺度/深度绑定检测框，遮挡或出视野时无输出；\n - 视频时序方法（OmniHands、GENMO、EgoH4）：前端仍依赖逐帧检测裁剪，且多在归一化姿态序列上补全而非原始视频；\n - 生成式路线（ViDiHand）：通过多步采样合成像素级几何叠加再回归 MANO，存在采样延迟、生成伪影传播、骨干无重建梯度等问题（Sec. 1、Sec. 2 末段）。\n- **本文立场**：度量级 3D 手部轨迹恢复本质上是**离线片段级时空推理任务**（Sec. 1）。\n\n### 3. 直觉正确性检查（关键假设及合理性）\n\n- **假设 1：VDM 序列级预训练赋予其时空先验（物体恒存性、3D 结构一致性、遮挡推理），其内部特征可用于几何恢复**（Sec. 3.1）。合理性：较强。Sec. 4.3 Table 2 的特征源消融提供实证——VDM 特征的 MPJPE^OOS 为 41.5 mm，显著优于判别式 V-JEPA 2（66.1 mm）与 VideoMAE（77.6 mm）；但\"生成式预训练带来判别式所缺的时空-几何先验\"这一因果解释仍属推断（Sec. 5 亦以 \"suggesting\" 措辞表述）。\n- **假设 2：在 σ=0 单次确定性前向读取 clean latent 即可暴露遮挡/出视野内容**（Sec. 3.1、Eq. 1）。合理性：较强。Appendix D.4 Table S7 显示 σ=0 全面优于 σ=0.5（MPJPE-p 15.26 vs 17.66 mm，CT-p 改善 39%），且跨 31 个验证检查点中 29 个支持该结论。\n- **假设 3：个体手部形状在连续录制中恒定，可逐片段估计一次**（Sec. 3.2 clip-level shape prior）。合理性：符合物理常识；Table 3 中以 register tokens 替代时间池化预测 β 仅带来轻微退化（15.622 vs 15.264 mm），说明该先验稳健。\n- **假设 4：预测射线场可在测试时替代相机内参**（Sec. 3.3）。合理性：中等偏强。Table 1 中 K-free 与标准配置接近（ARCTIC MPJPE-p 16.615 vs 15.256 mm），但 Appendix D.1 Table S5 显示：若无 camera fit，图像边缘 CT 误差放大 3.4–5.4 倍（0.165 vs 0.048 m），说明该假设依赖闭式相机拟合对射线场边缘不可靠性的补偿。\n- **需警惕之处**：① OOS 增益仅为腕对齐指标，不证明出视野期间的绝对位置（Appendix F.1 明确声明，五个基准均不评测绝对 OOS 位置）；② HOI4D/H2O 部分依赖伪真值标注，且 H2O 在本文训练混合中（Appendix A.2、F.1），绝对精度解读需谨慎。\n\n### 4. 核心贡献\n\n1) **VDM 从渲染器到编码器的范式转变**：Deterministic Clean-Latent Encoder 在 σ=0 单次前向截断读取 block-15 特征（跳过后 14 块，前向计算约减半），经 LoRA 端到端适配为几何感知特征，无生成采样延迟（Sec. 3.1、Eq. 1、Appendix D.3 Table S6）。\n2) **Bidirectional Spatiotemporal Decoder**：每 latent 帧 48 个空间锚定查询（2 hand + 42 joint + 4 register）、clip-level shape prior、旋转相对位置编码支持的无因果掩码双向注意力，单次前向重建整段片段中的遮挡/出视野手部（Sec. 3.2、Figure 3）。\n3) **Ray-Based Camera Solver**：零初始化 1×1 卷积预测连续视线射线场，配合 mixed-PnP 闭式平移求解（Eq. 5），解耦手部运动与相机动态，支持测试时无内参（K-free）推理（Sec. 3.3）。\n4) **五基准 SOTA 与效率**：48 项主指标对比中 45 项领先；ARCTIC MPJPE-p 降低 30%、HOT3D 降低 40%，纳入 OOS 后增益达 46%–61%；63.1 fps 单次前向，较 ViDiHand（1.91 fps）快 33×（Sec. 4.2、Table 1、Figure S1、摘要）。\n\n### 5. 清晰度评估\n\n- **结构**：标准 CVPR 双栏风格，方法部分（Sec. 3.1–3.4）按三大模块递进组织，逻辑清晰；训练配方与损失权重完整给出（Sec. 3.4、Appendix B.3）。\n- **图表**：Figure 2（总览）与 Figure 3（解码器架构）信息密度高且标注清楚；Table 1 主结果表规模大（10 指标 × 12 方法 × 3 数据集），必须配合 Appendix A.1 的指标定义阅读；Table S1 的指标符号表对区分 MPJPE^OOS 与 MPJPE+OOS 两个不可互换的总体至关重要（Appendix A.1）。\n- **公式**：Eq. (1)–(6) 记号一致；mixed-PnP 的逐轴闭式最小二乘解（Eq. 5）推导清楚，含有效性掩码 m_j 与回退机制（Appendix B.1 给出阈值）。\n- **可读性**：整体良好，但两处需额外注意：① -p 覆盖惩罚协议与两个 OOS 指标的区分需精读 Appendix A.1；② Table 2（10k 步 ARCTIC-only）与 Table 3（K-free 共享配方、部分变体半批量）的消融配方均与主表不同，跨表数字不可直接比较（Sec. 4.3 脚注已声明）。\n\n### 6. 继续或停止建议\n\n- **建议：继续深入阅读（进入第二遍、第三遍）**。\n- **理由**：① 方法新颖且主张明确——\"VDM 作编码器而非渲染器\"是对 ViDiHand 路线的直接改进，实验支撑充分（五基准、10 基线、系统消融）；② 对从事手部姿态估计、具身智能数据生产的研究者有直接复用价值（代码已公开，github.com/ggxxii/ACE-Ego-Hand）；③ 存在值得第二遍验证的关键点：OOS 增益的腕对齐局限、伪真值数据集（HOI4D/H2O）对结论的影响、消融配方的可比性、以及射线场对训练相机族泛化的依赖（Appendix F.1）——这些边界条件决定了结论的适用范围。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# ACE-Ego-Hand\n\n## 1. 引言\n\n### 挑战：HOI 遮挡 + OOS\n\n### 核心洞察：VDM 作编码器而非渲染器\n\n## 2. 相关工作\n\n### 单帧手部重建\n\n### 视频手部运动恢复\n\n### 生成式视频模型作表征\n\n## 3. 方法\n\n### 3.1 从生成器到编码器\n\n#### Deterministic Clean-Latent Encoder（σ=0，block-15 截断）\n\n#### LoRA 端到端适配\n\n### 3.2 双向时空解码器\n\n#### 空间锚定查询（48 queries/帧）\n\n#### Clip-level shape prior\n\n#### 无约束双向推理（旋转相对 PE）\n\n### 3.3 射线相机求解器\n\n#### 无内参射线场预测\n\n#### Mixed-PnP 闭式平移求解\n\n### 3.4 训练配方（七项损失）\n\n## 4. 实验\n\n### 4.1 实验设置\n\n#### 七源训练混合 + 五基准\n\n#### 统一评测协议（-p 惩罚）\n\n### 4.2 主结果（Table 1）\n\n#### 视野内精度\n\n#### K-free 无内参运行\n\n#### OOS 恢复（46%–61% 增益）\n\n#### 效率（63.1 fps，33×）\n\n### 4.3 消融研究\n\n#### 特征源（Table 2）\n\n#### 解码器与相机求解（Table 3）\n\n### 4.4 定性比较（Figure 4）\n\n## 5. 结论与讨论\n\n### 局限：离线、相机族泛化、腕对齐 OOS\n\n## 附录\n\n### A 评测协议与数据划分\n\n### B 实现细节（架构/优化/损失权重）\n\n### C 附加结果（H2O/OakInk2、OOS 分层、吞吐）\n\n### D 失败模式与设计选择（边缘误差、tap 深度、σ）\n\n### E 定性结果与机械手重定向\n\n### F 局限与数据使用声明\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文要解决的核心问题是：**从自我中心（egocentric）RGB 视频中恢复度量级（metric）双手 3D MANO 轨迹**——包括全局朝向 R̂_t、关节 articulation θ̂_t、相机系平移 τ̂_t 与逐片段 shape β̂——并在严重手-物交互（HOI）遮挡与手部完全离开视野（out-of-sight, OOS）的区间内保持轨迹连续、身份一致与度量放置（Sec. 1、Sec. 3、Figure 1、Abstract）。\n\n### 2. 痛点与现有方法的不足\n\n- **出视野即失效**：单帧与窗口化时序模型在手部短暂离开画面后丢失历史上下文，无法在手部重新出现时恢复连贯跟踪（Sec. 1；windowed temporal models [^4] [^18] [^28]）。\n- **检测/SLAM 依赖与误差累积**：现有方法依赖逐帧 detect–crop–regress 检测器或 SLAM 锚定跟踪，后者固有误差累积；检测框把尺度与深度绑定，严重遮挡或出视野时无法输出任何重建（Sec. 1、Sec. 2）。\n- **生成式渲染路线低效且特征不几何感知**：ViDiHand [^37] 等把视频扩散模型（VDM）当作像素渲染器，需 12–25 步随机多步采样，带来采样延迟，生成伪影可能传播进姿态估计；且骨干不接收重建目标的梯度，特征保持通用（Sec. 1、Sec. 2）。\n- **articulation 与相机运动耦合、强依赖标定**：在相机系直接回归 3D 手部坐标会把手部姿态与快速头部自运动混在一起，并要求测试时提供相机内参（Sec. 1）。\n\n### 3. 形式化目标 / 优化目标\n\n- **任务形式化**：给定视频片段 V = {I_t}_{t=1}^T，在单次确定性前向中预测逐帧双手 MANO 参数（R̂_t, θ̂_t, τ̂_t, β̂）及逐帧存在性/可见性标志（Sec. 3）。\n- **编码器读出**：F = Φ_{0:L*}(z; σ=0)，即在零噪声下对干净 VAE 潜变量 z = E(V) 做单次前向，截断至第 15 块（L* = 15，30 块中执行前 16 块）（Eq. (1)，Sec. 3.1）。\n- **训练目标**：联合优化 L = L_rot + L_joint + L_img + L_cam + L_pres + L_tmp + L_ray（K-free 配置额外加 L_fit）（Eq. (6)，Sec. 3.4；各项权重见 Appendix B.3）。\n- **相机求解**：射线场以余弦距离损失 L_ray 监督（Eq. (4)，Sec. 3.3）；度量平移由混合 PnP 的闭式加权最小二乘解出 t̂_x（Eq. (5)，Sec. 3.3）。\n\n### 4. 成功标准（指标与期望性质）\n\n- **检测**：FAcc、Recall、F1（Sec. 4.1、Appendix A.1）。\n- **3D 姿态**：MPJPE-p（腕对齐 + 覆盖惩罚）、PA-p（Procrustes 对齐）；出视野用 MPJPE^OOS（仅 OOS 层）与 MPJPE+OOS（全部手帧混合，二者不可互换）（Sec. 4.1、Table S1）。\n- **朝向与位置**：EPE_2D-p（2D 端点误差，px）、GO-p（测地全局旋转误差，°）、CT-p（相机系平移误差，m）。\n- **时序平滑**：Jitter（mm/frame²，3D 关节二阶差分）。\n- **期望达成的性质**（含定位）：\n - 五基准（ARCTIC、HOT3D、HOI4D、H2O、OakInk2）SOTA：48 项主指标比较中 45 项领先（Sec. 1 贡献列表；Table 1、Table S3）。\n - 相对最强基线 ViDiHand，MPJPE-p 在 ARCTIC 降 30%、HOT3D 降 40%、零样本 HOI4D 降 23%；纳入 OOS 后 MPJPE+OOS 增益达 45.9%–61.1%（Abstract、Sec. 4.2）。\n - 单次确定性前向 63.1 fps（K-free 63.3），比 ViDiHand 快 33×（Sec. 4.2、Appendix C.4、Figure S1）。\n - K-free 配置在无测试时标定下保持检测与度量放置（HOT3D F1 0.995 vs 0.996），仅小幅姿态代价（ARCTIC +1.36 mm MPJPE-p）（Sec. 4.2）。\n - 最低 Jitter（2.39–3.16 mm/frame²），体现片段级解码与显式时序平滑目标（Sec. 4.2）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作定位与对比轴\n\n### 1. 最强基线与对比轴（Strongest baselines）\n\n- **ViDiHand [^37] —— 最强基线，同为视频扩散生成式路线**\n - **方法**：通过 VACE [^10] 微调 Wan 视频扩散模型，以多步采样（12–25 步）合成像素空间几何叠加图，再从中间去噪特征回归 MANO；解码器在缓存的冻结特征上训练（Sec. 2 \"Generative video models as representations\"）。\n - **核心思想**：利用 VDM 的生成先验做\"像素渲染\"，间接产出姿态。\n - **局限**：多步采样带来延迟与生成伪影传播；骨干不接收重建目标的梯度，特征保持通用性（Sec. 1、Sec. 2）。\n - **对比轴与结果**：本文直接沿用 ViDiHand 的评测协议、on-screen 门控与测试片段（Appendix A.1/A.3），在统一协议下对比。Table 1：ARCTIC MPJPE-p 21.67→15.26 mm（-30%）、HOT3D 21.51→12.89 mm（-40%）、零样本 HOI4D 30.09→23.03 mm（-23%）；MPJPE+OOS 31.05→16.78 mm（-45.9%）、44.44→17.27 mm（-61.1%）；吞吐 63.1 fps vs 1.91 fps（33×，Sec. 4.2、Appendix C.4、Figure S1）。\n- **WildHands [^25] —— OOS 层次上的最强判别式基线**\n - **方法**：以相机内参为条件的单帧自我中心手部重建（Sec. 2）。\n - **局限**：依赖检测裁剪，手部离屏时无输出。\n - **对比轴**：OOS 层次 MPJPE^OOS——ARCTIC 135.4 vs 本文 35.2 mm（-74.0%）、HOT3D 126.4 vs 38.6 mm（-69.4%）（Sec. 4.2、Table S4）。\n- **WiLoR [^24] / EgoForce [^20] —— 可见帧内的强判别式基线**\n - EgoForce 在单帧路线上加入前臂引导的相机系求解器与因果 Kalman 平移滤波（Sec. 2、Table 1 ‡ 标注）；但所有十个基线的 OOS 误差坍缩到 126–164 mm 的窄带，与其可见帧排名几乎无关（Table S4），说明判别式/裁剪式方法缺乏离屏时序重建机制。\n\n### 2. 最接近的方法与关键差异（Closest approaches，按 方法→核心思想→局限 组织）\n\n- **ViDiHand [^37]（最近邻：同为 Wan 骨干 + 手部重建）**\n - **方法**：生成式渲染路线（VACE 微调 + 多步采样 + 冻结特征上训练解码器）。\n - **核心思想**：以生成过程为媒介获取几何信息。\n - **关键差异**：本文将 VDM 用作**确定性编码器而非渲染器**——在 σ=0 单次前向读取 clean latent，在第 15 块（共 30 块）截断以省约一半计算（Sec. 3.1、Table S6）；LoRA 端到端适配使 3D 监督直接重塑特征（Table 2：w/o LoRA 使 MPJPE-p 从 16.95 升至 23.10 mm）；Appendix D.4/Table S7 进一步证明 clean latent（σ=0，15.26 mm）优于 noised latent（σ=0.5，17.66 mm）。\n- **视频时序融合 / 运动先验补全类：OmniHands [^18]、GENMO [^17]、EgoH4 [^7]、多帧聚合 [^4][^13][^28]**\n - **方法**：时序融合或运动先验补全。OmniHands 融合九帧双手裁剪恢复图内全遮挡手；GENMO 做以视频特征为条件的双向运动建模；EgoH4 从估计的身体姿态因果预测离屏手（Sec. 2）。\n - **核心思想**：用时间上下文弥补单帧观测缺失。\n - **局限**：视觉前端仍依赖逐帧检测与裁剪，且多在归一化姿态序列而非原始视频上补全（Sec. 2）；窗口化时序模型在手离屏后丢失历史上下文、难以连贯恢复（Sec. 1）。\n - **关键差异**：本文无外部检测器，直接在原始视频的 clip 级 latent 上做无因果掩码的双向时空推理（Sec. 3.2），并以存在性/可见性分数与固定左右手槽位替代匈牙利匹配（Sec. 3.2）。\n- **单帧 detect–crop–regress 类：InterWild [^21]、HaMeR [^23]、Hamba [^5]、WiLoR [^24]、WildHands [^25]、EgoForce [^20]**\n - **方法**：检测→裁剪→回归 MANO 参数（Sec. 2）。\n - **核心思想**：从裁剪图回归手部几何；EgoForce 额外引入相机系求解与因果滤波。\n - **局限**：尺度与深度绑定检测框；严重遮挡或离屏时完全不产出（Sec. 2）；Table 1 中七个基线在广角 HOT3D 上 FAcc 低于 0.70（Sec. 4.2）。\n - **关键差异**：本文端到端免检测器，且以 Ray-Based Camera Solver 解耦手部放置与相机内参/自运动，支持 K-free 测试（Sec. 3.3、Table 1 K-free 行）。\n\n### 3. 正交方向（Orthogonal directions）\n\n- **世界系 / SLAM 锚定跟踪**：TRAM [^36]、Dyn-HaMR [^40]、HaWoR [^42] 恢复全局轨迹但受误差累积影响（Sec. 1）；本文聚焦相机系度量恢复，评测时关闭 HaWoR 的 SLAM/填充阶段、为 Dyn-HaMR 提供真值外参（Appendix A.3），两者设定互补而非直接可比。\n- **自监督判别式视频编码器**：V-JEPA 2 [^1]、VideoMAE [^32] 是生成先验的判别式替代（预测被遮内容而非合成，Sec. 2）；Table 2 显示其在可见帧上接近（17.81 mm）但 OOS 误差跃升至 66.1/77.6 mm（本文 41.5 mm），支撑 Sec. 5 \"生成式预训练提供判别式预训练所缺的时序-几何先验\"的论断。\n- **射线相机表示**：Perspective Fields [^11]、Cameras as Rays [^43]——本文 Ray Head 沿用该表示思想（Sec. 3.3），属工具性引用而非竞争方法。\n- **生成模型表征化利用的两条路线**：读激活 [^34]（单次前向、低成本）vs 提示生成过程 [^29]（完整采样轨迹、高成本）（Sec. 2）；本文属于\"读激活\"路线，并进一步要求端到端 3D 监督。\n- **自我中心视频→机器人操作数据**：EgoDex [^8]、EgoMimic [^12]、EgoVLA [^38]、ACE-Ego-0 [^16] 是下游应用动机（Sec. 1），与本文方法层面正交。\n\n### 4. 一句话定位\n\nACE-Ego-Hand 是首个将预训练视频扩散模型改造为确定性 clean-latent 编码器（而非随机像素渲染器）、配合端到端双向时空解码器与射线相机求解器，在五个自我中心基准上以单次前向（较最强生成式基线 ViDiHand 快 33×）实现遮挡与离屏鲁棒的度量级双手 3D 轨迹恢复并在 48 项主指标中的 45 项上刷新 SOTA 的工作（Sec. 1 贡献列表、Sec. 4.2、Table 1）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题？\n\n### 1. 核心机制概述（浅层理解）\n\n论文将任务重新表述为**离线片段级（clip-level）时空推理问题**：从自我中心 RGB 视频中恢复度量级双手 3D MANO 轨迹（全局朝向 R̂、关节角 θ̂、相机系平移 τ̂、片段级形状 β̂），并覆盖严重遮挡与手部完全出视野（OOS）区间（Sec. 1、Sec. 3）。全部设计由一个核心洞察驱动：**视频扩散模型（VDM）作为编码器优于作为渲染器**（Sec. 1、Sec. 3.1）。与 ViDiHand 等生成式方法通过 12–25 步采样合成像素再回归姿态不同（Sec. 2），ACE-Ego-Hand 在 σ=0 的干净潜变量上执行**单次确定性前向**，直接读取中间特征，从而消除采样延迟并避免生成伪影传播进姿态估计（Sec. 1、Sec. 2）。\n\n框架由三个模块构成（Figure 2、Sec. 3）：\n\n- **Deterministic Clean-Latent Encoder**（Sec. 3.1）：冻结 VAE 编码 + Wan 2.2 DiT 截断前向（tap 于 Block 15），LoRA 端到端适配；\n- **Bidirectional Spatiotemporal Decoder**（Sec. 3.2）：空间锚定查询 + 片段级形状先验 + 无因果掩码的双向注意力；\n- **Ray-Based Camera Solver**（Sec. 3.3）：射线场预测 + Mixed-PnP 平移求解，将手部放置与相机内参/快速自运动解耦。\n\n两种配置（standard 与 K-free）**仅在平移求解的 bearing 来源上不同**：前者由给定内参计算，后者由射线场解析拟合的有效针孔相机计算（Sec. 3.3、Figure 3 图注），二者分别独立端到端训练，K-free 并非测试时切换（Sec. 3.3）。\n\n### 2. 分步拆解（中层分析）\n\n**Step 1 — 潜变量编码**：冻结的 Wan VAE 编码器 E 将 T=81 帧视频压缩为干净潜变量 z = E(V)，得到 T'=21 个潜帧（4× 时间、16× 空间压缩；672×480 输入对应 42×30 网格、每格 16×16 像素、D=3072 通道）（Sec. 3.1）。\n\n**Step 2 — 确定性单次前向**：F = Φ_{0:L*}(z; σ=0)，截断执行 30 个 DiT block 中的前 16 个（L*=15，零索引），跳过剩余 block 与生成头，单次前向计算量约减半；Appendix D.3 的 tap 深度扫描（Table S6）显示 Block 15 已保留几乎全部精度（更深的 Block 20/24 仅再降 ≤0.17 mm，属运行噪声）（Sec. 3.1、Appendix D.3）。\n\n**Step 3 — 射线场预测**：Ray Head 为零初始化 1×1 卷积，从 F 预测逐格单位射线 r̂=(r̂_x, r̂_y, r̂_z)；因片段内内参恒定，逐帧预测经时间池化为单一射线场（Sec. 3.3）。训练时以余弦距离损失 L_ray（Eq. 3）用真值标定监督，单一头同时兼容针孔与鱼眼模型。\n\n**Step 4 — 查询标记化**：每个潜帧 48 个查询 = 2 个手部 token（固定左右槽位）+ 42 个关节 token + 4 个 register token（学习用草稿空间，不更新 F）。token 化叠加两项位置编码（Eq. 2）：空间 PE P^sp 与射线 PE g(Γ(r̂))（Fourier 编码射线方位角/仰角，零初始化 MLP 映射到解码器维度）（Sec. 3.2、Appendix B.1）。\n\n**Step 5 — 双向时空推理**：4 层交替的 Spatial Cross-Attention（逐帧提取视觉细节）与 Temporal Self-Attention（全片段运动信息交换）；时间轴采用 rotary 相对位置编码（无绝对长度约束，同一 checkpoint 单次前向可解码任意长度，Appendix D.2）；时间注意力在 T'=21 潜帧率运行，输出线性插值回 T=81 帧，注意力成本降至全分辨率约 (T'/T)² ≈ 1/15；**不加因果掩码**，每帧同时条件于过去与未来，从而对遮挡/OOS 手部是\"重建\"而非\"单向外推\"（Sec. 3.2）。\n\n**Step 6 — 读出头**（Sec. 3.2）：\n\n- **Joint Head**：关节 token 的 cross-attention 权重构成空间热图 A_j，soft-argmax 聚合得亚格子精度的 2D 锚点 p̂_j，再由 MLP 回归腕相对 3D 关节（米制）；\n- **Pose Head**：Gram–Schmidt 正交化的 6D 旋转回归 R̂ 与 θ̂；\n- **Camera Head**：回归对数深度 ζ̂，t_z = exp(ζ̂) 保证严格正的米制深度；\n- **Shape Head**：对全部 T 帧手部 token 时间池化，每手每片段预测一次 β̂，强制\"同一只手形状恒定\"的物理不变量，防止尺寸闪烁与形状漂移；\n- **存在性/可见性置信度**：帧级读出，避免匈牙利匹配。\n\n**Step 7 — Mixed-PnP 米制平移**：MANO 前向得 J^can = M(R̂, θ̂, β̂)（已摆姿未平移），关节深度 z_j = J^can_{z,j} + t̂_z；bearing 向量 b_j 由射线场闭式拟合的有效针孔相机 (f̂, ĉ) 计算（K-free），或由给定内参计算（standard）；由于透视投影对平面内平移线性，t̂_x、t̂_y 有闭式加权最小二乘解（Eq. 4），掩码 m_j 选择位于相机前方且锚点在帧内的关节；有效关节过少或重投影残差过大时回退到腕部逆投影射线置于深度 t̂_z（Sec. 3.3；Appendix B.1 阈值：≥6 关节投票、RMS 残差 ≤ max(15 px, 2D 包围盒对角线的 1/4)）。\n\n**Step 8 — 端到端训练**：统一损失 L = L_rot + L_joint + L_img + L_cam + L_pres + L_tmp + L_ray（K-free 另加 L_fit，权重 5，前 500 步线性 warmup）（Eq. 5/6、Appendix B.3）。可训练参数仅 183.99M：LoRA（rank 64，注入全部 30 block 的 10 个线性层，161.219M）、patch embedding（1.822M，从发布权重微调）、Ray Head（9,219）与 Decoder 及读出头（20.347M）；DiT 主体 5.002B 全程冻结（Appendix B.1–B.2）。20k AdamW 步，三组学习率（decoder/heads 2e-4、LoRA 1e-4、patch embedding 2e-5）；standard 配置 16×A100（有效 batch 64），K-free 8×A100（32）（Appendix B.2）。\n\n三项关键监督策略（Sec. 3.4）：\n\n1. **OOS 手部完全监督**（不掩蔽），迫使双向注意力从时间上下文重建不可见手部；\n2. **损失路由**：无 MANO 标注的 RHD 仅监督 2D 锚点、3D 关节与 presence 头，增加外观多样性同时保护 MANO 参数头；\n3. **内参不进入编码器/解码器**：仅作为 L_img 重投影、L_ray、L_fit 的训练目标（standard 配置中额外提供平移求解的 bearing）。\n\n### 3. 关键公式与模块角色（深层分析）\n\n| 公式/机制 | 位置 | 角色 |\n|---|---|---|\n| F = Φ_{0:L*}(z; σ=0) | Eq. 1, Sec. 3.1 | 范式转换核心：生成器→确定性编码器；σ=0 优于 σ=0.5（Table S7：MPJPE-p 15.26 vs 17.66 mm，CT-p 降 39%） |\n| X_ℓ = LN(W_F F_ℓ) + P^sp + g(Γ(r̂)) | Eq. 2, Sec. 3.2 | 将视角几何（射线）注入 token 表征，使注意力感知相机几何 |\n| p̂_j = Σ_u A_j(u)·u（Σ_u A_j(u)=1） | Sec. 3.2 | 可微 soft-argmax，亚格子 2D 锚定，为 PnP 提供图像-3D 对应 |\n| L_ray = (1/\\|Ω\\|) Σ_{u∈Ω} (1 − ⟨r̂(u), r_K(u)⟩) | Eq. 3, Sec. 3.3 | 射线场监督，使单一头兼容针孔/鱼眼并支撑 K-free 推理 |\n| t̂_x = [Σ_j m_j z_j⁻¹(b_jˣ − J^can_{x,j}/z_j)] / [Σ_j m_j z_j⁻²] | Eq. 4, Sec. 3.3 | 闭式 Mixed-PnP：透视投影对平面内平移线性，解可微、L_cam 梯度可流经求解器 |\n| L = L_rot + L_joint + L_img + L_cam + L_pres + L_tmp + L_ray (+L_fit) | Eq. 5/6, Sec. 3.4 | 统一目标；L_tmp 惩罚 3D 关节加速度保证时间平滑（Jitter 2.39–3.16 mm/frame²，Table 1） |\n\n**设计选择的证据链**（Sec. 4.3）：\n\n- **特征源消融（Table 2）**：VDM 特征（16.95 mm）优于 V-JEPA 2（17.81，但 OOS 层跳至 66.1 mm）、VideoMAE（22.53）、VAE latent（32.50）、raw RGB（46.50）；去 LoRA 升至 23.10——证明生成式预训练先验在视觉线索缺失时提供判别式编码器不具备的时序-几何预测能力，这是 OOS 鲁棒性的根源；\n- **相机/解码器消融（Table 3）**：rotary 相对 PE 与 joint queries 最关键（换绝对 PE 使 MPJPE-p +2.523 mm、Jitter 2.704→2.948；池化查询 +1.880 mm、EPE2D-p +1.681 px）；mixed-PnP 优于逆投影（CT-p 0.020 vs 0.030 m）与直接回归（EPE2D-p +1.231 px）；\n- **相机拟合的必要性（Appendix D.1、Table S5）**：无拟合时图像边缘 CT 误差放大 3.4–5.4 倍（ARCTIC 最外圈 0.165 vs 0.048 m；HOT3D 0.190 vs 0.035 m），拟合后 OOS 平移误差从 0.55 降至 0.10 m（ARCTIC），HOT3D 假阴性从 2,491 降至 74。\n\n### 4. 流程图\n\nmermaid\nflowchart TD\n V[\"输入: 自我中心RGB视频片段 V (T=81帧)\"] --> Z[\"冻结 Wan VAE: z = E(V), 21潜帧\"]\n Z --> DIT[\"Wan 2.2 DiT 单次前向 σ=0, 截断至Block 15 (16/30 blocks)\"]\n DIT --> F[\"特征网格 F: 42×30×3072/潜帧\"]\n F --> RH[\"Ray Head (零初始化1×1卷积) → 逐格射线场 r̂, 时间池化\"]\n F --> TOK[\"查询标记化: X_ℓ = LN(W_F F_ℓ) + P^sp + g(Γ(r̂)); 48查询/潜帧 (2手+42关节+4register)\"]\n RH -->|ray PE| TOK\n TOK --> ATT[\"4层交替: Spatial Cross-Attention ↔ Temporal Self-Attention (rotary PE, 无因果掩码)\"]\n ATT --> H1[\"Joint Head: soft-argmax 2D锚点 p̂_j + 腕相对3D关节\"]\n ATT --> H2[\"Pose Head: 6D旋转 → R̂, θ̂\"]\n ATT --> H3[\"Camera Head: ζ̂ → t_z = exp(ζ̂)\"]\n ATT --> H4[\"Shape Head: 时间池化 → 片段级 β̂\"]\n ATT --> H5[\"存在性/可见性置信度\"]\n H2 --> MANO[\"MANO前向: J^can = M(R̂, θ̂, β̂)\"]\n H4 --> MANO\n H1 --> PNP[\"Mixed-PnP: 闭式加权最小二乘解 t̂_x, t̂_y (bearing来自内参[standard]或拟合相机[K-free])\"]\n H3 --> PNP\n RH --> PNP\n PNP -->|\"有效关节<6或残差过大\"| FB[\"回退: 腕部逆投影射线置于深度 t̂_z\"]\n PNP --> OUT[\"输出: 逐帧双手MANO (R̂, θ̂, τ̂, β̂) + 存在/可见标志\"]\n FB --> OUT\n``n\n\n### 5. 小结：该方案为何能解决问题\n\n- **遮挡/OOS 鲁棒性**：VDM 序列级预训练赋予物体恒存性、3D 结构一致性与遮挡推理先验（Sec. 3.1 假设，Table 2 验证）+ 无因果掩码的双向注意力 + OOS 完全监督 → OOS 层 MPJPE 35.2/38.6 mm，较最强基线 WildHands 降 74.0%/69.4%（Sec. 4.2、Table S4）；\n- **度量放置与内参解耦**：射线场 + Mixed-PnP 将手部放置从相机内参与快速自运动中解耦 → K-free 配置在五个基准上检测持平、MPJPE-p 差距 ≤1.4 mm，HOI4D 零样本反而更优（22.15 vs 23.03 mm）（Sec. 4.2）；\n- **效率**：单次确定性前向 + Block 15 截断 + 潜帧率时间注意力 → 63.1 fps（K-free 63.3），较 ViDiHand（1.91 fps）快 33×（Sec. 4.2、Appendix C.4、Figure S1）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集与基准清单（浅层：有什么数据）\n\n**评测基准（5 个互补场景）**（Sec. 4.1；Table S2）：\n\n| 数据集 | 规模（训练 / 测试） | 场景定位 | 角色 |\n|---|---|---|---|\n| ARCTIC | 267 clips / 184,373 帧；测试 34 clips / 24,863 帧；291 个 81 帧评测段 | 严重双手-物体交互遮挡 | 训练 + 主评测（受试者不重叠，测试受试者 s05） |\n| HOT3D | 126 clips / 444,649 帧；测试 72 clips / 256,870 帧；437 段 | 复杂自我中心视角（宽视角） | 训练 + 主评测（录制级划分 126/72） |\n| HOI4D | 不参与训练；测试 166 clips / 49,800 帧；498 段 | 类别级 4D 交互泛化 | 完全 held-out，零样本评测 |\n| H2O | 114 clips / 68,929 帧；测试 46 clips / 30,724 帧；355 段 | 双手-物体姿态估计 | 训练 + 附录 C 评测（受试者不重叠，测试受试者 4） |\n| OakInk2 | 550 clips / 935,260 帧；测试 77 clips / 69,371 帧；202 段 | 长时程多物体操作 | 训练 + 附录 C 评测（序列级划分，202 段共享子集） |\n\n**仅训练的辅助源（3 个，合计占采样权重 44%）**（Appendix A.2、Table S2）：\n\n- **Re:InterHand**：43 clips / 21,315 帧，权重 16%；重光照工作室采集渲染为自我中心鱼眼视频（10 fps），提供外观与鱼眼几何多样性。\n- **FreiHAND**：32,560 张图像 / 162,800 帧，权重 14%；静态图像，仅右手，带完整 MANO 拟合。\n- **RHD**：41,251 张图像 / 206,255 帧，权重 14%；静态图像，仅 21 个 3D 关节、无 MANO 拟合。\n\n### 2. 预处理与划分/覆盖设置（中层：数据如何被使用）\n\n**统一预处理**（Appendix A.2）：\n\n- 五个评测视频数据集统一以 30 fps 处理，不做时间下采样。\n- 训练在全长录制上随机采样：每步从一条录制抽取 21 个 latent 帧（对应 81 个 RGB 帧）窗口；评测解码与所有基线共享的固定 81 帧测试段。\n- 输入分辨率：ARCTIC 672×480，HOT3D 480×480；H2O 与 OakInk2 统一缩放到宽 832 并同步缩放内参，保证每个数据集得到偶数的 latent 网格。\n- 各数据集自带标注全部转换为统一 MANO 格式，使单一 loader 与单一 evaluator 服务所有数据集。\n- 静态图像源（FreiHAND、RHD）每张图复制为 5 帧静态片段，提供外观/姿态多样性而非运动；RHD 按损失路由只监督 2D anchor、3D 关节与存在性/可见性头，旋转与 shape 项置零（Sec. 3.4、Appendix A.2）。\n- 每个批次只来自单一数据集，避免不同长度/latent 网格混叠。\n\n**划分与覆盖**（Appendix A.2、F.1）：\n\n- 划分粒度不一：ARCTIC 与 H2O 为受试者不重叠；HOT3D 为录制级、OakInk2 为序列级（无法排除受试者重叠，Appendix F.1 明示）；HOI4D 完全排除在训练外。\n- 伪真值警示：HOI4D 与 H2O 部分依赖逐帧估计器生成的伪 GT MANO 标注；HOI4D 对所有方法噪声一致，而 H2O 在本文训练混合中，存在「训练分布=评测分布」的域内优势（Appendix A.2、F.1）。\n- OOS 覆盖：ARCTIC 6.9%、HOT3D 17.6%、OakInk2 14.5% 的手-帧为 out-of-sight；HOI4D 与 H2O 无 OOS 真值，故 MPJPE^OOS / MPJPE+OOS 在这两处为「-」（Table S1、S4）。\n\n### 3. 训练 / 推理 / 评测环境（中层偏深：如何复现）\n\n**训练环境**（Sec. 4.1、Appendix B）：\n\n- 两种配置分别独立训练 20k 步：standard 用 16×A100（有效 batch 64 clips），K-free 用 8×A100（有效 batch 32）；每 GPU 4 clips（视频数据集每 clip 81 帧，图像数据集 5 帧）。\n- 优化器 AdamW（weight decay 1e-2，梯度裁剪 1.0，cosine 衰减，200 步 warmup），三组学习率：decoder/heads 2e-4、LoRA 1e-4、patch embedding 2e-5。\n- 骨干：Wan2.2-Fun-5B-Control 低噪声 DiT 子模型（30 blocks，宽 3072，FFN 14336）+ Wan 2.2 VAE；在第 15 块（0 起索引）截断，仅执行前 16 块（Appendix D.3 验证该 tap 深度保留几乎全部精度）。\n- LoRA rank 64、α=64、无 dropout，注入每块全部 10 个线性层，共 161.219M 适配参数；优化器共注册 183.99M 参数（LoRA 161.219M + decoder/heads 20.347M + patch embedding 1.822M + diffusion 输出头 0.596M + Ray Head 9,219）。\n- 损失权重（Appendix B.3）：L_rot（测地 1 + 旋转 MSE 1 + shape ℓ1 0.1）、L_joint（root-relative 10 / camera-frame 5 / wrist 2）、L_img（1，wrist 0.5）、L_cam 1、L_pres（0.5/0.25）、L_tmp 0.5、L_ray 1；K-free 另加 L_fit=5（前 500 步线性 warmup）。\n\n**推理与效率**（Sec. 4.2、Appendix C.4）：\n\n- 单次确定性前向：单张 A100 上 63.1 fps（K-free 63.3），其中约 72% 时间为 VAE 编码；对比 ViDiHand 精度配置的 1.91 fps，约 33× 加速。\n- 吞吐协议：同一 81 帧 ARCTIC 片段、从主机内存解码帧到 MANO 参数返回，排除加载/预热/渲染/IO，取至少三次运行的中位数，并按实际产出的手数计数以防漏检伪装成速度。\n\n**评测协议与基线复现**（Sec. 4.1、Appendix A.1/A.3）：\n\n- 统一采用 ViDiHand 引入的协议（指标定义、on-screen 门控 z_min=1 cm、测试段）；Table 1 中 9/12 行引用 ViDiHand 已发表数值，EgoForce 与本文两行由同一 evaluator 产生；作者重跑 8 个公开方法验证两套协议实现一致后才引用。\n- 10 个基线：单帧（InterWild、HaMeR、Hamba、WiLoR、WildHands、EgoForce）与视频类（OmniHands、Dyn-HaMR、HaWoR、ViDiHand），均用官方发布权重、不重训练，输出转 MANO 后统一评分。\n- 三处适配：WildHands/HaWoR 获得真值内参（有利于基线）；Dyn-HaMR 用真值外参替代 DROID-SLAM（有利于基线）；HaWoR 关闭 SLAM 与 infilling（不利于基线，作者明确声明此成本）。\n- 指标族（Table S1）：检测（FAcc/Recall/F1）+ 姿态（MPJPE-p、PA-p、EPE2D-p）+ 朝向与位置（GO-p、CT-p）+ 时序（Jitter）；-p 后缀为覆盖惩罚协议（漏检按规范 MANO 手计罚，EPE2D 按图像对角线计罚：ARCTIC 826 px、HOT3D 679 px）；MPJPE^OOS 与 MPJPE+OOS 为真值门控的两族指标，平均人群不同、不可互换。\n- 消融设置：Table 2 特征源消融仅在 ARCTIC 上训 10k 步（缩减配方，数值只可在表内比较）；Table 3 相机/解码器消融在 K-free 共享配方下训练（HOI4D held out，且省略 L_fit）；Table S6 tap 深度扫描用 20k 步、有效 batch 16 的 ARCTIC+HOT3D 缩减配方；Table S7 clean vs noised latent 在同检查点同评测段对比。\n\n### 4. 这些选择为何重要、验证了什么（深层：论证链）\n\n1. **五基准互补性**：ARCTIC（严重双手遮挡）、HOT3D（宽视角复杂自我中心几何）、HOI4D（类别级零样本泛化）、H2O（双手-物体）、OakInk2（长时程多物体）共同覆盖「遮挡、视角、泛化、时程」四个正交维度，支撑「45/48 项主指标领先」的 SOTA 主张（Sec. 1、4.2）。\n2. **HOI4D 完全 held-out** 是关键设计：它把泛化从训练分布中剥离——模型从未见过该数据仍取得 23.03 mm MPJPE-p，验证框架不是对训练集的过拟合（Sec. 4.1、Table 1）。\n3. **-p 覆盖惩罚协议**防止「丢弃难样本刷指标」：漏检被处以确定性规范手罚（Appendix A.1），使检测与精度不可分割，保证 Table 1 的精度数字包含覆盖成本。\n4. **统一 evaluator + 跨论文数值核对**：作者重跑 8 个公开方法并与 ViDiHand 发表值比对，确认协议实现一致后才引用，避免「同名指标不同定义」的常见陷阱（Appendix A.3）。\n5. **辅助源的分工**：Re:InterHand 提供鱼眼几何（支撑 Ray Head 对非针孔模型的暴露），FreiHAND/RHD 提供外观多样性；RHD 的损失路由在增加多样性的同时保护 MANO 参数头不被无拟合数据污染（Sec. 3.4）。\n6. **已知局限与解读边界**（Appendix F.1）：HOT3D/OakInk2 的录制/序列级划分无法排除受试者重叠；H2O 存在「自训自评」的域内偏差，Table S3 的 H2O/OakInk2 块应读作域内上界而非 like-for-like 比较；OOS 增益仅为腕对齐，不证明绝对位置。这些边界决定了哪些结论可以外推、哪些只能域内解读。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：指标与结果\n\n### 1. 评估指标（定义与解释；Sec. 4.1、Appendix A.1、Table S1）\n\n**屏内判定（on-screen gate）**：若手的 21 个真值 3D 关节中至少一个投影落在图像边界内且深度 z > z_min = 1 cm，则该手为屏内；否则为屏外（out-of-sight, OOS）。主指标仅在屏内真值手上计算（Appendix A.1）。\n\n**检测类指标**：\n\n- **FAcc（Frame Accuracy）**：既无漏检也无误检手的帧占总帧数比例（Eq. S4）。\n- **Recall / F1**：按每只手计算；预测存在分数 > 0.5 且与同侧屏内真值手投影网格重叠才算检出。由于匹配基于预测平移的投影，检测同时反映存在性与定位质量（Sec. 4.1）。\n\n**姿态与定位类指标（均带 -p 覆盖惩罚）**：\n\n- **MPJPE-p（mm）**：腕对齐后 21 关节平均位置误差；漏检的屏内手按 canonical MANO 手置于相机原点的确定性占位误差计罚（Eq. S8），防止方法靠丢弃难样本刷分。\n- **PA-p（mm）**：Procrustes 对齐后的平均关节误差。\n- **EPE2D-p（px）**：帧内关节的平均 2D 端点误差；漏检手按图像对角线计罚（ARCTIC 826 px、HOT3D 679 px）。K-free 配置的 EPE2D-p 用留出的真值内参重投影 3D 关节计算，直接诊断隐式相机标定的精度。\n- **GO-p（°）**：预测与真值全局朝向的测地角误差。\n- **CT-p（m）**：相机系平移误差 ‖τ̂ − τ‖₂（τ 为 MANO 根平移，非腕关节位置）。\n- **Jitter（mm/frame²）**：3D 关节预测的二阶时间差分均值，仅在连续匹配帧段内计算，不按帧率归一化。\n\n**屏外覆盖指标（真值门控、无 -p 惩罚、腕对齐）**：\n\n- **MPJPE^OOS（mm）**：仅对未通过屏内门的手帧求腕对齐误差均值（Table 2 报告此分层形式）。\n- **MPJPE+OOS（mm）**：对全部手帧（屏内+屏外）按帧数加权求均值，是两个层的混合（Eq. S11；Table 1 报告此混合形式）。两者总体不同、不可互换：OOS 手帧占 ARCTIC 6.9%、HOT3D 17.6%、OakInk2 14.5%，故混合值由屏内层主导（Appendix A.1）。\n\n### 2. 主要结果（具体数字；Sec. 4.2、Table 1、Table S3、Table S4）\n\n**总体**：在 ARCTIC、HOT3D、零样本 HOI4D 上 29 项指标中领先 27 项；五个基准共 48 项主指标比较中领先 45 项（Sec. 1、Sec. 4.2）。\n\n**ARCTIC（严重双手遮挡）**：标准配置 FAcc/Recall/F1 = 1.000/1.000/1.000；MPJPE-p 15.256 mm（ViDiHand 21.668，−30%）；PA-p 7.474（较 ViDiHand −24%）；MPJPE+OOS 16.783（ViDiHand 31.045，−45.9%）；EPE2D-p 9.180 px；GO-p 11.807°；CT-p 0.021 m；Jitter 2.700 mm/frame²。\n\n**HOT3D（广角复杂视角）**：MPJPE-p 12.888 mm（ViDiHand 21.514，−40%）；MPJPE+OOS 17.273（44.440，−61.1%）；EPE2D-p 6.418 px；GO-p 7.924°；Jitter 3.159。七个基线在 HOT3D 上 FAcc 低于 0.70，而本方法达 0.986。\n\n**HOI4D（零样本）**：MPJPE-p 23.031 mm（ViDiHand 30.090，−23%）；Jitter 2.393 为全表最低。\n\n**屏外恢复（Table S4 分层）**：仅屏外层，ARCTIC 35.165 mm、HOT3D 38.649 mm，对比 ViDiHand 149.113/151.703、WildHands（屏外最强基线）135.437/126.358，降幅 74.0%/69.4%。十个基线在屏外层全部塌缩到 126–164 mm 窄带，排序与屏内排名无关，说明其缺乏离屏重建机制。\n\n**K-free 配置**：检测与标准配置持平（HOT3D F1 0.995 vs 0.996，EPE2D-p 6.07 vs 6.42 px）；代价是窄视场基准上小幅姿态差（ARCTIC +1.36 mm、H2O +1.09 mm），而零样本 HOI4D 反而更好（22.154 vs 23.031 mm）；MPJPE+OOS 18.1/18.7 mm，与标准配置差 1.5 mm 以内。\n\n**H2O 与 OakInk2（Appendix C.1、Table S3）**：H2O MPJPE-p 9.223 mm（最强基线 EgoForce 16.219，−43%）；OakInk2 8.988 mm（WiLoR 26.520，−66%）。唯一失守单元格为 H2O CT-p（WiLoR 0.023 vs 0.031）。注意：两数据集对本方法为 in-domain、对基线为 out-of-domain，应读作 in-domain 上界而非对等比较。\n\n**效率（Appendix C.4、Figure S1）**：单次确定性前向，单张 A100 上 63.1 fps（K-free 63.3），对比 ViDiHand 精度配置 1.91 fps，约 33×；共享 ViTDet-H+ViTPose+-H 前端的五个裁剪类基线聚在 1.5–1.7 fps，最快的 WiLoR 为 15.5 fps。\n\n### 3. 与基线/代表性先前工作的比较（Sec. 4.1、Appendix A.3）\n\n- **基线共 10 个**：单帧类 InterWild、HaMeR、Hamba、WiLoR、WildHands、EgoForce；视频类 OmniHands、Dyn-HaMR、HaWoR、ViDiHand。\n- **统一协议**：沿用 ViDiHand 的评测定义、屏内门与测试段；Table 1 中九行引用已发表数值，EgoForce 与本方法行由同一 evaluator 产生；八个公开方法经作者自己的 evaluator 复跑核对一致（Appendix A.3）。\n- **偏向基线的调整**：WildHands 与 HaWoR 获得真值内参；Dyn-HaMR 获得真值外参替代 DROID-SLAM。对 HaWoR 不利的是其 SLAM 与 infilling 阶段被禁用，只评其相机系前端（Appendix A.3）。\n- **EgoForce†** 使用因果 Kalman 滤波后处理平移；HOI4D 完全不参与训练、零样本评测。\n- **相对 ViDiHand（最强先前方法/生成式基线）**：三大基准 MPJPE-p 降幅 30%/40%/23%，且在 articulation、2D 定位、朝向、平移上全面领先；相对 OmniHands（专为图像内遮挡恢复设计），ARCTIC MPJPE-p 近乎减半（Sec. 4.2）。\n\n### 4. 消融、敏感性与跨设置差异（Sec. 4.3、Table 2/3、Appendix C/D）\n\n**特征源消融（Table 2，ARCTIC-only 10k 步，仅表内可比）**：\n\n- 完整模型 MPJPE-p 16.95 mm、MPJPE^OOS 41.5 mm，优于 raw RGB（46.50/98.3）、VAE latent（32.50/79.3）、VideoMAE（22.53/77.6）、V-JEPA 2（17.81/66.1）、w/o LoRA（23.10/50.1）。\n- 关键发现：V-JEPA 2 在屏内表现尚可，但屏外误差跳到 66.1 mm，而冻结 Wan 2.2（无 LoRA）为 50.1 mm——生成式 VDM 先验在视觉线索缺失时提供判别式预训练所不具备的时序-几何预测能力（Sec. 4.3、Sec. 5）。\n\n**相机与解码器消融（Table 3，ARCTIC，表内可比、不与 Table 1 可比）**：\n\n- K-free 与标准配置几乎持平（15.264 vs 15.256 mm；CT-p 0.020 vs 0.021 m），学习到的射线场可替代显式测试时内参。\n- rotary 相对 PE 至关重要：换成绝对 PE 使 MPJPE-p 恶化 2.523 mm、Jitter 2.704→2.948。\n- joint queries 池化替代空间锚定查询：MPJPE-p +1.880 mm、EPE2D-p +1.681 px。\n- 求解器：mixed-PnP 换逆投影使 CT-p 0.020→0.030 m；直接回归平移使 EPE2D-p +1.231 px（虽得表内最低 Jitter 2.658，但牺牲图像空间定位，未被采纳）。\n- 注意：hand-pooled queries 与 absolute PE 两个变体以一半数据并行宽度训练，部分差距可能来自有效 batch 减半而非设计本身（Sec. 4.3）。\n\n**Tap 深度（Table S6）**：block 15（执行 16/30 块）16.10 mm；block 10 明显更差（17.77）；block 20/24 仅再降 ≤0.17 mm 且排序不一致，视为运行噪声。block 15 以约一半前向成本保留几乎全部精度。\n\n**Clean vs noised latent（Table S7）**：σ=0 读取在所有指标上更优：MPJPE-p 15.26 vs 17.66 mm，CT-p 0.021 vs 0.034 m（−39%）；增益集中于度量定位而非 articulation（PA-p 仅差 0.52 mm）。31 个验证 checkpoint 中 noised 运行在 29 个上更差。\n\n**解码长度敏感性（Figure S2）**：125 帧时 MPJPE-p 略优于 81 帧设置；整段录制单次解码（7–13× 训练窗口）MPJPE-p 升至 17.99 mm（+18%）但 Jitter 降至 2.585，仍比 ViDiHand 窗口化结果低 17%。\n\n**图像边缘失败与相机拟合（Table S5、Appendix D.1）**：无相机拟合时，最外层 bin（r>0.75）CT 误差 ARCTIC 0.165 vs 0.048 m（3.4×）、HOT3D 0.190 vs 0.035 m（5.4×），而腕对齐姿态各 bin 几乎一致——边缘效应特定于度量定位。相机拟合把 OOS 平移误差从 0.55/0.52/0.45 m 降至 0.10/0.11/0.06 m（ARCTIC/HOT3D/OakInk2），HOT3D 假阴性从 2,491 降至 74。\n\n**匹配检测误差（Appendix C.3）**：HOT3D 上无拟合变体在仅匹配检测时与标准配置几乎持平（12.75 vs 12.68 mm），说明 -p 差距（18.04 vs 12.89）来自图像边缘的覆盖损失而非姿态退化。\n\n**跨设置差异与注意事项**：Table 2（10k 步 ARCTIC-only）、Table 3（省略 L_fit、直接读射线场）与 Table 1（20k 步全混合）的绝对数值互不可比；H2O/HOI4D 部分依赖伪真值标注，且 H2O 在本方法训练混合内，绝对精度解读需谨慎（Appendix A.2、F.1）；两个 OOS 指标均为腕对齐，只证明遮挡/离屏期间的 articulation 与全局朝向，不证明绝对位置——没有任何基准评测离屏期间的绝对放置（Appendix F.1）。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：后续可探索的方向（What could be explored next?）\n\n### 1. 浅层理解：论文自身明确留下的方向（作者自述）\n\n作者在正文与附录中直接点名了若干后续工作，构成探索起点：\n\n- **流式/在线化**：Sec. 5 与 Appendix F.1 提出“将编码器蒸馏为流式变体是在线部署的自然步骤”，并说明离线性源于对整段 clip 上下文的依赖（延迟下界为 clip 长度），而非解码器注意力的方向性；同时指出该实验还能“量化精度有多少依赖未来帧”。\n- **相机族泛化**：Sec. 5 指出预测射线场“在训练所见相机族内泛化最好，更广的数据覆盖是自然补救”。\n- **更高精度真值**：Sec. 5 指出 HOI4D 与 H2O 部分依赖伪真值标注，“更高精度数据是进一步提升的有希望路径”。\n- **鱼眼径向轴承模型**：Appendix F.1 指出 K-free 相机拟合假设针孔模型，鱼眼片段回退为直接读取射线场，“径向轴承模型仍是未来工作”。\n- **L_fit 权重退火**：Appendix F.1 认为 K-free 的微小姿态代价（MPJPE-p 高 0.6–1.4 mm）源于 L_fit 与共享容量的竞争，“退火其权重是自然的下一步”。\n- **下游策略学习验证**：Appendix E.3 明言“此类轨迹能否改进下游策略学习仍是未来工作”。\n\n### 2. 中层分析：理论、工程、数据/评测三大方向的系统展开\n\n#### 2.1 理论方向\n\n1. **生成式先验为何在 OOS 情形占优（机理解剖）**：Sec. 4.3 与 Table 2 显示 V-JEPA 2 在可见帧上接近完整模型（MPJPE-p 17.81 vs 16.95 mm），但 OOS 误差跳升至 66.1 mm（本文 41.5 mm）；Sec. 5 据此推测“生成式预训练可能贡献了判别式预训练不具备的时空-几何先验”。后续可控制变量地分解该先验（物体恒存性、遮挡推理、3D 结构一致性各占多少），例如对 rectified flow 预训练目标做消融、或用探针分析 block 15 特征（Sec. 3.1 的 tap 选择）如何编码不可见手部。这直接检验 Sec. 3.1 的前提假设，即“序列级预训练被期望赋予物体恒存性等先验”。\n2. **OOS 绝对定位的可辨识性理论**：Appendix F.1 明确 OOS 增益仅为腕对齐（MPJPE^OOS / MPJPE+OOS），绝对位置依赖回归深度与无图像证据约束的方位，且“五个基准没有一个测量绝对 OOS 定位”。可形式化“OOS 轨迹何时可辨识”——基于间隙时长、进出视野几何与运动先验强度推导可辨识界，并分析 Appendix B 的腕射线回退机制的误差传播。\n3. **噪声水平 σ 的完整扫描与理论解释**：Appendix D.4 / Table S7 仅比较 σ=0 与 σ=0.5（clean 全面更优，MPJPE-p 15.26 vs 17.66 mm，CT-p 改善 39%），作者自己声明“只表明 σ=0 优于 σ=0.5，而非误差随 σ 单调变化”。补全 σ 扫描并从理论上解释“为何确定性读出保留几何、注入噪声反而破坏几何”，是低成本高价值的理论问题。\n4. **射线场表示的泛化与误差传播**：Sec. 3.3 沿用 ray-based 相机表示（引文 [^11][^43]）；Appendix D.1 / Table S5 显示误差随归一化半径增大（无拟合时外圈 CT 从 0.048 恶化至 0.165 m，ARCTIC），可研究射线场的样本复杂度与外推误差界，以及拟合相机 (f̂, ĉ) 的估计误差如何传入 Eq. (5) 的闭式平移解。\n\n#### 2.2 工程方向\n\n1. **因果/流式蒸馏**（Sec. 5、Appendix F.1）：将双向 Temporal Self-Attention（Sec. 3.2）蒸馏为因果注意力或滑动窗口加状态传递。风险在于 OOS 重建可能主要依赖未来上下文，因果化后 OOS 增益或大幅缩水——但这本身即是有信息量的科学产出。\n2. **分段解码与跨段身份/形状保持**（Appendix F.1、D.2）：Appendix F.1 提出两个具体课题——“限制单次解码长度同时跨段保持身份”与“在数分钟录制间携带手部身份与形状”。Appendix D.2 / Figure S2 显示整段单次解码（594–1087 帧）MPJPE-p 从 15.26 升至 17.99 mm（+18%）而 Jitter 仅降 4%，说明“分段 + 跨段一致性”是精度-延迟-平滑的合理折中点，需要跨段形状 β 一致化与身份重关联模块。\n3. **VAE 编码瓶颈优化**（Appendix C.4）：单次前向运行时间的 72% 花在 VAE 编码；63.1 fps 已远超最强基线（ViDiHand 1.91 fps，33 倍差距），但若要实时化，蒸馏或替换 VAE、缓存编码是最直接的工程杠杆。\n4. **鱼眼径向轴承拟合**（Appendix F.1、B）：训练混合中的 Re:InterHand 已是鱼眼渲染（Appendix A.2），但 K-free 拟合在鱼眼上触发回退（Appendix B 的 guard 机制）；把每轴线性针孔拟合扩展为径向轴承模型可直接扩大 K-free 适用面。\n5. **任务外扩**：从双手 MANO 扩展到物体位姿与完整 HOI 重建（训练数据本就来自 HOI 数据集，ARCTIC/HOT3D 等带物体标注），并将恢复轨迹重定向（Appendix E.3 已展示 Inspire Hand 重定向，Figure S6/S7 验证两分钟长程可行性）接入 VLA/模仿学习数据管线，呼应 Sec. 1 的动机（引文 [^8][^12][^16][^38]）。\n\n#### 2.3 数据与评测方向\n\n1. **构建绝对 OOS 定位基准**：Appendix F.1 明确指出没有任何现有基准测量 OOS 期间的绝对位置（失败签名是“深度漂移的合理姿态”）；用动捕多目系统或仿真构建带 OOS 真值平移的评测，可把“时间连贯性”与“度量定位”分开定级，这是当前评测体系最大的盲区。\n2. **高精度真值替换伪真值**（Sec. 5、Appendix A.2、F.1）：HOI4D/H2O 部分标签来自逐帧估计器伪真值，且 Appendix A.2 明确承认 H2O 上本文模型训练时见过该标签分布而基线没有（不对等比较）；用原生 MANO 级标注重采或重拟合这两个数据集，可检验 HOI4D 23.03 mm 与 H2O 9.22 mm 等数字的含金量。\n3. **收紧划分协议**（Appendix F.1）：目前只有 ARCTIC 与 H2O 是被试不重叠，HOT3D 按录制划分、OakInk2 按序列划分，“不能排除被试重叠”；统一为被试不重叠重评是低成本的可信度检查。\n4. **相机族覆盖扩展与分层评测**（Sec. 5）：加入更多鱼眼/广角/不同分辨率机型，并按相机族报告分层误差，把“泛化边界”变成可度量的曲线，而非 Sec. 5 的一句话陈述。\n5. **无标注真实场景的弱监督评测**：Appendix E.1–E.2 已在 HoloAssist、Xperience-10M 上做定性展示但无量化；可引入 2D 关键点伪标签一致性、重投影一致性或下游任务表现作为弱监督指标。\n\n### 3. 深层分析：优先级、依赖关系与风险\n\n- **最高优先**：绝对 OOS 定位基准（2.3-1）+ 因果蒸馏实验（2.2-1）。前者补上论文自己承认的评测盲区（Appendix F.1），后者同时是工程必需与科学实验——能定量回答“双向上下文值多少精度”。\n- **中优先、低成本**：σ 扫描与生成式先验解剖（2.1-1、2.1-3），直接支撑核心主张“VDM 应作编码器而非渲染器”（Sec. 3.1、Sec. 5）的机理层解释。\n- **数据密集型**：相机族扩展与高精度真值（2.3-2、2.3-4）需要采集与标注投入，但决定方法能否走出受控基准、服务 Sec. 5 所述“从大规模人类视频到机器人操作数据”的最终定位。\n- **依赖链**：流式化（2.2-1）是走向实时机器人闭环的前提（当前定位为离线数据整理工具，Sec. 5）；绝对 OOS 基准（2.3-1）是验证求解器回退与深度回归真实定位质量的前提；跨段身份保持（2.2-2）则依赖分段解码与长程重定向（Appendix E.3、Figure S7）的成熟。\n- **主要风险**：因果化可能摧毁 OOS 增益的核心来源（无约束双向注意力，Sec. 3.2）；伪真值替换后部分领先幅度可能收窄；射线场外推到全新相机族时，Appendix D.1 揭示的图像边缘失效模式可能被放大。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界落地形态分析（部署约束、算力/延迟、鲁棒性/安全、可维护性）\n\n### 1. 浅层定位：这项工作在真实世界中以什么形态出现\n\n- **产品形态**：一个离线、片段级（clip-level）的 3D 手部轨迹恢复工具，定位为\"从大规模日常人类视频到机器人操作数据的数据整理（data curation）桥梁\"，而非闭环控制器（Sec. 5、Appendix F.1）。目标用户是具身智能/机器人学习的数据生产者（Sec. 1）。\n- **典型落地管线**：录制自我中心 RGB 视频 → 切成 81 帧（2.7 秒 @30fps）片段 → 单次确定性前向推理 → 输出逐帧双手 MANO 参数（全局朝向、articulation、相机系平移、逐片段 shape）与存在/可见性标志（Sec. 3）→ 重定向到灵巧手（论文演示了 Inspire Hand，Appendix E.3 Figure S6/S7）→ 供模仿学习使用。\n- **吞吐定位**：63.1 fps 的轨迹恢复意味着\"它不是数据采集管线的瓶颈\"（Appendix E.3），瓶颈转移到上游的视频获取与下游的策略学习。\n\n### 2. 部署约束\n\n#### 2.1 硬性技术约束\n\n- **离线、片段级处理（最核心约束）**：模型依赖整段 clip 的双向（非因果）上下文，单次前向的延迟下界由片段长度决定，而非 63.1 fps 的吞吐数字（Appendix F.1）。作者明确指出：蒸馏出因果（causal）流式变体是走向在线部署的自然步骤，且该蒸馏还能量化精度中有多少依赖未来帧（Sec. 5、Appendix F.1）。\n- **GPU 等级要求**：推理计时基于单张 A100（Appendix C.4）；骨干为 Wan2.2-Fun-5B-Control DiT（5.002B 预训练权重，加 LoRA 后实例化参数达 5.16B）配 Wan 2.2 VAE（Appendix B.1）。这意味着需要数据中心级 GPU 与相应显存，边缘/移动端部署在当前形态下不可行。\n- **输入规格**：81 帧窗口、30 fps、无时间下采样；分辨率 672×480（ARCTIC）、480×480（HOT3D）、宽度 832（H2O、OakInk2），且需保证 latent 网格均匀（Appendix A.2）。\n- **相机信息的两种模式**：standard 配置在测试时需要相机内参（作为平移求解的 bearing 来源）；K-free 配置完全不需要标定，但它是**单独训练的模型**而非测试时开关（Sec. 3.3、Table 1）。K-free 拟合假设针孔模型，鱼眼片段回退到直接读取射线场（Appendix F.1）。\n- **相机族泛化边界**：预测射线场在训练所见相机族内泛化最好，跨相机族部署需扩充训练数据覆盖（Sec. 5、Appendix F.1）。\n\n#### 2.2 数据与合规约束\n\n- 训练/评测依赖七个公开数据源；Xperience-10M 为受控访问（限非商业研究）（Appendix F.2）。\n- 模型不接收也不输出身份、人口统计或生物识别属性，不是人识别器；但在未经受试者同意的第三方视频上运行属于作者明确不认可的误用（Appendix F.2）。自我中心录像含可识别人物与私人环境，仅可用于拟合手部几何（Appendix F.2）。\n\n### 3. 计算/延迟影响\n\n#### 3.1 推理效率（优势面）\n\n- **单次确定性前向**：63.1 fps（K-free 63.3 fps）@单张 A100，对比最强基线 ViDiHand 精度配置的 1.91 fps，**33× 加速**（Sec. 4.2、Appendix C.4、Figure S1）。无多步采样、无生成式延迟。\n- **运行时间分解**：72% 花在 VAE 编码上（Appendix C.4）——若需进一步加速，VAE 是首要优化对象，而非 DiT 或解码器。\n- **Tap 剪裁**：在 30 个 DiT block 中只运行前 16 个（tap 于 block 15），单次前向计算量约减半；tap 深度扫描显示 block 15 与更深的 block 20/24 差距 ≤0.17 mm，属运行间噪声（Sec. 3.1、Appendix D.3 Table S6）。\n- **注意力降本**：时间注意力在 latent 帧率运行（T'=21 vs T=81），整段 clip 注意力成本约为全分辨率的 1/15（Sec. 3.2）。\n- **基线对照**：共享 ViTDet-H + ViTPose+-Huge 前端的五个 crop 类基线聚在 1.5–1.7 fps，瓶颈在检测器而非重建网络；最快的 crop 类方法 WiLoR 也只有 15.5 fps（Appendix C.4）。\n\n#### 3.2 训练成本\n\n- 20k AdamW 步；standard 配置 16×A100（有效 batch 64），K-free 8×A100（batch 32）（Sec. 4.1、Appendix B.2）。\n- 可训练参数仅 183.99M（LoRA 161.219M + decoder 及读出头 20.347M + patch embedding 1.822M 等），30 个 transformer block 全程冻结；由于前向在 tap 处截断，梯度实际可达参数约 100.10M（Appendix B.1–B.2）。LoRA 化使微调成本远低于全量微调 5B 骨干。\n\n#### 3.3 长片段的精度-延迟/平滑度权衡\n\n- 单次解码整段录像（594–1087 帧，约 7–13× 训练窗口）在架构上可行（rotary relative PE 不绑定绝对长度）：MPJPE-p 从 15.26 升至 17.99 mm（**+18%**），Jitter 从 2.700 降至 2.585 mm/frame²（**-4%**）（Appendix D.2、Figure S2、F.1）。\n- 结论：长单次解码是一个\"工作点\"而非免费改进——需要贴地精度时应绑定 81 帧窗口，需要更平滑轨迹时可放宽窗口（Appendix F.1）。即便在整段解码设置下，仍比 ViDiHand 的窗口化 21.668 mm 低 17%（Appendix D.2）。\n\n### 4. 鲁棒性与安全问题\n\n#### 4.1 已验证的鲁棒性\n\n- **严重遮挡与 OOS**：MPJPE+OOS 在 ARCTIC/HOT3D 上为 16.8/17.3 mm，较 ViDiHand 降低 45.9%/61.1%；OOS 层内 35.2/38.6 mm，而全部十个基线坍缩到 126–164 mm 的窄带且排序与视野内排名无关（Sec. 4.2、Appendix C.2 Table S4）。\n- **零样本泛化**：HOI4D 完全 held-out 仍领先（Table 1 HOI4D 块）；在无任何标注的野外视频（HoloAssist、Xperience-10M）上，双手保持度量分离、随头动尺度一致、OOS 期间路径合理（Appendix E.2 Figure S5）。\n- **检测近饱和**：ARCTIC 上 FAcc/Recall/F1 = 1.000（Table 1），存在性评分阈值 0.5（Sec. 4.1）。\n\n#### 4.2 失效模式与安全边界（关键）\n\n- **OOS 增益仅为腕对齐，不证明绝对位置**：MPJPE^OOS 与 MPJPE+OOS 均在腕对齐后测量，只证明 OOS 期间的 articulation 与全局朝向接近真值；手在视野外的实际位置依赖回归的深度与无图像证据约束的 bearing，以及关节数不足时的求解器回退（Appendix F.1、C.2）。**失败特征：姿态合理但深度漂移的轨迹**。五个基准均不评分 OOS 绝对位置——若下游应用（如抓取规划、人机安全间距监控）依赖 OOS 期间的绝对位置，这是一个未验证的安全缺口。\n- **图像边缘失效**：无相机拟合时，最外半径 bin 的平移误差 ARCTIC 0.165 vs 0.048 m（3.4×）、HOT3D 0.190 vs 0.035 m（5.4×）；腕对齐姿态在各 bin 几乎一致，说明失效特定于度量放置（Appendix D.1 Table S5）。相机拟合基本消除该失效：HOT3D 假阴性从 2,491 降至 74（Appendix D.1）。\n- **求解器回退路径**：有效关节数 <6 或重投影 RMS 残差超过 max(15 px, 2D 包围盒对角线 1/4) 时，手腕回退到逆投影射线上的深度 t_z 处（Sec. 3.3、Appendix B.1）——此时位置完全由回归深度决定，是 OOS 深度漂移的机制来源。\n- **标签噪声与评测偏差**：HOI4D、H2O 部分依赖伪真值 MANO 标注；H2O 上本模型训练时见过该标签分布而基线没有，且 H2O/OakInk2 块是 in-domain 对 out-of-domain 的不对等比较（Appendix A.2、C.1、F.1）。绝对精度解读需谨慎。\n- **下游安全未验证**：重定向到 Inspire Hand 仅为定性展示（Appendix E.3），\"此类轨迹能否改进下游策略学习仍是未来工作\"——直接接入机器人控制前需独立的闭环验证。\n- **K-free 的针孔假设**：鱼眼片段回退到直接读射线场，径向 bearing 模型留作未来工作（Appendix F.1）；失败特征是 articulation 略松而非检测丢失。\n\n### 5. 可维护性\n\n- **代码开源**：github.com/ggxxii/ACE-Ego-Hand（摘要）；但各数据集的预处理/下载脚本未随文给出，复现训练需自行获取并按 Appendix A.2 处理七个数据源，成本较高。\n- **上游依赖耦合**：骨干绑定 Wan2.2-Fun-5B-Control 发布版（随 VideoX-Fun 分发）+ Wan 2.2 VAE，且保持原始输入/输出通道数不变（Appendix B.1）；上游模型更新可能破坏 checkpoint 兼容性。tap 深度（block 15）在主模型训练前固定，更改需重训（Appendix D.3）。\n- **checkpoint 设计**：单一 checkpoint schema 覆盖所有消融变体（未选用的 readout 变体保持实例化以便一套代码服务全部实验），便于实验管理但增加显存占用（Appendix B.1）。\n- **基线可复现性缺口**：ViDiHand 无公开代码，其对比数字依赖原作者按请求生成预测（Appendix A.3）——第三方独立复现该关键基线存在障碍。\n- **单次训练运行**：每个配置仅一次训练运行，运行间方差未量化（Appendix C.1 caveat）；Table 3 中两个变体还在减半的有效 batch 下训练，部分差距可能来自 batch 而非设计（Sec. 4.3）。\n- **作者给出的演进路径**：蒸馏因果/流式变体、限制单次解码长度并跨段保持手部身份、跨分钟级录像延续身份与 shape（Appendix F.1）；K-free 的 L_fit 权重退火是自然的下一步（Appendix F.1）。\n\n### 6. 深层综合：落地决策矩阵\n\n| 落地场景 | 适配度 | 依据 |\n|---|---|---|\n| 离线大规模操作数据整理 | 高 | 63.1 fps、OOS 鲁棒、离线定位（Sec. 4.2、Appendix C.4、F.1） |\n| 机器人闭环/在线控制 | 低（当前形态不可用） | 延迟受片段长度约束，需因果蒸馏（Appendix F.1） |\n| 无标定的消费级/新相机 | 中高 | K-free 配置检测与放置持平（Table 1），但针孔假设与相机族泛化限制（Appendix F.1、Sec. 5） |\n| 画面边缘手部密集的场景 | 需启用相机拟合 | 无拟合时边缘平移误差放大 3.4–5.4×（Appendix D.1 Table S5） |\n| 依赖 OOS 期间绝对位置的应用（如安全间距） | 不满足 | OOS 指标仅腕对齐，无基准评分 OOS 绝对放置（Appendix F.1、C.2） |\n\n**总结**：ACE-Ego-Hand 在真实世界中最自然的落点是\"离线、GPU 集群侧的数据工厂组件\"：以 33× 的吞吐优势和 OOS 鲁棒性，把海量自我中心视频转化为可供模仿学习的双手轨迹。其部署边界同样清晰——不可直接用于闭环控制（延迟受片段长度约束）、OOS 期间的绝对位置不获保证（仅腕对齐）、跨相机族与鱼眼场景需额外验证或数据扩充；维护上的主要风险是与 Wan 2.2 上游发布的强耦合以及关键基线 ViDiHand 不可独立复现。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落（6–8 句）\n\nACE-Ego-Hand 是一个离线片段级（clip-level）框架，用于从自我中心 RGB 视频中恢复度量级双手 3D MANO 轨迹，重点应对严重手-物遮挡与手部完全离开视野（out-of-sight, OOS）两大挑战（摘要、Sec. 1、Figure 1）。其核心洞察是将预训练视频扩散模型（Wan 2.2 DiT）从“像素渲染器”改造为“确定性干净潜码编码器”（Deterministic Clean-Latent Encoder）：在 σ=0 处对干净 VAE 潜码做单次前向传播，并在第 15/30 个 DiT 块处截断读取特征，从而避免多步采样的延迟与生成伪影（Sec. 3.1、Figure 2）。随后，Bidirectional Spatiotemporal Decoder 以空间锚定查询（每潜帧 48 个 token：2 手部 + 42 关节 + 4 寄存器）、片段级形状先验 β 与无因果掩码的双向注意力一次性解码整段轨迹（Sec. 3.2、Figure 3）。Ray-Based Camera Solver 直接从扩散潜码预测视射线场，并以闭式混合 PnP 求解平移，使模型支持测试时无需相机内参的 K-free 配置（Sec. 3.3）。在 ARCTIC、HOT3D、HOI4D、H2O、OakInk2 五个基准上，该方法在 48 项主指标对比中 45 项领先，MPJPE-p 较最强基线 ViDiHand 在 ARCTIC/HOT3D 上分别降低 30%/40%，纳入 OOS 后增益达 46%–61%（Table 1、Sec. 4.2）。单次确定性前向使其达到 63.1 fps，比 ViDiHand 快约 33 倍（Appendix C.4、Figure S1）。消融实验证实生成式 VDM 先验是 OOS 鲁棒性的来源（V-JEPA 2 的 OOS 误差 66.1 mm vs. 41.5 mm，Table 2），且干净潜码读取优于加噪读取（Table S7）。主要局限为离线片段级处理不适合闭环控制、射线场对训练相机族的泛化依赖，以及 OOS 增益仅为腕对齐、不证明绝对位置（Sec. 5、Appendix F.1）。\n\n### 2. 五条关键要点\n\n1. **VDM 用作编码器而非渲染器**：在 σ=0 对干净潜码做单次确定性前向（截断于第 15 块，约省一半计算），避免 ViDiHand 式 12–25 步采样的延迟与伪影传播（Sec. 3.1、Table S6/S7）。\n2. **双向时空解码器**：空间锚定关节查询 + 射线位置编码 + 片段级形状先验 + 旋转相对位置编码下的无因果掩码双向注意力，单次前向即可重建遮挡/OOS 手部并泛化到长序列（Sec. 3.2、Table 3、Figure S2）。\n3. **免内参的射线相机求解**：Ray Head 预测单位射线场（余弦距离损失监督），混合 PnP 闭式解出平面内平移；K-free 配置保持检测精度，仅付出约 0.6–1.4 mm 的姿态代价（Sec. 3.3、Table 1、Appendix F.1）。\n4. **全面 SOTA 与高效率**：五基准 45/48 项主指标领先；ARCTIC/HOT3D 的 MPJPE-p 降 30%/40%，OOS 分层误差 35.2/38.6 mm（最强基线为 126–164 mm）；63.1 fps，约为 ViDiHand 的 33 倍（Table 1、Table S4、Figure S1）。\n5. **生成式先验是 OOS 鲁棒性的关键**：特征源消融显示 V-JEPA 2 在可见帧接近但 OOS 误差跳升至 66.1 mm；LoRA 端到端适配与干净潜码（σ=0）读取均不可或缺（Table 2、Table S7）。\n\n### 3. 核心公式/机制\n\n**确定性干净潜码编码**（Sec. 3.1，Eq. (1)）：\n\n$$F=\\Phi_{0:L^{\\star}}(z;\\sigma=0),\\qquad z=\\mathcal{E}(V),\\ L^{\\star}=15$$\n\n冻结 VAE 编码器 $\\mathcal{E}$ 将视频压缩为干净潜码 z，DiT $\\Phi$ 在零噪声 $\\sigma=0$ 下仅执行前 16 个块（0-indexed 第 15 块截断），输出密集时空特征网格 F（$T'=21$ 潜帧、$D=3072$ 通道），供解码器与射线求解器共享。配套的**混合 PnP 平移闭式解**（Sec. 3.3，Eq. (5)）：\n\n$$\\hat{t}_{x}=\\frac{\\sum_{j}m_{j}z_{j}^{-1}\\left(b_{j}^{x}-J_{x,j}^{\\mathrm{can}}/z_{j}\\right)}{\\sum_{j}m_{j}z_{j}^{-2}}$$\n\n其中 $b_j$ 为射线场（或内参）给出的方位向量，$m_j$ 筛选位于相机前方且锚点在帧内的有效关节，实现无标定条件下的度量级放置。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 结构树（Structure Tree）\n\n``nACE-Ego-Hand\n├── 1. Introduction —— 问题定义（HOI 遮挡 + 手部离屏 OOS）、核心主张（VDM 作确定性编码器而非像素渲染器）、三项贡献\n├── 2. Related Work\n│ ├── 单帧手部重建（detect–crop–regress 范式；WildHands、EgoForce）\n│ ├── 视频手部运动恢复（时序融合 / 运动先验补全；OmniHands、GENMO、EgoH4）\n│ └── 生成式视频模型作为表征（读激活 vs 提示生成；ViDiHand 为最直接对比）\n├── 3. Method（核心）\n│ ├── 3.1 From Generator to Encoder —— Deterministic Clean-Latent Encoder（σ=0、block-15 截断、LoRA 端到端适配）\n│ ├── 3.2 Bidirectional Spatiotemporal Decoder —— 空间接地查询、clip 级 shape 先验、无因果掩码双向注意力\n│ ├── 3.3 Ray-Based Camera Solver —— 射线场预测 + Mixed-PnP 平移求解（standard / K-free 两配置）\n│ └── 3.4 Training Recipe —— 七项统一损失 + 三条监督策略\n├── 4. Experiments\n│ ├── 4.1 Setup（七源训练混合、五基准、十基线、统一协议）\n│ ├── 4.2 Main Results（Table 1：29 项指标中 27 项领先）\n│ ├── 4.3 Ablations（Table 2 特征源、Table 3 相机/解码器）\n│ └── 4.4 Qualitative（Figure 4；Appendix E 扩展）\n├── 5. Conclusion and Discussion（局限：离线片段级、射线场泛化、OOS 增益仅腕对齐）\n└── Appendix A–F（协议与划分 / 实现与损失 / 附加定量 / 失败模式分析 / 定性与重定向 / 伦理）\n``n\n\n### 2. 方法/系统分解\n\n#### 2.1 输入与输出\n\n- **输入**：自我中心 RGB 视频片段 V={I_t}, t=1..T，T=81 帧（30 fps，约 2.7 s）；分辨率 672×480（ARCTIC）/ 480×480（HOT3D）/ 宽 832（H2O、OakInk2）（Sec. 3、Appendix A.2）。standard 配置在测试时接收相机内参 K（仅作为平移求解的 bearing 来源，Sec. 3.3）；K-free 配置不接收任何相机信息。\n- **输出**：逐帧双手 MANO 参数——全局朝向 R̂_t、关节 θ̂_t、相机系平移 τ̂_t=(t̂_x, t̂_y, t̂_z)，以及每手每片段一个 shape β̂；另有逐帧 existence / visibility 置信度（Sec. 3）。\n\n#### 2.2 模块分解（Figure 2、Figure 3）\n\n1. **Deterministic Clean-Latent Encoder**（Sec. 3.1）\n - Wan 2.2 VAE E 将视频压缩为 clean latent z=E(V)：T=81 → T'=21 latent 帧（4× 时间压缩），672×480 → 42×30 token 网格（16× 空间压缩），每 token D=3072 维。\n - Wan 2.2 DiT Φ 在 σ=0 下单次确定性前向，截断于第 15 块（0-indexed，共 30 块，执行前 16 块），绕过其余块与生成头，单次前向计算量约减半（Sec. 3.1；tap 深度扫描见 Appendix D.3 / Table S6）。\n - 端到端适配：LoRA（rank 64，α=64，注入每块全部 10 个线性层，共 161.219M 参数）+ 可训练 patch embedding（1.822M）；DiT 主体 5.002B 权重全程冻结（Appendix B.1）。\n2. **Ray Head**（Sec. 3.3）\n - 零初始化 1×1 卷积在 F 上预测逐 cell 单位射线方向 r̂=(r̂_x, r̂_y, r̂_z)，时间池化为单帧射线场（片段内内参恒定）。\n - 训练时以 GT 标定的余弦距离损失 L_ray（Eq. 4）监督；一个头同时兼容 pinhole 与 fisheye 模型，测试时无需内参输入。\n3. **Bidirectional Spatiotemporal Decoder**（Sec. 3.2）\n - 每 latent 帧 48 个查询：2 hand token（固定左右槽位）+ 42 joint token + 4 register token（学习用草稿空间，不回写 F）。\n - Token 化：X_ℓ = LN(W_F F_ℓ) + P^sp + g(Γ(r̂))（Eq. 2），空间 PE 提供显式坐标，射线 PE（Fourier 编码方位角/仰角，8 个倍频）注入视几何。\n - 4 层交替 Spatial Cross-Attention（帧内读取视觉细节）与 Temporal Self-Attention（跨帧交换运动信息）；时间轴用 rotary 相对 PE（无绝对长度约束，单次前向可泛化到长序列，Appendix D.2）；时间注意力在 T'=21 latent 帧率运行，输出线性插值回 T=81 帧，注意力成本约为全分辨率的 (T'/T)² ≈ 1/15。\n - 无因果掩码：每帧同时条件于过去与未来，实现 OOS 区间的重建而非单向推断。\n - 读出头：Joint Head（cross-attention 权重构成热图 A_j，soft-argmax 得亚 cell 精度 2D 锚点 p̂_j，MLP 回归腕相对 3D 关节）；Pose Head（Gram–Schmidt 正交化 6D 旋转回归 R̂、θ̂）；Camera Head（log-depth ζ̂，t̂_z=exp(ζ̂) 保证严格正深度）；Shape Head（跨全部 T 帧时间池化 hand token，每手每片段一个 β̂，抑制尺寸闪烁）；existence/visibility 头（避免匈牙利匹配）。\n4. **Mixed-PnP 平移求解**（Sec. 3.3）\n - MANO 前向得已摆姿未平移关节 J^can = M(r̂, θ̂, β̂)；关节深度 z_j = J^can_{z,j} + t̂_z；bearing b_j 由射线场解析拟合的有效针孔相机 (f̂, ĉ) 闭式回归得到（K-free），或由内参直接计算 ((u_j−c_x)/f_x, (v_j−c_y)/f_y)（standard）。\n - 透视投影对平面内平移线性，t̂_x、t̂_y 有闭式加权最小二乘解（Eq. 5），掩码 m_j 选择位于相机前方且锚点在帧内的关节。\n - 回退机制：有效关节 <6 或重投影 RMS 残差超过 max(15 px, 2D bbox 对角线 1/4) 时，手腕回退到其逆投影射线上深度 t̂_z 处（Appendix B.1）。\n\n#### 2.3 损失函数（Sec. 3.4、Appendix B.3）\n\n统一目标 L = L_rot + L_joint + L_img + L_cam + L_pres + L_tmp + L_ray（Eq. 6）；K-free 另加 L_fit（权重 5，前 500 步线性 warmup，梯度仅经 4 个拟合参数到达射线场）。\n\n- L_rot：朝向（测地距离 + 旋转矩阵 MSE，各权重 1）与 shape（ℓ1，0.1）。\n- L_joint：root-relative（10，主导项）、相机系（5）、腕（2）3D 关节 ℓ1。\n- L_img：训练相机下 2D 锚点与重投影 MANO 关节（1；腕 0.5）。\n- L_cam：装配平移 ℓ1（1），梯度穿过 mixed-PnP 求解器。\n- L_pres：existence/visibility BCE（0.5 / 0.25）。\n- L_tmp：3D 关节加速度 ℓ1（0.5），保证时序平滑。\n- L_ray：射线场余弦距离（1）。\n\n三条关键监督策略（Sec. 3.4）：(i) OOS 手完全监督而非掩蔽，迫使双向注意力从时序上下文重建不可见手；(ii) 无 MANO 标注的 RHD 仅路由到 2D 锚点 / 3D 关节 / 存在性头，增加外观多样性同时保护 MANO 参数头；(iii) 内参从不进入编码器或解码器，仅作训练目标（L_img 重投影、L_ray、L_fit）与 standard 配置的 bearing 来源。\n\n#### 2.4 训练与推理流程\n\n- **训练**：20k AdamW 步（weight decay 1e-2，梯度裁剪 1.0，cosine 衰减，200 warmup），三组学习率（decoder/heads 2e-4、LoRA 1e-4、patch embedding 2e-5）；standard 16×A100（有效 batch 64 clips）、K-free 8×A100（32）；每 GPU 4 clips（Appendix B.2）。优化器注册 183.99M 参数；由于前向止于 tap，梯度实际可达约 100.10M（tap 之后的 LoRA 与扩散输出头保持初始值，发布 checkpoint 验证 LoRA B 矩阵仍精确为零，Appendix B.1）。\n- **推理**：单次确定性前向（VAE 编码 → DiT 前 16 块 → Ray Head + Decoder → 读出头 → Mixed-PnP），63.1 fps（K-free 63.3）@1×A100，运行时 72% 为 VAE 编码（Appendix C.4）。\n\n### 3. 重要图表解读\n\n#### Figure 2（系统总览，Sec. 3）\n\n- 展示完整数据流：raw video → Wan VAE → Wan DiT（σ=0，block-15 截断，灰色块为跳过部分）→ 分支到 Ray Head 与 Bidirectional Spatiotemporal Decoder。\n- 关键信息：仅 patch embedding、LoRA、Ray Head、Decoder 参与训练；内参在训练时监督 Ray Head 与 K-free 相机拟合，测试时被丢弃（K-free）或仅作 standard 平移求解的 bearing 来源。\n- 解读价值：一眼确认「生成器→编码器」的重定位，以及两配置差异仅在 bearing 来源（与 Figure 3 说明一致）。\n\n#### Figure 3（解码器架构，Sec. 3.2）\n\n- 展示 48 查询结构、射线 PE 与空间 PE 相加、4 层 Spatial Cross-Attention / Temporal Self-Attention 交替、读出头输出 MANO 参数并送入 mixed-PnP。\n- 关键信息：两配置在架构上唯一差异是 bearing 来源（预测射线场 r̂ vs 内参计算），即 K-free 不是测试时求解器切换，而是单独训练的模型（Sec. 3.3、Table 1 脚注语义）。\n\n#### Table 1（主结果，Sec. 4.2）\n\n- 12 方法 × 3 数据集（ARCTIC、HOT3D、零样本 HOI4D）× 10 指标（检测 FAcc/Recall/F1；3D 姿态 MPJPE-p/PA-p/MPJPE+OOS；EPE2D-p；GO-p；CT-p；Jitter）。\n- 核心读数：ACE-Ego-Hand 在 29 项指标中 27 项领先；对 ViDiHand 的 MPJPE-p 降幅 30%（ARCTIC 21.67→15.26 mm）、40%（HOT3D 21.51→12.89 mm）、23%（HOI4D 30.09→23.03 mm）；MPJPE+OOS 降 45.9% / 61.1%；Jitter 全场最低（2.39–3.16 mm/frame²）；检测近饱和（ARCTIC FAcc/Recall/F1 = 1.000）。\n- 协议要点：-p 后缀为覆盖惩罚（漏检的屏内手按置于相机原点的 canonical MANO 计罚；EPE2D 漏检按图像对角线计罚，ARCTIC 826 px / HOT3D 679 px）；MPJPE+OOS 与 MPJPE^OOS 平均总体不同、不可互换（Appendix A.1、Table S1）。\n- 公平性注意：HaWoR 在关闭 SLAM/infilling 的相机空间前端上计分；EgoForce‡ 使用因果 Kalman 滤波；ViDiHand 行引用其发布数字（同协议核对，Appendix A.3）。\n\n#### Table 2（特征源消融，Sec. 4.3）\n\n- 在 ARCTIC 上以 10k 步缩减配方训练，比较 VDM 特征 vs V-JEPA 2、VideoMAE、VAE latent、raw RGB，以及去掉 LoRA。\n- 核心读数：完整模型 MPJPE-p 16.95 mm、MPJPE^OOS 41.5 mm 全面最优；V-JEPA 2 在可见输入上接近（17.81 mm）但 OOS 跳到 66.1 mm，说明生成式 VDM 先验在视觉证据缺失时具判别式编码器不具备的预测能力；去 LoRA 使 MPJPE-p 升至 23.10 mm，验证任务特定适配价值；raw RGB（46.50）与 VAE latent（32.50）远差，确认高层时空特征必要性。\n- 注意：本表内部可比，但不与 Table 1 直接比较（缩减配方，Appendix 说明）。\n\n#### Table 3（相机与解码器消融，Sec. 4.3）\n\n- K-free 行与 standard 几乎持平（15.264 vs 15.256 mm MPJPE-p；0.020 vs 0.021 m CT-p），说明在 ARCTIC 相机几何下学习射线场可替代测试时内参。\n- rotary 相对 PE 与 joint queries 是关键：换绝对 PE 掉 2.523 mm 且 Jitter 2.704→2.948；池化 joint queries 加 1.880 mm 与 1.681 px EPE2D-p。\n- 求解器：mixed-PnP 优于逆投影（CT-p 0.020→0.030 m）与直接回归（EPE2D-p +1.231 px；直接回归虽 Jitter 最低 2.658，但放松图像空间放置，故不采用）。\n- 注意：hand-pooled queries 与 absolute PE 两变体以一半数据并行宽度训练，部分差距可能来自有效 batch 减半而非设计本身。\n\n### 4. 实验与评测细节\n\n#### 4.1 数据集与划分（Sec. 4.1、Appendix A.2、Table S2）\n\n- **训练混合**（7 源，按 Table S2 权重逐 batch 抽取，权重和为 100）：ARCTIC(14%)、HOT3D(18%)、H2O(10%)、OakInk2(14%)、Re:InterHand(16%)、FreiHAND(14%)、RHD(14%)；HOI4D 完全 held out，零样本评测。Re:InterHand 为自我中心 fisheye 渲染视频；FreiHAND/RHD 为静态图像源（复制为 5 帧静态 clip，提供外观/姿态多样性）。\n- **评测五基准**：ARCTIC（重度双手遮挡）、HOT3D（广角自我中心视角）、HOI4D（类别级 4D 交互泛化）、H2O（双手-物体）、OakInk2（长时程多物体，202 段共享子集）。\n- **划分**：ARCTIC/H2O 受试者不重叠（s05 / subject 4）；HOT3D 录像级（126/72）；OakInk2 序列级；HOI4D 零样本。\n- **数据注意**：HOI4D 与 H2O 部分依赖伪 GT MANO；H2O 在我方训练混合内（in-domain vs 基线 out-of-domain），Appendix C.1 明示 H2O/OakInk2 两块是 in-domain 上界而非 like-for-like 比较；标题级降幅引用在原生 MANO GT 的 ARCTIC 与 HOT3D 上。\n\n#### 4.2 指标（Sec. 4.1、Appendix A.1、Table S1）\n\n- **检测**：FAcc、Recall、F1。on-screen 门控：至少一个 GT 关节投影入帧且深度 >1 cm；匹配用投影 mesh bbox 的严格正重叠测试（GT box 膨胀 10%），检测同时反映存在性与放置。\n- **姿态**：MPJPE-p（腕对齐）、PA-p（Procrustes）、EPE2D-p（帧内关节 2D 端点误差）、GO-p（测地全局旋转角）、CT-p（‖τ̂−τ‖₂，注意 τ 为 MANO 根平移而非腕关节位置）、Jitter（3D 关节二阶差分，mm/frame²，仅在匹配连续段内计算，漏检帧终止段而非计罚）。\n- **OOS 双指标**：MPJPE^OOS（仅 OOS 层）与 MPJPE+OOS（全部 hand-frame，帧数加权混合，Eq. S11）；两者均腕对齐、无 -p 惩罚、不可互换；OOS 占比 ARCTIC 6.9%、HOT3D 17.6%、OakInk2 14.5%，故混合值由 in-view 层主导（Appendix C.2）。\n\n#### 4.3 对比目标与公平性（Sec. 4.1、Appendix A.3）\n\n- **10 个基线**：单帧（InterWild、HaMeR、Hamba、WiLoR、WildHands、EgoForce）与视频（OmniHands、Dyn-HaMR、HaWoR、ViDiHand）。\n- **统一协议**：序列不重叠测试段、同一 evaluator；Table 1 每块 12 行中 9 行引用 ViDiHand 发布数字，EgoForce 与本文两行由同一 evaluator 产生；对有公开代码的 8 个方法经我方 evaluator 重跑核对一致性，差异处保留发布值。\n- **有利基线的适配**：WildHands/HaWoR 获得 GT 内参；Dyn-HaMR 获得 GT 外参替代 DROID-SLAM；不利项：HaWoR 关闭 SLAM/infilling（协议为相机空间，DROID-SLAM 在 81 帧段不稳定），故其行报告相机空间前端而非完整发布管线。\n\n#### 4.4 消融与附加分析\n\n- **特征源**（Table 2）：VDM > V-JEPA 2 > VideoMAE > VAE latent > raw RGB；OOS 层差距最大，是核心论证链。\n- **相机/解码器**（Table 3）：见第 3 节。\n- **tap 深度**（Table S6）：block 15 已近饱和（16.10 mm），block 10 明显差（17.77 mm），更深（block 20/24）仅噪声级差异，确认约半前向成本的选择。\n- **clean vs noised latent**（Table S7）：σ=0 全面优于 σ=0.5（MPJPE-p 15.26 vs 17.66 mm，CT-p 降 39%），增益集中于度量放置；31 个验证 checkpoint 中 noised 在 29 个上更差。\n- **解码长度**（Figure S2）：125 帧内精度持平甚至略优，整段单次解码 17.99 mm（+18%）但 Jitter 降 4%，仍低于 ViDiHand 窗口值 17%。\n- **图像边缘失败**（Table S5）：无相机拟合时外圈 CT 误差放大 3.4–5.4×（ARCTIC 0.165 vs 0.048 m；HOT3D 0.190 vs 0.035 m），腕对齐姿态各 bin 几乎相同，说明边缘效应特定于度量放置；相机拟合消除该失败（HOT3D FN 2,491→74）。\n- **效率**（Figure S1、Appendix C.4）：63.1 fps vs ViDiHand 1.91 fps（33×）；共享 ViTDet-H+ViTPose 前端的 5 个 crop 基线聚在 1.5–1.7 fps，瓶颈在检测器；计时协议及各基线偏离项均逐条声明。\n\n### 5. 方法架构图（method 原型适用）\n\n``n输入: 自我中心 RGB 片段 V (T=81 帧, 672×480)\n │\n ▼\n┌─────────────────────────────────┐\n│ Wan VAE 编码器 E (冻结) │ z = E(V): 21 latent 帧, 42×30×3072\n└─────────────────────────────────┘\n │\n ▼\n┌─────────────────────────────────┐\n│ Wan 2.2 DiT Φ (σ=0, 主体冻结) │ 截断于 block 15 (执行 16/30 块)\n│ + LoRA r=64 (可训练) │ + patch embedding (可训练)\n└─────────────────────────────────┘\n │ 特征 F\n ├───────────────────────────────┐\n ▼ ▼\n┌──────────────────┐ ┌───────────────────────────┐\n│ Ray Head (1×1) │ │ Bidirectional │\n│ 射线场 r̂ │──r̂ PE──▶│ Spatiotemporal Decoder │\n│ L_ray 监督 │ │ 4 层 Spatial CA + │\n└──────────────────┘ │ Temporal SA (rotary PE) │\n │ │ 48 查询/latent 帧 │\n │ └───────────────────────────┘\n │ │\n │ ┌────────────┴────────────┐\n │ ▼ ▼\n │ Joint/Pose/Camera/ Shape Head\n │ Exist/Vis Heads (clip 级 β̂)\n │ │ │\n ▼ ▼ ▼\n┌──────────────────────────────────────────────────────┐\n│ Mixed-PnP 平移求解 │\n│ bearing 来源: 内参 K (standard) / 拟合射线场 (K-free) │\n│ 闭式加权最小二乘 → τ̂=(t̂x,t̂y,t̂z) │\n│ 回退: 有效关节<6 或残差过大 → 腕射线逆投影 @ t̂z │\n└──────────────────────────────────────────────────────┘\n │\n ▼\n输出: 逐帧 R̂, θ̂, τ̂ + clip 级 β̂ + existence/visibility\n``n\n训练信号：L_rot / L_joint / L_img / L_cam / L_pres / L_tmp / L_ray（K-free 另加 L_fit）联合优化 LoRA、patch embedding、Ray Head、Decoder；内参仅作训练目标与 standard 配置的 bearing 来源，从不进入编码器/解码器前向（Sec. 3.4）。推理为单次确定性前向，无多步采样（Sec. 3.1、Appendix C.4）。\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍深读评审\n\n### 1. 可复现性重建\n\n**重建要点（依据 Sec. 3、Appendix B）**：方法由冻结骨干加四个可训练组件构成，关键超参数在文中披露充分，伪代码级流程如下：\n\n``n输入: 视频片段 V = {I_t}, t = 1..81（672×480 或 480×480）\n\n1. z = WanVAE.encode(V) # 冻结 VAE，4× 时间 / 16× 空间压缩 → 21 个 latent 帧\n2. F = WanDiT.blocks[0:16](z, σ=0) # 确定性前向，在 block 15 截断（Sec. 3.1，Table S6）\n3. r̂ = RayHead(F) # 零初始化 1×1 conv，时间池化 → 单位射线场（Sec. 3.3，Eq. 4）\n4. X_ℓ = LN(W_F·F_ℓ) + P^sp + g(Γ(r̂)) # Eq.(2)：空间 PE + 射线 PE\n5. 每 latent 帧 48 个查询：2 hand + 42 joint + 4 register tokens（Sec. 3.2）\n6. 4 层交替：Spatial Cross-Attention → Temporal Self-Attention（rotary PE，无因果掩码）\n7. 读出头：\n - Joint Head：soft-argmax(交叉注意力图) → 2D 锚点 p̂_j（Eq. 3）；MLP → 腕相对 3D 关节\n - Pose Head：6D 旋转 → Gram-Schmidt 正交化 → R̂, θ̂\n - Camera Head：t̂_z = exp(ζ̂)，保证正的度量深度\n - Shape Head：跨 T 帧池化 hand tokens → 每手每片段一个 β̂\n8. Mixed-PnP：对 r̂ 闭式拟合有效针孔 (f̂, ĉ) → bearings b_j → 逐轴加权最小二乘解 t̂_x, t̂_y（Eq. 5）\n 回退条件（Appendix B.1）：有效关节数 < 6，或 RMS 锚点残差 > max(15 px, 2D bbox 对角线/4)\n → 腕置于其逆投影射线上、深度取 t̂_z\n输出: R̂_t, θ̂_t, τ̂_t, β̂，以及逐帧存在性/可见性分数\n``n\n**训练配方（Appendix B.2–B.3）**：20k AdamW 步（weight decay 1e-2、梯度裁剪 1.0、cosine 衰减、200 warmup）；三组学习率——decoder/heads 2e-4、LoRA 1e-4、patch embedding 2e-5；LoRA rank 64 / α = 64 注入每 block 全部 10 个线性层（共 161.219M 适配器参数）；注册优化器的参数为 183.99M，梯度实际可达 100.10M（tap 之后的 LoRA B 矩阵经 checkpoint 验证恒为零，Appendix B.1）。损失权重完整给出：L_joint 的根相对项权重 10 为主导项，K-free 的 L_fit 权重 5 并带 500 步线性 warmup。标准配置 16×A100（有效 batch 64），K-free 8×A100（32）。数据为七源加权混合（Table S2），HOI4D 完全留出做零样本评测。\n\n**复现风险评估**：\n\n- 有利因素：架构与参数计数、损失权重、PnP 回退阈值、数据混合权重与评测协议（Appendix A.1 的指标定义、覆盖惩罚、OOS 分层）均显式给出；代码声明开源（摘要，github.com/ggxxii/ACE-Ego-Hand）。\n- 风险因素：七个数据源的预处理/下载脚本未随文给出；骨干须精确匹配 Wan2.2-Fun-5B-Control 发布版的 low-noise DiT 子模型（Appendix B.1）；ViDiHand 基线无公开代码，其对比数字依赖原作者按请求生成（Appendix A.3）；训练成本高（16×A100 × 20k 步）。\n\n### 2. 关键假设\n\n- **VDM 预训练蕴含时空物理先验**：假设 DiT 的序列级预训练赋予物体恒常性、3D 结构一致性与遮挡推理能力（Sec. 3.1）；该假设仅由 Table 2 的特征源替换间接支持（V-JEPA 2 在 OOS 层退化至 66.1 mm），机制解释仍属推断。\n- **片段内内参恒定**：Ray Head 的时间池化假设整个片段共享同一射线场（Sec. 3.3），对变焦或内参时变的 footage 不成立。\n- **单手形状/尺度在整段录制中恒定**：clip-level shape prior（Sec. 3.2）假设连续录制内手部物理形状不变，未处理手套等外观变化或跨片段身份切换。\n- **训练/测试相机族分布相近**：射线场泛化被明确承认局限于训练时见过的相机族（Sec. 5、Appendix F.1）。\n- **OOS 运动可由双向上下文插值重建**：全监督 OOS 帧而非掩蔽（Sec. 3.4）迫使注意力从时间上下文补全不可见手，隐含假设缺口内手部动力学足够平滑可预测。\n- **离线片段级处理可接受**：应用定位为大规模数据整理工具而非闭环控制器（Sec. 5、Appendix F.1）。\n\n### 3. 失败模式与盲点\n\n- **图像边缘射线场不可靠**：无 camera fit 时，最外圈 bin 的 CT 误差放大 3.4×（ARCTIC：0.165 vs 0.048 m）与 5.4×（HOT3D：0.190 vs 0.035 m），而腕对齐姿态在各 bin 几乎不变——失败特异于度量放置而非手部姿态（Table S5、Appendix D.1）；camera fit 可修复（HOT3D 假阴性从 2,491 降至 74），但 fit 本身假设针孔模型，鱼眼 clip 回退直接读射线场（F.1）。\n- **OOS 增益不证明绝对定位**：MPJPE^OOS 与 MPJPE^+OOS 均为腕对齐（Appendix A.1、Table S4），OOS 期间手的绝对位置依赖回归深度与无图像证据约束的 bearing 及求解器回退，失败特征为“姿态合理但深度漂移的轨迹”；五个基准无一评测绝对 OOS 放置（F.1）。\n- **长片段单次解码的精度-平滑度权衡**：整段录制单 pass 解码使 MPJPE-p 上升 18%（15.26→17.99 mm）仅换约 4% 平滑增益（Figure S2、Appendix D.2）；且骨干需整片段单 pass，延迟下界为片段长度，无法流式运行（F.1）。\n- **评测盲点与混淆因素**：HOI4D/H2O 部分依赖伪 GT，且 H2O 上本模型训练于其评分标签分布，构成 in-domain vs out-of-domain 的不对等比较（Appendix A.2、C.1、F.1）；Table 3 中 hand-pooled queries 与 absolute PE 两个变体有效 batch 减半，设计效应与 batch 效应混淆；Table S7 仅覆盖两个噪声水平、每水平单种子。\n\n### 4. 优点与缺点\n\n### 优点\n\n1. **范式贡献清晰**：将 VDM 从“像素渲染器”重构为“确定性几何编码器”——单次 σ=0 前向 + block-15 截断，消除多步采样延迟并将每 pass 计算约减半（Sec. 3.1、Table S6、Table S7 证明 clean latent 优于 noised）。\n2. **性能与效率兼得**：五基准 SOTA（48 项主指标 45 项领先），ARCTIC MPJPE-p 降低 30%、HOT3D 降低 40%，OOS 计入后降低 45.9%/61.1%；63.1 fps 对 ViDiHand 1.91 fps（33×）（Table 1、Sec. 4.2、Appendix C.4）。\n3. **K-free 实用性**：无需测试时内参即保持检测与度量放置持平，姿态代价仅 +0.6–1.4 mm（Table 1、Table 3、F.1）。\n4. **消融链条完整**：特征源（Table 2 证明生成式先验在 OOS 情形的独特价值：V-JEPA 2 可见时接近、OOS 时崩溃）、相机/解码器组件（Table 3：rotary PE 与 joint queries 最关键）、tap 深度、噪声水平、边缘失败、长度扫描（Appendix C–D）逐层支撑设计选择。\n5. **评测透明度高**：指标定义、覆盖惩罚、OOS 分层（Table S4 可逐行核对 Eq. S11）、基线复现与计时协议全部显式（Appendix A、C.4），并主动披露对己方有利的混淆因素（H2O in-domain、batch 减半）。\n\n## 缺点\n\n1. **离线本质**：骨干需整片段单 pass，延迟受片段长度下界约束，不适用在线/闭环场景（Sec. 5、F.1）。\n2. **泛化边界**：射线场局限于训练相机族；K-free 的针孔假设使鱼眼 clip 退化（F.1）。\n3. **OOS 绝对定位无评测**：核心卖点的最弱环节未被任何表格度量（F.1）。\n4. **对比公平性残留问题**：ViDiHand 无公开代码（A.3）；H2O/OakInk2 为 in-domain vs out-of-domain（C.1）；HOI4D/H2O 伪 GT 使绝对精度解读需谨慎（A.2）。\n5. **资源门槛**：训练需 16×A100；推理 72% 时间在 VAE encode（C.4），5B 骨干部署成本高。\n6. **机制解释不足**：“生成式预训练提供判别式预训练所缺的时空-几何先验”（Sec. 5）仅有相关性证据（Table 2），未解剖先验的具体来源与层级。\n\n### 5. 下一步研究方向\n\n- **流式/因果蒸馏**：将 clip 级编码器蒸馏为因果变体以支持在线部署，同时量化未来帧对精度的贡献（Sec. 5、F.1 明确提出）。\n- **相机覆盖与鱼眼建模**：扩大射线场的训练相机族覆盖，引入径向 bearing 模型替代针孔假设，消除 K-free 的鱼眼回退（F.1）。\n- **绝对 OOS 定位评测与更高精度数据**：构建带 OOS 绝对位置真值的评测协议；以原生 MANO 高精度标注替代 HOI4D/H2O 的伪 GT（F.1）。\n- **K-free 损失退火与跨录制一致性**：退火 L_fit 权重以缩小姿态差距；限长多 pass 间保持手部身份与形状，把可处理地平线扩展到数分钟（F.1、E.3）。\n- **下游验证**：在真实策略学习管线中验证恢复轨迹（含 Inspire Hand 重定向，Appendix E.3）对模仿学习的实际增益——文中承认此点留待未来工作（E.3）。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（共 33 条，按「输入→骨干→编码→解码→相机→评测」的由浅入深顺序排列）\n\n### 1. Egocentric video（自我中心视频）\n\n- 定义：由头戴式/第一人称相机拍摄、随头部运动的视频。\n- 直觉：以「人眼视角」记录的日常操作，画面随头部快速晃动。\n- 论文作用：任务输入形式；头部快速运动使手频繁离开视野，是 OOS 难题的根源（Sec. 1、Figure 1）。\n- 前置知识：第一人称视觉、头戴相机。\n\n## 2. MANO（手部参数化模型）\n\n- 定义：可微分统计手模型，由全局朝向 R、关节 articulation θ、形状 β 参数化，输出手网格与 21 个关节（参考文献 [^26]）。\n- 直觉：用一组低维参数「驱动」一只逼真的手。\n- 论文作用：统一输出表示；网络预测 (R̂, θ̂, τ̂, β̂) 并经 MANO 层 M 得到关节与网格（Sec. 3）；所有数据集标注统一转换为 MANO 格式（Appendix A.2）。\n- 前置知识：参数化人体/手模型（SMPL 系列）。\n\n## 3. HOI occlusion（手-物交互遮挡）\n\n- 定义：操作过程中物体（或另一只手）对手的遮挡，使手部像素证据不完整。\n- 直觉：抓杯子时手被杯子挡住一半。\n- 论文作用：两大挑战之一；ARCTIC 基准专门考察严重双手互遮挡（Sec. 4.1）。\n- 前置知识：遮挡概念、目标检测。\n\n## 4. Out-of-sight（OOS，视野外）\n\n- 定义：手的全部 21 个关节均不投影在图像内（深度大于 z_min=1cm），即完全离开相机视锥。\n- 直觉：手被甩出画面，帧内没有任何视觉证据。\n- 论文作用：核心难点；模型须在 OOS 区间靠时间上下文重建手（Sec. 1、3.4）；评测由 on-screen gate 划分（Sec. 4.1、Appendix A.1）。\n- 前置知识：相机视锥、投影。\n\n## 5. Video Diffusion Model（VDM，视频扩散模型）\n\n- 定义：在视频潜码上训练的去噪生成模型，能合成时空连贯视频，内含物理与交互先验。\n- 直觉：先加噪再学去噪的「视频想象器」。\n- 论文作用：本文骨干；被改造为编码器而非像素渲染器（Sec. 1、3.1）。\n- 前置知识：扩散模型、潜空间生成。\n\n## 6. DiT（Diffusion Transformer）\n\n- 定义：以 Transformer 为骨干的扩散模型；本文用 Wan 2.2 的 30 块、宽度 3072 的 DiT（参考文献 [^33]）。\n- 直觉：把 U-Net 换成 Transformer 的扩散网络。\n- 论文作用：生成器 Φ；仅前 16 块被前向执行并输出特征 F（Sec. 3.1、Appendix B.1）。\n- 前置知识：Transformer、扩散去噪。\n\n## 7. Rectified flow（整流流）\n\n- 定义：以噪声水平 σ 线性插值数据与噪声的预训练目标：x_σ=(1−σ)z+σε。\n- 直觉：在「干净数据」与「纯噪声」之间走直线的训练方式。\n- 论文作用：DiT 的预训练方式，解释为何可在 σ=0 处直接读取干净潜码特征（Sec. 3.1）。\n- 前置知识：流匹配、扩散/去噪目标。\n\n## 8. Clean latent（干净潜码）\n\n- 定义：VAE 编码器 E 对视频片段压缩得到的无噪声潜码 z=E(V)。\n- 直觉：视频的紧凑「摘要编码」，未加任何噪声。\n- 论文作用：编码器输入；σ=0 读取优于加噪读取（Table S7）。\n- 前置知识：VAE、潜空间。\n\n## 9. VAE（变分自编码器）\n\n- 定义：像素视频到潜码的压缩网络；本文用 Wan 2.2 VAE，时间 4×、空间 16× 压缩。\n- 直觉：视频「压缩器」：81 帧压成 21 个潜帧。\n- 论文作用：产生 clean latent；其 4× 时间压缩决定时间注意力在 T'=21 潜帧上进行（Sec. 3.1、Appendix A.1）。\n- 前置知识：自编码器、下采样。\n\n## 10. Deterministic Clean-Latent Encoder（确定性干净潜码编码器）\n\n- 定义：本文核心改造——在 σ=0 对 clean latent 做单次确定性前向，截断至第 15 块（执行 16/30 块），读取特征 F 而非生成像素。\n- 直觉：把「生成器」当「特征提取器」：一次前向、无采样、无随机性。\n- 论文作用：三大模块之一；与 ViDiHand 的多步采样渲染路线形成对照（Sec. 1、3.1、Table 2）。\n- 前置知识：扩散采样、特征抽取。\n\n## 11. LoRA（低秩适配）\n\n- 定义：在冻结权重旁注入低秩可训练矩阵的参数高效微调（参考文献 [^9]）；本文 rank 64、α=64，注入每块全部 10 个线性层。\n- 直觉：给大模型装「小插件」，只训练插件。\n- 论文作用：让 3D 监督端到端把 VDM 特征重塑为几何感知特征；去掉后 MPJPE-p 由 16.95 升至 23.10 mm（Sec. 3.1、Table 2）。\n- 前置知识：参数高效微调、低秩分解。\n\n## 12. Tap depth（抽头深度）\n\n- 定义：从 DiT 哪一层读取特征；固定为第 15 块（0 起索引，执行 16/30 块）。\n- 直觉：在网络「中段」取特征，兼顾信息量与计算量。\n- 论文作用：砍掉后半网络使单次前向计算约减半；消融显示 block 15 已接近精度饱和（Sec. 3.1、Table S6）。\n- 前置知识：网络深度与特征层级。\n\n## 13. Bidirectional Spatiotemporal Decoder（双向时空解码器）\n\n- 定义：轻量解码器，4 层交替 Spatial Cross-Attention 与 Temporal Self-Attention，无因果掩码，从 F 一次解码全片段轨迹。\n- 直觉：每帧同时看过去与未来，整段视频一次解码。\n- 论文作用：三大模块之二；负责遮挡/OOS 手重建与长程时间推理（Sec. 3.2、Figure 3）。\n- 前置知识：交叉注意力、自注意力。\n\n## 14. Spatially grounded queries（空间锚定查询）\n\n- 定义：每潜帧 48 个查询令牌：2 hand + 42 joint + 4 register；joint 查询绑定到空间网格位置。\n- 直觉：给每个关节一个「专属探针」，直接在特征图上找对应位置。\n- 论文作用：把特征绑定到物理关键点；换成池化查询使 MPJPE-p 增加 1.88 mm（Sec. 3.2、Table 3）。\n- 前置知识：DETR 式查询、token。\n\n## 15. Register tokens（寄存器令牌）\n\n- 定义：4 个可学习的「草稿纸」令牌，参与注意力但不更新 F。\n- 直觉：无语义负担的缓冲区，吸收多余信息。\n- 论文作用：提供辅助计算空间；clip-level β 也可改由其预测（Table 3 消融行）。\n- 前置知识：register token 机制。\n\n## 16. Spatial PE / Ray PE（空间/射线位置编码）\n\n- 定义：两项相加注入 token：可学习 16×16 网格双线性放大的 P^sp，以及每格预测视线方向 r̂ 经 Fourier 编码加零初始化 MLP 得到的射线编码（Eq. 2）。\n- 直觉：告诉解码器「这个格子在哪、朝哪个方向看」。\n- 论文作用：注入几何；去掉 spatial PE 明显掉点（Table 3）。\n- 前置知识：位置编码、Fourier 特征。\n\n## 17. Rotary positional encoding（RoPE，旋转位置编码）\n\n- 定义：以旋转方式注入相对位置的编码（参考文献 [^30]），用于时间轴。\n- 直觉：只关心「隔多远」而非「第几帧」，天然支持任意长度。\n- 论文作用：去除绝对长度约束，使单次前向泛化到长视频；换成绝对 PE 使 MPJPE-p 增加 2.52 mm（Sec. 3.2、Table 3）。\n- 前置知识：相对位置编码。\n\n## 18. Soft-argmax（软性 argmax）\n\n- 定义：对 cross-attention 权重热图 A_j 求期望坐标 p̂_j=Σ_u A_j(u)·u，可微地得到亚格子精度的 2D 锚点（Eq. 3）。\n- 直觉：把注意力热图加权平均成一个坐标点。\n- 论文作用：Joint Head 产生 2D joint anchors，供 L_img 与 mixed-PnP 使用（Sec. 3.2）。\n- 前置知识：热图回归、可微坐标回归。\n\n## 19. 6D rotation representation（6D 旋转表示）\n\n- 定义：用旋转矩阵前两列共 6 个数表示旋转，再经 Gram–Schmidt 正交化恢复合法旋转。\n- 直觉：比四元数/欧拉角更稳定的连续旋转编码。\n- 论文作用：Pose Head 输出 R̂ 与 θ̂ 的表示（Sec. 3.2）。\n- 前置知识：SO(3)、Gram–Schmidt 正交化。\n\n## 20. Clip-level shape prior（片段级形状先验）\n\n- 定义：Shape Head 对全部 T 帧的 hand token 做时间池化，每只手每片段只预测一次 β。\n- 直觉：同一段视频里手的大小不会变，别每帧乱猜。\n- 论文作用：抑制尺寸闪烁与形状漂移（Sec. 3.2）。\n- 前置知识：MANO shape 参数、时间池化。\n\n## 21. Ray-Based Camera Solver（基于射线的相机求解器）\n\n- 定义：三大模块之三：Ray Head（零初始化 1×1 卷积）从 F 预测每格单位视线方向，时间池化为单场；配合 mixed-PnP 完成度量定位（Sec. 3.3）。\n- 直觉：不背内参，让网络「说出每个格子朝哪看」。\n- 论文作用：支撑 K-free 推理；训练用余弦距离损失 L_ray 监督（Eq. 4）。\n- 前置知识：针孔/鱼眼相机模型、射线相机表示（参考文献 [^11][^43]）。\n\n## 22. Ray field（射线场）\n\n- 定义：token 网格上每格一个单位方向向量 r̂ 的连续场。\n- 直觉：给图像每个格子配一根「视线箭头」。\n- 论文作用：替代内参进入 ray PE 与 bearing 计算；图像边缘处不可靠，由相机拟合缓解（Appendix D.1、Table S5）。\n- 前置知识：方向向量、反投影（unproject）。\n\n## 23. Camera intrinsics（K，相机内参）\n\n- 定义：焦距与主点等参数 (fx, fy, cx, cy)，连接像素坐标与相机射线。\n- 直觉：相机的「出厂标定卡」。\n- 论文作用：训练期作为 L_ray / L_fit / L_img 的监督目标；standard 配置测试期提供 bearing，K-free 配置完全不用（Sec. 3.3、3.4）。\n- 前置知识：针孔相机模型。\n\n## 24. K-free configuration（无内参配置）\n\n- 定义：测试期不需要任何标定的变体：bearing 来自预测射线场经闭式逐轴线性回归拟合的等效针孔相机 (f̂, ĉ)；该配置单独训练（Table 1 K-free 行）。\n- 直觉：拿到陌生相机也能直接用。\n- 论文作用：与 standard 仅 bearing 来源不同；代价是窄视场基准上约 +1.1~1.4 mm MPJPE-p（Sec. 3.3、4.2）。\n- 前置知识：线性回归、针孔拟合。\n\n## 25. Mixed-PnP（混合 PnP 平移求解）\n\n- 定义：Camera Head 只回归光学深度 t̂z=exp(ζ̂)；(tx, ty) 由 2D 锚点、canonical 关节与 bearing 按闭式加权最小二乘解出（Eq. 5）；票选掩码 m_j 过滤无效关节，票数不足或残差过大时回退到腕部射线反投影。\n- 直觉：深度靠网络回归、平面位置靠几何解方程，各取所长。\n- 论文作用：解耦 articulation 与相机自运动；换成逆投影使 CT-p 由 0.020 升至 0.030 m（Sec. 3.3、Table 3）。\n- 前置知识：PnP 问题、加权最小二乘。\n\n## 26. Bearing vector（方向向量）\n\n- 定义：指向关节 j 的无量纲平面方向 b_j=(x/z, y/z)；standard 由内参计算，K-free 由拟合相机计算。\n- 直觉：从相机光心看关节的「方位」。\n- 论文作用：平移求解的核心输入；两种配置的唯一架构差异（Sec. 3.3、Figure 3）。\n- 前置知识：透视投影。\n\n## 27. Coverage penalty（-p 覆盖惩罚协议）\n\n- 定义：对漏检的在屏真值手，按确定性占位（canonical MANO：恒等朝向、零 articulation、均值形状、τ=0）计入误差后再平均；EPE_2D 的占位为图像对角线长度。\n- 直觉：漏检要「吃罚单」，不能靠丢弃难例刷分。\n- 论文作用：所有 -p 后缀指标的协议基础，沿用 ViDiHand 协议（Sec. 4.1、Appendix A.1）。\n- 前置知识：评测协议设计。\n\n## 28. On-screen gate（在屏门限）\n\n- 定义：真值手至少一个关节投影在图像矩形内且深度大于 1cm 才算在屏；同一测试也用于预测，避免把 OOS 预测算作假阳性。\n- 直觉：先判定「手在不在画面里」，再谈误差。\n- 论文作用：划分 in-view / OOS 两层，是主指标与 OOS 指标的分界（Appendix A.1）。\n- 前置知识：投影、深度门限。\n\n## 29. MPJPE-p / PA-p（姿态误差指标）\n\n- 定义：MPJPE-p 为腕对齐后 21 关节平均位置误差（mm，含覆盖惩罚）；PA-p 为 Procrustes 相似变换对齐后的对应误差。\n- 直觉：前者看「摆得对不对」，后者进一步消除整体尺度/旋转差异看「形状对不对」。\n- 论文作用：主结果核心列；ARCTIC 上分别为 15.26 / 7.47 mm（Table 1）。\n- 前置知识：Procrustes 分析、L2 距离。\n\n## 30. MPJPE^OOS / MPJPE+OOS（视野外误差指标）\n\n- 定义：同一腕对齐误差在两个不同总体上的平均：前者仅 OOS 手帧，后者为全部手帧（帧数加权混合，Eq. S11）；均无 -p 惩罚，且与 -p 族指标不可互相换算。\n- 直觉：一个专考「看不见时」，一个混合「看得见+看不见」。\n- 论文作用：量化 OOS 增益（ARCTIC 35.2 对 ViDiHand 149.1 mm）；注意两者均为腕对齐，不证明绝对位置（Sec. 4.2、Appendix A.1/C.2/F.1）。\n- 前置知识：分层平均、加权混合。\n\n## 31. Jitter（抖动指标）\n\n- 定义：3D 关节预测的二阶时间差分均值（mm/frame²），仅在匹配检测的连续段（≥3 帧）内计算。\n- 直觉：轨迹「顺不顺滑」，数值越小越稳。\n- 论文作用：时间平滑性证据；ACE-Ego-Hand 为 2.39–3.16，全表最低（Sec. 4.1、4.2）。\n- 前置知识：差分、信号平滑。\n\n## 32. FAcc / Recall / F1（检测指标）\n\n- 定义：FAcc 为既无漏检也无误检的帧占比；Recall 与 F1 按手计算，匹配基于投影网格 bbox 的严格正重叠（真值框膨胀 10%）。\n- 直觉：先问「手找没找到」，再谈姿态。\n- 论文作用：检测列；因匹配使用预测平移，检测同时反映定位质量（Sec. 4.1、Appendix A.1）。\n- 前置知识：精确率/召回率。\n\n## 33. Pseudo-ground-truth（伪真值）\n\n- 定义：由逐帧估计器生成的标注而非人工真值；HOI4D 与 H2O 部分依赖之。\n- 直觉：标注本身带噪声，比较的是「与标签的一致性」。\n- 论文作用：提示 HOI4D/H2O 上绝对精度需谨慎解读；H2O 上本文模型还在该标签分布上训练过（Appendix A.2、F.1）。\n- 前置知识：数据集标注质量。\n\n### 二、概念依赖图（纯文字版）\n\n【预训练基础层】\nRectified flow 预训练 → DiT（Wan 2.2，30 块，宽 3072）→ 时空先验（物体恒存性、遮挡推理、3D 一致性）\nWan 2.2 VAE → clean latent z（时间 4×、空间 16× 压缩；81 帧 → 21 潜帧）\n\n【编码层】\nclean latent z —（σ=0 单次前向，tap@block15，执行 16/30 块）→ 特征 F\nLoRA(rank 64) + patch embedding 微调 —（端到端 3D 监督）→ 使 F 几何感知\n以上构成：Deterministic Clean-Latent Encoder\n\n【几何注入层】\n特征 F → Ray Head（零初始化 1×1 卷积）→ 射线场 r̂ —（时间池化）→ 单一射线场，分两路：\n 路 1：Fourier 编码 + 零初始化 MLP → Ray PE → 注入解码器 token\n 路 2：闭式逐轴拟合等效针孔相机 (f̂, ĉ) → bearing b_j（K-free 路）\n\n【解码层】\n特征 F + Spatial PE + Ray PE → Bidirectional Spatiotemporal Decoder\n ├ 空间锚定查询：2 hand / 42 joint / 4 register tokens（每潜帧 48 个）\n ├ 4 层交替：Spatial Cross-Attention → Temporal Self-Attention（RoPE，无因果掩码）\n └ 读出头：\n Joint Head — soft-argmax → 2D anchors p̂_j\n Pose Head — 6D 旋转 + Gram–Schmidt → R̂, θ̂\n Camera Head — log-depth → t̂z = exp(ζ̂)\n Shape Head — 时间池化 → clip-level β̂\n 存在/可见性分数 → 免 Hungarian 匹配\n\n【定位层】\nMixed-PnP：bearing b_j + 2D anchors p̂_j + canonical 关节 J^can + t̂z\n → 闭式加权最小二乘解 (t̂x, t̂y) → τ̂ = (t̂x, t̂y, t̂z)\n （票选 m_j 过滤；失败回退：腕部射线反投影 @ t̂z）\n bearing 来源分叉：内参 K（standard）vs 拟合射线场（K-free）——两配置唯一架构差异\n\n【输出与评测层】\nMANO 层 M(R̂, θ̂, β̂) + τ̂ → 21 关节 + 网格 → 双手轨迹\n评测协议：on-screen gate（z_min=1cm）\n ├ in-view 层：-p 覆盖惩罚指标（MPJPE-p / PA-p / EPE2D-p / GO-p / CT-p）+ 检测（FAcc / Recall / F1）\n └ OOS 层：MPJPE^OOS（仅 OOS 手帧）与 MPJPE+OOS（全部手帧），腕对齐、无惩罚、不可互换\n 另：Jitter（时间平滑，仅匹配连续段）\n\n【训练监督】\nL = L_rot + L_joint + L_img + L_cam + L_pres + L_tmp + L_ray（K-free 另加 L_fit）\n三项关键策略：OOS 手全监督｜RHD 仅路由 2D/3D/presence 头｜内参只作监督目标、不进编码器/解码器\n\n【一句话主链】\nVDM 时空先验 → clean latent 单次编码（LoRA 端到端适配）→ 几何感知特征 F → 双向时空解码重建遮挡/OOS 手 → 射线场 + Mixed-PnP 度量定位 → MANO 双手轨迹 → 五基准 SOTA（ARCTIC MPJPE-p 降 30%，HOT3D 降 40%，含 OOS 后降 46%–61%）。\n\n【关键依赖说明】\n\n1. 射线场是枢纽概念：同时喂给解码器（Ray PE）与相机求解（bearing/拟合），是 standard 与 K-free 两配置的分叉点。\n2. on-screen gate 是评测枢纽：决定 in-view 与 OOS 两族指标，两族总体不同、不可换算（Appendix A.1、Table S1）。\n3. RoPE 与 clip-level shape prior 分别支撑「任意长度单次解码」与「形状不漂移」两个设计主张（Sec. 3.2、Appendix D.2）。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证与引用核查\n\n### 1. 关键事实主张核查（每条主张附至少两处论文内定位）\n\n### 主张 1：ARCTIC 上 MPJPE-p 较 ViDiHand 降低 30%（21.67 → 15.26 mm）。\n\n- 来源 1：摘要（cutting MPJPE-p by 30% on occlusion-heavy ARCTIC）。\n- 来源 2：Sec. 4.2（reduces MPJPE-p by 30%, 21.67 to 15.26 mm）。\n- 来源 3：Table 1（ViDiHand 21.668 mm，ACE-Ego-Hand 15.256 mm）。\n- 结论：三处一致；(21.668−15.256)/21.668 ≈ 29.6%，四舍五入为 30%，主张成立。\n\n### 主张 2：HOT3D 上 MPJPE-p 降低 40%（21.51 → 12.89 mm）。\n\n- 来源 1：摘要。\n- 来源 2：Sec. 4.2。\n- 来源 3：Table 1（21.514 → 12.888 mm）。\n- 结论：一致，降幅 ≈ 40.1%，主张成立。\n\n## 主张 3：纳入 OOS 后增益 46%–61%（ARCTIC 45.9%、HOT3D 61.1%）。\n\n- 来源 1：摘要（46%–61%）。\n- 来源 2：Sec. 4.2（16.8 vs 31.05 mm；17.3 vs 44.44 mm）。\n- 来源 3：Table S4（MPJPE+OOS：16.783 vs 31.045；17.273 vs 44.440）。\n- 结论：一致。注意这些是混合总体指标 MPJPE+OOS，而非 OOS 层指标 MPJPE^OOS；Appendix A.1 明示两个总体不可互换。\n\n## 主张 4：单次前向推理 63.1 fps，较 ViDiHand（1.91 fps）快 33×。\n\n- 来源 1：Sec. 4.2（Efficiency 段）。\n- 来源 2：Appendix C.4（63.1 fps，其中 72% 为 VAE 编码；ViDiHand 1.91 fps）。\n- 来源 3：Figure S1（精度-速度散点图）。\n- 结论：一致，63.1/1.91 ≈ 33.0。\n\n## 主张 5：生成式 VDM 特征在 OOS 情形显著优于判别式编码器（V-JEPA 2、VideoMAE）。\n\n- 来源 1：Sec. 4.3（V-JEPA 2 可见帧表现尚可，OOS 误差跳至 66.1 mm）。\n- 来源 2：Table 2（MPJPE^OOS：ACE 41.5 vs V-JEPA 2 66.1、VideoMAE 77.6、VAE latent 79.3、raw RGB 98.3 mm）。\n- 来源 3：Sec. 5（最佳判别式编码器在手部离开视野后退化远更多）。\n- 结论：一致；但 Table 2 全部行使用 10k 步、ARCTIC-only 缩减配方，仅表内可比（Sec. 4.3 明示）。\n\n## 主张 6：在 block 15 处 tap 保留几乎全部精度。\n\n- 来源 1：Sec. 3.1（block 15 retains nearly all of the available accuracy）。\n- 来源 2：Appendix D.3 + Table S6（block 15：16.10 mm；block 20：15.93；block 24：15.95，残差 ≤0.17 mm，作者归为运行噪声）。\n- 结论：一致；注意 sweep 使用缩减配方（effective batch 16、ARCTIC+HOT3D、inverse projection 解码），绝对值与 Table 1 不可比。\n\n## 主张 7：读取 clean latent（σ=0）优于 noised latent（σ=0.5）。\n\n- 来源 1：Sec. 3.1（reading the clean latent at σ=0 outperforms reading noised latents）。\n- 来源 2：Appendix D.4 + Table S7（MPJPE-p 15.26 vs 17.66 mm；CT-p 0.021 vs 0.034 m；step 5k–20k 之间 31 个验证 checkpoint 中 29 个 noised 更差）。\n- 结论：一致；作者自述仅两个噪声水平、每水平单种子，不能外推误差随 σ 单调变化。\n\n## 主张 8：K-free 配置在五个基准上检测与标准配置持平。\n\n- 来源 1：Sec. 4.2（keeping detection at parity on all five benchmarks）。\n- 来源 2：Table 1（ARCTIC F1 1.000/1.000；HOT3D 0.996/0.995）。\n- 来源 3：Table S3（OakInk2 两配置检测列完全相同；H2O F1 均 1.000）。\n- 结论：一致；HOI4D 上 K-free F1（0.985）甚至略高于标准配置（0.974）。\n\n## 主张 9：OOS 增益仅为腕对齐（关节 articulation + 全局朝向），不证明 OOS 期间的绝对位置。\n\n- 来源 1：Sec. 4.2（both metrics are wrist-aligned；absolute out-of-sight placement remains less constrained）。\n- 来源 2：Appendix F.1（The out-of-sight gain is wrist-aligned and does not certify placement）。\n- 来源 3：Appendix A.1（两个 OOS 指标的定义与总体差异）。\n- 结论：一致，作者在多处主动声明该边界，无夸大。\n\n## 主张 10：骨干为 Wan2.2-Fun-5B-Control DiT（30 blocks、宽度 3072），tap 于 block 15，仅训练 patch embedding、LoRA、Ray Head 与 Decoder。\n\n- 来源 1：Sec. 3.1（L*=15、30-block stack、D=3072）。\n- 来源 2：Appendix B.1（Wan2.2-Fun-5B-Control、30 blocks of width 3072、FFN 14336；优化器接收 183.99M 参数的逐模块分解）。\n- 来源 3：Figure 2（Block-15 特征分支；仅 patch embedding、LoRA、Ray Head、Decoder 受训）。\n- 结论：一致。\n\n## 主张 11：七源训练混合，HOI4D 完全 held out 并零样本评测。\n\n- 来源 1：Sec. 4.1（HOI4D serves as the held-out test set）。\n- 来源 2：Appendix A.2 + Table S2（HOI4D 采样权重为 0，498 个评测段）。\n- 结论：一致。\n\n## 主张 12：主指标对比 45/48 领先；三大基准 27/29 领先。\n\n- 来源 1：摘要贡献列表（45 of 48 primary metric comparisons）。\n- 来源 2：Sec. 4.2（leading on 27 of 29 evaluation metrics）。\n- 来源 3：Table 1 与 Table S3 逐格核验：29 ≈ 3 数据集 × 10 指标 − HOI4D 缺失的 MPJPE+OOS；48 ≈ 5 基准 × 10 − 2 个缺失 MPJPE+OOS 单元格（HOI4D、H2O 无 OOS 真值）。3 处失利可定位：HOI4D FAcc（0.958 vs ViDiHand 0.984）、HOI4D F1（0.974 vs 0.990）、H2O CT-p（0.031 vs WiLoR 0.023，Appendix C.1 明示其为基线唯一获胜单元格）。\n- 结论：45/48 与 27/29 相互自洽且可由表格重构；但 48 的分母构成文中未逐项明示，属基于表格的合理重构（见不确定性第 2 条）。\n\n### 2. 冲突与不确定性说明\n\n1. **发表渠道与日期缺失**：标题页与正文未标注会议/期刊与年份；参考文献含多条 2026 条目（EgoForce SIGGRAPH 2026 [^20]、EgoDex ICLR 2026 [^8]、ACE-Ego-0 [^16]、ViDiHand [^37]），据此推断为约 2026 年的会议投稿/预印本，最终发表版本无法核对。\n2. **45/48 分母构成未明示**：文中未逐项列出 48 个对比的清单；上文的 48 = 50 − 2 重构与全部表格数字吻合，但仍是推断而非文中声明。\n3. **Figure 1 caption 与 Table 1 的口径差异**：Figure 1 称在七项三数据集平均指标中六项领先、检测 F1 上与最强基线持平（平均口径）；但 Table 1 中 HOI4D 单项 F1 上 ViDiHand（0.990）高于 ACE-Ego-Hand（0.974/0.985）。平均口径与单项口径不同，不构成矛盾，引用时须注明口径。\n4. **ViDiHand 基线复现障碍**：ViDiHand 无公开代码，其预测由原作者应请求在同一测试段上生成（Appendix A.3），表中引用其发表数值；第三方独立复现该基线存在障碍。\n5. **伪真值与 in-domain 偏置**：HOI4D 与 H2O 部分依赖逐帧估计器生成的伪 MANO 标注（Appendix A.2、F.1）；H2O 在本文训练混合内，模型训练时见过该标签分布，而所有基线在评测时才首次遇到（Appendix A.2、C.1）。作者明示 H2O/OakInk2 块应读作 in-domain 上界而非同权比较（Appendix C.1）。\n6. **消融表间不可比**：Table 2 用 10k 步 ARCTIC-only 缩减配方；Table 3 所有行省略 L_fit 且直接从射线场读 bearing；两者均与 Table 1 不可比（Sec. 4.3 明示）。\n7. **Table 3 的 batch 混杂**：hand-pooled queries 与 absolute PE 两个变体以一半数据并行宽度、相同步数训练，部分差距可能来自有效 batch 减半而非设计本身（Sec. 4.3、Appendix B.2）。\n8. **HaWoR 评测非完整管线**：其 SLAM 与 infilling 阶段被禁用，仅评 camera-space 前端（Appendix A.3）；计时同样基于该配置（Appendix C.4），完整发布管线会更慢。\n9. **基线计时协议偏离**：EgoForce 计时继承自独立基准（fp16、不同 clip），偏离本文协议且偏向 EgoForce；Hamba 缺编译 selective-scan 内核，1.5 fps 为下界；HaMeR 计时为两次均值且帧解码在计时区内（Appendix C.4）。\n10. **数据划分泄漏风险**：仅 ARCTIC 与 H2O 为受试者不重叠划分；HOT3D 按录制、OakInk2 按序列划分，训练/测试受试者重叠无法排除（Appendix F.1）。\n11. **σ 消融覆盖有限**：仅 σ∈{0, 0.5}、每水平单种子（Appendix D.4 作者自述）。\n12. **Jitter 口径**：仅在匹配检测的连续帧段（≥3 帧）上计算，漏检帧被移除而非惩罚，对近饱和检测率的方法（如本文）保守有利（Appendix A.1）。\n13. **两个 OOS 指标不可互换**：MPJPE^OOS（OOS 层）与 MPJPE+OOS（全帧混合）平均总体不同；Table 1 报混合值、Table 2 报层值，Table S4 同时给出两层与 in-view 层以便逐行核验 Eq. (S11)（Appendix A.1、C.2）。\n14. **数据访问限制**：Xperience-10M 为受控访问（Appendix F.2）；Figure S5 帧来自一个未具名的授权自我中心数据集，不进入任何训练混合或评测表（Appendix F.2）。\n\n### 3. 参考文献列表（依文末 References，共 45 条）\n\n1. Assran 等，V-JEPA 2: Self-supervised video models enable understanding, prediction and planning，2025，Meta AI。\n2. Banerjee 等，HOT3D: Hand and object tracking in 3D from egocentric multi-view videos，CVPR 2025，arXiv:2411.19167。\n3. Carion 等，End-to-end object detection with transformers，ECCV 2020。\n4. Choi 等，Beyond static features for temporally consistent 3D human pose and shape from a video，CVPR 2021。\n5. Dong 等，Hamba: Single-view 3D hand reconstruction with graph-guided bi-scanning mamba，NeurIPS 2024。\n6. Fan 等，ARCTIC: A dataset for dexterous bimanual hand-object manipulation，CVPR 2023。\n7. Hatano 等，The invisible EgoHand: 3D hand forecasting through EgoBody pose estimation，2025。\n8. Hoque 等，EgoDex: Learning dexterous manipulation from large-scale egocentric video，ICLR 2026，arXiv:2505.11709，Apple。\n9. Hu 等，LoRA: Low-rank adaptation of large language models，ICLR 2022。\n10. Jiang 等，VACE: All-in-one video creation and editing，ICCV 2025，arXiv:2503.07598。\n11. Jin 等，Perspective fields for single image camera calibration，CVPR 2023。\n12. Kareer 等，EgoMimic: Scaling imitation learning via egocentric video，ICRA 2025，arXiv:2410.24221。\n13. Kocabas 等，VIBE: Video inference for human body pose and shape estimation，CVPR 2020。\n14. Kuhn，The Hungarian method for the assignment problem，Naval Research Logistics Quarterly，1955。\n15. Kwon 等，H2O: Two hands manipulating objects for first person interaction recognition，ICCV 2021。\n16. Li 等，ACE-Ego-0: Unifying egocentric human and robotic data for VLA pretraining，2026。\n17. Li 等，GENMO: A generalist model for human motion，ICCV 2025，arXiv:2505.01425。\n18. Lin 等，OmniHands: Towards robust 4D hand mesh recovery via a versatile transformer，2024。\n19. Liu 等，HOI4D: A 4D egocentric dataset for category-level human-object interaction，CVPR 2022。\n20. Millerdurai 等，EgoForce: Forearm-guided camera-space 3D hand pose from a monocular egocentric camera，SIGGRAPH 2026，arXiv:2605.12498。\n21. Moon，Bringing inputs to shared domains for 3D interacting hands recovery in the wild（InterWild），CVPR 2023，arXiv:2303.13652。\n22. Moon 等，A dataset of relighted 3D interacting hands（Re:InterHand），NeurIPS Datasets and Benchmarks 2023。\n23. Pavlakos 等，Reconstructing hands in 3D with transformers（HaMeR），CVPR 2024。\n24. Potamias 等，WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild，CVPR 2025，arXiv:2409.12259。\n25. Prakash 等，3D hand pose estimation in everyday egocentric images（WildHands），ECCV 2024。\n26. Romero、Tzionas、Black，Embodied hands: Modeling and capturing hands and bodies together（MANO），ACM TOG 36(6)，SIGGRAPH Asia 2017。\n27. Ropedia，Xperience-10M: A large-scale egocentric multi-modal dataset with structured 3d/4d annotations，HuggingFace，2026。\n28. Shen 等，Global-to-local modeling for video-based 3D human pose and shape estimation，CVPR 2023。\n29. Shrivastava 等，Point prompting: Counterfactual tracking with video diffusion models，ICLR 2026，arXiv:2510.11715。\n30. Su 等，RoFormer: Enhanced transformer with rotary position embedding，Neurocomputing 568，2024。\n31. Tevet 等，Human motion diffusion model，ICLR 2023。\n32. Tong 等，VideoMAE: Masked autoencoders are data-efficient learners for self-supervised video pre-training，NeurIPS 2022。\n33. Wan Team，Wan: Open and advanced large-scale video generative models，2025，Alibaba（含 Wan2.1/Wan2.2）。\n34. Wang 等，Video generation models are general-purpose vision learners，2026，GenCeption；Google DeepMind。\n35. Wang 等，HoloAssist: An egocentric human interaction dataset for interactive AI assistants in the real world，ICCV 2023。\n36. Wang 等，TRAM: Global trajectory and motion of 3D humans from in-the-wild videos，ECCV 2024，arXiv:2403.17346。\n37. Wang 等，The surprising effectiveness of video diffusion models for hand motion reconstruction（ViDiHand），2026。\n38. Yang 等，EgoVLA: Learning vision-language-action models from egocentric human videos，2025。\n39. Ye 等，Decoupling human and camera motion from videos in the wild，CVPR 2023。\n40. Yu 等，Dyn-HaMR: Recovering 4D interacting hand motion from a dynamic camera，CVPR 2025，arXiv:2412.12861。\n41. Zhan 等，OakInk2: A dataset of bimanual hands-object manipulation in complex task completion，CVPR 2024。\n42. Zhang 等，HaWoR: World-space hand motion reconstruction from egocentric videos，CVPR 2025，arXiv:2501.02973。\n43. Zhang 等，Cameras as rays: Pose estimation via ray diffusion，ICLR 2024。\n44. Zimmermann 与 Brox，Learning to estimate 3D hand pose from single RGB images（RHD），ICCV 2017。\n45. Zimmermann 等，FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images，ICCV 2019。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与深读\n\n### 1. 图表全索引\n\n#### 1.1 表格索引（编号 / 说明 / 类型 / 位置 / 支撑结论 / 重要性评分 1–5）\n\n| 编号 | 说明（依原文标题） | 类型 | 位置 | 支撑结论与关键数字 | 评分 |\n|---|---|---|---|---|---|\n| Table 1 | ARCTIC、HOT3D 与 held-out HOI4D 主对比：12 方法 × 10 指标（FAcc/Recall/F1、MPJPE-p、PA-p、MPJPE+OOS、EPE2D-p、GO-p、CT-p、Jitter） | 主结果表（定量对比） | Sec. 4.1–4.2 | 五基准 SOTA：ARCTIC MPJPE-p 21.668→15.256（-30%）、HOT3D 21.514→12.888（-40%）、HOI4D 30.090→23.031（-23%）；MPJPE+OOS 31.045→16.783（-45.9%）、44.440→17.273（-61.1%）；48 项主指标中 45 项领先 | 5 |\n| Table 2 | ARCTIC 特征源消融（ACE / w/o LoRA / V-JEPA 2 / VideoMAE / VAE latent / raw RGB），10k 步 ARCTIC-only 缩减配方 | 消融表 | Sec. 4.3 | VDM 特征不可或缺：MPJPE-p 16.95 vs raw RGB 46.50、VAE latent 32.50；去 LoRA 升至 23.10；关键证据——V-JEPA 2 in-view 尚可（17.81）但 MPJPE^OOS 跳至 66.1（ACE 为 41.5），支撑「生成式先验在 OOS 情形优于判别式编码器」 | 5 |\n| Table 3 | ARCTIC 相机与解码器消融（K-free、w/o mixed-PnP、w/o PnP、w/o spatial PE、w/o joint queries、shape β from registers、w/o rotary PE），统一配方、仅表内可比 | 消融表 | Sec. 4.3 | rotary PE 与 joint queries 是关键（绝对 PE +2.523 mm、Jitter 2.704→2.948；池化查询 +1.880 mm、+1.681 px）；mixed-PnP 优于逆投影（CT-p 0.020→0.030 m）；K-free 与标准版几乎持平（15.264 vs 15.256 mm） | 4 |\n| Table S1 | 指标符号表：每个指标的统计总体、是否带 -p 惩罚、单位 | 协议/定义表 | Appendix A.1 | 厘清两族指标：detection-gated（带 -p 占位惩罚）与 ground-truth-gated（MPJPE^OOS / MPJPE+OOS，无惩罚），二者统计总体不同、不可算术重组 | 4 |\n| Table S2 | 训练与评测数据：七源混合的 clip/frame 数、评测段数与逐批采样权重（合计 100） | 数据表 | Appendix A.2 | 训练混合构成（ARCTIC 14%、HOT3D 18%、H2O 10%、OakInk2 14%、Re:InterHand 16%、FreiHAND 14%、RHD 14%）；HOI4D 完全 held out（权重 0，498 段零样本评测） | 3 |\n| Table S3 | H2O 与 OakInk2 结果（与 Table 1 同协议） | 补充主结果表 | Appendix C.1 | in-domain 增益：OakInk2 MPJPE-p 26.520→8.988（-66%）、H2O 16.219→9.223（-43%）；唯一失守格为 H2O CT-p（WiLoR 0.023 vs 0.031）；注意 in-domain vs out-of-domain 的不对等 | 4 |\n| Table S4 | 腕对齐误差的 OOS 分层：in-view / out-of-sight / MPJPE+OOS 三列，覆盖 ARCTIC、HOT3D、OakInk2 | 分层审计表 | Appendix C.2 | OOS 增益审计：ACE OOS 层 35.165 / 38.649 / 13.131 mm，而全部十个基线坍缩在 126–164 mm 窄带且排序与 in-view 无关；OOS 最强基线是 WildHands（135.437 / 126.358）而非 ViDiHand/WiLoR；ARCTIC 仅 6.9% 手帧 OOS，混合值由 in-view 主导 | 5 |\n| Table S5 | 误差随归一化半径 r（离图像中心距离）分箱：ACE vs w/o camera fit 的 MPJPE 与 CT | 失败模式分析表 | Appendix D.1 | 边缘失败仅限平移：最外箱 CT 0.165 vs 0.048 m（ARCTIC，3.4×）、0.190 vs 0.035 m（HOT3D，5.4×），而腕对齐姿态各箱几乎一致；相机拟合消除该失败（OOS 平移 0.55→0.10 m 等，HOT3D 假阴性 2,491→74） | 4 |\n| Table S6 | Tap 深度扫描（block 10/15/20/24，缩减配方，291 段 ARCTIC） | 设计选择消融表 | Appendix D.3 | block 15 已捕获几乎全部精度：16.10 vs block 20 的 15.93（差 0.17 mm 属噪声量级），但只跑 16/30 blocks，前向成本约减半 | 3 |\n| Table S7 | Clean（σ=0）vs noised（σ=0.5）latent 读出，同 291 段、同 20k checkpoint | 设计选择消融表 | Appendix D.4 | 确定性读出全面更优：MPJPE-p 15.26 vs 17.66，CT-p 0.021 vs 0.034（-39%）；增益集中于度量定位而非关节（PA-p 仅差 0.52）；31 个验证 checkpoint 中 noised 在 29 个更差 | 4 |\n\n#### 1.2 插图索引\n\n| 编号 | 说明 | 类型 | 位置 | 支撑结论 | 评分 |\n|---|---|---|---|---|---|\n| Figure 1 | 左：原始 RGB 片段上的恢复效果（黄色阴影帧为手离开视野仍保持身份与轨迹连续）；右：七指标雷达图（ARCTIC/HOT3D/HOI4D 平均，7 项中 6 项领先、F1 持平最强基线） | Teaser + 定性/半定量 | Sec. 1（首页） | 遮挡鲁棒性与整体 SOTA 的直观陈述 | 3 |\n| Figure 2 | 系统总览：Wan VAE → Wan DiT（σ=0）→ Block-15 特征分流至 Ray Head 与双向时空解码器；仅 patch embedding、LoRA、Ray Head、Decoder 参与训练（参数核算在 Appendix B） | 架构总览图 | Sec. 3 | 方法核心：VDM 作确定性编码器而非渲染器；训练范围与两配置（K-free/standard）仅 bearing 来源不同 | 5 |\n| Figure 3 | 双向时空解码器架构：射线场作 ray PE、四层 Spatial Cross-Attention 与 Temporal Self-Attention 交替、读出头输出 MANO 参数并送入 mixed-PnP 平移求解 | 架构细节图 | Sec. 3.2 | 空间接地查询 + 无因果掩码的双向推理设计；两配置架构唯一差异在 bearing 来源（预测射线场 vs 内参） | 5 |\n| Figure 4 | ARCTIC（上）与 HOT3D（下）定性对比：输入帧网格叠加 + 共享世界系腕轨迹（世界系用真值相机位姿摆放，展示的是放置而非相机运动恢复） | 定性对比图 | Sec. 4.4 | 双手互遮挡下多数基线只恢复一只手；广角 HOT3D 上基线手散落地面；ACE 轨迹连续且贴合真值 | 4 |\n| Figure S1 | 精度-速度平面：MPJPE-p（三数据集平均）vs 单 A100 端到端吞吐（不含加载/解码/渲染） | 效率散点图 | Appendix C.4 | 63.1 fps（K-free 63.3）vs ViDiHand 1.91 fps，33× 差距；五个共享 ViTDet-H+ViTPose 前端的基线聚在 1.5–1.7 fps，最快的 WiLoR 为 15.5 fps | 4 |\n| Figure S2 | 单次解码长度扫描：MPJPE-p（左轴）与 Jitter（右轴）vs 解码长度（81 帧→整段录制） | 曲线图 | Appendix D.2 | 精度在超过训练窗 50%（125 帧）内持平，整段解码 17.99 mm（+18%）但 Jitter 2.700→2.585；仍比 ViDiHand 窗口式 21.668 低 17% | 3 |\n| Figure S3 | ARCTIC/HOT3D 扩展定性对比（GT、ACE、六基线；相机系叠加 + 3D 重建两行） | 定性对比图 | Appendix E.1 | Figure 4 结论在更多片段上成立；OOS 区间是方法分化最明显处 | 3 |\n| Figure S4 | H2O、OakInk2 及 in-the-wild HoloAssist、Xperience-10M 扩展定性对比 | 定性对比图 | Appendix E.1 | 无标注野外素材上的泛化展示（不进任何训练/评测表） | 2 |\n| Figure S5 | 无真值野外视频上的定性结果（源帧、叠加、第三人称与头戴视角渲染） | 定性展示图 | Appendix E.2 | 双手保持度量分离、随头动尺度一致、OOS 期间轨迹合理 | 2 |\n| Figure S6 | 从自我中心视频到灵巧手（Inspire Hand）逐步重定向：四个 in-domain 数据集各一段 | 应用演示图 | Appendix E.3 | 恢复轨迹可直接重定向到机器人灵巧手（手指屈曲读自 3D 关节而非 MANO 参数） | 2 |\n| Figure S7 | 两分钟录制上的重定向（四个时刻，约 45× 训练窗） | 应用演示图 | Appendix E.3 | 长时程下转换仍成立，末时刻双手仍被跟踪且身份正确 | 2 |\n\n### 2. 优先深读清单（按阅读价值排序）\n\n1. **Table 1（主对比表，Sec. 4.1–4.2）**：全文核心证据。读法：先看 ARCTIC/HOT3D/HOI4D 三个块的 MPJPE-p 与 MPJPE+OOS 列，核对摘要的 -30%/-40% 与 -45.9%/-61.1%；再注意三点协议细节——(a) -p 后缀表示对漏检收取 canonical MANO 占位惩罚（Appendix A.1）；(b) MPJPE+OOS 与 MPJPE^OOS 统计总体不同、不可互换（Table S1）；(c) HOI4D 为零样本且缺 OOS 真值（该列标 -）。K-free 行是单独训练的模型而非测试期求解器切换（Sec. 3.3）。\n2. **Table 2（特征源消融，Sec. 4.3）**：支撑论文最核心论点「VDM 应作编码器，且其生成式先验在 OOS 情形优于判别式编码器」。关键对比：V-JEPA 2 in-view 误差 17.81 mm 与 ACE 的 16.95 接近，但 OOS 层 66.1 vs 41.5 mm；frozen-to-frozen 对照（V-JEPA 2 66.1 vs Wan 2.2 w/o LoRA 50.1）指向同一方向。注意本表为 10k 步 ARCTIC-only 缩减配方，只能表内纵向比较、不可与 Table 1 横比。\n3. **Table S4（OOS 分层审计，Appendix C.2）**：防止误读主表的关键。它揭示：(a) 十个基线在 OOS 层坍缩到 126–164 mm 窄带、排序与 in-view 无关；(b) OOS 最强基线是 WildHands 而非 ViDiHand/WiLoR；(c) ARCTIC 仅 6.9% 手帧 OOS，故 MPJPE+OOS 混合值由 in-view 主导，HOT3D（17.6%）的混合值才更多保留 OOS 差距；(d) 全部为腕对齐，不证明 OOS 期间的绝对定位（Appendix F.1 明示此局限）。\n4. **Figure 2 + Figure 3（架构图，Sec. 3）**：理解方法的必读。Figure 2 给出数据流与训练范围（仅 patch embedding、LoRA、Ray Head、Decoder 可训练；DiT 主体冻结、在 block 15 截断、跳过的 blocks 中 LoRA B 矩阵保持为零）；Figure 3 给出解码器内部（ray PE 注入、四层空间交叉注意力/时间自注意力交替、无因果掩码、读出头与 mixed-PnP 的衔接），并标明 standard 与 K-free 的唯一架构差异是 bearing 来源。\n5. **Table S5 + Figure S1（失败模式与部署特性，Appendix D.1 / C.4）**：工程落地视角。Table S5 定位 K-free 无相机拟合时的图像边缘失败（仅平移、非姿态，最外箱 CT 差 3.4–5.4×），并说明相机拟合如何消除之；Figure S1 给出 63.1 fps vs 1.91 fps 的 33× 差距及运行时构成（72% 时间在 VAE 编码），是评估其作为离线数据生产工具可行性的直接依据。\n\n### 3. 图表关系 / 实验设置图\n\n方法流水线（依据 Figure 2、Figure 3 与 Sec. 3）：\n\n- 输入自我中心视频 V（T=81 帧，672×480）\n- → Wan VAE 编码器 E：clean latent z（T'=21 latent 帧，4× 时间 / 16× 空间压缩）\n- → Wan DiT Φ（σ=0，确定性单次前向，30 blocks 中在 block 15 截断，仅执行前 16 blocks）【Figure 2】\n - ├─→ Ray Head（零初始化 1×1 conv）→ 射线场 r̂（逐 cell 单位射线，时间池化）【Eq.(3)，L_ray 监督】\n - │　　└─ 作 ray PE 注入解码器；K-free 配置下经闭式相机拟合提供 bearing\n - └─→ 特征网格 F（D=3072，42×30 grid）\n - → Bidirectional Spatiotemporal Decoder【Figure 3】：spatial PE + ray PE → 每 latent 帧 48 queries（2 hand + 42 joint + 4 register）→ 4 层 Spatial Cross-Attention ⇄ Temporal Self-Attention（rotary PE，无因果掩码）\n - → 读出头：Joint Head（soft-argmax 2D 锚点 p̂j）、Pose Head（R̂、θ̂ 6D）、Shape Head（β̂ 逐 clip）、Camera Head（log-depth t̂z）+ 存在/可见性置信度\n - → Mixed-PnP 平移求解【Eq.(4)】（bearing 来源：K-free 用拟合相机 / standard 用真值内参）\n- → 输出：逐帧双手 MANO 轨迹（R̂、θ̂、τ̂、β̂ + 置信度）\n\n实验证据链与图表的对应关系：\n\n- **主结果层**：Table 1（三数据集）+ Table S3（H2O/OakInk2）→ 摘要与 Sec. 4.2 的 SOTA 声明；Table S4 审计其中 OOS 部分；Figure 1 右 / Figure 4 / S3 / S4 提供定性佐证。\n- **机制归因层**：Table 2（为何用 VDM 特征）；Table 3 + Table S6 + Table S7（架构与读出设计：joint queries/rotary PE、tap 深度、σ=0）；Table S5 + Appendix D.1（K-free 边缘失败与相机拟合的必要性）。\n- **协议层**：Table S1（指标定义与两族 OOS 指标的区分）+ Table S2（数据划分与采样权重）+ Appendix A.3（基线复现与引用规则），保证所有定量表可追溯。\n- **部署层**：Figure S1（速度-精度平面）+ Figure S2（解码长度权衡）+ Figure S5–S7（野外泛化与机器人重定向）支撑 Sec. 5 的「从人类视频到操作数据」定位。\n\n### 4. 图表 → 结论映射\n\n| 论文结论（含定位） | 支撑图表 | 关键数字 |\n|---|---|---|\n| 五基准 SOTA，48 项主指标中 45 项领先（Sec. 1、4.2） | Table 1、Table S3 | ARCTIC MPJPE-p 15.256；HOT3D 12.888；HOI4D 23.031；OakInk2 8.988；H2O 9.223 |\n| 相对 ViDiHand 削减 MPJPE-p 30%/40%/23%（摘要、Sec. 4.2） | Table 1 | 21.668→15.256；21.514→12.888；30.090→23.031 |\n| 计入 OOS 后增益达 46%–61%（摘要、Sec. 4.2） | Table 1（MPJPE+OOS 列）、Table S4 | 31.045→16.783（-45.9%）；44.440→17.273（-61.1%）；OOS 层 149.1→35.2、151.7→38.6 mm |\n| 生成式 VDM 先验在 OOS 情形优于判别式编码器（Sec. 4.3、5） | Table 2 | V-JEPA 2 OOS 66.1 vs ACE 41.5 mm；VideoMAE 77.6；VAE latent 79.3；raw RGB 98.3 |\n| LoRA 端到端适配必要（Sec. 3.1、4.3） | Table 2 | w/o LoRA：MPJPE-p 23.10、MPJPE^OOS 50.1 |\n| K-free 可行，残余代价是小幅姿态差（Sec. 4.2、F.1） | Table 1、Table 3、Table S5 | ARCTIC +1.36 mm、H2O +1.09 mm；HOI4D 反而更优（22.15 vs 23.03）；Table 3 内 K-free 15.264 ≈ 15.256 |\n| rotary PE 与 joint queries 是解码器关键设计（Sec. 4.3） | Table 3 | 绝对 PE：+2.523 mm、Jitter 2.704→2.948；池化查询：+1.880 mm、+1.681 px |\n| mixed-PnP 优于逆投影/直接回归（Sec. 4.3） | Table 3 | 逆投影 CT-p 0.030 vs 0.020 m；直接回归 EPE2D-p +1.231 px（但 Jitter 最低 2.658，属未采纳的权衡） |\n| block 15 截断保留几乎全部精度、成本约减半（Sec. 3.1、D.3） | Table S6 | 16.10（block 15）vs 15.93（block 20），差 0.17 mm 属噪声量级 |\n| σ=0 确定性读出优于加噪读出（Sec. 3.1、D.4） | Table S7 | 15.26 vs 17.66 mm；CT-p 0.021 vs 0.034 m（-39%） |\n| 单次前向 33× 快于最强先前方法（摘要、Sec. 4.2、C.4） | Figure S1 | 63.1 fps（72% 为 VAE 编码）vs ViDiHand 1.91 fps |\n| 长片段单次解码：精度-平滑度权衡（Sec. 5、D.2、F.1） | Figure S2 | 整段解码 17.99 mm（+18%）、Jitter 2.700→2.585；仍比 ViDiHand 低 17% |\n| K-free 边缘失败仅限平移、相机拟合可消除（D.1） | Table S5 | 最外箱 CT 0.165 vs 0.048 m（ARCTIC）、0.190 vs 0.035 m（HOT3D）；拟合后 OOS 平移 0.55→0.10 m（ARCTIC） |\n| 定性：遮挡/OOS 下轨迹连续、基线碎片化（Sec. 4.4） | Figure 4、S3、S4 | 双手互遮挡下多基线仅恢复单手；广角 HOT3D 上基线手散落地面 |\n| 应用：恢复轨迹可重定向至灵巧手（E.3） | Figure S6、S7 | 约 45× 训练窗（两分钟）末段仍正确跟踪双手 |\n| 指标体系严谨、两族 OOS 指标不可互换（A.1） | Table S1、Table S4 | MPJPE+OOS 为按帧数加权的两层混合（Eq. S11）；ARCTIC OOS 仅占 6.9%、HOT3D 17.6%、OakInk2 14.5% |" }