{
  "paper_id": "bec393d064137b41f367b436e154647a",
  "paper_title": "Grasp in Gaussians: Fast Monocular Reconstruction of Dynamic Hand-Object Interactions",
  "paper_authors": [
    "AYCE IDIL AYTEKIN",
    "XU CHEN",
    "ZHENGYANG SHEN",
    "THABO BEELER",
    "HELGE RHODIN",
    "RISHABH DABRAL",
    "CHRISTIAN THEOBALT"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "我们提出 Grasp in Gaussians（GraG），这是一种从单目视频快速、鲁棒重建动态三维手物交互的方法。与近期优化重型神经表示的方法不同，GraG 在用预训练大模型完成初始化后，聚焦于高效跟踪手和物体。其关键洞见是：在强预训练物体与手先验下，借助从经典跟踪文献中复兴并与生成式高斯初始化结合的紧凑高斯和（Sum-of-Gaussians, SoG）表示，即可恢复准确且时间稳定的手物运动。物体位姿与几何由适配视频的 SAM3D 流程初始化，再通过子采样将稠密高斯表示转换为轻量 SoG；该表示在保持几何保真度的同时实现快速跟踪，预训练先验与简单几何、接触损失保障手物准确定位。手部则采用互补策略：从现成单目手部位姿初始化出发，使用二维关节、轮廓、深度和接触损失精修手部运动，无需逐帧精修详细三维手部外观模型即可保持稳定关节运动。在公开基准上的大量实验表明，GraG 可在长序列上重建时间连贯的手物交互，速度比先前工作快 4.4–38.9 倍，并保持时间连贯的手物运动。\n",
  "keywords": [
    "3D 重建",
    "手物交互"
  ],
  "paper_institutions": [
    "MPI for Informatics",
    "SIC & VIA Research Center",
    "Google",
    "Bielefeld University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:44.379998Z",
  "template_tag": "deep_read",
  "summary": "# Grasp in Gaussians: Fast Monocular Reconstruction of Dynamic Hand-Object Interactions\n\n\n**作者 / Authors:** Ayce Idil Aytekin, Xu Chen, Zhengyang Shen, Thabo Beeler, Helge Rhodin, Rishabh Dabral, Christian Theobalt\n\n\n**单位 / Institutions:** MPI for Informatics, SIC & VIA Research Center, Google, Bielefeld University\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未报告（待核实）\n\n\n\n**期刊/会议 / Publication Venue:** 未报告（文档含 ACM CCS 概念与补充材料，疑似 ACM TOG/SIGGRAPH 格式，待核实）\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：已读正文与补充材料（Sec 10），含方法图、公式、Table 1–8 与消融；首页给出作者单位（MPI for Informatics、Google、Bielefeld University 等）。代码/权重与项目页可访问性未在正文中给出可核实链接，代码可用性待核实；正式发表 venue/date 在文档中缺失。原型判断：选 system，因为论文交付的是三阶段完整重建系统（关键帧+MV-SAM3D 规范物体、视频自适应 SAM3D 位姿、SoG 跟踪），并以长视频运行时间和机器人集成为核心卖点；其中含方法创新但整体更接近系统论文。影响解读的缺口：评测仅 HO3Dv3 与 HOT3D 各 18 段，且 Table 1 对成功结果取平均；依赖 Gemini 3、SAM3D、Dyn-HaMR 等外部模型，复现需替代或获取权重；部分超参在补充材料，接触标志依赖闭源 VLM。\n\n\n\n\n\n### 问题\n\n问题：给定单目视频 I={I_t}_{t=1}^N，估计每帧手部 MANO 参数（Θ_t、R_t^h、τ_t^h、s^h）、刚性物体位姿（R_t^o、τ_t^o、s^o）及规范物体几何，使手-物在 3D 中时间一致并满足接触/不穿透。形式化目标可写为在滑动窗口 W 上最小化跟踪能量：min_X Σ_{t∈W}[-E_t+λ_sil L_sil+λ_depth L_depth+λ_j2d L_j2d+λ_contact L_contact+λ_smooth L_smooth]，其中 E_t 为图像 SoG 与投影物体 SoG 的对齐。重要性：该重建可用于机器人从人类演示学习、AR/VR 虚拟交互。现有不足：模板法需预扫描物体且难泛化到新物体；类别限定或小规模训练的方法对分布外物体几何差；in-hand scanning 常假设手部刚性；HOLD/BIGS/MagicHOI 依赖 COLMAP/SfM 初始化并做重优化，在遮挡、快速运动、弱纹理和自视角长序列下易漂移或失败，100 帧约需 1.2–10.5 小时；单帧生成模型逐帧重跑会抖动。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：GraG 先用生成式 3D 与单目手部先验获得规范物体和初始轨迹，再用紧凑、遮挡感知的 Sum-of-Gaussians 跟踪，从单目视频快速重建长序列手-物交互。核心思想与贡献：①把 MV-SAM3D 的多关键帧规范物体重建与视频级位姿估计结合，Stage 2 冻结形状 token 并只用带时间引导的布局速度更新，抑制遮挡下的抖动/翻转；②将稠密 SAM3D 高斯经最远点采样稀疏为约 2000 个各向同性 SoG，用四叉树图像 SoG 与闭式高斯重叠做对齐，并以手部掩码可见性门控排除被手遮挡的物体高斯；③手部不重建外观，只以 Dyn-HaMR 初始化并用 2D 关节、深度、轮廓、接触和平滑先验轻量优化。最重要结果：Table 1 中 HO3Dv3 上 CD 0.51 cm、F10 97.2%、MPJPE 9.38 mm、CD_h 5.02 cm、成功率 100%、0.27 h/100 帧；HOT3D 上 CD 0.67 cm、F10 94.7%、MPJPE 20.6 mm、CD_h 9.37 cm、成功率 100%、0.27 h/100 帧，作者据此声称比 HOLD/BIGS/MagicHOI 快 4.4×–38.9×。条件与边界：这是完整系统比较，GraG 使用了 HOLD/BIGS 时代没有的 SAM3D 与 Dyn-HaMR 强先验，论文也明确承认；指标仅在成功结果上平均，且只覆盖单手持单一刚性物体。消融（4 段序列）显示“仅基础模型”CD_h=20.62，“仅先验损失”10.45，完整 7.65，说明 Stage 3 先验贡献大、SoG 主要补足剩余误差并提供效率，不能把全部增益归给 SoG。优先精读：Sec 4.1–4.3、Eq. 1–7、Fig. 2/4/5、Table 1–2；补充材料 10.2–10.5。下一轮问题：关键帧选择与 Stage 2 时间引导的稳定性边界？2000 高斯/64 邻居/各向同性近似是否在细长物体和边界处失效？可见性门控与接触标志错误如何传播？runtime 是否含预处理和 VLM 调用？成功结果平均是否高估？下一轮将沿 Sec 4 数据流逐项核对这些公式、损失与证据，判断性能主要来自基础模型先验还是 SoG 跟踪器。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入与输出：给定单目 RGB 视频 I={I_t}，输出每帧手部 MANO 参数（Θ_t、R_t^h、τ_t^h、s^h）、物体位姿（R_t^o、τ_t^o、s^o）和规范物体几何。预处理用 SAM3 得手/物掩码 M_t^h、M_t^o（物体掩码由 VLM 标签提示），DepthAnything3 得相机 K_t、T_t 与点图 P_t，Dyn-HaMR 在相机坐标系初始化手轨迹，Gemini 3 得每帧接触标志 c_t^ho∈{0,1}。由于 Dyn-HaMR 直接在 (K_t,T_t) 坐标系回归手，手与物体天然同坐标系，无需后对齐。\n\nStage 1（Sec. 4.1）：从视频选 K=4 个信息量大且多样的关键帧。补充材料用 DINOv2/DA3 的 [CLS] 描述子 f_t，计算帧间余弦相似度 S_t,s、平均相似度 S̃_t、特征模长 n_t 与方差 ν_t，并定义平衡代价 C_bal(t)=|S̃_t-0.5|+|n_t-0.5|+|ν_t-0.5|；目标为 min_{|V|=K} Σ_{t∈V}(C_bal(t)+λ_div max_{s∈V\\{t}} S_t,s)，贪心选帧。选中的关键帧送入 MV-SAM3D，得到共享规范形状 token Z^{S*} 与稠密 3D 高斯；后续只解码一次，供跟踪使用。\n\nStage 2（Sec. 4.2，Fig. 4）：把 SAM3D 扩展到视频。冻结规范形状：每帧初始化 Z_t^S←Z^{S*}，并令形状速度场 v_θ^S(·)≡0，防止遮挡和外观变化改写几何。布局 token Z_t^P 从上一帧 Z_{t-1}^P 出发；X_t^P 是布局 token 经 MLP 投影到的 1024 维 latent。SAM3D 的条件流匹配不直接回归位姿，而预测速度场 v_θ^P。时间引导式(1)为 ṽ_θ^P=v_θ^P-λ_temp(X_t^P-X_{t-1}^P)，只作用于平移和旋转 latent；直觉是把相邻帧 latent 差当作“时间弹簧”，除非当前观测强烈支持，否则抑制突变和对称物体/遮挡导致的翻转。随后输出投影 MLP 把 1024 维速度映射回 token 空间得 ΔZ，并更新 Z_t^P=Z_{t-1}^P+ΔZ，再由布局解码器得 (R_t^o,τ_t^o,s^o)。补充材料还做四元数一致性检查，纠正偶发翻转。\n\nStage 3（Sec. 4.3）：在短窗口 W 内优化式(2)：min_X Σ_{t∈W}[-E_t+λ_sil L_sil+λ_depth L_depth+λ_j2d L_j2d+λ_contact L_contact+λ_smooth L_smooth]。X 含每帧手/物位姿与平移，以及全序列共享的物体尺度 s^o 和手尺度 s^h；规范物体形状与 Dyn-HaMR 手形固定，Stage 3 只调位姿、平移和全局尺度。\n\n图像 SoG（Sec. 4.3.1，Fig. 6）：在物体掩码包围盒上建四叉树，按颜色相似性聚类像素；叶节点 Ω_i 只保留掩码内像素 P_i，计算 μ_i=mean(P_i)、c_i=mean(I_t(P_i))、w_i=|P_i|，各向同性标准差 σ_i=sqrt(r_i^x r_i^y)，r_i^x、r_i^y 为叶内有效像素的水平/垂直半宽。由此得紧凑 K_{I_t}={(μ_i,σ_i,c_i,w_i)}。\n\n物体 SoG（Sec. 4.3.2）：把 Z^{S*} 经 SAM3D 高斯解码器解成稠密 3D 高斯，再用最远点采样（FPS）取至多 2000 个，得到 G_o={(x_j,ρ_j,c_j)}。对解码高斯的尺度 a_j∈R^3，各向同性半径 ρ_j=γ(a_j^x+a_j^y+a_j^z)/3，γ=1.75；投影均值 μ_j,t^2D=Π_t(s^o R_t^o x_j+τ_t^o+Δτ_t^o)，投影标准差 σ_j,t^2D=f̄_t s^o ρ_j/z_j,t，f̄_t=(f_t^x+f_t^y)/2。各向同性近似是为了得到式(5)的标量闭式重叠；补充材料 Table 6 显示各向异性投影并未提升 CD_h，反而慢约 11%。\n\nSoG 对齐能量式(3)：E(K_{I_t},Ψ_t(G_o))=Σ_{i∈K_I} min(Σ_{j∈Ψ_t(G_o)} v_j,t E_ij, E_ii)。Ψ_t(G_o) 是投影后的 2D 物体高斯；v_j,t 是手遮挡可见性门控；E_ij 是颜色加权重叠；E_ii 是图像高斯自重叠。min 的作用是让每个图像高斯至多被解释一次，避免多个物体高斯重复计数，并在无可见模型支持时用自重叠封顶，从而简化遮挡处理，不需要 GS 的排序和 alpha 混合。\n\n式(4)：E_ij=d(c_i,c_j)∫_Ω B_i(u)B_j(u)du，d(c_i,c_j)=exp(-||c_i-c_j||²/σ_c²)，σ_c=0.15。式(5)为各向同性闭式：∫ B_iB_j du=2π σ_i²σ_j²/(σ_i²+σ_j²)·exp(-||μ_i-μ_j||²/(2(σ_i²+σ_j²)))。推导补全（推断）：取未归一化 B_i(u)=exp(-||u-μ_i||²/(2σ_i²))，两高斯乘积仍为高斯，二次项系数 a=1/(2σ_i²)+1/(2σ_j²)，对平面积分得 π/a 乘以上述指数项，即式(5)。该闭式避免逐对 2×2 矩阵求行列式和逆，提供更平滑的对齐信号。\n\n手遮挡门控（Sec. 4.3.4）：v_j,t=1[M_t^h(round(μ_j,t^2D))=0]，即投影物体高斯落在手掩码内时被排除，防止被手遮挡的区域把物体位姿拉向手像素。\n\n先验损失（Sec. 4.3.5，补充材料 10.4）：L_sil 用掩码的签名距离变换 Φ_t^x，在可见边界 B_t^x 上求平均 |Φ_t^x(u)|，x∈{o,h}；它只提供边界梯度，不依赖生成纹理。L_depth 用式(7)：Σ_t(||z_t^h-z_t^pm,h||²+||z_t^o-z_t^pm,o||²+c_t^ho||z_t^o-z_t^h||²)，其中 z_t^x 是掩码内渲染深度中位数，z_t^pm,x 是点图深度中位数；前两项锚定米制深度，第三项仅在接触帧把手和物体深度耦合。L_j2d 是 MANO 关节重投影到检测 2D 关节的平方误差。L_contact=L_near+5L_pen：L_near 把 MANO 接触区顶点拉向物体表面最近点，L_pen 惩罚手/物顶点进入对方表面的负距离。L_smooth 罚手/物平移加速度和物体角加速度。\n\n优化：滑动窗口 |W|=8、stride=7，每窗口 100 步 AdamW；物体平移学习率 2.5e-3、旋转 8e-4、尺度 1e-3，手姿态 4e-4、平移 9e-4、全局朝向 5e-4、尺度 2e-4。物体尺度 clamp 到初始化的 [0.75,2.0] 倍，手尺度 clamp 到 [0.98,1.04] 倍；不做梯度裁剪。Stage 1–2 约 6 分钟、Stage 3 约 10 分钟/100 帧（RTX4090，论文报告）。\n\n\n\n\n\n### 评测设置\n\n数据集与划分：HO3Dv3 用 HOLD 评估集的 18 段单右手、单物体单目视频；HOT3D 因官方测试集无真值，从训练集选 18 段仅含单手-物交互的片段，先去鱼眼畸变。所有视频统一重采样到 10 fps。方法不训练新网络，属于测试时优化/跟踪；Stage 1–2 与 Stage 3 的超参在补充材料 10.2。\n\n指标：手部用根相对 MPJPE（mm）；物体模板质量用 ICP 对齐后的 Chamfer distance（CD，cm）与 10 mm 阈值 F-score（F10，%）；手-物相对位姿用 CD_h：从物体顶点减去预测手根后再算 CD；成功率 SR 定义为能输出有效结果且手相对 CD 未达到 1000 cm；运行时间为单张 RTX4090 上每 100 帧小时数，论文称包含预处理与优化。补充材料还用 ARCTIC 的 CDev、MDev、ACC_h、ACC_o、MRRPE_h→o 评估交互一致性。\n\n基线：HOLD、BIGS、MagicHOI，均尽量用官方实现；BIGS 在 HO3Dv3 的结果由作者用开源实现和报告超参重跑，与 BIGS 原论文数字不同（Table 1 脚注）。HOLD 在 HOT3D 上用其代码训练；MagicHOI 按其官方实现运行。\n\n实现与预算：Stage 3 窗口 8 帧、stride 7、每窗 100 步 AdamW；100 帧总时间约 16 分钟（Stage 1–2 约 6 分钟，Stage 3 约 10 分钟）。Table 3 报告 2000 个 SoG 时存储 0.11 MB、峰值 CUDA 2.4 GB；6 万和 30 万高斯分别约 1.20 h 和 34.1 h/100 帧。\n\n缺失与公平性问题：表 1 所有方法只在成功结果上平均，失败序列被剔除，会高估难数据集上的精度；HOT3D 是作者从训练集挑的 18 段，不是官方测试协议；MagicHOI 面向 2–3 秒短片，却被放到 20–30 秒长视频比较，作者在补充材料 10.11 承认差异；GraG 使用 HOLD/BIGS 时代没有的 SAM3D、Dyn-HaMR、DepthAnything3 等强先验，论文明确承认这是全系统比较，增益不能全归给跟踪器；主表没有逐序列方差/置信区间，补充材料只对部分 CD_h 给 ±；运行时间是否包含 VLM API 网络延迟与计费未说明，待核实；代码/权重链接未在正文给出，复现成本待核实。\n\n\n\n\n\n### 结果与证据\n\n主结果（Table 1，均只在成功结果上平均）：HO3Dv3 上 GraG 为 CD 0.51 cm、F10 97.2%、MPJPE 9.38 mm、CD_h 5.02 cm、SR 100%、0.27 h/100 帧；HOLD 为 0.78/92.0/23.4/4.27/100/10.5，BIGS 为 0.67/94.1/23.9/7.61/100/3.60，MagicHOI 为 1.58/73.7/4.35/129/67.0/1.20。HOT3D 上 GraG 为 0.67/94.7/20.6/9.37/100/0.27；HOLD 3.14/53.3/21.9/122/50.0/10.5，BIGS 2.92/51.7/36.9/84.2/50.0/3.60，MagicHOI 22.6/33.6/18.4/97.1/55.6/1.20。作者据此声称 CD 比 BIGS/HOLD 在 HO3Dv3 降低 23.9%/34.6%，在 HOT3D 降低 77.1%/78.7%，CD_h 比最强基线降低 88.9%，速度快 4.4×–38.9×（1.20/0.27=4.44，10.5/0.27=38.9）。\n\n证据解读：质量与效率的提升在长视频、自视角、强遮挡的 HOT3D 上最明显，主要因为 HOLD/BIGS/MagicHOI 的 COLMAP/SfM 初始化在 HOT3D 上常失败（成功率 50–56%），而 GraG 不依赖 SfM。HO3Dv3 上 GraG 的 CD/F10/SR 最好，但 MPJPE 不是最低（MagicHOI 4.35 mm 更低），CD_h 也略高于 HOLD（5.02 vs 4.27 cm），说明“全面最优”不成立；GraG 的优势是精度-成功率-速度的平衡。\n\n消融（Table 2，4 段序列，2 HO3Dv3+2 HOT3D）：仅基础模型（去掉 Stage 3）CD_h=20.62；保留 Stage 3 先验但去掉 SoG 对齐为 10.45；完整模型 7.65。即 Stage 3 先验挽回了大部分手-物相对深度误差，SoG 把 10.45 降到 7.65，不能把全部增益归给 SoG。全基准补充实验（18+18 段）中，先验-only 到加 SoG：HO3Dv3 7.66→5.02，HOT3D 12.11→9.37，方差也收窄；该数字与 4 段表不可直接比较。\n\n替代跟踪目标：稠密 Gaussian Splatting 跟踪 CD_h=10.46、1.20 h；mesh rendering 12.60、2.40 h；Lucas–Kanade 光流 11.45、0.24 h；完整 SoG 7.65、0.27 h。说明 SoG 不是最快（光流略快），但在该消融集上精度明显更好，且比 GS/mesh 快。\n\n关键帧与 Stage 2：随机 K=4 CD_h=9.36，单首帧 22.73，用所有帧 9.95；平衡选帧的完整模型 7.65，支持“视图质量比数量重要”。去掉冻结形状 CD_h=10.81，去掉时间引导 10.60，完整 7.65，但三者的 CD/F10 均为 0.45/98.8，说明 Stage 2 主要改善手相对物体位姿稳定性，不改变规范物体模板质量。\n\n先验损失：去掉 contact 最严重（CD_h=19.58），去掉 depth 12.70，去掉 silhouette 10.71，去掉 visibility gate 9.35；contact 是手-物相对深度最关键项，depth/silhouette/门控提供较小但一致增益。\n\n交互指标（Table 4）：HOT3D 上 GraG 的 CDev 23.8 mm 远低于 HOLD/BIGS 的 451/570 mm，MRRPE_h→o 155 mm 远低于 606/762 mm；HO3Dv3 上 MDev 5.37 mm、ACC_h 6.17 m/s² 最好，但 CDev 17.0 mm 略差于 HOLD 15.8 mm，MRRPE 45.4 mm 差于 HOLD 38.6 mm。整体支持“长序列交互一致性更好”，但不是每个指标都最优。\n\n高斯数量（Table 3）：2000 个 SoG 与 6 万/30 万高斯相比，CD_h 7.65 vs 7.50，CD/F10/MPJPE 几乎不变，但运行时间 0.27 vs 1.20/34.1 h，峰值显存 2.4 vs 5.5/6.2 GB；强力支持紧凑表示。总体看，效率证据很强，质量证据受“成功结果平均”和“强先验系统比较”影响；SoG 的独立贡献是真实但中等，核心精度主要由基础模型先验和 Stage 3 几何/接触先验提供。\n\n\n\n\n\n### 相关工作\n\n以下比较基于论文正文；未做外部网页核验，项目页仅出现 GraG-page 字样，代码/权重可用性待核实。\n\n与 HOLD 的区别：HOLD 用 NeRF/SDF 联合优化手-物场景，依赖 COLMAP/SfM 初始化，100 帧约 10.5 小时；GraG 先用 MV-SAM3D 从关键帧得到规范物体，再用 2000 个各向同性 SoG 做轻量跟踪，100 帧 0.27 小时。代价是 GraG 依赖 SAM3D、Dyn-HaMR、DepthAnything3、SAM3 与 Gemini 3 等强先验，且不重建照片级纹理；HOLD 的联合优化在纹理/外观上更完整，但在长视频和弱纹理下易受 SfM 失败影响。\n\n与 BIGS 的区别：BIGS 用 3D Gaussian Splatting、triplane MLP 与 SDS 做双人/类别无关重建，100 帧约 3.6 小时，仍需 SfM 式初始化；GraG 不做稠密 GS 渲染，而把稠密高斯稀疏化为 SoG，用闭式高斯重叠匹配图像 SoG。GraG 在 HOT3D 上成功率和 CD_h 明显更好，但只处理单手单刚性物体，BIGS 面向双人场景。\n\n与 MagicHOI 的区别：MagicHOI 在 HOLD 基础上用生成模型补全遮挡区域，论文称其面向 2–3 秒短片段且常需人工选帧/补全视角；GraG 直接处理 20–30 秒长序列，不做显式纹理补全。表 1 中 MagicHOI 的 MPJPE 很低（HO3Dv3 4.35 mm），但 CD_h 129 cm、成功率 67%，说明其只在成功短片段上准，长序列手-物相对位姿不稳定；GraG 以 4.4× 更快、成功率 100% 为卖点。\n\n与 EasyHOI/FollowMyHold 的区别：这些单帧基础模型组合方法缺少视频时间线索；GraG 强调视频级跟踪与时间稳定。与并发工作 AGILE、ForeHOI 的区别：论文仅文字区分，AGILE 用 agentic generation 免 SfM，ForeHOI 做前馈物体重建，均未在表 1 中定量比较，不能据此宣称全面优于它们。\n\n成本与边界：GraG 的速度优势来自“强初始化 + 低维跟踪”，不是单纯算法加速；其精度上限受点图、掩码、接触标志和生成物体几何约束。外部模型版本、API 成本和许可证未在正文给出，复现成本可能高于 0.27 h/100 帧所体现的 GPU 时间。\n\n\n\n\n\n### 关键图表解读\n\n1) Table 1（主定量结果，Sec. 5.4）：同时给出 CD、F10、MPJPE、CD_h、成功率和运行时间，是“更准且快 4.4×–38.9×”的核心证据。支持点在 HOT3D：SfM 基线成功率跌到 50–56%，GraG 为 100%，CD_h 9.37 cm 远低于 84.2/122/97.1 cm。限制：所有方法只在成功结果上平均；HOT3D 是作者选的 18 段训练片段；GraG 用了更强的基础模型先验，不能把差距全归给 SoG；MagicHOI 的短片段设定与长视频不完全公平。\n\n2) Table 2 与 Fig. 9（消融，Sec. 6）：Table 2 用 4 段序列拆开 Stage 1/2/3，Fig. 9 给出对应定性视图。关键数字：仅基础模型 CD_h=20.62，仅先验 10.45，完整 7.65；无 contact 19.58，无 depth 12.70，无 visibility gate 9.35；GS/mesh/光流替代 SoG 为 10.46/12.60/11.45。支持“Stage 3 先验主导、SoG 补足剩余误差并提供效率”，也支持接触先验最关键。限制：仅 4 段、无方差；w/o freeze 与 w/o temporal 的 CD/F10 与完整相同，说明其收益主要体现在 CD_h 而非物体模板；Fig. 9 是定性证据，不能替代大样本统计。\n\n3) Fig. 4（Stage 2 机制，Sec. 4.2）：展示形状 token 被冻结、形状速度置零，布局 token 从上一帧出发，式(1) 的时间引导在 1024 维 latent 速度上抑制帧间突变。它支持“视频自适应 SAM3D 可稳定位姿”的机制 claim；Table 2 的 w/o freeze（CD_h 10.81）与 w/o temporal guidance（10.60）相对完整 7.65 变差，提供部分支持。限制：这是示意图，不是直接证据；消融只在 4 段上，且 CD/F10 不变，说明它改善手相对位姿而非规范几何。\n\n4) Fig. 6 与 Fig. 7（Stage 3 表示，Sec. 4.3）：Fig. 6 展示四叉树图像 SoG、优化前投影物体 SoG 与优化后对齐结果，支持“用少量 2D/3D 高斯即可提供区域级对齐信号”；Fig. 7 对比 mesh/Gaussian 渲染与 SoG，说明 SAM3D 生成纹理不可靠时，光度 render-and-compare 会被纹理伪影带偏，而 SoG 的颜色加权区域匹配更稳。Table 2 的 GS/mesh 替代结果（10.46/12.60 且更慢）支持该解释。限制：Fig. 7 是定性比较；Table 2 只覆盖 4 段；颜色核带宽 σ_c=0.15 等超参对光照/反光的敏感性未系统评估。\n\n5) Table 4（交互一致性，补充材料 10.1）：用 CDev、MDev、ACC、MRRPE 检查接触与运动一致性。HOT3D 上 GraG 的 CDev 23.8 mm、MRRPE 155 mm 远优于 HOLD/BIGS 的 451–570 mm 与 606–762 mm，支持“长自视角序列手-物耦合更稳”；HO3Dv3 上 MDev/ACC_h 最好，但 CDev 17.0 mm 略差于 HOLD 15.8 mm、MRRPE 45.4 mm 差于 HOLD 38.6 mm，说明并非全面占优。限制：这些指标依赖真值网格与接触定义；物体加速度用拓扑无关的根轨迹变体，和原始 ARCTIC 定义不完全相同。\n\n综合这些证据，论文最牢固的结论是“在给定强基础模型先验下，紧凑 SoG 跟踪能显著提速并改善长序列成功率”；最需要继续质疑的是增益归因、成功结果平均与基线协议公平性。\n\n\n\n\n\n### 术语表\n\n术语与符号（按重要性）：\n\n- SoG（Sum-of-Gaussians）：用一组高斯原语表示图像区域或 3D 物体，通过闭式重叠做对齐；本文用它替代稠密 GS 渲染，核心优势是可并行求和、无需排序和 alpha 混合。\n- 图像 SoG：在物体掩码内用四叉树把颜色相近像素聚成 2D 各向同性高斯，每个叶节点有中心 μ_i、标准差 σ_i、颜色 c_i、权重 w_i；作用是给跟踪提供紧凑的图像证据。\n- 物体 SoG：从 SAM3D 稠密高斯中用 FPS 选至多 2000 个，转成各向同性 3D 高斯（中心 x_j、半径 ρ_j、颜色 c_j）；作用是作为可快速重投影的物体跟踪模板。\n- 各向同性协方差：把 3×3 或 2×2 协方差近似为标量方差 σ²I；使式(5)有标量闭式，计算快且对齐地形更平滑；代价是大视角/边界处丢失椭圆投影。\n- 四叉树：递归把图像区域分成四块，直到颜色方差或尺寸满足阈值；本文最大深度 6、颜色方差阈值 0.04、最小叶 8 像素。\n- FPS（最远点采样）：每次选离已选集合最远的点，用于把稠密高斯稀疏到约 2000 个，保持空间覆盖。\n- MV-SAM3D：SAM3D 的多视角扩展，输入多关键帧，输出共享规范形状 token Z^{S*} 与布局；本文 Stage 1 用它重建规范物体。\n- SAM3D：单图生成式 3D 模型，解耦规范形状/纹理与相机空间布局 (R,τ,s)，用条件流匹配预测速度场；本文 Stage 2 冻结其形状、只更新布局。\n- 条件流匹配与速度场：模型不直接回归位姿，而预测 latent 应移动的方向 v_θ；本文在速度上加时间引导。\n- 冻结形状 token：令 Z_t^S←Z^{S*}、v_θ^S≡0，使视频每帧共享同一规范几何，防止遮挡改写形状。\n- 时间引导：式(1) ṽ_θ^P=v_θ^P-λ_temp(X_t^P-X_{t-1}^P)，把相邻帧布局 latent 差作为弹簧，抑制抖动/翻转；只作用于平移和旋转 latent。\n- Dyn-HaMR：单目动态相机手部跟踪方法，输出时序 MANO 手轨迹；本文用它初始化手，Stage 3 只做轻量修正。\n- MANO：参数化手模型，Θ_t 为关节姿态，R_t^h 为全局根朝向，τ_t^h 为全局平移，s^h 为手尺度。\n- DepthAnything3 与 pointmap：单目/多视图深度与相机估计，提供 K_t、T_t 和点图 P_t；本文只用掩码内中位深度作米制锚，不用稠密点图损失。\n- 可见性门控 v_j,t：若投影物体高斯中心落在手掩码内则置 0，避免被手遮挡的物体高斯参与图像匹配。\n- 接触标志 c_t^ho：由 Gemini 3 对整段视频给出抓握时间区间再转成每帧 0/1；用于开启接触损失和手-物深度耦合。\n- CD（Chamfer distance）：物体网格 ICP 对齐后的双向最近点距离，单位 cm；衡量模板几何。\n- F10：10 mm 阈值下的 F-score，衡量物体几何在容差内的覆盖率。\n- CD_h（手相对 CD）：从物体顶点减去预测手根后算 CD，衡量手-物相对位姿而非仅物体形状。\n- MPJPE：根相对手部关节平均位置误差，单位 mm；本文报根相对值。\n- SR（成功率）：能输出有效结果且 CD_h 未达到 1000 cm 的序列比例；失败会被剔除出其他指标平均。\n- CDev/MDev/MRRPE/ACC：ARCTIC 交互指标，分别衡量接触偏差、运动偏差、手-物根相对位置误差、加速度误差；ACC_o 用物体根轨迹的拓扑无关变体。\n- 滑动窗口 W：Stage 3 每次优化 8 帧、stride 7，窗口间 1 帧重叠；每窗 100 步 AdamW。\n- 有符号距离变换（SDT）：Φ_t^x(u) 为像素到掩码边界的带符号距离，用于 silhouette 损失；只拉可见边界，不依赖纹理。\n- 接触区与穿透损失：L_near 拉 MANO 接触区顶点到物体表面；L_pen 惩罚手/物表面相互进入，权重 λ_pen=5。\n- 规范物体（canonical object）：与帧无关的物体形状/高斯资产；Stage 1 重建一次，Stage 2/3 只估计其每帧位姿与全局尺度。\n\n\n\n\n\n### 全部图表索引\n\n图索引（编号、主题、位置、相关 claim）：\n\n- Fig. 1： teaser，单目视频输入与手-物重建输出；Sec. 1 首页；支持 in-the-wild 与长序列卖点，定性。\n- Fig. 2：方法总览，预处理+Stage 1/2/3 数据流；Sec. 4；支持系统架构 claim，示意非定量。\n- Fig. 3：Stage 1 关键帧选择与 MV-SAM3D 规范物体重建；Sec. 4.1；支持多关键帧优于单帧的动机，细节见补充 10.4。\n- Fig. 4：Stage 2 冻结形状与布局 latent 时间引导；Sec. 4.2；支持式(1)机制，定量见 Table 2。\n- Fig. 5：Stage 3 手-物 SoG 跟踪与 sil/depth/contact 先验；Sec. 4.3；支持跟踪目标组成，定性。\n- Fig. 6：图像四叉树 SoG、优化前/后投影物体 SoG；Sec. 4.3.1–4.3.2；支持紧凑 SoG 对齐可行性，定性。\n- Fig. 7：mesh/GS 渲染目标与 SoG 的差异；Sec. 4.3；支持“生成纹理不可靠时 SoG 更稳”，对应 Table 2 替代实验。\n- Fig. 8：与 HOLD/BIGS/MagicHOI 的定性比较，HO3D 前两行、HOT3D 后两行；Sec. 5.4；支持几何细节与手姿合理性，注意 MagicHOI 有 N/A。\n- Fig. 9：消融定性视图，含全帧/无冻结/GS/光流/无门控；Sec. 6；支持 Table 2 的设计选择，定性。\n- Fig. 10：关键帧选择对规范物体形状/尺度的影响；补充材料 10.1；支持平衡选帧优于随机/全帧。\n- Fig. 11：物体-only 重建前/后视图与真值；补充材料 10.1；支持规范几何质量，定性。\n- Fig. 12：人类螺丝刀演示到 SimToolReal 策略输入/目标位姿；Sec. 7；支持机器人应用可行性，作者注明是策略输入可视化而非真实物理执行。\n- Fig. 13：更多定性结果，手-物网格叠加与侧视图；补充材料；支持 in-the-wild 定性，非定量。\n\n表索引：\n\n- Table 1：主定量比较，HO3Dv3/HOT3D 上 CD、F10、MPJPE、CD_h、SR、runtime；Sec. 5.4；核心结果，注意仅成功结果平均、BIGS HO3Dv3 为作者重跑。\n- Table 2：4 段序列消融，Stage 1 关键帧、Stage 2 冻结/时间引导、Stage 3 SoG/先验/替代跟踪；Sec. 6；核心归因证据，样本小、无方差。\n- Table 3：高斯数量-计算-内存-质量 trade-off，Sparse SoG 约 2000、Reduced 约 6 万、Full 约 30 万；补充 10.1；支持紧凑表示。表头 CD_R 疑为 CD_h 的排版/笔误，待核实。\n- Table 4：ARCTIC 交互一致性指标 CDev/MDev/ACC_h/ACC_o/MRRPE_h→o；补充 10.1；支持长序列手-物耦合，注意表头 ACC_b 疑为 ACC_h，待核实。\n- Table 5：接触信号验证，Gemini 3 VLM 与 mask-proximity 的 F1/平衡准确率；补充 10.3；支持 VLM 接触标志更可靠，注意 VLM 仍会 hallucinate 1.2%/1.8% 帧。\n- Table 6：各向同性标量重叠 vs 各向异性 2×2 矩阵重叠；补充 10.5；支持各向同性近似不降精度且快约 11%。\n- Table 7：HO3Dv3 使用的 18 段序列与物体名；补充 10.6；复现索引，全为右手。\n- Table 8：HOT3D 使用的 18 段片段、左右手、起止时间戳与物体 ID；补充 10.6；复现索引，注意是训练集片段而非官方测试集。\n\n缺失/不可读说明：正文未给项目页可点击 URL 与代码/权重许可证；Fig. 12 明确不是真实机器人执行；补充材料 10.7 给基线实现细节，但外部模型版本/API 成本未系统报告；图片在文档中以嵌入图存在，数值表可读。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n## 结论可信度分级\n\n- 强证据（作者主张 + 表1/表3 + 系统实现）：GraG 作为“强基础模型先验 + 轻量跟踪”的完整系统，在 HO3Dv3 与 HOT3D 上确实比 HOLD/BIGS/MagicHOI 快很多。表1给出 0.27 h/100 帧，而 MagicHOI/BIGS/HOLD 为 1.20/3.60/10.5；表3显示 2000 个 SoG 与 6 万/30 万高斯相比精度几乎不变，但显存和运行时间大幅下降。该效率结论较可靠，但仅限作者报告的单张 RTX4090、10 fps、单手持单刚性物体设定。\n- 中等证据（表2四序列、补充10.10全基准）：Stage 3 的几何/接触先验是 CD_h 的主要贡献；仅基础模型 CD_h=20.62，仅先验损失为 10.45，完整模型 7.65。全基准补充实验从先验-only 到加 SoG：HO3Dv3 7.66→5.02，HOT3D 12.11→9.37。因此 SoG 有真实但中等的独立贡献，不能把全部增益归给 SoG。限制是四序列样本小、无逐序列显著性检验；全基准只有均值±标准差。\n- 弱证据/待核实：全面优于所有基线不成立。HO3Dv3 上 MagicHOI 的 MPJPE 更低（4.35 mm 对 9.38 mm），HOLD 的 CD_h 更低（4.27 对 5.02 cm）；交互指标中 HO3Dv3 的 CDev/MRRPE 也略差于 HOLD。表1只在成功结果上平均，失败序列被剔除，会高估难数据集精度。HOT3D 是作者从训练集选的 18 段，不是官方测试协议；MagicHOI 面向 2–3 秒短片，却被放到 20–30 秒长视频比较，补充10.11已承认。4.4×–38.9×由 1.20/0.27 与 10.5/0.27 算出，算术正确，但运行时是否包含全部 VLM 网络延迟与 API 计费未说明。\n\n## 关键假设与失败场景\n\n1. 假设 SAM3D/MV-SAM3D 给出的规范物体几何和 Dyn-HaMR 手初始化足够准。若生成物体拓扑或尺度错误，Stage 2/3 只能调位姿和全局尺度，不能修形状；失败会直接传到 CD/F10。证据：表2中 Stage 1 单首帧 CD_h=22.73，随机 K=4 为 9.36，说明关键帧质量重要。\n2. 假设 DepthAnything3 点图中位深度是可靠米制锚。补充10.12承认严重点图失败会让手和物体在错误尺度上一致；作者只在中位深度层面耦合，不做稠密点图损失。\n3. 假设 SAM3 掩码和 Gemini 3 接触标志可靠。表5显示 VLM 接触 F1 高，但仍有 1.2%/1.8% 帧幻觉；掩码接近法在深度分离但图像重叠时会误报接触，替换后 CD_h 从 5.02 升到 5.53 cm（HO3Dv3），9.37 升到 10.60 cm（HOT3D）。\n4. 假设各向同性 SoG 近似不损害细长物体和边界。补充10.5显示各向异性投影并未提升 CD_h，反而慢约 11%；但这是 4 段消融，不能证明所有细长/边界场景都安全。\n5. 假设单手持单一刚性物体、固定规范形状。双手、可变形物体、物体自身关节运动均超出范围；Stage 2 冻结形状也无法处理真实变形。\n6. 假设 Stage 2 时间引导和四元数检查能消除翻转。表2 w/o temporal guidance CD_h=10.60、w/o freezing=10.81，完整 7.65，说明有效但只在 4 段上验证；对称物体、快速旋转、弱纹理仍是失败场景。\n\n## 复现计划\n\n### 必需工件\n\n- 论文正文与补充材料（本材料已含关键公式、超参、序列表）。\n- 外部模型：SAM3D、MV-SAM3D、Dyn-HaMR、DepthAnything3、SAM3、Gemini 3 或可替代接触信号；MANO 模型与关节回归器；HO3Dv3、HOT3D 数据。\n- 代码/权重：正文只写 GraG-page，未给可点击 URL、许可证或版本；这是最大 blocker，待核实。\n\n### 重要设置（均来自论文，不额外发明）\n\n- 视频统一 10 fps；K=4 关键帧；图像 SoG 四叉树最大深度 6、颜色方差阈值 0.04、最小叶 8 像素、padding 2 像素；物体 SoG 用 FPS 取至多 2000 个，各向同性半径 γ=1.75；每个投影物体高斯匹配 64 个最近图像高斯；颜色核 σ_c=0.15。\n- Stage 3：窗口 8 帧、stride 7、每窗 100 步 AdamW，β=(0.9,0.95)，weight decay 0；物体平移/旋转/尺度学习率 2.5e-3、8e-4、1e-3；手姿态/平移/全局朝向/尺度 4e-4、9e-4、5e-4、2e-4；物体尺度 clamp 到初始化的 [0.75,2.0] 倍，手尺度 [0.98,1.04] 倍；不做梯度裁剪。\n- 损失权重：λ_sog=0.05、λ_j2d=0.5、λ_depth=1000、λ_sil=100、λ_contact=1000、λ_smooth=100；L_contact=L_near+5L_pen。\n\n### 验证步骤\n\n1. 先在小集合复现表2：ABF14、GPMF12、P0011_0c2d00ed、P0011_2255f410。核对预处理坐标：Dyn-HaMR 手与物体是否同坐标系；关键帧选择是否得到 Fig.10 的稳定形状。\n2. 复现四序列消融顺序：仅基础模型→仅先验→完整 SoG；并替换 GS/mesh/光流。成功标准是 CD_h 排序一致，完整约 7.65 cm，仅先验约 10.45 cm，仅基础模型约 20.62 cm；允许因外部模型版本有偏差，但趋势必须成立。\n3. 复现表1：HO3Dv3 18 段、HOT3D 18 段；同时报告“成功结果平均”和“全序列/失败计惩罚”两套口径。核对 BIGS 在 HO3Dv3 的作者重跑设置与 Poisson 重建后处理。\n4. 做运行时拆解：Stage 1–2 约 6 分钟、Stage 3 约 10 分钟/100 帧；记录是否含 SAM3、DA3、Dyn-HaMR、Gemini API 调用与网络延迟。\n5. 做敏感性：替换 VLM 接触为 mask-proximity，扰动掩码/点图，检查 CD_h、SR、CDev 的变化；确认失败传播路径。\n\n### 成功标准\n\n- 四序列 CD_h 在报告值附近且消融排序一致；全基准 HO3Dv3 约 5.02±1.47 cm、HOT3D 约 9.37±4.68 cm；运行时间约 0.27 h/100 帧、峰值 CUDA 约 2.4 GB；SoG 相对先验-only 有稳定但非全部增益的改进。\n- 若无法获得 SAM3D/MV-SAM3D/Dyn-HaMR 权重或 Gemini API，则只能做部分复现；此时应明确标为不可复现 blocker，不能用替代模型结果宣称复现了论文。\n\n### 伪代码（推断，仅用于重建数据流）\n\n```text\n输入：视频 I，掩码 M_h/M_o，点图 P，相机 K/T，手初始化 H，接触 c\n选 K=4 关键帧 V\nZ_S <- MV-SAM3D(V)\nG_dense <- decode(Z_S)\nG_o <- FPS(G_dense, 2000) 并各向同性化\nfor t in 1..N:\n  Z_P_t <- SAM3D_layout(Z_P_{t-1}, X_t^P, 时间引导 λ_temp, 冻结 Z_S)\n  R_t, tau_t, s <- layout_decode(Z_P_t)\nfor window W:\n  for iter in 1..100:\n    build image SoG K_I_t\n    project G_o，计算可见性门控 v\n    loss = -E + λ_sil L_sil + λ_depth L_depth + λ_j2d L_j2d + λ_contact L_contact + λ_smooth L_smooth\n    AdamW 更新位姿、平移、全局尺度\nreturn 手/物体位姿与规范物体\n```\n\n\n\n\n\n### 应用约束\n\n## 已演示的部署行为\n\n- 输入输出：单目 RGB 视频，10 fps 重采样；输出每帧 MANO 手参数、物体 6D 位姿/全局尺度、规范物体几何。作者在 Fig.1/Fig.8/Fig.13 展示 in-the-wild 与长序列定性结果；在 Fig.12 展示把 GraG 物体轨迹转成 SimToolReal 目标位姿的策略输入可视化。\n- 计算：单张 RTX4090，100 帧约 16 分钟（Stage 1–2 约 6 分钟，Stage 3 约 10 分钟），即 0.27 h/100 帧，约 9.6–9.7 秒/帧；不是实时，适合离线或准离线。2000 个 SoG 时存储 0.11 MB、峰值 CUDA 2.4 GB；6 万/30 万高斯分别约 1.20 h/34.1 h、5.5/6.2 GB。\n- 鲁棒性：在 HOT3D 这类自视角、动态相机、强遮挡数据上，作者报告成功率 100%，而 SfM 基线降到 50–56%；说明“免 COLMAP/SfM 初始化”对长视频有实际价值。\n\n## 推断的约束与边界\n\n- 数据前提：需要 SAM3 手/物掩码、VLM 物体标签、DepthAnything3 相机与点图、Dyn-HaMR 手初始化、Gemini 3 接触区间；任一外部模型失败都可能传播。掩码在极端遮挡下难恢复；点图严重失败会偏物体尺度/平移；接触标志错误会误开深度耦合和接触损失。\n- 适用对象：单手持单一刚性物体；不处理双手、可变形物体、关节物体。物体规范形状固定，Stage 3 只调位姿、平移和全局尺度，不能修拓扑。\n- 外观/光照：SoG 用颜色加权区域匹配，比生成纹理的 render-and-compare 稳，但仍受光照变化、阴影、镜面高光和弱纹理影响；补充10.5和Limitations均承认。\n- 运行时边界：0.27 h/100 帧是否含 VLM API 网络延迟、重试和计费未说明；若按 API 计费或需要多模型并行，实际成本可能高于 GPU 时间。论文未给许可证、模型版本和代码/权重链接，部署前需法务与工程核实。\n- 机器人应用：正文称补充视频中 SimToolReal 成功操作螺丝刀，但 Fig.12 明确是策略输入与目标跟踪可视化，不是真实物理执行；且作者说错误物体跟踪可占 SimToolReal 44% 失败。因此“机器人可用”是可行性演示，不是已证明的闭环部署。\n- 安全/实时性：约 10 秒/帧的离线管线不适合在线闭环控制；若用于机器人，需要缓存目标位姿或降采样，并加失败检测。\n\n\n\n\n\n### 探索问题\n\n1. 增益归因问题：在固定相同 SAM3D/MV-SAM3D 与 Dyn-HaMR 初始化、相同窗口和迭代预算下，SoG 相对 priors-only 的独立贡献到底多大？验证方法：在全部 18+18 段上做 priors-only、完整 SoG、GS、mesh、光流五组，报告每序列 CD_h、SR、CDev 与 bootstrap 置信区间，并同时给出失败计惩罚口径。可能收益：把“系统强先验”与“SoG 跟踪器”的贡献分开，避免过度宣称。风险：Stage 3 先验与 SoG 强耦合，固定预算可能不利于某一方；全量复现受外部模型版本影响。\n2. 接触/可见性/点图错误的传播边界：当 VLM 接触标志、手掩码或点图在中段出错时，CD_h 和成功率如何退化？验证方法：对 4–8 段做受控扰动（接触区间前后偏移、掩码膨胀/腐蚀、点图深度缩放/局部缺失），比较完整模型、去 contact、去 visibility gate、mask-proximity 替代；记录失败是局部抖动还是全局漂移。可能收益：给出部署时的监控阈值和回退策略。风险：合成扰动未必代表真实遮挡和镜面反射，结论可能偏乐观。\n3. 各向同性 SoG 在细长物体和图像边界是否失效：验证方法：按物体长宽比和边界裁剪比例分层，比较 2000 各向同性、2000 各向异性、混合边界各向异性、6 万高斯；报告 CD_h、F10、运行时间和失败序列。可能收益：判断是否需要为剪刀/螺丝刀等细长物体加各向异性或边界专用项。风险：补充10.5已显示各向异性在 4 段上无增益且慢 11%，全量实验可能收益有限、成本增加。\n\n\n\n\n\n### 引用与核验\n\n## 核验范围说明\n\n本轮只依据所给论文正文、补充材料与参考文献列表；未访问任何外部网页、代码库或数据集主页。因此以下“已核验”仅指论文内部一致，不指外部事实已独立确认。\n\n## 支持新颖性与核心主张的引用\n\n- SoG 跟踪不是本文首次提出：Stoll et al. 2011 与 Sridhar et al. 2014 被用来支撑经典 Sum-of-Gaussians 跟踪和闭式重叠；论文的贡献应表述为“把 SoG 与生成式 3D 先验、视频自适应 SAM3D 结合”，而不是发明 SoG。该判断由论文 Related Work 与 Sec.4.3 支持。\n- 生成式物体先验：SAM3D（Chen et al. 2025，arXiv:2511.16624）与 MV-SAM3D（Li et al. 2026，arXiv:2603.11633）是 Stage 1/2 的依赖；论文只给 arXiv 信息，版本、权重和许可证未核验。\n- 手部初始化：Dyn-HaMR（Yu et al. 2025，CVPR）被用来提供相机坐标系手轨迹；论文称其可直接在 K/T 坐标系回归，因而免后对齐。该主张有正文支持，但未外部核验。\n- 相机/深度：DepthAnything3（Lin et al. 2025，arXiv:2511.10647）与 SAM3（Carion et al. 2025，arXiv:2511.16719）是预处理依赖；接触用 Gemini 3（Google 2025，模型标识 gemini-3-flash-preview）。API 成本、地区可用性和版本稳定性未报告，待核实。\n\n## 最强比较与关键数字\n\n- HOLD（Fan et al. 2024，CVPR）、BIGS（On et al. 2025，CVPR）、MagicHOI（Wang et al. 2025，arXiv:2508.05506）是表1主比较。论文脚注承认 BIGS 在 HO3Dv3 的数字是作者用开源实现和报告超参重跑，与 BIGS 原论文不同；这降低“直接引用原论文数字”的可比性，但作者已披露。\n- MagicHOI 的差距有协议问题：补充10.11承认 MagicHOI 原论文用 2–3 秒精选片段，而本文用 20–30 秒原始 HO3D 序列；因此表1中 MagicHOI 的低成功率不能单独作为方法优劣的干净证据。\n- 4.4×–38.9×由表1运行时间算出：1.20/0.27≈4.44，10.5/0.27≈38.9；算术正确，但“运行时含预处理与优化”是否含 VLM API 延迟、重试和计费未说明。88.9% CD_h 降低对应 HOT3D 上 9.37 对 84.2（BIGS）的计算；该“最强基线”选择需结合成功率与协议解读。\n- 成功率 100% 的定义是能输出有效结果且 CD_h 未达 1000 cm；表1所有方法只在成功结果上平均，失败序列被剔除。该点由表1标题和 Sec.5.2 明确支持，是解读主结果的关键限制。\n\n## 复现依赖与未核验项\n\n- 代码/权重：正文只出现 GraG-page 字样，无可点击 URL、许可证或版本；这是复现的最大 blocker，待核实。\n- 数据集：HO3Dv3 用 HOLD 评估集 18 段（Table 7 列名），HOT3D 用作者从训练集选的 18 段（Table 8 给时间戳与物体 ID），不是 HOT3D 官方测试协议；数据访问与预处理脚本未核验。\n- 并发工作：AGILE（Shi et al. 2026，arXiv:2602.04672）与 ForeHOI（Chen et al. 2026，arXiv:2602.06226）仅在 Related Work 文字区分，未在表1定量比较；不能据此宣称 GraG 全面优于它们。\n- 物理/机器人：SimToolReal（Kedia et al. 2026，arXiv:2602.16863）只做定性集成；Fig.12 明确不是真实物理执行，正文“补充视频成功”与图注“非真实机器人执行”需区分。\n- 其余引用（HandOccNet、H2ONet、HaMeR、EasyHOI、FollowMyHold、Hu et al. 物理方法、HOIC、ARCTIC 指标等）主要用于背景、指标或相关工作总结，未逐一核验；其中 ARCTIC 指标定义被 Table 4 使用，但物体加速度用了拓扑无关变体，论文已说明。\n\n\n\n\n\n### 最终判断\n\n可信的是：在强基础模型先验、单手持单刚性物体、离线长视频设定下，GraG 的三阶段系统和紧凑 SoG 跟踪确实能显著降低运行时间，并在 HOT3D 这类 SfM 易失败的数据上改善成功率与手-物相对位姿；表1、表3和消融支持这一工程结论。不可直接相信的是：全面 SOTA、增益主要来自 SoG、以及 0.27 h/100 帧覆盖全部外部成本；成功结果平均、HOT3D 片段选择和 MagicHOI 长短视频协议差异会高估优势。使用建议：把它当作强先验驱动的离线重建与“人类演示转机器人目标位姿”前端，部署前在目标数据上复现 priors-only 对照，并同时报告失败序列。下一步：在固定外部模型版本下复现表2四序列与全基准 priors-only/SoG 对照，确认归因和失败边界。"
}