{
  "paper_id": "c8d9f9cdd409297aa6747854817f61bb",
  "paper_title": "DF-Mamba: Deformable State Space Modeling for 3D Hand Pose Estimation in Interactions",
  "paper_authors": [
    "Yifan Zhou",
    "Takehiko Ohkawa",
    "Guwenxiao Zhou",
    "Kanoko Goto",
    "Takumi Hirose",
    "Yusuke Sekikawa",
    "Nakamasa Inoue"
  ],
  "publication_date": "",
  "publication_venue": "2026 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "建模日常手部交互常面临双手重叠等严重遮挡，因此3D手部姿态估计需要鲁棒特征学习。为处理遮挡手部图像，必须有效学习局部图像特征（如被遮挡关节）与全局上下文（如关节间、双手间或场景线索）之间的关系。然而当前多数3D HPE方法仍依赖ResNet提取特征，CNN的归纳偏置因全局上下文建模能力有限而可能并非最优。为此，论文提出基于状态空间建模（Mamba）的高效视觉特征提取框架Deformable Mamba（DF-Mamba）。该框架借助Mamba选择性状态建模和所提出的可变形状态扫描，捕获标准卷积之外的全局上下文线索；对于卷积后的局部特征，可变形扫描在图像内聚合特征，同时选择性保留表示全局上下文的有用线索。该方法显著提升结构化3D HPE精度，推理速度与ResNet-50相当。实验在五个差异显著的数据集上广泛评估，涵盖单手与双手、纯手与手物交互，以及RGB和深度估计；DF-Mamba在所有数据集上优于VMamba和Spatial-Mamba等最新图像主干，并达到当前最优性能。\n",
  "keywords": [
    "3D手部姿态估计",
    "状态空间模型",
    "Mamba",
    "可变形扫描",
    "视觉主干网络",
    "遮挡处理",
    "双手交互",
    "手物交互"
  ],
  "paper_institutions": [
    "Institute of Science Tokyo",
    "Denso IT Laboratory",
    "The University of Tokyo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:42:36.352061Z",
  "template_tag": "deep_read",
  "summary": "# DF-Mamba: Deformable State Space Modeling for 3D Hand Pose Estimation in Interactions\n\n\n**作者 / Authors:** Yifan Zhou, Takehiko Ohkawa, Guwenxiao Zhou, Kanoko Goto, Takumi Hirose, Yusuke Sekikawa, Nakamasa Inoue\n\n\n**单位 / Institutions:** Institute of Science Tokyo, Denso IT Laboratory, The University of Tokyo\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：提供的 Markdown 含正文、图 1–5、表 1–7 与参考文献，但未含附录（正文多次引用 Appendix）、代码/数据链接、详细超参数和发表信息；因此实现细节与可复现性判断需待核验。论文类型判定为 method：核心贡献是新的 DSSM 层/DF-Mamba 主干及在 3D HPE 上的实验，而非系统部署或综述。主要材料缺口：附录缺失、训练细节与解码器接口不完整、发表 venue/日期未在文档中给出。\n\n\n\n\n\n### 问题\n\n问题：从单张 RGB/深度图像估计交互场景中的 3D 手部关节坐标，尤其在双手重叠、手物遮挡、自遮挡和第一人称视角下保持鲁棒。重要性：AR/VR 与手物交互需要实时、准确的 3D HPE，遮挡下局部关节外观不可靠，必须利用关节间、双手间、手物和场景的全局上下文。现有方法不足：主流 3D HPE 仍以 ResNet-50 为编码器，卷积的局部感受野难以建模全局上下文；ViT 全局建模强但计算复杂度高，且跨域（双手、深度、第一人称）训练困难；Mamba 图像主干虽能高效建模长序列，但 VisionMamba/VMamba/Spatial-Mamba 等多采用固定网格扫描，无法根据手部结构或遮挡区域自适应选择采样点，背景像素与关节密集区域的采样效率不匹配。形式化目标可写为从图像 I 预测关节三维坐标 J，但论文未给出单一闭式目标，核心是学习局部特征与全局上下文的关系。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：DF-Mamba 用可变形状态扫描把 Mamba 的固定网格扫描改为由输入特征预测偏移/权重的自适应采样，并以卷积-DSSM-门控卷积三混合主干提升遮挡交互下的 3D HPE 精度，同时保持 ResNet-50 级速度。\n\n核心思想与贡献：1) 提出 DSSM，在状态方程中以 K 个锚点、可学习偏移 o_{k,t} 和权重 b_k 聚合局部特征（式 3–4，图 1b、图 2b），并说明 K=1、o=0、b=1 时退化为标准 Mamba，故为 Mamba/Spatial-Mamba 的一般化；2) 构建 DF-Mamba 主干：卷积 stem、stage1–2 卷积块、stage3/5 DSSM+FFN、stage4/6 门控卷积块，输出金字塔特征（图 4）；3) 在五个数据集上替换 Jiang et al. 与 Zhou et al. 框架的骨干并报告 SOTA。\n\n最重要结果：表 1 中 DF-Mamba 在 InterHand2.6M 达 MPJPE 7.94/10.53/9.32 mm（单/双/全部），42M 参数、112.2 FPS；DexYCB 17.80 mm、AUC 87.31；AssemblyHands 18.78 mm、AUC 86.12；NYU 7.96 mm；RHP 17.16 mm。作者声明其为所有数据集最佳且速度与 ResNet-50 相当；可支持的范围是这些数据集、相同训练/评估协议、与 ResNet-50 级模型比较下的结果。表 7 消融支持可变形扫描（去掉后 DexYCB 17.80→18.90）和三混合结构（单模态/双混合更差），但未充分证明跨解码器、跨域零样本或真实部署条件下的优势。\n\n优先阅读：第 3.2 节与式 3–4（DSSM 定义）、第 4.1–4.2 节与图 3–4（块与三混合架构）、表 1 与表 7（主结果与消融）；下一轮需追问偏移/权重的具体预测网络与监督方式、K 锚点实现细节、DSSM 的计算复杂度、与解码器耦合及失败案例。总体上，论文把“固定扫描不适合结构化手部预测”的观察转化为可变形 SSM，并用多数据集实验支撑其主干替换价值。\n\n下一轮将围绕 DSSM 的偏移预测与计算复杂度、表 7 消融的可解释性以及跨数据集训练条件展开证据核查。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入→输出：输入图像 I（RGB 或深度）→ DF-Mamba 编码器输出 stage1/2/4/6 的金字塔特征 → 现有 3D HPE 解码器（Jiang et al. 或 Zhou et al.）→ 3D 关节坐标 J。论文只改骨干，不改解码器。\n\n关键步骤：\n\n1) 卷积 stem：两层 3×3、stride 2 卷积，通道 32→80，输出 H/4×W/4×80。\n2) stage1–2：各 3 个 ResNet-18 basic block，3×3、stride 1，激活用 GELU；stage1、2、4 末尾加 3×3、stride 2 下采样。\n3) stage3：5 个 DSSM+FFN block；stage4：5 个 gated convolution block；stage5：2 个 DSSM+FFN block；stage6：1 个 gated convolution block。整体为 C-C-D-G-D-G 的 tribrid。\n4) 从 stage1/2/4/6 取特征，分别做 LayerNorm 和线性层后拼接为金字塔特征。\n5) 解码器沿用原框架，输出关节坐标。\n\n核心公式与含义：\n标准连续 SSM（式1）：h'(t)=A h(t)+B x(t)，y(t)=C h(t)+D x(t)。A 为状态转移，B/C/D 控制输入、输出和直通项。\n离散化（式2）：h(t)=A_bar h(t-1)+B_bar x(t)，y(t)=C h(t)+D x(t)，其中 A_bar=exp(ΔA)，B_bar=(ΔA)^{-1}(exp(ΔA)-I)(ΔB)，Δ 为时间尺度。\nSweep scan（式3）：p_t=(mod(t-1,W)+1, floor((t-1)/W)+1)，t=1..HW，把二维特征图按固定网格拉成一维序列。\nDSSM 的二维形式（Sec3.2，摘录中公式编号不稳定，按上下文为式3–4）：h(t)=A_bar h(t-1)+B_bar Σ_{k=1}^K b_k x(p_t+a_k+o_{k,t})，y(t)=C h(t)+D x(p_t)。a_k 是固定锚点，o_{k,t} 是偏移向量，b_k 是权重；K 个锚点对称取 a_k∈{(i,j): i,j∈{-1,0,+1}}，故 K=9。o_{k,t} 与 b_k 都由输入 x 经可学习线性层预测。\n\n推导与作用：把标准 SSM 输入项 B_bar x(t) 换成 B_bar 乘局部可变形聚合 Σ b_k x(p_t+a_k+o_{k,t})。令 K=1、a_1=0、o=0、b=1，则退化为标准 Mamba/SSM；令 o=0、b 固定，则成为固定局部聚合，可覆盖邻域或 dilated 操作的特例（作者称可覆盖 Spatial-Mamba，未独立证明）。动机是固定网格把背景像素和关节密集区同等采样；偏移可跳过无关区域，权重可弱化无用线索，使隐状态 h 聚合关节间、双手间、手物和场景的全局上下文。\n\n必要模块与实现缺口：DSSM block 采用 Fig3(d)：X'=Norm(X)，Z1=DSSM(SiLU(Conv(Linear(X'))))，Z2=SiLU(Linear(X))，Y=Linear(Z1⊙Z2)+X；其中 Conv 为 depthwise 1D 卷积，σ 为 SiLU；之后接 FFN（Fig3(e)）。gated convolution block 去掉 DSSM，仅保留 Z1=σ(Conv(Linear(X'))) 的门控结构。材料未给偏移/权重的具体预测网络、采样插值方式、边界处理、DSSM 的 FLOPs 与 K 点并行实现，需 Appendix 或代码核验。\n\n\n\n\n\n### 评测设置\n\n数据集与指标：InterHand2.6M（双手 RGB，MPJPE，分 Single/Two/All）；RHP（单手持 RGB，EPE，GT-free 设置）；NYU（深度，ME）；DexYCB（手物交互 RGB，MPJPE 与 AUC）；AssemblyHands（第一人称手物交互，MPJPE 与 AUC）。AUC 越大越好，误差越小越好。划分与评估遵循各数据集原协议；所有模型在同一划分上从头训练。\n\n基线与集成方式：比较 6 个骨干：ResNet-50、ConvNeXt-T、ViT-S、Swin-T、VMamba-T、Spatial-Mamba-T（SMamba-T），并选与 ResNet-50 相近的模型规模。InterHand2.6M、RHP、NYU 集成到 Jiang et al. 框架；DexYCB、AssemblyHands 集成到 Zhou et al. 框架。Table2–6 还与各数据集 SOTA 方法比较。\n\n计算环境：单张 NVIDIA H100，FP32；FPS 在 InterHand2.6M 上以 batch size 1 测量。训练超参、输入分辨率、优化器、学习率、epoch、batch size、损失、数据增强、深度预处理、解码器细节均称在 Appendix，但材料未提供；未报告训练时间、显存、FLOPs、多次运行方差或显著性检验。\n\n缺失与公平性：1) 表1 中 ViT-S 在多数数据集缺失，不能判断其完整排名；摘录中 Table1 的 AssemblyHands AUC 列似乎缺失或不可读，DF-Mamba 的 86.12 来自 Table7，基线 AUC 不完整。2) FPS 与 Moon et al. InterHand 的 330.5 不能直接比较，因为解码器与整体流程不同；作者也承认相对 InterHand 计算成本约 3 倍。3) 与 SOTA 的比较使用不同骨干/解码器与模型规模，属于“同协议下替换骨干”的比较，不是严格同架构消融。4) 未说明基线是重训还是引用原论文数字；未报告统计波动。5) 发表 venue/日期、代码/数据链接、附录均缺失，复现性与外部状态待核验。\n\n\n\n\n\n### 结果与证据\n\n决定性结果：\n\n1) Table1 主结果：DF-Mamba 在五个数据集上均优于所列骨干。InterHand2.6M MPJPE 7.94/10.53/9.32 mm（Single/Two/All），相对 ResNet-50 的 8.10/10.96/9.63 分别改善 0.16/0.43/0.31；RHP 17.16 vs 17.75；NYU 7.96 vs 8.43；DexYCB 17.80、AUC 87.31 vs 19.36、84.80；AssemblyHands 18.78 vs 19.35。模型 42M、112.2 FPS，与 ResNet-50 的 42M、109.2 FPS 接近。\n2) 与各数据集 SOTA 比较（Table2–6）：InterHand2.6M All 9.32 vs Jiang et al. 9.63、Moon et al. 14.22；RHP 17.16 vs Jiang et al. 17.75；NYU 7.96 vs Jiang et al. 8.43、Fang et al. 8.29；DexYCB 17.80 vs Zhou et al. 19.36；AssemblyHands 18.78 vs Zhou et al. 19.17。作者据此声称 SOTA，但比较对象是所选方法，不是穷尽所有文献。\n3) 消融 Table7：去掉 deformable scan（退化为 vanilla SSM）后，DexYCB 17.80→18.90、AUC 87.31→85.59；AssemblyHands 18.78→19.38、AUC 86.12→84.93，支持可变形扫描。tribrid 优于单模态与双混合：单模态 DDDDDD 最差（Dex 21.61、Assembly 19.82），GGGGGG 为 18.70/19.13，CCCCC 为 19.36/19.35；双混合 CCGGGG 为 18.67/18.97，CCDDDD 为 19.01/19.08；tribrid 为 17.80/18.78。K 消融：K=1 为 18.62/19.11，K=9 为 17.80/18.78，K=25 为 18.11/18.83，默认 K=9 最佳。\n4) 定性 Fig5 展示 InterHand2.6M 与 AssemblyHands 的关节误差减少，包括遮挡或第一人称不可见关节；但无遮挡程度分层或失败案例统计。\n\n证据强度与限制：这些结果支持“在五个数据集、同训练协议、所列骨干/框架下，DF-Mamba 是更强的骨干”，并支持 deformable scan 与 tribrid 在 DexYCB/AssemblyHands 上的有效性。但消融只覆盖两个数据集；未报告多次运行方差；未做跨解码器、跨域零样本、真实设备部署或遮挡专项定量；未报告 FLOPs 与 K 的计算成本；未与“在 ResNet-50 中插入 deformable convolution”的同成本基线比较。K=1 仍优于 ResNet-50（Dex 18.62 vs 19.36），说明收益不只来自 K>1，但 K=9 的额外收益明确。总体应表述为“作者在受限比较条件下报告 SOTA 与一致改进”，不宜外推为所有 3D HPE 场景的普遍最优。\n\n\n\n\n\n### 相关工作\n\n最接近的工作与差异：\n\n1) Spatial-Mamba-T（SMamba-T）：同样改造 SSM 的状态融合或结构先验。论文称其采用 dilated operation，而 DSSM 把可变形采样放进输入项 x(p_t+a_k+o_{k,t})。作者称 DSSM 在 K=1、o=0、b=1 时退化为标准 Mamba，并把 Spatial-Mamba 作为特例。差异核心是“在状态方程输入端做数据驱动多点采样”，而不是只对 C 或状态融合做卷积式改造；该一般化关系是作者论证，材料未给出独立证明。\n2) VMamba-T / VisionMamba：用固定网格或交叉扫描；DF-Mamba 的扫描点由输入预测偏移，锚点仍是 3×3 对称初值。代价是每个 token 要预测 K 个偏移和权重并采样 K 点，计算随 K 增长；论文只报 K=9 默认和 K=25 对比，未报 FLOPs。\n3) MambaOut 式 gated convolution：DF-Mamba 不全程用 SSM，而在 stage4/6 用门控卷积，stage3/5 才用 DSSM+FFN；差异是 tribrid 组合，不是单一 token mixer。\n4) Deformable convolution：只借用 anchors/offsets 思想；DF-Mamba 把可变形采样用于 SSM 的输入聚合，不替代卷积块。\n5) Jiang et al. 的 A2J-Transformer 与 Zhou et al. 框架：它们是含解码器的 3D HPE 框架；DF-Mamba 只替换其 ResNet-50 骨干，解码器接口不变，因此不是端到端新解码器。Hamba 是手部网格重建的 Mamba 解码器，也不是同一层面的骨干替换。\n成本：DF-Mamba 42M、112.2 FPS；ResNet-50 42M、109.2；VMamba-T 46M、100.8；SMamba-T 43M、92.8；Swin-T 45M、103.4；ViT-S 42M、75.4（Table 1，FPS 为 InterHand2.6M、batch 1、H100 FP32）。相对 Moon et al. InterHand 的 330.5 FPS/47M，DF-Mamba 推理更慢，作者称计算成本约 3 倍，但两者解码器不同，不能直接等同。发表信息、代码与外部事实未在材料中，待核验。\n\n\n\n\n\n### 关键图表解读\n\n最重要的 5 个证据载体：\n\n1) Figure1（Sec1/3）：对比 (a) 固定 sweep scan 与 (b) 可变形 scan，后者用多个锚点 a_k 和输入相关的偏移 o_{k,t} 调整采样路径。它支撑“固定网格不适合结构化手部预测”的动机，并直观定义 DSSM 的核心操作。限制是示意图，不展示偏移预测网络、插值方式或收益幅度；这些需 Table7 与 Sec3.2 补充。\n2) Figure2（Sec3.1–3.2）：(a) 标准 SSM 用 A_bar、B_bar、C、D 从 x 计算 h 与 y；(b) DSSM 在输入侧加入权重 b_k 与偏移 o_k。它支撑“DSSM 是 SSM 输入采样的一般化”这一形式差异。限制是计算流被简化，未给出复杂度或 K 点采样实现。\n3) Figure4（Sec4.2）：展示 DF-Mamba 的卷积 stem、C-C-D-G-D-G 六阶段、stage1/2/4 下采样、stage1/2/4/6 金字塔输出。它支撑 tribrid 设计与“复杂度接近 ResNet-50”的架构主张。限制是未给每阶段通道/FLOPs，参数与 FPS 只在 Table1 汇总。\n4) Table1（Sec5.2）：五个数据集上六个骨干的主比较，DF-Mamba 42M、112.2 FPS，并在所有报告项上优于 ResNet-50；同时显示 VMamba-T、SMamba-T 等在部分场景退化。它支撑核心“骨干替换有效且速度可比”的主张。比较条件是同一训练协议、相近模型规模、H100 FP32、batch 1 测 FPS；限制是 ViT-S 多项缺失、AssemblyHands AUC 在摘录中不完整、无方差与显著性。\n5) Table7（Sec5.3）：消融 deformable scan、tribrid 架构与 K。去掉可变形扫描使 DexYCB 17.80→18.90、AssemblyHands 18.78→19.38；tribrid 优于单模态/双混合；K=9 优于 K=1 与 K=25。它最直接支撑创新点，但只覆盖 DexYCB 与 AssemblyHands，未报告同参数/同 FLOPs 对照。\n总体上，Table1 与 Table7 构成“主结果+消融”的核心证据；其支持范围受数据集、解码器和比较基线限制，下一节将据此评价外推边界与复现风险。\n\n\n\n\n\n### 术语表\n\n术语与记号：\n\n- SSM（State Space Modeling，状态空间建模）：用隐状态 h(t) 描述动态系统，连续形式 h'(t)=A h(t)+B x(t)，y(t)=C h(t)+D x(t)；离散化后用递归或卷积核计算序列。\n- Mamba / selective SSM：让 B、C、Δ 依赖输入 X 的 SSM，可选择性记忆或遗忘 token；是 DF-Mamba 的基础。\n- DSSM（Deformable State Space Modeling，可变形状态空间建模）：本文核心，把 SSM 输入项改为对 K 个可变形采样点的加权聚合。\n- Deformable scan（可变形扫描）：不按固定网格，而由输入预测偏移 o_{k,t} 和权重 b_k，在锚点 a_k 附近自适应采样。\n- Anchor a_k：固定二维锚点，默认取 3×3 对称网格 a_k∈{(i,j): i,j∈{-1,0,+1}}，K=9；提供局部初始覆盖。\n- Offset o_{k,t}：第 k 个锚点在位置 t 的二维偏移，由输入 x 经可学习线性层预测；决定实际采样位置 p_t+a_k+o_{k,t}。\n- Weight b_k：第 k 个采样点的标量权重，由输入预测；控制该局部线索进入隐状态的强度。\n- Sweep scan：按行优先固定网格把 H×W 特征图拉成序列，p_t=(mod(t-1,W)+1, floor((t-1)/W)+1)。\n- VSS block：VMamba 的视觉状态空间块，采用多方向固定扫描；DF-Mamba 用 DSSM 替换其 SSM 层。\n- Gated convolution block：去掉 SSM 的 Mamba 式门控卷积块，计算 Z1=σ(Conv(Linear(X')))、Z2=σ(Linear(X))，输出 Linear(Z1⊙Z2)+X；用于 stage4/6。\n- Tribrid architecture：卷积块、DSSM+FFN 块、门控卷积块三种 token mixer 混合的骨干；DF-Mamba 为 C-C-D-G-D-G。\n- FFN（Feedforward Network）：Transformer 式前馈网络，DSSM block 后接 FFN 以增强特征。\n- Pyramid features（金字塔特征）：从 stage1/2/4/6 多尺度特征经 LayerNorm+Linear 后拼接，供解码器使用。\n- LayerNorm / SiLU：归一化与激活函数；SiLU 用于门控分支。\n- MPJPE（Mean Per Joint Position Error）：平均每关节位置误差，单位 mm，越小越好。\n- EPE（End Point Error）：端点误差，RHP 使用，越小越好。\n- ME（Mean Error）：平均误差，NYU 使用，越小越好。\n- AUC（Area Under the Curve）：关节误差阈值曲线下面积，越大越好；DexYCB/AssemblyHands 使用。\n- FPS：每秒推理帧数，越大越快；本文在 InterHand2.6M、batch 1、H100 FP32 下测。\n- GT-free：RHP 中不使用真值 scale 与 handedness 信息的设置。\n- K：每位置采样锚点数；默认 K=3^2=9，消融含 K=1 与 K=5^2=25。\n- A_bar、B_bar、C、D、Δ：离散 SSM 的转移矩阵、输入矩阵、输出矩阵、直通项与时间尺度；A_bar=exp(ΔA)，B_bar=(ΔA)^{-1}(exp(ΔA)-I)(ΔB)。\n\n\n\n\n\n### 全部图表索引\n\n材料完整性：提供正文、Figure1–5、Table1–7 与参考文献；未提供 Appendix、代码/数据链接、发表 venue/日期；Figure5 为定性图，Table1 的 AssemblyHands AUC 列在摘录中缺失或不可读。\n\n图索引：\n\n- Figure1：Deformable scan for DF-Mamba；(a) 固定 sweep scan，(b) 多锚点+偏移的可变形 scan；Sec1/3；支撑动机与 DSSM 概念，详见 module_d。\n- Figure2：Computational flow of SSM and DSSM；(a) 标准 SSM 的 A_bar/B_bar/C/D 流，(b) DSSM 加入 b_k、o_k；Sec3.1–3.2；支撑形式差异。\n- Figure3：Block architectures；(a) vanilla Mamba block，(b) gated convolution block，(c) VSS block，(d) DF-Mamba/DSSM block，(e) transformer 式通用结构；Sec4.1；支撑模块设计。\n- Figure4：DF-Mamba backbone architecture；卷积 stem、六阶段 C-C-D-G-D-G、下采样与金字塔输出；Sec4.2；支撑 tribrid 与 ResNet-50 级复杂度主张。\n- Figure5：Qualitative examples；InterHand2.6M 与 AssemblyHands 的关节预测与误差椭圆；Sec5.3；支撑定性鲁棒性，但无定量遮挡分层。\n\n表索引：\n\n- Table1：Comparison of backbone architectures across five datasets；六个骨干在 InterHand2.6M、RHP、NYU、DexYCB、AssemblyHands 上的 MPJPE/EPE/ME/AUC、Size、FPS；Sec5.2；主比较，详见 module_d。\n- Table2：Comparison with SOTA methods on InterHand2.6M；Single/Two/All MPJPE、FPS、Size；Sec5.2；支撑双手 SOTA 主张。\n- Table3：Comparison on RHP；EPE 与 GT-free 标记；Sec5.2；支撑单手持有限数据与背景泛化。\n- Table4：Comparison on NYU；ME；Sec5.2；支撑深度模态。\n- Table5：Comparison on DexYCB；MPJPE；Sec5.2；支撑手物交互。\n- Table6：Comparison on AssemblyHands；MPJPE；Sec5.2；支撑第一人称手物交互。\n- Table7：Ablation and hyperparameter studies；DexYCB/AssemblyHands 上的 deformable scan、单模态/双混合/tribrid、K=1/9/25；Sec5.3；核心消融，详见 module_d。\n\n未提供：Appendix 中的训练超参、K 设计细节、数据集划分细节；代码与复现实验链接；发表信息；Table1 的完整 AssemblyHands AUC 基线值。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（论文证据）：1) 在同一训练/评估协议下，把 Jiang et al. [^32] 与 Zhou et al. [^79] 框架的 ResNet-50 骨干替换为 DF-Mamba，表1五个数据集的方向一致：InterHand2.6M All 9.32 vs 9.63 mm，RHP 17.16 vs 17.75，NYU 7.96 vs 8.43，DexYCB 17.80/87.31 vs 19.36/84.80，AssemblyHands 18.78 vs 19.35（AUC 86.12 见表7；表1该列在提供文本中不完整）。这支持『骨干替换在该设置下有效』，不支持『所有 3D HPE 普遍最优』。2) 表7支持可变形扫描：去掉后退化为 vanilla SSM，DexYCB 17.80→18.90、AUC 87.31→85.59；AssemblyHands 18.78→19.38、AUC 86.12→84.93。也支持 tribrid 优于单模态/双混合，且 K=9 优于 K=1/25；但只覆盖两个数据集，未给方差/显著性。3) 表1支持 42M、112.2 FPS 与 ResNet-50 42M、109.2 FPS 接近；这是 H100 FP32、batch 1、InterHand2.6M 的骨干测量，不是端到端 AR/VR 延迟。\n\n不够可信/待核验：1) 论文称 SOTA，但比较对象是选定方法；ViT-S 多项缺失，AssemblyHands AUC 基线不完整，SOTA 表是否全部重训未说明。2) DSSM 是标准 Mamba/Spatial-Mamba 的一般化，主要靠 K=1、o=0、b=1 退化论证与 deformable conv 包含 dilated 的引用，未给独立证明或同 FLOPs 对照。3) 遮挡鲁棒性主要来自 Figure5 定性图和动机，没有遮挡分层、失败案例统计、跨域零样本或跨解码器实验。4) 偏移/权重的预测网络、插值方式、边界处理、DSSM 的 FLOPs、K 点并行实现均未在正文给出，需 Appendix/代码。\n\n关键假设：同一数据划分与训练协议；只换骨干、解码器接口不变；模型规模与 ResNet-50 相近；FPS 只比较骨干。失败场景：遮挡/截断导致偏移采样越界或采样到背景；小数据（RHP）或深度域下偏移过拟合；K=25 已出现回退，说明盲目增大 K 不一定有益；不同解码器或真实设备上收益可能消失。\n\n复现计划：必需材料：代码/配置、Appendix 训练超参、五个数据集原始划分与预处理、Jiang et al. 与 Zhou et al. 两个解码器实现、H100 级 GPU。当前阻塞：无代码链接、无 Appendix、无发表信息；偏移/权重线性层维度、采样插值、padding、DSSM 扫描实现均未知。建议最小复现：先实现 DSSM block（3×3 锚点、线性层预测每个位置的 K 个二维偏移和 K 个权重、双线性 grid_sample、按式4聚合后接选择性 SSM），再接入原解码器；伪代码如下（推断，非论文明确细节）：\n\n```text\nX1 = LayerNorm(X)\nU = Linear(X1)\nV = SiLU(DepthwiseConv1D(Linear(X1)))\no = Linear_o(V)  # [B,K,2,H,W]\nb = Linear_b(V)  # [B,K,H,W]\nS = grid_sample(X, p + anchors + o, bilinear, padding=?)\nagg = sum_k b_k * S_k\nZ1 = SelectiveSSM(agg)\nZ2 = SiLU(Linear(X))\nY = Linear(Z1 * Z2) + X\n```\n\n验证步骤：1) 在 DexYCB/AssemblyHands 复现表7：tribrid、w/o deformable、K=1/9/25、CCGGGG/CCDDDD/单模态；2) 在 InterHand2.6M/RHP/NYU 复现表1主比较；3) 增加参数/FLOPs 匹配的固定采样和 deformable conv 对照；4) 统计多次运行均值方差与端到端 FPS。成功标准：相对 ResNet-50 的改善方向与表1一致，DexYCB 约 1.5 mm、AssemblyHands 约 0.6 mm 的骨干收益可重现，且表7中可变形扫描与 tribrid 的排序成立；因论文未给方差，严格阈值需作者确认。若只能复现部分，优先确认 DSSM 消融而不是追求所有 SOTA 数字。\n\n\n\n\n\n### 应用约束\n\n数据：五个数据集覆盖 RGB/深度、单手/双手、手物/第一人称；训练需原始划分与预处理，RHP 训练图像有限。论文未给数据许可、预处理细节和失败样本。计算：42M 参数，H100 FP32，batch 1 在 InterHand2.6M 上 112.2 FPS；未给 FLOPs、显存、训练时长、能耗。相对 Moon et al. 330.5 FPS 不可直接比，作者承认计算成本约 3 倍，因解码器不同。延迟：只证明骨干与 ResNet-50 接近，未证明端到端 AR/VR 实时或移动端可部署。鲁棒性：DexYCB/AssemblyHands 有提升，Figure5 展示遮挡/第一人称定性效果，但无遮挡分层、失败率、跨域零样本。适用性：适合作为 RGB/深度 3D HPE 的骨干替换候选，需保留金字塔特征和解码器接口；不适用于无代码、无 Appendix 条件下的直接部署。上述『实时可用』『泛化到所有交互』均属推断，非已证明部署行为。\n\n\n\n\n\n### 探索问题\n\n1) 收益是否来自可变形采样，而不是额外参数或计算？验证：构造参数与 FLOPs 匹配的 ResNet-50+deformable conv、固定锚点加权（o=0）、K=1 但加宽通道等对照，在 DexYCB/AssemblyHands 上比较，并报告 FLOPs、显存和延迟。可能收益：把创新点与容量增加分离；风险：很难完全匹配，且 K 点采样实现可能改变实际计算量。\n2) 跨解码器和跨域是否成立？验证：把 DF-Mamba 接入另一个 3D HPE 解码器（非 Jiang/Zhou）并在未参与训练的数据集做零样本或少量微调，与 ResNet-50 同条件比较。可能收益：检验『通用骨干』主张；风险：解码器接口、特征金字塔和训练协议需重做，负结果可能只反映适配问题。\n3) 偏移是否学到可解释的遮挡/关节区域？验证：可视化不同层的 offsets/weights，按遮挡程度和关节可见性分层统计误差，检查边界越界比例。可能收益：直接支撑动机并指导改进；风险：缺少遮挡标注，偏移无真值，解释可能主观。\n\n\n\n\n\n### 引用与核验\n\n引用核查范围：仅基于提供稿的参考文献列表与正文，未访问外部网页、代码库或出版页；因此发表 venue/日期、代码可用性、当前 SOTA 均待核验。\n\n支撑新颖性的关键引用：Mamba [^20]（DF-Mamba 的基础 SSM）；VMamba [^40] 与 VisionMamba [^81]（固定扫描的代表）；Spatial-Mamba [^68]（作者称 DSSM 的一般化对象）；deformable conv [^9]/[^82]（锚点与偏移思想）。这些引用在正文中用于定义差异，但『DSSM 是 Spatial-Mamba 的一般化』未给独立证明，仅由 K=1、o=0、b=1 退化与 dilated 包含关系论证；[^68] 原文未在本次材料中核查。\n\n最强比较与复现依赖：表1基线 ResNet-50 [^26]、ConvNeXt-T [^42]、ViT-S [^12]、Swin-T [^41]、VMamba-T [^40]、SMamba-T [^68]；表2–6 的 SOTA 比较依赖 Moon et al. [^46]、Jiang et al. [^32]、Fan et al. [^14]、Hampali et al. [^23]、Zhou et al. [^79] 等。论文称所有模型同划分从头训练，但未明确 SOTA 表数字是重训还是引用，需核验。数据集引用：InterHand2.6M [^46]、RHP [^84]、NYU [^60]、DexYCB [^4]、AssemblyHands [^49]；其划分/评估协议未在正文展开。\n\n外围引用：Table2–6 中其他 SOTA 与相关工作总结（如 [^35],[^44],[^57],[^58],[^62],[^69],[^72],[^24] 等）未逐条核查，按背景处理；参考文献格式与页码未做完整审计。Acknowledgment 提到 JSPS 基金与 DENSO 合作 chair，不涉及方法证据。结论：关键引用支撑了问题定位和基线选择，但新颖性边界、最强比较的可比性和复现依赖仍需外部核验。\n\n\n\n\n\n### 最终判断\n\n可信的是：在论文给定数据、协议和两个解码器下，DF-Mamba 是比 ResNet-50 更强的骨干候选，表7也支持可变形扫描与 tribrid 的贡献；速度/规模与 ResNet-50 同级。不可直接采信的是：广泛 SOTA、跨解码器通用、遮挡鲁棒性和真实设备实时性。使用建议：把论文当作『骨干替换+消融』证据，而不是完整系统方案；复现时先做参数匹配对照和端到端剖析。下一步：用参数/FLOPs 匹配的固定采样与 deformable conv 基线复现表7，确认收益来源。"
}