{
  "paper_id": "7c127b62a0d8cb505d2d284736ea04de",
  "paper_title": "ScaleHP: Scale-Mediated Optimization of Coupled Errors for Metric-Space Hand Pose Estimation",
  "paper_authors": [
    "Ruitao Jing",
    "Xingyu Chen",
    "Hongyang Li",
    "Qing Jiang",
    "Yukai Shi",
    "Lei Zhang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 ScaleHP，一个通过显式建模每个实例的度量尺度来解决校准相机空间手部姿态估计中耦合误差的统一框架。在常见的“根节点相对姿态到全局姿态”范式中，相机空间精度同时取决于相对几何、根节点定位以及二者随尺度相乘产生的级联误差。ScaleHP 将尺度作为这些误差项之间的共享接口，而不是孤立优化各部分。其度量感知 2D–3D Transformer 解码器引入专门的尺度令牌，并与稀疏、具有语义索引的 2D/3D 关节查询交互，使全局度量推理和局部关节几何能够相互修正；随后无参数校准模块根据预测的单位尺度关节、度量尺度和已知相机内参恢复根节点平移。ScaleHP 在 FreiHand 上取得 35.8 mm 的当前最优 CS-MPJPE，并在各基准特定训练协议下于 FreiHand、DexYCB 和 HO3Dv3 上取得 5.0、4.6 和 5.9 mm 的当前最优 PA-MPJPE，表明全局度量定位与局部关节形变可以同时改善。消融实验进一步证明，尺度—姿态交互能够同时提升相机空间精度和相对深度几何。\n",
  "keywords": [
    "手部姿态估计",
    "相机空间姿态估计",
    "度量尺度",
    "尺度令牌",
    "Transformer 解码器",
    "2D-3D 关节查询",
    "根节点定位",
    "手物交互"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Zhongguancun Academy",
    "Visincept",
    "International Digital Economy Academy (IDEA Research)",
    "South China University of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:11.811137Z",
  "template_tag": "deep_read",
  "summary": "# ScaleHP: Scale-Mediated Optimization of Coupled Errors for Metric-Space Hand Pose Estimation\n\n\n**作者 / Authors:** Ruitao Jing, Xingyu Chen, Hongyang Li, Qing Jiang, Yukai Shi, Lei Zhang\n\n\n**单位 / Institutions:** Tsinghua University, Zhongguancun Academy, Visincept, International Digital Economy Academy (IDEA Research), South China University of Technology\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料核查：可见完整正文与附录（方法、附录A架构、附录B解析推导、附录C数据与训练、附录D尺度误差、附录E评测协议、附录F根定位、附录G交互消融、附录H对齐比较、附录I白背景、附录J-K定性、附录L局限）；项目页 <https://laiang8086.github.io/scalehp> 在文中给出，但代码/数据是否开放未在文档中核验。作者单位含清华大学、中关村学院、Visincept、IDEA Research、华南理工大学；发表时间与 venue 未标注。论文原型判为 method：核心是新的尺度 token 与解析根平移求解流程，并以受控实验验证；不是综述。材料缺口：venue/date 未知，代码可复现性未核验，部分公式 OCR 有噪声，单检查点点估计无显著性检验，训练数据以成人手为主。\n\n\n\n\n\n### 问题\n\n问题：在标定相机坐标系中估计手部绝对位置、尺寸与关节姿态（metric-space HPE），而非仅对齐后的相对姿态。形式化：Q_cam = s(J_rel + t_norm)，其中 J_rel 为单位尺度根相对几何、t_norm 为归一化根平移、s 为实例米制尺度；相机空间误差分解为 (a) sΔJ 相对几何、(b) sΔt 根定位、(c) Δs(J+t)+Δs(ΔJ+Δt) 尺度介导耦合。为何重要：VR/AR、具身智能、机器人遥操作需要手在场景中的物理位置和尺寸；仅 PA 对齐会移除平移和公共尺度，不能检验度量组合。现有不足：多数方法主要降低 (a)；根定位常交给学习平移或外部深度，和焦距/相机距离纠缠，重投影无法确定绝对米制 gauge；尺度要么隐含在几何/平移中，要么后处理给出，易出现手大小-深度补偿；CMR 两阶段解耦定位；HandOS 无一独立监督的尺度因子；HandDGP 有全局定位与相对几何的权衡；NVF 用稠密 frustum voting，路线不同。单目投影本身不能唯一确定尺度，因此 s 需作为带米制监督的实例变量学习。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：ScaleHP 把每实例米制尺度显式建模为尺度 token，与稀疏语义 2D/3D 关节查询双向交互，再用无参数最小二乘从预测的像素关节、单位尺度关节和已知内参恢复根平移，从而在单次前向中组合出相机空间手部。\n核心思想与贡献：以尺度为相对几何、根定位及其组合的共享接口；尺度 token 与关节查询全局自注意力双向交换，使尺度监督进入姿态特征而非仅做后处理；解析模块最小二乘求 t_norm，不做学习式平移回归或迭代配准；联合 2D、单位3D、尺度和弱重投影监督。\n最重要结果：FreiHand CS-MPJPE 35.8 mm，较表中最好 42.4 mm 降低 15.6%，PA-MPJPE 5.0 mm 并列最好；跨数据集（FreiHand 训练直接迁移）DexYCB 136.3、HO3Dv3 50.7 mm，且基线 CMR/HandDGP 获得测试集最优数据集级 oracle 缩放；表4在 DexYCB/HO3Dv3 的 PA-MPJPE 为 4.6/5.9 mm。\n条件与证据边界：作者声称 SOTA 限于文中列出的比较与协议；跨数据集不是目标域重训；依赖已知内参、无测试时真值尺度；单检查点点估计，无显著性/方差报告；未核验代码与外部最新 SOTA。\n优先读：第3.1节误差分解与尺度目标、图2与第3.2节架构、第3.3节损失、第4.2-4.3节表2-7、附录B解析求解、附录F/G根定位与交互消融、附录I白背景、附录L局限。\n下一轮问题：尺度 token 的具体维度/初始化与六层中 2D-only 前两层的监督时序；t_norm 最小二乘与可微重投影如何联合；跨数据集检查点与 oracle 缩放是否公平；内参扰动和儿童手泛化；代码/数据是否可复现。接下来应核对尺度 token 与解析求解的实现细节及消融证据链。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入：整幅 RGB 图像 I、文本提示“hand”、已知相机内参 K_cam（f_x,f_y,c_x,c_y）。输出：像素 2D 关节 J2D、单位尺度根相对 3D 关节 J3D、每实例米制尺度 s，再由解析模块组成相机空间 Q_cam。\n关键步骤：\n\n1) 冻结检测器。Grounding DINO 1.5 以“hand”为提示输出多尺度特征 F_GD、实例查询 Q_tilde、参考点 R_tilde、框 B 与置信度 C；经分数过滤和 NMS 保留 K 只手。检测器不参与训练。\n2) 实例展开。每只手用可学习嵌入 E_J 展开为 J=21 个语义索引的 2D 与 3D 关节查询：Q0_2D=Q0_3D=Q_tilde+E_J；尺度 token 初始化为 q0_s=Q_tilde。\n3) 尺度-关节双向交互。第 l 层把尺度 token 与两路关节查询拼接后做全局自注意力：[q_s'; Q2D; Q3D]=SA_l([q_{l-1}_s; Q_{l-1}_2D; Q_{l-1}_3D])。尺度 token 聚合关节布局与归一化骨架，关节也接收尺度监督上下文；重复六层形成相互精炼。\n4) 图像交互与参考点更新。三路分别做 deformable cross-attention，并从 F_GD 采样局部外观：Q_l^d=DefAttn_l^d(Q_l^d,F_GD,R_{l-1}^d)，R_l^d=R_{l-1}^d+FFN_R^d(Q_l^d)，d∈{s,2D,3D}。\n5) 预测头。J2D=FFN_2D(Q_L^2D)，J3D=FFN_3D(Q_L^3D)，s=FFN_s(q_L^s)。\n6) 解析米制转移。由 Q_cam=s(J_rel+t_norm) 出发，尺度 s 把单位尺度几何与归一化根平移组合成相机空间。单目投影对 s 与 t_norm 同时缩放不变，故 s 不能由投影唯一确定，必须由米制监督学习；t_norm 可由已知内参和像素对应解析求出。\n\n核心公式与推导：\n\n- 误差分解（式1）：令 Q=s(J+t)，s_hat=s+Δs，J_hat=J+ΔJ，t_hat=t+Δt，则 Q_hat−Q=sΔJ+sΔt+Δs(J+t)+Δs(ΔJ+Δt)。三项分别对应(a)相对几何、(b)根定位、(c)尺度介导耦合。相机空间通常 |t|≫|J|，所以 |Δs(J+t)|≈|Δs||t|，小尺度误差也能造成大深度位移。\n- 尺度目标（式2）：对索引、中指、无名指（IMR）的米制骨长 l_i 取均值 s*=(1/N)Σl_i；J2D*=π(JM*,K_cam)；J3D*=(JM*−J_r^M*)/s*，其中 JM* 为米制相机坐标真值，r 为根。\n- 解析平移：对非根关节 j，投影满足 (u_j−c_x)/f_x=(x_j+t_x)/(z_j+t_z)，y 轴同理。对根 p 有 (u_p−c_x)t_z=f_x t_x。代入并整理得 (u_j−u_p)t_z−f_x x_j=−(u_j−c_x)z_j；y 轴同理。对所有非根关节堆叠成超定线性系统 A t_z=b，其中 A 的第 j 行为 [u_j−u_p, v_j−v_p]，b 对应 [f_x x_j−(u_j−c_x)z_j, f_y y_j−(v_j−c_y)z_j]。最小二乘解 t_z=A†b，再得 t_x=(u_p−c_x)t_z/f_x，t_y=(v_p−c_y)t_z/f_y，最后 Q_cam=s(J3D+t_norm)。该模块无参数、无迭代配准；训练时可用可微最小二乘提供弱重投影监督。\n- 损失：L2D=||J2D−J2D*||_1，L3D=||J3D−J3D*||_1，Ls=(s−s*)^2，另有 2D OKS；用可微 LS 得 t_hat 后计算 Jproj_hat=π(J3D+t_hat,K_cam)，加 L2D_proj 与 LOKS_proj。附录C给出总权重：2D L1/OKS 为 10/4，3D L1 为 10，edge 为 5，scale MSE 为 20，投影 L1/OKS 为 10/4；第0–5层有2D监督，第2–5层有尺度、3D与投影监督，前两层为2D-only。\n必要模块：冻结开放词表检测器、六层尺度感知2D–3D解码器、解析最小二乘求解器、联合损失。假设是标定针孔相机、内参准确、忽略畸变；尺度是带米制监督的单目数据先验，不是几何唯一解。\n\n\n\n\n\n### 评测设置\n\n数据集与划分：FreiHand 130,240 训练/3,960 测试；DexYCB 429,616/78,768；HO3Dv3 83,325/20,137。HInt、COCO-WholeBody、CompHand、H2O3D、OneHand10K 仅在 combined-data 协议中出现，不是主表三数据集。FreiHand 主表按原协议评估；表3用同一个 FreiHand 训练检查点直接迁移 DexYCB/HO3Dv3，不是目标域重训；表4每个数据集列用该数据集训练的检查点；表5/6为 FreiHand 消融；表7/10每列用对应数据集检查点；表9根定位与表12白背景用 FreiHand 检查点。\n指标：CS-MPJPE 为无对齐相机空间 MPJPE；R-MPJPE 仅根平移对齐；PA-MPJPE 用相似 Procrustes 对齐，移除平移、旋转与公共尺度；尺度误差为对 s* 的 L1，表8单位为 10^-3 m。\n主要基线：CMR-PG、HandDGP、MobRecon、NVF、METRO、MaskHand、Hamba、HandOS 等；跨数据集表3另给 CMR/HandDGP 加 oracle global scale。表11还列 ObMan、MANO CNN、I2L-MeshNet、HandOccNet、H2ONet、Deformer、Zhou et al.、TI-Net、S2HAND、ArtiBoost、HandGCAT、AMVUR、SPMHand 等。\n训练与计算预算：冻结 Grounding DINO 1.5，全图长边 1280；解码器 45 epochs、Adam、batch size 16、初始学习率 1e-4、余弦退火、8×A100-80GB、随机种子 21；六层交互解码器、每手21关节、4个图像特征层；前两层2D-only，尺度和3D/投影监督从第2层开始。未报告推理时延、显存、参数量、检测器单独开销。\n比较条件与缺口：表2是各方法按各自报告协议的结果，并非统一重训；NVF 的 42.4 mm 使用 FreiHand 参考骨尺度，不用时为47.2 mm；表3的 oracle global scale 是测试集最优的数据集级缩放，只用于给 CMR/HandDGP 有利校准，ScaleHP 不用测试时真值尺度或目标域训练；表9中 CMR-PG 的 ResNet50 权重未发布，故复现用公开 CMR-SG ResNet18，HandDGP 按其公开检查点/焦距/主点复现到46.35 mm（原文46.3 mm）。所有报告为单检查点点估计，无方差、显著性检验或多随机种子；未做内参扰动、儿童手、视频时序的系统评估。\n\n\n\n\n\n### 结果与证据\n\n决定性结果：\n\n- FreiHand 主表（表2）：CS-MPJPE 从表中最好42.4 mm降到35.8 mm，作者称降低15.6%；PA-MPJPE 5.0 mm与HandOS并列最好。该结果支持“全局米制定位与局部关节精度可同时改善”，但表2是各方法按各自协议报告，非统一重训；NVF 42.4 mm依赖参考骨尺度。\n- 跨数据集迁移（表3）：同一 FreiHand 检查点直接测 DexYCB/HO3Dv3，CS-MPJPE 136.3/50.7 mm；对比 CMR+oracle 183.2/152.3、HandDGP+oracle 222.1/132.6。作者称较最强可用基线降低25.6%/61.8%。这支持迁移优势，但oracle缩放对基线是有利校准，且不是目标域重训。\n- 对齐姿态未牺牲（表4）：FreiHand PA 5.0、DexYCB R-MPJPE 10.3/PA 4.6、HO3Dv3 PA 5.9 mm。说明CS收益不是靠牺牲根相对几何换来的；但各列使用对应数据集检查点，不能与表3跨数据集数字混用。\n- 尺度token机制：表5去掉token后PA从5.0变5.6 mm，Z轴误差3.5→3.0 mm，X/Y仅2.3→2.2、2.4→2.2，作者称尺度监督主要改善相对深度。表7无token+oracle dataset scale为44.3/40.2/42.0 mm，ScaleHP为35.8/30.0/33.4 mm，支持逐实例尺度而非仅数据集级标定。表10双向交互35.8/30.0/33.4 mm，优于更强单向变体40.2/35.4/37.6 mm；作者称低4.4–5.4 mm，但按表10 HO3Dv3为37.6−33.4=4.2 mm，存在小幅表述不一致。\n- 训练时序：表6 delayed 39.5/PA 5.2/尺度误差2.06e-3 m，joint 35.8/5.0/1.94e-3 m，支持尺度早期参与共适应。\n- 根定位：表9 ScaleHP根L2 35.74 mm，HandDGP 46.19、CMR 50.14；深度误差降低10.29/14.23 mm，横向变化小于1.4 mm，支持收益集中在相机深度。\n- 背景干预：表12白背景CS从35.854到37.225 mm（+1.370 mm，3.8%），中位配对变化+0.113 mm，尺度Pearson/Spearman 0.622/0.595，检测框IoU 0.840，2D关键点位移4.343 px；支持主要依赖前景手部证据，但不等于严格背景不变性。\n证据强度与边界：消融链较完整，尤其表7/10直接检验逐实例尺度与双向交互；但均为单检查点点估计，无显著性/方差；成人手为主、依赖已知内参、单帧无时序；野外定性图无米制真值；外部最新SOTA与代码可复现性未核验。总体支持核心创新，但绝对领先幅度需在统一协议与多随机种子下复核。\n\n\n\n\n\n### 相关工作\n\n最接近的工作与差异：\n\n- CMR：先预测根相对几何，再用自适应 2D-1D 配准把根放回图像，尺度隐含在几何与平移中；ScaleHP 不改用配准后处理，而是显式预测逐实例尺度 s，并用解析最小二乘恢复归一化根平移。代价是 ScaleHP 需要尺度监督，且依赖已知内参。\n- HandOS：一阶段解码 2D/3D 查询与平移变量，但没有把平移组织成独立监督的米制距离因子；ScaleHP 的差异是独立尺度 token、尺度-关节双向注意力和无参数平移求解。两者都属一阶段/查询式路线，ScaleHP 的额外成本主要是尺度目标与解析求解假设。\n- HandDGP：可微全局定位把两阶段连起来，但论文称其存在全局定位与相对几何的权衡；ScaleHP 用解析求解替代学习式平移回归，并用表4/表5论证未牺牲对齐姿态。该比较依赖各自公开检查点与协议，跨论文训练条件并非完全一致。\n- NVF：用稠密相机视锥投票绕过显式分解，路线是采样式稠密场；ScaleHP 用稀疏语义关节和单尺度标量，计算接口更紧凑。表2中 NVF 的 42.4 mm 使用 FreiHand 参考骨尺度，不用该尺度时为 47.2 mm，比较时需保留此条件。\n- 度量深度方法 ScaleDepth、MoGe-2：同样强调全局米制量与局部几何解耦；ScaleHP 的区别是不建稠密点图/深度分支，而把手部稀疏关节作为尺度证据接口。\n- EgoForce 等利用前臂/交互上下文：ScaleHP 不依赖前臂或物体上下文，代价是缺少这些外部线索时尺度先验可能更依赖训练分布。\n外部事实如代码可用性、最新 SOTA、正式发表 venue 未在材料中核验，暂标为待验证。\n\n\n\n\n\n### 关键图表解读\n\n重点图表解读：\n\n1) 图2（架构总览）：展示冻结检测器→尺度感知2D–3D解码器→无参数解析求解器的流程，核心是尺度token与21个2D/3D关节查询共同更新。它支撑“尺度作为共享接口”的机制主张；局限是示意图不提供维度、层数细节或定量证据，需结合附录A与表10理解。\n2) 图3（FreiHand定性比较）：黄GT、蓝ScaleHP、绿HandDGP、红CMR；度量空间与俯视图用于暴露绝对位置和深度偏移。作者用其说明根深度误差(b)在重投影下不可见，而ScaleHP更接近GT。局限是仅4个样本，属选择性可视化，不能替代总体统计。\n3) 表2（FreiHand主结果）：CS-MPJPE 35.8 mm对42.4 mm，PA-MPJPE 5.0 mm并列最好。它支撑“度量定位与对齐精度同时提升”；比较条件是各方法按各自报告协议，NVF 42.4依赖参考骨尺度（无该尺度47.2），且无显著性检验。\n4) 表4（对齐/根相对精度）：ScaleHP在FreiHand PA 5.0、DexYCB R 10.3/PA 4.6、HO3Dv3 PA 5.9 mm，支撑“CS收益不是牺牲局部几何换来的”。解释限制是各数据集列用各自检查点，且表头OCR有错位，数值解读需按§4.2正文。\n5) 表10（尺度token交互消融）：oracle global scale 44.3/40.2/42.0，独立分支42.9/37.8/40.5，单向40.4/35.3/38.0与40.2/35.4/37.6，双向35.8/30.0/33.4 mm。它最直接支撑“双向交互而非仅加尺度分支”是收益来源；局限是单检查点、每数据集独立训练，且作者所述4.4–5.4 mm降幅与HO3Dv3表值4.2 mm有细微出入。\n过渡：这些证据把“尺度接口”从概念推进到可检验的消融，但统一协议、显著性与外部复现仍是评估重点。\n\n\n\n\n\n### 术语表\n\n术语表：\n\n- 米制相机空间手部姿态（metric-space HPE）：在标定相机坐标系中同时恢复关节姿态、绝对位置和物理尺寸，而非只给对齐后的相对姿态。\n- 根相对几何 J_rel：以手腕根为原点、单位尺度的关节结构；描述articulation，不含全局位置和实例尺寸。\n- 归一化根平移 t_norm：与尺度分离的根平移变量；乘 s 后成为米制根平移。\n- 米制尺度 s：每实例的手部绝对尺寸标量；把单位尺度几何与归一化平移组合成相机空间。\n- 尺度规范/尺度不可辨识（scale gauge ambiguity）：单目投影下同时缩放 s 与 t 不改变像素，故绝对米制不能由投影唯一确定；s 必须由数据先验和米制监督学习。\n- 耦合误差(a)(b)(c)：式1中(a) sΔJ相对几何、(b) sΔt根定位、(c) Δs(J+t)+Δs(ΔJ+Δt)尺度介导耦合。由于|t|≫|J|，(c)可放大深度误差。\n- 尺度token：与21个2D/3D关节查询并列的单个手级token；通过自注意力聚合关节布局并接收米制监督。\n- 尺度反馈到姿态（scale feedback to pose）：全局/米制监督不仅做后处理，而是进入姿态特征层；本文靠尺度token与关节双向注意力实现。\n- IMR尺度目标：用索引、中指、无名指骨长均值定义 s*，利用其较稳定的长轴解剖统计，减少单根短骨噪声。\n- 单位尺度根相对关节 J3D：由米制真值减去根后除以 s* 得到，网络直接监督该表示。\n- CS-MPJPE：无对齐相机空间平均关节误差，检验绝对位置、尺寸与姿态的组合。\n- R-MPJPE：仅根平移对齐后的误差，保留相对几何与尺度相关误差。\n- PA-MPJPE：相似Procrustes对齐后的误差，移除平移、旋转和公共尺度，主要衡量articulation。\n- 解析转移/最小二乘求解器：在已知内参下由像素关节与单位尺度3D关节解 t_norm 的无参数模块；训练时可微，推理时无学习参数。\n- oracle global scale：在目标测试集上选出的最优数据集级缩放；表3仅用于给无实例尺度的CMR/HandDGP有利校准，不是部署设置。\n- 双向交互：尺度token可注意关节、关节也可注意尺度token；表10的单向变体分别屏蔽一个方向。\n- 单检查点点估计：每个设置只报告一个检查点的一次结果，未给方差、置信区间或显著性。\n\n\n\n\n\n### 全部图表索引\n\n图表全索引（按提供材料）：\n\n- 图1：ScaleHP概念图，位置§1；说明尺度作为相机空间HPE中心接口。相关主张：显式逐实例尺度。\n- 图2：方法总览，位置§3.2；展示冻结检测器、尺度感知2D–3D解码器、解析求解器。核心机制图，解读见module_d。\n- 图3：FreiHand定性比较（4样本），位置§4.1；黄GT/蓝ScaleHP/绿HandDGP/红CMR，度量空间与俯视图。支撑根深度定位主张。\n- 图4：野外图像定性结果，位置§4.1；遮挡、物体交互、视角变化；无米制真值。支撑泛化示意，非定量证据。\n- 图5：白背景干预示例，位置附录I；保留手部前景像素、其余置白。配合表12。\n- 图6：额外FreiHand结果1/2，位置附录J；16组中的前8组，输入与多视角。属补充定性。\n- 图7：额外FreiHand结果2/2，位置附录J；后8组。属补充定性。\n- 图8：野外ScaleHP结果1/2，位置附录K；四个例子，含遮挡/模糊/光照。属补充定性。\n- 图9：野外ScaleHP结果2/2，位置附录K；另四个例子。属补充定性。\n- 表1：代表性相机空间HPE的尺度处理，位置§3.1；比较尺度来源、尺度反馈、姿态表示。支撑“已有方法多隐含/外部/后处理尺度”。\n- 表2：FreiHand主比较，位置§4.1；CS-MPJPE与PA-MPJPE。核心结果表，解读见module_d。\n- 表3：跨数据集CS-MPJPE，位置§4.1；FreiHand检查点直接迁移DexYCB/HO3Dv3，CMR/HandDGP加oracle global scale。支撑迁移优势但非目标域重训。\n- 表4：对齐/根相对精度，位置§4.2；PA-MPJPE与R-MPJPE。支撑未牺牲articulation；表头OCR有错位，按正文解读。\n- 表5：FreiHand尺度token正则消融，位置§4.2；No scale-token vs ScaleHP的PA与X/Y/Z误差。支撑尺度监督改善相对深度。\n- 表6：尺度token引入时序，位置§4.2；Delayed vs Joint的PA/CS/尺度误差。支撑早期共适应。\n- 表7：逐实例尺度token耦合，位置§4.3；No token+oracle scale vs ScaleHP在三数据集。支撑逐实例而非数据集级尺度。\n- 表8：逐实例尺度预测误差，位置附录D；FreiHand/DexYCB/HO3Dv3的L1（10^-3 m）为1.94/0.56/1.02。属分布内尺度监督诊断。\n- 表9：FreiHand根定位误差，位置附录F；Root L2与|ΔX|/|ΔY|/|ΔZ|。支撑收益集中于相机深度；CMR行用CMR-SG ResNet18。\n- 表10：尺度token交互消融，位置附录G；oracle/独立分支/单向/双向的CS-MPJPE。核心机制消融，解读见module_d。\n- 表11：三数据集SOTA比较，位置附录H；FreiHand/DexYCB/HO3Dv3的CS与PA/R-MPJPE。补充主表比较，含更多基线。\n- 表12：白背景全流程干预统计，位置附录I；原始/白背景CS、配对变化、尺度相关、框IoU、2D位移。支撑前景证据为主，但不证明严格背景不变性。\n缺失/可读性说明：材料含附录A–L正文与上述图表；部分公式OCR有噪声（如附录B的根投影推导符号），表4表头存在OCR错位；图片以嵌入图给出，无法在文本中进一步核验像素级细节。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信度分级与复现计划（method 论文）。\n\n1) 证据较强的结论\n\n- 误差分解与尺度不可辨识：式(1)把相机空间误差拆成(a) sΔJ、(b) sΔt、(c) Δs(J+t)+Δs(ΔJ+Δt)，并指出 |t|≫|J| 时尺度误差会放大为深度位移；单目投影下同时缩放 s 与 t 不变，故 s 不能由投影唯一确定。这是解析论证，内部自洽，可信。位置：§3.1 式(1)–(2)。\n- 机制有效性：表10 中双向交互 CS-MPJPE 35.8/30.0/33.4 mm，优于两个单向变体（40.4/35.3/38.0 与 40.2/35.4/37.6）和独立分支（42.9/37.8/40.5）；表7 中逐实例尺度优于 no-token+oracle dataset scale（44.3/40.2/42.0），支持逐实例尺度而非仅数据集级标定；表6 联合训练优于延迟引入（35.8 vs 39.5 mm）；表9 根误差 35.74 mm 且收益集中在 Z 轴；表12 白背景仅 +1.370 mm（3.8%）。这些是论文内最直接的机制证据，但均为单检查点点估计。\n- 对齐姿态未明显牺牲：表4/表11 报告 FreiHand PA 5.0、DexYCB R-MPJPE 10.3/PA 4.6、HO3Dv3 PA 5.9 mm，支持 CS 收益不是靠牺牲局部几何换来的。注意表4 表头在抽取文本中有 OCR 错位，应按 §4.2 正文和表11 交叉读取。\n\n2) 支持不足或需降级的结论\n\n- “SOTA/降低15.6%”主要来自表2 各方法按各自协议报告，并非统一重训；NVF 42.4 mm 使用 FreiHand 参考骨尺度，不用时为47.2 mm；表3 给 CMR/HandDGP 加 test-set-optimal oracle global scale。故“绝对领先幅度”只能视为条件性证据，统一协议下可能缩小。\n- 无方差、显著性检验、多随机种子；所有报告为单检查点点估计（附录E 明示）。因此 35.8 vs 42.4 的统计可靠性未建立。\n- 未报告推理时延、显存、参数量、检测器单独开销；不能从论文推断实时性或嵌入式可行性。\n- 代码/数据是否开放、正式 venue/日期、外部最新 SOTA 未在材料中核验；项目页仅给出 <https://laiang8086.github.io/scalehp>。\n- 跨数据集表3 是 FreiHand 检查点直接迁移，不是目标域重训；不能外推为 DexYCB/HO3Dv3 上充分训练后的上限。\n\n3) 关键假设与失效场景\n\n- 假设：标定针孔相机、内参准确、忽略畸变；单帧静态；检测器能稳定检出 K 只手；训练分布覆盖测试手尺寸；IMR 骨长均值 s* 是稳定尺度代理。\n- 失效：焦距/主点误差会通过解析 LS 传播到 t_norm 和深度；儿童/婴幼儿/不同人群手尺寸超出训练分布时尺度先验可能偏差；严重遮挡或检测框漂移使 2D 证据退化；背景或场景线索被移除时性能下降（虽仅3.8%，但不是严格不变）；多手/交互未量化；视频时序未建模。后果分别是深度系统偏移、尺度回归偏差、根定位不稳、检测失败。\n\n4) 复现计划（按创新点排序）\n所需产物：论文代码（待验证是否发布）、Grounding DINO 1.5 权重与配置、六层解码器实现、FreiHand/DexYCB/HO3Dv3 图像与米制 3D 标注、相机内参、官方评测脚本/划分、随机种子。若代码未发布，至少需按 §3.2/附录A/B 重写解码器与 LS 求解器；这是主要 blocker。\n关键设置：全图长边1280；冻结检测器；45 epochs，Adam，batch size 16，初始 lr 1e-4，余弦退火（第7–45 epoch，最小 5e-6），seed 21，8×A100-80GB；六层交互解码器、每手21关节、4个图像特征层；前两层仅2D监督，尺度/3D/投影监督从第2层开始。损失权重：2D L1 10、2D OKS 4、3D L1 10、edge 5、scale MSE 20、投影 L1 10、投影 OKS 4。解析求解：对非根关节堆叠 A t_z=b，t_z=A†b，再由根像素求 t_x,t_y，Q_cam=s(J3D+t_norm)。\n验证步骤：先复现表2 FreiHand CS/PA；再复现表3 同一 FreiHand 检查点迁移 DexYCB/HO3Dv3；复现表7 no-token+oracle 与 ScaleHP 的差距；复现表10 的单向/双向消融；复现表6 的联合 vs 延迟；复现表9 根误差和表12 白背景。建议补充：3个随机种子报告均值/标准差，bootstrap 置信区间；对 fx,fy,cx,cy 做 ±5%/±10% 扰动；按手尺寸分层评测。\n成功标准（建议预先设定）：主表 CS-MPJPE 与论文差距≤1 mm 且消融方向一致；若绝对值偏差>1–2 mm，先查数据划分、检测器版本、内参和评测脚本。核心创新验证不看单一主表，而看表7/表10 的“逐实例尺度+双向交互”是否稳定复现；若该差距消失，则核心主张不成立。\n\n5) 重建设想（依据正文，非论文伪代码）\nfor image I:\n\n   F,Q,R,B,C = frozen_detector(I, 'hand')\n   keep K hands by score/NMS\n   for each hand:\n   q_s=Q; Q2D=Q3D=Q+E_J\n   for l=1..6:\n   q_s,Q2D,Q3D = SelfAttn(concat(q_s,Q2D,Q3D))\n   q_s = DeformAttn(q_s,F,R_s); Q2D=DeformAttn(Q2D,F,R_2D); Q3D=DeformAttn(Q3D,F,R_3D)\n   update R_s,R_2D,R_3D\n   J2D,J3D,s = heads(q_s,Q2D,Q3D)\n   t_norm = LS_solve(J2D,J3D,K_cam)\n   Q_cam = s*(J3D+t_norm)\n该伪代码省略维度/初始化细节；这些在材料中未完整给出，标为待补。\n\n\n\n\n\n### 应用约束\n\n实际约束与适用边界（区分论文演示与推断）。\n\n数据：训练需要带米制相机坐标的3D关节标注和已知内参；主实验用 FreiHand/DexYCB/HO3Dv3；DexYCB/HO3Dv3 的表3是迁移测试，不重训。论文未报告标注成本、数据清洗成本或新场景采集要求。训练数据以成人手为主（§L），儿童/婴幼儿和未覆盖人群是明确风险。\n计算：8×A100-80GB、45 epochs、batch 16、全图1280长边、冻结 Grounding DINO 1.5；解码器六层、21关节。推理为单次前向、无迭代配准，但需先跑冻结检测器。论文未报告参数量、显存、时延、吞吐和检测器开销；因此“可实时/可嵌入式”不能由论文推出，需实测。\n鲁棒性：白背景干预 CS 35.854→37.225 mm（+1.370 mm，3.8%），说明背景依赖有限但并非严格不变；遮挡、物体交互、视角变化只有图4/图8/图9定性，无米制真值；内参扰动、儿童手、视频时序均未系统评测；多手通过 K 个实例并行支持，但无多手量化结果。\n适用性：适合有稳定标定相机、需要绝对位置和物理尺寸的 AR/VR、机器人遥操作、具身智能感知；不适合内参未知/频繁变化、远距离小手、严重遮挡、要求低延迟嵌入式的场景，除非额外做校准、跟踪和模型压缩。部署成本主要由冻结检测器+全图高分辨率推理决定（推断，未测）。\n\n\n\n\n\n### 探索问题\n\n后续问题（每项含验证、收益、风险）。\n\nQ1 内参误差下尺度与根定位是否仍可信？验证：在 FreiHand/HO3Dv3 上对 fx,fy,cx,cy 做 ±5%/±10% 扰动，报告 CS-MPJPE、根 L2、|ΔZ|、尺度 L1；并尝试用重投影自校准或不确定性估计。收益：直接决定能否用于手机/头显等标定不完美的设备。风险：解析 LS 对错误内参敏感，可能暴露较大性能下降；合成扰动未必代表真实标定误差。\n\nQ2 逐实例尺度能否泛化到儿童/不同人群和跨相机？验证：在有米制标注的儿童手或多样化人群数据上按手尺寸分层评测；若无公开数据，用受控重缩放做 sanity check，但明确不能替代真实数据。收益：检验尺度 token 是学解剖先验还是记忆训练集手寸，关系到公平性和安全。风险：数据稀缺、标注质量差；重缩放不改变形状比例，可能高估泛化。\n\nQ3 统一协议与多随机种子下，相对 HandOS/HandDGP/CMR 的优势还剩多少？验证：在相同检测器、输入分辨率、内参和评测脚本下重训或至少重评，报告3个种子的均值/标准差和配对 bootstrap；特别复核 NVF 的参考骨尺度条件和 oracle global scale。收益：把“条件性 SOTA”变成可比较结论。风险：计算量大、基线代码/权重不全；重训可能改变基线有利条件，结论或缩小。\n\n\n\n\n\n### 引用与核验\n\n引用与核验说明（仅基于提供材料；本轮未访问外部网页/仓库，外部事实均标待验证）。\n\n- 新颖性支撑：作者将差异主要建立在 CMR（Chen et al. 2021a, CVPR）、HandOS（Chen et al. 2025, CVPR）、HandDGP（Valassakis & Garcia-Hernando 2024, ECCV）、NVF（Huang et al. 2023, CVPR）之上，并用 ScaleDepth（Zhu et al. 2026）与 MoGe-2（Wang et al. 2025, arXiv）说明“全局尺度与局部几何解耦”的动机。这些文献在文中被引用，但其方法细节、实验条件和“未显式监督尺度”等判断未在外部原文中逐条核验，待验证。\n- 最强比较与决定性外部声明：表2 的 NVF 42.4 mm 明确依赖 FreiHand 参考骨尺度，无该尺度为47.2 mm；表3 对 CMR/HandDGP 使用 test-set-optimal oracle global scale；表9 的 CMR 行因 CMR-PG 的 ResNet50 权重未发布而改用公开 CMR-SG ResNet18；HandDGP 复现为46.35 mm（原文46.3 mm）。这些条件来自论文自述，复现前应到原论文/仓库核对。\n- 复现依赖：Grounding DINO 1.5（Liu et al. 2024）与 Deformable DETR（Zhu et al. 2021）的实现/权重；FreiHand（Zimmermann et al. 2019）、DexYCB（Chao et al. 2021）、HO3Dv3（Hampali et al. 2020）的数据与划分；项目页 <https://laiang8086.github.io/scalehp> 的代码/数据开放状态未核验。若代码未发布，解码器、损失层级和 LS 求解器需按附录A/B 重写，是主要复现 blocker。\n- 其他引用：手部姿态/Transformer/遮挡基线（MobRecon、METRO、HandOccNet、H2ONet、Deformer、MaskHand、Hamba、HandOS 等）、metric-depth 方法（AdaBins、BinsFormer、Metric3D、ScaleDepth、MoGe-2 等）、IMR 解剖学依据（Varu et al. 2015; Rastogi et al. 2008; Manning 2002）和应用背景引用（Karim et al. 2025; Nostadt et al. 2020; Toet et al. 2020）均未逐条核验；本报告只核对了它们在文中的引用位置与论文叙述，不声称已核对原文。\n- 发表信息：publication_date 与 publication_venue 在材料中未标注，置空；正式发表状态待验证。\n\n\n\n\n\n### 最终判断\n\n最终判断：这篇论文最值得信的是“显式逐实例尺度 token + 解析根平移”的机制，以及表7/表10 所支持的消融方向；最不应直接照单全收的是“绝对 SOTA”与跨数据集领先幅度，因为比较协议不统一、无显著性检验、单检查点，且依赖已知内参和成人手分布。使用上，可把它当作 metric-space HPE 的架构模板：在有标定相机和米制标注的场景先复现表7/表10，再评估内参扰动和目标人群；部署前必须实测检测器+解码器时延与显存。下一步：用多随机种子和统一评测脚本复现核心消融，并加入内参扰动测试。"
}