{
  "paper_id": "900e84e046c05e162857c9f830b56ab1",
  "paper_title": "DeltaDorsal: Enhancing Hand Pose Estimation with Dorsal Features in Egocentric Views",
  "paper_authors": [
    "William Huang",
    "Eric J Gonzalez",
    "Siyou Pei",
    "Ishan Chatterjee",
    "Leyi Zou",
    "Yang Zhang"
  ],
  "publication_date": "2026年4月13日至17日",
  "publication_venue": "CHI 2026: Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems, Barcelona, Spain",
  "abstract": "随着XR设备的普及，第一视角手部姿态估计已成为一项关键任务，但该视角 inherently 面临手指频繁遮挡的挑战。为此，本文提出利用手背皮肤形变中的丰富信息，并借助新一代密集视觉特征提取器释放这一信号。作者设计了双流delta编码器，通过对比动态手部与基线放松位置的视觉特征来学习姿态。评估表明，仅使用裁剪的手背图像，该方法在手指自遮挡场景（手指至少50%被遮挡）中将平均每关节角度误差（MPJAE）较依赖全手几何和大型模型骨干的前沿方法降低18%。该方法还提升了食指捏合、轻点估计等下游任务在遮挡场景中的可靠性，并能在缩小模型体积的同时检测无可见动作的等长发力，从而支持表面“点击”等新的交互范式。代码开源于 <https://github.com/hilab-open-source/deltadorsal>。\n",
  "keywords": [
    "Sensing",
    "Computer Vision",
    "Hand Pose Estimation",
    "Gestures",
    "On-Body Interaction",
    "AR/VR"
  ],
  "paper_institutions": [
    "University of California, Los Angeles",
    "Google"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:14.335779Z",
  "template_tag": "deep_read",
  "summary": "# DeltaDorsal: Enhancing Hand Pose Estimation with Dorsal Features in Egocentric Views\n\n\n**作者 / Authors:** William Huang, Siyou Pei, Leyi Zou, Eric J Gonzalez, Ishan Chatterjee, Yang Zhang\n\n\n**单位 / Institutions:** University of California, Los Angeles, Google\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2026-04\n\n\n\n**期刊/会议 / Publication Venue:** CHI '26 (2026 CHI Conference on Human Factors in Computing Systems), Barcelona, Spain\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：已提供论文正文、附录 A、图表与参考文献；作者给出代码库链接（GitHub: hilab-open-source/deltadorsal），但本次未联网核验代码/数据是否可获取；论文报告自采 172,222 帧、12 名参与者、17 种手势的数据，未明确说明完整数据集是否公开。原型判断：system。理由：论文不仅是单一算法，而是包含数据采集、参考图对齐、双流 DINOv3 特征、MANO 回归、下游 tap/pinch/click 应用的端到端系统，并以 HCI 部署可用性为评估目标。影响解释的缺口：外部验证缺失；主要在受控实验室、固定相机和自采数据上评估，真实 egocentric 场景泛化未证实；HandOccNet 微调不稳定/崩溃，基线比较需谨慎；代码与数据可用性待核验。\n\n\n\n\n\n### 问题\n\n问题：egocentric（头戴/胸戴）视角下的 3D 手部姿态估计常被手指自遮挡破坏；作者对 ARCTIC、H2O、EgoExo4D、AssemblyHands 的统计称超过 20% 帧至少有一根手指被遮挡，且遮挡会显著提高 MPJAE。为什么重要：XR 手势交互、pinch/tap/click 等需要稳定手部姿态，遮挡会让用户被迫保持手指可见。现有方法的主要不足：HaMeR、HandOccNet 等依赖全手轮廓/几何表示，细节皮肤形变常被当作噪声；遮挡鲁棒模型在严重自遮挡时仍会退化甚至输出中性手型；已有利用手背皮肤形变的方法（Opisthenar、DorsalNet）需要腕部固定相机，限制手腕运动并增加佩戴点。形式化目标（可选）：在仅给定当前手背裁剪图 I_t 与中性参考图 I_0 时，预测 MANO 姿态参数 θ∈R^{15×3}，使由 θ 与预计算形状 β_0 得到的关节/网格接近真值；全局平移与形状不作为主预测目标。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：DeltaDorsal 用“中性参考手背图 vs 当前手背图”的密集视觉特征差分，在手指不可见时回归 MANO 手部关节角。核心思路：用共享权重的 DINOv3 ViT-L 分别提取 I_0、I_t 的 patch 特征，将 F_t−F_0、逐 patch 余弦相似度、F_t、F_0 送入轻量卷积 change encoder，再由回归头输出 15 个关节的轴角；训练损失为 3D 关节 L1 加姿态参数 L2，不做时序建模。相对已有工作的贡献：首次将无腕部固定相机的 egocentric 手背皮肤形变用于端到端手姿态估计；给出遮挡流行度分析、自采 4K 手背数据集、12 人 LOSO 评估，以及 tap/pinch/isometric click 用例。最重要结果：在作者自采数据 LOSO 下，Ours MPJAE 6.41±0.92°，HaMeR 6.74±0.48°，HandOccNet 11.27±0.97°；≤50% 手指可见时 Ours 7.59±4.38° vs HaMeR 9.24±5.54°（作者称约 18% 降幅）；PA-MPJPE 7.41±1.01 mm vs HaMeR 7.11±0.47 mm，网格位置误差略差。条件与边界：这是作者在受控实验室、固定 iPhone 12 Pro Max、自采 12 人数据上的证据；基线输入全手图而本文只用 dorsal crop；HaMeR 用于对齐与初始形状，HandOccNet 微调常崩溃；作者承认 fan/free 等手势不占优，pinky tap/pinch 变差，真实 in-the-wild 泛化未验证。作者主张 vs 论文证据 vs 分析推断：作者主张“更小模型、遮挡下更稳、肤色不敏感”；论文证据支持其在自采 LOSO 与 ≤50% 可见子集上的 MPJAE 优势（Table 2、Fig. 8），但 PA-MPJPE 未全面超过 HaMeR，且下游 click 仅 0.85/0.84 准确率；分析推断是 dorsal 信号对 index/middle/fist 更有效，对 pinky 和大幅全局运动较弱。优先看：Sec. 3（遮挡统计与基线退化）、Sec. 5 与 Fig. 6（对齐和双流结构）、Sec. 6 与 Table 2/4/5、Fig. 8（主结果与消融）、Sec. 7（下游应用）。下一轮问题：change encoder 的具体融合方式与训练细节；参考图对齐失败时如何退化；LOSO 中参考图是否来自测试 subject 的 calibration（是否数据泄漏）；统计检验与误差棒定义；ViT-S+ 小模型结论是否只基于 3 人。过渡：下面进入第二轮，重点拆解方法机制、实验设计与证据强度。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入与输出：给定当前手背裁剪 I_t 和同一用户的中性参考 I_0，输出 MANO 姿态 θ∈R^{15×3}（15 个关节的轴角）；配合参考图估计的形状 β_0 和可选平移 t 得到网格 Θ=MANO(θ,β_0)+t。姿态模型把全局朝向与平移置零，只预测 θ；部署时可选 HaMeR 的初始平移做定位。原文 5.2 把回归输出写作 pose vector β（(15,3)），按上下文应为 θ，属于符号笔误/排版问题，需以代码确认。\n关键步骤：\n(1) 参考对齐：用 HaMeR 预测手背 3D 关节，按相机内参/外参投影到 2D，以 RANSAC 单应性把 I_0 对齐到 I_t；两张图都裁到手背并 resize 到 384×384。训练时对输入和参考独立做亮度、对比度、gamma、噪声、高斯模糊增强。若对齐失败，论文未报告回退策略（待验证）。\n(2) 共享 DINOv3：使用 ViT-L，最后 3 个 block 解冻；共享权重分别提取 F_0、F_t，空间尺寸为原图/16×原图/16。\n(3) 变化编码器：融合 ΔF=F_t−F_0、逐 patch 余弦相似度 cos(F_t,F_0)(x,y)、F_t、F_0，经小型卷积网络得到编码特征 X。余弦图用于突出“相对中性参考发生变化”的手背区域；融合原始特征让模型在通用外观特征与变化特征之间选择。\n(4) 回归头：小卷积 neck 做局部细化，空间池化后经浅层 MLP 输出 θ。无时序建模。\n(5) MANO 与损失：由 θ、β_0 经 MANO 前向得到网格和 3D 关节 J；训练损失为 L_β=||J−Ĵ||_1+||θ−θ̂||_2^2。第一项在 3D 关节空间监督，第二项直接监督角度；论文未给出 MANO 前向/关节回归的逐步推导，按 MANO 常规理解为 mesh→joints，属于推断。数据清洗另用 L_markers=||M−M̂||_2^2+||θ||_2^2 拟合动捕标记，这不是最终训练损失。\n直观例子：握拳时指关节附近皮肤拉伸，ΔF 在该区域变大、余弦相似度变低；回归头把这些局部变化映射为屈曲角。变化编码器的具体通道数、卷积核和融合权重正文未列，需查代码；这是复现的关键缺口。\n必要模块：预处理与单应性对齐、共享 DINOv3 特征提取、change encoder、回归头、MANO 层、可选平移定位。\n\n\n\n\n\n### 评测设置\n\n数据与场景：\n\n- 动机分析使用 ARCTIC、H2O、EgoExo4D、AssemblyHands（Table 1）；分析帧数分别 184,346、26,529、8,703、394,621，其中至少一根手指 >90% 遮挡的帧数为 25,242、5,666、1,873、140,669。\n- 自采数据：12 人（6M/6F，18–29 岁，Monk Skin Tone 2–7），17 种手势，172,222 帧；iPhone 12 Pro Max 3840×2160@30fps；Vicon 8 台 Vero 相机 + 自定义标记；每人 10 秒中性参考；手距相机约 20 cm、相机与手约 45°；三种手部朝向（伸直、向下 30°、外翻 30°），共 51 trials。\n- 力数据：11 人（P2–P12），6 个静态手势，41,894 帧；FSR 与 Arduino 串口同步；click 定义为力峰值超过该 trial 最大力的 20%。\n训练与评估：\n- 训练用 AdamW、batch size 96；训练时从对应校准 capture 随机选参考帧；输入/参考独立增强；4×NVIDIA RTX A5500。\n- 主评估为 leave-one-subject-out（LOSO），每被试约 12,000 测试帧；指标为 MPJAE（度，越低越好）和 PA-MPJPE（mm，Procrustes 对齐后，越低越好）。\n- 基线 HaMeR、HandOccNet 在同一 LOSO 下微调：冻结 backbone，只训预测头；DeltaDorsal 解冻 ViT-L 最后 3 个 block；基线输入全手图，本文只输入手背 crop。\n- 下游 tap 用掌骨关节 X 轴欧拉角 RMSE；pinch 用指尖-拇指距离 RMSE；click 用 80/10/10 划分、交叉熵训练、按 click 多数投票报告。\n缺失与不公平点：输入信息量不同（全手 vs 手背），且本文用 HaMeR 做对齐与 β0，而 HaMeR 又是基线，存在依赖/循环风险；HandOccNet 微调常崩溃，比较不对称。未报告学习率、epoch、随机种子、每折训练/验证帧数、主结果显著性检验；Table 2/3 的 ± 是跨被试 SD（表注），不是置信区间。测试时参考图是否来自测试被试自己的校准、是否与训练折严格分离，正文未明确（待验证）；若是每用户校准，这不是标签泄漏但属于被试特定校准。缺少端到端延迟、功耗、校准时间、in-the-wild 评估。\n\n\n\n\n\n### 结果与证据\n\n主结果（Table 2，LOSO，12 人）：MPJAE 为 Ours 6.41±0.92°、HaMeR 6.74±0.48°、HandOccNet 11.27±0.97°；PA-MPJPE 为 Ours 7.41±1.01 mm、HaMeR 7.11±0.47 mm、HandOccNet 14.38±1.22 mm。相对 HaMeR，MPJAE 低 0.33°（约 4.9%），但 PA-MPJPE 高 0.30 mm（约 4.2% 更差）；论文未报告该差异的显著性，SD 有重叠，因此证据支持“可比/部分更优”，不支持“全面超过”。\n遮挡相关：≤50% 手指可见时，Ours MPJAE 7.59±4.38° vs HaMeR 9.24±5.54°（作者报告 −17.86%），PA-MPJPE 8.47±3.84 mm vs 9.03±3.65 mm（−6.20%）；Figure 8 拟合斜率 Ours −4.59°、HaMeR −8.42°、HandOccNet −9.11°。这支持“对遮挡更稳”，但 R² 仅 0.048（Ours），方差大，且可见性来自 MANO 拟合而非受控遮挡实验。\n按手指：拇指 MCP 为 Ours 4.77±0.63° vs HaMeR 7.38±1.66°，是强项；但 index PIP（8.84 vs 8.10）、middle MCP（7.69 vs 7.43）、ring MCP（6.90 vs 6.39）更差，pinky MCP（7.35 vs 8.42）更好。结果混合，不能概括为所有关节更准。\n按手势（Table 3）：fist 的 MPJAE 9.94±2.95° vs HaMeR 13.60±3.00°，bear claw 8.09±2.26° vs 9.91±1.85°，优势明显；fan 的 PA-MPJPE 8.22±1.49 mm vs 7.53±1.37 mm 更差，free 的 MPJAE 8.16±1.33° vs 7.86±1.14°、PA 9.98±1.72 mm vs 8.69±1.52 mm 也更差；tap/pinch 的 MPJAE 大致持平但 PA 略差。\n下游：自遮挡 tap 的 index/middle RMSE 改善（26.23° vs 31.15°、16.07° vs 26.02°），pinky 变差（15.89° vs 11.29°）；自遮挡 pinch 的 index 距离 RMSE 改善（16.81 vs 25.46 mm），middle/ring 变差（26.33 vs 21.23、23.17 vs 20.08 mm）；等长 click 总体准确率 0.85（in-air 0.85、surface 0.84），并非接近完美。\n消融（Table 4/5）：384×384 的 MPJAE 6.80±7.16° 优于 256（7.00±7.34°）和 128（7.57±7.82°），但 PA-MPJPE 在 256 为 7.80±6.95 mm，反而低于 384 的 7.93±6.89 mm，趋势不单调；推理时间 20.95/9.61/5.20 ms。ViT-S+ 无 delta 时 MPJAE 24.31±29.45°，有 delta 时 7.13±7.45°，说明 delta 对小骨干关键；ViT-L 有/无 delta 为 6.80 vs 6.79，几乎无增益。仅 3 名被试、SD 很大，部署结论需谨慎。\n总体：证据支持“手背差分特征在遮挡子集、fist/bear claw、拇指和部分 tap/pinch 上有效”，并支持“更小模型可比 SOTA”；不足以支持所有手指/手势、真实场景泛化和全面 SOTA。HandOccNet 对比因训练崩溃而证据较弱。\n\n\n\n\n\n### 相关工作\n\n最接近的工作与差异（按论文叙述；外部事实未联网核验）：\n\n1) HaMeR：全手 transformer 网格估计器，ViT-H 约 632M 参数；本文用 ViT-L 约 300M。实际差异不只是骨干更小：本文只输入手背 crop，用参考图差分预测 MANO 姿态 θ，不预测全局旋转/平移和形状；但本文的 β0、参考图对齐和可选平移来自 HaMeR，因此不是完全独立的替代关系。代价是必须每用户采集中性参考图，且只能处理手背可见的场景。\n2) HandOccNet：显式利用遮挡区域特征的手部网格估计器，主要面向手-物遮挡；本文报告其在自遮挡下常退化为中性手型、微调常崩溃，因此比较不对称，不能据此断定本文全面优于遮挡鲁棒方法。\n3) DorsalNet/Back-Hand-Pose：腕戴相机 + dorsum motion images 预测 3D 手姿态，需要腕部固定硬件并依赖时序运动图像；DeltaDorsal 用头戴 egocentric 相机、无时序、用中性参考图做特征差分，去掉腕部硬件但增加参考校准和对齐步骤。\n4) Opisthenar：腕戴相机做手势与 tap 识别，不是完整 3D 姿态回归；与本文任务和硬件形态均不同。\n5) Sugiura、Zhao 等皮肤形变传感器：需要光反射/摩擦电等贴身传感器；本文纯视觉，依赖高分辨率手背纹理。\n成本与边界：本文避免全手轮廓和腕部硬件，但依赖 HaMeR 做初始化与对齐、依赖 4K 级手背可见性、无法从手背单独恢复全局位置/朝向；作者称这是首个 egocentric 端到端手背特征姿态系统，代码链接在文中但未核验可获取性。\n\n\n\n\n\n### 关键图表解读\n\n1) Figure 3 + Table 1：展示四个 egocentric 数据集中手指遮挡的流行度，以及在至少一根手指 >90% 遮挡时手背仍可见的比例（中位数 >40%，最高约 80%）。支持“自遮挡常见但手背信号仍在”的动机。条件：只统计右手在画面内、基于 MANO 拟合和 Z-buffer 的自遮挡，不含物体/身体遮挡；拟合未用轮廓优化，数值应视为近似。\n2) Figure 4：把 HaMeR/HandOccNet 的 MPJAE 对平均手指可见性做回归，显示可见性越低误差越高（HaMeR m=−15.84、R²=0.212；HandOccNet m=−9.11、R²=0.095，p<.0001）。支持“轮廓型基线在遮挡下退化”。限制：R² 低，相关不等于因果；HandOccNet 常输出中性手型，误差来源不只是遮挡。\n3) Table 2：主 LOSO 逐手指结果。它同时显示总体 MPJAE 略优、PA-MPJPE 略差、拇指明显更好、部分手指更差；支持“手背特征可比 SOTA 且对拇指有效”，但不支持“全面更优”。条件：12 人 LOSO，基线输入全手图，本文只输入手背 crop，且本文使用 HaMeR 做对齐/形状；HandOccNet 训练不稳定。\n4) Figure 8：微调后 MPJAE 对平均手指可见性的回归。Ours 斜率 −4.59° 小于 HaMeR −8.42° 和 HandOccNet −9.11°，支持“遮挡下降更平缓”。限制：Ours 的 R² 仅 0.048，帧级方差大；可见性由 MANO 拟合估计，不是受控遮挡操纵；不能外推到真实物体遮挡。\n5) Table 5：DINOv3 骨干与 delta 流消融。ViT-S+ 无 delta 时 MPJAE 24.31±29.45°，加 delta 后 7.13±7.45°；ViT-L 有/无 delta 几乎相同（6.80 vs 6.79），推理时间从 20.95 ms 降到 4.54 ms（ViT-S+ 有 delta）。支持“delta 对小模型/移动部署关键”，但仅 3 名被试、SD 很大，不能证明所有小模型都稳定。\n这些图表把主要证据集中在遮挡相关指标和消融上；下一步应综合评估其证据强度、可复现性与部署边界。\n\n\n\n\n\n### 术语表\n\n术语与符号（按本文用法）：\n\n- Egocentric view：头戴/胸戴等第一人称视角；本文用固定 iPhone 模拟，手指常被手掌/手背自遮挡。\n- Dorsum/dorsal：手背；dorsal skin deformation 指手背皮肤随肌腱、肌肉和关节活动产生的细纹理/拉伸。\n- Self-occlusion：手自身部件造成的遮挡；本文用 MANO 面片可见性度量，不含物体遮挡。\n- MANO：参数化手部网格模型；Θ=MANO(θ,β)+t。θ 为姿态（轴角），β 为形状，t 为平移；本文只预测 θ，β_0 由参考图经 HaMeR 估计，t 在姿态模型中置零。\n- Axis-angle：轴角表示，一个 3 维向量同时编码旋转轴和角度；本文 θ 为 15×3。\n- MPJAE：Mean Per Joint Angular Error，平均每关节角度误差，单位度，越低越好。\n- PA-MPJPE：Procrustes-aligned Mean Per Joint Position Error，先做全局平移/旋转/缩放对齐再算关节位置误差，单位 mm，越低越好；对全局尺度/朝向不敏感。\n- LOSO：Leave-One-Subject-Out，留一被试交叉验证；本文每折留 1 人测试，其余训练。\n- I_0 / I_t：中性参考手背图 / 当前手背图。\n- F_0 / F_t：DINOv3 对 I_0 / I_t 提取的 dense patch 特征；空间分辨率为原图/16。\n- ΔF=F_t−F_0：逐 patch 特征差；用于隔离相对中性姿态的皮肤形变。\n- cos(F_t,F_0)(x,y)：逐 patch 余弦相似度；低相似度表示该局部外观变化大，Figure 5 用暗色可视化。\n- Change encoder：融合 ΔF、余弦图、F_t、F_0 的小型卷积网络，输出编码特征 X。\n- DINOv3 / ViT-L / ViT-S+ / ViT-B：预训练视觉 Transformer 骨干；本文默认 ViT-L（约 300M），消融用 ViT-S+（29M）和 ViT-B（86M）。\n- RANSAC + homography：用随机采样一致性估计单应性，把参考手背对齐到当前手背；用于像素级差分前的空间对齐。\n- Z-buffer：深度缓冲；本文把 MANO 面片投影到图像平面，用最近深度判断面片可见/被遮挡。\n- OpenPose keypoints：手部 2D/3D 关键点标注；本文用其与 MANO 关节对齐。\n- Monk Skin Tone：1–10 的肤色量表；本文被试覆盖 2–7，用 ANOVA/η² 分析肤色影响。\n- FSR：Force-Sensing Resistor，力敏电阻；本文用于同步采集等长按压力。\n- Isometric click/force click：手几乎不动、仅靠肌肉发力造成的“点击”；本文用 delta 特征做逐帧/逐 click 分类。\n- HaMeR：全手 transformer 网格估计基线；本文也用它做参考图对齐、β0 和可选平移。\n- HandOccNet：遮挡鲁棒手部网格估计基线；本文报告其微调常崩溃。\n- η²：效应量，表示因素解释的方差比例；本文肤色 η²=0.0055，作者解释为实际影响很小。\n\n\n\n\n\n### 全部图表索引\n\n供给材料中的图表索引（位置按正文编号；重要解释见 module_d）：\n\n| 编号 | 主题/说明 | 位置 | 关联主张 |\n|---|---|---|---|\n| Figure 1 |  teaser：egocentric 手指遮挡、手背信号、与 HaMeR 的定性比较 | Sec. 1/Abstract | 动机与总体主张；定性证据 |\n| Figure 2 | (a) OpenPose 关键点在 MANO 上的对齐；(b) MANO 面片按 index/middle/ring/pinky/thumb/dorsum/palm 分类 | Sec. 3.1 | 遮挡测量与部位定义 |\n| Figure 3 | (a) 各数据集 >90% 可见的手指数量；(b) 至少一根手指 >90% 遮挡时手背可见性分布 | Sec. 3.2 | 遮挡流行度与手背可见性 |\n| Figure 4 | HaMeR/HandOccNet 的 MPJAE 对平均手指可见性回归（未微调/初始基线） | Sec. 3.3 | 基线在遮挡下退化 |\n| Figure 5 | 各静态手势示例；顶部含参考图、当前手背图、DINO 特征余弦相似度图 | Sec. 4/5.1 | 数据形态与特征差分可视化 |\n| Figure 6 | DeltaDorsal 系统架构：参考/当前图、对齐、DINOv3、change encoder、回归头、MANO | Sec. 5.2 | 方法总览；机制证据 |\n| Figure 7 | 自遮挡场景下 GT、HaMeR、HandOccNet、Ours 的网格定性比较 | Sec. 6.1 | 定性比较；基线失败案例 |\n| Figure 8 | 微调后 MPJAE 对平均手指可见性回归 | Sec. 6.1 | 遮挡鲁棒性主证据之一 |\n| Figure 9 | MPJAE 分布对 Monk 肤色等级的 violin plot | Sec. 6.1 | 肤色影响分析 |\n| Figure 10 | 6 个静态力手势及逐 click 混淆矩阵 | Sec. 7.3 | 等长 click 检测 |\n| Table 1 | 四个 egocentric 数据集的受试者、标注、手势类型、是否 in-the-wild、分析帧数、遮挡帧数 | Sec. 3.2 | 动机分析的样本与遮挡统计 |\n| Table 2 | 逐手指 LOSO 的 MCP/PIP/DIP/CMC/IP MAE、总体 MPJAE 与 PA-MPJPE | Sec. 6.1 | 主结果；总体与逐关节比较 |\n| Table 3 | 逐手势 LOSO 的 MPJAE 与 PA-MPJPE | Sec. 6.1 | 手势差异；fist/bear claw/fan/free |\n| Table 4 | 输入图像尺寸 128/256/384 的 MPJAE、PA-MPJPE、推理时间 | Sec. 6.2 | 分辨率消融与部署速度 |\n| Table 5 | ViT-S+/ViT-B/ViT-L 与有无 delta 流的消融 | Sec. 6.2 | 骨干容量与 delta 流必要性 |\n| Table 6 | 自遮挡 tap 的 index/middle/pinky RMSE | Sec. 7.1 | tap 下游应用 |\n| Table 7 | 自遮挡 pinch 的 index/middle/ring 指尖-拇指距离 RMSE | Sec. 7.2 | pinch 下游应用 |\n| Table A.1 | 12 名受试者年龄、性别、Monk 肤色、手周长/长度比、毛发程度 | Appendix A | 受试者 demographics |\n| Figure A.1 | 数据采集用自定义动捕标记定义 | Appendix A | 动捕与标注流程 |\n\n未提供补充视频/完整代码附录；文中 GitHub 链接未联网核验。Figure 10 的混淆矩阵逐格数值未在正文完整列出，正文只报告总体/分组指标。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n### 可信结论与证据强度\n\n- 高可信（论文内直接证据）：egocentric 数据中自遮挡普遍。Table 1/Figure 3 对 ARCTIC、H2O、EgoExo4D、AssemblyHands 的再分析显示超过 20% 帧至少一根手指被遮挡，且至少一根手指 >90% 遮挡时手背中位可见性仍 >40%、最高约 80%。这是作者自己的统计，不是外部数据集原始结论。\n- 高可信（受控实验内）：在自采 12 人 LOSO 下，dorsal-only 模型 MPJAE 6.41±0.92° 略低于 HaMeR 6.74±0.48°，但 PA-MPJPE 7.41±1.01 mm 略差于 HaMeR 7.11±0.47 mm；因此证据支持“可比/部分更优”，不支持“全面超过”。Table 2 的 ± 是跨被试 SD，不是置信区间，主结果未报告显著性检验。\n- 中高可信：≤50% 手指可见时，Ours MPJAE 7.59±4.38° vs HaMeR 9.24±5.54°，Figure 8 斜率 −4.59° vs −8.42°，支持“遮挡下降更平缓”。但 Ours 的 R² 仅 0.048，帧级方差大，可见性来自 MANO 拟合而非受控遮挡操纵。\n- 中可信：拇指 MCP 4.77±0.63° vs HaMeR 7.38±1.66°、fist 9.94±2.95° vs 13.60±3.00°、bear claw 8.09±2.26° vs 9.91±1.85° 是明确强项；但 index PIP、middle MCP、ring MCP 更差，fan/free 的 PA-MPJPE 更差，pinky tap/pinch 也变差。结论必须按手指和手势限定。\n- 中可信：Table 5 显示 ViT-S+ 无 delta 时 MPJAE 24.31±29.45°，有 delta 时 7.13±7.45°；ViT-L 有/无 delta 几乎相同（6.80 vs 6.79）。这支持“delta 对小骨干关键”，但仅 3 名被试且 SD 很大，不能外推所有小模型。\n- 中可信：肤色 ANOVA p=4.07×10⁻²⁰⁵、η²=0.0055，作者解释为实际影响小；但样本仅 Monk 2–7、12 人，不能证明对更广肤色/皮肤条件“无影响”。\n- 初步可信：等长 click 总体 0.85、in-air 0.85、surface 0.84；这是逐 click 多数投票准确率，不是逐帧或连续力估计，且存在更多假阴性。\n\n### 证据不足或需降级的主张\n\n- “outperforms SOTA”应降级为“在自采 LOSO 的 MPJAE 和遮挡子集上可比或略优”。PA-MPJPE 未全面超过 HaMeR；HandOccNet 因微调常崩溃，比较不对称；基线输入全手图而本文只输入 dorsal crop，且本文用 HaMeR 做对齐、β0 和可选平移，存在依赖/循环风险。\n- “首个 egocentric 端到端手背姿态系统”是作者新颖性主张；DorsalNet/Opisthenar 已用腕戴相机做手背信号，本文差异是头戴 egocentric、无腕部硬件、无时序；但未做系统文献检索，不能据此确认优先权。\n- “可部署到移动设备”目前只有单卡模型前向时间，没有端到端延迟、功耗、热、相机管线和移动 SoC 实测。\n- “肤色不敏感”只覆盖 12 人、Monk 2–7；不能覆盖极端肤色、老年皮肤、毛发、瘢痕、强光照。\n- “对遮挡鲁棒”只测自遮挡，不测物体/身体遮挡；且可见性由 MANO 拟合估计，不是受控遮挡实验。\n\n### 关键假设、失败场景与后果\n\n- 假设 1：每个用户有可对齐的中性参考图。证据：Sec. 5.1 用 HaMeR 关节投影 + RANSAC 单应性；论文未报告对齐失败的回退策略。后果：参考缺失或对齐失败会直接破坏像素级差分，系统可能输出错误姿态。\n- 假设 2：手背可见且高分辨率。作者在 Sec. 8 承认只适用于手背可见的场景；后果：手背被物体/身体遮挡、手出画、低分辨率或强运动模糊时不可用。\n- 假设 3：HaMeR 给出的 β0 和可选平移足够好。后果：形状/平移误差会进入 MANO 网格，PA-MPJPE 和下游距离指标受影响；同时 HaMeR 又是基线，比较不公平。\n- 假设 4：只预测 θ、全局朝向和平移置零。后果：不能单独恢复全局手部位置/朝向，必须外接定位；对大幅全局运动不建模。\n- 假设 5：MANO 拟合和动捕标记给出的 GT 足够准确。后果：Table 1 的遮挡统计、Table 2 的关节误差都受 MANO/标记拟合误差影响；论文未给 GT 误差上限。\n- 假设 6：自遮挡指标只考虑手自身面片。后果：物体遮挡、身体遮挡被排除，真实场景误差可能更大。\n- 失败场景：pinky 和 middle/ring pinch 变差；fan/free 的 PA-MPJPE 变差；手势顶点处皮肤大范围拉伸被 16×16 patch 粗化；低分辨率丢失皱纹；强光/毛发/皮肤病变破坏纹理；快速运动模糊；左手、双手、物体交互未验证。\n- 测试参考图协议待验证：论文说训练时从对应校准 capture 随机选参考帧，但未明确测试时参考图是否来自测试被试自己的校准、是否与训练折严格分离。若是每用户校准，这不是标签泄漏，但属于被试特定校准，需在复现中明确。\n\n### 复现计划\n\n必需工件：代码库与配置（文中链接 github.com/hilab-open-source/deltadorsal，未联网核验）；DINOv3 ViT-L/ViT-S+/ViT-B 权重；HaMeR 与 HandOccNet 检查点；MANO 模型与中性形状 β0；自采 172,222 帧数据及 Vicon 标记/相机标定；力数据与 FSR 同步；评估脚本。若数据集不公开，复现核心表格会受阻，需作者提供或改用可比自采数据。\n重要设置：384×384 dorsal crop；共享权重双流 DINOv3；ViT-L 解冻最后 3 个 block；AdamW、batch size 96；输入与参考独立做亮度/对比度/gamma/噪声/高斯模糊增强；RANSAC 单应性对齐；change encoder 输入 ΔF=F_t−F_0、逐 patch 余弦相似度、F_t、F_0；损失 L=||J−Ĵ||₁+||θ−θ̂||₂²；LOSO 12 折。论文未报告学习率、epoch、随机种子、每折训练/验证帧数、change encoder 通道数/卷积核/融合权重，需查代码或作者确认，不能臆造。\n验证步骤：先复现 Table 2/3 的 MPJAE 和 PA-MPJPE；再复现 Figure 8 的可见性斜率与 ≤50% 可见子集；然后做 Table 4/5 的图像尺寸和骨干消融；最后复现 Table 6/7 与 click 混淆矩阵。附加公平性实验：给基线相同 dorsal crop 和相同 HaMeR 对齐；用 oracle 对齐 vs 检测器对齐；交叉拟合参考图；报告配对检验/置信区间；在 ARCTIC/H2O/EgoExo4D/AssemblyHands 上做跨数据集测试；加入物体遮挡和移动端延迟。\n成功标准（分析建议，不是论文数值）：主趋势复现，即 MPJAE 与 HaMeR 接近或略优、遮挡子集 Ours 明显优于 HaMeR、ViT-S+ 有 delta 显著优于无 delta、click 逐 click 接近 0.85；若公平基线后优势消失，则应把论文结论降级为“特定裁剪/初始化协议下的有效”。若 PA-MPJPE 仍略差而 MPJAE 略优，应按论文原意解释为 competitive，而非全面 SOTA。\n复现伪代码（据 Sec. 5 重构，非论文原文）：\n\n```text\nfor each LOSO subject s:\n  train on other subjects; test on s\n  I0 = neutral reference of s  # 协议待确认\n  for frame It:\n    J0_2d = project(HaMeR_dorsal_joints(I0))\n    H = RANSAC_homography(J0_2d, HaMeR_dorsal_joints(It))\n    I0a, Ita = crop_warp_resize(I0, It, H, 384)\n    F0, Ft = shared_DINOv3(I0a, Ita)\n    X = change_encoder([Ft-F0, cos(Ft,F0), Ft, F0])\n    theta = regression_head(X)\n    mesh = MANO(theta, beta0) + optional_t\n```\n\n\n\n\n\n### 应用约束\n\n### 已演示的部署行为\n\n- 数据采集在受控实验室完成：固定 iPhone 12 Pro Max、3840×2160@30fps、右手、手距相机约 20 cm、相机与手约 45°，12 名被试、17 种手势、172,222 帧；力数据 11 人、41,894 帧。\n- 训练使用 4×NVIDIA RTX A5500、256GB RAM、AMD Threadripper PRO 3955WX；这不是终端部署配置。\n- 推理时间仅在单张 RTX A5500 上测模型前向：ViT-L 20.95 ms、ViT-S+ 4.54 ms；未报告端到端延迟、功耗、热限制、相机采集和参考校准时间。\n- 下游 click 按 click 多数投票报告：in-air 0.85、surface 0.84；不是逐帧精度，也不是连续力回归精度。\n- 肤色覆盖 Monk 2–7，ANOVA 效应量 η²=0.0055；未覆盖极端肤色、老年皮肤、瘢痕、浓密毛发和强光照。\n\n### 推断与未演示的约束\n\n- 移动端可部署性属于推断：ViT-S+ 的 4.54 ms 说明模型前向有潜力，但没有手机/头显实测，不能当作已部署证据。\n- 系统依赖每用户中性参考图和 HaMeR 对齐；参考图缺失、对齐失败或手背不可见时，论文未给回退策略。\n- 只预测 MANO 姿态 θ，全局朝向和平移置零；部署时必须外接定位/骨架跟踪，不能单独恢复全局手部位置。\n- 高分辨率 4K 输入是性能关键；降到 128/256 会降精度，且 Table 4 的 PA-MPJPE 在 256 与 384 之间非单调，低分辨率部署需重新验证。\n- 鲁棒性边界：未验证物体遮挡、双手、左手、快速运动模糊、强光照、皮肤病变、毛发遮挡；这些会直接影响手背纹理信号。\n- 适用性：最适合作为轮廓模型的补充信号，用于手背可见的 XR 手势、tap/pinch 微手势和静态 click；不适合作为唯一的手部跟踪或全局定位方案。\n\n\n\n\n\n### 探索问题\n\n### 后续问题 1：dorsal delta 的增益是否独立于 HaMeR 对齐、β0 和输入裁剪的不对称？\n\n验证方法：在同一 LOSO 协议下做三组公平比较：(a) 给 HaMeR/HandOccNet 相同的 dorsal crop 和相同 HaMeR 对齐；(b) 用 oracle 对齐与检测器对齐对比，量化单应性误差的影响；(c) 交叉拟合参考图，明确测试被试中性参考是否可用于校准、是否与训练折隔离；并报告主结果的配对检验或置信区间。收益：能把“手背差分有效”与“HaMeR 初始化/裁剪信息不对称”分开，直接检验核心创新。风险：基线在相同裁剪下可能显著变强，原优势缩小；参考图协议若被重新定义，可能改变任务难度。\n\n### 后续问题 2：跨数据集、物体遮挡和真实 egocentric 场景下是否仍成立？\n\n验证方法：在 ARCTIC、H2O、EgoExo4D、AssemblyHands 中选有中性参考或可构造参考的帧，做零样本/少样本评估；额外加入物体遮挡、光照变化、运动模糊、毛发/皮肤纹理差异、左手和双手场景；报告按可见性分层的误差。收益：检验论文承认的最大缺口——实验室固定相机与自采数据的泛化性。风险：这些数据集缺少 4K 手背纹理和严格中性参考，域差距可能使结论不可比；物体遮挡不在原自遮挡指标内。\n\n### 后续问题 3：ViT-S+ 的移动端部署与等长 click 是否真的可用？\n\n验证方法：在目标头显/手机 SoC 上测端到端延迟、功耗、热限制和相机管线延迟；比较 128/256/384 输入与 ViT-S+/ViT-B 的精度-延迟曲线；对 click 做逐帧和逐 click 的置信区间、跨用户留一验证，并加入手部全局位置变化干扰。收益：验证论文“更小模型可部署”的实用主张，并判断 force click 能否成为独立交互通道。风险：ViT-S+ 在论文中仅 3 名被试且方差很大；4.54 ms 只是单卡模型前向，不是整机延迟；click 0.85/0.84 的准确率对真实输入可能不足。\n\n\n\n\n\n### 引用与核验\n\n### 核验范围\n\n本次仅基于供给论文正文、附录和参考文献表做引用核查；未联网访问 DOI、arXiv、GitHub 或数据集主页，因此不声称外部事实已独立核验。以下“支持”均指论文内部引用/叙述支持，不是外部复现。\n\n### 新颖性与最强比较\n\n- 新颖性关键引用：DorsalNet/Back-Hand-Pose [^66] 与 Opisthenar [^67] 是最接近的腕戴手背方法；Sugiura [^60]、Zhao [^71] 是手背形变传感器。论文用它们支撑“已有手背方法需腕部硬件/贴身传感器，本文用头戴 egocentric 相机”的差异。未查这些原文，不能确认“首个 egocentric 端到端”的优先权；该主张应标为作者主张，待系统检索。\n- 最强比较引用：HaMeR [^49] 和 HandOccNet [^47] 支撑 Table 2/3 的基线身份。论文内部证据显示 HaMeR 是强基线、HandOccNet 微调常崩溃；但参数计数（HaMeR ViT-H 632M、本文 ViT-L 300M）和崩溃原因未外部核验。比较不对称（全手图 vs dorsal crop；本文用 HaMeR 做对齐/β0）是分析判断，不是引用能解决的问题。\n\n### 关键外部依赖与 reproduction\n\n- DINOv3 [^57] 是核心骨干和预训练权重来源；MANO [^53] 是参数化手模型；OpenPose [^8] 用于关键点定义；RANSAC [^19]、Z-buffer [^10]、AdamW [^39]、PyTorch [^48] 是方法与实现依赖。这些在参考文献表中存在，但版本、权重、许可证和可获取性未核验；复现前必须确认。\n- 数据集引用：ARCTIC [^17]、H2O [^32]、EgoExo4D [^26]、AssemblyHands [^46] 支撑动机分析；Table 1 的帧数和遮挡比例是本文再分析结果，不是原数据集论文的统计，未外部核对。Monk Skin Tone [^2] 仅作为肤色量表引用，未核验其使用协议。\n- 代码与数据：文中代码链接为 github.com/hilab-open-source/deltadorsal，未访问；数据集是否公开、力数据是否发布、许可证和完整配置均未说明。若代码/数据不可得，Table 2/3/4/5 的精确复现会被阻塞；这是当前最大 reproduction 风险。\n\n### 其他引用\n\n综述类 [^5][^12][^15][^34]、生物力学/皮肤形变 [^9][^13][^55][^68]、微手势 [^31][^37][^40][^56]、医学皮肤 [^20][^24] 等主要用于背景和扩展讨论，未逐篇核查；它们不直接支撑主结果。论文对“手背皮肤形变与手指运动相关”的引用支持是背景性证据，不能替代本文自己的受控实验。\n\n### 结论\n\n所有主结果均来自供给论文的 Table/Figure，未发现外部独立复现；引用表能支持论文的叙述链条，但不能证明“全面 SOTA”“首个”或“可移动部署”。复现前应优先核验代码仓库、数据集可用性、DINOv3/HaMeR 权重和参考图协议。\n\n\n\n\n\n### 最终判断\n\n这篇论文最值得信任的是问题洞察和受控实验中的方向性结论：egocentric 自遮挡确实常见，手背在手指被遮挡时仍常可见，dorsal delta 在自采 LOSO 的遮挡子集、拇指、fist/bear claw 和部分 tap/pinch 上有真实增益；但“全面超过 SOTA”不成立，主结果 MPJAE 仅略优、PA-MPJPE 略差，基线比较存在输入信息不对称和 HandOccNet 崩溃问题，移动端与真实场景泛化仍是推断。最合适的使用方式是把 DeltaDorsal 当作“手背差分作为轮廓补充信号”的系统蓝图和交互原型基线，而不是可直接替换 HaMeR 的通用解；复现前应先确认代码、数据和参考图协议。下一步应优先做公平基线归因实验和跨数据集验证，再决定是否集成到 XR 管线。"
}