{
  "paper_id": "10b40596dcd00da00198e1d1db086a39",
  "paper_title": "SIMHAND: MINING SIMILAR HANDS FOR LARGE-SCALE 3D HAND POSE PRE-TRAINING",
  "paper_authors": [
    "Nie Lin",
    "Takehiko Ohkawa",
    "Yifei Huang",
    "Mingfang Zhang",
    "Minjie Cai",
    "Ming Li",
    "Ryosuke Furuta",
    "Yoichi Sato"
  ],
  "publication_date": "",
  "publication_venue": "ICLR 2025",
  "abstract": "本文提出 SiMHand，一个面向 3D 手部姿态估计的大规模野外图像预训练框架。针对以往对比学习主要依赖单图像增强或时间相邻帧、未能充分利用多样化野外手部视频的问题，作者从 Ego4D 和 100DOH 等以人为中心的视频中收集超过 200 万张手部图像，并利用 2D 手部关键点挖掘姿态相似但来自不同视频的手对作为非自身正样本。框架将相似手对在特征空间中拉近，同时根据小批量内样本间距离对对比损失进行无参数自适应加权。在 FreiHand、DexYCB 和 AssemblyHands 上的微调实验表明，SiMHand 优于 SimCLR、PeCLR 等传统对比预训练方法；相对 PeCLR，其在三个数据集上分别取得约 15%、10% 和 4% 的性能提升。代码已公开。\n",
  "keywords": [
    "3D手部姿态估计",
    "自监督预训练",
    "对比学习",
    "相似手部挖掘",
    "自适应加权",
    "野外视频",
    "非自身正样本"
  ],
  "paper_institutions": [
    "The University of Tokyo",
    "Hunan University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:31.342172Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n3D 手部姿态估计对视频理解、AR/VR 交互和机器人学习十分关键，但 3D 标注数据稀缺且多来自受控实验室；现有 SimCLR、PeCLR 等对比预训练通常从单张图像的增强视图构造正样本，TempCLR 则依赖时间相邻帧，难以提供丰富的背景、手物交互和手部外观变化，在自我中心视频中还容易因相机运动、遮挡或检测失败而丢失手部。为此，本文提出 SiMHand：先用现成手部检测器从 Ego4D 和 100DOH 中构建约 200 万张野外手部图像池，平衡左右手并统一转换为右手图像，再用 MediaPipe 提取 21 个 2D 关键点形成 42 维向量，通过 PCA 压缩到 14 维以抑制噪声；其核心挖掘机制为 SiM(I_{i,j}) = argmin_{x∈F_i^c} D(M^T φ(x), M^T φ(I_{i,j}))，即排除查询样本所在视频后，在 PCA 姿态空间中寻找欧氏距离最近的跨视频手对，从而避免同视频近邻的平凡解并增强多样性。SiMHand 将挖掘到的相似手对作为正样本、批量内其他样本作为负样本，并使用按小批量距离归一化的自适应权重 w=(d_max-D(k_1,k_2))/(d_max-d_min)，分别形成 w_pos 和 w_neg 加入加权 NT-Xent 损失，使越相似的样本获得越强的对齐指导。选择 Ego4D 与 100DOH 是为了同时覆盖自我中心和第三人称视角及大规模手物交互，FreiHand、DexYCB 和 AssemblyHands 则用于验证跨视角、跨场景和少标注微调的泛化能力；实验以 ResNet-50 为编码器以保证与主流基线公平比较，输入为 128×128，温度系数 τ=0.5，批量大小 8192，使用 8 张 NVIDIA V100 预训练，微调到基于 2D 热图和 3D 定位头的 DetNet。评价采用 MPJPE 和 PCK-AUC；SiMHand 在 Ego&Exo-2M 设置下取得 15.79、16.71、18.23 的 MPJPE 和 90.04、88.86、86.90 的 PCK-AUC，相对 PeCLR 的 Ego-1M 设置在三个数据集上分别改善 15.31%、10.53% 和 4.90%，在联合 2M 设置下仍改善 13.19%、7.4% 和 3.4%，支持了跨视频相似正样本和自适应加权两项创新。该方法尤其适合标注稀缺的真实部署场景，但仍依赖现成检测器和 2D 姿态估计器的质量，并受遮挡、运动模糊和噪声关键点限制；未来可扩展更多野外数据源并进一步探索通用 3D 手部预训练表征。\n\n### 关键要点\n\n- SiMHand 从 Ego4D 和 100DOH 中各收集约 100 万张手部图像，形成总计约 200 万张的预训练图像池，规模显著高于此前 32K 至 86K 级别的预训练集。\n- 预处理阶段使用现成手部检测器裁剪可见手部区域，平衡左右手数量，并将所有手部图像转换为右手形式，以减少手别偏差。\n- 相似手挖掘使用 MediaPipe 输出的 21 个 2D 关键点，将 42 维关键点向量经 PCA 降至 14 维，再以欧氏距离检索相似姿态。\n- 检索正样本时明确排除查询图像所在视频，因此正样本来自不同视频，可带来不同背景、物体交互和手部外观。\n- 自适应权重根据小批量内关键点距离的最小值和最大值动态计算，并分别为正样本对和正负样本对设置 w_pos 与 w_neg。\n- 预训练采用 ResNet-50 编码器、投影头、几何与颜色增强、逆几何变换对齐、温度 0.5 和批量大小 8192；微调时接入 DetNet 的 2D 热图与 3D 定位头。\n- 下游评测覆盖 FreiHand、DexYCB 和 AssemblyHands，分别代表第三人称绿幕/真实背景、自然手物交互和自我中心装配场景。\n- 在 Ego&Exo-2M 设置下，SiMHand 在三个下游数据集上的 MPJPE 分别为 15.79、16.71 和 18.23，PCK-AUC 分别为 90.04、88.86 和 86.90。\n- 与 PeCLR 的 Ego-1M 结果相比，SiMHand 在 FreiHand、DexYCB 和 AssemblyHands 上的 MPJPE 分别降低 15.31%、10.53% 和 4.90%。\n- 少标注实验中，预训练数据从 50K 增至 1M 时，SiMHand 在 FreiHand* 上的 MPJPE 从 35.32 降至 23.68，且在仅 10% 微调标注时优势明显。\n- Top-K 消融表明 Top-1 正样本效果最好；当相似度排名扩大到 Top-5000 时，MPJPE 从 31.06 升至 35.34，说明过低相似度会损害预训练。\n- 可视化显示 SiMHand 在光照变化和手物遮挡条件下更接近真值，但其性能仍受手部检测失败、2D 关键点噪声和严重遮挡约束。"
}