{
  "paper_id": "0dfc46416afefe6c13bb77cc57e94846",
  "paper_title": "GigaHands: A Massive Annotated Dataset of Bimanual Hand Activities",
  "paper_authors": [],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "理解人类双手活动是人工智能与机器人领域的关键问题。由于现有数据集在规模、手部活动覆盖范围和详细标注方面不足，研究人员无法训练面向双手活动的大模型。本文提出 GigaHands，这是一个大规模带标注数据集，记录了56名受试者、417个物体的34小时双手活动，包含由1.83亿帧生成的1.4万个动作片段，并配有8.4万条文本标注。其无标记采集方案和数据获取协议可在尽量降低文本标注成本的同时，全自动估计三维手部与物体信息。GigaHands 的规模与多样性可支持文本驱动动作合成、手部运动描述以及动态辐射场重建等广泛应用。\n",
  "keywords": [
    "双手手部活动",
    "大规模数据集",
    "三维手部姿态",
    "手物交互",
    "文本标注",
    "文本驱动动作合成",
    "运动描述",
    "动态辐射场重建"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:17.568529Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对自然双手活动数据难以同时满足规模、多样性、三维精度和标注效率的问题，论文指出现有野外单目或可穿戴视频存在标定困难、遮挡严重和三维噪声大等缺陷，静态姿态与合成数据又缺少真实语义和自然运动，而工作室标记捕捉会抑制手手接触等自然交互；为此提出 GigaHands 数据集及其 Instruct-to-Annotate 程序化采集机制，核心流程可概括为“动词—物体池→LLM场景脚本→受试者按指令执行→片段切分与文本增强→多视图三维手物估计”，并以 1.83亿帧×2只手≈3.7亿个手部影像体现其规模。数据集包含56名受试者、417个真实物体、2034分钟活动、约1.3万个指令序列、1.4万个后处理片段、8.4万条文本对、370万个连续双手三维姿态以及51个相机视角，覆盖手物交互、手势和自接触，场景包括烹饪、办公、手工、娱乐和家务。研究团队采用51台720p、30fps、软件同步误差小于3ms的RGB相机，并用COLMAP标定；该无标记密集视角设置在保持自然动作和外观的同时，提供足够约束以验证多视图RGB可自动完成手物三维标注。手部估计结合YOLOv8、HaMeR、ViTPose、跨视角三角化、一欧元滤波和MANO拟合，物体估计结合DINOv2、Grounding DINO、OpenCLIP、SAM2、Instant-NGP初始化和可微渲染优化。实验以TACO、OakInk2及GigaHands不同子集为对照，文本驱动动作合成采用T2M-GPT、16:3:1划分和42个双手三维关键点，使用R-Precision、MM Dist、FID、Diversity和Multimodality评估，GigaHands取得31.2%、44.7%、53.1%的R-Precision@1/@2/@3，以及6.68、4.70、10.5和9.11的MM Dist、FID、Diversity、Multimodality，在多数指标上优于其他数据集，支持其规模与多样性创新；运动描述采用TM2T，并用R-Precision、MM Dist、BLEU、ROUGE、BERTScore、distinct-n和Pairwise BLEU评估，GigaHands在RP@1、Pairwise BLEU、BLEU@4、distinct-1和distinct-2等指标上表现最佳，体现更丰富且多样的语义描述；动态辐射场实验剔除12个光照问题视角后，用38个视角训练2DGS并保留1个测试视角，可逐帧重建包括非刚性物体在内的场景。未来可进一步利用该数据集促进机器人操作和人机交互，但当前受限于工作室空间，且铰接物体与非刚性物体的全自动跟踪仍具挑战。\n\n### 关键要点\n\n- GigaHands收录2034分钟双手活动，包含56名受试者、417个物体、约1.4万个三维动作片段、8.4万条文本描述和1.83亿个RGB帧。\n- 每个片段由51个相机视角捕捉，并标注双手三维形状与姿态、MANO网格、物体形状与6D姿态、外观、分割掩码、2D/3D关键点和相机位姿。\n- 数据集覆盖手物交互、手势和手手自接触，物体场景包括烹饪、办公、手工、娱乐和家务，并包含笔等小尺度物体。\n- 采集硬件为立方体桌面多相机系统，相机以30fps和1280×720分辨率录制，软件同步相位误差小于3ms，内外参数借助COLMAP和基准标记获得。\n- Instruct-to-Annotate先从已有数据汇集动词，再由人工关联物体并借助LLM组织成5个场景、25个幕、191项活动和1370条指令，受试者按音频指令执行。\n- 标注人员会修正LLM指令的不一致或受试者的额外动作，将1.3万个序列整理为1.4万个片段，再用LLM将每条描述改写5次以形成8.4万个运动—文本对。\n- 手部运动管线使用YOLOv8检测手部、HaMeR估计初始网格、ViTPose判别左右手，通过多视角三角化获得三维关键点，再经一欧元滤波和MANO拟合保证精度与时序平滑。\n- 物体运动管线使用DINOv2、Grounding DINO、OpenCLIP和SAM2获得跨视角掩码，再以Instant-NGP密度中心初始化平移、外观特征初始化旋转，并通过多视角可微渲染优化6D姿态。\n- t-SNE可视化显示GigaHands在双手姿态和运动分布上比现有数据集更广，其文本共含1467个动词，其中580个为该数据集独有。\n- 在T2M-GPT文本驱动动作合成实验中，GigaHands训练模型的R-Precision@1/@2/@3为31.2%、44.7%、53.1%，FID为4.70，Multimodality为9.11，多数指标优于TACO和OakInk2。\n- 使用10%、20%、50%、80%和100%训练数据的消融显示，扩大数据规模可持续改善FID、MM Dist以及Top-1和Top-3准确率。\n- 动态辐射场重建使用38个训练视角拟合2DGS并以前一帧初始化当前帧，可合成保留的测试视角；主要限制是工作室空间有限，且铰接和非刚性物体仍难全自动跟踪。"
}