{
  "paper_id": "fba52bddd21bde0f3a89638f1a251920",
  "paper_title": "TACO: Benchmarking Generalizable Bimanual Tool-ACtion-Object Understanding",
  "paper_authors": [
    "Yun Liu",
    "Haolin Yang",
    "Xu Si",
    "Ling Liu",
    "Zipeng Li",
    "Yuxiang Zhang",
    "Yebin Liu",
    "Li Yi"
  ],
  "publication_date": "2024",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "人类在日常生活中经常同时操作多个物体，并能通过理解物体功能规律，将操作技能直观迁移到新物体。然而，现有用于分析和合成手物操作的技术方法因缺乏数据支持，大多局限于处理单手和单一物体。为解决这一问题，作者构建了TACO，一个涵盖大量日常人类活动中工具-动作-对象组合的双手手物交互数据集。TACO包含2.5K个运动序列，并配有第三人称和第一人称视角、精确的手物3D网格以及动作标签。为快速扩展数据规模，作者提出一种结合多视角感知与光学动作捕捉系统的全自动数据采集流程。依托TACO提供的广泛研究场域，论文对组合式动作识别、可泛化手物运动预测和协同抓握合成三项可泛化手物交互任务进行基准测试。大量实验揭示了推进可泛化手物运动分析与合成研究的新洞察、挑战和机遇。数据和代码可在 <https://taco2024.github.io> 获取。\n",
  "keywords": [
    "双手手物交互",
    "工具-动作-对象三元组",
    "4D数据集",
    "组合式动作识别",
    "运动预测",
    "协同抓握合成",
    "泛化能力",
    "动作捕捉"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Shanghai Artificial Intelligence Laboratory",
    "Shanghai Qi Zhi Institute",
    "Beijing University of Posts and Telecommunications",
    "Beijing Institute of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:40.593931Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对现有手物交互数据多集中于单手单物、双手数据又常局限于同一物体或少量工具-动作-对象组合，难以支撑向新物体几何和新交互三元组泛化的问题，构建了大规模真实世界4D双手操作数据集TACO。相关研究背景表明，简单聚合两个单手动作不能刻画双手协调，而最接近的KIT数据集仅覆盖12个物体和不足20种三元组；因此TACO围绕日常工具使用场景收集20个物体类别、196个精细三维物体实例、14名参与者、15种动作和131个〈工具类别，动作标签，目标物体类别〉三元组，共有2.5K个运动序列、520万帧、12个第三人称视角和1个第一人称RGBD视角，并提供精确手物网格、二维分割、真实外观和行为标签。其核心方案是融合无标记多视角RGB与有标记光学动捕的全自动采集标注流水线：先通过物体表面标记优化刚体6D位姿，再用YOLOv3检测双手、MMPose估计单手二维关键点、RANSAC剔除误检并三角化三维关键点，随后以MANO表示手部并执行接触感知优化，核心机制可写为 Θ̂_h = arg min_{Θ_h}(λ_2D L_2D + λ_3D L_3D + λ_angle L_angle + λ_tc L_tc + λ_p L_p + λ_a L_a)，其中各项分别约束二维/三维关键点贴合、姿态先验、时间平滑、防穿透和接触吸引，最后用SAM细化分割、Track-Anything跟踪手部，并基于LAMA自动移除标记。选择多视角、动捕和预扫描网格是为了同时保证运动精度、视觉质量和接触丰富性，跨DexYCB实验及标记分割实验则验证标注质量和去标记外观真实性。TACO按训练集与S1至S4测试集4:1:1:1.5:2.5划分，分别检验无泛化、几何级泛化、交互级泛化和复合泛化；三项基准使用Top-1/Top-5准确率、手部MPJPE、物体平移/旋转误差、穿透体积、接触率、碰撞率和FID等指标。结果显示，模型对同类新几何具有一定适应性，但面对新三元组、新工具类别以及由右手和工具主导的快速复杂运动时性能显著下降，CACNF在S3、S4上优于AIM，协同抓握中引入左手和目标物体环境的HALO-VAE在碰撞率和FID上明显优于忽略环境的版本，这些发现支持了组合解耦、主导实体建模和交互环境感知的重要性。未来可提升生成式预测在快速手物运动中的精度、改进复杂细长几何上的物理可行性与自然感，并扩展铰接物体、场景多样性和无完美重建约束下的外观恢复；成果可服务于VR/AR、人机交互和灵巧操作，但当前仍受真实采集成本、场景单一、不含铰接物体以及生成式去标记无法完全恢复原始外观等限制。\n\n### 关键要点\n\n- TACO被描述为首个大规模真实世界4D双手手物交互数据集，重点覆盖多样化工具-动作-对象组合和物体几何。\n- 数据集包含2.5K个运动序列、约520万帧、20个物体类别、196个三维物体模型、14名参与者、15种动作和131个行为三元组。\n- 采集系统使用12台同步FLIR工业相机、6台红外相机组成的NOKOV光学动捕套件，以及头盔搭载的Realsense L515第一人称RGBD相机，所有相机和动捕频率为30Hz。\n- 每个物体均由EinScan三维扫描仪获取精细网格，网格最多包含10万个三角面，以支持接触分析和抓握合成研究。\n- 自动标注流水线依次执行物体位姿优化、双手关键点定位、接触感知MANO手部优化、手物分割和标记移除，可同时输出网格、分割和更真实的无标记RGB图像。\n- 测试划分中，S1不要求泛化，S2测试新工具几何，S3测试新交互三元组，S4测试新工具类别导致的几何与三元组复合泛化，训练集与四个测试集比例为4:1:1:1.5:2.5。\n- 在组合式动作识别中，CACNF在S1上Top-1为86.15%，在S4上降至44.00%；AIM则由83.08%降至39.33%，表明新三元组比同类几何变化更困难。\n- 运动预测基准以连续10帧预测未来10帧，手部用MPJPE评估，物体用平移误差和旋转误差评估；右手和工具因承担主导、快速且复杂的运动，在泛化设置中误差上升最明显。\n- 协同抓握合成使用穿透体积、接触率、碰撞率和FID评估；在熟悉几何上HALO-VAE取得82.86%接触率、2.39%碰撞率和2.02的FID，在新几何上碰撞率升至11.11%、FID升至2.84。\n- 数据质量实验显示，TACO与DexYCB联合训练能改善两个数据集上的手部姿态估计；U-Net在原始图像上分割标记区域的mIoU为63.8%，在去标记图像上降至11.1%，说明修复区域较自然。\n- TACO当前不包含铰接物体，缺乏多样化场景，并且基于生成模型的标记移除不能保证完全恢复原始物体外观，这些是论文明确指出的主要限制。"
}