{
  "paper_id": "722c0e6e782811720ee9216d20cd1e57",
  "paper_title": "MANUS: Markerless Grasp Capture using Articulated 3D Gaussians",
  "paper_authors": [
    "Chandradeep Pokhariya",
    "Kefan Chen",
    "Ishaan Nikhil Shah",
    "Avinash Sharma",
    "Angela Xing",
    "Zekun Li",
    "Srinath Sridhar"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "理解人类如何用手抓取物体对机器人、混合现实等领域具有重要意义，但准确建模手与物体之间的接触是其中的关键挑战。现有方法使用骨骼、网格或参数化模型，难以精确表示手部形状，从而导致接触估计不准；铰接神经隐式表示则存在接触建模困难、采样成本高的问题。本文提出 MANUS，一种利用铰接 3D 高斯进行无标记手物抓取捕捉的方法。该方法扩展 3D 高斯溅射，构建高保真、可铰接的手部模型，并通过多视角像素对齐损失优化高斯基元，从而高效、准确地估计手物接触。由于该方法需要数十个相机视角，作者进一步构建了 MANUS-Grasps 数据集，包含来自 50 多个相机、30 多个场景、3 名受试者的超过 700 万帧画面。实验利用物体到手上的颜料转移作为真实接触依据，证明 MANUS 在定量接触评估中优于其他方法。\n",
  "keywords": [
    "无标记抓取捕捉",
    "铰接3D高斯",
    "3D高斯溅射",
    "手物交互",
    "接触估计",
    "MANUS-Hand",
    "MANUS-Grasps",
    "多视角RGB"
  ],
  "paper_institutions": [
    "IIIT Hyderabad",
    "Brown University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:48.041919Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对无标记手物抓取捕捉中手部形状表示不精确、接触估计不可靠的问题，指出骨骼、网格和 MANO 等参数化模型容易因低维表示与观测错位，而神经隐式模型虽能提升形状精度却需要昂贵采样且不便计算接触；为此提出 MANUS，其核心是将 3D 高斯溅射扩展为具有 21 块骨骼、26 个自由度的模板自由铰接手部模型 MANUS-Hand，在标准姿态中优化高斯的位置、协方差、不透明度和球谐系数，再通过前向运动学、线性混合蒙皮和受 Fast-SNARF 启发的三线性插值网格权重驱动到新姿态，物体则表示为静态 3D 高斯并与手部高斯直接拼接，接触机制依据最近邻手部与物体高斯的三维欧氏距离建立核心判据：当 d(G_h,G_o)<τ 时 C=d(G_h,G_o)，否则 C=0，从而可计算瞬时接触图与逐帧累加的接触图。为满足神经场方法对密集视角的需求，作者构建真实世界多视角数据集 MANUS-Grasps，使用 53 个 120FPS、1280×720 分辨率的 RGB 相机提供 360 度覆盖，包含 30 多个日常场景、3 名受试者和超过 700 万帧，并以 15 个湿颜料转移序列形成无需额外设备的物理真实累积接触标注；视觉质量实验选用 InterHand2.6M 的两名受试者和“ROM07-RT-Finger-Occlusions”序列，75% 数据用于优化、25% 用于评估，以验证模型在非专门追求照片级真实感情况下的渲染可用性，接触实验则在统一 τ=0.004、将 MANO 和 HARP 网格细分至 49000 个顶点的公平设置下，用 IoU、F1 与颜料真值比较。结果显示 MANUS-Hand 取得 PSNR 26.32、SSIM 0.9872、LPIPS 0.068、测试时间 0.049 秒，视觉质量优于 TAVA 并接近 LiveHand，虽然 LiveHand 的 PSNR/LPIPS 更好，但其隐式密度场使接触计算复杂昂贵；MANUS 在三名受试者上的 mIoU 分别为 0.206、0.152、0.275，F1 分别为 0.335、0.251、0.424，均持续优于 MANO 和 HARP，且相机视角减少会降低接触指标，支持了密集视角缓解自遮挡、显式高斯促进像素对齐和高效接触估计的核心创新。该方法可服务于机器人抓取、混合现实和活动识别，但当前限于单手、静态物体、直接接触抓取，未建模皮肤拉伸等姿态相关非线性变形和长时间操作，采集系统也较复杂；未来可探索双手或工具中介操作、长期手物操控、更完善的接触指标以及降低密集采集依赖。\n\n### 关键要点\n\n- MANUS-Hand 是模板自由的铰接手部模型，用 3D 高斯基元同时表示手部形状与外观，并可由骨骼姿态驱动。\n- 手部骨架包含 21 块骨骼和 26 个自由度，骨长可针对受试者估计，姿态通过 AlphaPose、三维三角化和逆运动学获得。\n- 为避免直接把 MANO 权重分配给最近高斯造成的伪影，方法在标准空间建立规范网格，用最近邻生成网格权重并对查询高斯做三线性插值。\n- 模型训练使用像素渲染损失、SSIM 损失、感知损失和各向同性正则项，以限制高度各向异性高斯对接触渲染的干扰。\n- 物体由非铰接静态 3D 高斯表示，并通过投影到物体掩码剔除离群高斯，以减少漂浮物并保持几何一致性。\n- 手部高斯与物体高斯可直接拼接后送入可微光栅化器，这一显式集合操作是隐式表示难以自然实现的。\n- 接触图通过手部高斯与最近物体高斯的距离生成，距离阈值统一设为 τ=0.004，并区分单帧瞬时接触和多帧累积接触。\n- MANUS-Grasps 使用 53 个软件同步 RGB 相机，以 120FPS 采集 360 度画面，帧间错位误差不超过 3 毫秒。\n- 数据集包含 30 多个日常物体场景、3 名受试者、超过 700 万帧，并提供相机参数、手部关节、分割掩码和接触相关标注。\n- 15 个评估序列在物体上涂亮绿色湿颜料，抓取后颜料转移到手上，可自动分割并作为物理真实的累积接触真值。\n- 在 15 个颜料评估序列上，MANUS 的 mIoU 和 F1 在三名受试者上均高于 MANO 和 HARP，定性结果也更接近真实接触区域。\n- 视角消融显示 5、10、20 和 30 多个视角的整体表现随视角减少而下降，证明密集视角对缓解自遮挡和提升接触精度至关重要。"
}