{
  "paper_id": "fb8b3ed36ecf3fbeef633c96785140a6",
  "paper_title": "A Skeleton-Driven Neural Occupancy Representation for Articulated Hands",
  "paper_authors": [
    "Korrawe Karunratanakul",
    "Adrian Spurr",
    "Zicong Fan",
    "Otmar Hilliges",
    "Siyu Tang"
  ],
  "publication_date": "",
  "publication_venue": "2021 International Conference on 3D Vision (3DV)",
  "abstract": "我们提出 Hand ArticuLated Occupancy（HALO），这是一种新颖的关节化手部表示，结合了3D关键点与神经隐式表面的优势，并可用于端到端可训练架构。与现有的统计参数手部模型（如MANO）不同，HALO直接以3D关节骨架为输入，生成表示姿态化手部表面的神经占用体。其主要优势包括：第一，由3D关键点驱动，这类输入在精度方面具有优势，且比隐式手部模型参数更易于神经网络学习；第二，它提供姿态化手部的可微体占用表示；第三，它可以端到端训练，从而在手部表面上构建损失并促进3D关键点学习。我们展示了HALO在条件生成抓取3D物体的手部这一任务中的应用。实验表明，HALO的可微特性能够从物理合理性和用户偏好两方面提升合成手部的质量。\n",
  "keywords": [
    "关节化手部",
    "神经隐式表面",
    "占用表示",
    "3D关键点",
    "骨架驱动",
    "可微规范化",
    "手部抓取生成",
    "手物交互"
  ],
  "paper_institutions": [
    "ETH Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:27.164272Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对3D骨架易于与深度学习对接却缺少表面信息、而MANO等网格模型能够表示表面但姿态形状参数难以直接学习且通过逆运动学拟合关键点会阻断梯度并受到绕骨扭转歧义影响的问题，提出HALO：一种仅由21个3D关键点驱动的关节化手部神经占用表示，其核心机制是先用可微骨架规范化层把任意骨架映射到生物力学有效的规范姿态，即 B^{-1}=TSF'R^cFPK，其中K将关键点转换为骨向量，P规范化掌骨与掌平面角，F构建局部坐标系，R^c消除屈伸和外展角，F'、S、T再恢复全局坐标、骨长和父骨连接，从而在一次前向传播中得到无扭转且唯一的变换；随后HALO借鉴NASA的分部件占用网络，将查询点变换到规范空间，并以姿态描述子以及局部/全局骨长编码条件化16个部件MLP，最终通过最大占用概率得到 O_w(x|J)→{0,1} 的分辨率无关光滑手部表面。研究在Youtube3D手部数据集上训练和评估表面模型，该集包含50,175个训练网格和1,525个测试网格，覆盖数百名对象、102个训练视频和7个测试视频中的多样任务，适合验证高自由度姿态和不同手形的泛化能力；训练时在手部包围盒均匀采样并在表面附近添加各向同性高斯噪声采样，通过射线交点计算占用标签，采用Adam、学习率1e-4、批大小64和16部件网络，以验证仅有关键点时能否恢复高保真表面；在GRAB数据集上则针对6个未见物体、每个物体采样20个抓取方案，使用PointNet编码物体点云并由VAE生成手部关键点，以验证可微占用能否支持端到端手物接触推理。表面重建采用IoU、Chamfer-L1距离和法向一致性，抓取任务采用穿透体积、接触率、聚类熵和平均簇大小，并辅以75名参与者、每对模型4,800个数据点的强制选择用户研究；HALO在给定真实变换时达到0.932 IoU、0.719 mm Chamfer-L1和0.959法向一致性，显著优于NASA的0.896、1.057 mm和0.955，仅给3D关键点的HALO也达到0.930、0.740 mm和0.959，且MPJPE为0，说明规范化层和骨长形状描述子保持了输入姿态并提升了保真度与泛化性；HALO-VAE平均穿透体积为3.61 cm³，优于GrabNet粗预测的4.60 cm³，抓取多样性熵为2.88、簇大小为2.15，也高于GrabNet的2.84和1.65，加入穿透损失后67.23%的用户认为其比无损失版本更真实，HALO-VAE相对GrabNet粗预测和优化后相对GrabNet精炼结果分别获得55.75%和51.29%的偏好，支持了体占用损失对关键点生成和物理合理性的作用。该方法可用于动画、游戏、增强现实、虚拟现实和机器人抓取等场景，未来可进一步结合可微渲染直接从图像重建关节化手部，或支持碰撞检测与响应等表面计算；其主要约束是依赖生物力学合理的关键点，端到端角度损失可缓解该问题，但严重违反物理结构的骨架仍会产生伪影，噪声幅度在2 mm内通常可得到合理表面，达到5 mm时会出现可见瑕疵。\n\n### 关键要点\n\n- HALO是首个由关键点骨架关节运动直接驱动的神经隐式手部模型，输入21个3D关键点即可输出手部占用场并重建高保真、分辨率无关的表面。\n- 可微骨架规范化层利用屈伸、外展、掌骨展开和掌弓等生物力学约束，在单次前向传播中计算唯一变换，避免迭代逆运动学和绕骨扭转歧义。\n- 手部占用网络由16个部件子网络组成，查询点先经 B_b^{-1} 变换到规范空间，再结合全局姿态信息与局部、全局骨长特征判断占用概率。\n- 骨长被用作身份相关形状描述子；局部编码直接输入对应骨长，全局编码则用两层MLP处理全部骨长，以提升不同手形的泛化能力。\n- 表面模型在Youtube3D数据集上训练，包含50,175个训练网格和1,525个测试网格；查询点通过包围盒均匀采样和表面加噪采样获得，占用标签由射线交点计数确定。\n- HALO在IoU和Chamfer-L1上显著优于NASA，分别达到0.932和0.719 mm，而NASA为0.896和1.057 mm，定性上也减少了部件连接区域的伪影。\n- 与从3D关键点估计网格的方法相比，HALO不改变输入关键点位置，因此MPJPE为0，并在Youtube3D上取得0.93 IoU和0.740 mm Chamfer-L1。\n- HALO-VAE以物体点云为条件生成抓取手部关键点，再由HALO恢复表面；其穿透损失惩罚物体内部同时被手部占用的采样点，并可将梯度回传到关键点生成器。\n- 在GRAB的6个未见物体上，HALO-VAE的平均穿透体积为3.61 cm³，优于GrabNet粗预测的4.60 cm³，同时抓取多样性熵和簇大小也更高。\n- 用户研究中，加入穿透损失的HALO-VAE以67.23%对32.77%胜过无损失版本，并且HALO-VAE及其优化结果在真实感偏好上均略高于对应GrabNet结果。\n- 基于优化的精炼通过10步全局平移最小化穿透损失，可将平均穿透体积降至2.06 cm³；但HALO对严重不合生物力学的骨架仍敏感，5 mm噪声可能造成可见表面伪影。"
}