{
  "paper_id": "713b995350a47d9035e2bedb352b4406",
  "paper_title": "DART: Articulated Hand Model with Diverse Accessories and Rich Textures",
  "paper_authors": [
    "Daiheng Gao",
    "Yuliang Xiu",
    "Kailin Li",
    "Lixin Yang",
    "Feng Wang",
    "Peng Zhang",
    "Bang Zhang",
    "Cewu Lu",
    "Ping Tan"
  ],
  "publication_date": "2022",
  "publication_venue": "Advances in Neural Information Processing Systems 35",
  "abstract": "手部作为人类生产力与智能的载体，正随着数字孪生的兴起受到广泛关注。在众多手部可变形模型中，MANO在视觉与图形学社区被广泛使用，但它忽略纹理和配饰，限制了合成照片级真实手部数据的能力。本文提出DART，在MANO基础上加入多样化配饰与丰富纹理：模型包含50件外观和形状各异的日常三维配饰，以及325张由艺术家手工制作、覆盖瑕疵与妆容的二维纹理图。作者还提供Unity图形界面，用于按用户设定的姿态、相机、背景、光照、纹理和配饰生成合成手部数据，并发布包含80万张高保真合成手部图像及精确对齐三维标签的DARTset。实验表明该模型在多样性方面具有优势；作为现有手部数据集的补充，DARTset能够提升手部姿态估计和网格恢复任务的泛化能力。纹理、配饰、Unity界面、源代码和DARTset均在dart2022.github.io公开。\n",
  "keywords": [
    "三维手部模型",
    "MANO",
    "丰富纹理",
    "三维配饰",
    "合成手部数据",
    "DARTset",
    "手部姿态估计",
    "手部网格恢复",
    "Unity渲染"
  ],
  "paper_institutions": [
    "Alibaba XR Lab",
    "Max Planck Institute for Intelligent Systems",
    "Shanghai Jiao Tong University",
    "Simon Fraser University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:49.414682Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对MANO手部模型缺少真实纹理、日常配饰和腕部结构，导致难以生成照片级真实数据并限制数据驱动手部重建泛化能力的问题，本文在MANO与HTML、NIMBLE等相关工作的背景下提出DART：其核心机制仍遵循参数化手部表示V=M(θ,β)，并将原始778个顶点、1538个面的MANO模板扩展为含842个顶点、1666个面的腕部增强模型，通过对齐混合权重、姿态相关变形和关节回归器，使新增的64个腕部顶点可直接由MANO的16个关节旋转驱动；同时DART提供325张4096×4096手工UV反照率纹理和50件带纹理的三维配饰，并将纹理、材质、光照、背景解耦以避免烘焙光照和阴影。基于Unity3D的生成器支持姿态、相机、背景、光照、纹理和配饰控制，作者用COCO图像作为随机背景、让25%的样本佩戴配饰，并结合A-MANO解剖学合法关节角离散化、FreiHAND真实姿态以及四元数球面线性插值构造更广且更接近真实分布的姿态，从而构建80万张512×512图像及MANO参数、二维/三维关节和网格标签的DARTset；选择FreiHAND是因为它具有真实光照与环境噪声、多样视角和姿态且是常用基准，选择四类方法则用于验证数据集对热图式、回归式、GCN式和Transformer式方法的兼容性。实验以PA-MPJPE和PA-MPVPE为指标，在DARTset上Integral Pose为3.52cm，RLE为4.45cm，CMR为4.84/3.46cm，METRO为3.96/3.52cm；配饰消融显示配饰使Integral Pose的PA-MPJPE降低7.8%，使CMR的PA-MPJPE和PA-MPVPE分别降低5.9%和7.2%；跨数据集实验中，CMR混合训练在FreiHAND测试集上的PA-MPVPE改善8.9%，证明DARTset可补充真实数据集，但合成与真实数据之间仍存在纹理、配饰和姿态分布域差。该工作可服务于AR/VR手部追踪、数字孪生、手部姿态估计和网格恢复等场景，当前约束是手形固定、配饰尺寸不能自适应、不支持手物或双手交互且渲染真实感仍可提升，未来可探索自动尺寸自适应配饰、手物与双手交互、动态手势以及更先进的皮肤着色和渲染技术。\n\n### 关键要点\n\n- DART提供325张由五位经验丰富的三维艺术家手工制作的4096×4096 UV纹理，覆盖深、棕、浅三种基础肤色以及痣、疤痕、绷带、纹身、掌纹和指甲颜色。\n- DART包含50件日常三维配饰，其中戒指10件、手表10件、手链20件、手套10件，配饰同时具有三维网格和相应纹理。\n- DART在MANO模板上增加成形腕部，将模型从778个顶点扩展到842个顶点，并保持手掌和手指编号不变，使其能够支撑手表、手链等腕部配饰。\n- 腕部扩展通过对齐MANO的混合权重、姿态相关变形和关节回归器实现，扩展后的模型仍可直接由MANO姿态参数驱动。\n- Unity生成器允许用户控制姿态、相机视角、背景、环境光与方向光、纹理和配饰，并可导出MANO姿态参数、二维/三维关节和网格标签。\n- DARTset包含80万张高保真合成手部图像，训练、验证、测试按约8:1:1划分，每张图像配有精确对齐的三维标签，渲染分辨率为512×512。\n- 自动生成时，每个姿态随机匹配基础纹理和COCO背景，约25%的手部样本被随机分配一件配饰，配饰与纹理均近似均匀采样。\n- 姿态生成先利用A-MANO定义的合法旋转轴和离散弯曲角生成基础姿态，再选择差异最大的FreiHAND姿态进行四元数Slerp插值，以兼顾真实感和多样性。\n- t-SNE可视化显示，DARTset比RHD更接近真实数据集FreiHAND的姿态分布，同时比FreiHAND分布更连续、更宽广。\n- 基准测试覆盖Integral Pose、RLE、CMR和METRO，训练100个epoch，输入手部裁剪被缩放至224×224，评价采用PA-MPJPE和PA-MPVPE。\n- 配饰消融在相同姿态和视角下比较有无配饰的数据，结果表明加入配饰可同时提升Integral Pose和CMR的关节及顶点误差表现。\n- DART目前手形固定、配饰为手工固定尺寸且不支持手物或双手交互，完整资源仅以研究用途公开发布。"
}