{
  "paper_id": "34979f45a759e91b878cfd2b0db9aeae",
  "paper_title": "POEM: Reconstructing Hand in a Point Embedded Multi-view Stereo",
  "paper_authors": [
    "Lixin Yang",
    "Jian Xu",
    "Licheng Zhong",
    "Xinyu Zhan",
    "Zhicheng Wang",
    "Kejian Wu",
    "Cewu Lu"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "使神经网络捕获具有3D几何感知能力的特征，对基于多视图的视觉任务至关重要。以往方法通常将多视图立体中的3D信息编码到2D特征中，而本文提出一种直接在嵌入多视图立体的3D点上操作的新方法POEM，用于重建手部网格。点是3D信息的自然形式，也是跨视图融合特征的理想媒介，因为同一个3D点在不同视图上具有不同投影。POEM将复杂的3D手部网格表示为一组3D点：这些点嵌入多视图立体、携带多视图图像特征并环绕手部。为利用点的表达能力，作者设计了基于点的特征融合和跨集合点注意力机制。在三个具有挑战性的多视图数据集上的评估表明，POEM在手网格重建任务上优于现有最先进方法。代码和模型可在 github.com/lixiny/POEM 获取。\n",
  "keywords": [
    "多视图立体",
    "手部网格重建",
    "3D点云",
    "特征融合",
    "跨集合点注意力",
    "Transformer",
    "手部姿态估计",
    "MANO"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University",
    "Shanghai Qi Zhi Institute",
    "Nreal"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:38.194527Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决多视图RGB图像中的手部网格重建问题。单目方法受深度歧义、弱透视相机模型不准确以及手物交互遮挡限制，而现有多视图方法或在2D特征中无差别地整体融合，或仅依赖2D关键点附近的局部特征，体素方法又存在计算开销和量化误差。为此，作者提出POEM，直接在嵌入多视图立体的3D点上表示并重建手部。其核心概率分解为 P(X,V|I)=P_ω(V|X,I)P_φ(X|I)，其中X为21个手部关键点，V为778个手部表面顶点，I为N视图图像。第一阶段通过各视图骨干网络预测2D似然热力图，经soft-argmax得到2D关键点，再结合相机内外参用DLT代数三角化恢复3D关键点；第二阶段将每个相机视锥离散为W×H×D的射线点并变换到共享世界空间，形成环绕手部的点云，再以腕关节为根位置学习顶点偏移，用ball query选取邻域相关点。POEM进一步提出投影聚合：将3D点投影到各视图，通过双线性插值采样特征，并使用瓶颈嵌入点积模块融合多视图特征，使空间接近的点获得几何一致的特征；手部顶点查询由投影聚合特征与关节级位置编码组成，即Q=F+S^J。跨集合Point Transformer在每个解码层中依次执行顶点自注意力、顶点到视锥点k近邻向量交叉注意力和FFN位置偏移回归，从而迭代细化顶点。实验选用包含手物遮挡的DexYCB-MV、HO3D-MV和OakInk-MV，分别具有8、5和4个相机视图，可验证不同标定视角、遮挡和交互场景下的鲁棒性；评价指标包括MPVPE、MPJPE、根相对误差、Procrustes对齐误差以及AUC。结果显示，POEM在DexYCB-MV上达到6.13 mm MPVPE和6.06 mm MPJPE，在HO3D-MV上达到17.2 mm和17.28 mm，在OakInk-MV上达到6.20 mm和6.01 mm，均优于MVP、PE-Mesh-TR、FTL-Mesh-TR等方法；消融实验支持嵌入点、投影聚合、渐进式顶点更新和关节级位置编码的有效性。该方法适用于AR/MR/VR、游戏、遥操作、通信、教育和健身等需要真实手部表面位置的场景，但目前只支持单手重建、不能区分不同手，并且要求相机具有明显空间差异和重叠视锥；作者未来计划将该点表示思路扩展到通用多视图物体重建。\n\n### 关键要点\n\n- POEM将手部网格建模为目标顶点集合，并让778个结构化手部顶点与相机视锥中的非结构化3D点进行交互。\n- 第一阶段从多视图图像预测2D关键点热力图，经soft-argmax和DLT三角化恢复21个3D手部关键点。\n- 每个相机视锥沿像素坐标和深度离散为W×H×D个射线点，所有视锥点变换到共享世界空间后形成环绕手部的点云。\n- 顶点初始位置采用腕关节根位置加学习偏移的方式构造，避免直接从关键点回归绝对顶点位置造成的训练不稳定。\n- 投影聚合将同一3D点投影到所有视图，用双线性插值采样特征，并通过瓶颈嵌入点积模块生成几何感知的融合特征。\n- 跨集合Point Transformer在每个顶点的k个最近邻视锥点上执行向量交叉注意力，并通过FFN回归位置偏移以迭代细化网格。\n- 训练使用关键点和顶点的L1损失，最终报告的关键点由第二阶段输出顶点经MANO预训练映射得到。\n- DexYCB-MV包含25,387个训练、1,412个验证和4,951个测试多视图帧；HO3D-MV包含9,087个训练和2,706个测试多视图帧；OakInk-MV包含58,692个训练和19,909个测试多视图帧。\n- POEM在三个数据集的MPVPE和MPJPE等指标上均超过MVP及模拟的PE-Mesh-TR、FTL-Mesh-TR等先进方法。\n- 消融表明移除嵌入点、投影聚合或渐进式顶点更新都会降低性能，而关节级位置编码S^J优于S^G和S^+。\n- 方法约束包括仅支持单手、无法区分多只手，且相机之间需要明显基线；若视角过于接近，投影聚合会退化为近邻2D特征聚合。"
}