{
  "paper_id": "5d9063dcb999c37ca2e46e77f41430ce",
  "paper_title": "The Phong Surface: Efficient 3D Model Fitting Using Lifted Optimization",
  "paper_authors": [
    "Jingjing Shen",
    "Thomas J. Cashman",
    "Qi Ye",
    "Tim Hutton",
    "Toby Sharp",
    "Federica Bogo",
    "Andrew Fitzgibbon",
    "Jamie Shotton"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2020 (Lecture Notes in Computer Science)",
  "abstract": "混合现实中的实时感知与交互能力，要求多种三维跟踪问题在头戴设备等资源受限硬件上以低延迟运行。在HoloLens 2中，CPU和GPU需留给应用程序，多个跟踪子系统必须共享一个数字信号处理器并持续实时运行。针对计算预算约比iPhone 7小100倍的HoloLens 2手部跟踪模型拟合问题，论文提出一种新的表面模型“Phong surface”。该模型借鉴计算机图形学思想，用连续表面法线描述与三角网格相同的三维形状，从而支持基于lifting的优化，并相比基于ICP的方法显著提升效率。研究表明，Phong surface能够保留更光滑表面模型的收敛优势，而普通三角网格则无法做到这一点。\n",
  "keywords": [
    "模型拟合",
    "优化",
    "手部跟踪",
    "位姿估计"
  ],
  "paper_institutions": [
    "Microsoft Mixed Reality & AI Labs, Cambridge, UK"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:31.094957Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向混合现实实时手部跟踪中DSP算力低、延迟和功耗受限的问题，论文讨论三维表面模型到点集观测的模型拟合；已有ICP通过最近点与位姿交替更新而收敛较慢，lifting优化同时优化对应与位姿、收敛盆更广，但以往依赖昂贵的Loop细分光滑表面。论文提出Phong表面：几何仍是平面三角网格，顶点法线在三角形内按重心坐标线性插值并归一化，核心机制为 S(u,θ)=(1-v-w)v1+v v2+w v3、c=(1-v-w)v1⊥+v v2⊥+w v3⊥、S⊥=c/‖c‖，从而以接近网格的成本提供连续法线场，并在目标函数 E(θ,U)=1/D Σ(‖S-xi‖²+λn‖S⊥-xi⊥‖²) 中与θ联合优化每个对应坐标U。实验先采用可控椭球刚体对齐，验证不同表面的收敛盆、速度和法线项作用；再在Dexter数据集的Taylor等手部跟踪器中仅替换表面，验证关节精度与计算成本；最后在HoloLens 2采集深度数据上验证部署效果。指标包括旋转误差、平均/最大关节误差、平均关节误差小于20mm的帧比例、FPS及百万次求值时间；Phong在精度和收敛上与细分表面相当，成本接近三角网格，例如百万次位置法线求值0.049 s、含导数0.279 s，而细分表面为0.329 s和1.241 s，lifting Phong约8次迭代即可达到平均旋转误差低于10°而ICP Phong需约30次，HoloLens 2上求值速度约为细分表面两倍且精度相同，支撑4 GFLOPS预算下的实时连续手部跟踪。该方法适用于身体、面部、动物等低算力三维位姿/形状拟合，但目标非凸、对初始化和遮挡敏感，且Phong表面在面片间并非C1连续，跨三角形行走仍按既有方案实现并在实践中有效；未来将研究lifting优化有效工作的最小条件，假设只需模型为梯度优化提供能量切空间∂E/∂θ的充分近似。\n\n### 关键要点\n\n- Phong表面由带位置和法线的三角控制网格定义，表面位置仍为三角形平面内的线性插值，法线则由三个顶点法线线性插值后归一化。\n- Lifting优化把模型位姿或形状参数θ与每个数据点的表面坐标U联合优化，而ICP则在最近点对应更新和位姿更新之间交替。\n- 连续法线场使法线项对表面坐标具有非零梯度，可推动对应点沿表面滑向正确位置；普通三角网格的面片法线分段恒定，相关导数为零，容易形成局部极小值。\n- Levenberg更新后对应点可能跨越相邻三角形，论文对细分表面、Phong表面和三角网格采用相同的三角形行走方案；尽管Phong表面不具备面片间C1连续性，该方案在实践中仍然有效。\n- 椭球刚体实验使用320个面片、200个带噪声的正面采样点、400个随机旋转目标和中性姿态初始化，并通过参数扫描得到细分表面与Phong表面的最优λn为1.0、三角网格为0.05。\n- 椭球实验中，Phong表面在10次和50次lifting迭代后的平均旋转误差分别为8.13°和0.99°，与细分表面的9.89°和1.21°相当，并显著优于三角网格的17.47°和11.07°。\n- 法线项消融表明，连续法线场能同时扩大收敛盆并提高最终精度；去掉法线项后，Phong表面在10次和50次迭代时的误差分别升至23.24°和3.54°。\n- Dexter手部跟踪实验优化28维手部参数，包括手部朝向、平移和22个关节角，并采用192个数据点、10个起始点和最多10次迭代；Phong表面精度与细分表面相当且优于三角网格，lifting略优于ICP。\n- 计算效率方面，Phong表面完成100万次位置和法线求值需0.049 s、包含导数需0.279 s，而细分表面分别需要0.329 s和1.241 s，三角网格分别为0.047 s和0.196 s。\n- 在Dexter的速度—精度测试中，要求50 FPS时Phong表面和三角网格可运行6次迭代而细分表面只能运行4次；若要求接近80%的帧平均关节误差小于20 mm，Phong表面与细分表面均可4次迭代达到目标，但Phong快约20%。\n- HoloLens 2手部跟踪运行在约4 GFLOPS的DSP预算上，该预算约为iPhone 7的百分之一；Phong表面在采集深度数据上的求值速度约为细分表面两倍，并保持相同精度。\n- 该类模型拟合目标具有非凸性，在手部离开视野、自遮挡或物体遮挡时容易发生跟踪失败；论文未来希望验证lifting优化是否只需模型提供能量切空间∂E/∂θ的充分近似。"
}