{
  "paper_id": "a5266e1b560ebdf176b22b05c7e74d01",
  "paper_title": "Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction using Multi-View Color Images",
  "paper_authors": [
    "Tze Ho Elden Tse",
    "Franziska Mueller",
    "Zhengyang Shen",
    "Danhang Tang",
    "Thabo Beeler",
    "Mingsong Dou",
    "Yinda Zhang",
    "Sasa Petrovic",
    "Hyung Jin Chang",
    "Jonathan Taylor",
    "Bardia Doosti"
  ],
  "publication_date": "",
  "publication_venue": "ICCV",
  "abstract": "本文提出一种基于Transformer的框架，从多视角RGB图像重建两只高保真手。与通常从单张RGB图像回归手部模型参数的方法不同，作者直接从自我中心视角高分辨率回归含延伸前臂的双手绝对根姿态。针对现有数据不适用自我中心视角或缺乏背景变化的问题，构建了含多样场景的大规模合成数据集，并通过多标定相机采集真实数据集以验证多视角图像特征融合策略。为使重建物理合理，提出由粗到细的谱图卷积解码器在上采样时平滑网格，并在推理阶段使用基于优化的细化防止自穿透。大量定量与定性评估表明，该框架可生成逼真的双手重建结果，合成训练模型可泛化到真实数据，并支持实时AR/VR应用。\n",
  "keywords": [
    "光谱图Transformer",
    "多视角RGB",
    "自我中心视角",
    "双手重建",
    "图拉普拉斯",
    "谱聚类",
    "软注意力融合",
    "谱图卷积",
    "网格细化",
    "AR/VR"
  ],
  "paper_institutions": [
    "Google",
    "University of Birmingham"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:44.222473Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有单手或单目方法难以从自我中心多视角RGB图像恢复含延伸前臂的双手绝对根姿态与高保真网格，而InterHand2.6M、FreiHAND等数据或不适合第一人称视角或缺乏背景、光照变化的问题，论文面向AR/VR实时交互提出Spectral Graphormer。该框架以共享ResNet-50从N张224×224图像提取7×7×2048体特征，再用软注意力掩码与跨视角最大池化生成K=7个、256维的区域特征；模板网格依据图拉普拉斯L=D-A的特征分解进行谱聚类分割并10倍下采样，与区域特征拼接后送入逐层降维的Transformer，得到的粗表示由全连接上采样与三阶Chebyshev谱滤波U gθ(Λ)U^T f_c组成的层次化谱图解码器解码，输出每手4023个顶点。大规模合成数据包含100万个样本、双手高保真网格真值、两个自我中心视角、HDR自然光照和480个4K背景，用于解决真实网格标注昂贵并训练可泛化模型；真实数据由18台同步高分辨率相机采集，通过NeRF重建与模板配准获得61k帧真值，用于验证多视角融合、未见视角和合成到真实迁移。训练使用TensorFlow和Adam，合成学习率1e-4、真实微调1e-5，损失包括3D顶点L1、2D重投影和边长正则。MPVE等指标显示完整模型在合成集上误差为1.38mm、参数量58.3M，显著优于METRO的7.09mm和116.1M；在FreiHAND上PA-MPVPE为5.5、PA-MPJPE为5.6；推理细化将最大穿透从5.3mm降至0.16mm、交叠体积从2.0cm³降至0.09cm³，分别支持区域化高效token、谱图平滑和物理碰撞优化的创新。该方法适用于实时AR/VR双手追踪，但受多相机标定、真实数据拓扑差异、高度复杂自穿透以及当前细化仅处理自穿透等约束，未来可结合时序信息与更先进物理建模，并解决双手交互互穿。\n\n### 关键要点\n\n- 框架输入为N张多视角224×224×3 RGB图像，共享CNN先输出N×7×7×2048体特征，避免过早全局池化丢失空间信息。\n- 软注意力融合先经上采样和卷积得到细特征f'，再用空间soft arg-max生成K通道掩码，按f''=M^T f'聚合，并对多视角最大池化得到区域特征。\n- 谱聚类对图拉普拉斯而非亲和矩阵做特征分解，再用k-means将模板网格分成K=7个无刚性边界的区域，降低手工分割成本。\n- 粗模板网格均匀下采样10倍至V'=804，每个顶点查询拼接对应区域的256维图像特征和3维坐标后进入Transformer。\n- 谱图解码器在全连接上采样后使用三阶Chebyshev谱滤波平滑网格信号，并保持特征维F=3，以减少参数量。\n- 推理细化通过射线投射和奇数次表面相交判断内部碰撞顶点，在ARAP正则下最小化碰撞距离，无需网格特定预计算。\n- 合成数据集使用左右手商业3D模型，每手4023顶点、8016三角面，由100个姿态插值生成动作并渲染到480个4K背景，共100万数据点。\n- 真实数据集采用18台同步Z-Cam，结合NeRF前后景分解、网格提取和四面体配准生成61k帧真值，用于更具挑战的视角测试。\n- 在合成数据上，完整方法手部误差1.38mm、参数量58.3M，而METRO为7.09mm、116.1M，模型规模不到后者一半。\n- 在FreiHAND单视角基准上，方法PA-MPVPE为5.5mm、PA-MPJPE为5.6mm，优于METRO与Mesh Graphormer的对应结果。\n- 推理细化使最大穿透深度由5.3mm降至0.16mm，交叠体积由2.0cm³降至0.09cm³，证明物理合理性改进。\n- 方法在高度复杂自穿透时可能失败，且当前优化只处理自穿透；未来需引入时序、高级物理建模并解决双手互穿。"
}