{
  "paper_id": "3a1215d14c2bd1df58179a5f8843a711",
  "paper_title": "Textureless Deformable Surface Reconstruction with Invisible Markers",
  "paper_authors": [
    "Xinyuan Li",
    "Yu Ji",
    "Yanchen Liu",
    "Xiaochen Hu",
    "Jinwei Ye",
    "Changxi Zheng"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "重建并跟踪几乎无纹理或完全无纹理的可变形表面长期存在挑战，其根本原因在于无纹理表面缺少用于建立跨图像对应关系的特征。本文提出一类新型标记，主动丰富物体表面特征，从而降低三维表面重建与对应跟踪的难度。标记由荧光染料制成，仅在紫外光下可见，在常规光照下不可见。基于该标记，作者设计了一套多相机系统，以时间复用方式采集紫外光和可见光下的表面变形：紫外光下标记显现，丰富表面纹理以支持高质量三维形状重建与跟踪；可见光下标记不可见，从而采集物体原始且未被改变的外观。在手势、面部表情、挥舞布料和手物交互等多种挑战性场景中的实验表明，该系统能够实现鲁棒、高质量的三维重建与跟踪。\n",
  "keywords": [
    "无纹理可变形表面",
    "隐形荧光标记",
    "紫外成像",
    "多相机系统",
    "时间复用",
    "三维重建",
    "特征跟踪",
    "模板拟合"
  ],
  "paper_institutions": [
    "Pixel Lab, Tencent America",
    "Columbia University",
    "George Mason University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:49.333703Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n无纹理或弱纹理可变形表面难以提供跨视角、跨时间的可靠图像特征，传统特征匹配、密集像素模板匹配和深度神经网络方法在白纸、皮肤、布料等场景中会出现对应不足、跨类别泛化困难或只能重建形状而无法跟踪对应的问题，而普通可见光学标记又会破坏物体原始外观并造成训练数据采集的先有鸡还是先有蛋困难。本文提出由荧光染料制成的隐形标记：染料溶于酒精或丙酮后绘制在表面，可见光下透明不可见，在365nm UVA紫外光下因斯托克斯位移吸收短波长光并发射蓝、红可见光，关闭紫外光后约10^-8秒内迅速消退，因此可通过时间复用分别获取带标记几何图像和无标记外观图像。系统采用安装在近似球形菱形立方八面体框架上的42台全局快门彩色相机，分辨率2448×2048、60fps、16mm镜头、f/5.6，并配置60个365nm UV LED；其中33台UV相机在紫外灯开启时拍摄标记，9台参考相机在紫外灯关闭时拍摄原始外观，FPGA控制曝光与灯光，实际曝光2ms，两组对应帧相差2ms，相机前的400nm长通滤光片用于阻止紫外灯造成的可见蓝光污染。作者通过从1/5到1/15625、按1/5稀释比变化的光谱测量选择1/625浓度，以兼顾过亮饱和与过暗难检测的问题，并在小鼠皮肤、纸张、棉布和纸板上验证标记光谱响应相近；HSV空间中利用高饱和度、高明度和特定色相范围检测标记，UV-red取H∈[^0] [^15]、UV-blue取H∈[^110] [^125]，两种颜色还可在手物交互中区分手与物体。几何流程先由半全局匹配和Agisoft Metashape重建每帧三维点云，再用嵌入式变形图将预定义模板拟合到点云，核心变换为p′=R_i(p−v_i)+v_i+t_i，并通过E_total=E_fit+λ_m E_marker+λ_s E_smooth联合优化点云到顶点/面片的拟合误差、二维标记到模板标记的重投影误差以及局部刚性平滑约束，旋转以SO(3)和李代数表示并用Levenberg-Marquardt求解。实验选择面部、手、纸/布三类对象，分别采用R3DS Wrap4D面部模板（也兼容3DMM）、MANO手模板和有限平面模板，覆盖表情、交叉手指、手物交互、强遮挡和强扭曲，用以验证标记、模板拟合和多视角系统在最缺乏纹理条件下的鲁棒性；对齐评估使用网格纸板的点到射线距离，当插值参数σ等于触发延迟时，1ms、2ms、4ms延迟下误差均小于0.3mm，其中4ms延迟不插值时为2.23mm，插值后降至0.28mm，直接支持时间复用对齐方法的有效性。与无标记跟踪相比，纸张场景中多数网格特征在约300帧视频的前20帧内丢失，面部无纹理跟踪也会发生错配，而荧光标记显著降低丢失和错配；结果还通过新纹理重投影证明表面重建和视角对齐可靠。该方法适用于摄影棚容积采集、关键点跟踪、数字资产生成以及为从普通视频推断三维形状和运动的神经网络提供保持原始外观的真值数据，主要约束包括需要绘制标记、依赖对象相关模板和初始化、需控制紫外暴露，且溶于丙酮的UV-red不用于人体皮肤，人体仅使用溶于70%酒精的UV-blue；典型采集不超过10分钟、UV实际开启36秒，平均辐照度24μW/cm²，约为晴天直射阳光250μW/cm²的十分之一，并配合防晒霜和OD>6防护镜。后续作者将公开发布可变形对象重建与跟踪数据集，以推动学习型方法和真实场景应用。\n\n### 关键要点\n\n- 隐形标记由可溶于酒精或丙酮的荧光染料制成，在可见光下透明，在365nm紫外光下发射可见光，从而在不改变常规外观的前提下为无纹理表面增加特征。\n- 系统使用UV-blue和UV-red两种染料，蓝色用于人体皮肤，红色因丙酮可能刺激皮肤而只用于纸张、布料等无生命对象，颜色差异还可分割手与交互物体。\n- 染料浓度经过1/5至1/15625的系统光谱测量确定，最终采用1/625，以避免标记过亮导致像素饱和或过暗导致检测不稳。\n- 硬件包含42台2448×2048、60fps全局快门彩色相机和60个365nm UV LED，相机与灯均匀安装在近似球形框架上，到中心距离约75cm以减少光照不均。\n- 时间复用方案将33台UV相机和9台参考相机分别安排在UV灯开启和关闭时曝光，FPGA保证灯光与快门同步，实际两组帧间隔约2ms。\n- 标记检测在HSV颜色空间完成，利用荧光发射高饱和、高明度且色相集中的特点，UV-red和UV-blue分别使用H∈[^0] [^15]和H∈[^110] [^125]。\n- 三维点云由多视角荧光图像通过半全局匹配和Agisoft Metashape获得，再将面部、手或平面模板拟合到点云并持续跟踪表面对应。\n- 模板拟合采用嵌入式变形图，通过点云拟合项、标记重投影项和局部刚性平滑项共同优化，使无纹理表面也能获得稳定几何和对应关系。\n- 针对UV帧与参考帧2ms时间差，方法在相邻三维形状和特征之间线性插值到参考帧时刻，快速运动时可减轻错位。\n- 网格纸板定量实验显示，插值参数与触发延迟匹配时点到射线误差均小于0.3mm；4ms延迟下误差由不插值的2.23mm降至0.28mm。\n- 面部、手、纸/布实验覆盖表情、交叉手指、手物交互和强扭曲，结果表明标记可减少无标记跟踪中的特征丢失和错配，并支持新纹理重投影验证。\n- 方法可用于摄影棚数字资产制作和神经网络训练数据生成，但需要预置对象模板、绘制标记并遵守UV暴露与皮肤接触安全限制。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}