# 基于不可见标记的无纹理可变形表面重建
李欣远 $^{1}$ 季宇 $^{1}$
刘彦辰 $^{2*}$ 胡晓晨 $^{1}$
叶金伟 $^{3}$
郑昌熙 $^{1,2}$
$^{1}$ 腾讯美国像素实验室 $^{2}$ 哥伦比亚大学 $^{3}$ 乔治梅森大学
## 摘要
对几乎没有纹理或完全没有纹理的可变形表面进行重建和跟踪一直是长期存在的难题。从根本上说，这些难题源于无纹理表面缺乏用于建立跨图像对应关系的特征。在这项工作中，我们提出了一种新型标记物，用以主动丰富物体表面的特征，从而简化三维表面重建和对应关系跟踪过程。我们的标记物由荧光染料制成，仅在紫外光下可见，在常规光照条件下则不可见。利用这些标记物，我们设计了一套多摄像头系统，能够以时间复用方式在紫外光和可见光下分别采集表面形变数据。在紫外光下，物体上的标记物会显现出来，从而丰富其表面纹理，实现高质量的三维形状重建与跟踪；在可见光下，标记物会隐形，使我们能够捕捉到物体原本未被干扰的外观。我们在多种具有挑战性的场景上开展了实验，包括手势、面部表情、飘动的布料以及手与物体的交互。在所有这些场景中，我们都证明了该系统能够生成鲁棒且高质量的三维重建与跟踪结果。
### 1. 引言
在从动画合成、运动分析到视频识别和机器人操控的众多应用中，一个基础任务就是重建可变形物体的三维模型，并随时间跟踪其表面对应关系。典型的应用场景包括手势的三维捕捉 [^58] [^70]、面部表情的三维捕捉 [^13] [^21]，以及布料形变的三维捕捉 [^26] [^63]。
要建立表面对应关系，可变形物体表面的纹理是关键线索。纹理丰富的表面能提供描述表面局部外观的丰富特征，使得许多现有方法能够在同一时刻的多幅图像中，以及时间序列中的多幅图像上找到表面点的对应关系 [^4] [^5] [^6] [^17] [^22] [^37] [^40] [^41] [^42] [^61]。此外，深度神经网络的最新进展也推动了利用神经网络对纹理丰富的可变形物体进行三维重建的研究 [^23] [^43]。
不过，当物体表面纹理很少或根本没有纹理时——比如人类皮肤或一张干净的纸张——现有的这些方法就都显得力不从心。近期有几项研究试图利用在特定数据集（如纸张和布料）上训练好的神经网络，来对无纹理的可变形物体进行三维重建[^7] [^18] [^56]。然而，它们仅专注于表面重建，无法预测用于跟踪的表面对应关系。由于它们是在特定数据集上训练的，跨类别泛化能力仍然较差。最后，它们都面临一个先有鸡还是先有蛋的问题：要首先准备用于训练这些网络的数据集，就必须先对无纹理的可变形物体进行三维重建和跟踪。
处理无纹理表面最直接的方法或许是在其表面贴上光学标记点，从而人为引入丰富的纹理以便于三维重建和跟踪。但这种方法会对物体表面造成干扰，无法保留物体原本的表面外观，因此应用范围有限。
在这项研究中，我们提出了一种新型光学标记点，克服了上述局限——这种标记点可以贴在物体表面，同时能在正常光照条件下完全保留物体的外观。我们的标记点由荧光染料制成，在可见光下不可见，但在紫外光下却清晰可见。
为了利用这些荧光标记点，我们设计了一种多摄像头成像系统，能够以交替的方式在普通光和紫外光下拍摄可变形物体。在紫外光下，物体表面的标记点会被捕捉下来；这些标记点提供了丰富的特征信息，从而实现物体几何形状的高质量三维重建与跟踪。而在普通光下，标记点会消失，我们便能捕捉并重建物体原本的表面外观。
我们的成像系统可在摄影棚环境中用于体积数据采集和关键点跟踪，从而加速数字资产的生产流程。
---
该系统还能为神经网络生成训练数据，这些网络旨在从普通视频中推断出可变形物体的3D形状与运动。一个典型例子便是用于追踪视频中3D手势的神经网络 [^58]。其训练数据集必须包含3D手部模型序列以及能反映手部原始外观的视频图像。然而，会改变表面外观的传统光学标记物无法满足这一要求。因此，尽管已有多种此类网络被提出，但用于训练它们的高质量数据集依然十分稀缺。
总结来说，我们的主要贡献如下：
- 我们提出在无纹理表面上应用荧光标记点，并分析了标记点在不同类型表面上的反射特性。
- 我们开发了一种配备紫外光的多摄像头成像系统，能够同时捕捉带标记点和不带标记点的无纹理表面。
- 我们开发了一种基于模板的算法，用于无纹理可变形表面的三维重建及对应特征跟踪。
- 我们开发了一种基于模板的算法，用于无纹理可变形表面的3D重建与跟踪对应点计算。
- 我们会在多种具有挑战性的场景中验证我们的系统，并且我们将发布一个用于可变形物体重建与跟踪的数据集。
### 2. 相关工作
不可见光成像。在计算摄影领域，不可见光成像的概念已被广泛研究：利用特殊的光源和传感器来发射并捕捉可见光谱之外的光线（即波长大于750纳米的红外光或小于380纳米的紫外光）。这种设置能够补充可见光成像（波长在380纳米到750纳米之间），从而提升成像能力。一些技术会将彩色图像与近红外（NIR）图像结合，用于去噪 [^34] [^59] [^66]、去模糊 [^52] [^67]、超分辨率重建 [^28] [^54] 以及几何估计 [^15] [^16] [^65]。值得注意的是，Wang等人 [^60] 利用红外照明对面部重新打光，以减少视频会议中面部颜色不均的影响。后来，Krishnan和Fergus [^34] 提出了“暗闪”技术，该技术使用近红外（NIR）和近紫外（NUV）闪光灯来替代刺眼的常规闪光灯。他们的目标是在弱环境光照下获取高质量图像，同时不干扰拍摄对象。受他们工作的启发，随后出现了许多利用NIR图像（在NIR照明下拍摄）来对低光照条件下获取的退化彩色图像进行去噪和去模糊的方法 [^29] [^52] [^59] [^66] [^67]。除此之外，Blasinski和Farrell [^9] 提出利用窄带多光谱闪光灯来进行色彩平衡，Choe等人 [^15] 则推导出了NIR反射模型，并利用NIR图像来恢复精细的表面几何结构。
与被广泛研究的NIR成像技术不同，紫外（UV）成像受到的关注要少得多。暗闪技术 [^34] [^59] 会分析物体在紫外光下的光谱响应以实现去噪。在我们的研究中，我们利用仅在紫外光下可见的荧光墨水来丰富物体表面的特征，同时不会改变物体在可见光下的外观。
紫外荧光成像。紫外光可用于揭示在可见光照射下无法看到的物质或结构。这是因为某些物质会表现出荧光反射现象，即吸收短波长光（如紫外光）并发射波长更长的光（如可见光） [^35] [^47]。这一现象为广泛的成像应用奠定了基础，包括法医鉴定 [^44] [^62]、生物医学成像 [^24] [^33] 以及材料分析 [^57] [^68]。
在计算机视觉领域，荧光反射已被广泛应用于形状重建[^55]、沉浸式范围扫描[^30]、互反射消除[^19]、多光谱反射率估计[^10]以及材质分类[^3]等等。受图形渲染任务的启发，Wilkie等人[^64]提出了一种针对漫反射荧光表面的反射率模型。基于该模型，后续出现了诸多关于基于荧光的反射分析[^31]和形状重建[^47]的研究。此外，还有研究分析了荧光反射的光谱响应，从而衍生出外观分离[^2] [^69]、荧光重新照明[^20] [^36]以及相机光谱灵敏度估计[^25]等技术。
我们也利用了荧光技术。但与现有工作不同，我们主动在物体表面引入荧光标记物，以丰富其表面纹理。我们还设计了一种成像系统，通过时间复用技术，同时捕捉紫外光下（用于激发标记物）和可见光下（用于消除标记物影响）的图像。
可变形表面重建与跟踪。我们的总体目标是恢复动态可变形表面的三维形状并追踪其对应关系。在这一方向上，人们探索了多种传感器配置，包括使用单摄像头[^17] [^37] [^41]、多摄像头[^8] [^12] [^48]，以及彩色摄像头与深度摄像头配合使用[^11] [^71]，还有与事件摄像头配合使用[^39]。迄今为止最成功的方法是依赖局部外观的方法。
---
(a)
(b)
Figure 1. (a) The physical principle of fluorescence. (b) The absorption and emission spectra of the fluorescent dyes used in our invisible markers. We use two types of dyes with the peak emission in blue (UV-blue) and red (UV-red) colors, respectively. The purple curve indicates the spectral profile of our UV LED light peaked at 365nm.
这类方法通过寻找特征点对应关系，再将二维图像特征与三维形状模板匹配，从而实现表面重建与跟踪[^4] [^5] [^14] [^40]。然而，当表面纹理稀疏或重复，或者根本没有纹理时，这些方法就会受到限制——因为在这些情况下，特征点对应关系的数量不足，匹配质量也不可靠。当可变形表面纹理较弱时，密集的像素级模板匹配或许能发挥作用[^37] [^38] [^41] [^46]。不过，这些方法都无法处理没有纹理的表面（即无纹理表面）——比如一张白纸。
相比之下，我们即便对于无纹理表面也能重建高保真度的三维表面并追踪其形变，这得益于这些标记物在保留表面原有外观的同时引入了局部特征。
### 3. 方法
现在我们将介绍荧光标记物背后的物理原理、它们的光谱响应，以及我们利用荧光标记物实现鲁棒特征跟踪和表面重建的成像系统。
#### 3.1. 隐形标记物
荧光染料。荧光材料会表现出斯托克斯位移现象[^51]——这是一种光学现象，即材料吸收短波长光后会以更长的波长重新发射光。这一现象源于材料分子的量子行为：当荧光材料的电子受到短波长光（如紫外线）照射时，它们会在吸收光能后进入激发态，随后立即去激发并以更长的波长（通常处于可见光光谱范围内）发射出光。这一过程如图1-a所示。
我们的隐形标记物由荧光染料制成，这类染料可溶于有机溶剂（如酒精或丙酮）。溶液呈透明状；将其作为钢笔墨水，我们就能在物体表面绘制出点状或线状的标记。
Figure 2. Objects covered with our fluorescent ink (UV-blue and UV-red). (left) Image under the visible light. (right) Image under the UV light, wherein the blue and red emission becomes apparent.
由于这些标记物具有透明性，在可见光下是不可见的，因此能保持物体的原有外观。只有在紫外光照射下，标记物才会发射可见光（从而变得可见）。此外，紫外光关闭后，发射的光会迅速衰减——通常在$10^{-8} sec$之内。因此，通过利用紫外光触发标记物的发光，并将触发时机与相机快门同步，我们就能以时间复用的方式拍摄到有无标记物可见的图像（详见第3.2节）。
我们寻找的荧光染料还需满足另外两个标准：1）在紫外光下荧光发射对比度高且可见性强；2）染料对生物无害，不会对人体皮肤产生毒性。在本研究中，我们发现MaxMax UV染料$^{1}$符合我们的需求。具体而言，我们使用了两种分别发射蓝光和红光的荧光染料，将其称为UV-蓝染料和UV-红染料。为了制备用于绘制标记物的荧光墨水，我们将UV-蓝染料溶解于70%的酒精中，将UV-红染料溶解于丙酮中。这两种标记物都可在365纳米的紫外光下被触发发光（见图1-b）。我们选择这种紫外光，是因为它属于UVA波段，是对人体皮肤最安全的紫外光谱，且在自然阳光中含量丰富。通过使用这两种染料，我们能够利用它们的发光颜色来区分和分割多个物体（见图2），这在手-物体交互等复杂场景中十分有用。
荧光发射具有窄带波长特性（见图1-b）。因此，它在采集到的荧光图像上产生的色调值范围较小。利用这一特性，我们可以轻松在荧光图像上检测标记物：将图像转换为HSV色彩空间，然后标记那些色调值落在荧光材料发射范围内的像素。即便物体表面本身也会发光，这种基于HSV色彩空间的标记物检测方法依然稳健。这是因为窄带的荧光发射在特定光谱位置达到峰值，而表面若发光的话，其峰值也不太可能与我们这两种具有不同发射峰值的标记物的峰值位置重合。
---
Figure 3. The spectral response of fluorescent solutions with different concentration levels of the UV-red (left) and UV-blue (right) dyes.
光谱响应。我们的荧光墨水是通过将荧光染料溶解在溶剂（即酒精或丙酮）中制成的。选择溶液浓度时需格外注意：浓度越高，紫外光下的荧光发射就越亮。一方面，如果荧光发射过亮，标记物会使图像像素饱和，从而大大增加基于色调值进行标记物检测的难度；另一方面，如果浓度过低，标记物会显得过于暗淡，检测的稳健性也会随之降低。
我们通过系统性测量来确定浓度水平。我们测试了紫外蓝染料和紫外红染料。对于每种染料，我们制备了不同浓度的荧光溶液，这些溶液按1/5的稀释比例配制（即1/5、1/25、1/125等），覆盖从1/5到1/15625的浓度范围。随后，我们使用模块化多模式酶标仪（BioTek Synergy H1）测量每个样品的光谱响应。在365纳米紫外光下，测量记录的是400纳米至700纳米范围内（可见光谱）的荧光发射响应，步长为2纳米。部分测量得到的响应曲线如图3所示。通过测量我们发现，对于这两种染料而言，理想的浓度水平均为1/625；此后我们在实验中均采用这一比例。
我们还测量了涂覆在不同表面上的标记物的光谱响应，这些表面包括小鼠皮肤（去除毛发后）、纸张和棉布。我们选用小鼠皮肤作为测试对象（由生物医学实验室提供），因为其成分与人类皮肤极为相似。我们使用高光谱相机（Pika XC2）测量在$365nm$紫外光下的荧光发射光谱响应（见图4）。光谱响应曲线如图5所示。结果表明，各类标记物在不同表面上的光谱响应相似，这预示着基于色调的标记物检测算法可适用于多种表面。
生物安全性。由于我们将利用该系统采集人手和面部图像，因此我们慎重处理了相关安全问题。首先，我们使用的荧光染料无毒且在非直射阳光下稳定。在人皮肤上涂抹标记物时，我们仅使用溶解于70%酒精中的紫外蓝染料；这种常用作医疗消毒剂的酒精溶剂对皮肤接触是安全的。紫外红染料则溶解于丙酮中，丙酮常被用作指甲油去除剂，但可能会刺激人类皮肤。因此，我们不会将其用于人皮肤，仅将其应用于无生命的物体上（如纸张和布料）。
自然阳光中含有紫外线——它约占太阳总电磁辐射的10%，其中约95%的紫外线属于UVA波段（即315纳米至400纳米）[^32]。但长期或短期过度暴露于紫外线下可能对人类皮肤和眼睛造成潜在危害。为防止此类危害，我们的实验严格遵循阈值极限值和生物暴露指数（TLV/BEI）指南[^1]来限制紫外光照强度。
当我们使用成像系统采集人手姿态或面部图像时，一次典型的采集过程不超过10分钟，期间紫外灯仅开启36秒（有关照明触发机制的详情见第3.2节）。我们使用分光计测量成像系统工作时的紫外辐照度，其平均紫外辐照度为$24\mu\mathrm{W}/\mathrm{cm}^2$。作为对比，晴朗天气下直射阳光中的紫外辐照度约为$250\mu\mathrm{W}/\mathrm{cm}^2$ [^32]，也就是我们系统紫外辐照度的十倍左右。因此我们认为该系统不会带来紫外过度暴露的风险。为格外谨慎起见，我们在涂抹标记物并让手部/面部暴露于紫外灯下之前，总会先涂抹防晒霜。此外，系统操作员在采集过程中始终会佩戴光学密度（OD）大于6的防紫外眼镜。总之，我们的标记物和紫外灯不会造成显著的安全隐患，且我们已采取了额外的防护措施。
#### 3.2. 采集系统
系统搭建。我们构建了一个多摄像头系统，用于捕捉表面形变以实现三维重建和表面跟踪。该成像系统由42台全局快门彩色摄像头组成，每台摄像头配备16毫米镜头，并搭配60个紫外LED光源单元。摄像头和光源均匀安装在截角立方八面体的支架框架上，朝向框架中心（见图6）。由于截角立方八面体框架是对球体的离散近似，因此各部件到框架中心的距离几乎相同（$\approx$ 75厘米），从而避免了光照衰减不均的问题。
所有摄像头均以$2448 \times 2048$的分辨率、60帧/秒的速率拍摄视频。它们的视场角为30度，光圈为f/5.6，以便能够覆盖支架范围内的一切物体并拍摄全焦图像。
---
Figure 4. We measure the fluorescent spectral response on different types of surfaces. (a) Mouse skin sample. (b) Various paper and cloth samples. (c) Equipment for measuring the spectral response.
支架的覆盖范围即为$\approx 40cm$。此外，我们在每台摄像头前都安装了400纳米长通滤光片，用以阻挡紫外线光源产生的可见蓝光对拍摄图像的干扰。
每个紫外LED单元的功率为2.58瓦，发光峰值波长为365纳米，光束角度为$155^{\circ}$。紫外LED对触发电压的反应极为迅速：其上升和下降时间均在$1ns$范围内——这一特性对于后续的摄像头与光源同步至关重要。另外，我们在框架的顶部和底部各安装了7块照明面板；在拍摄过程中这些面板会持续点亮，以提供更多光线，从而让我们能够使用更快的快门速度，减少拍摄到的运动模糊和表面反光现象。
同步机制。我们以时分复用的方式，分别拍摄带有标记和无标记的可变形表面图像。为此，我们将摄像头分为两组：第一组（称为紫外摄像头）在紫外灯开启时被触发，第二组（称为参考摄像头）则在紫外灯关闭时被触发。通过这种方式，紫外摄像头拍摄到的是带有标记的物体图像，而参考摄像头则拍摄到物体未被标记时的原始状态。
在实际应用中，我们使用33台紫外摄像头和9台参考摄像头，以便更精确地实现标记的三维重建和跟踪。
由于摄像头的拍摄速率为60帧/秒，两帧之间的时间间隔为16毫秒。若这一时间间隔远大于摄像头的曝光时间，我们就可以在16毫秒的时间窗口内调整两组摄像头的触发时间，使它们的曝光时段互不重叠（见图6-a）。实际使用中，我们采用的曝光时间为2毫秒，不过最长8毫秒的曝光时间也同样适用。最终，同一时间窗口内两组摄像头所拍摄的帧之间的时间差仅为2毫秒。尽管
Figure 5. Spectral responses of two types of markers on sketch paper (left), mouse skin (middle) and cardboard (right).
这个时间差极短，我们仍采用插值算法来减少可能出现的对齐误差（关于插值的更多细节详见第3.3节）。我们定制了一块FPGA板，用以精确控制紫外灯的开关，并将触发事件与两组摄像头同步。
校准与数据管理。所有摄像头均通过附着在截角立方八面体各面上的ChArUco图案进行几何校准。我们还估算了所有摄像头的内参和外参，据此计算出每对摄像头之间的几何变换关系。这使我们能够将一台摄像头拍摄的图像重新投影到另一台摄像头中（重投影误差小于0.6像素）。此外，我们通过调节白平衡对所有摄像头进行了色彩校准。
借助42台以60fps速率拍摄2K图像的摄像头，我们需要一套能够支持高速数据传输和存储的基础设施。为此，我们搭建了三台高性能服务器，每台服务器配备16TB的SSD硬盘以及PCI-E转USB采集卡。我们在每台服务器上构建了M2 SSD RAID系统，其读取和顺序写入速度高达28Gbps，并将14台摄像头连接到该系统。通过这种方式，我们可以直接将未压缩的原始图像保存到服务器中。这些RAID系统最多可存储1小时采集到的图像。随后，数据会被传输到NAS系统中进行进一步处理。
#### 3.3. 特征跟踪与重建
2D标记检测与3D重建。为了检测捕获图像中的标记，我们将图像转换为HSV色彩空间。荧光标记对应的像素通常具有较高的饱和度（S）和明度（V）值，且其色调（H）值会落在与染料发射谱相关的较小范围内（即UV红光对应$H \in [0, 15]$，UV蓝光对应$H \in [110, 125]$）。我们将满足这些条件的所有像素标记为标记像素，并检测出每个标记的中心位置。这些标记位置会在后续步骤中用于模板拟合。
得益于这些标记，即使物体本身没有任何纹理，多视角荧光图像所捕捉到的可变形物体也能呈现出丰富的纹理。
---
(b)
Figure 6. (a) Conceptual illustration of our system with trigger scheme (green color refers to reference cameras, and purple color refers to UV cameras). (b) The real physical setup of our system with zoom-in view of the UV LED unit. (c) Samples images captured by our cameras (images with the green borders are captured by the reference cameras).
丰富的纹理使我们能够运用标准的3D摄影测量重建算法（例如COLMAP [^49] [^50]）来为每一帧图像获取3D点云。实践中，我们通过半全局匹配算法[^27]来计算密集视差图，并使用商业软件Agisoft Metashape $^{2}$来进行点云重建。
模板拟合。接下来，我们将每一帧的3D点云拟合到针对特定物体预先定义的模板上。根据具体的任务需求（例如捕捉手部动作或面部表情），会使用不同的模板，相关细节将在第4节中介绍。此处我们介绍可普遍应用于不同任务的拟合算法。
假设有一个由M个点$\mathbf{p} = \{p_1, p_2, ..., p_M\}$组成的3D点云S，以及一个由N个顶点$\mathbf{v} = \{v_1, v_2, ..., v_N\}$和K个面构成的3D形状模板。我们的目标是变形该形状模板，使其与3D点云紧密对齐。我们采用嵌入式变形图[^53]来对模板进行变形：对于模板形状上的每个顶点i，其变形后的位置由$v_i + t_i$描述。为确保变形的平滑性，每个顶点i都有一个局部影响区域，其影响程度由旋转矩阵$\mathbf{R}_i \in SO(3)$描述，该矩阵会将局部区域内的任意点p映射到位置$p'$，具体关系如下：
$$ \boldsymbol{p}^{\prime}=\boldsymbol{R}_{i}(\boldsymbol{p}-\boldsymbol{v}_{i})+\boldsymbol{v}_{i}+\boldsymbol{t}_{i}. $$
我们通过求解以下优化问题来确定$t_i$和$R_i$（对应$i = 1..N$）：
$$ E_{total}=E_{fit}+\lambda_{m}E_{marker}+\lambda_{s}E_{smooth}. $$
第一项$E_{fit}$从两个方面衡量3D点云与变形后模板网格之间的$\ell_{2}$距离：对于点云S中的每个点j，分别计算它到模板上最近顶点的距离以及到最近面的距离。因此，$E_{fit}$是两项之和，即：
$$ \begin{align*}E_{\mathrm{fit}}=&\sum_{j=1}^{M}\underbrace{\|\boldsymbol{v}_{c(i)}+\mathbf{t}_{c(j)}-\boldsymbol{p}_{j}\|_{2}^{2}}_{\text{point to vertex distance}}+\\&\beta\sum_{j=1}^{M}\underbrace{\|\boldsymbol{n}_{c(i)}^{\top}(\boldsymbol{v}_{c(j)}+\mathbf{t}_{c(i)}-\boldsymbol{p}_{j})\|_{2}^{2}}_{\text{point to face distance}},\end{align*} $$
其中$c(j)$表示距离点$p_j$最近的变形后模板顶点的索引，$n_{c(j)}$表示顶点法线，$\beta$则是用于平衡这两项的权重。
第二项 $E_{marker}$ 用于衡量检测到的二维标记点与模板网格中投影出的标记点之间的距离。考虑有 $N_f$ 个标记点。它们在未变形的模板网格上的三维位置，用 $\boldsymbol{x}_j$ 表示（对应第 $j = 1..N_f$ 个标记点），在采集会话开始时便被初始化（关于这种初始化的具体细节，请参见第4节中关于特定物体的说明）。$\boldsymbol{x}_j$ 可以用其所在模板三角形上的重心坐标 $\boldsymbol{\alpha}_j = [\alpha_{j,1} \quad \alpha_{j,2} \quad \alpha_{j,3}]$ 来表示，即 $\boldsymbol{x}_j = \sum_{k=1}^3 \alpha_{j,k} \boldsymbol{v}_{j,k}$，其中 $\boldsymbol{v}_{j,k}$（$k = 1, 2, 3$）为该模板三角形的顶点位置。基于这些记号，$E_{marker}$ 的定义如下：
$$ \begin{array}{r}{E_{\mathrm{m a r k e r}}=\displaystyle\sum_{i=1}^{N_{v}}\displaystyle\sum_{j=1}^{N_{f}}w_{i j}\|\boldsymbol{p}_{i j}-\boldsymbol{\pi}_{i}\tilde{\boldsymbol{x}}_{j}\|_{2}^{2},}\end{array} $$
其中 $\tilde{\boldsymbol{x}}_j$ 是变形后模板网格上第 j 个标记点的三维位置（即 $\boldsymbol{x}_j = \sum_{k=1}^3 \alpha_{j,k}(\boldsymbol{v}_{j,k} + \boldsymbol{t}_{j,k})$），$N_v$
---
代表UV相机视图的数量；$w_{ij}$ 是第 j 个标记点从第 i 个相机视角观测时的置信度权重。如果第 j 个标记点被第 i 个相机遮挡，则 $w_{ij}$ 的值会变为零。此外，$p_{ij}$ 是第 j 个标记点在第 i 个相机视图中的二维位置（若未被遮挡），而 $\pi_i$ 则是第 i 个相机的投影矩阵。
最后一项 $E_{smooth}$ 用于调节模板网格变形的平滑程度。这里涉及每个顶点 i 的局部影响（因此也涉及 $R_i$）。参照 [^53] 中定义的类似项（文中称为 $E_{reg}$），$E_{smooth}$ 旨在促使网格变形具有局部刚性，其定义如下：
$$ \begin{array}{r l}&{E_{\mathrm{s m o o t h}}=\displaystyle\sum_{j=1}^{N}\displaystyle\sum_{k\in\mathcal{N}(j)}\gamma_{j k}\|R_{j}\mathbf{v}_{k j}-\mathbf{v}_{k j}+\mathbf{t}_{j}-\mathbf{t}_{k}\|_{2}^{2},}\end{array} $$
其中 $v_{kj}$ 是 $v_{kj} = v_k - v_j$ 的简写；$\mathcal{N}(j)$ 是顶点 i 的相邻顶点（此处定义为 i 的10个最近邻顶点）；$\gamma_{jk}$ 是由 $v_j$ 与 $v_k$ 之间的距离决定的权重参数（更多细节见 [^53]）。
求解优化问题（2）时，我们将每个 $R_i$ 表示为李代数 so(3) 中的元素，并使用列文伯格-马夸特优化器。优化过程起始时 $\lambda_s$ 和 $\lambda_m$ 的取值较大，随后在迭代过程中逐渐减小，直至优化收敛。
特征形变处理。除了利用荧光图像进行变形后的三维重建外，我们还需要将三维形状与特征与参考相机视频对齐——在这些视频中标记点不可见且物体外观保持不变。例如，参考视频与精确对齐的三维形状变形数据可共同构成训练数据集，用于众多深度神经网络。
但UV相机和参考相机拍摄的视频并非完全同步（详见第3.2节），二者之间存在 $2ms$ 的时间差。多数情况下该时间差很小，可以安全忽略。然而当物体运动过快时，这种时间差会导致轻微的对齐偏差。我们通过线性插值技术，将两个连续帧的三维形状和特征映射到参考帧被捕获的时刻，以此缓解这种对齐偏差。这一策略虽简单却能有效减少对齐误差（详见图7中的实验结果）。
### 4. 实验
我们在多种场景下开展实验，以评估所提出的成像系统与重建算法的性能。
触发延迟的影响。我们首先分析触发延迟可能导致的对齐偏差程度。
Figure 7. (top) Sample images of our grid target under UV and reference views. (bottom) Point-to-ray distance curves w.r.t. various $\sigma$ values for 1ms and 4ms trigger delays.
Table 1. Average point-to-ray distances (in mm) w.r.t. $\sigma$ and trigger delays
| $\sigma$ | 0 | 1 | 2 | 3 | 4 | 5 | 15 |
| delay | 1ms | 0.49 | 0.20 | 0.56 | 1.06 | 1.56 | 2.06 | 8.12 |
| 2ms | 1.02 | 0.53 | 0.26 | 0.62 | 1.12 | 1.63 | 8.21 |
| 4ms | 2.23 | 1.69 | 1.16 | 0.64 | 0.28 | 0.56 | 7.85 |
参考相机和紫外相机，以及我们的插值算法在消除这种伪影方面的有效性。这一分析非常重要，因为我们的目标是利用紫外视图中“不可见”的标记物，在参考视图下进行重建与跟踪。
我们使用带有网格的纸板进行实验。该网格在参考视图和紫外视图中均可见。因此，我们可以利用网格角点作为特征，来测量由触发延迟引起的像素偏移。目标样本的图像如图7所示。我们展示了对应参考视图和紫外视图中的特征点（分别用橙色和绿色标记），以及连续紫外视图中的特征点（用红色标记）。可以看出，两张连续紫外图像中的特征存在明显偏移（时间间隔为16毫秒）。在这种情况下，对应紫外视图与参考视图之间的特征错位较小，但该数值会随着运动速度的不同而变化（即速度越快，偏移量越大）。
随后，我们定量测量了不同触发延迟下的错位程度，并评估了第3.3节中描述的线性插值算法的有效性。我们首先通过所有紫外视图中的射线三角测量法来计算特征点的三维坐标。
---
Figure 8. Facial expressions. From top to bottom, we show the marker-free images, UV images with markers, tracked feature points, and recovered 3D face meshes warped on the marker-free views.
通过所有 UV 视图的射线三角测量得到点。假设 UV 视图在时刻 t 和时刻 $t + 1$ 计算出的 3D 点分别为 $\mathbf{v}^t$ 和 $\mathbf{v}^{t+1}$。由于参考视图过于稀疏，无法精确三角测量，我们仅从参考视图上的特征出发追踪射线。我们用 $\mathbf{r}^t$ 表示从时刻 t 的参考视图追踪出的射线。然后我们对 $\mathbf{v}^t$ 和 $\mathbf{v}^{t+1}$ 进行线性插值，得到一个中间点 $\tilde{\mathbf{v}}^\sigma$。我们计算从 $\tilde{\mathbf{v}}^\sigma$ 到 $\mathbf{r}^t$ 的点到射线距离，并用它来衡量 3D 中特征对齐的精度。
我们在三种不同的触发延迟下进行测试：1毫秒、2毫秒和4毫秒。我们针对不同的插值参数$\sigma$（取值范围为0到16）计算点到射线的距离。当$\sigma = 0$时，就相当于直接使用$\mathbf{v}^t$（即不进行插值）。我们测试了不同类型的运动（例如直线运动和圆周运动）以及不同的运动速度。表1中列出了各种配置下的平均点到射线距离。我们还绘制了在1毫秒和4毫秒延迟下，不同$\sigma$对应的点到射线距离曲线（见图7）。每个$\sigma$值处的距离差异是由不同的运动引起的。从这些测量结果可以看出，当$\sigma$等于触发延迟时，错位程度最小（在所有情况下点到射线距离均小于0.3毫米）。当触发延迟较大时，我们的插值方法尤为有效。例如，在4毫秒延迟的情况下，不进行插值时错位量达到2.23毫米（即$\sigma = 0$）。而通过我们的插值方法，平均误差显著降低。
三维重建与跟踪结果。此处我们展示了三类场景下的三维重建与对应跟踪结果：面部表情、手部交互以及变形的纸张/布料。视频结果可在补充材料中查看。
图8展示了我们在捕捉各种面部表情方面的结果。我们使用UV蓝墨水在测试者脸上绘制点状图案，然后应用我们的模板匹配算法来恢复3D人脸网格。这里我们使用了R3DS Wrap4D提供的3D人脸模板；其他常用的人脸模板，如3DMM [^72]，同样也能使用。在最初几帧中，我们采用静止姿态（即神经表达）来初始化模板上的标记位置。由于静止姿态能够轻松与模板对齐（即便不使用标记引导），因此我们可以将荧光图像投影到已对齐的模板上，从而初始化模板上的标记位置。在视频的后续部分，我们会利用这些点来计算用于模板匹配的标记项（公式4）。通过使用荧光标记，我们的3D重建结果更加精确，所追踪的对应点也更加可靠且稳健。
图9展示了各类手部场景的结果，包括手势动作以及手与物体的交互情况。在这些场景中，我们用UV蓝墨水在手背上绘制点状图案，用UV红墨水在物体上着色。两种墨水之间的色差有助于我们区分手和物体，进而显著提升模板匹配的效果。图10对比了是否分离物体时对手部模板匹配的结果：可以看出，不分离物体的直接匹配结果精度极低，因为匹配过程中也纳入了物体上的点。
对于手部场景，我们采用MANO [^45]模型作为3D模板。与面部捕捉类似，我们也在最初几帧中使用静止姿态来在模板上注册标记点。由于我们有多个视角且采用了标记引导，我们的方法能够很好地处理遮挡问题（例如双手交叉的场景）。同样，我们的3D重建和对应点追踪效果都十分精确且稳健（可参见视频结果）。通过插值方案，我们恢复的3D手部模型和追踪特征能够与无标记视图完美对齐。
图11展示了变形纸张的测试结果。对于纸张和布料，我们假设它们呈矩形，因此采用3D有限平面作为模板。可以使用UV蓝或UV红墨水在这些目标上绘制图案。在实验中
---
Figure 9. Hand interactions. From top to bottom, we show marker-free images, UV images with markers, recovered 3D hand and object point clouds, and recovered 3D hand meshes warped on the marker-free views.
Figure 10. Comparison of hand template fitting results with vs. without separating the object point cloud.
如图11所示，我们绘制了$13 \times 14$网格，并将其角点作为特征点。通过在平面模板上叠加相同尺寸的网格，就能在模板网格上轻松初始化特征点。与需要借助静止姿态来在预定义模板上初始化标记特征的面部和手部场景不同，由于模板结构简单且我们已知图案规律，因此特征点可直接施加在纸张模板上。结果显示，即便存在强烈形变，我们的追踪算法依然稳健。为了验证3D重建和视图对齐的准确性，我们展示了在无标记图像上应用新纹理的渲染结果：我们首先将新纹理施加到恢复的表面网格上，再将重新贴图的表面投影回参考视图以生成带有新纹理的图像。可以看出，新纹理的形变与表面形变高度一致，这表明我们的3D重建和视图对齐既可靠又精确。
有无标记时的追踪结果。为了证明我们的荧光标记在缺乏纹理的表面上的有效性，我们比较了使用这些标记与不使用标记时的对应点追踪结果（即直接在无标记的参考视图上应用追踪算法）。
图12和图13展示了纸张与面部场景下的对比结果（视频对比结果详见补充材料）。我们采用了商业软件R3DS Wrap4D2中提供的跟踪算法。可以看出，我们的跟踪对应关系更为可靠且稳健，尤其是在纹理缺失严重的纸张场景上。在纸张场景中，特征点以网格形式初始化。在无标记视图下，大多数特征点在20帧内便会丢失跟踪（整个视频共有$\sim$300帧）。而在面部场景中，由于人类皮肤具备大量可跟踪的局部特征，因此无标记视图下的跟踪结果对多数特征点而言是可靠的。不过，偶尔仍会出现特征不匹配或丢失跟踪的情况（可参见图13中放大视图里被高亮显示的特征点）。借助我们的荧光标记物，跟踪结果更加稳健，匹配错误率也大幅降低。
---
Figure 11. Deformed paper. From top to bottom, we show marker-free images, UV images with markers, tracked color-coded correspondences, and recovered 3D surface.
Figure 12. Comparisons of feature tracking results with vs. without using fluorescent markers (paper scene).
Figure 13. Comparisons of feature tracking results with vs. without using fluorescent markers (face scene). In the three zoom-in views, we highlight the features that are mis-matched in the marker-free tracking.
### 5. 结论
综上所述，我们提出了一种利用仅在紫外光下可见的荧光标记物来实现可变形表面三维重建与跟踪的方法。与现有方法不同，该技术适用于无纹理的表面。我们开发了一套实用的成像系统，可通过时间复用技术同时采集带标记与不带标记的视频。我们还开发了基于模板的三维重建与跟踪算法，以及用于将恢复出的三维模型与跟踪对应关系对齐到无标记视图的插值方案。我们在具有挑战性的可变形场景上开展了实验，包括面部表情、手势、手物交互以及变形的纸张/布料。结果表明，使用荧光标记物能够获得高质量的三维重建结果与稳健的特征跟踪效果。我们的方法既可用于工作室环境下的高质量数字媒体制作，也能为训练可变形物体重建与跟踪算法提供带有真实标注的数据集。
## 参考文献
[^1]: 2023 TLVs AND BEIs. American Conference of Governmental Industrial Hygienists, 2023.
[^2]: Marina Alterman, Yoav Y. Schechner, and Aryeh Weiss. Multiplexed Fluorescence Unmixing. In Proceedings of the IEEE International Conference on Computational Photography (ICCP), 2010.
[^3]: Yuta Asano, Misaki Meguro, Chao Wang, Antony Lam, Yin-qiang Zheng, Takahiro Okabe, and Imari Sato. Coded Illumination and Imaging for Fluorescence Based Classification. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Proceedings of the European Conference on Computer Vision, 2018.
## [^4]: Adrien Bartoli and Toby Collins. Template-Based Isometric Deformable 3D Reconstruction with Sampling-Based Focal Length Self-Calibration. In Proceedings of the IEEE Confer-
---
计算机视觉与模式识别会议（CVPR），2013年6月。
[^5]: Adrien Bartoli, Yan Gérard, François Chadebecq, Toby Collins, and Daniel Pizarro. Shape-from-Template. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(10):2099–2118, 2015.
[^6]: Adrien Bartoli and Andrew Zisserman. Direct Estimation of Non-Rigid Registrations. In Proceedings of the British Machine Vision Conference (BMVC), 2004.
[^7]: Jan Bednařík, Pascal Fua, and Mathieu Salzmann. Learning to Reconstruct Texture-Less Deformable Surfaces from a Single View. In Proceedings of the International Conference on 3D Vision (3DV), September 2018.
[^8]: Bernd Bickel, Mario Botsch, Roland Angst, Wojciech Matusik, Miguel Otaduy, Hanspeter Pfister, and Markus Gross. Multi-Scale Capture of Facial Geometry and Motion. In Proceedings of ACM SIGGRAPH, 2007.
[^9]: Henryk Blasinski and Joyce Farrell. Computational Multispectral Flash. In Proceedings of the IEEE International Conference on Computational Photography (ICCP), 2017.
[^10]: Henryk Blasinski, Joyce Farrell, and Brian Wandell. Simultaneous Surface Reflectance and Fluorescence Spectra Estimation. IEEE Transactions on Image Processing, 29:8791–8804, 2020.
[^11]: Aljaž Božič, Michael Zollhöfer, Christian Theobalt, and Matthias Nießner. DeepDeform: Learning Non-rigid RGB-D Reconstruction with Semi-supervised Data. 2020.
[^12]: Derek Bradley, Tiberiu Popa, Alla Sheffer, Wolfgang Heidrich, and Tamy Boubekeur. Markerless Garment Capture. ACM Transactions on Graphics, 27(3):99, 2008.
[^13]: Chen Cao, Qiming Hou, and Kun Zhou. Displaced Dynamic Expression Regression for Real-Time Facial Tracking and Animation. ACM Transactions on Graphics, 33(4), July 2014.
[^14]: Ajad Chhatkuli, Daniel Pizarro, Adrien Bartoli, and Toby Collins. A Stable Analytical Framework for Isometric Shape-from-Template by Surface Integration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(5):833–850, 2017.
[^15]: Gyeongmin Choe, Srinivasa G. Narasimhan, and In So Kweon. Simultaneous Estimation of Near IR BRDF and Fine-Scale Surface Geometry. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[^16]: Gyeongmin Choe, Jaesik Park, Yu-Wing Tai, and In So Kweon. Exploiting Shading Cues in Kinect IR Images for Geometry Refinement. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.
[^17]: Toby Collins and Adrien Bartoli. Realtime Shape-from-Template: System and Applications. In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality, pages 116–119, 2015.
[^18]: R. Danžřek, E. Dibra, C. Öztireli, R. Ziegler, and M. Gross. DeepGarment: 3D Garment Shape Estimation from a Single Image. Computer Graphics Forum, 36(2):269–280, May 2017.
[^19]: Ying Fu, Antony Lam, Yasuyuki Matsushita, Imari Sato, and Yoichi Sato. Interreflection Removal Using Fluorescence. In Proceedings of the European Conference on Computer Vision, 2014.
[^20]: Ying Fu, Antony Lam, Imari Sato, Takahiro Okabe, and Yoichi Sato. Separating Reflective and Fluorescent Components Using High Frequency Illumination in the Spectral Domain. In Proceedings of the IEEE International Conference on Computer Vision, 2013.
[^21]: Pablo Garrido, Michael Zollhöfer, Dan Casas, Levi Valgaerts, Kiran Varanasi, Patrick Pérez, and Christian Theobalt. Reconstruction of Personalized 3D Face Rigs from Monocular Video. ACM Transactions on Graphics, 35(3), May 2016.
[^22]: Vincent Gay-Bellile, Adrien Bartoli, and Patrick Sayd. Direct Estimation of Nonrigid Registrations with Image-Based Self-Occlusion Reasoning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(1):87–104, 2010.
[^23]: Vladislav Golyanik, Soshi Shimada, Kiran Varanasi, and Didier Stricker. HDM-Net: Monocular Non-rigid 3D Reconstruction with Learned Deformation Model. In Virtual Reality and Augmented Reality, pages 51–72, 2018.
[^24]: Daniel C. Gray, William Merigan, Jessica I. Wolfing, Bernard P. Gee, Jason Porter, Alfredo Dubra, Ted H. Twietmeyer, Kamran Ahmad, Remy Tumbar, Fred Reinholz, and David R. Williams. In vivo fluorescence imaging of primate retinal ganglion cells and retinal pigment epithelial cells. Optics Express, 14(16):7144–7158, Aug 2006.
[^25]: Shuai Han, Yasuyuki Matsushita, Imari Sato, Takahiro Okabe, and Yoichi Sato. Camera Spectral Sensitivity Estimation from a Single Image under Unknown Illumination by Using Fluorescence. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2012.
[^26]: Nils Hasler, Mark Asbach, Bodo Rosenhahn, Jens-Rainer Ohm, Hans-Peter Seidel, Leif Kobbelt, Torsten Kuhlen, Til Aach, and Rüdiger Westermann. Physically Based Tracking of Cloth. In Proceedings of the 11th International Fall Workshop on Vision, Modeling, and Visualization (VMV), 2006.
[^27]: Heiko Hirschmuller. Accurate and efficient stereo processing by semi-global matching and mutual information. In 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), volume 2, pages 807–814. IEEE, 2005.
[^28]: Takayuki Honda, Takayuki Hamamoto, and Daisuke Sugimura. Low-Light Color Image Super-Resolution Using RGB/NIR Sensor. In Proceedings of the IEEE International Conference on Image Processing (ICIP), 2018.
[^29]: Takayuki Honda, Daisuke Sugimura, and Takayuki Hamamoto. Multi-Frame RGB/NIR Imaging for Low-Light Color Image Super-Resolution. IEEE Transactions on Computational Imaging, 6:248–262, 2020.
[^30]: Matthias B. Hullin, Martin Fuchs, Ivo Ihrke, Hans-Peter Seidel, and Hendrik P. A. Lensch. Fluorescent Immersion Range Scanning. ACM Transactions on Graphics, 27(3):1–10, August 2008.
## [^31]: Matthias B. Hullin, Johannes Hanika, Boris Ajdin, Hans-Peter Seidel, Jan Kautz, and Hendrik P. A. Lensch. Acqui-
---
双谱双向反射与辐射分布函数的测量与分析。《ACM图形学汇刊》，第29卷第4期，2010年7月。
[^32]: Muhammad Iqbal. An Introduction to Solar Radiation. Academic Press, 1983.
[^33]: Marieke E. Klijn and J'urgen Hubbuch. Application of ultraviolet, visible, and infrared light imaging in protein-based biopharmaceutical formulation characterization and development studies. European Journal of Pharmaceutics and Biopharmaceutics, 165:319–336, 2021.
[^34]: Dilip Krishnan and Rob Fergus. Dark Flash Photography. ACM Transactions on Graphics, 28(3), Jul 2009.
[^35]: Joseph R. Lakowicz. Principles of Fluorescence Spectroscopy. Springer, 2006.
[^36]: Antony Lam and Imari Sato. Spectral modeling and relighting of reflective-fluorescent scenes. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2013.
[^37]: Qi Liu-Yin, Rui Yu, Lourdes Agapito, Andrew Fitzgibbon, and Chris Russell. Better Together: Joint Reasoning for Non-rigid 3D Reconstruction with Specularities and Shading. In Proceedings of the British Machine Vision Conference (BMVC), 2016.
[^38]: Abed Malti, Adrien Bartoli, and Toby Collins. A Pixel-Based Approach to Template-Based Monocular 3D Reconstruction of Deformable Surfaces. In Proceedings of the IEEE International Conference on Computer Vision Workshops, pages 1650–1657, 2011.
[^39]: Jalees Nehvi, Vladislav Golyanik, Franziska Mueller, Hans-Peter Seidel, Mohamed A. Elgharib, and Christian Theobalt. Differentiable Event Stream Simulator for Non-Rigid 3D Tracking. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2021.
[^40]: Dat Tien Ngo, Jonas Östlund, and Pascal Fua. Template-Based Monocular 3D Shape Recovery Using Laplacian Meshes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(1):172–187, 2016.
[^41]: Dat Tien Ngo, Sanghyuk Park, Anne Jorstad, Alberto Crivellaro, Chang D. Yoo, and Pascal Fua. Dense Image Registration and Deformable Surface Reconstruction in Presence of Occlusions and Minimal Texture. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), December 2015.
[^42]: Daniel Pizarro and Adrien Bartoli. Feature-Based Deformable Surface Detection with Self-Occlusion Reasoning. International Journal of Computer Vision, 97:54–70, 01 2010.
[^43]: A. Pumarola, A. Agudo, L. Porzi, A. Sanfeliu, V. Lepetit, and F. Moreno-Noguer. Geometry-Aware Network for Non-rigid Shape Prediction from a Single View. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
[^44]: A. Richards and R. Leintz. Forensic Reflected Ultraviolet Imaging. Journal of Forensic Identification, 63:46–69, 012013.
[^45]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017.
[^46]: Mathieu Salzmann, Raquel Urtasun, and Pascal Fua. Local Deformation Models for Monocular 3D Shape Recovery. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008.
[^47]: Imari Sato, Takahiro Okabe, and Yoichi Sato. Bispectral Photometric Stereo Based on Fluorescence. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2012.
[^48]: David S. Schacter, Mario Donnici, Evgeny Nuger, Matthew Mackay, and Beno Benhabib. A Multi-Camera Active-Vision System for Deformable-Object-Motion Capture. Journal of Intelligent and Robotic Systems, 75:413–441, January 2014.
[^49]: Johannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[^50]: Johannes Lutz Schönberger, Enliang Zheng, Marc Pollefeys, and Jan-Michael Frahm. Pixelwise view selection for unstructured multi-view stereo. In European Conference on Computer Vision (ECCV), 2016.
[^51]: George Gabriel Stokes. On the Change of Refangibility of Light. Proceedings of The Royal Society of London, 6:195–200, January 1854.
[^52]: Daisuke Sugimura, Takuya Mikami, Hiroki Yamashita, and Takayuki Hamamoto. Enhancing Color Images of Extremely Low Light Scenes Based on RGB/NIR Images Acquisition With Different Exposure Times. IEEE Transactions on Image Processing, 24(11):3586–3597, 2015.
[^53]: Robert W Sumner, Johannes Schmid, and Mark Pauly. Embedded deformation for shape manipulation. In ACM siggraph 2007 papers, pages 80–es. 2007.
[^54]: Huixuan Tang, Xiaopeng Zhang, Shaojie Zhuo, Feng Chen, Kiriakos N. Kutulakos, and Liang Shen. High Resolution Photography with an RGB-Infrared Camera. In Proceedings of the IEEE International Conference on Computational Photography (ICCP), 2015.
[^55]: Tali Treibitz, Zak Murez, B. Greg Mitchell, and David J. Kriegman. Shape from Fluorescence. In Proceedings of the European Conference on Computer Vision, 2012.
[^56]: Aggeliki Tsoli and Antonis. A. Argyros. Patch-Based Reconstruction of a Textureless Deformable 3D Surface from a Single RGB Image. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, October 2019.
[^57]: Giovanni Verri, Catia Clementi, Daniela Comelli, Sharon Cather, and Francesca Piqueé. Correction of Ultraviolet-Induced Fluorescence Spectra for the Examination of Polychromy. Applied Spectroscopy, 62:1295–1302, 2008.
## [^58]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video. ACM Transactions on Graphics, 39(6), November 2020
---
[^59]: Jian Wang, Tianfan Xue, Jonathan T. Barron, and Jiawen Chen. Stereoscopic Dark Flash for Low-light Photography. In Proceedings of the IEEE International Conference on Computational Photography (ICCP), 2019.
[^60]: Oliver Wang, James Davis, Erika Chuang, Ian Rickard, Krystle De Mesa, and Chirag Dave. Video Relighting Using Infrared Illumination. Computer Graphics Forum, 2008.
[^61]: Tao Wang, Haibin Ling, Congyan Lang, Songhe Feng, and Xiaohui Hou. Deformable Surface Tracking by Graph Matching. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2019.
[^62]: Michael H. West, Robert E. Barsley, John Frair, and Fred Hall. Ultraviolet Imaging System (RUVIS) and Detection of Trace Evidence and Wounds on Human Skin. Journal of Forensic Identification, 40(5):249, 1990.
[^63]: Ryan White, Keenan Crane, and D. A. Forsyth. Capturing and Animating Occluded Cloth. ACM Transactions on Graphics, 26(3), July 2007.
[^64]: Alexander Wilkie, Andrea Weidlich, Caroline Larboulette, and Werner Purgathofer. A Reflectance Model for Diffuse Fluorescent Surfaces. In Proceedings of the International Conference on Computer Graphics and Interactive Techniques, November 2006.
[^65]: Zhihao Xia, Jason Lawrence, and Supreeth Achar. A Dark Flash Normal Camera. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2021.
[^66]: Jinhui Xiong, Jian Wang, Wolfgang Heidrich, and Shree Nayar. Seeing in Extra Darkness Using a Deep-Red Flash. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2021.
[^67]: Hiroki Yamashita, Daisuke Sugimura, and Takayuki Hamamoto. RGB-NIR Imaging with Exposure Bracketing for Joint Denoising and Deblurring of Low-Light Color Images. In Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2017.
[^68]: Takane Yokoi, Kenji Suzuki, and Koichiro Oba. Ultraviolet Light Imaging Technology and Applications. In Electron Image Tubes and Image Intensifiers II, volume 1449, pages 30–39. International Society for Optics and Photonics, SPIE, 1991.
[^69]: Cherry Zhang and Imari Sato. Image-Based Separation of Reflective and Fluorescent Components Using Illumination Variant and Invariant Color. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(12):2866–2877, 2013.
[^70]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[^71]: Michael Zollhöfer, Matthias Nießner, Shahram Izadi, Christoph Rehmann, Christopher Zach, Matthew Fisher, Chenglei Wu, Andrew Fitzgibbon, Charles Loop, Christian Theobalt, and Marc Stamminger. Real-Time Non-Rigid Reconstruction Using an RGB-D Camera. ACM Transactions on Graphics, 33(4), July 2014.
[^72]: Michael Zollhöfer, Justus Thies, Darek Bradley, Pablo Garrido, Thabo Beeler, Patrick Péerez, Marc Stamminger, Matthias Nießner, and Christian Theobalt. State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications. Eurographics, 2018.