# BrightMarker：用于物体追踪的3D打印荧光标记物 穆斯塔法·多加·多甘 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 贾米森·约翰·奥基夫 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 劳尔·加西亚-马丁 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 艾哈迈德·塔卡 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 帕特里克·威廉·赫特尔 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 阿卡尔什·奥罗拉 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 劳尔·桑切斯-雷略 马德里卡洛斯三世大学 西班牙马德里莱加内斯 斯特凡妮·穆勒 麻省理工学院计算机科学与人工智能实验室 马萨诸塞州剑桥市，美国 ![Image](images/dfcf275f28fdbe325eea0385ce216e2cd08c9bd7690544b7ab81e3e6a48055a3.jpg)
Figure 1: BrightMarkers are embedded into objects using a NIR-fluorescent filament. (a) When viewed with a NIR camera with the matching filter, the markers appear with high contrast, which allows them to be tracked even when the objects are in motion, e.g., on a conveyor belt. (b) BrightMarker can be used to fabricate custom wearables for tracking, or (c) for transforming physical controls into precise input methods in mixed reality environments.
## 摘要 现有的不可见物体标记方法分辨率较低，会阻碍追踪性能。我们提出了BrightMarker，这是一种制造方法，它利用荧光丝材在3D打印的彩色物体中嵌入易于追踪的标记物。通过使用一种能将入射光波长“偏移”的红外荧光丝材，我们的光学检测装置可以过滤掉所有噪声，仅让标记物出现在红外相机图像中。这些标记物具有高对比度，因此无论运动物体的表面颜色如何，我们都能稳定地追踪它们。 我们开发了一个软件界面，可针对输入的物体几何形状自动嵌入这些标记物；还设计了可安装在现有移动设备和AR/VR头显上的硬件模块。我们的图像处理流程能够从捕获的图像中实时、稳定地定位这些标记物。 ![Image](images/3b713ff3240ed2e528be7148ad713eaf22a26567daa695032cf118ed99384c5e.jpg) 本作品采用知识共享署名-非商业性使用-相同方式共享国际许可协议4.0进行授权。 UIST '23，2023年10月29日至11月1日，美国加利福尼亚州旧金山 © 2023 版权归作者/所有者所有。 ACM ISBN 979-8-4007-0132-0/23/10。 BrightMarker可应用于多种场景，比如用于动作捕捉的定制可穿戴设备、AR/VR的实体交互界面、快速产品追踪以及保护隐私的夜视功能。BrightMarker的检测率超过了现有的最先进的不可见标记技术，即使是尺寸仅为1英寸×1英寸的小标记物，也能在超过2米的距离外被追踪到。 • 以人为中心的计算 → 人机交互（HCI）。 ## CCS概念 ## 关键词 3D打印；数字制造；荧光；红外成像；标记物追踪；不可见标记物 ## ACM参考格式 穆斯塔法·多加·多甘、劳尔·加西亚-马丁、帕特里克·威廉·赫特尔、贾米森·约翰·奥基夫、艾哈迈德·塔卡、阿卡尔什·奥罗拉、劳尔·桑切斯-雷略和斯特凡妮·穆勒。2023年。BrightMarker：用于物体追踪的3D打印荧光标记物。收录于第36届年度ACM用户界面软件与技术研讨会（UIST '23），2023年10月29日至11月1日，美国加利福尼亚州旧金山。纽约：ACM出版社，共13页。 --- ## 1 引言 在人机交互（HCI）中，标签和标记在与物体的交互中发挥着至关重要的作用。实时识别和追踪物体的能力支撑着广泛的应用，比如动画和游戏中的动作捕捉[^7] [^66]、增强现实与虚拟现实（AR/VR）[^2] [^52]，以及工业和机器人领域的物体追踪[^16] [^59]。 近年来，对不可见物体标签的需求日益凸显。能够在不让标记具有笨重的外形或处于用户直接视野内的情况下追踪物体，不仅能为用户带来更自然、更具沉浸感的体验，还能在可见标记不实用且会干扰正常使用的现实场景中，开辟物体追踪的新可能。 然而，现有的不可见物体标签方法存在诸多局限，阻碍了它们的广泛应用。其中一个重要局限是信噪比（SNR）较低，也就是成像后的标记分辨率和清晰度较差。由于不可见标记嵌入在物体内部，因此只能通过微弱的信号成像，这些信号需要经过光学和数字处理才能被放大[^30] [^64]。这些处理过程会导致较长的捕获或解码时间，通常每帧需要数秒到数分钟。当物体处于运动状态时，情况会更糟：捕获到的标记会更模糊，因此在大多数帧中都无法被识别。此外，现有不可见标签在可适配的物体颜色种类上也存在局限。例如，InfraredTags[^13]是在黑色物体中嵌入3D打印编码，而AirCode[^30]则适用于白色物体。 为解决这些局限，我们提出了BrightMarker——一种利用荧光细丝制作被动式不可见标签的方法，这种荧光细丝能发射特定近红外波长的光，而近红外相机可以稳定地检测到这种光。通过匹配滤镜将标记从场景的其他部分中分离出来，即便物体处于运动状态，我们也能稳定地追踪标记。我们的研究以InfraredTags为基础，通过提升检测能力来解决标记分辨率和物体颜色方面的局限。我们的灵感来源于OptiTrack动作捕捉系统，该系统使用被动式反光标记，能将照射的红外光反射回相机。 我们通过展示多种应用来证明BrightMarker的潜力，包括传送带上的产品追踪、用于动作捕捉的柔性可穿戴设备、AR/VR领域的实体触觉界面，以及保护隐私的夜视功能。技术评估结果显示，嵌入各种表面颜色的标记在移动过程中都能被稳定、实时地检测到。 我们认为BrightMarker是一种极具前景的方法，有望显著提升不可见物体标签的性能与通用性，并在人机交互领域拥有广泛的应用潜力。 综上所述，我们的贡献如下： - 一种利用荧光细丝和成像技术，将不可见且被动式的追踪标记集成到不同颜色的3D打印物体中的新方法。 - 一种能根据3D模型的几何形状均匀分配标记的软件接口。 - 一种可实时追踪荧光的检测硬件模块，能够安装在现有的AR/VR头显上。 - 一种图像处理流程，能够实时追踪集成标记物。 - 在不同距离和光照条件下，对包括物体颜色在内的设计空间进行评估。 - 展示我们方法的潜在应用场景，包括定制运动捕捉可穿戴设备、AR/VR实体交互工具以及保护隐私的夜视技术。 ## 2 相关工作 在本节中，我们将介绍以往在运动捕捉方法、制造文献中的隐形标记系统，以及这些系统中使用的红外材料方面的研究成果。 ### 2.1 运动捕捉系统 运动捕捉，简称“mocap”，是指用于实时捕捉、追踪和数字化物理物体及人体的技术。现有的运动捕捉系统通常基于外部标记物，也就是说，需要为待追踪的物体单独安装追踪标记物。这类标记物通常采用惯性或光学方法实现。惯性系统利用陀螺仪和加速度计来测量物体的方向和加速度（例如Xsens [^46]）。光学方法则通过摄像头追踪安装在物体上的标记物，再利用软件将标记物的位置转换为运动数据。 OptiTrack [^20]和Vicon [^36]等常用的光学系统提供主动式和被动式光学标记物，只需在环境中设置多台摄像头即可对其进行追踪。主动式标记物通常包括LED [^38]，可被这些摄像头捕捉到；或是能检测附近光源发出的红外辐射的传感器。这类标记物需要内置电源，且体积相对较大（例如Vive Tracker [^5]在两个维度上的尺寸均超过7厘米）。被动式标记物则是表面涂有反光材料的珠子，可反射检测硬件发出的光线 [^2]。无论是主动式还是被动式，光学方法都需要设置并校准多台摄像头才能准确追踪物体，这一过程既耗时又昂贵（例如一套包含6台摄像头的OptiTrack系统价格超过9000美元）。此外，由于这些标记物属于外部附件，必须安装在物体上，这限制了它们在现实场景中的应用和实用性。 BrightMarker旨在克服这些局限：它采用可嵌入的荧光材料来制作被动式追踪标记物，这些标记物可直接集成到现实物体中，且仅需一台摄像头即可完成追踪。这样一来，就能以更低的成本、更灵活且更隐蔽的方式在现实应用中追踪物体，无需手动粘贴可见的标记物。 ### 2.2 集成式与隐形标记物 为了摆脱需手动粘贴在物体上的外部追踪标记物，研究人员提出了可通过数字制造方法集成到物体内部的标记物。3D打印技术已被用于把标记物嵌入可感知触摸、身份或形变的交互式物体中 [^11] [^31] [^48]。例如，Capricate [^50]利用嵌入式导电标记物来追踪用户在3D打印物体上的触摸操作。CapCodes [^25]和BYO $^{*}$ [^26]则进一步实现了对单个物体的识别。Flexibles [^51]能够感知柔性交互物体在电容式触摸屏上的形变。3D-Auth [^32]利用3D打印图案来实现用户…… --- ![Image](images/8905664e6f0355f850bf01fc4936e9ec55d450284ad60ad3d82d78620d41c920.jpg)
Figure 2: Ways to add tracking capabilities to real-world objects as used in previous HCI projects. External tags rely on adding retro-reflective beads [^18] [^52], sensor modules [^17] [^66], or fiducial markers [^53], but may result in bulky or visually obtrusive objects. To address this, BrightMarker (rightmost) embeds high-contrast markers using a fluorescent material.
身份验证以及离线传感技术[^49]利用填充有液体的3D打印结构来验证诸如翻转之类的一次性交互行为。 为了实现对三维物体的追踪，研究人员建议集成可通过相机成像的光学标记或基准标记。例如，TrackItPipe[^52]能让用户自动为现有的3D打印模型添加用于插入光学系统（如OptiTrack）标记物的支撑结构。ArUco[^41]和AprilTags[^39]等基准标记可被添加到3D打印物体[^53] [^54]及其他现有实体物体上，以便对其进行追踪和交互[^45] [^65]。此外，这些标记的形状可根据物体表面轮廓进行定制[^22]。 图2展示了以往专注于将现实物体融入AR/VR及实体应用的人机交互项目中使用的几种外部标签。这些标签需要添加逆反射珠[^18] [^52]、传感器模块[^17] [^66]或基准标记[^53]，但可能会导致物体体积庞大或视觉上过于突兀。这限制了该物体在数字应用之外的现实世界可用性。 为解决体积庞大和视觉突兀的问题，研究人员采用了多种成像方法来实现真正不可见的集成式标签。AirCode[^30]采用基于投影的计算方法，InfraStructs[^64]则利用太赫兹扫描仪来嵌入标记，不过每帧的解码时间需要数分钟。InfraredTags[^13] [^14]和interiqr[^37]等方法使用了红外透光丝材或面团等特殊材料，利用普通红外相机就能更快成像。然而，所有这些方法都容易出现运动模糊现象，因此不适合实时追踪。此外，它们在物体可采用的材质/颜色选择上也受到限制。 ### 2.3 基于红外和荧光的材料 基于红外（IR）的方法已成为嵌入不可见标记的热门选择。人们利用了不同的材料特性来嵌入图案，包括红外反射、透光性和吸收性。例如，MiniStudio[^29]通过丝网印刷技术粘贴带有基准标记的红外反射贴纸，而Infrared-Tags[^13]则通过用不透明但能透过红外线的材料覆盖标记物，使其不可见。另一方面，Spyn[^42]会在针织物体中加入红外吸收油墨，HideOut[^63]则使用红外吸收油墨制作隐藏的追踪标记，不过后者需要使用喷枪。DeforMe[^40]通过追踪涂有红外吸收油墨的点来计算弹性材料的形变。StandARone[^12]则利用喷墨打印机将AR水印快速添加到纸质文档上。 这一领域在个人制造研究中尚未得到广泛探索。材料科学家最近研发出了可用于3D打印荧光材料的树脂[^21] [^44]。如今已有商业化的熔融沉积成型（FDM）丝材，在紫外线照射下会发光[^33] [^34]，不过这些材料发出的光属于可见光波长范围，不适合用来嵌入不可见的标记。 尽管荧光在成像[^57]、照明[^28]、医学[^55]以及法医学[^35]等多个领域有着广泛应用，但在本研究中，我们利用由DIC公司[^8]和Silapasuphakornwong等人[^56]开发的3D打印耗材，来实现嵌入式被动物体追踪。我们选用这种耗材是因为它基于ABS材料，能够轻松适配常见的FDM打印机，且能发射近红外光，从而让标记点对最终用户而言不可见。与以往的原型[^56]相比，我们更关注对基于荧光的标记技术用于实时追踪的深入分析及科学阐释。我们的目标是针对不同类型的物体颜色和标记点类型，优化并评估追踪流程，同时开发出相关见解与工具，为该领域的研究人员和从业者提供帮助。 我们提出的方法——BrightMarker，能够在3D打印实体物体时，通过掺入红外荧光材料来实现实时追踪标记点的隐形集成。利用发射特定波长光的荧光耗材，我们可以过滤掉所有非目标光线，从而仅在红外相机图像中呈现荧光标记点。即便物体处于运动状态，我们也能稳定地追踪这些标记点。 ## 3 BrightMarker：利用荧光耗材制成的高对比度标记点 BrightMarker的优势在于使用了荧光耗材，这让我们能在经过滤波的红外图像中获得高对比度的标记点。荧光是一种物理现象：材料吸收某一波长的光后，会发射出波长更长的光[^24]。其原理是分子吸收光能后暂时进入激发态，随后以低能量光子的形式释放能量。这两种波长之间的差值被称为斯托克斯位移[^43]。通过将照射光从短波长转换为长波长，荧光颜色会比单纯反射时更饱和，进而提升其可检测性[^47]。正因如此，荧光材料在成像和传感应用中尤为实用。 在本研究中，我们利用荧光这一材料特性，通过多材料3D打印技术制造出易于追踪标记的物体。我们所使用的关键材料是一种含有均匀分布的荧光染料的3D打印荧光耗材。 --- ![Image](images/ef0f9658ce994058831f12e8df5464a80817a0c4b74d328ba72b1a5784a449be.jpg) ![Image](images/3f9a6ca686256f2e6da126198bea8ef4d77da96f93ca72dfacd69ed80a29811b.jpg) ![Image](images/edbb901474b06b31a3500aecf1c93d3852b9d47d15b14a88899007368525b19d.jpg)
Figure 3: Fluorescence and our imaging approach. (a) BrightMarker embeds tracking markers with fluorescent filaments, which "shift" the wavelength of IR radiation. (b) Although the excitation and emission spectra of the filament overlap (top), they can be separated in practice using optical tools (bottom). (c) Our imaging setup filters for the marker's fluorescence.
这种耗材在受到红外光源激发时，会发射特定波长的光。通过为相机配备相应波长的光学滤镜，我们就能仅捕捉到该耗材发射的光，进而获取由其制成的零部件的图像。 ### 3.1 荧光耗材 我们采用的是由DIC公司[^8]和Silapasuphakornwong等人[^56]研发的ABS（丙烯腈-丁二烯-苯乙烯）耗材。这种耗材含有近红外荧光染料，如前述原理所示，它会在红外光源照射下发出荧光。荧光能够穿透物体的外部材料，因此可以从外部捕捉到（见图3a）。 荧光特性：为了了解这种材料的荧光特性并据此优化我们的系统，我们使用荧光计（HORIBA Jobin Yvon Fluorolog-3）测量了其激发与发射情况。图3b中的上图展示了该材料的激发（吸收，红色曲线）和发射（荧光，紫色曲线）光谱。从这些未经过滤的光谱中可以看出，发射的荧光波长比吸收光更长：该材料在763纳米波长处被最强烈地激发，而发射光的峰值则位于775纳米。两种光谱之间12纳米的斯托克斯位移使我们能够分离出用于红外图像采集的激发信号和发射信号。不过，由于图中所示的光谱重叠现象，必须先通过光学方法对激发信号和发射信号进行过滤，具体方法我们将在成像部分详细说明。 多材料3D打印：这种近红外荧光耗材被用于多材料FDM打印机的一个打印头中。我们采用Ultimaker 3和S5进行打印。这种打印方法在高层级CAD修改方面借鉴了InfraredTags的多材料打印方案。不过，当嵌入BrightMarker时，主体物体的几何形状会使用用户选择的耗材进行打印，而荧光耗材则用于打印放置在物体内部的标记（见图3a）。由于这种荧光耗材的主要聚合物是ABS，因此可以在标准的ABS打印温度（约250°C）下进行打印。 如图3a中的横截面所示，我们用$t_{marker}$表示标记的厚度，用$t_{shell}$表示标记与物体表面之间的外壳厚度。如果$t_{marker}$过小，荧光强度就会较弱，难以可靠地捕捉到标记。我们发现，仅打印一层这种耗材——即$t_{marker} = 0.15mm$——就足以满足我们的应用需求。另一方面，$t_{shell}$的数值取决于主体物体几何形状所用的材料，接下来我们将对此进行说明。 主体物体材料及颜色：与只能嵌入黑色物体的InfraredTags [^13]不同，BrightMarker兼容多种颜色的主体物体几何形状（包括物体表面）。由于荧光强度很高，发射的光能够穿透荧光标记上方的外壳，最终到达相机的图像传感器。 我们发现这种荧光标记可以与PLA和ABS材料搭配使用。这使得我们制造出的物体可以拥有多种颜色。由于这种荧光耗材是ABS材质的，因此我们尽可能选择ABS作为主体物体的材料，这样两部分就能采用相似的打印参数（如温度）。我们确定唯一无法透过荧光的ABS颜色是黑色。这是因为传统耗材中使用的炭黑会吸收大部分波长[^4]。因此，在制作黑色物体时，我们会使用InfraredTags中采用的能透过红外光的IR-PLA耗材[^1]。 图4展示了材料颜色的设计空间。如NIR相机图像所示，每个测试样块中都嵌入了荧光棋盘格图案，用于确定不同颜色的$t_{shell}$。该图案会随着外壳厚度的增加（从$t_{shell}=0mm$到$t_{shell}=3mm$）而被逐渐覆盖，因此相机图像中的图案对比度也会逐步降低。我们选取的$t_{shell}$数值需满足：在该数值下图案不再出现在可见光相机图像中，即其对比度低于5% [^3]。此外，如果外壳太薄，可能会导致表面光洁度较差，这一点在样块的低端部分尤为明显。 --- ![Image](images/c14c933d93841c82734051d343c48ab5a9f7e67fbb082831bf370ed3370af2b5.jpg)
Figure 4: The design space of possible material colors. Each test slab was printed increasing shell thickness. The left image of each pair shows the visible camera capture, while the right image shows the NIR capture.
我们发现，偏近红外线的颜色，即红色、黄色和橙色，由于其染料成分的原因，往往比其他颜色更不透明。因此，我们对这些颜色使用$t_{shell} = 1.2mm$。对于用ABS材料打印的其他颜色，我们使用$t_{shell} = 0.3mm$；而对于最右侧的IR-PLA材料，则使用$t_{shell} = 0.8mm$，这种材料因其半透明特性而呈现有色外观。图中在样块左侧用小三角形标出了这些数值。虽然也可以使用更大的厚度，但为了确保红外成像中标记物的可检测性，我们建议选用能使比特二值化准确率保持在90%以上的数值 [^13]。 需要注意的是，这些数值还会受到特定耗材供应商的影响，即使是同一供应商的不同批次产品之间也可能存在差异。因此，建议用户按照本节所述方法先打印测试样块，以确定其耗材的最佳数值。 ### 3.2 荧光的红外成像 当与特定波长的光学元件配合使用时，荧光耗材发出的光会在标记物与红外图像的其他部分之间形成高对比度，从而让我们能够可靠地检测并追踪嵌入有标记物的物体。 我们的成像系统由三个关键组件构成：（1）用于激发标记物的光源；（2）用于分离标记物荧光的滤光片；（3）高速红外相机。我们将在后续章节中介绍这些组件的作用。 激发光源：要读取3D打印物体中嵌入的图案，就必须激发其中的NIR荧光材料。合适的光源需满足两个要求：首先，光源发出的光对用户而言应是不可见的，即波长不应低于700nm；其次，该光源应尽可能有效地激发荧光材料。为实现这一点，光源需具备高功率，且其峰值波长应尽可能接近材料的峰值激发波长（如3.1节所述的763nm）。 在实际应用中，我们选用峰值波长为760nm且功率较高的LED。图3b下方的图表展示了我们高速成像模块（4.2节）中所用的LED光谱，该光谱以红色标注并标记为“所选光源”。我们注意到，其强度在约800nm处降为零。 标记物分离的滤光片：通过特定波长的滤光片，我们可以最小化其他波长的干扰，从而提升对荧光标记物的识别能力。 由于荧光的自然特性，激发光谱的较长波长端与发射光谱的较短波长端会发生重叠。如图3b的上图所示，这种重叠必须消除，以免较暗的荧光信号被更亮的激发光所掩盖，从而导致标记对比度显著降低。 为了分离这些信号，我们采用了截止波长为830nm的长通滤光片，它能阻挡所有低于该波长的光线进入相机。如图3c所示，它能阻挡LED发出的激发光（标记为红色）以及可见光环境光（标记为黄色）到达相机。唯一能进入相机的波长范围就是标记本身发出的荧光（标记为紫色）。因此，如图3b的上图所示，激发光谱与发射光谱之间不再有重叠：我们所选的光源会在约810nm处截断发射光，而进入相机的经滤光后的荧光则从约820nm开始。这种分离使得拍摄到的图像中标记的强度更高。 高速近红外相机：高速相机能够观测到运动物体发出的荧光。 为了以高帧率拍摄图像并尽量减少运动模糊，我们选用了帧率为60帧/秒、采用全局快门的单色相机，而非滚动快门相机。消费级相机常用的滚动快门是逐行从上到下扫描图像传感器，这会导致每行图像的捕获存在时间延迟[^23]。在快速运动的场景中，这容易造成运动模糊，从而难以准确检测到BrightMarker。 相比之下，全局快门能够同时捕获整幅图像，各行之间不存在时间延迟。这对于每一帧都至关重要的实时跟踪而言至关重要。此外，单色相机的空间分辨率比彩色相机更高，且无需使用彩色滤光片阵列，后者会减少到达图像传感器的光线量，降低相机对近红外荧光的敏感度[^62]。 这些特性共同作用，使我们能够生成具有高时间分辨率的物体实时视频画面。 --- ![Image](images/fb629d0051903df8a9b02a27ab1c68c099140a22ac380bb7167b60032444c5eb.jpg)
Figure 5: Marker embedding process. (a) Our tool allows users to (b) uniformly distribute markers based on the object geometry.
## 4 荧光标记的制备、捕获与跟踪 在本节中，我们首先介绍将荧光标记添加到物体上以进行制备的流程，随后说明打印后用于检测这些标记所使用的硬件与软件。 ### 4.1 为制备添加标记 用户首先需将3D模型导入CAD编辑器（Blender）。接着，用户通过我们的插件指定荧光标记的植入方式，该插件提供了多种选项，如图5a所示。 确定标记位置：在跟踪应用中，为确保物体无论处于何种朝向都能被跟踪，需在物体表面布置大量标记而非仅一个标记。用户可以手动在物体上选取标记嵌入的精确目标点，也可使用自动分布模式。该模式会根据设定的标记间距离或期望的标记总数，在物体几何形状上均匀分布标记点。用户可以指定目标点是应分布在整个物体上、除底面外的区域，还是用户选定的特定区域。 确定标记内容：该插件允许用户根据使用需求嵌入具有相同ID（“使用固定的ArUco ID”）或递增ID（“使用连续的ArUco ID”）的ArUco标记。唯一的连续ID有助于识别物体的位置和朝向。用户也可以通过选择图像文件来加载自定义标记，比如二维码或微型二维码。 确定标记的深度和尺寸：接下来，用户需要指定标记应嵌入物体表面的深度。对此，用户可以输入自定义数值，也可以从下拉菜单中选择所需的物体颜色，之后插件会自动从3.1节中获取对应的$t_{shell}$数值。随后用户可指定标记的尺寸。默认情况下，标记厚度会设置为推荐的$t_{marker}$数值，用户也可自行指定标记的侧边长。 最后，用户可以指定标记的下边缘是否应与某个平面平行。这有助于用户在3D打印方向上对齐标记，从而缩短打印时间，并避免由于喷嘴频繁切换而导致的打印失败。设置好参数后，用户点击“确定”即可开始嵌入操作。标记嵌入完成后，用户可导出生成的STL文件用于3D打印。 3D打印：用户将生成的STL文件导入打印机的切片软件中。对于常用的Cura切片软件$^{1}$，我们建议禁用“combing”参数，以确保打印机不会在已挤出的荧光耗材上移动。这样能防止荧光耗材混入外表面层，从而避免其被肉眼看到。 实现方式：要实现标记的自动均匀分布，首先要确定模型上足够大且近乎平坦、能够容纳用户指定尺寸标记的区域。具体做法是将相邻面的法线之间的夹角与faces_select_linked_flat()方法进行比较，将夹角差小于0.1弧度的面归为一组，并确保其所含的表面积大于标记面积。这一阈值可根据用户的偏好和应用需求进行调整。正如5.3节中光剑模型的图5b所示，这种方法能找出物体几何形状中弯曲程度不大、较为平缓的区域。 接下来，为了实现均匀采样，每个子区域会被临时复制、压平，然后通过反复调用ray_cast()函数生成一个由1和0组成的数组，以此高精度地近似表示该区域的形状。系统会逐行分析该数组，选取间距为标记侧边长一半的行。如果行内各点彼此间距足够远且远离子区域边缘，就会选取这些点。最后，根据用户设定的参数，利用刀具投影功能将标记投影到采样点上，使其具有与物体相同的曲率。投影后的标记会被挤出形成3D模型，并单独导出。 ### 4.2 基于成像模块的检测 如图6a所示，我们制作了两个满足3.2节所阐述的荧光成像原理要求的硬件模块。 ---
☐ hardware modules
![Image](images/4911534aa4deb6fc9a808ee440aea269de326bae9bb1fab21fa8f882188b6a4a.jpg) ![Image](images/00ef7531c27eefe2f0975d49c404b0bd226c0d6cce88454d26b751a73c724cb5.jpg) ![Image](images/a9ef03531239bb24103136d90ad304d8f6118119a42b1cb7cfba47f5aa0535fb.jpg)
Figure 6: Hardware modules for tracking BrightMarkers.
智能手机配件：该模块可通过USB-C接口直接插入现有手机。它包含八个LED灯，这些灯对应我们所用荧光材料的激发波长。为确保物体能出现在手机的视野范围内，其中一半LED灯的视角为$60^{\circ}$，另一半则为$120^{\circ}$（型号分别为Stanley FWR1107MS-TR和FWR1108MS-TR，单价2.5）。该配件重量为47克，运行时功耗为1.6W。我们将其与内置近红外摄像头的OnePlus 8 Pro配合使用（GalaxyCore GC5035 $^{2}$），并搭配相应的荧光长通滤光片（MaxMax，30）。 独立模块：该模块专为高速荧光成像设计，可安装在现有的AR/VR头显上。它由一款帧率为60fps的近红外摄像头（ArduCam OV2311³，$98) coupled with the above-mentioned longpass filter, a 10W LED grid (Nagalugu,$18）和一个小型电池（普通9V电池，$2). A custom PCB utilizes a pulse-width modulated (PWM) signal to deliver battery power to the LEDs. It uses a timer IC (LM555) and an n-channel MOSFET to modulate the LED power via a constant current regulator (LM317), which can be adjusted using a potentiometer. In total, the module costs$148）组成，重量为118克。出于原型制作的需要，我们并未在模块本身集成处理组件，而是通过线缆将其摄像头连接到外部计算机。未来，考虑到我们的方法无需依赖计算量大的机器学习模型，该模块可加装小型微处理器以实现实时计算功能。 为了能够将独立模块安装到现有AR/VR头显上并拆卸下来，我们设计并3D打印了一个可容纳所有零部件的外壳。图6b、c展示了该模块在头显上的安装方式。 ### 4.3 用于标记物检测的图像处理 我们开发了一套图像处理流程以实现标记的实时检测。标记的跟踪与解码过程如图7所示，具体说明如下。 标记跟踪：为使检测脚本尽可能轻量以实现快速跟踪，我们在定位标记时对主图像帧仅执行少量处理步骤。因此，灰度输入图像会先通过大津阈值法进行二值化处理。二值化后会得到多个识别出的轮廓，随后我们将每个轮廓近似为多边形。其中四边形轮廓即为我们的目标标记（图7b）。 这种方法能够记录所有标记，无论其内部编码的数据（即ID/字符串）是什么。如果编码数据与应用场景无关（例如所有标记的ID相同），这种处理方式可使检测过程保持轻量。 标记解码：对于涉及数据应用的情况，我们会启用流程的第二部分——标记解码。在这一步中，我们利用前一步骤得到的每个标记的边界框，从原始帧中裁剪出一个较小的图像块（图7c）。裁剪时会在标记周围添加少量填充，即检测到的边界框长度的1/8。随后我们将该图像块调整至特定尺寸，即高度为50像素。我们还会对图像进行反色处理，使标记呈现深色，以符合ArUco规范。接着应用高斯模糊去除噪声，并使用块大小为15的自适应阈值法进行处理。最后利用ArUco检测库从二值化后的图像块中解码标记ID。 此处的图像块缩放操作确保了无论标记的位置和距离如何，所应用的块大小都能保持合适。为了 ![Image](images/b91202defe53f0f317b34f960cfdaad123e845e83636a47d157c852036d55d97.jpg)
Figure 7: BrightMarker's image processing pipeline. (a) The objects are tracked using (b) the outlines in the IR capture. (c, d) The localized markers are decoded using a set of filters.
--- ![Image](images/d590e0baf847bd8242cd87e9dcf39168fc1138f9131238c4cb3d53658b449b8f.jpg)
Figure 8: Wearable for hand tracking. (a) Rigid and flexible bracelet designs with embedded markers. (b) Fluorescence imaging is used to detect the unique tracking IDs. (c) The user's motion is digitized.
确定这一点，我们对一段由600帧组成的测试录像进行了不同滤波操作，录像中标记持续移动（距离范围：10-80厘米）。当对未裁剪的帧应用自适应阈值法时，仅有85.2%的帧能成功解码标记；而在裁剪并缩放后再应用阈值法，则能有98.2%的帧成功解码标记。 如果在图像块中未找到ArUco标记，脚本会检查是否存在二维码或Data Matrix码。对此我们采用相同的步骤，但有两个区别：由于这些编码的比特数多于ArUco标记，因此我们将缩放后的高度设为100像素，自适应阈值块大小设为9。随后我们使用标准库来解码这些编码。图7d展示了一个示例。 如果在图像块中找到了ArUco标记或二维码，脚本会将它们的数据和角点记录到数组中。 跨帧跟踪已解码的标记：我们还在检测流程中添加了“缓存”功能，用于跨帧跟踪标记数据，无需在每一帧都运行解码脚本。启用缓存后，我们会通过比较角点坐标，尝试将新定位到的标记与上一帧中已解码的标记进行匹配。如果新标记与之前的标记相似，我们就从上一帧中获取该标记的数据；否则，再运行剩余的解码脚本。这一功能对二维码尤其有用——传统上二维码需要多帧才能被解码，而荧光轮廓则能在所有帧中被追踪到。不过为了稳妥起见，我们在评估阶段并未启用此功能（见第6节）。 实现细节：我们采用OpenCV [^6]来实现系统功能，使用Dynamsoft $^{4}$库来检测二维条码（即二维码、微型二维码和Data Matrix码）。为了快速原型开发，我们在项目开发期间在笔记本电脑上运行了检测脚本。在配备2GHz四核Intel Core i5处理器的2020款MacBook Pro上，处理一幅640×360像素的帧平均耗时3.7毫秒，相当于270帧/秒。由于我们的高速摄像头帧率上限为60帧/秒，因此应用程序中的检测速率也受此限制，但我们的软件流程同样支持更高的帧率。在AR/VR应用中，运行完OpenCV的ArUco姿态估计后，我们会利用Unity的坐标转换功能，将标记的位置转换到统一的局部坐标系下。 ## 5 应用场景 在本节中，我们将展示BrightMarker的几种应用场景，其中物体位置的跟踪是相关流程中不可或缺的一部分。 ### 5.1 快速产品跟踪 由于BrightMarker能够定位并跟踪嵌入的物体，因此它可应用于需要快速处理物品的工业或商业场景。这在产品和包装记录方面尤为实用——即便外部标签可能被有意或无意地移除，仍必须准确追踪物品来源及其他供应链或库存相关数据。 输送带上的产品追踪：在制造和包装行业中，可以集成荧光标记，以便在装配线上实现产品或零部件的追踪（见图1a）。 实时库存记录：用户可利用第4.2节所述的智能手机附件来激活BrightMarker的荧光特性，通过移动手机快速扫描一批产品，从而捕捉所有编码信息。 需要注意的是，目前我们的方法更适用于已经通过3D打印制成的产品（如鞋子 [^61]），未来也可扩展到即将打印的产品。 ### 5.2 用于人体运动追踪的可穿戴设备 BrightMarker的一项应用是3D打印用于追踪人体运动的定制可穿戴设备。图8a展示了打印有嵌入式标记物的刚性及柔性腕带。通过嵌入独特的标记物，我们能够数字化记录用户的动作，并区分左右手（图8b）。在我们的实验设置中，检测模块被安装在用户书桌上方（图8c）。 这类追踪型可穿戴设备能够悄无声息地满足多种应用场景的需求，比如创建数字孪生模型和动画，提升 --- 人机协作中的安全性、提供姿势矫正提醒或实现设备控制。与现有的追踪方法相比，使用BrightMarker能更好地保护用户隐私，因为摄像头仅捕捉标记物，而不会拍到用户的面部或周围环境。此外，目前的方法，尤其是基于机器学习的方法，通常针对健全人的手部进行调优。搭载BrightMarker的可穿戴设备有望为肢体差异或手部功能障碍人群提供支持。在我们当前的实现中，黑色腕带采用PLA材料打印，红色腕带则使用ABS材料。两种腕带厚度都很小，因此具备可弯曲性。未来，还可以使用TPU等更柔韧的材料，或通过基于FDM的纺织制造工艺来打印更多定制化的可穿戴设备 [^19] [^60]。 将BrightMarker嵌入物体中，就能将其转化为具备更精准追踪能力的混合现实（MR）实体交互工具 [^9]。例如，这类实体交互界面能够增强AR互动体验 [^15]，或作为VR中的触觉替代物。 ### 5.3 用于MR体验的实体交互界面 BrightMarker的优势在于，标记物本身还包含了部件标识符，也就是说可以区分上下两个旋钮并赋予它们独特的功能。另外，由于这些旋钮的颜色和形状一致，如果没有嵌入BrightMarker，就很难精确追踪它们的旋转情况。 将物理物件改造为精准的AR输入工具：图1c展示了一个办公室里闲置的扬声器。用户想利用这个未插电的扬声器，将其转化为用于控制AR眼镜音量和低音的被动式实体交互界面。这样一来，用户就能获得更自然、更直观的输入方式，毕竟直接触摸眼镜上的小按钮往往很不方便。 现实中的物体作为VR触觉道具：BrightMarker让用户能够利用现有现实物体的物理形态（如玩具、小装置、运动器材）作为VR中的触觉替代物。例如，一款“光剑”玩具可以内置BrightMarker，这样它就能在游戏中充当另一种物品。如图9所示，光剑的剑柄被用作游戏中切水果动作的触觉替代物。另一个好处是这些物体完全是被动式的，而典型的VR游戏控制器则装有需要供电的红外LED。 ![Image](images/0962d387afd612ebd495d91cc8c97dba34f57ac27da20423c2c819d216b08efc.jpg)
Figure 9: Using a lightsaber as a prop to slice fruits in a game.
![Image](images/62ff688221947192b644d152438e5a5bd43024f9190758d9497982b874c52d76.jpg)
Figure 10: Privacy-preserving night vision. (a) Regular CCTVs help monitor important objects but may intrude on users' privacy. (b) Our detection setup allows tracking of solely the fluorescent objects.
### 5.4 保护隐私的夜视功能 传统监控摄像头利用红外LED在夜间监测环境。不过，这类摄像头可能并不适合在私密空间（如卧室）中使用，尽管用户仍希望有替代方案来保护贵重物品的安全。BrightMarker成像系统会过滤掉摄像头画面中的所有细节，仅保留被标记的物体。如图10所示，存放贵重物品的盒子被贴上了BrightMarker标签，而物体表面其余部分则均匀嵌入了荧光纤维，以便能从远处捕捉到它。摄像头会检测到物体发出的闪亮轮廓，进而触发警报，同时又能保护用户的隐私。这种基于荧光的监测方式只需对现有的家用监控摄像头进行改造即可实现：只需按照3.2节的描述，在摄像头旁加装合适的滤光片和红外光源。 ## 6 评估 在本节中，我们会在多种条件下评估系统的性能，包括检测距离、光照条件、外壳颜色以及物体移动速度。 ### 6.1 检测距离、激发强度与表面颜色 由于嵌入的荧光纤维在受到更强红外光激发时会发出更亮的荧光，因此标记物能被检测到的最大距离取决于其接收到的激发光强度。为了探究红外光强度对检测效果的影响，我们开展了一项实验，测定在不同距离下追踪和解码标记物所需的最低红外光强度。所谓“追踪”是指程序能够确定BrightMarker的边界；而“解码”则是指程序不仅能确定边界，还能提取出标记物中的数据（详见4.3节）。 实验步骤：我们打印了三个边长为4英寸（2.54厘米）的正方形BrightMarker，其ArUco图案尺寸同样为4x4。每个BrightMarker分别采用不同颜色的壳体材料打印而成：蓝色ABS、红色ABS以及黑色IR-PLA。选择这些材料是为了体现材料种类和荧光强度的多样性。我们在暗室（环境光照度为3勒克斯）的桌面上放置了一把长度为220厘米的卷尺；近红外相机则对准0厘米刻度处。作为基准，我们还记录了相同尺寸的普通纸质ArUco标记能够被识别的最大距离。 --- ![Image](images/8c9b1587820b5744466a5444d77465f24f78ef09678837aa3877d76dbecb75d6.jpg)
Figure 11: Excitation intensity required with increasing marker distance from the detection setup.
该识别过程仅使用市售的ArUco检测库即可完成。 每次实验中，我们首先将BrightMarker放置在距相机10厘米的位置。接着，我们将激发光源移至尽可能远离标记物的地方，直至该标记物刚好能被追踪到为止。保持光源在此位置不变，我们用Tacklife LM01数字照度计测量照射到标记物表面的光照强度。随后我们重复上述操作，但测量的是解码标记物所需的光照强度。我们记录了从10厘米到220厘米区间内，追踪和解码BrightMarker所需的最小光照强度。 由于不同颜色的壳体材料会导致荧光水平存在差异，我们对不同颜色打印的BrightMarker分别进行了实验。所选颜色涵盖了广泛的荧光特性，包括荧光较弱的材料（如蓝色）和荧光较强的材料（如红色）。每种颜色我们均重复实验三次，并将平均结果绘制在图11中。 结果：图11中分别绘制了每种颜色的跟踪和解码结果。虚线表示在不同距离下跟踪标记所需的强度，而实线则表示在不同距离下解码标记所需的强度。 作为基准，绿色虚线表示标准纸质标记能够被追踪和解码的最大距离（即122厘米）。我们发现，由于近红外成像会过滤掉低于BrightMarker发射波长的光，因此这些标记能够在比纸质标记更远的距离上被追踪。另一方面，虽然BrightMarker的解码距离预计不会超过这一数值，但应与之相近。红色和黑色样本表现出这种特性，而蓝色样本的表现却超出预期——它甚至能在纸质编码无法被识别的位置被解码。我们认为这是因为滤波后的图像能让解码算法忽略未滤波图像中的噪声，从而使其在更远的距离上解码标记。不过其他颜色的标记并未出现这种情况：与蓝色标记允许较低水平的荧光不同，红色和黑色标记发出的光会略微渗入标记的外壳中。 图表还显示出材料颜色与检测所需光强度之间的相关性。总体而言，曲线位置越低，说明越容易检测到标记，因为图中较低的曲线意味着在给定标记距离下所需的光量更少。外壳透过的荧光越多，检测标记所需的激发光就越少；例如，红色打印件比蓝色打印件所需的光量更少。这是意料之中的现象，因为近红外相机捕捉的是发射光，所以允许更多光发射的材料所需的整体激发光就更少。基于这一点，我们建议在使用较弱的激发源进行远距离追踪时，选用红色ABS这类外壳材料。 ### 6.2 检测率与标记速度 由于BrightMarker的荧光是通过长通滤光片成像的，我们的检测系统能排除场景中非标记元素，从而降低漏检帧的概率。我们进行了一项实验，以比较在标记移动时，基于荧光的检测方法相较于常规InfraredTags [^13] 在检测率上的提升效果。 实验步骤：我们打印了带有4×4 ArUco图案的红色和蓝色BrightMarker（尺寸：2.54厘米×2.54厘米），分别代表高荧光和低荧光特性。随后我们将打印机当作CNC工具使用：把每个标记分别安装在Ultimaker 3的打印头上，同时将检测模块放置在打印床上，使其摄像头朝上对准标记。我们让打印头沿向上的圆锥形螺旋轨迹移动，以覆盖剩余的打印空间（21.6厘米×21.6厘米×130厘米），同时确保其始终处于摄像头的视野范围内。我们对12种不同的打印头速度（范围：20毫米/秒至240毫米/秒）重复了这一过程。我们根据生成的60帧/秒视频计算了整个轨迹上的检测率。 实验结果：在12种速度下，InfraredTag平均仅能在60.73%的帧中被追踪和解码（标准差=2.26）。而对于BrightMarker，红色和蓝色样本在全部帧中均能被追踪到。红色样本在99.41%的帧中可被解码（标准差=0.48），蓝色样本则为99.83%（标准差=0.19）。不同速度下的标准差值较小，这表明我们成像模块中使用的高速摄像机凭借全局快门技术成功避免了运动模糊现象（见第3.2节）。 ### 6.3 标记尺寸 为了测试可检测到的最小BrightMarker尺寸，我们分别针对红色和蓝色ABS表面材料，以1毫米为增量（范围：5-10毫米）打印了样品。对于这两种颜色而言，能够解码的最小标记宽度为6毫米。不过，要解码蓝色标记，摄像头必须靠近至2厘米的距离；而红色标记则能在7厘米远的地方被解码。这很可能是由于蓝色外壳材料的红外吸收率更高所致。 ## 7 讨论 在本节中，我们将探讨BrightMarker的局限性以及未来研究的潜在方向。 ### 7.1 荧光染料的浓度 BrightMarker细丝中所使用的荧光染料浓度，是其可检测性的重要影响因素。 为了测试染料浓度对标记强度的影响，我们从细丝制造商处获取了两块小型测试板。 --- 由于高浓度细丝目前尚不可得。每块测试板上都添加了荧光染料：一块的浓度与我们的细丝相同，另一块的浓度则是标准浓度的八倍。在相同的激发条件下，我们测量了未覆盖时这两块测试板发出的光强。在用厚度为1.2毫米的普通红色ABS细丝制成的薄片覆盖两个样品后，我们又重复了这项测量，该薄片用于模拟BrightMarker的$t_{shell}$。 在未覆盖的对比实验中，我们发现高浓度掺杂样品产生的红外光强比普通样品高出33%。在模拟BrightMarker使用条件的覆盖对比实验中，高浓度掺杂样品的光强比普通样品高出20%。因此，为了进一步提升检测性能，后续的研究与优化或许能生产出荧光染料浓度更高的细丝。 ### 7.3 近红外光功率 虽然我们在AR/VR附加模块中使用的LED元件（见4.2节）额定功率为10瓦，但在头戴设备中我们并未将其开到最大功率。PCB上的电位器允许我们将功率调节在1.8瓦至3.5瓦之间。在最低功率下，被黑色红外PLA覆盖的样品最远能在50厘米外被追踪到；在最大功率下，追踪距离可达90厘米。据我们所知，目前尚无关于近红外光与眼睛安全性的纵向研究，但常见的近红外光应用实例包括iPhone的Face ID、微软Kinect以及英特尔RealSense深度相机。例如，RealSense D400的红外投影仪[^27]的功耗最高可达4.25瓦。 未来，BrightMarker技术或许能被应用于大规模市场制造。例如，无需采用3D打印工艺，利用塑料包覆成型技术就能在批量生产的产品中加入荧光材料，且无需任何后续加工步骤。 ### 7.2 批量生产 ### 7.4 圆形标记的嵌入 在本项目中，我们嵌入了ArUco标记用于跟踪目的。另一种添加跟踪器的方式是使用荧光丝材来嵌入小型圆形标记，这类标记类似于OptiTrack的逆向反射珠，被放置在物体表面之下。这种基于三角测量的跟踪系统通常被认为比基于方形标记的方法更可靠。不过，由于基于三角测量的方法需要设置多台摄像机，过程既昂贵又繁琐，因此我们出于简便性考虑选择了ArUco标记，以满足日常应用需求。有兴趣的研究人员可以根据自身需求和限制，采用我们的嵌入式制造方法来应用其他跟踪技术。未来，该技术也可用于提升对结构更复杂的物体的检测能力，比如那些表面细节丰富、会因观察角度不同而导致标记局部被遮挡的物体。 ### 7.5 遮挡问题 物体遮挡是大多数跟踪方法的常见问题。同样，BrightMarker也可能被用户的手或其他物体遮挡。一种解决办法是将光学跟踪与磁跟踪方法相结合（即混合跟踪）[^58]。可以利用磁性丝材将磁性材料嵌入打印物体中，这样在物体被遮挡时就能借助磁传感器增强跟踪效果。另一种可行的方案是采用基于CNN的机器学习方法[^10] [^14]，以恢复或估算被遮挡的标记角点。 ## 8 结论 在本文中，我们提出了BrightMarker——一种利用荧光3D打印丝材嵌入并跟踪隐藏式高对比度标记的新方法。我们的方案为基于标记的跟踪提供了简单易用的解决方案，且不会影响物体的外观或形状。我们证明BrightMarker可以嵌入各种颜色的物体中，并且只需使用与材料荧光特性相匹配的光源和相机滤镜就能轻松定位它们。我们的CAD工具允许用户在打印前将标记添加到3D模型中，而我们的光学检测硬件也可以安装在现有的AR/VR头显上以实现标记跟踪。BrightMarker的图像处理流程能够利用捕获的图像可靠地定位标记。我们的代码和工具可在网站$^{5}$上找到，希望这能为制造领域的工具库增添新成员。 我们的应用场景涵盖了快速产品跟踪、定制可穿戴设备、AR/VR中的实体界面以及保护隐私的夜视功能。评估结果显示，不同颜色的标记即便在远距离或物体高速运动状态下也能被检测到。我们认为，本研究证明了将荧光技术作为嵌入隐形标记的有效且多功能的方法的潜力，也希望它能推动人机交互和制造领域的研究人员在这一方向展开进一步的探索与创新。 ## 致谢 我们衷心感谢DIC公司及其复合材料营销组的Toyomura Kyouichi提供荧光材料。我们非常感激匿名审稿人提出的宝贵见解和建设性反馈。特别感谢Eduardo López-Fraguas在LED选型方面给出的建议。我们还要向Marwa AlAlawi和Ticha Sethapakdi致以诚挚的谢意，感谢他们细致校稿和提出的周到建议。 ## 参考文献 [^1]: 3dk.berlin.2021. PLA Filament IR-Black. [^2]: Ananta Narayanan Balaji, Clayton Kimber, David Li, Shengzhi Wu, Ruofei Du, and David Kim. 2023. RetroSphere: Self-Contained Passive 3D Controller Tracking for Augmented Reality. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 6, 4 (Jan. 2023), 157:1–157:36. [^3]: P. Bijl, J.J. Koenderink, and A. Toet. 1989. Visibility of blobs with a gaussian luminance profile. Vision Research 29, 4 (Jan. 1989), 447–456. [^4]: Tami C. Bond and Robert W. Bergstrom. 2006. Light Absorption by Carbonaceous Particles: An Investigative Review. Aerosol Science and Technology 40, 1 (Jan. 2006), 27–67. [^5]: Miguel Borges, Andrew Symington, Brian Coltin, Trey Smith, and Rodrigo Ventura. 2018. HTC Vive: Analysis and Accuracy Improvement. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2610–2615. ISSN: 2153-0866. [^6]: Gary Bradski. 2000. The OpenCV Library. Dr. Dobb's Journal of Software Tools (2000). ## [^7]: Chris Brentainment [In the Sn] 58. https --- [^8]: DIC Corporation. 2023. DIC Global. [^9]: Mustafa Doga Dogan, Patrick Baudisch, Hrvoje Benko, Michael Nebeling, Huaishu Peng, Valkyrie Savage, and Stefanie Mueller. 2022. Fabricate It or Render It? Digital Fabrication vs. Virtual Reality for Creating Objects Instantly. In Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, 5. [^10]: Mustafa Doga Dogan, Steven Vidal Acevedo Colon, Varnika Sinha, Kaan Aksit, and Stefanie Mueller. 2021. SensiCut: Material-Aware Laser Cutting Using Speckle Sensing and Deep Learning. In Proceedings of the 34th Annual ACM Symposium on User Interface Software and Technology. ACM, Virtual Event USA, 15. [^11]: Mustafa Doga Dogan, Faraz Faruqi, Andrew Day Churchill, Kenneth Friedman, Leon Cheng, Sriram Subramanian, and Stefanie Mueller. 2020. G-ID: Identifying 3D Prints Using Slicing Parameters. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–13. [^12]: Mustafa Doga Dogan, Alexa F. Siu, Jennifer Healey, Curtis Wigington, Chang Xiao, and Tong Sun. 2023. StandARone: Infrared-Watermarked Documents as Portable Containers of AR Interaction and Personalization. In Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems (CHI EA '23). Association for Computing Machinery, New York, NY, USA, 1–7. [^14]: Mustafa Doga Dogan, Veerapatr Yotamornsunthorn, Ahmad Taka, Yunyi Zhu, Aakar Gupta, and Stefanie Mueller. 2022. Demonstrating Infrared Tags: Decoding Invisible 3D Printed Tags with Convolutional Neural Networks. In Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, 7. [^13]: Mustafa Doga Dogan, Ahmad Taka, Michael Lu, Yunyi Zhu, Akshat Kumar, Aakar Gupta, and Stefanie Mueller. 2022. InfraredTags: Embedding Invisible AR Markers and Barcodes Using Low-Cost, Infrared-Based 3D Printing and Imaging Tools. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New Orleans LA USA, 9. [^15]: Ruofei Du, Alex Olwal, Mathieu Le Goc, Shengzhi Wu, Danhang Tang, Yinda Zhang, Jun Zhang, David Joseph Tan, Federico Tombari, and David Kim. 2022. Opportunistic Interfaces for Augmented Reality: Transforming Everyday Objects into Tangible 6DoF Interfaces Using Ad hoc UI. In CHI Conference on Human Factors in Computing Systems Extended Abstracts. ACM, New Orleans LA USA, 1–4. [^16]: Murat Ekici, Ahmet Çağdaş Seçkin, Ahmet Özek, and Ceyhun Karpuz. 2023. Warehouse Drone: Indoor Positioning and Product Counter with Virtual Fiducial Markers. Drones 7, 1 (Jan. 2023), 3. . Number: 1 Publisher: Multidisciplinary Digital Publishing Institute. [^17]: Martin Feick, Scott Bateman, Anthony Tang, Andre Miede, and Nicolai Marquardt. 2020. Tangie: Tangible Proxies For Embodied Object Exploration And Manipulation In Virtual Reality. In 2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, Porto de Galinhas, Brazil, 195–206. [^18]: Martin Feick, Kora Persephone Regitz, Anthony Tang, and Antonio Krüger. 2022. Designing Visuo-Haptic Illusions with Proxies in Virtual Reality: Exploration of Grasp, Movement Trajectory and Object Mass. In CHI Conference on Human Factors in Computing Systems. ACM, New Orleans LA USA, 1–15. [^19]: Jack Forman, Mustafa Doga Dogan, Hamilton Forsythe, and Hiroshi Ishii. 2020. DefeXtiles: 3D Printing Quasi-Woven Fabric via Under-Extrusion. In Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology. ACM, Virtual Event USA, 1222–1233. [^20]: Joshua Furtado, Hugh Liu, Gilbert Lai, Hervé Lacheray, Jason Desouza-Coelho, and Quanser. 2018. Comparative Analysis of OptiTrack Motion Capture Systems. [^21]: Matteo Gastaldi, Francesca Cardano, Marco Zanetti, Guido Viscardi, Claudia Barolo, Silvia Bordiga, Shlomo Magdassi, Andrea Fin, and Ignazio Roppolo. 2021. Functional Dyes in Polymeric 3D Printing: Applications and Perspectives. ACS Materials Letters 3, 1 (Jan. 2021), 1–17. Publisher: American Chemical Society. [^22]: Christopher Getschmann and Florian Echtler. 2021. Seedmarkers: Embeddable Markers for Physical Objects. In Proceedings of the Fifteenth International Conference on Tangible, Embedded, and Embodied Interaction (TEI '21). Association for Computing Machinery, New York, NY, USA, 1–11. [^23]: Oliver Grau and Julien Pansiot. 2012. Motion and velocity estimation of rolling shutter cameras. In Proceedings of the 9th European Conference on Visual Media Production (CVMP '12). Association for Computing Machinery, New York, NY, USA, 94–98. [^24]: George G. Guilbault (Ed.). 1990. Practical Fluorescence (2nd edition ed.). CRC Press, New York. [^25]: Timo Götzelmann and Daniel Schneider. 2016. CapCodes: Capacitive 3D Printable Identification and On-screen Tracking for Tangible Interaction. In Proceedings of the 9th Nordic Conference on Human-Computer Interaction. ACM, Gothenburg, Sweden, 1–4. [^26]: Sebastian Günther, Martin Schmitz, Florian Müller, Jan Riemann, and Max Mühlhäuser. 2017. BYO*: Utilizing 3D Printed Tangible Tools for Interaction on Interactive Surfaces. In Proceedings of the 2017 ACM Workshop on Interacting with Smart Objects. ACM, Limassol Cyprus, 21–26. [^27]: Intel. 2020. RealSense Product Family D400 Series Datasheet. Technical Report. [^28]: John Jewkes, David Sawers, and Richard Stillerman. 1969. Fluorescent Lighting. In The Sources of Invention, John Jewkes, David Sawers, and Richard Stillerman (Eds.). Palgrave Macmillan UK, London, 252–254. [^29]: Han-Jong Kim, Ju-Whan Kim, and Tek-Jin Nam. 2016. miniStudio: Designers' Tool for Prototyping Ubicomp Space with Interactive Miniature. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. ACM, San Jose California USA, 213–224. [^30]: Dingzeyu Li, Avinash S Nair, Shree K Nayar, and Changxi Zheng. 2017. AirCode. Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology - UIST '17 (2017). [^31]: Zehua Ma, Hang Zhou, and Weiming Zhang. 2023. AnisoTag: 3D Printed Tag on 2D Surface via Reflection Anisotropy. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI '23). Association for Computing Machinery, New York, NY, USA, 1–15. [^32]: Karola Marky, Martin Schmitz, Verena Zimmermann, Martin Herbers, Kai Kunze, and Max Mühlhäuser. 2020. 3D-Auth: Two-Factor Authentication with Personalized 3D-Printed Items. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–12. [^33]: MatterHackers. 2023. Glow in the Dark PRO Series PLA Filament. [^34]: MatterHacks. 2023. ColorFabb GlowFill Glow in the Dark Filament. [^35]: E. Roland Menzel. 2006. Fluorescence in Forensic Science. In Encyclopedia of Analytical Chemistry. John Wiley & Sons, Ltd. : . [^36]: Pierre Merriaux, Yohan Dupuis, Rémi Boutteau, Pascal Vasseur, and Xavier Savatier. 2017. A Study of Vicon System Positioning Performance. Sensors 17 (July 2017), 1591. [^37]: Yamato Miyatake, Parinya Punpongsanon, Daisuke Iwai, and Kosuke Sato. 2022. interiqr: Unobtrusive Edible Tags using Food 3D Printing. In The 35th Annual ACM Symposium on User Interface Software and Technology. ACM, Bend OR USA, 1–11. [^38]: Leonid Naimark and Eric Foxlin. 2005. Encoded LED System for Optical Trackers. In Proceedings of the 4th IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR '05). IEEE Computer Society, USA, 150–153. [^39]: Edwin Olson. 2011. AprilTag: A robust and flexible visual fiducial system. In 2011 IEEE International Conference on Robotics and Automation. 3400–3407. ISSN: 1050-4729. [^40]: Parinya Pumpongsanon, Daisuke Iwai, and Kosuke Sato. 2013. DeforMe: projection-based visualization of deformable surfaces using invisible textures. In SIGGRAPH Asia 2013 Emerging Technologies (SA '13). Association for Computing Machinery, New York, NY, USA, 1–3. [^41]: Francisco Romero-Ramirez, Rafael Muñoz-Salinas, and Rafael Medina-Carnicer. 2018. Speeded Up Detection of Squared Fiducial Markers. Image and Vision Computing 76 (June 2018). [^42]: Daniela K. Rosner and Kimiko Ryokai. 2010. Spyn: augmenting the creative and communicative potential of craft. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '10). Association for Computing Machinery, New York, NY, USA, 2407–2416. [^43]: F. W. D. Rost. 1992. Fluorescence Microscopy. Cambridge University Press, Cambridge ; New York. OCLC: 23766227. [^44]: Alberto J. Ruiz, Sadhya Garg, Samuel S. Streeter, Mia K. Giallorenzi, Ethan P. M. LaRochelle, Kimberley S. Samkoe, and Brian W. Pogue. 2021. 3D printing fluorescent material with tunable optical properties. Scientific Reports 11, 1 (Aug. 2021), 17135. Number: 1 Publisher: Nature Publishing Group. [^45]: Cassandra Scheirer and Chris Harrison. 2022. DynaTags: Low-Cost Fiducial Marker Mechanisms. In Proceedings of the 2022 International Conference on Multimodal Interaction (ICMI '22). Association for Computing Machinery, New York, NY, USA, 432–443. ## [^46]: Martin Schepers, Matteo Giubertini, and G. Bellusci. 2018. Xsens MVN: Consistent Tracking of Human Motion Using Inertial Sensing. --- [^47]: Frank Schieber. 2001. Modeling the Appearance of Fluorescent Colors. Proceedings of the Human Factors and Ergonomics Society Annual Meeting 45, 18 (Oct. 2001), 1324–1327. Publisher: SAGE Publications Inc. [^48]: Martin Schmitz, Sebastian Günther, Karola Marky, Florian Müller, Andrii Matvienko, Alexandra Voit, Roberts Marky, Max Mühlhäuser, and Thomas Kosch. 2022. Rethinking Smart Objects: The International Workshop on Interacting with Smart Objects in Interactive Spaces. In Companion Proceedings of the 2022 Conference on Interactive Surfaces and Spaces (ISS '22). Association for Computing Machinery, New York, NY, USA, 64–67. [^49]: Martin Schmitz, Martin Herbers, Niloofar Dezfuli, Sebastian Günther, and Max Mühlhäuser. 2018. Off-Line Sensing: Memorizing Interactions in Passive 3D-Printed Objects. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (CHI '18). Association for Computing Machinery, New York, NY, USA, 1–8. [^50]: Martin Schmitz, Mohammadreza Khalilbeigi, Matthias Balwierz, Roman Lissermann, Max Mühlhäuser, and Jürgen Steimle. 2015. Capricate: A Fabrication Pipeline to Design and 3D Print Capacitive Touch Sensors for Interactive Objects. In Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology (UIST '15). Association for Computing Machinery, New York, NY, USA, 253–258. [^51]: Martin Schmitz, Jürgen Steimle, Jochen Huber, Niloofar Dezfuli, and Max Mühlhäuser. 2017. Flexibles: Deformation-Aware 3D-Printed Tangibles for Capacitive Touchscreens. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (CHI '17). Association for Computing Machinery, New York, NY, USA, 1001–1014. [^52]: Dominik Schön, Thomas Kosch, Martin Schmitz, Florian Müller, Sebastian Günther, Johannes Kreutz, and Max Mühlhäuser. 2022. TrackItPipe: A Fabrication Pipeline To Incorporate Location and Rotation Tracking Into 3D Printed Objects. In The Adjunct Publication of the 35th Annual ACM Symposium on User Interface Software and Technology. ACM, Bend OR USA, 1–5. [^53]: Lei Shi, Holly Lawson, Zhuohao Zhang, and Shiri Azenkot. 2019. Designing Interactive 3D Printed Models with Teachers of the Visually Impaired. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ACM, Glasgow Scotland Uk, 1–14. [^54]: Lei Shi, Ross McLachlan, Yuhang Zhao, and Shiri Azenkot. 2016. Magic Touch: Interacting with 3D Printed Graphics. In Proceedings of the 18th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS '16). Association for Computing Machinery, New York, NY, USA, 329–330. [^55]: Aleksander Sieroń, Karolina Sieroń-Stołty, Aleksandra Kawczyk-Krupka, Wojciech Latos, Sebastian Kwiatek, Dariusz Straszak, and Andrzej M Bugaj. 2013. The role of fluorescence diagnosis in clinical practice. OncoTargets and therapy 6 (July 2013), 977–982. [^56]: Piyarat Silapasuphakornwong, Hideyuki Trii, Kazutake Uehira, and Masahiro Suzuki. 2019. Technique for Embedding Information in Objects Produced with 3D Printer Using Near Infrared Fluorescent Dye. (2019). [^57]: Subhankar Singha, Dokyoung Kim, Sankarprasad Bhuniya, and Tushar Kumeria. 2018. Fluorescence Analysis: From Sensing to Imaging. Journal of Analytical Methods in Chemistry 2018 (Aug. 2018), e2654127. Publisher: Hindawi. [^58]: Andrei State, Gentaro Hirota, David T. Chen, William F. Garrett, and Mark A. Livingston. 1996. Superior augmented reality registration by integrating landmark tracking and magnetic tracking. In Proceedings of the 23rd annual conference on Computer graphics and interactive techniques - SIGGRAPH '96. ACM Press, Not Known, 429–438. [^59]: Yuta Sugiura, Diasuke Sakamoto, Anusha Withana, Masahiko Inami, and Takeo Igarashi. 2010. Cooking with robots: designing a household system working in open environments. In Proceedings of the 28th international conference on Human factors in computing systems - CHI '10. ACM Press, Atlanta, Georgia, USA, 2427. [^60]: Haruki Takahashi and Jeeun Kim. 2019. 3D Printed Fabric: Techniques for Design and 3D Weaving Programmable Textiles. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (UIST '19). Association for Computing Machinery, New York, NY, USA, 43–51. [^61]: Markus Trapp, Markus Kreutz, Michael Lütjen, and Michael Freitag. 2022. Improving Sustainability of Footwear Production through 3D Printing of Shoes. 1–15. [^62]: Gregory F. Weber and A. Sue Menko. 2005. Color image acquisition using a monochrome camera and standard fluorescence filter cubes. BioTechniques 38, 1 (Jan. 2005), 52–56. Publisher: Future Science. [^63]: Karl D. D. Willis, Takaaki Shiratori, and Moshe Mahler. 2013. HideOut: mobile projector interaction with tangible objects and surfaces. In Proceedings of the 7th International Conference on Tangible, Embedded and Embodied Interaction - TEI '13. ACM Press, Barcelona, Spain, 331. [^64]: Karl D. D. Willis and Andrew D. Wilson. 2013. InfraStructs: fabricating information inside physical objects for imaging in the terahertz region. ACM Transactions on Graphics 32, 4 (July 2013), 1–10. [^65]: Clement Zheng, Peter Gyory, and Ellen Yi-Luen Do. 2020. Tangible Interfaces with Printed Paper Markers. In Proceedings of the 2020 ACM Designing Interactive Systems Conference. ACM, Eindhoven Netherlands, 909–923. [^66] 朱克宁、陈泰州、韩峰和吴宜舜。2019年。HapTwist：利用低成本可扭转装置在虚拟现实环境中创建交互式触觉代理。收录于2019年CHI人机交互系统会议论文集。ACM出版社，英国苏格兰格拉斯哥，第1–13页。