# InfraredTags：利用低成本的红外3D打印与成像工具嵌入肉眼不可见的AR标记和条形码穆斯塔法·多加·多甘麻省理工学院计算机科学与人工智能实验室美国马萨诸塞州剑桥市朱云毅麻省理工学院计算机科学与人工智能实验室美国马萨诸塞州剑桥市艾哈迈德·塔卡麻省理工学院计算机科学与人工智能实验室美国马萨诸塞州剑桥市阿克沙特·库马尔麻省理工学院计算机科学与人工智能实验室美国马萨诸塞州剑桥市迈克尔·卢麻省理工学院计算机科学与人工智能实验室美国马萨诸塞州剑桥市斯特凡妮·穆勒麻省理工学院计算机科学与人工智能实验室美国马萨诸塞州剑桥市阿卡尔·古普塔 Facebook Reality Labs 美国华盛顿州雷德蒙德市 ![Image](images/d135b404716ccd36283e72973cd4b8ce4924d772a2df31ef9af610c3df85f7bd.jpg) ![Image](images/2fe059a21b31d3227e83f89cb0aa12ce08800c7caeb34098f14e48005240fa67.jpg) ![Image](images/f6552f97ad4a0ad06fa0b6a1dff9e83158ffeb964eb7ccaa2d5903bbd29fd6b1.jpg)

Figure 1: InfraredTags are 2D markers and barcodes embedded unobtrusively into 3D printed objects and can be detected using infrared cameras (top-right images). This allows real-time applications for (a) identifying and controlling devices in AR interfaces, (b) embedding metadata such as 3D model URLs into objects, and (c) tracking passive objects for tangible interactions.

## 摘要目前用于在3D物体内部嵌入不显眼标签的方法要么需要复杂的制造工艺，要么依赖高成本的成像设备。我们提出的InfraredTags是一种肉眼无法察觉的二维标记和条形码，它们可以作为物体的一部分进行3D打印，并且能被低成本的近红外相机快速识别。我们采用能透射红外线的打印材料来打印物体，这种材料可以让红外相机穿透；同时我们在物体内部设置用于存放标签信息的空气间隙，这些间隙在红外图像中会呈现出不同的亮度。我们开发了一个用户界面，能够方便地将常见标签（如二维码、ArUco标记）与物体几何形状整合，从而使其能以InfraredTags的形式进行3D打印。我们还研发了一款低成本的红外成像模块，可安装在现有移动设备上，配合我们的图像处理流程来解码标签。评估结果显示，即便在近红外光照强度仅为0.2勒克斯的条件下，这些标签也能被识别，且识别距离最远可达250厘米。我们展示了该方法在多种场景中的应用潜力，比如物体追踪，以及为增强现实和实体交互嵌入元数据。 ## CCS概念分类 • 以人为中心的计算 → 人机交互（HCI）。 --- ## 关键词不显眼标签；身份识别；追踪；标记；3D打印；个人制造；红外成像；计算机视觉；增强现实 ## ACM参考文献格式穆斯塔法·多加·多甘、艾哈迈德·塔卡、迈克尔·卢、朱云毅、阿克沙特·库马尔、阿卡尔·古普塔、斯特凡妮·穆勒。2022年。InfraredTags：利用低成本的红外3D打印与成像工具嵌入肉眼不可见的AR标记和条形码。收录于人机交互系统学术会议（CHI '22），2022年4月29日至5月5日，美国路易斯安那州新奥尔良市。美国计算机协会，纽约州纽约市，共12页。 ## 1 引言在3D物体制造过程中嵌入不显眼标签的能力正变得越来越重要，因为其在增强现实/虚拟现实（AR/VR）、包装、物流追踪以及机器人领域有着广泛的应用。过去十年间，研究人员探索了多种插入肉眼无法察觉的标签的方法。其中一种方法是在物体内部制造代表标签比特的空气间隙。例如，AirCode [^20] 会在3D打印物体的表面下方嵌入空气间隙，通过投射结构光在材料中产生的散射现象来定位这些空气间隙的位置。InfraStruts [^34] 同样会在物体中嵌入空气间隙，但它是利用太赫兹成像技术对物体进行3D扫描，该技术比可见光能更好地穿透材料。虽然这两种方法都能在3D物体中嵌入标签，但它们都需要复杂的硬件配置（比如AirCode所使用的投影仪-摄像头组合）、昂贵的设备（比如InfraStructs所用的太赫兹扫描仪），以及长达数分钟的成像时间。为解决这些问题，我们提出了一种新方法：将3D打印结构内的空气间隙与红外透射丝材相结合。这种方法会使物体呈现半透明状态，用红外相机观察时就能检测到其中的空气间隙。因此，我们的方法仅需低成本的红外成像模块；由于标签可在单帧图像中被识别，扫描速度也大大提升。采用基于红外的3D打印材料的方法之一是LayerCode [^21]，它通过使用普通树脂和掺有近红外染料的树脂来打印物体，从而生成一维条形码。因此，虽然打印出的物体对人类而言看起来并无变化，但红外相机却能读取这些编码。不过该方法需要改装后的双料槽SLA打印机、定制固件以及专用打印材料。相比之下，我们的方法使用的都是更易获取的低成本材料。在本文中，我们介绍了InfraredTags——一种无需复杂制造工艺或高成本成像设备即可在物体几何结构中嵌入标记和条形码的方法。我们采用市售的熔融沉积建模（FDM）3D打印机和商用红外（IR）透射丝材 [^1] 进行制造，再使用市售的近红外相机进行识别。物体的主体结构是用红外丝材3D打印而成的，而标签则是通过预留用于承载比特的空气间隙来创建的。由于主体结构在红外波段呈半透明状态，近红外相机能够穿透它并捕捉到空气间隙——也就是标记，这些标记在图像中会呈现出不同的亮度。如果使用红外不透光丝材来打印比特而非预留空气间隙，图像的对比度还能进一步提升。我们的方法可以嵌入二维码、ArUco标记等二维标签，也能在物体内部嵌入多个标签，从而支持多角度扫描且能容忍部分遮挡。为了让普通智能手机也能识别InfraredTags，我们制作了一个可安装在现有移动设备上的紧凑型模块，为其增添了近红外成像功能。为方便用户将标签嵌入3D物体，我们开发了一个用户界面，用户可将标签载入编辑器并定位到所需位置。编辑器会将标签投影到3D几何结构中，使其与物体几何形状融为一体。制造完成后，当用户使用我们的成像模块拍摄照片时，定制的图像处理流程会通过增强对比度来精准二值化识别标签。这为3D物体的交互开启了新应用，比如在增强现实（AR）环境中远程控制电器和设备，以及将现有的无源物体用作实体游戏控制器。总而言之，我们的贡献如下： - 一种利用红外透射耗材，通过市售的FDM 3D打印机将不可见标签嵌入实体物体的方法。 - 一种允许用户将标签嵌入物体内部几何结构中的用户界面。用于识别3D打印件内部嵌入标签的图像处理流程。 - 一种低成本且紧凑的红外成像模块，可扩展现有移动设备的功能。基于3D打印和成像约束条件，对InfraredTags的检测精度进行评估。 ## 2 相关工作在本节中，我们首先介绍标签在人机交互领域中的应用方式、为降低其存在感所提出的各种方法，以及现有研究中红外成像在不同场景下的应用。 ### 2.1 人机交互中标签的应用场景标签被用于标记物体，从而实现与之相关的各类交互应用。例如，Printed Paper Markers [^39]利用不同的纸张结构来隐藏或显露基准标记（即ArUco标记 [^27]），以此创建按钮、滑块等物理输入设备。DodecaPen [^35]通过追踪附着在被动手写笔上的ArUco标记，将用户的手写内容传输到数字环境中。Cooking with Robots [^30]使用可拆卸的标记来标注现实环境，以实现人机协作。Positioning Correcting Tools [^26]则通过扫描类似二维码的标记，在用户切割板材时精准定位CNC工具。标签在人机交互中的另一个重要应用场景是表面上的实体交互。例如，TUIC [^38]利用导电材料制成的二维标签，在电容式多点触控设备上实现此类交互，模拟手指触摸效果。为了构建触觉控制界面，ForceStamps [^14]采用了3D打印的基准标记， ---

	AirCode [^20]	LayerCode [^21] (multi-color)	LayerCode [^21] (w/ NIR resin)	InfraStructs [^34]	G-ID [^6]	Seedmarkers [^11]	InfraredTags
Tag invisible to the naked eye	✓	✗\nVisible color difference	✓	✓	✓\nSubtle artifacts	✗\nVisible patterns	✓
Easy and cheap fabrication	✗\nObject needs to be partitioned and printed separately	✓\nFDM printer	✗\nNeeds modified SLA printer	✗\nSupport material inside needs to be washed away	✓\nFDM printer	✓\nFDM printer or laser cutter	✓\nFDM printer
Easy and affordable detection/sensor	✗\nLarge projector and camera setup	✓	✓	✗\nTerahertz scanner	✓	✓	✓
Fast scanning/detection for real-time applications	✗\n3-4 minutes	✗\nUp to 5 minutes	✗\nUp to 5 minutes	✗\n~2 minutes for a $100 \times 100$ pixel scan	✗\nTakes 1-2 seconds	Not provided	✓\nOn the order of milliseconds
Carries information	✓	✓	✓	✓	✗\nUsed for identification only	✗\nUsed for identification only	✓
Allows the use of common tag/marker types	✗\nCustom code	✗\nModified barcode	✗\nModified barcode	✗\nCustom codes	✗\nBased on slicing parameters	✗\nBased on Voronoi structures	✓
Multiple tags on the same object possible	✓	✗\nSingle code over the whole object	✗\nSingle code over the whole object	✓	✗\nOne ID per object	✓	✓

Table 1: A comparison of features of different tag embedding methods. Exact values are reported when possible.

PneuModule [^15]则使用了气动驱动的充气针阵列。CapCodes [^12]和BYO* [^13]提出了用导电耗材3D打印的实体物件，以便在触摸或在触摸显示屏上移动时能被识别。CapactiveMarker [^17]同时包含视觉标记和导电图案，因此既能被摄像头识别，也能被电容式显示屏识别。不过，所有这些标记都肉眼可见，会影响物体的美观性，还可能占用物体上的可用区域。 ### 2.2 降低标签的存在感研究人员探索了三种降低标签存在感的主要方法：让可见标签更具美感 [^2] [^11] [^23] [^25]；将标签嵌入物体内部 [^6] [^20] [^34]；或者让物体表面的标签对肉眼不可见 [^5] [^21]。为了让编码更具美感，研究人员对传统二维码进行了半色调处理，使其看起来更像具有美感的图片（如照片），同时仍能保持可检测性 [^25]。ReacTIVision [^2]设计了外形类似变形虫的基准标记，营造出有机的美感。Seedmarkers [^11]是专为适配物体表面而制造的装饰性标记，比如激光切割盒子的面板。标签也可以嵌入到3D物体内部，从而使用户无法看到它们。例如，AirCode [^20] 会在物体表面下方留出空气间隙来代表标签的位，并利用摄像头和投影仪来解码这些标签。不过，这种方法需要3-4分钟才能解码代码，因为它需要将投影图案多次扫过代码区域以减少噪声。InfraStructs [^34] 则通过在物体内部留出空气间隙并用太赫兹扫描仪检测这些间隙来编码信息。然而，这种扫描仪也需要数分钟才能生成图像。最后，标签还可以不引人注意地嵌入到3D物体的表面，使其对用户不可见。例如，G-ID [^6] 通过改变切片参数来调整物体表面的纹理；由于变化十分细微，因此标识符不会对用户造成干扰。LayerCode [^21] 则利用改装后的SLA打印机，通过普通或红外树脂打印出肉眼看不见的1D条形码。该方法不仅需要定制材料和硬件，处理时间也较长，因为投影到3D表面的条形码在被摄像头捕捉时会发生畸变，需要更复杂的图像处理才能提取出代码。表1总结了不同隐蔽式标签的能力与局限性。从表1中可以看出，InfraredTags是唯一一种既能简单制造标签，又能利用现有2D码（如二维码、ArUco标记）实现廉价快速扫描的方法，同时还能在同一物体内嵌入多个代码。InfraredTags之所以能实现这一点，是靠红外成像技术，我们将在下一节详细解释。 ### 2.3 近红外成像近红外光是电磁光谱中红外波段的一个子区域，其波长刚好超出人类的可见范围。如今，已有多种材料可用于实现基于近红外光的不同应用场景。例如，能够反射近红外光的逆反射材料可被用来制作标记；这在OptiTrack $^{1}$ 等常见的动作追踪硬件工具中有所应用——人们可以将单个近红外逆反射珠附着在物体上以追踪其运动。由于这类标记仅用于追踪目的，并不携带任何数据。在miniStudio [^19] 中，Kim等人通过追踪附着在实体模型上的红外反射贴纸来投影图像，这些贴纸上还通过丝网印刷添加了基准标记。Silapasuphakornwong等人 [^29] 使用了一种在近红外光照下会发光的定制耗材，以便在3D物体内部嵌入图案，但对比度不足以用来创建二维码之类的2D标签。在HideOut [^33] 中，Willis --- ![Image](images/ebeeb0172e5a21577c1bdbeaa2d7593f4c59e7a6c0ac885ae91f9f11321fa5e1.jpg) ![Image](images/8c7829a91c37796d394161060c98be1d9bccc576bcaebca4f9be101c58380811.jpg)

Figure 2: Material composition of the tags for a sample ArUco marker. We modify the interior of the object to embed the tag based on (a) single- or (b) multi-material printing. (c) The transmission spectrum of the IR PLA and regular PLA.

等人利用红外吸收墨水制作隐藏的红外标记，以便在纸质材料上投影数字图像，不过这需要喷枪来均匀涂抹纸张表面。在另一个项目SidebySide [^32] 中，研究人员使用定制投影仪将近红外标记投射到墙上，从而实现临时性的多用户便携式投影游戏。Pundongsanon等人 [^24] 则通过追踪涂有红外墨水的点来测量弹性材料的形变，这些点对人类而言是不可见的。还有一些材料能让近红外光透过，却阻挡可见光[^7] [^18]。它们对人眼来说看起来不透明，但可以用来封装发射近红外光的电子设备，比如电视遥控器。在本项目中，我们利用这种近红外光半透明材料的特性，将携带信息的不可见代码嵌入到三维物体内部。 ## 3 红外标签红外标签的嵌入方式使得物体在可见光下看起来不透明且没有任何改动，但在近红外光下却能显现出标签。我们采用的方法是：用可透射近红外光的打印丝来3D打印物体的主体结构，而标签部分则通过留出空气间隙来形成。由于主体结构在红外区域具有半透明性，近红外相机能够穿透它并捕捉到这些空气间隙——也就是标签，它们在图像中会呈现出不同的亮度。在本文后续内容中，我们将这种可透射近红外光的打印丝称为红外打印丝或IR打印丝。在接下来的章节中，我们将介绍IR打印丝的特性以及合适的红外相机，然后探讨如何将IR打印丝单独用作单材料打印，或与另一种打印丝配合使用，以在物体内部创建标记。 ### 3.1 红外打印丝我们从制造商3dk.berlin处购得了这种IR打印丝[^1]（约5.86美元/100克）。它由聚乳酸（PLA）制成，这是最常用的FDM打印丝，可在常规的3D打印挤出温度下使用。肉眼观察时，这种打印丝呈略带透明的黑色；不过当多层3D打印后，它看起来就不透明了。红外半透明度：由于制造商并未提供不同波长下的光透射特性数据，我们便使用紫外/可见/近红外分光光度计（PerkinElmer Lambda 1050）手动测量了相关数据。图2c给出了IR PLA与普通的黑色PLA打印丝的透射光谱，两者均为厚度为1毫米的3D打印样品。由于普通PLA在可见光和近红外区域的透射率都接近0%，因此它总是显得不透明。相比之下，IR PLA在近红外区域的透射率要高得多（约45%），而在可见光区域的透射率仅为0%~15%；因此它在红外区域呈现半透明状，在可见光区域则大多不透明。 ### 3.2 红外相机的选择为了选出能够识别红外光、进而读取标签的图像传感器和滤镜，我们考虑了以下几点：滤镜：几乎所有商用相机都配备了红外截止滤镜，目的是让相机成像与人眼所见相似。这种滤镜会阻止近红外光到达图像传感器。由于我们的需求是捕捉红外光，因此要么购买已经移除该滤镜的相机，比如Raspberry Pi NoIR相机模块，要么手动从相机中移除内置滤镜。图像传感器：不同相机的传感器对光谱不同部分的敏感度存在差异。为了最有效地检测标签，传感器应在材料近红外透射率最高的波段具备高敏感度。不过如图2c所示，由于整个红外区域的透射率较为相近，因此所有能检测红外光的相机都能满足我们的需求。例如，市面上价格低廉的相机，如Raspberry Pi NoIR (20)，根据多家厂商的说法，就能检测到近红外范围内波长达800~850纳米的光$^{2}$。 --- 价格更高的红外相机具备超出近红外范围的灵敏度，例如FLIR ONE Pro $^{3}$，能够探测到长达14,000纳米的红外线，但其价格可能超过400。不过，由于红外光的穿透能力并不会随着波长增加而显著提升，因此低成本相机已足以满足我们的需求。 ### 3.3 标签与材料的构成要制作红外标签，我们需要创建两种具有不同红外光穿透特性的几何形状来构成该物体。不同的红外光穿透特性会导致这两种几何形状在最终的红外图像中呈现出不同的亮度。我们发现有两种实现方式。单材料打印（红外PLA）：我们的第一种方法是将物体的主要几何形状采用红外PLA材料，标记的外部部分使用空气间隙，内部则仍用红外PLA材料，如图2a所示。这种明暗对比源于红外光在红外PLA材料中每毫米的穿透率会降低$\sim45\%$（详见第3.1节）。在红外光照下，光线首先穿透3D打印物体的红外PLA材料壁，随后照射到物体内部的空气间隙或填充区域。当物体被红外相机拍摄时，每个像素的光强度会根据其是否位于空气间隙而有所差异：穿过空气间隙的光线因穿透的材料更少，所以会形成更亮的像素。这种图像中的亮度差异足以将检测到的空气间隙和填充区域还原为原始的标签。多材料打印（红外PLA + 普通PLA）：为了进一步提升图像中标签的对比度，我们尝试了多材料3D打印技术。第二种方法是将物体的主要几何形状采用红外PLA材料，标记的外部部分使用普通PLA材料，内部则保留空气间隙，如图2b所示。用户拍摄图像时，红外光线会穿透3D打印物体的红外PLA材料壁，随后照射到内部的空气间隙或普通PLA材料上。空气间隙会呈现为较亮的像素，因为它们能透射红外光；而普通PLA材料则会呈现为较暗的像素，因为它在红外波段几乎完全不透光（见图2c）。这种方式产生的对比度比前述单材料打印方式更高。我们也考虑过用红外PLA材料填充空气间隙，以避免物体几何结构内部出现空隙。但这种方法需要在短时间内频繁切换普通PLA和红外PLA两种材料的喷嘴，容易导致打印模糊。因此，对于采用双材料打印方式的物体，我们仍保留了空气间隙（见图2b）。编码几何结构：将编码（即二维标签）嵌入物体几何结构时，编码本身及其周围的“外壳”需要保持一定的厚度。外壳厚度：外壳厚度$t_{shell}$应足够大，以确保用户肉眼无法看到编码；同时又要足够小，以保证红外相机能够检测到编码。由于红外PLA材料对肉眼而言略带半透明性，当$t_{shell}$取值较小时，用户就有可能看到编码。 ![Image](images/d7b2a7dd10d374a74dd7e36b95d5b0dd258cae0945e61af90d77368f72a1feb6.jpg) ![Image](images/35dc0f79abe7f344c87caa0244c655839af712e89e05524e1fa26c2787195e39.jpg) ![Image](images/78bdfbd56f4e4ae0f1b56af7f498d36c0f5e3ea3744b4364f511e062527cada1.jpg)

Figure 3: Determining the shell thickness for a multi-material print with white PLA. As $t_{shell}$ increases, the checkerboard pattern becomes less visible in both the (a) visible camera and (b) IR camera image. Thus, it gets more challenging to (d) identify the contrast in the pattern for humans and to (c, e) binarize it correctly from the IR view.

物体内部（见图3a）。因此，对于$t_{shell}$的下限而言，我们的目标是找到一个数值，使得用普通相机拍摄的图像对比度低于5%（即使用了红外截止滤光片的情况）。普通相机拍摄的图像反映了可见光区域的敏感度，也就是人眼的视觉灵敏度。我们选择5%作为阈值，是因为人类在此对比度水平下已无法分辨差异[^3]。反之，$t_{shell}$的数值越大，吸收的红外光就越多，导致整体图像越暗，进而降低红外区域内代码的对比度（见图3b）。因此，对于$t_{shell}$的上限而言，我们的目标是找到代码在红外相机图像中不再可被识别的数值。为了确定这些界限，我们3D打印了一个棋盘格图案作为红外标签，其外壳厚度各不相同（范围：0毫米至6毫米）。如图3所示，我们使用白色PLA材料进行多材料打印，分别用可见光相机和红外相机拍摄该图案。在图3d中，我们绘制了可见光相机图像中棋盘格“白色”与“黑色”部分之间的对比度随外壳厚度的变化曲线。我们发现，当厚度约为1.32毫米时，可见光相机的对比度降至5%，这一数值即为下限——也就是标签对人眼不可见所需的最小厚度。另一方面，图3c展示了红外相机图像的二值化结果（对应图3b）。图3e显示了随着外壳厚度增加，棋盘格的二值化效果如何变差。图表表明，厚度不超过3.5毫米时即可达到90%的二值化准确率，这一数值即为上限。不过为了最大化可检测性，我们在制作物体时采用了下限数值。 --- 在多材料3D打印中，常规PLA部件（即代码部分）可使用不同颜色的耗材。每种颜色都需要不同的外壳厚度才能防止用户看到代码。例如，由于红外耗材在可见光区域呈黑色，它更容易与黑色或蓝色PLA融合，因此隐藏代码所需的顶层厚度比白色PLA打印的代码要薄。表2列出了使不同颜色代码不显眼所需的最小外壳厚度。代码厚度：虽然外壳厚度会影响可见光区域内图像的整体对比度，但代码厚度$t_{code}$决定了红外区域内嵌入代码各比特间的对比度。如果代码层太薄，“白色”与“黑色”比特间的对比度可能不足，从而导致代码无法被识别。我们进行了与图3类似的测试，此次改变的是$t_{code}$而非$t_{shell}$，以确定能产生足够对比度的数值。这些数值汇总于表2中。若数值低于表中列出的范围，材料就会过薄，导致红外光穿透代码比特，从而降低红外视图中的对比度及可检测性；若数值高于该范围，虽可行但无法进一步提升对比度。

	Shell thickness $t_{shell}$	Code thickness $t_{code}$
Single-material (IR PLA)	1.08 mm	2.00 mm
Multi-material (IR PLA + white PLA)	1.32 mm	0.50 mm
Multi-material (IR PLA + black PLA)	1.08 mm	0.50 mm
Multi-material (IR PLA + blue PLA)	1.20 mm	0.50 mm

Table 2: Thickness values for the shell and code layers.

最后，我们注意到的一个重要现象是：从同一制造商 [^1] 在不同时间订购的 IR 灯丝线轴表现出略有不同的透射特性。这可能与制造商可能调整了用于制造线轴的 IR 半透明染料用量有关。我们建议用户进行如 Figure 3 所示的类似对比分析，以确定每个新 IR 线轴的最佳数值。 ## 4 红外标签的嵌入与读取接下来我们将说明用户如何通过我们的用户界面将编码嵌入3D物体中，随后会介绍我们为移动设备开发的专用插件，以及对应的标签检测图像处理流程。 ### 4.1 红外标签编码用户界面导入并定位标签：用户首先需将3D模型（.stl文件）加载到我们的用户界面中，该界面是现有3D编辑器（Rhinoceros 3D）的定制插件。接着，用户将标签以2D绘图形式（.svg）导入编辑器，标签便会加载到3D视口中。之后标签会自动投影到3D几何体的表面（图1a）。用户可以移动 ![Image](images/9f6c40dc4fab6cc5af5ef75305e65121ed21cba3a5833949e68a3747b2df81b6.jpg)

Figure 4: InfraredTags embedding interface.

代码在视口内调整位置与大小，将其放置在3D物体上的目标位置。选择打印方式：在用户界面中，用户可以选择打印方式，即决定是用单一材料（仅IR-PLA）还是双材料打印（IR-PLA +普通PLA）来制作物体。随后用户界面会生成适配所选打印方式的几何体。例如，双材料打印时会生成两个.stl文件，一个用于主体几何体，另一个用于嵌入式标签。用户界面会确保标签与物体表面的间距符合设定要求（表2）。用户随后可使用3D打印机的切片软件对这两个文件进行切片并打印物体。 ### 4.2 用于读取标签的红外成像模块带有红外摄像头的数字设备可以读取红外标签。甚至个人电脑上普通的USB摄像头，只要手动移除其红外截止滤光片$^{4}$，也能用于此目的。如今，多款新款智能手机的前置（如苹果iPhone X）或后置（如一加8 Pro）已经配备了红外摄像头，但手机的应用程序编程接口可能不允许开发者为非原生应用访问这些摄像头。此外，并非所有手机目前都配备此类摄像头。为了使我们的方法能兼容不同平台，我们额外开发了一款可轻松安装在现有手机上的成像插件。安装红外摄像头模块：如图5所示，我们的插件内置红外摄像头（型号：Raspberry Pi NoIR）。由于该摄像头移除了普通摄像头中用于阻挡红外光的红外截止滤光片，因此能够捕捉红外光。此外，为了消除可见光产生的干扰并提升检测精度，我们添加了可见光截止滤光片$^{5}$，还配备了2个940nm波长的红外LED，用于在光线较暗时照亮物体。这款插件包含两款3D打印部件：一款是由柔性TPU耗材制成的手机壳，可根据用户的手机型号重新打印；另一款是由硬质PLA耗材制成的成像模块，可滑入该手机壳中。成像模块内置Raspberry Pi Zero主板和电池，重量为132克。 --- ![Image](images/015b9782ffd96bc79ea8767630964a982fa2b69ecf19915008483cd2d89d5365.jpg)

Figure 5: Infrared imaging module. (a) The module is attached onto a flexible case that can be 3D printed based on the user's mobile device. (b) The module's hardware components.

打印部件：一款是由柔性TPU耗材制成的手机壳，可根据用户的手机型号重新打印；另一款是由硬质PLA耗材制成的成像模块，可滑入该手机壳中。成像模块内置Raspberry Pi Zero主板和电池，重量为132克。标签检测：为了检测标签，用户需在手机上打开InfraredTags检测应用程序，并将摄像头对准物体。该应用程序会显示手机摄像头的画面，也就是用户肉眼所见的景象，而非红外视图（见图1a）。这样一来，就能在普通视图之上叠加更多信息，以用于增强现实应用。在后台，成像模块会持续将图像流传输至我们的图像处理服务器。一旦服务器检测到任何标签，便会把其位置和编码信息发送至智能手机应用，以便展示给用户。 ## 5 软件实现在本节中，我们将介绍代码嵌入用户界面的实现方式，以及我们的红外成像模块和图像处理流程。 ### 5.1 用户界面实现我们的嵌入用户界面基于Rhinoceros 3D CAD软件$^{6}$（简称Rhino）以及Grasshopper$^{7}$——这是一种在Rhino内部运行的可视化编程语言。导入标签与3D模型：用户加载代表3D物体的STL文件后，我们的软件会通过Python子进程调用功能将其转化为网格。随后，脚本会将网格以其质心为中心进行居中处理。当用户导入作为SVG文件的标签时，系统会创建一个包含代表其比特位的路径的平面，也就是空气间隙。在用户定位代码时，我们的软件会始终让代码平面朝向网格表面，具体做法是利用最靠近代码平面的网格法线来实现。将标签嵌入物体：根据所选的嵌入类型（即单材料或多材料3D打印），标签会以两种方式之一被投影到物体中：单材料：我们的软件首先会将标签投影到网格的曲面上，然后沿反向的最近网格法线（即指向网格的方向）平移外壳厚度距离（$t_{shell}$，见表2）。接着，我们沿反向法线将标签拉伸代码厚度（$t_{code}$），从而在物体内部生成代表3D几何结构中空气间隙的新网格。为了从3D物体的整体几何结构中减去代表空气间隙的部分，我们首先反转空气间隙网格的法线，然后使用布尔运算合并网格功能，将孔洞添加到整体物体几何结构中。最终得到的就是带有嵌入代码（即空气间隙）的完整网格，用户可以将其导出为单个可打印的STL文件。多材料：对于多材料打印，我们的软件会生成两个网格，如图2b所示：一个用于标签（采用普通PLA材料打印），另一个用于外壳（采用红外PLA材料打印）。我们首先按照单材料方法的步骤操作，即将代表标签比特位的路径投影到曲面上，向内平移后再拉伸以生成标签网格。接下来，我们找到该网格的边界框，反转其法线，再将其与主物体网格合并。这样就会生成一个新的网格（即红外PLA外壳），打印完成后其内部会有容纳普通PLA标签的空间。 ### 5.2 移动端红外成像用于捕捉标签的移动端应用是基于Web的，采用JavaScript开发。它使用Socket.IO$^{8}$与运行图像处理流程的服务器进行通信，该流程用于标签检测，详见第5.3节。图像处理服务器接收来自成像模块上微处理器（Raspberry Pi Zero W）共享的实时流中的图像，并持续运行检测算法。一旦检测到标签，服务器会将标签的位置和解码后的信息发送给Web应用程序，随后展示给用户。由于成像模块不会占用用户个人设备的资源且基于Web运行，因此它具备平台无关性，可在不同移动设备上使用。 ### 5.3 图像处理流程红外标签是通过手机或外接成像模块上的红外摄像头拍摄的图像来识别的。尽管这些标签在拍摄的图像中可见，但为了提高对比度以便可靠读取，还需要进一步处理。我们使用OpenCV [^4]来完成这些图像处理步骤，如图6所示。图像预处理：我们首先将图像转换为灰度图，然后应用限制对比度的自适应直方图均衡化（CLAHE）滤波器 [^22] 来提升局部对比度（clipLimit = 20，tileGridSize = (8,8)）。在我们的流程中，CLAHE比标准直方图均衡化更适用，因为它会根据图像的各个区域重新分配像素强度值 [^10]。为了消除CLAHE产生的高频噪声，我们用高斯模糊滤波器对图像进行平滑处理。随后，我们使用高斯自适应阈值法对图像进行二值化处理，得到包含编码信息的黑白像素（constantSubtracted=4）。 --- ![Image](images/ed07c2e944f66844a923a13df6232a46ab174fa074a18a60a15195297f826459.jpg)

Figure 6: Image processing to read the tags. (a) Infrared camera view. (b) Individual processing steps needed to decode the QR code message: "HCI_IR_TEST".

编码提取：生成二值图像后，即可利用Dynamsoft $^{9}$或ZBar $^{10}$等现有库来读取相应的编码。平均而言，解码一个4x4大小的ArUco标记需要6毫秒，而解码一个21x21大小的QR码则需要14毫秒，这些时间均来自单个原始帧。我们用作输入的图像尺寸为512x288像素；未来通过将图像下采样至兼顾可读性与速度的最佳尺寸，还能进一步提升检测速度。标签距离的影响：二值化标签的可读性取决于预处理滤波器所用的参数。具体来说，我们发现根据拍摄图像中标签的大小——也就是标签与摄像头之间的距离不同，需要使用不同的高斯模糊核（ksize）和自适应阈值的块大小（blockSize）。这一点对于QR码尤为重要，因为QR码通常包含更多且更小的编码位，需要准确分割。提升检测精度的一种策略是尝试不同的滤波器参数组合。为了明确滤波器参数组合数量对检测精度的影响，我们开展了如下实验：我们拍摄了124张不同距离（距摄像头15-80厘米）的21x21 QR码图像，随后生成200种不同的滤波器参数组合，分别用它们处理这些拍摄图像，再评估哪些滤波器参数能正确将QR码二值化。我们发现，即便使用较少的滤波器组合，也能获得与现有QR码检测算法相当的检测结果。例如，三种不同的滤波器组合（表3）就能达到79.03%的准确率（现有QR码读取器对模糊标签的识别率低于57% $^{11}$）。还有进一步提升的可能

Filter combinations	Accuracy
(ksize=3, blockSize=23)	56.45%
(ksize=3, blockSize=23), (ksize=1, blockSize=37)	70.97%
(ksize=3, blockSize=23), (ksize=1, blockSize=37), (ksize=3, blockSize=21)	79.03%

Table 3: Filter combinations and QR code detection accuracy

## 6 应用场景通过增加滤波器参数组合的数量，可以在牺牲一定检测时间的前提下进一步提升准确率。在图7a和图7b所示的应用中，用户将智能手机摄像头对准房间，通过人眼无法察觉的InfraredTags来识别智能家居设备。增强现实视图中会显示一个控制菜单，用户可通过该菜单调节扬声器的音量或设置恒温器的温度。InfraredTags还能区分房间内同一型号的多台设备（如多个智能音箱或灯具），而这是基于传统计算机视觉的物体分类方法无法实现的。我们展示了InfraredTags如何实现与物体和设备的多样化交互、在其中存储数据以及追踪它们以感知用户输入的功能。 ### 6.1 与物理设备的远距离增强现实交互单个物体上的多个标签用于空间感知：此外，InfraredTags允许将多个标签嵌入同一物体中，从而支持多种应用场景。例如，当物体部分被遮挡时，物体内的多个标签可让系统从不同角度捕捉到标签信息。另一种应用是实现具备空间感知能力的增强现实控制功能，即在同一物体上不同位置显示不同的设置选项。比如图7c展示了一个WiFi路由器，其正面、侧面和顶面仅显示网络名称（SSID）信息，而底面则同时显示密码信息，这样就能自动将路由器与手机配对。这种方式无需用户输入复杂的字符串即可快速完成设备配对和身份验证，同时保留了传统的使用隐喻——就像路由器底部通常附带的写有密码的纸条一样。虽然我们针对移动端增强现实展示了这一应用，但InfraredTags也能为头戴式增强现实眼镜实现与物理设备更便捷、远距离的交互。 InfraredTags可被嵌入物理设备和电器中，通过嵌入的唯一标识符来单独识别它们，并显示相应的设备控制选项供用户直接操作。 ### 6.2 嵌入物体的元数据将元数据或说明信息空间性地嵌入物体本身，能够提供更丰富的语境信息并实现信息共享[^8]。例如，我们可以把物体的制造/来源链接（如缩短后的Thingiverse网址）作为InfraredTag嵌入，方便用户想从创作者那里获取更多信息或自行3D打印时查阅，如图8所示。其他可嵌入的元数据类型还包括用户手册、有效期、制造日期、制造材料、重量或尺寸信息等。 --- ![Image](images/d27fc55472418bd74cb2752b69a5c98210d1626fc8421a339f6de8628505abb5.jpg)

Figure 7: Controlling appliances using a mobile AR application. The user points at (a) the home speakers to adjust its volume, and the (b) thermostat to adjust the temperature. The infrared camera in the phone's case identifies the appliances by reading the embedded QR codes. (c) Pairing a phone with a WiFi router, whose SSID is visible from all sides but the password is visible only from its bottom.

### 6.3 实体交互：任何物体都能当作游戏控制器由于基准标记可被制成InfraredTags嵌入物体中，因此可用于追踪物体的运动。这样一来，任何无源物体都能在用户玩视频游戏时充当控制器。图9展示了一个没有电子元件的3D打印轮子，它可被用作游戏控制器。该轮子上有一个ArUco标记的InfraredTag，用于追踪轮子的位置和朝向。即便轮子具有旋转对称性，红外摄像头仍能识别出内部的方形标记，进而推断出轮子的位置和朝向。与其他方法不同，我们的方案无需任何电子元件[^37]。虽然我们展示的应用场景中用户面对的是带有后置摄像头的屏幕，但这一技术也可用于让无源物体充当AR/VR头显的控制器，这些头显配备有以用户为中心的摄像头。 ![Image](images/8bd11520e977f22c58022e153f25c3e5d12206c0cc3e01f8c8404ec07d36d11d.jpg)

Figure 8: Embedded metadata about the object itself: The user is redirected to the Thingiverse model that was used to fabricate the object.

这种应用场景尤其适合HoloLens 2这类头显，它内置了红外摄像头[^31]，未来可用于红外标签检测。即便该标签正对着用户，用户无法看到它，但头显仍能识别出来。 ## 7 检测效果评估在本节中，我们将评估制造因素和环境因素对红外标签检测的影响。标记尺寸：按照图3所示的测试流程，我们确定可打印的最小4×4 ArUco标记尺寸为：单材料打印时宽度为9毫米，多材料打印时宽度为6毫米。多材料打印的分辨率优于单材料打印，因为两种不同材料之间的透射差异较大，图像传感器更容易分辨出标记位之间的边界。而在单材料打印中，空气间隙的亮度呈二维高斯分布，即中心区域的强度更高。 ![Image](images/8f92a61924d4888c8f078687d81b14553f6df2bacd7ec684844ca96254ff98f0.jpg)

Figure 9: Using passive objects (a) as a game controller. (b) This wheel is black under visible light and has no electronic components. (c) The fiducial marker embedded inside is only visible to an infrared camera.

--- ![Image](images/1a485b91426f42f572ef0f4e4375497fe32a327aeb86ed05dbc0d8396266df93.jpg)

Figure 10: Detection evaluation. (a) Maximum detection distance for single- and multi-material ArUco markers. (b) Cases where the IR LED and visible cut-off filter improve detection.

因此，要分辨出单材料标记的各标记位边界，需要更大的标记位尺寸。距离：为了测试我们检测方法的极限，我们测量了不同尺寸的标签可被检测到的最大距离。测试对象包括单材料（红外PLA）和多材料（红外PLA+普通黑色PLA）打印的标签。我们评估的4×4 ArUco标记尺寸范围为10~80毫米，换算后21×21二维码的尺寸范围则为42~336毫米（可存储多达25个数字字符）。图10a给出了测试结果，可见多材料编码比单材料编码能被探测到更远的距离。测试结果对应的是检测效果最佳的滤波参数（见第5.3节）。光照条件：要使红外标签能在近红外相机图像中被识别，场景中必须有足够的近红外光照。我们使用加装了可见光截止滤光片（720纳米）的照度计，测量了检测4×4 ArUco标记所需的最小近红外强度。我们发现仅需极少量的近红外光即可满足需求：单材料打印至少需要1.1勒克斯的光强，多材料打印则需要0.2勒克斯。由于阳光中也含有近红外波长，因此这些标签在户外以及白天有窗户的室内区域都能被检测到。我们还发现，许多用于室内照明的灯具发出的近红外光足以在夜间识别出这些编码（例如我们办公室的光强可达1.5勒克斯）。此外，我们的成像模块上的红外LED（见第4.2节）能提供足够强的光强，即使在完全黑暗的环境中也能充分照亮多材料标记。未来可以加入更亮的LED，以支持在这类难以检测的场景下识别单材料打印的标签。我们红外成像模块上使用的可见光截止滤光片也能在光照条件恶劣的情况下提升检测效果。例如，图10b的最后两列展示了物体表面的某些打印瑕疵可能会在红外相机图像中产生噪点，而加上截止滤光片后噪点会减少。这对更难识别的单材料打印而言尤为有用。 ## 8 讨论在本节中，我们探讨了本方法的局限性以及未来研究中进一步发展的方向。打印分辨率：在本项目中，我们使用了FDM打印机，其打印分辨率受限于挤出材料的喷嘴尺寸，同时使用的摄像头为分辨率为8MP的低成本摄像头。未来，通过将我们的方法应用于分辨率更高的打印技术（如光固化成型技术SLA），就能制造出更小的InfraredTags。相应地，采用光圈更大的高分辨率摄像头便可识别这些更细微的细节（例如三星最新的200MP智能手机摄像头传感器$^{[28]}$）。这样一来，就能在相同的区域内嵌入更多信息。可发现性与隐蔽性：要想检测到InfraredTags，用户需调整近红外摄像头，使嵌入的标记处于拍摄画面内。然而，与AirCode [^20]和InfraStructs [^34]等相关项目类似，这可能存在难度，因为该标记对用户而言是不可见的，因此他们可能不清楚该将摄像头对准物体的哪个位置。对于表面平整的物体，可以通过在每个面上都嵌入标记来弥补这一不足（例如立方体的六个面）。这样，至少会有一个标记始终能被摄像头捕捉到。就像印在纸上的二维码可以从不同角度被识别一样，平面的InfraredTag从不同角度观察时也能保持形状（例如第6.1c节中的路由器）。不过，在曲面物体上检测代码则更具挑战性。这是因为投影到曲面的二维代码（例如第6.2节中的马克杯）从偏离中心的视角观察时，轮廓会发生扭曲。作为解决方案，我们计划像ChArUco（ArUco码与棋盘格图案的结合体）[^16]那样，在整个物体表面铺满相同的代码，这样捕获的图像中至少会有一个代码保持无畸变状态。此外，未来也可针对曲面物体使用对形变更具鲁棒性的其他标签类型[^36]。或者，也可以在物体表面添加一个小巧的可见或触觉标记（对应代码嵌入的位置），以帮助引导用户找到该标记。其他颜色与材料：虽然在本项目中我们仅使用了黑色的红外PLA材料，但制造商可以生产具有类似透光特性的其他颜色的线材，从而制作出定制化程度更高或采用刚性、柔性形式的多材料打印品[^9]。我们还计划将红外PLA线材与红外逆反射打印线材结合使用，以进一步提升标记的对比度。 ## 9 结论在本文中，我们介绍了InfraredTags——一种利用红外透射线材将常用的二维标签集成到三维物体中的低成本方法。我们解释了如何通过在该物体内部设置空气间隙，或将其与普通不透明线材结合使用来增强标签对比度。我们探讨了适合检测InfraredTags的摄像头类型，以及为确保肉眼不可见的同时实现最佳检测效果应采用的代码几何形状。在介绍完我们的标签嵌入用户界面和移动式红外成像模块后，我们展示了其在设备识别、AR交互、在实体物体中存储信息以及用于互动性实体游戏追踪等方面的广泛应用。最后，我们从标记尺寸、检测距离和光照条件等方面对本方法进行了评估。 --- ## 致谢我们谨向Raul Garcia-Martin致谢，感谢他为我们提供关于近红外成像的图像处理方法见解；同时感谢Mackenzie Leake对本文稿的校对。我们还要感谢匿名作者们提出的建设性意见。本研究得到了阿尔弗雷德·P·斯隆基金会研究奖学金的支持。 ## 参考文献 [^1]: 3dk.berlin.2021. PLA Filament IR-Black. [^2]: R. Bencina, M. Kaltenbrunner, and S. Jorda. 2005. Improved Topological Fiducial Tracking in the reacTIVision System. In 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Workshops, Vol. 3. IEEE, San Diego, CA, USA, 99–99. [^3]: P. Bijl, J.J. Koenderink, and A. Toet. 1989. Visibility of blobs with a gaussian luminance profile. Vision Research 29, 4 (Jan. 1989), 447–456. [^4]: Gary Bradski. 2000. The OpenCV Library. Dr. Dobb's Journal of Software Tools (2000). [^5]: Mustafa Doga Dogan, Steven Vidal Acevedo Colon, Varnika Sinha, Kaan Aksit, and Stefanie Mueller. 2021. SensiCut: Material-Aware Laser Cutting Using Speckle Sensing and Deep Learning. In Proceedings of the 34th Annual ACM Symposium on User Interface Software and Technology. ACM, Virtual Event USA, 15. [^6]: Mustafa Doga Dogan, Faraz Faruqi, Andrew Day Churchill, Kenneth Friedman, Leon Cheng, Sriram Subramanian, and Stefanie Mueller. 2020. G-ID: Identifying 3D Prints Using Slicing Parameters. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–13. [^7]: ePlastics. 2021. Plexiglass Sheets Infrared Transmitting. [^8]: Omid Ettehadi, Fraser Anderson, Adam Tindale, and Sowmya Somanath. 2021. Documented: Embedding Information onto and Retrieving Information from 3D Printed Objects. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. ACM, Yokohama Japan, 1–11. [^9]: Jack Forman, Mustafa Doga Dogan, Hamilton Forsythe, and Hiroshi Ishii. 2020. DefeXtiles: 3D Printing Quasi-Woven Fabric via Under-Extrusion. In Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology. ACM, Virtual Event USA, 1222–1233. [^10]: Raul Garcia-Martin and Raul Sanchez-Reillo. 2020. Vein Biometric Recognition on a Smartphone. IEEE Access 8 (2020), 104801–104813. Conference Name: IEEE Access. [^11]: Christopher Getschmann and Florian Echtler. 2021. Seedmarkers: Embeddable Markers for Physical Objects. In Proceedings of the Fifteenth International Conference on Tangible, Embedded, and Embodied Interaction (TEI '21). Association for Computing Machinery, New York, NY, USA, 1–11. [^12]: Timo Götzelmann and Daniel Schneider. 2016. CapCodes: Capacitive 3D Printable Identification and On-screen Tracking for Tangible Interaction. In Proceedings of the 9th Nordic Conference on Human-Computer Interaction. ACM, Gothenburg, Sweden, 1–4. [^13]: Sebastian Günther, Martin Schmitz, Florian Müller, Jan Riemann, and Max Mühlhäuser. 2017. BYO*: Utilizing 3D Printed Tangible Tools for Interaction on Interactive Surfaces. In Proceedings of the 2017 ACM Workshop on Interacting with Smart Objects. ACM, Limassol Cyprus, 21–26. [^14]: Changyo Han, Katsufumi Matsui, and Takeshi Naemura. 2020. ForceStamps: Fiducial Markers for Pressure-sensitive Touch Surfaces to Support Rapid Prototyping of Physical Control Interfaces. In Proceedings of the Fourteenth International Conference on Tangible, Embedded, and Embodied Interaction. ACM, Sydney NSW Australia, 273–285. [^15]: Changyo Han, Ryo Takahashi, Yuchi Yahagi, and Takeshi Naemura. 2020. Pneu-Module: Using Inflatable Pin Arrays for Reconfigurable Physical Controls on Pressure-Sensitive Touch Surfaces. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. ACM, Honolulu HI USA, 1–14. [^16]: Danying Hu, Daniel DeTone, and Tomasz Malisiewicz. 2019. Deep ChArUco: Dark ChArUco Marker Pose Estimation. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Long Beach, CA, USA, 8428–8436. [^17]: Kohei Ikeda and Koji Tsukada. 2015. Capacitive Marker: novel interaction method using visual marker integrated with conductive pattern. In Proceedings of the 6th 增强人类国际会议。ACM出版社，新加坡，第225–226页。 [^18]: Infrared Training Institute. 2019. Infrared Transparent Materials. [^19]: Han-Jong Kim, Ju-Whan Kim, and Tek-Jin Nam. 2016. miniStudio: Designers' Tool for Prototyping Ubicomp Space with Interactive Miniature. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. ACM, San Jose California USA, 213–224. [^20]: Dingzeyu Li, Avinash S Nair, Shree K Nayar, and Changxi Zheng. 2017. AirCode. Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology - UIST '17 (2017). [^21]: Henrique Teles Maia, Dingzeyu Li, Yuan Yang, and Changxi Zheng. 2019. Layer-Code: optical barcodes for 3D printed shapes. ACM Transactions on Graphics 38, 4 (July 2019), 112:1–112:14. [^22]: Stephen M. Pizer, E. Philip Amburn, John D. Austin, Robert Cromartie, Ari Geselowitz, Trey Greer, Bart ter Haar Romeny, John B. Zimmerman, and Karel Zuiderveld. 1987. Adaptive histogram equalization and its variations. Computer Vision, Graphics, and Image Processing 39, 3 (Sept. 1987), 355–368. [^23]: William Preston, Steve Benford, Emily-Clare Thorn, Boriana Koleva, Stefan Rennick-Egglestone, Richard Mortier, Anthony Quinn, John Stell, and Michael Worboys. 2017. Enabling Hand-Crafted Visual Markers at Scale. In Proceedings of the 2017 Conference on Designing Interactive Systems. ACM, Edinburgh United Kingdom, 1227–1237. [^24]: Parinya Punpongsanon, Daisuke Iwai, and Kosuke Sato. 2015. Projection-based visualization of tangential deformation of nonrigid surface by deformation estimation using infrared texture. Virtual Reality 19, 1 (March 2015), 45–56. [^25]: Siyuan Qiao, Xiaoxin Fang, Bin Sheng, Wen Wu, and Enhua Wu. 2015. Structure-aware QR Code abstraction. The Visual Computer 31, 6-8 (June 2015), 1123–1133. [^26]: Alec Rivers, Ilan E. Moyer, and Frédo Durand. 2012. Position-correcting tools for 2D digital fabrication. ACM Transactions on Graphics 31, 4 (July 2012), 88:1–88:7. [^27]: Francisco Romero-Ramirez, Rafael Muñoz-Salinas, and Rafael Medina-Carnicer. 2018. Speeded Up Detection of Squared Fiducial Markers. Image and Vision Computing 76 (June 2018). [^28]: Samsung. 2021. ISOCELL HP1: Samsung Brings Advanced Ultra-Fine Pixel Technologies to New Mobile Image Sensors. Technical Report. Korea. [^29]: Piyarat Silapasuphakornwong, Hideyuki Torii, Kazutake Uehira, and Siravich Chandenduang. 2020. Embedding Information in 3D Printed Objects with Curved Surfaces Using Near Infrared Fluorescent Dye. (2020), 5. [^30]: Yuta Sugiura, Diasuke Sakamoto, Anusha Withana, Masahiko Inami, and Takeo Igarashi. 2010. Cooking with robots: designing a household system working in open environments. In Proceedings of the 28th international conference on Human factors in computing systems - CHI '10. ACM Press, Atlanta, Georgia, USA, 2427. [^31]: Dorin Ungureanu, Federica Bogo, Silvano Galliani, Pooja Sama, Xin Duan, Casey Meekhof, Jan Stühmer, Thomas J. Cashman, Bugra Tekin, Johannes L. Schönberger, Pawel Olszta, and Marc Pollefeys. 2020. HoloLens 2 Research Mode as a Tool for Computer Vision Research. arXiv:2008.11239 [cs] (Aug. 2020). arXiv:2008.11239. [^32]: Karl D.D. Willis, Ivan Poupyrev, Scott E. Hudson, and Moshe Mahler. 2011. SideBySide: ad-hoc multi-user interaction with handheld projectors. In Proceedings of the 24th annual ACM symposium on User interface software and technology - UIST '11. ACM Press, Santa Barbara, California, USA, 431. [^33]: Karl D. D. Willis, Takaaki Shiratori, and Moshe Mahler. 2013. HideOut: mobile projector interaction with tangible objects and surfaces. In Proceedings of the 7th International Conference on Tangible, Embedded and Embodied Interaction - TEI '13. ACM Press, Barcelona, Spain, 331. [^34]: Karl D. D. Willis and Andrew D. Wilson. 2013. InfraStructs: fabricating information inside physical objects for imaging in the terahertz region. ACM Transactions on Graphics 32, 4 (July 2013), 1–10. [^35]: Po-Chen Wu, Robert Wang, Kenrick Kin, Christopher Twigg, Shangchen Han, Ming-Hsuan Yang, and Shao-Yi Chien. 2017. DodecaPen: Accurate 6DoF Tracking of a Passive Stylus. In Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology. ACM, Québec City QC Canada, 365–374. [^36]: Mustafa B. Yaldiz, Andreas Meuleman, Hyeonjoong Jang, Hyunho Ha, and Min H. Kim. 2021. DeepFormableTag: end-to-end generation and recognition of deformable fiducial markers. ACM Transactions on Graphics 40, 4 (Aug. 2021), 1–14. ## [^37]: Junichi Yamaoka, Mustafa Doga Dogan, Katarina Bulovic, Kazuya Saito, Yoshihiro Kawahara, Yasuaki Kakehi, and Stefanie Mueller. 2019. FoldTronics: Creating 3D --- 采用可折叠蜂窝结构的集成电子器件。收录于2019年CHI人机交互系统会议论文集。美国计算机协会，纽约州纽约市，第1–14页。 [^38]: Neng-Hao Yu, Li-Wei Chan, Seng Yong Lau, Sung-Sheng Tsai, I-Chun Hsiao, Dian-Je Tsai, Fang-I Hsiao, Lung-Pan Cheng, Mike Chen, Polly Huang, and Yi-Ping Hung. 2011. TUIC: enabling tangible interaction on capacitive multi-touch displays. In Proceedings of the SIGCHI Conference on Human Factors in 人机交互系统会议论文集。ACM出版社，加拿大不列颠哥伦比亚省温哥华市，第2995–3004页。 [^39] Clement Zheng、Peter Gyory和Ellen Yi-Luen Do。2020年。基于印刷纸标记的可触界面。收录于2020年ACM交互式系统设计会议论文集。ACM出版社，荷兰埃因霍温，第909–923页。