文章 # 用于训练泛化性强的无标记运动捕捉模型的大规模隐藏荧光标签采集 收稿日期：2022年5月30日 录用日期：2023年9月8日 在线发表日期：2023年9月26日 Daniel J. Butler $^{ID}$ $^{1}$、Alexander P. Keim $^{ID}$ $^{1}$、Shantanu Ray $^{1}$ 与 Eiman Azim $^{ID}$ $^{1}$ 查看更新 基于深度学习的无标记追踪技术彻底革新了动物行为研究领域。然而，已训练模型的泛化能力往往有限，因为针对每种实验设置或视觉环境，通常都需要手动生成新的训练数据。由于每个模型都要从头开始训练，研究人员会追踪不同的标志点，并以各自独特的方式分析由此产生的运动学数据。此外，受人工标注固有局限性的影响，通常只有少量标志点会被标注出来。为解决这些问题，我们开发了一种名为GlowTrack的方法，可生成数量级更大的训练数据，从而构建出能跨实验场景泛化的模型。我们具体描述了：a）利用荧光标记物生成隐藏标签的高通量方法；b）用于模拟多样化视觉条件的多摄像头、多光源设置；c）可并行标注大量标志点以实现密集追踪的技术。这些进展为标准化行为分析流程以及更全面地剖析运动机制奠定了基础。 研究身体在与环境相互作用时的控制机制，首要难题就是如何测量运动。从历史上看，运动研究采用了多种多样的测量技术。或许最早且应用最广泛的方法是定性观察，即研究人员观察动物并描述他们所看到的运动情况$^{12}$。这种方法的优势在于不会干扰受试动物的行为，同时能让研究人员判断复杂运动集合中哪些方面具有研究价值。但同样，人类观察也存在局限性和偏差——观察者可能无法察觉运动的细微特征，或者无意中遗漏了与研究问题相关的重要特征。 科学工具箱中新增的一项重要工具是基于标记的追踪技术。采用该技术时，需将标记物附着在动物身上，再通过摄像机或其他传感器计算标记物的位置$^{3-8}$。基于标记的方法精度较高，但也存在若干缺点。有些动物无法很好地耐受标记物，尤其是啮齿类这类体型较小的动物，很难在指骨等精细结构上放置标记物。此外，基于标记的追踪仍会受到一定程度的人为偏差影响，因为研究人员必须在收集和分析数据之前就确定标记物的放置位置。 最近，随着深度学习$^{9,10}$成为从图像和视频中提取信息的成熟技术，无标记追踪方法（如DeepLabCut $^{11}$、LEAP/SLEAP $^{12,13}$以及DeepPoseKit $^{14}$）得到了广泛应用$^{15-17}$。这些无标记追踪系统通常采用以下工作流程：(1)研究人员记录感兴趣的行为，并在部分采集的视频帧中手动标注关键点；(2)基于这些标注的帧训练深度学习模型；(3)利用该模型预测未手动标注的其他帧中的关键点位置；(4)研究人员验证模型生成的标注结果；最后，(5)如果错误率足够低，则继续分析；否则研究人员需返回步骤(1)，标注更多帧，并训练和应用新的深度学习模型，期望更大的训练集能将错误率降至可接受水平。 基于这种工作流程的无标记追踪能够产生非常精确的结果，有时仅需100到1000张标注的训练图像即可。它还有一个优势：可事后应用于那些最初并未考虑追踪需求的视频数据，从而能够 --- 例如，根据存档视频来量化动物在其自然栖息地中的运动情况。上述工作流程已经对研究动物行为的多个领域产生了重大影响，其应用范围还在不断扩大。 我们的方法以这项具有影响力的无标记追踪研究成果为基础，旨在克服几个关键障碍。其中一个障碍是鲁棒性较差。尽管按照上述流程训练的深度学习模型原则上可应用于训练时未曾见过的新实验设置和视觉环境，但实际上，即便是很小的变化——比如光照、摄像头位置或所测量的行为发生变化——往往也会导致准确率大幅下降。因此，新设置需要手动标注新图像并训练新模型。另一个障碍是人工标注关键点存在固有局限性：首先，只有人类能在不同图像中轻易识别的关键点才能被标注；此外，人力需求会增加时间和成本，且标注准确性会受到标注人员技能水平和一致性因素的影响。 近期，人们提出了多种无需手动标注新采集数据即可训练用于科学应用的运动捕捉模型的方法。其中一些著名方法依赖于多摄像头三维重建$^{18}$、植入式物理标记物$^{19}$，或是目标物体的预建三维模型$^{20}$。我们试图开发一种替代策略：该策略具有非侵入性，不依赖三维重建或三维模型，且能够实现受试对象的自动化高密度标注。为应对这些挑战，我们开发了GlowTrack——一种无需手动标注视频帧即可自动生成大规模、多样化图像数据集及对应地标标签的方法。为了收集这些大型训练集，我们会给受试对象标注一种仅能被可见光范围外的波长激发的荧光染料，并交替使用激发光源和可见光光源来采集染料可见或不可见的两组图像。随后对图像数据进行处理，用于训练能够识别未标注荧光染料的动物体表地标的模型。由于数据集规模和视觉多样性显著增加，采用这种方法训练的深度学习模型具备足够的鲁棒性，可在不同环境中运行，从而让实验人员有更大灵活性来调整实验设置，而无需额外标注图像或训练新模型。 我们提出了两种将荧光标签转化为训练好的地标追踪器的流程。串行标注流程能够可靠地追踪特定的感兴趣地标；并行标注流程则能追踪任意数量的自动选定地标，无需研究人员预先选定少量地标作为先验，从而减少偏差并提高覆盖范围（图1）。最终，更灵敏、可靠且全面的动作捕捉与量化方法有望在实验科学、动物行为学、临床诊断、机器人技术及增强现实领域得到广泛应用。 ## 结果 我们生成带标签图像的方法基于在感兴趣的体表区域应用隐藏式荧光基准标记，这一思路借鉴了其他应用中利用荧光染料生成真实标签数据的做法$^{21}$。在此，我们确立了用于基于深度学习的无标记追踪的隐藏式荧光方法，并开发了多项创新以优化该方法，从而实现大规模高质量标签的生成。我们描述了该标注方法的两种不同变体，每种变体都针对不同的性能特点进行了优化（图1）。 第一种变体我们称之为串行标注，它可用于标注不同表面的地标，甚至是带有毛发的有纹理表面（图1a）。在串行标注方法中，仅用荧光染料标注一个地标，然后针对每个需要标注的地标重复数据合成过程。作为概念验证，我们利用串行标注流程训练了一个用于追踪小鼠手部的鲁棒深度学习模型，并在全新的实验设置和行为模式下对其准确性进行了评估。我们还通过利用模型的实时反馈来优化相机设置，进一步提升了性能，从而获得更高的准确性。 第二种变体我们称之为并行标记，它将这一概念扩展到同时对无限数量的标志点进行标记（图1b）。在并行标记方法中，染料以随机的斑点图案施加，从而生成数百到数千个可视觉识别的局部区域，即视觉条形码（类似于生物应用中使用的合成核酸条形码 $^{22-24}$），这些条形码可以在不同图像间进行匹配。我们将这一方法应用于人手，训练深度学习模型以用户设定的密度并行追踪多个标志点。我们的方法并不局限于人手追踪——这一活跃的研究领域已有大量相关文献 $^{25-28}$；我们只是以人手作为概念验证，证明我们的数据生成技术能够快速训练出能够追踪复杂关节物体上多个点的多功能模型。 这两种变体方法有许多共同特性，为了表述清晰，我们首先介绍串行标记及相关实验，再将并行标记作为其扩展进行说明。 ## 使用隐藏荧光染料的串行标记 在串行标记流程中（图1a），使用细刷或毡头笔将单一目标标志点用紫外（UV）荧光染料标记。我们选择紫外荧光染料是因为其易于获取，但原则上也可使用在其他波长下发光的染料。紫外光与可见光光源交替闪烁，使染料在发光与不可见状态间切换（补充视频1）。随后通过后期处理从紫外光照射的图像中计算出染料区域的质心（补充图1）。每个紫外帧中的染料质心被用作后续可见帧中的代理标签，从而将每个紫外计算出的质心转移到可见图像中。这种转移方法是合理的，因为在高视频帧率下，相邻紫外帧与可见帧中标志点的位置差异可以忽略不计（图2a及补充图1；此处实验的帧率为200 Hz，属于标准机器视觉摄像机的常见范围）。通过这种方式，无需手动标注任何帧，就能生成规模庞大、多样性丰富且标注准确的图像数据集。在该流程的最后一步，这个大型数据集会经过数据增强处理（详见方法部分），同时用于训练深度学习模型，以便在没有染料的新图像中预测标志点的位置（补充图1）。 照明阶段与图像采集的相对时序至关重要。在最简单的串行标记实现中——我们称之为双相照明——每次荧光图像的采集都在紫外光源照射染料时进行，之后切换为可见光以采集可见图像（图2b，上方）。尽管这种方案直观易懂，但图像采集期间紫外光源处于开启状态，导致紫外光会渗入相机，从而降低信噪比，使得后期处理中更难定位染料（图2b，下方）。虽然在每台相机上安装光学低通滤光片能减少来自紫外光源的背景信号，但并未完全消除该信号，这可能是因为紫外LED发出的光谱较宽，其中包含一些可见光波段的波长。 仅靠光谱滤波无法解决一个更严重的问题，即场景中物体的自然荧光现象（图2b，底部）。为了消除自然场景荧光，我们开发了第二种图像采集方案，称之为三相照明。这一方案基于我们的观察：所采集场景中的自然荧光具有较短的时间衰减常数（很可能不到1微秒）。我们推断，若使用时间衰减常数较长的染料，便可在图像采集前关闭紫外光源，从而使自然荧光逐渐消退，而染料仍能短暂继续发光。 --- ![Image](images/1da90fc96127ab3df18127cc57c9ff2a4940e30933067d618c11ad9e3f97cf0d.jpg)
Fig. 1 | Hidden fluorescent labels for training versatile landmark detectors. a In the serial labeling pipeline, a target landmark is marked with a fluorescent dye. UV and visible illumination sources are strobed alternately, switching the dye between fluorescing and invisible states. The centroid of the dye region is computed in post-processing and is used as a landmark label for the subsequent visible light frame (red arrow), in which dye is invisible (see Supp. Fig. 1). In this way, a large, automatically labeled image dataset is generated and used to train a deep learning model to predict landmark locations in novel images. b In the parallel labeling
pipeline, many landmarks are labeled simultaneously with a fluorescent speckle pattern where local neighborhoods form distinctive visual barcodes. A small number of images are selected as templates (black outline), and labels are propagated from template images to all other images that contain matching barcodes (gray arrows) and then transferred to the corresponding visible light images (red arrows). These labels are then used to train a deep learning model to predict landmark locations in novel images.
（图2c，顶部）需要注意的是，较长的衰减过程通常由一种称为磷光的机制介导，但我们泛指所有衰减过程为荧光。这种方法从根本上消除了紫外光源的光泄漏以及自然场景荧光的影响（图2c，底部）。此外，由于采集紫外图像时紫外光源并不工作，因此无需使用低通滤光片来阻挡紫外线，从而简化了光学系统，降低了成本。三相照明方法使我们能够采集大量信噪比高的图像集，且无需手动剔除含有自然场景荧光的图像。后续所有实验均采用三相照明技术开展。 在图像后期处理阶段，我们会根据原始紫外图像计算标签位置（补充图1）。首先，需在紫外图像中识别出染料区域。由于三相照明方案产生的背景噪声极低，我们发现简单的阈值分割就足以生成精准的二进制掩码来界定染色区域。接下来，利用形态学算子$^{29}$对二进制掩码进行清理，以平滑边缘并消除小孔洞和杂点。最后，计算出染料区域的质心（即质量中心），并将其作为后续可见光帧的标签存储起来。对于清理步骤后染料掩码为空的所有帧（例如地标被遮挡的场景），地标位置会被标记为“不存在”并保留在训练集中，因为负样本对提升模型性能至关重要。 即便在帧率较高的情况下，当物体运动极为迅速时，生成的标签位置与后续帧中真实地标位置之间仍可能存在细微偏差。为判断这类情况是否会引发问题，我们采用线性插值和双三次插值方法，根据相邻的紫外帧来填补每个可见光帧的地标位置。然而我们发现，这种插值方案通常无法改善最终性能指标（详见下文模型评估部分），因此后续实验中并未采用该方法。 合成带标签的图像集后，序列标注流程的最后一步便是训练深度学习模型以实现地标检测。在本研究中开展的实验中，我们具体采用了DeeperCut模型的热图和细化图$^{30}$，但也可选用其他架构。必须解决的一个问题是如何处理“不存在”的地标。根据模型的不同…… --- ![Image](images/0b3ee762f4f7db8fba3d282dc4387c9c4fae20c06b2106fde74ab0793236290b.jpg)
Background signal
Fig. 2 | Triphasic illumination with delayed-decay fluorescent dye eliminates background signals. a Adjacent video frames captured under UV illumination (top) and visible illumination (bottom). b Biphasic illumination and image capture scheme (top), in which the UV image is captured while the scene is UV-illuminated. Example UV image from the biphasic scheme (bottom) showing two major sources of background signal (fluorescence of background objects, and broadband light
from the UV source; dashed outlines) that make the dye region (blue circle) difficult to isolate, especially in monochrome images. c Triphasic illumination and image capture scheme (top), in which the UV image is captured after UV illumination has been turned off. A dye with a longer temporal decay constant is required. Example UV image from the triphasic scheme (bottom) showing that background signal is eliminated. Insets in b and c show corresponding visible illumination images.
根据架构和预期的预测行为，可以采用不同的方法。DeeperCut模型会为每个地标生成一张置信度图。为了处理缺失的地标，我们调整了训练流程，促使模型在地标缺失的图像上生成全零的置信度图。因此，置信度图兼具两种功能：既编码位置不确定性，也反映地标存在的概率。为了从模型得出最终的预测结果，我们将置信度低于某一阈值的预测标签视为缺失的地标（下文中的评估指标并不要求固定阈值，而是衡量在所有可能阈值下的模型表现）。 ## 提升图像多样性 基于荧光标记的技术每秒可生成数百张带标注的图像，但这些图像往往高度冗余；目标的姿态在相邻帧之间变化不大，摄像头角度和光照条件也几乎保持不变。初步实验发现，用这类图像训练的深度学习模型仅在有限的视觉环境中才能给出准确的预测。 为了训练出在训练数据中包含更多视觉多样性的模型，我们搭建了一个配备八台摄像头和九个独立可控光源的半球形穹顶（见图3a–c和补充视频2）。该穹顶由定制3D打印部件和一些现成组件组装而成（详见方法部分）。其中一半摄像头为黑白摄像头，另一半为彩色摄像头；九个光源中有四个为红色，其余为白色。关键在于，我们在六边形面板的边缘设计了定制的LED支架，以确保紫外光照射是全方位且各向同性的，从而避免视频拍摄过程中出现紫外阴影，导致某些帧中染料无法发出荧光（见图3b）。采用穹顶结构而非直线型系统，还能让光源与目标保持均匀的距离，进一步降低紫外光各向异性。 通过在连续帧中每次仅激活一个定向光源，我们获得了光照条件更加多样的图像（见图3d、e）。此外，通过多摄像头采集视频，既增加了数据的角度多样性，又提高了单位时间内的图像采集量（见图3f和补充图2）。最后，动物会在可旋转的圆形平台上执行多种不同行为，这也进一步丰富了图像的多样性（见图3c和补充图2）。 ## 手动标注与基于荧光的标注方式对比评估 我们试图回答的一个关键问题是：能否利用源自隐藏荧光标记的大规模、多样化训练集来训练深度学习模型，使其对不同的视觉环境具有更强的鲁棒性？相比之下，传统的手动标注流程往往只能得到针对特定场景高度特化的模型。为此，我们采用上述荧光标注流程收集了大量小鼠行为数据，用于标注小鼠的一侧手部。完整数据集包含约38万张图像（388,496张），涵盖了8个拍摄角度、9种光照条件以及三种行为：抓取颗粒（每秒采集100对紫外光/可见光图像，每对图像间延迟5毫秒）、拉绳（同样为每秒100对图像）以及在围栏内自由活动（每秒2对图像）（补充图2）。该数据集被划分为约30万张训练图像（299,736张）和约8万张预留的测试图像（88,760张）。需要注意的是，与以往研究中的大多数评估不同，我们的训练图像和测试图像取自不重叠的视频片段，这增加了任务难度，也更能反映领域泛化所面临的挑战。 为了模拟通过手动标注流程训练的常规模型，我们分别从训练集和测试集中创建了子集，这些子集仅包含来自单个摄像头和单一光照条件的图像。我们将这些子集称为“统一集”，因为它们反映了固定成像条件下的单一实验设置。同样，我们将包含多种拍摄角度和光照条件的完整数据集称为“多样化集”。我们分别用从统一训练集中抽取的250张、500张和1000张图像来训练三个模型。这些样本量与手动标注通常使用的数量相当$^{11}$，我们将这些模型称为在小规模场景下训练的模型。 ---
a
![Image](images/57e075e211ef63472f313f1a30cfb910b9c2fde6937a90822403d5d24ac979d6.jpg)
d
![Image](images/c68e349f8a67b7e210ece8d5559de27a4ccdace233ec0b4c6d349ce80142de29.jpg)
b
![Image](images/6a671d0981a7ae26eb0958eb4063acc27ddbe5c61a641bb22b81b41993c0b74e.jpg) ![Image](images/fcc2114653815f54bd89e4747da03094ee586b44988a22e6f296545da9165696.jpg) ![Image](images/f9a77c36f5764e0da8dfc0b3ca7e76cf306cbf5e197c54a0398d1e9c599dbcbd.jpg) ![Image](images/9416df92a7423fb3667722942968c857c28956c530686e5b44a799d48de98495.jpg)
C
![Image](images/c62b377059ccd30e3e234069ec93b3c57b7cd4fc65ab5c5302624c378846886e.jpg) ![Image](images/ddfb825c3b3c3a2890a51a960f3b84d1fb4b8a7cd0c1735e7725718e4c77202d.jpg) ![Image](images/05179df7741b876719877500bddd0766abe5aef624856d0e59f60cb7c4032c9f.jpg)
Fig. 3 | A large, diverse training set derived from fluorescence imagery yields improved performance. a A custom-made geodesic dome with eight cameras and nine LED clusters. b Each LED cluster contains visible LEDs at the center and UV LEDs at the periphery. c The spatial configuration of lights (5 white and 4 red) and cameras (4 monochrome and 4 color). Each light module is activated independently to produce images with different illumination angles. The platform inside the dome rotates to generate diverse azimuthal angles. d Sequence of illumination and camera triggers during video capture. All UV LEDs are triggered simultaneously to eliminate UV shadows. UV and visible illumination are activated alternately. During the visible illumination phase only a single cluster (white or red light) is active, the active cluster cycling sequentially. All 8 cameras capture simultaneously. e Two images captured under different lighting conditions on adjacent frames. Landmark labels (magenta dots) are derived from the corresponding fluorescence images (not shown). f Two images captured simultaneously from different cameras, increasing angular diversity in the training data. g Precision-recall curves (left)
numbers indicate area under the curve) and pixel error quartile plots (right; center lines and numbers indicate median, boxes indicate 25th and 75th percentiles) of models trained on a single lighting condition and camera angle (uniform), and tested under the same conditions (n=1231 test images). High accuracy is achieved with only a modest number of training images (250-1000). h When tested under diverse lighting conditions and camera angles, the accuracy of models trained on the uniform image set decreases significantly (blue and gray; n=4438 test images). Training on a diverse (multiple cameras and lighting conditions) but small set of images (green, 1000 training images) shows some increase in accuracy but does not fully rescue performance (n=4438 test images). Training on ~300 k diverse images results in significant improvements (pink) that are comparable to results in g (n=4438 test images). As in g, center lines and numbers indicate median and boxes indicate 25th and 75th percentiles. Source data are provided as a Source Data file.
统一集的图像缩放比例约为每厘米100–110像素，而多样化集的图像缩放比例约为每厘米50–110像素。 为了量化模型性能，我们将模型生成的关节点预测结果与真实关节点位置进行对比，并采用多种指标进行评估。像素误差定义为预测关节点位置与对应真实位置之间的距离。所谓“目标内预测”需满足三个条件：对应的真实标签存在（即关节点可见）、预测置信度高于某一阈值，且像素误差低于某一阈值（图像宽度的5%）。召回率定义为目标内预测的数量除以关节点可见的图像总数。精确度定义为目标内预测的数量除以置信度高于阈值的所有预测总数。精确率-召回率（PR）曲线是通过对所有可能的置信度阈值计算精确率和召回率而得到的二维点集。曲线下面积（AUC）是对PR曲线的积分；其最大值为1，数值越大表明准确性越高。 与先前发表的研究结果一致$^{11}$，我们发现：在均匀数据集上训练的模型，即便训练图像数量不足1000张（即处于小规模训练阶段），在同样来自均匀数据集的保留测试图像上也能取得很高的准确率（见图3g）。例如，用1000张图像训练的模型，其AUC值达到了0.91，像素误差中值仅为5.0。接下来，为了评估这些模型在不同条件下的鲁棒性，我们将其在来自多样化数据集的保留测试图像上进行了测试。结果显示，模型的准确率大幅下降。对于用1000张图像训练的模型而言，AUC值从0.91骤降至0.33，像素误差中值则从5.0升高到145.4（见图3h）。这些结果支持了这样一种观点： --- ![Image](images/643b2824626b10faeedb5491b749da7d528e4968a129d3779c5990bae52184ab.jpg) ![Image](images/f6c7b7d9bfabeefcb7e913d851ab902dacfbb2f106716326e62a28f694bb1893.jpg) ![Image](images/74db1388c0a4ff04d98b74bcb77bd5524b4f747a16c28f60e22057897932953b.jpg) ![Image](images/f06d58633fa0562b53f8b6a2996b0508cb29509429614e9228a291f720d946b6.jpg)
Fig. 4 | Landmark detection on novel setups using test-time scale optimization. a Sample images from a challenge dataset, collected from various experimental setups. b Pixel error when running a trained model on a video clip from the challenge set. Each row represents a different spatial scale factor applied to the video clip prior to landmark detection. c Mean prediction error in pixels versus scale factor. The model exhibits a preferred scale. d Two schemes for test-time scale optimization: frame-level (solid) and clip-level (dashed). In frame-level optimization, each frame receives its own scale factor. In clip-level, all frames
share the same scale factor. e Precision-recall curves (left; numbers indicate area under the curve) and pixel error quartile plots (right; center lines and numbers indicate median, boxes indicate 25th and 75th percentiles) for the different types of scale optimization compared to performance with no scale optimization as well as small-scale regime networks from Fig. 3g, h ( $n = 612$ test images). Clip-level scale optimization achieves the highest performance. Source data are provided as a Source Data file.
在小规模训练阶段训练的模型对成像条件十分敏感。 一个自然的问题是：这种对条件的敏感性是由于训练集规模较小，还是因为其视觉多样性不足？因此，作为对比，我们也用来自多样化数据集的1000张图像训练了一个模型，并在多样化测试集上对该模型进行了评估（见图3h）。虽然该模型的准确率有所提升（AUC=0.51，像素误差中值=14.0），但相较于在均匀数据集上训练和评估的模型，其性能仍出现显著下降。这一结果表明：仅靠增加训练图像的多样性并不足以提升模型在多样化测试集上的表现；要使模型能在多变条件下表现良好，还需要更多的训练数据。为了验证这一观点，我们用多样化数据集中除保留测试集外的全部30万张图像作为子集来训练模型（见图3h）。当在来自多样化测试集的图像上评估时，该模型的准确率大幅提升（AUC=0.89，像素误差中值=4.7），其表现甚至可与使用均匀训练数据和测试数据时的效果相媲美（见图3g）。 要评估模型在一组测试图像上的表现，需要以真实标签作为基准，用来与模型生成的标签进行比较。在上述所有评估中，我们都采用基于荧光标记得到的标签作为真实标签。为了确认基于荧光标记得到的标签确实是可靠的真实标签来源，我们手动为多样化测试集的一个子集标注了标签，并用这些手动标注的标签作为真实标签重复了同样的评估（补充图3a）。评估结果并未发生变化，这证实了基于荧光标记得到的标签可作为有效的真实标签用于评估。最后，我们使用物体关键点相似性平均精度（OKS-mAP）指标对所有模型进行了评估，该指标是另一种能兼顾物体尺度和标注不确定性的常用性能指标$^{31}$，评估结果同样与此一致（补充表1）。综合来看，这些发现表明：利用我们的自动化荧光标记技术生成的大规模数据集进行训练，能使模型具备应对多变成像条件的鲁棒性，而这种鲁棒性是那些在规模更小、多样性更差的、针对特定实验装置手动标注的数据集上训练的模型所无法具备的。 ## 不同实验装置间的鲁棒性 尽管该多样化数据集涵盖了多种成像条件，但不同行为实验环境和实验室中存在的真正异质性并未得到充分体现。为了更严谨地评估这种标记方法的通用性，我们接下来研究了在大规模荧光数据集上训练的模型，在应对与其训练环境截然不同的视觉场景时的泛化能力。我们从档案视频中收集了一个挑战数据集，这些视频为黑白及彩色影像，记录了小鼠在两家实验室的十种不同视觉环境中进行的五种行为，其中动物图像尺度差异较大（每厘米约25–160像素），分辨率也各不相同（图4a）。为了获取用于评估预测准确性的真实标签，研究人员手动对挑战数据集中部分帧进行了标注。 --- 在挑战集上的评估结果显示，在小尺度数据上训练的模型表现较差（图3g、h）；例如，用多样化数据集中1000张图像训练的模型，其AUC值仅为0.21，像素误差中值为221.9。相比之下，使用多样化数据集中超过38万张图像进行训练后，模型的准确性显著提升：AUC值翻倍至0.52，像素误差中值则降低了9倍，变为24.3（图4e）。尽管增加训练数据量已经提升了准确性，我们仍希望进一步改进性能。鉴于挑战集中图像尺度的巨大差异，我们假设通过在模型处理前对测试图像的尺寸进行重新缩放，使动物的表观大小更接近训练数据中的情况，便可提高模型准确性。经测试发现，在将测试片段输入深度学习模型前，对其应用0.5到1.0的不同预缩放因子，会得到准确性各不相同的预测手部轨迹（图4b、c）。由于模型预测的准确性在特定且未知的预缩放因子下最佳，且该因子会因视频片段而异，因此我们决定在测试阶段采用尺度优化流程来进一步提升准确性。 尺度优化的目标是选取能使模型预测结果的像素误差最小的图像预缩放因子。然而通常情况下，当模型应用于视频片段时，真实标签并不可用——恰恰是在缺少标签的情况下才需要模型；因此无法直接计算像素误差。为解决这一问题，我们决定以置信度值作为替代指标来进行优化。基于置信度指标的尺度优化既可以针对每一帧单独实施（帧级尺度优化），也可以在整个视频片段上统一应用，从而使所有帧共享同一个缩放因子（片段级尺度优化）（图4d）。这两种尺度优化方式均使模型精度较原始输出有显著提升。在完整多样化数据集（380,000张图像）上训练的模型，经帧级尺度优化后AUC达到0.69，中位像素误差为14.1；而经片段级尺度优化后AUC达到0.76，中位像素误差降至11.8，其性能明显优于未经过尺度优化的模型（图4e及补充视频3）。同样，OKS-mAP指标也显示出类似结果（补充表1）。令人稍感意外的是，片段级尺度优化产生的结果始终比帧级优化更精确。我们推测这可能是因为最大化置信度而非最小化真实误差会导致最优缩放值中存在一定噪声，而对所有帧的置信度取平均值则能降低这种噪声的影响。 为进一步探究训练集特征的影响，我们进行了一系列消融实验，分别独立减少摄像头角度、光照条件以及整体训练数据集的规模。结果发现，修改这些参数中的任何一个都会对性能产生影响，其中训练数据集规模的影响最为显著（补充图3b）。我们还注意到，几种成熟的时间平滑方法能与这些训练模型生成的输出数据兼容，可用于进一步减少异常标签$^{32}$。此外，采用多摄像头进行3D姿态估计的系统，可通过识别某个摄像头的检测结果与其它摄像头的检测结果不一致的情况来进一步降低误差$^{32}$。 最后，为验证串行标注方法能否用于训练多关键点模型，我们开发了一种合并多个数据集的训练方法：每个数据集包含不同标注的关键点，最终用于训练单一模型。训练多关键点网络的常规方法是对每帧中的所有关键点进行标注（补充图4a）。我们采用了另一种称为交错训练的方法，即仅将特定训练图像中已标注的关键点纳入损失函数计算（补充图4b）。我们利用荧光标记技术收集了额外的训练数据集（126,920张图像），其中标注了小鼠足部关键点。在挑战集上测试时，同时包含小鼠手部与足部数据的多关键点模型，其表现与分别针对手部和足部训练的两个独立模型相近，这表明交错训练方案能够利用单关键点数据集构建多关键点模型（补充图4c）。 综合来看，这些结果表明：要训练出能适应不同实验环境的模型，需要大规模且多样化的数据集；而我们的荧光标记方法能够提供质量与数量均满足要求的训练数据。 ## 利用实时反馈的交互式优化 即便是一个鲁棒性良好的深度学习模型，当输入的图片与其训练数据更为相似时，也能取得更高的准确率。因此，在模型训练完成后，另一种提升性能的方法便是调整采集新视频数据时的场景，使摄像头拍摄到的图像更符合模型所偏好的图像特性。我们通过设计一个用于实时显示深度学习模型预测结果的用户界面来测试这一优化思路（补充图5a）。该界面会将最新的摄像头画面与模型预测出的地标信息叠加显示。它还会以折线图的形式展示最近k个地标预测的x坐标、y坐标以及置信度（在我们的实验中，k被设定为100，而神经网络的平均处理速度约为每秒10帧）。 为了评估实时反馈对提升性能的作用，我们设置了一台摄像头来捕捉一只头部固定的小鼠执行取水任务的过程（这种行为场景在模型训练期间并未出现）。我们在监测模型输出的同时，于三种不同条件下分别采集了几秒钟的视频。每次视频录制之间，我们都会利用实时反馈手动调整摄像头位置和光圈设置，以提高预测的置信度和稳定性。视频采集完成后，我们手动为这些视频帧标注真实值，并评估模型在这三个片段中的表现（补充图5b）。随着摄像头的不断调整，性能也逐步提升，这印证了利用实时运动学和置信度反馈来优化行为场景以适应特定深度学习模型，确实是在数据采集过程中进一步提升性能的可行方法。 ## 用于大规模并行标记的可视化条形码 虽然针对每个需要追踪的地标重复执行串行标记流程是可行的，但若要追踪大量地标，这种方式就变得不太实用。为解决这一难题，我们借鉴荧光策略开发出了一种并行标记方法，能够大幅增加可同时标记的地标数量。其核心思路是为局部区域赋予独特的可视化条形码，从而实现并行追踪，这样每帧就能生成多个地标标签，而非仅一个。 我们以人手作为概念验证对象，测试了几种生成随机可视化条形码的方法：包括涂抹悬浮在透明粘合剂中的荧光粉、用喷枪喷涂液态染料，以及通过搅动刷毛产生细雾来喷涂液态染料。我们发现刷毛喷雾法最为有效，因为它产生的斑点图案在规模和均匀性上表现更佳（图5a）。从数据采集的角度来看，串行标记和并行标记之间的唯一区别就在于染料的施加方式：前者使用标记笔，后者则采用雾化方式。为了验证我们的并行标记方法，我们采集了一个包含12,276帧的带斑点手部的视频数据集，采集速率为每秒10对图像，所用染料、照明条件和摄像头均与前述实验一致（不过仅使用了单色摄像头）。最后，我们还采集了500帧未标记手部视频。 ---
a
![Image](images/cea49ec6625ec5df49183c950808109471a90317be9815d198d8f98dcb3d83ff.jpg)
C
b
![Image](images/52e617ecb2158d249a0bed5adff6d90163c72b4a7364dc574da7be1704e9ca9c.jpg) ![Image](images/d7ccfac3951a93d1ea5ba4708a9ee8ae4ede19ea3b68bf1a862536c2106461e6.jpg)
d
e
![Image](images/d9d906f508ffdfc4c27601b8356272f52d3b5743dea1f428ce00850a2ffb6cfc.jpg) ![Image](images/c9c565046e7796ed2a73ac0bca49f1a3c4b12544fb82ee919badc085a6cb7c21.jpg)
f
![Image](images/53c655e0c15520658bf589af998de9c2c49f3bf02dd163d48d80ca22cc01b85f.jpg) ![Image](images/2460eef31cd86139cf541a5a261ac515c0a8098ded37838a1873eec5f53b7eb5.jpg)
Fig. 5 | Visual barcoding for massively parallel labeling. a Adjacent frames of visible illumination (top) and UV illumination (bottom) of the hand with hidden fluorescent speckle pattern. b Matching of visual barcodes between images using the scale-invariant feature transform (SIFT) algorithm. Each point represents a visual barcode, defined as a SIFT feature. The circle around each point represents the local image region from which the barcode descriptor is computed. c A putative match (top left, gray line) between two barcodes in a pair of non-consecutive images. The dark disks around each barcode represent circles of radius $\delta$ and $\varepsilon$. All putative matches between barcodes in two images of the hand (top right). A putative match (middle left; pink line) with no coherent neighboring matches (black lines) is likely to be an incorrect match. All such matches between the two
![Image](images/3f58985abbff6aee79907a849eb0424f5ef1ff802033820ee97fa517aae45588.jpg)
691 0 257 11
![Image](images/4ccac64ba6f768808727f7bcfce938987aceb1aa1deca965d8c4a6915b931020.jpg)
hand images (middle right), showing that these matches are nearly all spurious. A putative match (bottom left; light blue line) with at least one coherent neighboring match (black lines) is likely correct. All such matches between two hand images (bottom right). d A template image with twelve manually labeled regions delineating twelve finger segments with the palm facing up. e Twelve curves representing the number of SIFT matches between each video frame and the twelve finger segments (sum over ten labeled template images; see text). f Four sample frames showing SIFT matches corresponding to the frame in e. Numbers indicate sum of SIFT matches on each digit (three finger segments). When the palm is not visible (image 2) or a digit is occluded (image 3), no matches are detected. Source data are provided as a Source Data file.
采用不同的摄像头和照明设置作为测试数据（图像比例尺约为每厘米100像素）。 视觉条形码只有在能够在不同图像中匹配时，对训练深度学习模型才有用。例如，当手部移动时，手指尖端会在摄像头前旋转，此时需要将某一帧中的条形码与另一帧中的相同条形码进行匹配，即便它们的方向和外观发生了变化。为解决这一难题，我们采用了尺度不变特征变换（SIFT）$^{33}$——这是一种用于匹配图像间显著关键点（也称为特征）的计算机视觉技术（图5b）。虽然近年来开发的其他特征匹配算法也能有效发挥作用，但我们选择了SIFT方法，因为它在多项定量基准测试中表现优异$^{34,35}$。我们发现，成对紫外图像之间的SIFT特征匹配可产生数百到数千个匹配结果，其中只有极少部分（通常不到10%）是虚假匹配（图5c）。 为了剔除错误的匹配结果，我们开发了一种基于空间连贯性的启发式过滤方法。针对某一疑似匹配项，我们以其左端点为中心定义一个半径为 --- $\delta$的圆，同时以其右端点为中心定义另一个半径为$\varepsilon$的圆（图5c，左上角）。该匹配要被视为有效，必须至少有一个连贯的相邻匹配：即其左端点位于左侧圆内，且右端点位于右侧圆内。在本次实验中，我们将$\delta$和$\varepsilon$均设为50像素。目视检查结果显示，没有连贯相邻匹配的大多数匹配项均为虚假匹配（图5c，中间），而至少拥有一个连贯相邻匹配的匹配项则基本都是正确的（图5c，底部）。 为了直观展示SIFT匹配的数量与准确性，我们采用颜色编码的方式来表示它们所匹配的模板图像部分。具体做法是为模板图像手动标注若干不同的区域，在本例中即为手掌朝上时手指的十二个节段（图5d）。由于手部可呈现多种姿态，因此通过选择多张模板图像就能实现更密集的SIFT覆盖。此外，虽然我们主要关注的是手掌表面，但也可根据所选模板图像来优先处理手部的其他区域。为了选出既能实现良好匹配覆盖又不过于冗余的模板图像集（即包含多种姿态且十二个手指节段大多可见的模板），我们设计了一种贪心算法：该算法会迭代地选择下一张预计能与最多未匹配SIFT特征相匹配的图像作为模板（补充图6），之后再辅以少量人工筛选。通过这种可视化方法，我们发现十二个手指节段上均有密集的SIFT匹配覆盖，且在错误的手指节段上或该节段被遮挡时几乎不会出现虚假标签（特征来自10张模板图像；1000帧视频片段）（图5e、f及补充视频4）。这些结果印证了数千个荧光条形码能够在不同图像中有效匹配的观点。此外，仅需少量模板帧（本例中为10帧）即可有效覆盖全部12,000帧数据集，这充分体现了该方法的强大扩展性。 除了利用荧光斑点图案生成标签外，它还可用于从背景中分割出感兴趣的对象（补充图7）。通过精确的分割，可以用不同的随机图像替换背景来扩充训练集。在我们的实验中，这些随机图像是由复杂的噪声分布生成的，但也可以从一组自然图像中采样得到。这种数据增强方式能够提升所得到的地标检测模型的准确性和鲁棒性，下文报告的模型训练便采用了这种方法。 ## 利用视觉条形码匹配来训练深度学习模型 给定一组SIFT匹配结果后，还需要进一步处理才能生成可作为深度学习模型训练数据的地标标签。例如，在一种简单方案中，我们选取模板帧中的原始SIFT特征作为地标。随后，通过将模板中的SIFT特征与其他每一帧中的SIFT特征进行匹配，为所有其他帧生成地标标签。匹配成功的特征会被标记为$(x, y)$标签，而未匹配的特征则被标记为不存在。这种方案的缺点是SIFT匹配中的每一次失败都会直接转化为错误的训练标签。虽然采用空间连贯性滤波的SIFT匹配产生的假阳性结果极少，但假阴性问题依然突出，因为单个SIFT特征往往会在帧与帧之间丢失。我们发现，基于原始SIFT特征直接生成的地标来训练的深度学习模型无法给出合理的预测结果（即它们与真实位置的相关性较低），这或许表明由于大量错误的缺失标签，训练未能收敛到良好的模型参数。为解决这一问题并减少标注错误，我们设计了两种将SIFT特征聚合到局部邻域中的方案，以增强对匹配失败的耐受性。第一种方案我们称之为手动邻域选择（图6a–f），需要少量人工标注；第二种方案称为自动邻域选择（图6g–l），完全自动化完成。 在手动邻域选择中，用户从训练集中选取一张模板图像，并在其上手动绘制一组感兴趣的邻域，每个邻域代表一个待追踪的地标（图6a、b）。每个区域内的SIFT特征便作为一个地标的聚合模板特征。这些邻域的大小可由用户自行决定，但为了验证概念，我们使用了上文用于可视化的相同数字片段模板（图5d–f）。随后，这些聚合特征通过对各训练图像中的地标位置进行SIFT匹配，再计算所有成功匹配点的质心，从而“投票”确定地标位置。通过这种方式，假阴性的影响被大幅降低；只要存在少量真阳性匹配点，就能准确估计该区域的质心位置。 为了进一步提升匹配的可靠性，我们如上文所述，不仅在1张模板图像上，而是在10张模板图像上对手指片段进行标注（补充图6）。我们发现使用更多模板能产生更多匹配结果，且贪婪模板选择算法产生的SIFT匹配数量比随机模板采样多3到5倍（图6c）。随后，我们生成了标注有质心的训练图像，并将质心叠加在图像数据集中的手部可见图像上（图6d）。对于某些图像而言，没有单张模板图像能够为全部12个片段提供SIFT匹配，这也进一步印证了使用多张优化后的模板图像的重要性（补充图8）。 接下来，我们利用带有标签的训练数据来训练网络，以便其在无标签的测试数据上识别出我们手动标注的标记点（本例中为12个手指节段）。为了衡量模板图像数量对端到端精度的影响，我们分别用基于1张、5张和10张模板图像生成的标签来训练三个深度学习模型。这些模型在测试集上的手动标注图像上进行了评估，结果正如预期：模板图像数量越多，精度提升越显著（例如，使用10张模板时，AUC=0.76，像素误差中值为36.5；仅使用1张模板时，AUC=0.37，像素误差中值为72.7）（图6e、f及补充视频5）。 标注这10张模板图像大约需要30分钟的工时。虽然这种方法对于数量不多的标记点区域（本例中为12个）而言是可行的，但人工工作量会随着标记点数量的增多而线性增加；对于那些更难区分的小区域来说，标注难度会更大。因此，我们试图开发一种完全自动化的方法，使其能够扩展到任意数量和密度的标记点，而这一扩展仅受限于底层的SIFT匹配结果。 采用自动邻域选择方式时，用于汇总SIFT匹配的局部邻域是以每个标记点特征为中心、用户指定半径的圆圈（图6g）。在本例中，单个手指上的标记点特征之间至少相隔30像素，从而实现了表面的相对均匀覆盖（图6h）。标记点标签的计算方式如下：若某个标记点特征与某张训练图像匹配，则匹配位置即被用作标记点标签；然而，若该标记点特征未能匹配，但其局部邻域内至少有k个其他特征成功匹配，则会利用这些邻域匹配结果拟合一个局部单应性变换，进而将模板特征投影到目标图像中$^{36,37}$；投影后的位置随后被用作标记点标签（图6i，左）。这种单应性变换方案大幅提升了能成功转移到目标图像的标记点特征的比例，从不到10%提升至超过50%（图6i，右；k=10）。需注意，最高比例之所以低于100%，是因为某些帧中不存在对应的标记点。随后，整个数据集上便生成了带有标记点标签的训练图像（图6j）。 接下来，我们利用通过自动邻域选择生成的单个手指上的50个标记点来训练深度学习模型。通过使用自动选择的标记点对网络性能进行评估 ---
a
![Image](images/0796d0ef35fc3e3488e1a8a4baadb7144ba34c1a163d9a1767e9aff761bb3b18.jpg)
C
![Image](images/660178f00d5bae7a9d7005a3f0e93c1aaa3988f09a029732f015086adb751e61.jpg)
b
e
模型精度与模板数量的关系 ![Image](images/be908075c43c9e3a5a9c25334e1c8699066db19ba000822d9b24ee333fd730ec.jpg) ![Image](images/76fc78c4b3def320e718f1a2c44eeb0e89f667c806f55b8d1b48b49a8f2d536d.jpg) ![Image](images/e30d57116b08195d27bbc9573dd1edbf3809989ba09c9fb260c5f6664ba4473b.jpg)
d
![Image](images/016e0601a046e3a140999f99f1bf6c169cf3c18d36784db141f16c9bbeca8d9d.jpg) ![Image](images/c8a349fe6964dd3222ebf8b71f9a375c0925dc580ce814696b923c399f645eb5.jpg)
g
![Image](images/19d5e51cf02a188cdca953411ecdade977d734d1e97d439482489a27ae18f8c2.jpg)
h
![Image](images/d7b00b580d522cc53629f6c59084a7e9a34683aaf708e41a3f36df96fb0f9c74.jpg)
k
![Image](images/7fa1cc910c73ab77e2751904d4577db17ed06e52fab0b281860bc4d492abe018.jpg) ![Image](images/7291e4f253c3caf27ba6fcbd40fd3d0da4c9e4a5af1af26b52208c4c9accf514.jpg) ![Image](images/048dc6b204bba92e04b759e2d73650aa3c2b35a43938db7425aa8249057b57c2.jpg) ![Image](images/15bf86186f88f36ad4d1e58a7b04a8fe4b7a3bb52c62f6cb2585a276e7fd88c9.jpg)
Fig. 6 | Pipelines for training landmark detectors from visual barcode data. a–f Manual neighborhood selection. a A template image (left) is manually annotated with neighborhoods (light pink). Scale-invariant feature transform (SIFT) features in the template image (pink circles) are matched to SIFT features in a target image (right). Successful matches from each template neighborhood are pooled to produce a single landmark label (centroid) in the target image (diamond). b Example template image with twelve neighborhoods. c Greedy algorithmic selection (black) produces more SIFT matches from a given number of template images compared to random selection (gray). SIFT matches increase with number of templates used (see Supp. Fig. 6). d Example training image with labels derived from ten annotated template images transferred to the visible light image. e Precision-recall curves (left; numbers indicate area under the curve) and pixel error quartile plots (right; center lines and numbers indicate median, boxes indicate 25th and 75th percentiles) from testing on held-out data (n=2400 test labels). Using more template images increases performance. f Held-out evaluation image labeled by the trained
![Image](images/9f9bf4e53d5a3bd4b608181a7134131d9a22fbc11b109832b19a45a134bd4959.jpg)
model. Occluded regions do not receive a label. g-I Automatic neighborhood selection. g SIFT features are grouped by proximity to an active feature (left, diamond). h A template image with features selected via spatially uniform subsampling on the first digit. The minimum distance between selected features is 30 pixels. i If the active feature fails to match the target image, the neighborhood matches within a defined radius are used to estimate a local homography and reproject the active feature from template to target (left). The number of template features transferred to the target increases if homography is used. j Example training image labeled using local homographies. k Precision-recall curves (left; numbers indicate area under the curve) and pixel error quartile plots (right; center lines and numbers indicate median, boxes indicate 25th and 75th percentiles) from testing on held-out data ( $n = 2400$ test labels). Using local homographies increases performance. l Held-out evaluation image labeled by a model trained with homographies. Source data are provided as a Source Data file.
--- 由于地标数量庞大，且人类标注员难以为任意表面地标标注用于作为基准的真值（不过借助合适的计算基础设施，这并非不可能 $^{35}$），因此地标标注工作颇具挑战性。我们据此将模型与上文用于评估手动邻域选择的数字片段的手动标签进行对比测试。我们为每个数字片段选取了一个地标特征作为代理：具体而言，就是在整个评估集上，与该数字片段的真值标签最为接近的地标特征。我们发现，与仅基于直接特征匹配标注的数据训练的模型相比，使用单应性变换显著提升了模型的准确性（AUC值分别为0.71和0.07，中位像素误差分别为38.2和180.6）（图6k）。采用这种方法，我们的模型能够可靠地识别出未标记手部上的数十个地标（图6k、I以及补充视频6）。更广义而言，这些结果表明：与其像手动地标标注那样仅追踪手部等复杂物体上少量视觉上可识别的点，不如对皮肤进行密集覆盖，以监测物体在空间移动时的轮廓与形变情况。并行标注流程的完整概述详见补充材料（补充图9）。 ## 讨论 我们提出了一种生成规模足够大且多样性充足的训练数据集的方法，以此构建功能更强大的基于深度学习的动作捕捉模型。训练数据在数量和质量上的大幅提升，与深度学习领域正在发展的诸多训练流程和模型架构创新相辅相成、可相互结合。我们的方法既可以依次标注单个感兴趣的地标，也能并行标注大量地标。这些方法的扩展性共同促成了无需人工标注、耗时更少且对新视觉环境的适应性更强的自动化无标记追踪技术。 在科学应用领域的无标记姿态追踪方面，随着人体姿态检测文献中的软件工具和技术思路——尤其是与深度学习相关的成果——被适配并优化用于新用途，新方法如雨后春笋般涌现 $^{11-14,32,39,40}$。迄今为止，实验室中姿态追踪的主流模式是为每个实验设置或数据集训练全新的深度学习模型，但该领域正逐渐向适应性更强、泛化能力更佳且无需重新训练的模型发展。这一趋势在近期多项类似我们的研究中有所体现，这些研究均聚焦于合成大规模数据集。在啮齿动物姿态追踪领域，生成带标注训练数据的代表性方法有：DANNCE $^{18}$，它利用多摄像头设置和三维重建技术将标签传播到多个摄像头；CAPTURE $^{19}$，该方法使用植入皮肤的标记物；还有利用虚拟三维啮齿动物生成合成数据的研究 $^{20}$。在猴子姿态追踪方面，OpenMonkeyStudio $^{41}$ 利用多摄像头设置和标签传播技术开发了大型训练集，而MacaquePose $^{42}$ 则标注了大量野外猕猴的图像。在人类姿态追踪领域，HumanEva $^{5}$ 和 Human3.6M $^{43}$ 姿态数据集是通过基于标记的动作捕捉技术创建的，而PoseStudio $^{44}$ 数据集则是利用多摄像头设置、三维重建和标签传播技术创建的。用于人类手部姿态研究的FreiHand数据集 $^{28}$ 则通过可变形三维模型从多摄像头图像中提取手指姿态。 在这里，我们采用了一种不同的方法来生成用于训练姿态估计模型的大规模数据集——荧光标记法。与其他标签生成技术相比，荧光标记法的优势在于它不需要3D模型或3D重建（这对某些研究对象而言可能具有挑战性）。该方法在计算需求方面也较为简单，因此对许多实验室来说都是颇具吸引力的选择。虽然从概念上讲这是一种基于标记的技术，但只需将荧光染料应用于一个或少数几个研究对象，就能生成海量训练数据；而且与反光标记或不透明涂料相比，实验动物对荧光染料的耐受性可能更好。需要注意的是，染料必须与研究对象相容，且用于激发染料的照明强度需与到研究对象距离的平方成正比。此外，染料区域的大小也必须足够大，以便摄像头能够稳定识别。 此前已有多项研究利用荧光图像作为训练预测模型的基准数据来源。例如，近期已有研究采用荧光标记法来训练深度学习模型，以预测显微镜图像中的感兴趣特征$^{45,46}$。隐藏式荧光标记也被用于生成计算机视觉领域的基准数据，其中与我们方法最相关的是Middlebury光流数据集$^{21}$。在该研究中，研究人员在多个场景上绘制了隐藏的荧光散斑图案，并在场景发生微小扰动前后，分别在可见光和紫外光下拍摄这些场景。利用紫外图像中可见的散斑图案来计算扰动场景与未扰动场景之间的光流（即密集的二维对应图），进而利用基准数据优化光流算法。 我们在荧光标记的核心思路上进行了多项创新：a) 利用荧光标记来训练无标记跟踪模型；b) 采用三相照明以消除背景荧光；c) 运用多种光源、相机类型、拍摄角度及运动模式，以减少视觉冗余并提升数据多样性；d) 利用视觉条形码和SIFT特征来并行跟踪并标记多个地标。虽然我们的研究聚焦于生命科学领域动作捕捉应用，但我们开发的荧光标记方法具有通用性，也可用于其他姿态跟踪场景——只要相关物体能在模型训练前于受控环境中被离线成像即可。 我们的尺度优化流程与大量关于关键点估计和测试时增强的研究密切相关，尤其是在人体相关领域$^{47-49}$。与我们的方法类似，测试时增强技术是将神经网络应用于特定测试图像的不同变换版本，再对得到的预测结果进行处理，从而得出原始图像的单一高精度预测值。以往关于测试时增强的研究多集中于单图像情形，此时与我们的数据不同，视频各帧之间不会共享信息。为了整合针对单张图像生成的多个预测结果，现有策略要么采用平均值$^{47,49}$，要么使用学习到的函数$^{48}$。我们的研究表明，跨多个视频帧的测试时增强或许会成为未来值得探索的方向。同时，像我们这样用于优化置信度分数的启发式方法，若使用不当也可能导致更高的假阳性率。例如，若采用置信度阈值，就必须对其进行适当调整。 我们的并行标记方法也与计算机视觉领域的诸多先前研究相关，包括无监督关键点检测、表面跟踪以及基于姿态的地标检测监督。无监督关键点检测是指无需实验者提供特定标签，就能从图像数据中发现视觉关键点。例如，已有研究表明：仅利用不同视角下同一刚体物体的多张图像的相对相机视角作为监督信号，便可训练神经网络检测出任意数量的关键点$^{50}$。类似地，神经网络自编码器已被用于从包含人脸、猫头以及人体姿态的大型图像集中自动提取潜在的地标$^{51}$。表面跟踪是指随时间跟踪表面上每个点的任务，通常基于视频数据流中的连续帧来完成。一些典型的例子包括DynamicFusion$^{52}$——该技术利用深度数据实时跟踪非刚性物体；以及可变形神经辐射场$^{53}$——该技术能够 --- 从一系列2D图像中跟踪并重建非刚性物体。基于姿态的地标检测监督是指利用某一数据源中的姿态数据来训练在另一数据源（通常是单目图像）上运行的地标检测器。一些实例包括利用深度数据训练单目手部姿态检测器$^{54}$，以及利用带有部分标签的多摄像头数据训练单目人体姿态检测器$^{44}$。 尽管基于SIFT特征的并行标记方法为密集跟踪皮肤等可变形表面提供了强大的手段，但它仍受限于仅适用于具有特定属性的表面。具体而言，将并行标记技术应用于小鼠身上多个地标的跟踪时，仍面临毛发带来的挑战，这也是未来研究的重点。另一个需要考虑的因素是：能够并行跟踪的点数取决于散斑图案的密度，而散斑图案决定了SIFT特征的空间密度。此外，大多数商用荧光染料的衰减速度过快，无法满足我们的三相照明方案要求；我们仅找到一种具备所需毫秒级衰减常数的染料。展望未来，若能开发出更多具备毫秒级荧光寿命且发射波长多样的染料，就能实现基于颜色复用的并行荧光标记方法，从而结合此处介绍的串行与并行标记方法的优势，在包括毛发在内的更广泛表面类型上发挥作用。用于显微镜观察的荧光及磷光染料，正是开发具备上述特性的染料的相关领域之一$^{46,55-59}$。 随着功能更强大且自动化的姿态估计工具的出现，行为研究领域产生的运动数据量正迅速增长。能够解析这类运动数据的分析技术——其中不少已经研发出来$^{60-64}$——其实用性还将持续提升。例如，能够检测并表征疾病早期阶段细微运动变化的技术，可能会改变前驱病理的检测方式以及治疗干预效果的评估方法。最终，这些在运动跟踪与量化方面的进步，能够辅助并增强训练有素的人类观察员的洞察力。 ## 方法 本研究中的动物实验均依照美国国立卫生研究院制定的动物研究指南进行，并获得了索尔克生物研究所动物护理与使用委员会的批准。本文中涉及的人类受试者研究均符合相关伦理规范，均在获得知情同意的前提下开展，且符合索尔克生物研究所伦理审查委员会对于良性行为干预豁免的标准。 ## 硬件与软件 视频采集使用了八台USB3相机：四台为黑白相机（Basler Ace acA1440-220um，搭配16毫米Tamron镜头M118FM16），四台为彩色相机（Basler Ace acA1920-155uc，搭配8毫米Tamron镜头M118FM08）。这些相机通过GPIO输出引脚由Arduino Due微控制器触发。图像采集则在台式机上利用Basler Pylon 5 C++ API完成。 紫外光照明由三十个LED模块提供（波长400–410纳米；LED Supply公司产品，型号A008-UV400-65），每个模块包含三个LED，它们被安装成五个六边形阵列，每个阵列包含六个模块。每个六边形阵列由定制的3D打印面板和背板构成，二者通过机螺钉固定，LED模块则夹在中间。可见光照明采用类似的LED配置：五个阵列各包含四个白色LED模块（LED Supply公司产品，型号CREEXHP35-765-3），四个阵列各包含四个红色LED模块（LED Supply公司产品，型号CREEXPE2-RED-3）。之所以选用红色LED模块，是因为在啮齿类动物行为实验中，通常会调整昼夜周期，使小鼠仅在红光环境下接受测试。这些LED由同一块Arduino Due微控制器通过功率MOSFET驱动，电源则由BK Precision 1672可调电源供应（Test Equipment Depot公司产品，）。 相机和LED被安装在一个2V结构的球形穹顶上。该穹顶由¼英寸厚的铝制圆柱形支架构成，两端通过双组分环氧树脂（J-B Weld 50176 KwikWeld）粘接3D打印的安装附件。穹顶的每个顶点都是一个3D打印的圆形枢纽，支架通过螺钉与之固定。这种设计使得穹顶的各个部件可根据需要拆卸和重新组装，只需拧开相应的螺钉即可。所有3D打印工作均使用FormLabs Form 2打印机及FormLabs Tough Resin材料（型号RS-F2-TOTL-05）完成。 穹顶内部，动物的行为实验装置被放置在一个旋转平台上，该平台由一个$\frac{1}{2}$英寸厚的亚克力圆盘构成，圆盘安装在环形轨道上。亚克力圆盘表面覆盖着一层$\frac{1}{4}$英寸厚的黑色聚氨酯垫，该垫子经过中等粗细砂纸轻度打磨，以增加摩擦力。 用于小鼠和手部数据集的荧光染料为Opticz Bright Red UV Blacklight Reactive Invisible Ink（DirectGlow公司产品，型号DGINK1OZR）。 ## 小鼠多样性数据集采集 数据来源于成年C57BL/6品系雄性和雌性小鼠（8–12周龄），这些小鼠饲养在12小时光照/12小时黑暗的周期下，环境温度为65–75°F，湿度为40–60%。训练数据以及统一且多样化的预留数据来自2只雄性和2只雌性小鼠。挑战数据则由14只雄性和雌性小鼠的视频组成（由于这些视频是从多个实验室的存档视频中随机选取的，因此具体的性别和年龄分布不详）。 在视频拍摄前，动物会用1–3%的异氟醚进行麻醉，随后用毡尖笔将荧光染料涂抹在目标区域。在所有实验中，整个手或脚的腹侧和背侧都会被涂上染料，直至手腕或脚踝处。视频录制前需让染料干燥5分钟，并在紫外光下检查动物身上是否有超出目标区域的染料残留。 在两天内记录小鼠执行三种行为：伸爪取食、拉绳和自由活动。对于伸爪取食任务 $^{8}$，训练方案是将小鼠放入一个高 20 cm $\times$ 宽 8.5 cm $\times$ 长 19.5 cm 的透明亚克力盒中，盒子端墙上有一个宽 0.9 cm、高 9 cm 的开口。一个 3D 打印的、高 1.8 cm 的底座（用于盛放食物颗粒（20 mg，直径 3 mm；BioServ））被放置在盒开口前方 1 cm 处，并相对开口侧向偏移 0.5 cm，且位于偏好的伸爪前肢的对侧。食物颗粒被放置在底座顶部作为伸爪取食目标。小鼠被限制食物摄入至原体重的 -85%，并接受训练以伸爪获取食物颗粒，训练时长为 20 min 或直到完成 20 次成功伸爪（定义为取回颗粒）。对于拉绳行为 $^{65}$，动物按上述方式限制食物摄入。在开放笼子上方悬挂 10 至 20 根绳子；绳子的一端置于动物可触及范围内，另一端系有食物奖励。动物很快学会将绳子拉入笼中以获得奖励。对于自由活动行为，动物未接受任何训练或食物奖励，并被允许在围栏内自由活动。 对于所有行为，摄像机在交替的可见光和紫外光照射下以200 Hz的帧率和$848 \times 848$的分辨率采集图像，时间上相邻的图像会被配对。在双相和三相照明方案中，摄像机和灯光均以10毫秒的周期触发。双相模式下，紫外光在0至5毫秒期间开启，可见光在5至10毫秒期间开启。摄像机快门分别在2.5毫秒和7.5毫秒时触发，曝光时间为2毫秒。三相模式下的所有时间参数与双相模式相同，唯一区别是紫外光在2.5毫秒时熄灭。对于自由活动行为，为了降低数据带宽需求， --- 每50对图像中仅有1对会被记录到磁盘中（每秒2对）。对于伸手取食和拉绳行为，所有图像对均以每秒100对的全速率记录，但为了降低数据带宽需求，仅当实验者观察到个体进行伸手或拉绳动作时才启动记录。为了减少因行为开始与实验者启动视频录制之间的延迟而导致的帧丢失，图像对会先持续保存到内存中的100对缓冲区，待视频录制启动时再写入磁盘。 统一测试集包含1231帧图像。多样化测试集包含4438张测试图像，其中一半经人工标注边界框以计算OKS-mAP指标（补充表1），另有600张图像经人工标注关键点位置，用于比较荧光衍生标签与人工标注的基准真值（补充图3a）。OKS-mAP指标是使用COCO Analyze Python包$^{31}$计算得出的。 ## 小鼠挑战数据集收集 为了创建挑战数据集，我们从多种存档数据集中抽取了样本。这些数据集包含了来自两个实验室（Azim和Goulding）的雄性和雌性小鼠视频、五种不同行为（抓取颗粒、头部固定式取水、跑步机平衡木、拉绳）、彩色及灰度图像，以及大约25-160像素/厘米的图像尺度范围。所有数据都是在不同于多样化数据集的光照条件和摄像头下采集的（共涉及十种视觉环境，对应不同的摄像头和灯光配置）。取水、跑步机、拉绳及平衡木行为是在与多样化数据集中所用设备不同的行为装置上采集的。 每个存档数据集包含的视频数量及长度各不相同。若直接合并所有数据集，会导致各数据集的帧数严重失衡。因此，我们根据具体视频大小，从每个数据集中抽取4-16个片段，以使各数据集的帧数更加均衡。随后，我们从这些片段中随机抽取660张图像来标注真实标签。 为了为挑战集生成真实标签，我们使用开源网页应用LabelStudio $^{66}$ 对抽样的图像进行人工标注。每帧图像由两名标注员共同标注。标注员被要求除非某个标志点位置显而易见，否则不得猜测其位置。如果标志点超出摄像头视野或被遮挡以至于无法确定其精确位置，标注员需将其标记为“不存在”。只有两名标注员均标记该标志点为“不存在”，或两人标注结果相差在5像素以内的帧才会被保留到最终标签集中。每张图像的两名标注员所标出的标志点位置会取平均值，以此得出最终的真实位置。经过标签协调流程后，挑战集中共有612张已标注图像。 ## 深度学习模型训练 本次实验所用深度学习模型（包括小鼠和人类手部相关实验）均为DeeperCut模型，该模型基于在ImageNet上预训练、并在给定训练数据集上微调的ResNet-101架构 $^{10,30,67}$。我们让每个模型训练412万次迭代，图像缩放因子设为0.8。这些参数均通过一维网格搜索确定。其余训练参数则采用默认值 $^{30}$。神经网络的步长为8，因此输出的热图和优化图在每个维度上的尺寸仅为输入图像的1/8到1/10（例如，对于$86 \times 86$像素大小的训练图像，网络会生成$848 \times 848$像素大小的输出图）。训练期间我们采用了比原始DeeperCut实现更丰富的数据增强手段。在DeeperCut处理每张训练图像前，会先用“imaug” Python包对其随机扰动。我们对每张训练图像随机应用高斯模糊（sigma范围为0.0到0.5）、随机对比度缩放（缩放因子范围为0.75到1.5）、加性高斯噪声（sigma为最大亮度的5%）、随机通道缩放（缩放因子范围为0.8到1.2）、随机裁剪（0-10%）、随机仿射变换（缩放范围为0.8-1.2，平移范围为0.8-1.2，旋转角度$\pm$为15度，剪切角度$\pm$为8度），以及以50%的概率将彩色图像转换为灰度图像。 在交错训练流程中（补充图4），多地标神经网络是在一个包含126,920张小鼠足部被荧光标记的图像的数据集上训练的，同时还有来自另一数据集的388,496张小鼠手部被荧光标记的图像。DeeperCut目标函数经过了修改：对于每张图像，只有该图像中所标注地标的置信度输出图才会对目标函数产生影响。例如，在足部被标注的图像中，手部的置信度输出图不会对目标函数产生贡献。所有其他训练参数与其他在多样化训练集上训练的模型保持一致。 对于人类手部数据集，我们计算了荧光掩膜以将手部从背景中分割出来，并通过随机合成的背景图像来扩充训练数据。这种随机背景是通过组合多种噪声函数生成的，这些函数能产生高空间频率和低空间频率的噪声。 ## 标签后处理与实时优化 在测试阶段，我们采用两级一维分层网格搜索来进行尺度优化。首先，在较粗略的尺度范围内计算目标值（$2^k$，其中k的取值范围为-1到1，步长为0.5）；接着，在以上一级得出的最优值为中心的更精细的尺度范围内继续计算（$2^{k+1}$，其中j的取值范围为-0.33到0.33，步长为0.16）。我们尝试了两种代理指标：平滑度，通过相邻帧之间地标位移距离的平均值来衡量（即平均速度）；以及置信度，由模型在整个视频片段中的预测结果的平均置信度定义。我们发现，平滑度指标有时无法准确反映轨迹的准确性；有些看似平滑的轨迹实际上却是虚假的。而置信度指标似乎不存在这类问题。因此，本文中呈现的所有实验均采用平均置信度作为待优化的目标函数。对于图像级的尺度优化，需针对每张图像独立重复这一搜索过程；而对于视频片段级的尺度优化，则对视频中的所有图像执行一次该过程。 为了实现图像采集的交互式实时可视化调整，我们开发了一个用户界面：该界面会向用户显示实时视频，上面叠加有模型预测的地标标签，同时还会展示该地标最近100个x坐标、y坐标以及随时间变化的置信度数值的图表。该图表会以大约每秒10帧的平均速率实时更新，从而使用户能够交互式地调整动物的位置、摄像头和照明条件。 ## 视觉条形码技术 我们使用刷子将染料涂抹在人类手上，使其形成细雾：先将染料装入硬毛牙刷中，搅动刷毛，随后让产生的雾气落在目标物体上。此过程在紫外光照射下进行以便监测目标的覆盖情况，之后让染料干燥五分钟。由于仅有一名男性参与者，因此按性别或性别认同进行分类并无意义。我们已获得该参与者同意，可公布可能用于识别其身份的信息。 ## 视频数据是使用上述相同的视频采集设备从一只手上采集的。OpenCV $^{37}$被用于计算SIFT特征并执行SIFT匹配。SIFT特征的计算过程如下： --- 对比阈值为 0.01，其余所有参数均设置为默认值。 为了减少虚假匹配的数量，我们采用了空间一致性过滤方法。在我们的过滤算法中，一个疑似匹配项 $(a, b)$ 要被视为有效匹配，它必须至少有一个相邻的、一致的匹配项。如果相邻匹配项 $(c, d)$ 的左端点 a 和 c 之间的距离不超过 $\delta$，且 b 和 d 之间的距离不超过 $\varepsilon$，则该相邻匹配项就被认为是具有一致性的。在我们的实验中，我们将 $\delta$ 和 $\varepsilon$ 的值均设为 50 像素。借助 Python 包“scipy.spatial”中的 KD 树实现，我们能够高效地计算出相邻匹配项 $^{68}$。 在选择模板图谱图像时，我们使用了一种算法来对所有的训练图像进行排序。我们的排序算法是迭代且贪婪的：它会反复从训练集中选出下一个最优图像。具体来说，它会选择能与训练集中最多未匹配 SIFT 特征相匹配的训练图像。随后，所有与该选定图像匹配的 SIFT 特征都会被标记为已匹配。我们通过修改已发布的 C++ 代码 $^{69}$ 来实现该算法，从而利用词汇树 $^{70}$ 进行大规模近似 SIFT 匹配。具体而言，我们修改了词汇树的实现方式，使其采用上述简单的加权方案，而非原论文中更复杂的 TFIDF 方案 $^{70}$。 首先，对训练集中的所有图像计算 SIFT 特征，并使用近似 k-means 算法将其分为 500,000 个簇。每个特征会被赋予一个权重，该权重等于其所在簇中特征的数量。接着，每幅图像的权重等于其所有特征的权重之和；该图像权重代表了该图像能够匹配到的整个数据集中特征数量的估计值。权重最大的图像便是算法选出的下一幅图像。最后，减小被选定图像所匹配到的特征的权重，更新所有图像的权重，再选出下一幅图像。通过这一流程，我们自动选出了前 100 个候选模板，随后手动将其精简为 10 张最终用于手掌建模的模板图像。之后，我们使用 Adobe Photoshop 为每张模板图像创建了 12 个二值掩码，用以标示该模板中 12 个手指片段的范围。 为了可视化并量化 SIFT 匹配的数量，我们选用了一段长度为 1000 帧、不含模板图像的视频片段作为起点。我们计算了每张模板图像与该视频片段中每一帧之间的匹配数量。随后，针对每个手指片段，我们计算其在所有模板下的总匹配数。这一过程最终得到了 12 个数字，分别代表了视频片段中每一帧上各手指片段的匹配计数。最后，对于每一帧，我们都会用不同颜色绘制散点图，以展示来自各个模板片段的匹配结果。 用于生成标签的手动邻域选择流程与上述过程非常相似。唯一的不同之处在于多了一个步骤：将某个片段对应的所有匹配项汇总起来，从而为该片段生成标签。汇总方式如下：若该片段至少有5个匹配项，则取x值和y值的中位数，分别作为标签的x坐标和y坐标；若该片段的匹配项少于5个，则将其标记为“不存在”。用这种方式生成的标签随后被用于训练DeeperCut模型，以预测12个手指片段的位置。在评估时，研究人员使用LabelStudio手动生成了真实标签。 自动邻域选择流程的结构如下：首先，选取单张模板图像作为基准图像。通过迭代选取一个SIFT特征，然后移除其周围30像素范围内的其他特征（利用KD树实现），从而选出基准图像中的一部分SIFT特征。随机选取种子点，且通过最小距离要求确保这些种子点彼此不重叠。随后，将每个种子点一定半径内的点视为一个簇，因此有些点会属于多个簇。这种方法最终得到一组间距至少为30像素的模板特征，它们构成了深度学习模型所追踪的地标点。对于训练集中的每一帧视频，都会计算基准图像与目标帧之间的SIFT匹配项。若某模板特征能在目标图像中找到匹配项，则将该匹配项在目标图像中的位置作为地标点的位置；若某个模板特征未能匹配到目标图像，则使用其周围30像素范围内成功匹配的邻近特征作为替代；这些匹配项会被用来通过OpenCV $^{37}$拟合局部单应性矩阵，再利用该矩阵将基准图像中原始模板特征的位置转换到目标图像中。 ## 报告摘要 关于研究设计的更多信息，可参阅本文附带的Nature Portfolio报告摘要。 ## 数据可用性 支持本文所述研究结果的所有数据均可在文章及补充信息中找到。支撑本研究结果的主要图像数据集已在线公开提供()。源数据也随论文一并提供。 ## 代码可用性 公共Github仓库()中提供的材料包括：穹顶制造的设计文件、图像采集代码、Arduino控制代码、用于处理频闪荧光视频、生成动作捕捉模型以及评估模型性能的软件包，还有用于实时查看频闪荧光视频和动作捕捉模型输出的图形界面。该代码仓库已被存档$^{71}$。相关询问和请求请发送给E.A.()。 ## 参考文献 [^1]: Tinbergen, N. On aims and methods of Ethology. Z. f.ür. Tierpsychol. 20, 410–433 (1963). [^2]: Whishaw, I. Q. & Pellis, S. M. The structure of skilled forelimb reaching in the rat: A proximally driven movement with a single distal rotatory component. Behav. Brain Res. 41, 49–59 (1990). [^3]: Chan, S. S. & Moran, D. W. Computational model of a primate arm: from hand position to joint angles, joint torques and muscle forces. J. Neural Eng. 3, 327 (2006). [^4]: Peikon, I. D., Fitzsimmons, N. A., Lebedev, M. A. & Nicolelis, M. A. Three-dimensional, automated, real-time video system for tracking limb motion in brain-machine interface studies. J. Neurosci. Methods 180, 224–233 (2009). 5. Sigal, L., Balan, A. O. & Black, M. J. HumanEva：用于评估关节型人体$^{\dagger}$运动同步视频与动作捕捉数据集及基准算法。《国际计算机视觉杂志》第87卷，第4–27页（2009年）。 [^6]: Fitzsimmons, N., Lebedev, M., Peikon, I. & Nicolelis, M. A. Extracting kinematic parameters for monkey bipedal walking from cortical neuronal ensemble activity. Front. Integr. Neurosci. 3, 3 (2009). [^7]: Vargas-Irwin, C. E. et al. Decoding complete reach and grasp actions from local primary motor cortex populations. J. Neurosci. 30, 9659–9669 (2010). [^8]: Azim, E., Jiang, J., Alstermark, B. & Jessell, T. M. Skilled reaching relies on a V2a propriospinal internal copy circuit. Nature 508, 357–363 (2014). [^9]: LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. Proc. IEEE 86, 2278–2324 (1998). [^10]: Goodfellow, I., Bengio, Y. & Courville, A. Deep learning. (MIT press, 2016). ## [^11]: Mathis, A. et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat. Neurosci. 21, 1281–1289 (2018) --- [^12]: Pereira, T. D. et al. Fast animal pose estimation using deep neural networks. Nat. Methods 16, 117–125 (2019). [^13]: Pereira, T. D. et al. SLEAP: A deep learning system for multi-animal pose tracking. Nat. Methods 19, 486–495 (2022). [^14]: Graving, J. M. et al. DeepPoseKit, a software toolkit for fast and robust animal pose estimation using deep learning. Elife 8, e47994 (2019). [^15]: Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G. & Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. Elife 4, e07892 (2015). [^16]: Mathis, A., Schneider, S., Lauer, J. & Mathis, M. W. A Primer on Motion Capture with Deep Learning: Principles, Pitfalls, and Perspectives. Neuron 108, 44–65 (2020). [^17]: Hausmann, S. B., Vargas, A. M., Mathis, A. & Mathis, M. W. Measuring and modeling the motor system with machine learning. Curr. Opin. Neurobiol. 70, 11–23 (2021). [^18]: Dunn, T. W. et al. Geometric deep learning enables 3D kinematic profiling across species and environments. Nat. Methods 18, 564–573 (2021). [^19]: Marshall, J. D. et al. Continuous Whole-Body 3D Kinematic Recordings across the Rodent Behavioral Repertoire. Neuron 109, 420–437.e428 (2021). [^20]: Bolaños, L. A. et al. A 3D virtual mouse generates synthetic training data for behavioral analysis. Nat. Methods 18, 378–381 (2021). [^21]: Baker, S. et al. A Database and Evaluation Methodology for Optical Flow. Int. J. Comput. Vis. 92, 1–31 (2007). [^22]: Klein, A. M. et al. Droplet Barcoding for Single-Cell Transcriptomics Applied to Embryonic Stem Cells. Cell 161, 1187–1201 (2015). [^23]: Zilionis, R. et al. Single-cell barcoding and sequencing using droplet microfluidics. Nat. Protoc. 12, 44–73 (2017). [^24]: Macosko, E. Z. et al. Highly Parallel Genome-wide Expression Profiling of Individual Cells Using Nanoliter Droplets. Cell 161, 1202–1214 (2015). [^25]: Ballan, L., Taneja, A., Gall, J., Gool, L. V. & Pollefeys, M. Motion Capture of Hands in Action Using Discriminative Salient Points. European Conference on Computer Vision (2012). [^26]: Mueller, F. et al. GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB. IEEE Conference on Computer Vision and Pattern Recognition (2018). [^27]: Oikonomidis, I., Kyriazis, N. & Argyros, A. A. Efficient model-based 3D tracking of hand articulations using Kinect. British Machine Vision Conference (2011). [^28]: Zimmermann, C. et al. FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape From Single RGB Images. IEEE International Conference on Computer Vision (2019). [^29]: Walt, S. V. D. et al. scikit-image: image processing in Python. PeerJ 2 (2014). [^30]: Insafutdinov, E., Pishchulin, L., Andres, B., Andriluka, M. & Schiele, B. DeeperCut: A Deeper, Stronger, and Faster Multi-person Pose Estimation Model. European Conference on Computer Vision (2016). [^31]: Ronchi, M. R. & Perona, P. Benchmarking and Error Diagnosis in Multi-instance Pose Estimation. IEEE International Conference on Computer Vision (2017). [^32]: Karashchuk, P. et al. Anipose: A toolkit for robust markerless 3D pose estimation. Cell Rep. 36, 109730 (2021). [^33]: Lowe, D. G. Distinctive Image Features from Scale-Invariant Keypoints. Int. J. Comput. Vis. 60, 91–110 (2004). [^34]: Jin, Y. et al. Image Matching Across Wide Baselines: From Paper to Practice. Int. J. Comput. Vis. 129, 517–547 (2021). [^35]: Schönberger, J. L., Hardmeier, H., Sattler, T. & Pollefeys, M. Comparative Evaluation of Hand-Crafted and Learned Local Features. IEEE Conference on Computer Vision and Pattern Recognition (2017). [^37]: Bradski, G. & Kaehler, A. OpenCV. Dr. Dobb's journal of software tools 3 (2000). [^36]: Szeliski, R. Computer vision: algorithms and applications. (Springer Science & Business Media, 2010). [^38]: Güler, R. A., Neverova, N. & Kokkinos, I. Densepose: Dense human pose estimation in the wild. IEEE Conference on Computer Vision and Pattern Recognition (2018). [^39]: Lauer, J. et al. Multi-animal pose estimation, identification and tracking with DeepLabCut. Nat. Methods 19, 496–504 (2022). [^40]: Zuffi, S., Kanazawa, A., Jacobs, D. W. & Black, M. J. 3D Menagerie: Modeling the 3D Shape and Pose of Animals. IEEE Conference on Computer Vision and Pattern Recognition (2017). [^41]: Bala, P. C. et al. Automated markerless pose estimation in freely moving macaques with OpenMonkeyStudio. Nat. Commun. 11, 4560 (2020). 42. Labuguen, R.等人。MacaquePose：一种全新的野生猕猴姿态数据集，可用于无标记动作捕捉。《前沿行为神经科学》第14卷，（2021年）。 [^43]: Ionescu, C., Papava, D., Olaru, V. & Sminchisescu, C. Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments. IEEE Trans. Pattern Anal. Mach. Intell. 36, 1325–1339 (2014). [^44]: Joo, H. et al. Panoptic Studio: A Massively Multiview System for Social Motion Capture. IEEE International Conference on Computer Vision (2015). [^45]: Christiansen, E. M. et al. In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images. Cell 173, 792–803.e719 (2018). [^46]: Wang, H. et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy. Nat. Methods 16, 103–110 (2018). [^47]: Kim, I., Kim, Y. & Kim, S. Learning loss for test-time augmentation. Adv. Neural Inform. Process. Sys. 33, 4163–4174 (2020). [^48]: Shanmugam, D., Blalock, D., Balakrishnan, G. & Guttag, J. Better aggregation in test-time augmentation. IEEE International Conference on Computer Vision (2021). [^49]: Krizhevsky, A., Sutskever, I. & Hinton, G. E. Imagenet classification with deep convolutional neural networks. Commun. ACM 60, 84–90 (2017). [^50]: Suwajanakorn, S., Snavely, N., Tompson, J. & Norouzi, M. Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning. Neural Inform. Process. Sys. 31, 2063–2074 (2018). [^51]: Zhang, Y. et al. Unsupervised Discovery of Object Landmarks as Structural Representations. IEEE Conference on Computer Vision and Pattern Recognition (2018). [^52]: Newcombe, R. A., Fox, D. & Seitz, S. M. Dynamic Fusion: Reconstruction and Tracking of Non-Rigid Scenes in Real-Time. IEEE Conference on Computer Vision and Pattern Recognition (2015). [^53]: Park, K. et al. Nerfies: Deformable Neural Radiance Fields. IEEE International Conference on Computer Vision (2021). [^54]: Han, S. et al. MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Trans. Graph. 39, 87 (2020). [^55]: Lakowicz, J. R. Principles of fluorescence spectroscopy. (Springer, 2006). [^56]: Li, D. D.-U. et al. Video-rate fluorescence lifetime imaging camera with CMOS single-photon avalanche diode arrays and high-speed imaging algorithm. J. Biomed. Opt. 16, 096012 (2011). 57. Poudel, C., Mela, I. 和 Kaminski, C. F. 高通量、多参数且相关的荧光寿命成像方法。《荧光的方法与应用》$\mathbf{8}$（2020年）。 [^58]: Howard, S. S., Straub, A., Horton, N. G., Kobat, D. & Xu, C. Frequency Multiplexed In Vivo Multiphoton Phosphorescence Lifetime Microscopy. Nat. Photonics 7, 33–37 (2013). ## [^59]: Vanderkooi, J. M., Maniara, G., Green, T. J. & Wilson, D. F. An optical method for measurement of dioxygen concentration based upon quenching of phosphorescence. J. Biol. Chem. 262, 5476–5482 (1987) --- ## 文章 60. Branson, K., Robie, A., Bender, J. A., Perona, P. 和 Dickinson, M. H. 大群体果蝇的高通量行为组学研究。《自然·方法》第6卷，第451–457页（2009年）。 61. Wiltschko, A. B. 等。小鼠行为的亚秒级结构映射。《神经元》第88卷，第1121–1135页（2015年）。 62. Berman, G. J., Bialek, W. 和 Shaevitz, J. W. 果蝇行为的可预测性与层级性。《美国国家科学院院刊》第113卷，第11943–11948页（2016年）。 63. Calhoun, A. J., Pillow, J. W. 和 Murthy, M. 无监督识别塑造自然行为的内部状态。《自然·神经科学》第22卷，第2040–2049页（2019年）。 64. Dennis, E. J. 等。啮齿动物自然行为的系统神经科学研究。《神经科学杂志》第41卷，第911–919页（2021年）。 65. Conner, J. M. 等。灵巧运动执行中触觉反馈的调节。《科学》第374卷，第316–323页（2021年）。 66. Tkachenko, M., Malyuk, M., Shevchenko, N., Holanyuk, A. 和 Liubimov, N. Label Studio：数据标注软件，（2021年）。 67. He, K., Zhang, X., Ren, S. 和 Sun, J. 用于图像识别的深度残差学习。IEEE计算机视觉与模式识别会议（2016年）。 68. Virtanen, P. 等。SciPy 1.0：Python科学计算的基础算法。《自然·方法》第17卷，第261–272页（2020年）。 69. Agarwal, S., Snavely, N., Simon, I., Seitz, S. M. 和 Szeliski, R. 一天内构建罗马城。IEEE国际计算机视觉会议（2009年）。 70. Nisté, D. 和 Stewénius, H. 基于词汇树的可扩展识别技术。IEEE计算机视觉与模式识别会议（2006年）。 71. Butler, D. 用于训练通用无标记动作捕捉模型的隐藏荧光标签的大规模采集，（2023年）。 ## 致谢 我们感谢E. Sanders、A. Thanawalla和N. Baltar（索尔克研究所）提供训练用小鼠及存档视频数据集；感谢G. Gatto（索尔克研究所、科隆大学医院）、Martyn Goulding（索尔克研究所）和K.W. Huang（索尔克研究所）提供存档视频数据；感谢P. Nguyen（索尔克研究所）在小鼠饲养及实验室运营方面的协助；感谢A. Aeruva、N. Benhaim、H. Gao、J. Khatibi、M. Ochoa、P. Nguyen、D. Sakl-away和G. Salmun（索尔克研究所）进行图像标注工作；感谢N. Baltar（索尔克研究所）协助搭建穹顶装置；感谢K. Cortes（索尔克研究所）负责数据采集；感谢A. Cao（索尔克研究所）提供的小鼠与人类手部插图；同时感谢B. Brunton、P. Karashchuk、U. Manor、T. Pereira、J. Tuthill以及Azim实验室成员对本文稿的宝贵讨论与建议。本研究得到了UCSD CMG培训计划及Jesse和Caryl Philips基金会奖项（A.P.K.）的支持；还得到了美国国立卫生研究院（R00NS088193、DP2NS105555、R01NS111479、RF1NS128898和U19NS112959）、索尔克研究所创新基金、Searle学者计划、皮尤慈善信托基金及麦克奈特基金会的资助（E.A.）。 ### 作者贡献 概念化与设计：D.J.B.、E.A.；数据收集：D.J.B.、A.P.K.；硬件开发：D.J.B.、A.P.K.；软件开发：D.J.B.；算法评估：D.J.B.、S.R.；数据分析：D.J.B.；稿件撰写：D.J.B.、E.A.。 ## 利益冲突 以下作者D.J.B.、A.P.K.和E.A.声明存在如下利益冲突：由索尔克研究所提交的专利申请：US-20220121878-A1。作者S.R.声明不存在利益冲突。 ## 附加信息 补充信息：在线版本包含可在获取的补充材料。 相关信函及材料索取请求请寄给Eiman Azim。 同行评审信息：《自然·通讯》感谢Markus Oberweger及其他匿名审稿人对本文同行评审所作的贡献。同行评审文件可查阅。 ### 转载与授权相关信息可在查看。 出版方声明：Springer Nature对于已发表地图中的管辖权声明及机构归属保持中立。 开放获取：本文依据知识共享署名4.0国际许可协议发布，允许在任何媒介或格式下使用、分享、改编、分发及复制本文，但需适当注明原作者及来源，提供知识共享许可协议的链接，并说明是否做过修改。除非在素材的署名行中另有说明，本文中包含的图片或其他第三方素材均受本文知识共享许可协议约束。若某素材未包含在本文的知识共享许可协议中，且您的预期用途不符合法规规定或超出许可范围，则需直接获得版权持有者的许可。如需查看该许可副本，请访问。 © 作者们 2023