{
  "paper_id": "c7aca44d6101900c2871ebaa73a61219",
  "paper_title": "Large-scale capture of hidden fluorescent labels for training generalizable markerless motion capture models",
  "paper_authors": [
    "Daniel J. Butler",
    "Alexander P. Keim",
    "Shantanu Ray",
    "Eiman Azim"
  ],
  "publication_date": "2023-09-26",
  "publication_venue": "Nature Communications",
  "abstract": "基于深度学习的无标记追踪已为动物行为研究带来变革，但训练模型的泛化能力往往有限，因为每个新装置或视觉环境通常都需要重新生成人工训练数据。每个模型从零开始训练时，研究者追踪的地标不同，对运动学数据的分析方式也各不相同；此外，受人工标注本身限制，通常只能标记稀疏的一组地标。为解决这些问题，作者开发了名为GlowTrack的方法，可生成数量级更多的训练数据，使模型能够跨实验环境泛化。方法包括：利用荧光标记生成隐藏标签的高通量方案；用于模拟多种视觉条件的多相机、多光源装置；以及并行标记大量地标以实现密集追踪的技术。这些进展为标准化行为分析流程和更完整地检视运动奠定了基础。\n",
  "keywords": [
    "无标记动作捕捉",
    "荧光标记",
    "深度学习",
    "GlowTrack",
    "姿态估计",
    "行为分析",
    "视觉泛化",
    "密集地标追踪"
  ],
  "paper_institutions": [
    "The Salk Institute for Biological Studies"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:44:19.555297Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决基于深度学习的无标记追踪模型通常需要针对每个实验装置人工标注、跨视觉环境泛化差且只能追踪稀疏地标的问题；已有DeepLabCut、LEAP/SLEAP和DeepPoseKit等工具虽可借助约100至1000张人工标注帧获得高精度，但光照、相机位置或行为的轻微变化常使误差显著增加。作者提出GlowTrack，通过在可见光外激发的隐藏荧光染料自动生成大规模、多样化标签：串行流程逐个标记目标，在高速交替采集的紫外与可见相邻帧之间传递染料质心，核心机制可表示为 c=\\frac{1}{N}\\sum_{i=1}^{N}p_i，即由染料区域内像素坐标计算质心并作为下一可见帧标签；并行流程则用随机荧光散斑形成数百至数千个“视觉条码”，通过SIFT匹配、空间相干过滤、邻域投票或局部单应性投影实现密集标注。为消除紫外光源漏光和场景自发荧光，作者设计三相照明，在紫外光源关闭后拍摄，使短寿命背景荧光衰减而长余辉染料继续发光；八相机、九光源半球穹顶、彩色与单色相机、红白光源、旋转平台和多种行为共同提升训练数据的视觉多样性。小鼠数据集包含388,496张图像、8个相机角度、9种光照条件和3种行为，按299,736张训练图像与88,760张测试图像划分，且训练和测试视频片段不重叠，用于严格检验域泛化；另从两个实验室、10种视觉环境构建挑战集，经两名标注者调和后保留612张图像，尺度约为25至160像素/厘米；人手概念验证数据包含12,276张散斑手帧和500帧不同相机、光照条件下的无标签测试帧。实现上采用ImageNet预训练的ResNet-101/DeeperCut模型，输出热图和细化图，缺失地标被训练为全零置信图，并使用模糊、对比度缩放、噪声、仿射变换、灰度转换和合成背景等增强。评价指标包括精确率-召回率曲线AUC、中位像素误差、精确率、召回率和OKS-mAP：在同域均匀条件下，1000张训练图像模型达到AUC 0.91、中位像素误差5.0；换到多样测试条件后降至AUC 0.33、误差145.4；1000张多样化图像仅达到AUC 0.51、误差14.0，而约30万张多样化图像恢复到AUC 0.89、误差4.7，支持“数据规模与视觉多样性共同决定泛化”这一结论。在跨实验室挑战集上，约38万全量数据模型达到AUC 0.52、误差24.3，帧级测试尺度优化达到AUC 0.69、误差14.1，片段级优化达到AUC 0.76、误差11.8，表明以全片段平均置信度选择缩放因子可提升未知尺度视频的精度。并行标注中，手动邻域方案使用10个模板时AUC为0.76、误差36.5，优于1个模板的0.37和72.7；自动邻域结合局部单应性将AUC从直接匹配的0.07提升至0.71，误差从180.6降至38.2，验证了密集地标追踪的可行性。交叉训练还可只让当前图像中已标注的地标参与损失，从而由手、足等单地标数据集组合出多地标模型。未来可探索适应毛皮表面、开发毫秒级寿命和多发射波长染料以实现彩色复用、跨帧测试时增强、时间平滑以及多视角三维一致性校验。该方法适用于实验科学、行为学、临床诊断、机器人和增强现实等场景，但约束包括染料必须与受试对象相容、激发光强需随距离平方增加、染料区域应足够大可被分辨、训练数据需在受控环境中离线采集，并行流程还依赖表面能形成足够密集且稳定的SIFT特征，置信度优化若阈值设置不当也可能增加误报。\n\n### 关键要点\n\n- GlowTrack将仅在紫外光下可见的荧光染料作为隐藏标签，把紫外帧中计算出的位置转移到时间相邻的可见帧，最终训练出可在无染料图像上推理的地标检测模型。\n- 串行流程一次标记一个目标地标，在200 Hz交替采集下利用相邻帧位移很小的假设传递标签；地标被遮挡或染料掩膜为空时，该帧会作为缺失样本保留。\n- 三相照明在紫外激发关闭后再拍摄紫外图像，使场景自然荧光消退而长余辉染料继续发光，从而同时抑制光源漏光和背景荧光。\n- 半球形采集穹顶配备8台相机和9个独立光源，结合4台单色、4台彩色相机以及5白4红光源，并通过旋转平台和多种行为扩大角度、光照和姿态多样性。\n- 小鼠多样化数据集包含388,496张图像，覆盖8个相机角度、9种光照和抓取、拉绳、自由活动三种行为，训练集与测试集来自不重叠视频片段。\n- 仅用250至1000张均匀条件图像训练的模型在同域测试中精度很高，但在多样条件下性能骤降；约30万张多样化训练图像可将AUC恢复到0.89，中位像素误差降至4.7。\n- 跨实验室挑战集包含10种视觉环境和25至160像素/厘米的尺度变化，全量模型结合片段级尺度优化后AUC为0.76、中位像素误差为11.8，优于不优化和帧级优化。\n- 并行流程用刷拭雾化方式在人手上形成随机荧光散斑，使局部邻域成为可跨帧识别的视觉条码，从而同时产生数百至数千个候选地标。\n- SIFT用于在不同紫外图像间匹配视觉条码，空间相干启发式要求一个候选匹配至少拥有一个两端邻域内一致的相邻匹配，实验中δ和ε均设为50像素。\n- 手动邻域方案通过汇总多个模板中的匹配点并取位置中心生成标签；自动邻域方案则在主动特征匹配失败时用邻近匹配拟合局部单应性并投影原特征。\n- 实验结果显示，更多模板可提升并行标注精度，而局部单应性使自动地标模型的AUC从0.07提升到0.71，证明邻域池化能缓解SIFT逐帧漏匹配。\n- 方法的主要限制包括染料生物相容性和可分辨尺寸要求、激发光强随距离平方增加、受控离线采集需求、毛皮表面并行匹配困难，以及商用毫秒级余辉染料选择较少。"
}