研究人员提出一个基于无监督学习的光纤成像系统
发布时间：2023-05-30 08:00:00 阅读数： 843
a 成像过程的示意图。预处理：登记、直方图均衡化和内画。重建： b 直方图均衡化预处理步骤的示意图；c 还原循环网的示意图。G1和G2：具有U-Net结构的生成器。D1和D2：具有PatchGAN结构的判别器。 D 重建结果样本。作者：胡晓文，赵健，Jose Enrique Antonio-Lopez，Rodrigo Amezcua Correa，和Axel Schülzgen、
光纤成像方法能够在中空器官或组织的深处进行体内成像，否则自由空间光学技术是无法到达的，在临床实践和基础研究中发挥着重要作用，如内窥镜诊断和深脑成像。
最近，基于监督学习的光纤成像方法由于其在从光纤传输的退化图像甚至是扰乱的斑点模式中恢复高保真图像方面的卓越表现而受到欢迎。尽管这些方法取得了成功，但从根本上说，它们受到了对严格配对标签和大型训练数据集要求的限制。
苛刻的训练数据要求导致了耗时的数据采集、复杂的实验设计和繁琐的系统校准过程，使得满足实际应用需求成为挑战。
在最近发表在《Light： 科学与应用》中，来自麻省理工学院Picower学习与记忆研究所的赵健博士、中佛罗里达大学光学与光子学学院（CREOL）的胡晓文博士和Axel Schülzgen博士以及他们的同事介绍了一个基于无监督学习的光纤成像系统。
该系统将定制的循环生成对抗网络（CyleGAN）与玻璃-空气安德森定位光纤（GALOF）整合在一起，命名为Restore-CycleGAN。Restore-CycleGAN的应用消除了标记训练数据的限制，但仍能保持高质量的成像恢复，而GALOF的独特物理特性模式支持高保真和高度稳健的成像过程，并保证成功实施非配对成像训练。
由于学习算法和光学设备之间的相互促进，Restore-CycleGAN-GALOF方法通过一米长的光纤实现了几乎无伪影和稳健的全彩生物图像传输，使用简单的一次性训练过程，只需1000个图像对的小型训练数据集，不需要成对的训练成像数据。与之前报道的监督学习方法相比，训练数据量减少了约10倍。
在透射和反射成像模式下，Restore-CycleGAN-GALOF方法展示了对各种生物样本的高保真、全彩图像传输能力，包括人类和青蛙血细胞、人类嗜酸细胞和人类胃癌细胞。
此外，这种成像过程表现出对60度强机械纤维弯曲和高达6毫米的大工作距离变化的弹性。值得注意的是，Restore-CycleGAN-GALOF方法对从未包括在训练过程中的测试数据产生了高准确率的预测，表明在小数据系统中具有很强的概括性。
尽管Restore-CycleGAN-GALOF的性能优越，但系统设计和实验过程相对简单。科学家们总结了他们的成像方法的意义： "进入光纤设备的远端并收集足够的训练数据在实际应用中是具有挑战性的。独特的空心器官或生物组织环境给强大的图像传输带来了额外的困难"。
"然而，我们的Restore-CycleGAN-GALOF方法只需要少量的训练数据，并消除了对图像特征的需要。在小数据制度下，这种方法保证了高度稳健和强通用的全色成像。因此，它更适合满足各种实际的生物医学应用。"
"我们的技术有望为下一代光纤成像系统奠定基础。我们未来的研究将集中在开发实用的内窥镜系统和进行相关的生物医学应用测试。我们渴望通过我们的方法推进医学诊断和基础生物研究，"科学家们补充说。
参考资料：Xiaowen Hu et al, Unsupervised full-color cellular image reconstruction through disordered optical fiber, Light: Science & Applications (2023). DOI: 10.1038/s41377-023-01183-6
