基于荧光显微镜的图像恢复在生命科学领域受到了广泛关注，并取得了重大进展，这得益于深度学习技术。然而，目前大多数任务特异性方法对不同的基于荧光显微镜的图像恢复问题具有有限的通用性。
2024年4月12日，复旦大学颜波团队在Nature Methods在线发表题为“Pretraining a foundation model for generalizable fluorescence microscopy-based image restoration”的研究论文，该研究提出了一种基于荧光显微镜的通用图像恢复(UniFMIR)模型来解决不同的恢复问题，并表明UniFMIR具有更高的图像恢复精度，更好的泛化和更多的通用性。
五项任务和14个数据集的演示，涵盖了广泛的显微镜成像模式和生物样本，表明预训练的UniFMIR可以通过微调有效地将知识转移到特定情况，揭示清晰的纳米级生物分子结构，并促进高质量的成像。这项工作有可能激发和触发基于荧光显微镜的图像恢复的新研究亮点。
荧光显微镜图像恢复(FMIR)，旨在从低信噪比的图像中提供高信噪比的图像，已经受到了研究界的极大关注，因为它有助于揭示重要的纳米级成像信息，以准确观察和科学分析生物结构和过程。目前，受益于深度学习的快速发展，这方面的贡献在文献中大量涌入。许多基于深度学习的基于荧光显微镜的图像恢复工作通过计算突破了荧光显微镜的物理极限，并对经典的反卷积算法进行了重大改进。
尽管取得了重大进展，但这些基于深度学习的基于荧光显微镜的图像恢复方法仍然受到一些弱点的影响，限制了生物过程的进一步发展。首先，主流模型通过在特定数据集上从头开始训练具有有限参数(不超过数百万)的特定深度模型(例如U-Net启发模型和 RCAN启发模型)来解决基于荧光显微镜的特定图像恢复问题，例如去噪、超分辨率(SR)和各向各向重构。此外，这些模型泛化能力较差，当面对不同数据集之间较大的域间隙和不同的基于荧光显微镜的图像恢复问题时，可以观察到明显的性能下降。
在不同的成像模式、生物样本和图像恢复任务中实现有希望的结果需要训练多个特定的模型。最后，深度学习领域常见的数据依赖问题也影响了大多数基于荧光显微镜的图像恢复模型，由于基于深度学习的方法具有数据驱动的特点，其性能高度依赖于训练数据的质量和数量。因此，实验获取低质量和高质量训练图像对的现实困难使得基于深度学习的荧光显微镜图像恢复方法的实际应用变得复杂。
UniFMIR在体积重建中的应用（图源自Nature Methods）
虽然特定任务或特定模式的深度模型仍然是基于荧光显微镜的图像恢复的主要深度学习方法。尽管单个模型现在可以实现最先进的(SOTA)性能，但基础模型具有多功能性的优点。上述方法不是为每个任务从头开始训练一个新模型，而是证明了基础模型可以将在预训练阶段在一般数据集中学习的基础知识民主化，并可以通过微调将这些知识转移到众多任务中。预训练大尺度模型的巨大进步为基于荧光显微镜的图像恢复方法的发展带来了新的动力。
总之，UniFMIR为荧光显微镜图像增强提供了一个通用的解决方案，预训练的UniFMIR通过简单的参数微调便可应用于不同任务、成像模式和生物结构，展示了基础模型方法对生物成像研究的巨大推动作用。在未来工作中，可通过进一步扩展训练数据的数据量和丰富度来不断强化UniFMIR的图像重构能力。
该项研究由复旦大学计算机科学技术学院数字媒体实验室完成。实验室博士后马晨曦博士和青年研究员谭伟敏博士为该工作的共同第一作者，颜波为通讯作者，其他作者还包括实验室博士生何瑞安。该研究工作得到国家自然科学基金委和上海市科委项目资助。
https://www.nature.com/articles/s41592-024-02244-3