一种基于融合的细胞图像超分辨率重建方法及系统

本发明涉及图像处理，具体为一种基于融合的细胞图像超分辨率重建方法及系统。

背景技术：

1、细胞显微图像在生物学研究中是不可或缺的主要工具。通过显微镜成像技术可以获得细胞的表面形貌、细胞结构、细胞活动等信息，并且原子力显微镜能够以高的分辨率测量空气、真空或液体环境中的生物样品。已被广泛应用于材料科学、表面科学和生命科学等各个领域，其应用实例包括病原体粘附、癌症生物学、核酸研究、疾病诊断和治疗、干细胞生物学以及细胞和组织分析等。但在图像采集过程中，由于高分辨率图像采集耗时长，采集过程中可能受到干扰导致图像不可使用，进而影响工作效率，并且由于硬件本身的限制导致采集所得图像难以获得更的高分辨率。而超分辨率重建技术可以有效提升工作效率并且突破硬件的物理限制获得更高分辨率的图像。

2、超分辨率重建技术可以将一张或多张低分辨率的图像重建成高分辨率图像，在监控视频、卫星图像、医学影像等领域都应用广泛。超分辨率重建方法有三类分别为基于插值、基于重建和基于学习的方法。常见的基于插值的方法如双线性插值和双三次插值，实现简单，但重建效果差，容易出现锯齿问题。基于重建的方法，效果比插值法好，但对匹配算法和先验知识依赖高，并且需要较多的计算资源。目前主流的重建方法是基于深度学习的方法。dong等首次将卷积神经网络srcnn应用于图像超分辨率领域，dong等又提出了一种更快速高效的网络结构fsrcnn。lai等通过引入拉普拉斯图像金字塔思想提出了一种渐进式重建的网络lapsrn。随着神经网络的不断研究，学者们又陆续提出了vdsr等超分辨率重建算法，在自然界图像超分辨率重建上取得了较好的效果。

3、然而，尽管这些网络与传统的基于模型的方法相比性能得到显著提高，但是图像与卷积核之间没有交互，并且使用相同的卷积核对不同图像进行提取的方法并不是一种有效的方法。因此，基于自注意力机制的transformer被设计出来用于上下文的交互，综合了rnn的并行计算和lstm在一定程度上能解决长距离依赖的优点。随后，liang等提出了swinir结合了cnn和transformer的优点，在不同的任务上都取得了亮眼的表现。尽管这些高性能的网络模型取得了不错的效果，但某些操作可能会导致冗余影响了自注意力的计算范围，从而限制性能。

4、因此，我们提出了一种基于融合的细胞图像超分辨率重建方法及系统来解决上述问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于融合的细胞图像超分辨率重建方法及系统，优化了现有的图像处理技术中高性能的网络模型的应用某些操作可能会导致冗余影响了自注意力的计算范围，从而限制性能的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种基于卷积网络的细胞图像超分辨率重建方法，包括以下步骤：

6、s1、构建训练数据集；

7、s11、采集afm显微镜的高分辨率细胞图像；

8、s12、对采集到的图像进行mixup、cutmix和cutmixup数据增强。；

9、s13、采用双三次插值下采样操作得到低分辨率图像；

10、s14、相应地将高分辨率图像和低分辨率图像构成一对训练样本，得到最终训练数据集；

11、s2、构建超分辨率网络模型；

12、所述超分辨率网络模型由swinir、rcan和融合重建模块组成，所述swinir由浅层特征提取模块、深层特征提取模块和高质量的图像重建模块组成用于提取图像特征生成高分辨率图像，rcan由提取浅层特征的单层卷积模块、提取深层特征的rir模块、上采样模块和图像重建模块组成用于提取图像特征生成高分辨率图像，所述融合重建模块用于生成最终的高分辨率图像；

13、s3、训练网络模型，得到一个训练好的模型；

14、将训练集中的所有训练样本输入到模型中，利用多阶段训练策略对网络参数进行迭代更新，直至损失函数收敛，得到一个训练好网络模型；

15、s4、对目标图像进行超分辨率重建；

16、将目标低分辨率图像输入已经训练好的超分辨率网络模型中，得到超分辨率重建的高分辨率图像。

17、进一步地，所述步骤s12中的mixup指的是：对afm显微镜的实测高分辨率细胞图像两两添加标签后按权值叠加生成新的图像；所述步骤s12中的cutmix指的是：将两张afm显微镜的实测高分辨率细胞图像进行矩形区域的裁剪并将之互相交换；所述步骤s12中的cutmixup指的是：将一张afm显微镜的实测高分辨率细胞图像进行矩形区域的裁剪后剪切到另一张图像上；所述步骤s13中的双三次插值下采样指的是：用ilr＝ihr↓s，ilr表示低分辨率图像，ihr表示高分辨率图像，↓s表示双三次插值下采样操作，s表示下采样因子。

18、进一步地，所述步骤s3中，在训练网络模型时，采用l1损失函数，l1损失函数的数学表达式为：

19、

20、lmse表示l1损失函数，mse表示超分辨率网络模型要学习的参数，n表示用于训练的图像个数，‖·‖表示平均绝对误差，表示第i个高分辨率原图像，表示第i个超分辨率重建后的图像。

21、一种基于融合的细胞图像超分辨率重建系统，采用上述的一种基于融合的细胞图像超分辨率重建方法，所述基于融合的细胞图像超分辨率重建系统包括：

22、训练集模块，所述训练集模块构建方式为：采集afm显微镜的高分辨率细胞图像；进一步对采集到的图像进行mixup、cutmix和cutmixup数据增强；进一步采用双三次插值下采样操作得到低分辨率图像；进一步相应地将高分辨率图像和低分辨率图像构成一对训练样本，得到最终训练数据集；

23、超分辨率网络模型，所述超分辨率网络模型是由swinir、rcan和融合重建模块组成；

24、swinir，所述swinir由浅层特征提取模块、深层特征提取模块和高质量的图像重建模块组成用于提取图像特征生成高分辨率图像；其中，所述的浅层特征提取模块由一个3×3的卷积层组成，深层特征提取模块由六个rstb块和一个3×3的卷积层组成；

25、rcan，所述rcan由提取浅层特征的单层卷积模块、提取深层特征的rir模块、上采样模块和图像重建模块组成用于提取图像特征生成高分辨率图像；其中，所述的浅层特征提取模块由一个3×3的卷积层组成，深层特征提取模块由十个rg块和一个3×3的卷积层组成；

26、融合重建模块，所述融合重建模块先计算两幅图像的均值，之后计算两幅图像与均值之间的mse值，并按所得数值对两幅图像进行加权融合生成最终的高分辨率图像。

27、(三)有益效果

28、与现有技术相比，本发明提供了一种基于融合的细胞图像超分辨率重建方法及系统，具备以下有益效果：

29、本发明通过构建一个基于融合的高性能的网络模型，通过mixup、cutmix和cutmixup数据增强增加了数据的多样性并提高了模型的鲁棒性，通过融合两种高性能模型生成的图片达到互补的效果使最终图片更清晰更全面，本方法在不考虑模型大小和参数等计算成本的情况下实现了高性能的图像超分辨率重建效果。