一种超分辨率的细胞图像构建方法和系统

本发明涉及细胞图像处理技术领域，特别涉及一种超分辨率的细胞图像构建方法和系统。

背景技术：

虚拟显微镜技术是近几年发展起来的一项组织学切片数字化技术。主要原理是应用一台具备完备功能的标准光学显微镜在相同放大倍率下获取一张经某种染色的组织切片各个部位的图像，再将这些图像组合在一起，形成一张完整的组织切片图像。扫描的图像必须在一台标准的显微镜的相同放大倍率下读取的，如1、2、4、10、20、40倍。与传统的光学显微镜下阅读组织切片不同的是，该项技术是将玻璃载片上的组织切片完全转化为数字化图像，可直接在计算机上通过专业软件在显示器屏幕上观察，并能像通过转换光学显微镜不同倍率的物镜一样，利用鼠标点击图像的某一部位进行组织结构的放大，观察更细微的组织形态学变化。该技术可广泛应用于医学、生物学等领域的教学、科研，特别是通过网络传输应用于远程教学、专家会诊，提高了工作效率。同时，对于临床病理学和医学教学单位可大大节省减少玻璃载片组织学切片保存所需要的空间，便于组织切片档案的计算机化管理。

目前，虚拟显微镜技术取得一定的发展，但仍然存在问题。为了采集高分辨率细胞图像，需要使用昂贵的设备来进行拍摄。在大部分的教学场景下，是使用小型且低廉的显微镜设备进行采集，这些设备采集到的细胞图像的分辨率较低，细胞细节缺失，不利于细胞的分析和种类的辨识，不利于学生的教学。因此，目前亟需一种可以将低分辨率的细胞图像变为高分辨率的细胞图像的方法和系统，以降低显微镜细胞图像扫描的成本，提高教学质量。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种超分辨率的细胞图像构建方法和系统。能够将低分辨率的细胞图像变为高分辨率的细胞图像，不仅保留了细胞图像的细节，而且也降低了应用成本。

本发明的第一方面，提供了一种超分辨率的细胞图像构建方法，包括以下步骤：

构建数据集，所述数据集中包括由显微镜拍摄的细胞图像进行分割得到的多张低分辨率细胞图像；

将所述数据集中所有低分辨率细胞图像输入至至少两个不同的神经网络模型进行训练，并得到所有模型融合后的输出结果；

对所述输出结果进行图像恢复，得到高分辨率细胞图像。

根据本发明的实施例，至少具有以下有益效果：

本方法首先构建包括低分辨率细胞图像的数据集；然后将数据集输入至构建的至少两个不同的神经网络模型中进行特征检测，得到至少两个不同的神经网络模型的融合输出结果；最后对输出结果进行图像的分辨率恢复，得到高分辨率细胞图像。本方法能够将低分辨率的细胞图像变为高分辨率的细胞图像，本方法无需昂贵的显微镜设备，降低了应用成本，而且不同于传统方法的插值法等图像增强方法，本方法使用至少两个的神经网络模型进行训练，加深模型深度和宽度，不仅仅保留了细胞图像的细节，而且也降低了模型的泛化误差，提升了超分辨率的细胞图像构建的精度。

根据本发明的一些实施例，所述神经网络模型包括vggnet、resnet、densenet、googlenet、unet以及maskr-cnn神经网络模型中的至少两种。

根据本发明的一些实施例，所述对所述输出结果进行图像恢复，包括：采用上采样神经网络对所述输出结果进行图像恢复。

根据本发明的一些实施例，所述将所述数据集中所有低分辨率细胞图像输入至至少两个不同的神经网络模型进行训练，之前还包括步骤：对所述数据集中所有低分辨率细胞图像进行预处理。

根据本发明的一些实施例，所述预处理包括：图像压缩、归一化以及直方图均衡化处理。

本发明的第二方面，提供了一种超分辨率的细胞图像构建系统，包括：

显微镜，用于拍摄的细胞图像；

低分辨率图像构建模块，用于构建数据集，所述数据集中包括由所述显微镜拍摄的细胞图像进行分割得到的多张低分辨率细胞图像；

模型训练模块，用于将所述数据集中所有低分辨率细胞图像输入至至少两个不同的神经网络模型进行训练，并得到所有模型融合后的输出结果；

高分辨率图像恢复模块，用于对所述输出结果进行图像恢复，得到高分辨率细胞图像。

根据本发明的实施例，至少具有以下有益效果：

本系统首先通过低分辨率图像构建模块构建包括低分辨率细胞图像的数据集；然后通过模型训练模块对输入的数据集进行特征检测，得到至少两个不同的神经网络模型的融合输出结果；最后通过高分辨率图像恢复模块对输出结果进行图像的分辨率恢复，得到高分辨率细胞图像。本系统能够将低分辨率的细胞图像变为高分辨率的细胞图像，无需昂贵的显微镜设备，降低了应用成本，而且不同于传统方法的插值法等图像增强方法，本系统使用至少两个的神经网络模型进行训练，加深模型深度和宽度，不仅仅保留了细胞图像的细节，而且也降低了模型的泛化误差，提升了超分辨率的细胞图像构建的精度。

根据本发明的一些实施例，所述模型训练模块中的神经网络模型包括vggnet、resnet、densenet、googlenet、unet以及maskr-cnn神经网络模型中的至少两种。

根据本发明的一些实施例，还包括预处理模块，所述预处理模块用于对所述数据集中所有低分辨率细胞图像进行预处理。

本发明的第三方面，提供了一种超分辨率的细胞图像构建设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如本发明的第一方面所述的一种超分辨率的细胞图像构建方法。

本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明的第一方面所述的一种超分辨率的细胞图像构建方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种超分辨率的细胞图像构建方法的流程示意图；

图2为本发明实施例提供的resnet和unet模型训练和测试的逻辑流程示意图；

图3为本发明实施例提供的一种超分辨率的细胞图像构建系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

第一实施例；

参照图1，本发明的一个实施例，提供了一种超分辨率的细胞图像构建方法，包括以下步骤：

步骤s101、构建数据集，数据集中包括由显微镜拍摄的细胞图像进行分割得到的多张低分辨率细胞图像。

在步骤s101中，主要通过阈值分割方法对显微镜拍摄的细胞图像进行分割。首先不同显微镜能够采集到不同分辨率的细胞图像，通过将显微镜采集到的细胞图像进行人工分割，得到满足阈值条件的低分辨率细胞图像，对于低分辨率细胞图像需要满足的阈值条件，可以根据实际情况进行设定，本发明不作具体限制。

步骤s102、对数据集中所有低分辨率细胞图像进行预处理。

预处理过程主要是在将低分辨率细胞图像输入网络模型之前进行的图像优化处理，以达到优化模型训练效率和质量的目的。

作为一种可选的实施方式，本文主要的预处理过程包括：对数据集中的所有低分辨率细胞图像进行图像压缩、归一化以及直方图均衡化处理。其中，对数据集中的所有低分辨率细胞图像进行图像压缩处理的目的是为了微调低分辨率细胞图像的分辨率，以使符合各类模型的输入要求；然后进行归一化处理用于将图像转换成标准形式，也可以减小细胞图像由于光线不均匀造成的干扰；最后进行直方图均衡化处理用于改善图片的对比度问题。

步骤s103、将数据集中所有低分辨率细胞图像输入至至少两个不同的神经网络模型进行训练，并得到所有模型融合后的输出结果。

作为一种可选的实施方式，步骤s103中神经网络模型包括vggnet(由牛津大学计算机视觉组合和googledeepmind公司研究员一起研发的深度卷积神经网络)、resnet(残差卷积神经网络)、densenet(密集卷积神经网络)、googlenet(是google推出的基于inception模块的深度神经网络模型)、unet以及maskr-cnn(maskr-cnn是一种在有效检测目标的同时输出高质量的实例分割mask，是对fasterr-cnn的扩展)神经网络模型中的至少两种。以下以两个模型进行说明，在医学领域上应用广泛的resnet和unet模型为例进行说明(于python环境)：

如图2所示，1、训练和测试过程；

构建resnet模型和unet模型；

将数据集划分为第一数据集和第二数据集，需要注意的是，数据集包括训练集和测试集，本实施例未描述测试的过程。

将第一数据集输入unet模型中，在本实施例中，unet模型包括卷积层、池化层和反卷积层；其中卷积层的卷积核大小为3×3，步长为1；池化层的卷积核大小为2×2；反卷积层的卷积核大小为2×2，步长为2；第一数据集中的细胞图像先经卷积层进行卷积和下采样操作，再经上采样操作将每一层大小相同的输出进行拼接，之后进行卷积操作，对最后一层进行卷积操作，使用sigmoid激活函数得到unet模型的输出结果；

将第二数据集输入resnet模型中，在本实施例中，resnet模型包括输入层，16卷积层(可以根据实际情况进行修改)，2池化层、全连接层和输出层；其中输入层用于将细胞图像的向量和细胞图像边缘向量拼接，然后输入模型中；卷积层用于提取特征；池化层用于减少空间尺寸；全连接层用于将一个特征空间线性变换到另一个特征空间，连接各层的神经元；输出层用于得到输出结果。

最后通过加权平均得到的最终值作为输出。需要注意的是，若选择更多的神经网络模型进行训练，则加权平均的方法能够对误差比较大的神经网络模型的输出结果赋予更小的权重，从而有效降低泛化误差。

2、应用过程；

将待检测的数据集输入至模型中，得到结果。

步骤s104、对输出结果进行图像恢复，得到高分辨率细胞图像。

作为一种可选的实施方式，本实施例采用上采样神经网络对输出结果进行图像恢复，直至得到高分辨率细胞图像。

本方法实施例具有以下有益效果：本方法首先构建包括低分辨率细胞图像的数据集；然后将数据集输入至构建的至少两个不同的神经网络模型中进行特征检测，得到至少两个不同的神经网络模型的融合输出结果；最后对输出结果进行图像的分辨率恢复，得到高分辨率细胞图像。本方法能够将低分辨率的细胞图像变为高分辨率的细胞图像，本方法无需昂贵的显微镜设备，降低了应用成本，而且不同于传统方法的插值法等图像增强方法，本方法使用至少两个的神经网络模型进行训练，加深模型深度和宽度，不仅仅保留了细胞图像的细节，而且也降低了模型的泛化误差，提升了超分辨率的细胞图像构建的精度。

第二实施例；

参照图3，本发明的一个实施例，提供了一种超分辨率的细胞图像构建系统，包括显微镜、低分辨率图像构建模块、模型训练模块和高分辨率图像恢复模块，其中：

显微镜用于拍摄的细胞图像；

低分辨率图像构建模块用于构建数据集，数据集中包括由显微镜拍摄的细胞图像进行分割得到的多张低分辨率细胞图像；

模型训练模块用于将数据集中所有低分辨率细胞图像输入至至少两个不同的神经网络模型进行训练，并得到所有模型融合后的输出结果；

高分辨率图像恢复模块用于对输出结果进行图像恢复，得到高分辨率细胞图像。

需要说明的是，本系统实施例与上述方法实施例是基于相同的发明构思，因此方法实施例的相关内容同样适用本系统实施例，此处不再赘述。

本系统实施例具有以下有益效果：

本系统首先通过低分辨率图像构建模块构建包括低分辨率细胞图像的数据集；然后通过模型训练模块对输入的数据集进行特征检测，得到至少两个不同的神经网络模型的融合输出结果；最后通过高分辨率图像恢复模块对输出结果进行图像的分辨率恢复，得到高分辨率细胞图像。本系统能够将低分辨率的细胞图像变为高分辨率的细胞图像，无需昂贵的显微镜设备，降低了应用成本，而且不同于传统方法的插值法等图像增强方法，本系统使用至少两个的神经网络模型进行训练，加深模型深度和宽度，不仅仅保留了细胞图像的细节，而且也降低了模型的泛化误差，提升了超分辨率的细胞图像构建的精度。

第三实施例；

本发明还提供了一种超分辨率的细胞图像构建设备，该超分辨率的细胞图像构建设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体地，该超分辨率的细胞图像构建设备包括：一个或多个控制处理器和存储器。控制处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的超分辨率的细胞图像构建设备对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电缆接头的导体温度计算系统的各种功能应用以及数据处理，即实现上述方法实施例的一种超分辨率的细胞图像构建方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电缆接头的导体温度计算系统的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该超分辨率的细胞图像构建设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的一种超分辨率的细胞图像构建方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种超分辨率的细胞图像构建方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(readonlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。