一种循环裁剪分割与多模型融合的视盘分割方法及装置

本发明涉及图像处理，尤其涉及一种循环裁剪分割与多模型融合的视网膜视盘分割方法及装置。

背景技术：

1、视盘是视网膜眼底图像中最主要的生理结构，其中分布着丰富的血管。视盘的位置可以定位黄斑，视盘对于青光眼检测、糖尿病视网膜病变的诊断具有重要作用。在我国致盲原因的统计中，一旦青光眼引起了视功能的损伤，进而导致的视力丧失，视力就无法恢复,对眼睛造成永久伤害。临床上，通过观察眼底彩色图片视杯视盘大小的比值、视盘边沿有无切迹、视盘有无出血等症状来诊断青光眼。杯盘比是眼底图像视杯与视盘大小的比值，可以有效反映视神经在眼底的形态。那么，可以通过对眼底图像视盘的分割来估计杯盘比，进而糖尿病并发症作出初步判断。因此，在许多眼底疾病的自动诊断中，可靠的视盘分割是非常重要的。

2、传统的视盘分割是通过经验丰富的医生手工完成的。由于视盘是一个近似圆形的亮黄色区域，因此根据临床原则，人们利用手工特征设计了一些视盘自动分割方法。例如，利用局部先验知识去除视盘区域的血管，得到分割结果。这些手工特征的表示能力有限，可能会影响模型的泛化性能，导致鲁棒性差。深度学习技术已经广泛应用于计算机视觉任务中，如医学图像分割，检测和分类。卷积神经网络的巨大成功引导研究者设计用于视盘分割的深度神经网络结构。但是，深度学习方法对于视盘分割方法，以往的研究仅局限于单个神经网络，模型的准确性，泛化性和应用性等方面不是很理想。因此，提升分割准确率，提高模型的泛化性，鲁棒性等十分关键。

3、全卷积网络(fully convolutional networks，fcn)开启了基于深度学习语义分割研究的篇章，通过对图像进行像素级的分类，从而对语义级别的每一个像素点都产生一个预测。fcn确立了分割网络的基础框架，fcn对于输入图像没有限制。fcn采用反卷积层进行上采样,从而使得输出图像与输入图像的尺寸相同，这样保证了输入图像的每一个像素点，在输出图像上都有一个像素点与其对应,从而实现对每个像素点的预测。

4、unet起源于医疗图像分割，相比于其他网络unet的参数很少，相应的计算量也是非常少，适应性强，广泛应用于医疗图像领域。unet网络非常的简单，只有两个部分组成，第一部分是编码器负责特征提取，第二部分是解码器，负责上采样。第一部分和第二部分对称地向两个方向扩张，所以被命名为unet。第一部分和第二部分实现了精准的定位，两者之间使用了跳跃连接。这样就帮助了解码器更好地恢复目标的细节特征。mnet网络是在unet基础上改进而来，类似于unet的对称结构，mnet有五个部分，呈现对称结构，mnet其网络结构呈对称的“m”型。通过视杯和视盘的比值来筛查青光眼是一种常用的手段，所以，视杯分割和视盘分割都十分重要。efficientnet+unet++提出了一种利用改进的unet++网络结构，以efficientnetb4模型为骨干的，从efficientnet-b4中提取的特征后在利用改进的u-net跳跃连接进行精确分割。

技术实现思路

1、本发明针对上述问题，提供了一种循环裁剪分割与多模型融合的视网膜视盘分割方法及装置，收集视盘分割数据集；在众多神经网络中挑选适合视盘分割的网络模型；先裁减眼底图像视盘区域再分割视盘；综合分析各个网络的特点，综合不同神经网络模型的优点，进行模型融合。

2、本发明的第一方面，提供了一种循环裁剪分割与多模型融合的视网膜视盘分割方法，方法包括以下步骤：

3、针对眼底图像进行基于轻量级模型的视盘区域检测，得到可供视盘分割的第一眼底图像；

4、选取视盘分割模型并对视盘分割模型进行训练；

5、使用训练后的视盘分割模型对第一眼底图像进行视盘分割，得到第一视盘分割图像，以第一视盘分割图像的质心为中心点，向上下左右四个方向扩展相同大小，裁剪出512×512的第二视盘分割图像；

6、将由第二视盘分割图像组成的新数据集对视盘分割模型进行重新训练，得到训练好的新视盘分割模型，利用新视盘分割模型对第二视盘分割图像进行视盘分割，得到第三视盘分割图像；

7、将第三视盘分割图像还原为原来的尺寸，即可得到最终的视盘分割图像；

8、其中，针对眼底图像进行基于轻量级模型的视盘区域检测，得到可供视盘分割的第一眼底图像，具体包括：

9、根据视盘分割训练集的标注结果，利用图形学提取质心和边框构建目标检测数据集；

10、对目标检测数据集中的数据使用线性插值进行缩放；

11、构建轻量级视盘区域检测模型并对轻量级视盘区域检测模型进行训练；

12、利用训练好的轻量级视盘区域检测模型对缩放后的目标检测数据集中的图像进行裁剪；

13、将裁剪后的图像进行复原成可视化，得到可供视盘分割的第一眼底图像。

14、本发明进一步的技术方案是：所述方法还包括对若干视盘分割模型的分割结果进行融合，得到每个像素的预测结果。

15、本发明进一步的技术方案是：所述对若干视盘分割模型的分割结果进行融合，得到每个像素的预测结果，具体包括：

16、选取若干视盘分割模型在数据集上训练，得到训练好的若干视盘分割模型；

17、利用训练好的若干视盘分割模型，分别对视盘区域检测后的眼底图像进行视盘分割；

18、对得到的若干视盘分割模型结果进行权重融合，得到权重融合结果；

19、采取不同权重后少数服从多数的原则，对得到的权重融合结果进行对齐。

20、本发明进一步的技术方案是：对视盘分割模型进行训练前，对训练数据集进行数据扩增，所述数据扩增包括将训练数据集中的图像进行水平翻转，垂直翻转和图像增强。

21、本发明进一步的技术方案是：对视盘分割模型进行训练过程中，采用平均交并比miou系数和dice系数来评估模型性能，具体表达式为：其中x和y分别代表分割得到的视盘和专家手动标注的视盘，|x∩y|是x和y之间的交集的像素个数，|x|和|y|分别表示x和y的像素的个数。

22、本发明的第二方面，一种循环裁剪分割与多模型融合的视网膜视盘分割装置，包括：

23、视盘区域检测单元，用于针对眼底图像进行基于轻量级模型的视盘区域检测，得到可供视盘分割的第一眼底图像；

24、视盘分割模型获取单元，用于选取视盘分割模型并对视盘分割模型进行训练；

25、视盘分割单元，用于使用训练后的视盘分割模型对第一眼底图像进行视盘分割，得到第一视盘分割图像，以第一视盘分割图像的质心为中心点，向上下左右四个方向扩展相同大小，裁剪出512×512的第二视盘分割图像；

26、模型再训练后再视盘分割单元，用于将由第二视盘分割图像组成的新数据集对视盘分割模型进行重新训练，得到训练好的新视盘分割模型，利用新视盘分割模型对第二视盘分割图像进行视盘分割，得到第三视盘分割图像；

27、图像还原单元，用于将第三视盘分割图像还原为原来的尺寸，即可得到最终的视盘分割图像；

28、其中，所述视盘区域检测单元包括：

29、构建目标检测数据集模块，用于根据视盘分割训练集的标注结果，利用图形学提取质心和边框构建目标检测数据集；

30、目标检测模块，用于对目标检测数据集中的数据使用线性插值进行缩放；

31、构建模型并训练模块，用于构建轻量级视盘区域检测模型并对轻量级视盘区域检测模型进行训练；

32、执行裁剪模块，用于利用训练好的轻量级视盘区域检测模型对缩放后的目标检测数据集中的图像进行裁剪；

33、图像复原模块，用于将裁剪后的图像进行复原成可视化，得到可供视盘分割的第一眼底图像。

34、本发明进一步的技术方案是：所述装置还包括分割结果融合单元，用于对若干视盘分割模型的分割结果进行融合，得到每个像素的预测结果。

35、本发明进一步的技术方案是：所述分割结果融合单元包括：

36、视盘分割模型训练模块，用于选取若干视盘分割模型在数据集上训练，得到训练好的若干视盘分割模型；

37、若干视盘分割模块，用于利用训练好的若干视盘分割模型，分别对视盘区域检测后的眼底图像进行视盘分割；

38、权重融合模块，用于对得到的若干视盘分割模型结果进行权重融合，得到权重融合结果；

39、分割结果处理模块，用于采取不同权重后少数服从多数的原则，对得到的权重融合结果进行对齐。

40、本发明提供的一种循环裁剪分割与多模型融合的视网膜视盘分割方法及装置，采用多次循环裁剪分割和多模型融合两种方案，具体流程包括：收集视盘分割数据集；在众多神经网络中挑选适合视盘分割的网络；先裁减眼底图像视盘区域再分割视盘；综合分析各个网络的特点，综合不同神经网络模型的优点，进行模型融合。本发明得到的有益效果有：

41、裁剪后再进行分割可以提高模型训练效果，使视网膜视盘分割效果更优；

42、在各个网络都已经达到准确率极限的时候，模型融合方案依旧能提高准确率，模型融合对较难分割的特殊眼底图像也是有效的，视盘分割领域模型融合方法具有有效性和可行性，其中加权融合方案效果更好，在选择网络模型的时候，不仅考虑到单个子网络模型的准确率，还考虑到不同子网络模型的差异性，子网络模型的差异性会直接影响模型融合的效果。因此，使用多种不同的神经网络模型，多种方案进行融合，在合并的视盘分割数据集上进行训练，最后测评各个模型及模型融合的分割效果，与任何单个子网络模型相比，模型融合方案可以取得更好的分割效果，选取的子网路模型越科学，权重比例越科学，融合模型的效果就越好。