基于深度学习的眼底视网膜图像异常区域检测方法及系统与流程

本发明涉及图像处理，更具体的说是涉及基于深度学习的眼底视网膜图像异常区域检测方法及系统。

背景技术：

1、在医学上，糖尿病视网膜性病变的主要异常表现有微动脉瘤(microaneurysms)、出血(hemorrhages)、软渗出(soft exudates)和硬渗出(hard exudates)等。其中，微动脉瘤是糖尿病视网膜性病变最早期的临床可见变化，是由局部毛细血管扩张引起的，在眼底图像中表现为红色小点；出血包括微血管瘤破裂引起的出血、神经纤维层出血以及视网膜前出血；软渗出是神经纤维层的微小梗塞，表现为白色的边缘模糊的块状；硬渗出是由毛细血管浆液渗漏的脂质残留物组成的黄色斑点，边缘清晰可见。

2、如前所述，当前用于检测糖尿病视网膜病变相关的这些异常区域的计算机辅助检测算法存在需要大量先验知识、检测准确率差等问题，尤其是当获取眼底图像时，对于过度曝光或眼部基础疾病影响拍摄等等均会导致异常区域的检测不准确。

3、然而，视网膜性病变相关异常区域的识别对于计算机辅助诊断可起到很好的帮助作用；

4、由此，如何提供一种能够眼底视网膜图像异常区域检测方法及系统是本领域技术人员急需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种能够实现眼底视网膜图像异常区域检测的方法及系统，以解决背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一方面，基于深度学习的眼底视网膜图像异常区域检测方法，具体步骤如下：

4、获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；

5、构建异常区域检测初步模型，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；

6、将所述彩色图像输入所述异常区域检测初步模型中，得到感兴趣区域，即为疑似异常区域；

7、将所述疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现二次识别，得到异常区域检测模型；

8、输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。

9、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，得到所述眼底视网膜无赤光图像具体步骤如下：

10、输入一幅rgb图像，并对其进行处理，得到浅层特征信息；

11、将所述浅层特征信息进入残差注意力模块中，获取深层次特征信息；其中，所述残差注意力模块在残差块部分引入掩膜分支，将局部信息与原始特征的全局信息进行融合；(将残差注意模块提取的rgb图像的局部信息与rgb图像的全局信息进行融合得到深层次特征信息)

12、将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息，所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块；

13、将更深层次的所述特征信息与所述浅层特征信息相加，得到新特征并输出；

14、将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系，而后得到眼底视网膜无赤光图像。

15、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，所述残差注意力模块包括主干和软掩膜分支；主干是残差操作，软掩膜用于生成注意力因子，然后与主干的输出相乘，采用残差学习思想将主干的输出与结合注意力因子的结果相加，最终构成残差注意力模块。

16、其中，注意力因子根据常见的眼底视网膜图像中异常位置、异常图像匹配生成注意力因子。

17、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，最优非局域模块利用argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。

18、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，确定疑似异常区域具体步骤如下：

19、将所述彩色图像进行特征提取得到第一特征图，并引入位置信息，将所述第一特征图与所述位置信息相加得到第二特征图；

20、利用所述注意力模块对所述第二特征图每个位置进行编码；

21、将注意力模块的编码特征图与第一特征图串联，得到疑似异常区域。

22、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下：

23、对所述第二特征图每一个位置的向量x(i,j)进行线性变换，得到三个不同的向量a(i,j),b(i,j),c(i,j)，公式为：

24、a(i,j)＝x(i,j)×a；

25、b(i,j)＝x(i,j)×b；

26、c(i,j)＝x(i,j)×c；

27、其中，a、b、c分别表示可学习的变换矩阵；×表示矩阵乘法；i，j表示每个位置的坐标；

28、任取其中两个变换后的向量的点积，构建加权系数，其公式表示为：

29、

30、根据加权系数确定编码特征图为c(i,j)*ω。

31、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，实现进行二次识别，得到异常区域检测模型具体步骤如下：

32、根据确定的疑似异常区域，提取相应区域的眼底视网膜无赤光图像；

33、构建rgb图像对应的光谱差值矩阵，将疑似异常区域遍历，对每个像素点的光谱波长最大值均值化处理，得到rgb图像对应的光谱差值矩阵；

34、将所述光谱差值矩阵作为一个通道，为f通道，再把相对应的rgb图像3个通道与f通道进行合并，生成一个关于异常区域的4通道的融合特征图像。

35、优选的，在上述的基于深度学习的眼底视网膜图像异常区域检测方法中，对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换，对数据集进行随机旋转变换的具体方法是：

36、首先对数据集进行90°旋转变换、180°旋转变换、270°旋转变换、上下翻转变换或左右翻转变换，之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换；

37、随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。

38、另一方面，基于深度学习的眼底视网膜图像异常区域检测系统，具体步骤如下：

39、预处理模块，获取彩色图像，并对所述彩色图像进行预处理，同时得到眼底视网膜无赤光图像；

40、初步模型构建模块，在yolov3模型的特征融合层中加入了位置定位层和注意力层，得到基于注意力机制的异常区域检测初步模型；

41、二次识别模块，将疑似异常区域进行配准，将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪，针对色彩相近区域利用光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练异常区域检测初步模型，实现进行二次识别，得到异常区域检测模型；

42、展示模块，输入所述彩色图像到所述异常区域检测模型，得到对应异常区域图像。

43、经由上述的技术方案可知，与现有技术相比，本发明公开提供了基于深度学习的眼底视网膜图像异常区域检测方法及系统，首先，对于rgb图处理时，在yolov3模型的基础上加入位置信息和引入注意力机制，得到疑似异常区域；其次，根据疑似异常区域的rgb图像配准对应的眼底视网膜无赤光图像，精准配准减少了无用数据的计算，同时引入新的f通道对于图像中相近或相同颜色识别提高了准确率，降低了冗余数据的干扰；最后，得到眼底视网膜无赤光图像过程中的残差注意力模块既能很好地保留原始特征的特性，又能使原始特征具有绕过软掩膜分支的能力，从而直接前馈到最顶层来削弱分支的特征筛选能力，能够很容易的将模型的深度达到很深的层次，具有非常好的性能。