视网膜微动脉瘤自动检测方法及成像方法

1.本发明属于图像处理领域，具体涉及一种视网膜微动脉瘤自动检测方法及成像方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，人们对于健康的关注也越来越高。视网膜图像能够较好的反映眼底的状态，是人们了解自身眼睛状态的重要检查依据。目前，随着人们对于健康的关注度越来越高，视网膜图像在医学上的需求和应用也越来越广泛。
3.视网膜图像中，微动脉瘤是某些病变的早期重要指示标志。因此，对于视网膜微动脉瘤的检测和识别，就成为了视网膜图像检测的研究方向之一。
4.视网膜微动脉瘤的检测和识别，一般采用的是专业医护人员人工识别的方式。但是，这种方式对医生的水平和经验提出了较高的要求；而且由于微动脉瘤的尺寸非常小、颜色对比度较低，加之在眼底上分布较为随机，使得人工检测的过程繁琐且耗时，而且可靠性不高。
5.目前，基于机器学习的方法已经逐步应用，但是传统的基于机器学习的检测方法，需要繁琐的预处理，如血管去除、视盘去除等，后续还涉及候选微动脉瘤提取、手动设计、提取特征等复杂过程，使得该类方法的普适性不高，而且方法本身也存在可靠性差和流程复杂的缺陷。


技术实现要素：

6.本发明的目的之一在于提供一种可靠性高、实用性好、适用范围广且易于实施的视网膜微动脉瘤自动检测方法。
7.本发明的目的之二在于提供一种包括了所述视网膜微动脉瘤自动检测方法的成像方法。
8.本发明提供的这种视网膜微动脉瘤自动检测方法，包括如下步骤：
9.s1.获取原始视网膜彩色眼底图像，并进行标记；
10.s2.针对步骤s1获取并标记的原始视网膜彩色眼底图像，提取通道分量和感兴趣区域；
11.s3.对步骤s2获取的图像数据进行图像处理，从而得到训练数据集；
12.s4.以u形网络为基本架构，构建视网膜微动脉瘤初步识别模型；
13.s5.采用步骤s3得到的训练数据集，对步骤s4构建的视网膜微动脉瘤初步识别模型进行训练，从而得到最终的视网膜微动脉瘤识别模型；
14.s6.采用步骤s5得到的视网膜微动脉瘤识别模型，对实时获取的视网膜彩色眼底图像进行识别检测，完成视网膜微动脉瘤的自动检测。
15.步骤s2所述的提取通道分量和感兴趣区域，具体为采用如下步骤提取通道分量和感兴趣区域：
16.a.提取原始视网膜彩色眼底图像绿色通道眼底图像；
17.b.采用最大类间阈值分割法来自适应的计算出最佳阈值t，从而提取得到感兴趣区域：
[0018][0019]
式中g(x,y)为经阈值分割处理后的图像；f(x,y)为原图像；在g＝w0×
w1×
(u0‑
u1)2取最大值时，对应的t取值为最佳阈值，w0为前景像素点数占整幅图像的比例，w1为背景像素点数占整幅图像的比例，u0为前景平均灰度，u1为背景平均灰度。
[0020]
步骤s3所述的对步骤s2获取的图像数据进行图像处理，从而得到训练数据集，具体为采用如下步骤得到训练数据集：
[0021]
a.采用限制对比度自适应直方图均衡化技术对图像进行处理：
[0022][0023]
式中s为对比度；n为局部子区域内总像素数目；m为图像的最大灰度值；hist(i)为局部块内的直方图；直方图为离散函数h(r
k
)＝n
k
，r
k
为第k级灰度值，n
k
为图像中灰度为r
k
的像素数目；
[0024]
b.采用双立方插值技术统一图像尺寸：
[0025][0026]
式中f(i',j')为插值后对应坐标的值；f(i,j)为原图中坐标点(i,j)的值；i和j为像素点坐标；m和n为偏移量；r(x)为插值表达式且
[0027]
c.采用高斯滤波对图像进行平滑处理：
[0028][0029]
式中g(x,y)为经过高斯滤波处理后的图像；σ为标准偏差，用于表示高斯函数的有效范围；
[0030]
d.对图像数据集进行数据增广操作。
[0031]
所述的数据增广操作，具体包括垂直镜像、水平镜像、随机翻转和亮度变化。
[0032]
步骤s4所述的以u形网络为基本架构，构建视网膜微动脉瘤初步识别模型，具体为采用如下步骤构建视网膜微动脉瘤初步识别模型：
[0033]
模型包括编码器和解码器；
[0034]
编码器包括四个经典结构，每一个经典结构均包括三个不同大小的平行卷积核，卷积核大小分别为3
×
3、5
×
5和7
×
7；卷积核进行特征提取；四个经典结构均用于采样，且每次下采样时特征图的通道数加倍，特征图的大小减半；
[0035]
解码器包括四个经典结构，每一个经典结构均包括三个不同大小的平行卷积核，卷积核大小分别为3
×
3、5
×
5和7
×
7；
[0036]
编码器提取到的低层特征和解码器提取到的高层特征级联在一起；
[0037]
引入注意力引导滤波器，将从低层特征提取到的结构信息转移到高层特征图中。
[0038]
所述的注意力引导滤波器用于恢复空间信息，从不同分辨率层级图像合并结构信息；注意力引导滤波器的输入包括一个引导特征图i和一个滤波器特征图o，输出为一个高分辨率特征图注意力引导滤波器首先对引导特征图i进行下采样得到低分辨率特征图i
l
，i
l
的大小和滤波器特征图一样；然后最小化i
l
和o之间的重建误差，得到注意力引导滤波器a
l
、b
l
的参数；接下来对a
l
、b
l
进行上采样，获得注意力引导滤波器a
h
、b
h
的参数，最终得到注意力引导滤波器的高分辨率输出图像。
[0039]
步骤s5所述的训练，具体为训练过程中采用权重交叉熵损失：
[0040][0041]
式中n为训练样本数；w为权重；r
n
为标签分割图中的某一像素的金标准；p
n
为预测像素的概率值；1
‑
p
n
为背景像素图的概率值。
[0042]
本发明还提供了一种包括了所述视网膜微动脉瘤自动检测方法的成像方法，还包括如下步骤：
[0043]
s7.根据步骤s6得到的识别检测结果，在实时获取的视网膜彩色眼底图像上，对微动脉瘤进行标记和成像。
[0044]
本发明提供的这种视网膜微动脉瘤自动检测方法及成像方法，采用卷积神经网络和注意力引导滤波器训练得到深度学习模型，可以自动从海量数据中提取特征，相比于传统方法，省去了复杂的人工特征设计、提取过程，具有速度快、准确率高的优势，而且可靠性高、实用性好、适用范围广且易于实施。
附图说明
[0045]
图1为本发明检测方法的方法流程示意图。
[0046]
图2为本发明检测方法中原始眼底图像示意图。
[0047]
图3为本发明检测方法中经过预处理后的眼底图像示意图。
[0048]
图4为本发明检测方法中识别模型的结构示意图。
[0049]
图5为本发明检测方法中注意力引导滤波器的结构示意图。
[0050]
图6为本发明检测方法中微动脉瘤检测结果示意图。
[0051]
图7为本发明成像方法的方法流程示意图。
具体实施方式
[0052]
如图1所示为本发明检测方法的方法流程示意图：本发明提供的这种视网膜微动脉瘤自动检测方法，包括如下步骤：
[0053]
s1.获取原始视网膜彩色眼底图像(如图2所示)，并进行标记；
[0054]
s2.针对步骤s1获取并标记的原始视网膜彩色眼底图像，提取通道分量和感兴趣区域；具体为采用如下步骤提取通道分量和感兴趣区域：
[0055]
a.提取原始视网膜彩色眼底图像的绿色通道眼底图像；
[0056]
b.采用最大类间阈值分割法来自适应的计算出最佳阈值t，从而提取得到感兴趣区域：
[0057][0058]
式中g(x,y)为经阈值分割处理后的图像；f(x,y)为原图像；在g＝w0×
w1×
(u0‑
u1)2取最大值时，对应的t取值为最佳阈值，w0为前景像素点数占整幅图像的比例，w1为背景像素点数占整幅图像的比例，u0为前景平均灰度，u1为背景平均灰度；
[0059]
s3.对步骤s2获取的图像数据进行图像处理，从而得到训练数据集；具体为采用如下步骤得到训练数据集：
[0060]
a.采用限制对比度自适应直方图均衡化技术对图像进行处理，从而消除眼底图像中光照不均、微动脉瘤与背景对比度低等带来的影响：
[0061][0062]
式中s为对比度；n为局部子区域内总像素数目；m为图像的最大灰度值；hist(i)为局部块内的直方图；直方图为离散函数h(r
k
)＝n
k
，r
k
为第k级灰度值，n
k
为图像中灰度为r
k
的像素数目；
[0063]
在图像局部范围内进行直方图均衡化并限制对比度，从而可以对重点关注的区域进行突出和增强，对不感兴趣和不重要的区域进行减弱或抑制处理；
[0064]
b.采用双立方插值技术统一图像尺寸，从而统一训练数据的尺寸：
[0065][0066]
式中f(i',j')为插值后对应坐标的值；f(i,j)为原图中坐标点(i,j)的值；i和j为像素点坐标；m和n为偏移量；r(x)为插值表达式且
[0067]
c.微动脉瘤的尺寸小且与背景的对比度低，检测过程很容易受到噪声的影响，因
此采用高斯滤波对图像进行平滑处理(如图3所示)：
[0068][0069]
式中g(x,y)为经过高斯滤波处理后的图像；σ为标准偏差，用于表示高斯函数的有效范围；
[0070]
d.对图像数据集进行数据增广操作；具体包括垂直镜像、水平镜像、随机翻转和亮度变化等；扩大训练数据集，增强模型的泛化性；
[0071]
s4.以u形网络为基本架构，构建视网膜微动脉瘤初步识别模型；具体为采用如下步骤构建视网膜微动脉瘤初步识别模型(如图4所示，图中ag即为注意力引导滤波器)：
[0072]
模型包括编码器和解码器；
[0073]
编码器包括四个经典结构，每一个经典结构均包括三个不同大小的平行卷积核，卷积核大小分别为3
×
3、5
×
5和7
×
7；卷积核进行特征提取；四个经典结构均用于采样，且每次下采样时特征图的通道数加倍，特征图的大小减半；
[0074]
解码器包括四个经典结构，每一个经典结构均包括三个不同大小的平行卷积核，卷积核大小分别为3
×
3、5
×
5和7
×
7；
[0075]
编码器提取到的低层特征和解码器提取到的高层特征级联在一起；
[0076]
引入注意力引导滤波器，将从低层特征提取到的结构信息转移到高层特征图中；
[0077]
其中，所述的注意力引导滤波器(如图5所示)用于恢复空间信息，从不同分辨率层级图像合并结构信息；注意力引导滤波器的输入包括一个引导特征图i和一个滤波器特征图o，输出为一个高分辨率特征图注意力引导滤波器首先对引导特征图i进行下采样得到低分辨率特征图i
l
，i
l
的大小和滤波器特征图一样；然后最小化i
l
和o之间的重建误差，得到注意力引导滤波器a
l
、b
l
的参数；接下来对a
l
、b
l
进行上采样，获得注意力引导滤波器a
h
、b
h
的参数，最终得到注意力引导滤波器的高分辨率输出图像；
[0078]
s5.采用步骤s3得到的训练数据集，对步骤s4构建的视网膜微动脉瘤初步识别模型进行训练，从而得到最终的视网膜微动脉瘤识别模型；
[0079]
在训练过程中，采用权重交叉熵损失：
[0080][0081]
式中n为训练样本数；w为权重；r
n
为标签分割图中的某一像素的金标准；p
n
为预测像素的概率值；1
‑
p
n
为背景像素图的概率值；
[0082]
s6.采用步骤s5得到的视网膜微动脉瘤识别模型，对实时获取的视网膜彩色眼底图像进行识别检测，完成视网膜微动脉瘤的自动检测；检测结果如图6所示。
[0083]
如图7所示为本发明成像方法的方法流程示意图：本发明提供的这种包括了所述视网膜微动脉瘤自动检测方法的成像方法，包括如下步骤：
[0084]
s1.获取原始视网膜彩色眼底图像(如图2所示)，并进行标记；
[0085]
s2.针对步骤s1获取并标记的原始视网膜彩色眼底图像，提取通道分量和感兴趣区域；具体为采用如下步骤提取通道分量和感兴趣区域：
[0086]
a.提取原始视网膜彩色眼底图像的绿色通道眼底图像；
[0087]
b.采用最大类间阈值分割法来自适应的计算出最佳阈值t，从而提取得到感兴趣区域：
[0088][0089]
式中g(x,y)为经阈值分割处理后的图像；f(x,y)为原图像；在g＝w0×
w1×
(u0‑
u1)2取最大值时，对应的t取值为最佳阈值，w0为前景像素点数占整幅图像的比例，w1为背景像素点数占整幅图像的比例，u0为前景平均灰度，u1为背景平均灰度；
[0090]
s3.对步骤s2获取的图像数据进行图像处理，从而得到训练数据集；具体为采用如下步骤得到训练数据集：
[0091]
a.采用限制对比度自适应直方图均衡化技术对图像进行处理，从而消除眼底图像中光照不均、微动脉瘤与背景对比度低等带来的影响：
[0092][0093]
式中s为对比度；n为局部子区域内总像素数目；m为图像的最大灰度值；hist(i)为局部块内的直方图；直方图为离散函数h(r
k
)＝n
k
，r
k
为第k级灰度值，n
k
为图像中灰度为r
k
的像素数目；
[0094]
在图像局部范围内进行直方图均衡化并限制对比度，从而可以对重点关注的区域进行突出和增强，对不感兴趣和不重要的区域进行减弱或抑制处理；
[0095]
b.采用双立方插值技术统一图像尺寸，从而统一训练数据的尺寸：
[0096][0097]
式中f(i',j')为插值后对应坐标的值；f(i,j)为原图中坐标点(i,j)的值；i和j为像素点坐标；m和n为偏移量；r(x)为插值表达式且
[0098]
c.微动脉瘤的尺寸小且与背景的对比度低，检测过程很容易受到噪声的影响，因此采用高斯滤波对图像进行平滑处理(如图3所示)：
[0099][0100]
式中g(x,y)为经过高斯滤波处理后的图像；σ为标准偏差，用于表示高斯函数的有效范围；
[0101]
d.对图像数据集进行数据增广操作；具体包括垂直镜像、水平镜像、随机翻转和亮度变化等；扩大训练数据集，增强模型的泛化性；
[0102]
s4.以u形网络为基本架构，构建视网膜微动脉瘤初步识别模型；具体为采用如下步骤构建视网膜微动脉瘤初步识别模型(如图4所示)：
[0103]
模型包括编码器和解码器；
[0104]
编码器包括四个经典结构，每一个经典结构均包括三个不同大小的平行卷积核，卷积核大小分别为3
×
3、5
×
5和7
×
7；卷积核进行特征提取；四个经典结构均用于采样，且每次下采样时特征图的通道数加倍，特征图的大小减半；
[0105]
解码器包括四个经典结构，每一个经典结构均包括三个不同大小的平行卷积核，卷积核大小分别为3
×
3、5
×
5和7
×
7；
[0106]
编码器提取到的低层特征和解码器提取到的高层特征级联在一起；
[0107]
引入注意力引导滤波器，将从低层特征提取到的结构信息转移到高层特征图中；
[0108]
其中，所述的注意力引导滤波器(如图5所示)用于恢复空间信息，从不同分辨率层级图像合并结构信息；注意力引导滤波器的输入包括一个引导特征图i和一个滤波器特征图o，输出为一个高分辨率特征图注意力引导滤波器首先对引导特征图i进行下采样得到低分辨率特征图i
l
，i
l
的大小和滤波器特征图一样；然后最小化i
l
和o之间的重建误差，得到注意力引导滤波器a
l
、b
l
的参数；接下来对a
l
、b
l
进行上采样，获得注意力引导滤波器a
h
、b
h
的参数，最终得到注意力引导滤波器的高分辨率输出图像
[0109]
s5.采用步骤s3得到的训练数据集，对步骤s4构建的视网膜微动脉瘤初步识别模型进行训练，从而得到最终的视网膜微动脉瘤识别模型；
[0110]
在训练过程中，采用权重交叉熵损失：
[0111][0112]
式中n为训练样本数；w为权重；r
n
为标签分割图中的某一像素的金标准；p
n
为预测像素的概率值；1
‑
p
n
为背景像素图的概率值；
[0113]
s6.采用步骤s5得到的视网膜微动脉瘤识别模型，对实时获取的视网膜彩色眼底图像进行识别检测，完成视网膜微动脉瘤的自动检测；检测结果如图6所示；
[0114]
s7.根据步骤s6得到的识别检测结果，在实时获取的视网膜彩色眼底图像上，对微动脉瘤进行标记和成像。
[0115]
本发明的成像方法，可以直接应用于眼底图像成像的设备，该设备在每次成像并获取对应的眼底图像以后，采用本发明方法进行微动脉瘤的检测和识别，并根据检测和识别结果，可以再次对眼底图像进行对应的成像和标记操作(比如将微动脉瘤进行标记，圈出等操作)。