一种基于CNN的病灶血管统一分割方法

本发明涉及图像处理，具体为一种基于cnn的病灶血管统一分割方法。

背景技术：

1、眼底彩照是检查眼底的一种方式，能利用其看清眼底的组织结构，分析眼底结构的正常与异常，判断是否眼底的视盘、血管、视网膜或脉络膜等出现问题。由于图像分割技术为医学影像等应用提供了丰富的视觉感知信息，可应用于眼底彩照上与视网膜疾病相关的病灶分割。眼底图像的病灶分割和自然图像的分割有较大的差异，受拍摄光线和成像质量影响，病灶边缘对比度没有自然图像清晰，导致眼底病灶分割一直是一个困难复杂的挑战。

2、目前一般用于病灶分割的方法，无法获得的统一眼底病灶血管分割结果，难以利用眼底病灶本身的病因以及病理因素，导致对病灶分割的精度低，影响眼科医生提高筛查过程的效率。

3、为此我们提出一种基于cnn的病灶血管统一分割方法用于解决上述问题。

技术实现思路

1、本发明的目的在于提供一种基于cnn的病灶血管统一分割方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于cnn的病灶血管统一分割方法，该方法包括以下步骤：

3、s1：获取原始视网膜图像数据，构成数据集retinald，所述数据集retinald包括视网膜彩色rgb图像数据以及眼底病灶与血管分割的标注数据，将数据集retinald分割成训练集retinald1和测试集retinald2；

4、s2：对所述训练集retinald1进行数据增强模块dataaug处理，得到增强视网膜图像fretinald数据集；

5、s3：将增强视网膜图像fretinald数据集输入到交叉融合网络tfnet中，所述交叉融合网络tfnet包括特征提取模块；基于交叉融合网络tfnet构建并训练生成病灶血管统一分割模型tfmodel，基于迭代学习调整病灶血管统一分割模型tfmodel的内部参数，所述内部参数至少包括权重参数与随机参数；

6、s4：将测试集retinald2输入到病灶血管统一分割模型tfmodel中，得到目标医学图像，所述目标医学图像包括病灶分割图像以及视网膜血管分割图像。

7、优选的，所述特征提取模块的执行步骤包括：在网络末端分别使用血管风格代价函数和病灶代价函数，让网络的左右分支分别学习血管特征信息和病灶特征信息，并在网络中央分支对以上两种特征信息进行融合交互。

8、优选的，所述对训练集retinald1进行数据增强模块dataaug处理，得到增强视网膜图像fretinald数据集的步骤包括：基于所述原始视网膜图像数据提取部分视网膜图像数据，得到初级图像数据，对初级图像数据进行归一化处理，得到第二图像数据；将第二图像数据以垂直轴为对称轴进行翻转，得到第三图像数据；将第三图像数据以水平轴为对称轴进行翻转，得到第四图像数据；对第四图像数据进行满足预设条件的随机旋转并对其进行仿射变换，得到第五图像数据；随机改变第五图像数据的亮度与对比度，得到第六图像数据；在hsv色彩空间中对第六图像数据的色相、饱和度和亮度值进行调整，并限制对比度自适应直方图均衡化，得到第七图像数据；基于训练集retinald1得到若干个第七图像数据，将若干个第七图像数据作为增强视网膜图像fretinald数据集。

9、优选的，所述交叉融合网络tfnet包括信息提取模块、特征相加融合模块、特征拼接融合模块、特征注意力门限融合模块、特征vit融合模块。

10、优选的，所述信息提取模块的执行步骤包括：将信息提取模块设置成三个分支，分别为左分支、中央分支与右分支；左分支与右分支采用两个不同的代价函数对增强视网膜图像fretinald数据集进行监督学习；左分支使用交叉熵代价函数对病灶分割结果和病灶标签进行计算，得到左分支代价l；其中，表示病灶分割结果，y表示病灶标签；右分支使用风格代价函数对血管分割结果与血管风格进行风格相似度计算。

11、右分支使用风格代价函数对血管分割结果与血管风格进行风格相似度计算的步骤包括：

12、分别计算血管分割结果iseg与血管风格图像istyle各自的gram矩阵，基于两个gram矩阵得到关于两张图片的风格差异代价两张图片的风格总代价为比较损失代价内容代价平滑性代价结构相似性代价以及风格代价的加权总和；

13、基于风格代价函数计算第j层的增强视网膜图像的风格代价，其中，gj(i)i,k＝mean(ele_prod(φj(i)i,·,·,φj(i)k,·,·))/cj；

14、其中，gj(i)i,k表示一个特征图的格拉姆矩阵的第j层的第(i,k)元素，i为输入的增强视网膜图像，j表示特定的卷积层，mean表示对给定集合的元素进行平均，ele_prod表示两个矩阵相同位置的元素相乘，φj(i)i,·,·表示在第j层卷积层后的激活特征图中的第i行，φj(i)k,·,·表示在第j层卷积层后的激活特征图中的第k行，cj表示第j层特征图中的通道数量；

15、基于整体代价函数计算两张图片的风格总代价其中，x表示训练过程中的与代价对应的图片的编号，，iseg表示血管分割结果，istyle表示血管风格图像，表示比较损失代价，表示内容代价，表示平滑性代价，表示结构相似性代价，表示风格代价，λ1、λ2、λ3、λ4为权重系数。

16、优选的，所述特征相加融合模块的具体执行步骤包括：获取左分支和右分支分别提取到的病灶特征，得到左分支特征与右分支特征，分别记为获取上一层中央分支的融合特征，得到中央分支特征，记为基于关联函数将左分支特征、右分支特征以及中央分支特征进行特征图相加融合，并将相加特征通过卷积操作进行融合，得到相加融合特征再将中央分支的相加融合特征加回左分支与右分支的病灶特征及血管特征中形成残差链接，获得病灶融合特征以及血管融合特征，最后向后方网络传递；并将中央分支的相加融合特征与上一层中央分支的相加融合特征做一个残差链接并向后方网络传递。

17、优选的，所述特征拼接融合模块的具体执行步骤包括：基于关联函数将左分支特征、右分支特征以及中央分支特征进行特征图拼接融合，在通道维度将多个特征图进行拼接，得到拼接特征图；再将拼接特征图通过卷积操作进行融合，得到拼接融合特征再将中央分支的拼接融合特征加回左分支特征和右分支特征的病灶特征及血管特征中形成残差链接，获得病灶融合特征以及血管融合特征并向后方网络传递；将中央分支的拼接融合特征与上一层中央分支的拼接融合特征做一个残差链接并向后方网络传递。

18、优选的，所述特征注意力门限融合模块的具体执行步骤包括：基于注意力门限机制分析并提取特征图的关键区域，将同层下采样的特征图fdown通过注意力门限块过滤，得到关联通道；基于关联函数将关联通道与同层上采样的特征图fup进行拼接，得到融合特征图ffused，其中，fdown表示同层下采样的特征图，fup表示同层上采样的特征图，ag表示注意力门限块；将融合特征图ffused传递到上采样过程中的下一阶段。

19、优选的，所述特征vit融合模块的具体执行步骤包括：对拼接特征图进行patchembedding操作，将拼接特征图切分成(切块)patch并加上位置编码，基于变压器编码器进行编码融合，得到浓缩融合特征图，对浓缩融合特征图进行插值操作，得到插值融合特征图；将中央分支的插值融合特征图加回左分支特征和右分支特征的病灶特征及血管特征中形成残差链接，获得病灶融合特征以及血管融合特征并向后方网络传递；将中央分支的插值融合特征与上一层中央分支的插值融合特征做残差链接并向后方网络传递。

20、与现有技术相比，本发明的有益效果是：

21、1.本发明的cnn架构创新地通过为交叉融合tfnet网络多个分支配置不同的代价函数，有效地实现信息提取模块的功能，而无需依赖于独立的物理模块设计；代价函数通过分别计算血管的风格代价与病灶的分割代价，将两类信息提取功能紧密集成于整体的网络训练过程中，为交叉融合网络tfnet的成功学习和特征融合提供了关键的初步特征信息。

22、2.本发明提出的基于cnn的交叉融合网络tfnet，可以实现将视网膜病灶特征与视网膜特征信息相结合，解决了此前分割眼底病灶时没有考虑到病灶在病理生理上与血管之间的联系。

23、3.通过获得的统一眼底病灶血管分割结果，利用眼底病灶本身的病因以及病理因素，让病灶分割结果更具有可解释性，同时也提升了病灶分割的准确性。帮助眼科医生提高筛查过程的效率。