融合中心线图和增强对比度网络的血管分割方法及其系统

本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种融合中心线图和增强对比度网络的血管分割方法及其系统。

背景技术：

1、医学图像分割是计算机辅助诊断领域的一个重要分支，它在临床诊断和研究中有着广泛的应用，可分为传统方法和基于深度学习的方法。传统方法是基于传统计算机视觉和图像处理技术的方法来进行图像分析的一类方法，包括了基于阙值分割、模板匹配和聚类等经典的分割方法。这些方法经常作为图像处理的预处理步骤，用以获取图像的关键特征信息，提升图像分析效率。如已经提出中心线提取的方法，使用中心线可以提取血管的几何信息，对血管分割取得不错的效果。然而，传统的方法容易受到干扰因素的影响，对庞大数据集的分割任务不适用，不能满足实际的需求。

2、近年来，深度学习技术的飞速发展让医学影像分析领域取得了重要进展，一系列基于深度学习的分割方法被提出，越来越多基于深度学习的神经网络模型被应用到医学图像分割中，利用神经网络模型自动分析特征并实现血管分割。如使用基于u-net架构的神经网络，将unet和残差网络的优势结合到一起对血管进行分割，得到了良好的效果。然而，单一的网络模型往往难以充分利用血管的不同层次的特征信息，从而限制了血管分割的效果。

3、因此，本发明提出了融合中心线图和增强对比度网络的血管分割方法及其系统，可以在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高分割的效率和质量。

技术实现思路

1、本发明针对现有技术的不足，提出了一种融合中心线图和增强对比度网络的提出了一种融合血管分割方法及其系统，能够在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高分割的效率和质量。

2、本发明解决技术问题的技术方案为：

3、一种融合中心线热图和增强对比度的双解码器网络的血管分割方法，包括以下步骤：

4、s1.在数据集和中选取张眼底视网膜图像，记为数据集；

5、s2.对数据集进行预处理，首先进行数据增强，然后将增强后的数据集按比例划分为训练集和测试集；

6、s3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；

7、s4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；

8、s5.使用反向传播计算损失函数对网络参数的梯度，对步骤s3中网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存，然后读取保存的网络权重weight和偏置量bias，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。

9、进一步地，s1的具体步骤为：在公开的数据集和中一共选取n张眼底视网膜图像，记为数据集，，表示第张眼底视网膜造影图像，和数据集是用于眼底视网膜图像分割的常用数据集，包含40张tif格式的已注释的彩色视网膜图像，包含800张png格式的已注释的彩色视网膜图像。

10、进一步地，s2的具体步骤为：对数据集进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放进行数据增强，得到增强后的数据集，，，表示第张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集进行划分，将数据集划分为训练集和测试集。

11、进一步地，s3的具体步骤为：

12、a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为四组特征提取单元和最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，卷积块均由卷积核为3×3，步长为1×1，padding为0的卷积层、bn归一化层、relu激活函数和dropout层组成；

13、a-1）在第一特征提取单元中，将训练集中的第张图像输入到第一卷积块，得到特征图，随后将特征图输入到第二卷积块，得到特征图，然后将特征图和输入到残差卷积块中得到特征图；

14、a-2）将特征图输入到窗口设置为2×2的第一最大池化层得到特征图；

15、另外三组特征提取单元和最大池化层重复a-1）和a-2）中的操作：

16、a-3）将特征图输入到第二特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第二最大池化层得到特征图；

17、a-4）将特征图输入到第三特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第三最大池化层得到特征图；

18、a-5）将特征图输入到第四特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第四最大池化层得到特征图；

19、b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块包括卷积核为3×3，步长为1×1，填充padding为0的卷积层、bn归一化层、relu激活函数和dropout层；

20、b-1）将特征图输入到第一卷积块中得到特征图；

21、b-2）将特征图输入到第二卷积块中得到特征图；

22、b-3）将特征图和特征图输入到残差连接块中得到特征图；

23、c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第一卷积块、第二卷积块和第三卷积块组成，其中，第一卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、bn归一化层和relu激活函数组成，第二卷积块和第三卷积块均由卷积层、bn归一化层、relu激活函数和sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、relu激活函数和softmax函数组成，不同通道位置的特征是不同的，围绕中心线的狭窄区域需要更多的关注以获得最佳的区分对比度；

24、c-1)将训练集中第张眼底视网膜掩模图像输入到第一多任务卷积单元的第一卷积块中得到特征图，将特征图输入到第二卷积块中，经过sigmoid函数得到特征图，将特征图输入到第三卷积块中，经过sigmoid函数得到特征图；

25、c-2)将特征图输入到距离图计算层，采用欧几里得距离变换方法将特征图生成中心线距离特征图，假设图像分割掩模是，，表示图像中所有像素点位置的集合和，计算公式为：

26、，

27、，

28、其中，是像素到中心线点的欧几里得距离，是像素i在x轴上的位置，是像素i是在y轴上的位置，，是卷积符号，是调整参数；

29、将中心线距离特征图输入到通道注意力模块，按通道关注度进行加权计算，输出得到通道加权特征图，注意力模块通过通道注意力权重对不同的通道进行加权，，首先在中心线距离图的每个通道上应用卷积层获得通道特征向量v，然后通过relu激活函数获得原始注意力权重q，再对权重q应用softmax函数以获得最终的通道注意力权重，将中心线距离图乘以权重获得通道加权特征图，计算公式为：

30、，

31、，

32、，

33、其中是卷积核，是偏置向量，*是卷积运算符，表示relu激活函数，表示通道注意力权重，是中心线距离图，是通道加权特征图，是表示特征图数量， v表示通道特征向量， k表示标识符；

34、将中心线距离图和通道加权特征图输入到特征融合层中，按逐像素相乘的方式进行特征融合，得到高级中心线距离图；

35、c-3)将特征图输入到提取中心线模块的特征点检测层中，使用fast算法检测图像中的点生成点特征图，提取中的特征点生成点集，在每个特征点周围构造高斯分布，生成一个基于像素点的特征点置信特征图，其中fast算法是一种基于基于像素点的简单且高效的特征提取算法；

36、c-4）将高级中心线距离特征图和特征点置信特征图输入到提取中心线模块的特征融合层中进行concat特征融合，输出得到中心线热特征图；

37、c-5)将中心线特征图输入到第二卷积单元中，输出得到中心线热特征图；

38、d.第一解码器进行部分路径扩展，包括几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元和四组自注意力模块、对比度增强层、上采样层和特征融合层，其中，自注意力模块由卷积核为1×1，步长为1×1,padding为0的第一卷积层和第三卷积层、卷积核为1×1，步长为2×2，padding为0的第二卷积层、relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；对比度增强层由对比度增强层、卷积核为1×1，步长为1×1，padding为0的卷积层和concat特征融合层组成；

39、自注意力模块的计算公式为：

40、，

41、其中，是自注意力模块输出的特征图，和是来自编码器第i层和第j层的输入特征图，、和均表示卷积参数，表示卷积核为1×1的卷积函数，表示卷积核为2×2的卷积函数，表示卷积核为1×1的卷积函数，表示relu激活函数，表示上采样；

42、d-1)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层后输出得到图，将与逐像素相加得到图，将输入到relu函数后，得到特征图，将输入到第三卷积层输出，经过上采样层后得到特征图；

43、d-2）将特征图输入对比度增强层，采用直方图均衡化方法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；

44、其中，直方图均衡化方法是对输入的图像进行灰度级重新分配，使输出图像中的灰度值分布更加均匀并且不会损失图像细节，从而增加图像的对比度，计算公式为：

45、，

46、其中表示图像中像素值为的像素点数量，r表示局部均衡化窗口的大小， l表示输出图像的灰度级数，是输入的图像，t为变换函数，为输出图像；

47、d-3)将特征图输入到第一解码器的第一上采样层，得到特征图；

48、d-4)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层得到，将与逐像素相加得到特征图，将特征图输入到relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；

49、d-5)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；

50、d-6)将特征图输入到第一解码器的第二上采样层，得到特征图；

51、d-7)将特征图和特征图输入到第二特征融合层，得到特征图；

52、d-8)将特征图输入到第一卷积层中得到图，将特征图输入到第二卷积层后输出得到，将特征图与特征图逐像素相加得到特征图，将特征图输入到relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；

53、d-9)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；

54、d-10)将特征图输入到第一解码器的第三上采样层，得到图；

55、d-11)将特征图和特征图输入到第三特征融合层，得到特征图；

56、d-12)将特征图输入到第一卷积层后输出得到，将特征图输入到第二卷积层输出得到图，将与逐像素相加得到特征图，将特征图输入到relu函数后，得到特征图，将特征图输入到第三卷积层得到图，经过上采样层得到特征图；

57、d-13)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；

58、d-14)将特征图输入到第四上采样层，得到特征图；

59、d-15)将特征图和特征图输入到第四特征融合层输出图；

60、d-16)将特征图和中心线热图输入到第一解码器的几何特征融合层中，特征融合采用每个像素值相乘的方法，得到特征图；

61、d-17)将特征图输入到第一解码器的第五卷积单元中，输出得到特征图；

62、e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，卷积单元由卷积层、bn归一化层、relu激活函数和dropout层构成；

63、e-1)将特征图输入到第二解码器的第一上采样层得到特征图；

64、e-2)将特征图和输入到第二解码器的第一特征融合层得到特征图；

65、e-3)将特征图输入到第一卷积单元中，输出得到特征图，其中第一卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；

66、e-4)将特征图输入到第二上采样层得到特征图；

67、e-5)将特征图和输入到第二特征融合层得到特征图；

68、e-6)将特征图输入到第二卷积单元中，输出得到特征图，其中第二卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；

69、e-7)将特征图输入到第三上采样层得到特征图；

70、e-8)将特征图和输入到第三特征融合层特征图；

71、e-9)将特征图输入到第三卷积单元得到特征图，其中第三卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；

72、e-10)将特征图输入到第四上采样层得到特征图；

73、e-11)将特征图和输入到第二解码器的第四特征融合层中，输出得到特征图；

74、e-12)将特征图输入到第四卷积单元得到特征图，其中第四卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；

75、e-13)将特征图和中心线热图输入到第二解码器的几何特征融合层中，让每个像素值相乘来进行特征融合，得到特征图；

76、e-14)将特征图输入到第五卷积单元中，输出得到特征图，其中，第五单元单元中卷积层的卷积核为1×1，步长为1×1，padding为0；

77、f.将特征图和输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图，最后将特征图输入sigmoid函数得到概率图,设定阈值对像素点进行分类，阈值设为0.5，将概率值大于等于0.5的像素点判断为血管，小于0.5的判断为背景，得到分割结果图。

78、进一步地，s4的具体步骤为：

79、利用给定的掩模图像，采用损失函数进行训练，损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；

80、，

81、其中，代表分割掩模内的每个像素，和分别是标签真实值和预测的中心线距离图，和分别是标签真实值和预测的特征点置信图，表示hadamard矩阵乘积运算，是平衡中心线距离图和特征点置信图的损失加权因子；

82、提取中心线模块得到的中心线热图与其对应的掩模图像标签输入到损失函数中计算损失值，来量化预测结果和真实标签之间的差异程度；

83、总体损失函数，其中为交叉熵损失函数，

84、，

85、其中， p(x)表示真实标签的概率， q(x)表示网络预测的标签的概率。

86、进一步地，s5的具体步骤为：

87、使用adam作为优化器，在网络的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，对步骤s3中的网络结构的参数进行更新，使得损失函数逐渐减小，以实现更快的收敛速度，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；

88、读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。

89、本发明还提供了一种融合中心线图和增强对比度网络的血管分割方法的系统，包括以下模块：

90、数据收集模块：在已公开的数据集中进行数据收集，选取张眼底视网膜图像作为本系统的数据集；

91、数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的数据集，然后将增强后的数据集按比例划分为训练集和测试集；

92、网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；

93、特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；

94、训练优化模块：通过计算提网络结构中参数之间的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重和偏置量，并将其保存；

95、图像分割模块：读取保存的网络权重和偏置量，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。

96、上述技术方案具有如下优点或有益效果：

97、本发明将中心线热图和增强分支技术融入到双解码器网络中，在复杂的医学图像中提取出完整的、连通且准确的血管结构。利用细化算法提取出血管的中心线，构建中心线热图，将神经网络与增强分支技术结合用来提取血管的局部特征以及全局特征，随后将中心线热图融合到神经网络中，与提取到的血管特征进行融合。其中，网络部分由一个共同的编码器，以及两个具有相似结构解码器组成。第一解码器与增强分支技术融合用于分割任务，增强对对比度低的细小血管的特征提取。第二解码器用于辅助分割，用于提取血管中心线并生成中心线热图。将中心线热图通过注意力模块融入到第一解码器中辅助血管分割。使用中心线热图可以获取血管的几何特征，在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高了分割的效率和质量。