基于深度卷积神经网络的OCTA图像血管分割方法、设备及介质

基于深度卷积神经网络的octa图像血管分割方法、设备及介质
技术领域
1.本发明属于医学图像处理技术领域，涉及一种基于深度卷积神经网络的octa图像血管分割方法、设备及介质。


背景技术：

2.在临床中，视网膜眼底分析可以为眼科疾病的诊断提供关键的信息，其中视网膜血管的分割起着重要的作用。精准的血管分割不仅可以节省眼科医生进行临床诊断的时间，还可以提高疾病的准确率。
3.octa是一种先进的眼科成像技术，通过测量连续横断面扫描中oct信号的振幅变化来检测血管腔内的血细胞运动。octa能够呈现出视网膜和脉络膜任一层的血管结构视图，并显示毛细血管水平的血管细节。octa克服了oct不能很好地提供血流信息的缺点，逐渐成为眼科临床常用的观察工具。与传统眼底血管造影术相比，octa不用注射造影剂，方便快捷，可以避免患者产生不良反应。因此，octa已被广泛应用于眼科临床。
4.通过调研视网膜血管分割相关工作发现，基于彩色眼底图像的视网膜血管分割已经被研究了20多年，研究学者提出了一系列方法用于彩色眼底图像的血管分割，其中基于深度学习的方法，如u-net,r2u-net,attu-net,cs2-net和octave u-net等取得了优异的表现。虽然彩色眼底图像的视野大于octa，但它不能提供详细的毛细血管信息，而且容易受到视盘、黄斑区、光照和病变的影响，导致血管分割效果较差。
5.由于octa成像是一种相对较新的技术，所以在octa图像中进行视网膜血管分割的实践很少。目前仅有极少方法用于octa视网膜血管分割，并且这些方法大多是针对特定的数据集设计的，缺乏对其他公共数据集的验证。其次，眼底血管的拓朴结构具有多尺度、复杂和多变的特点，现有方法分割出的血管普遍存在不同程度的断裂、缺失和模糊的情况，特别是微血管像素。


技术实现要素：

6.本发明所要解决的技术问题是，针对现有技术不足，提出一种基于深度卷积网络的octa图像血管分割方法，能够完整、精确地提取血管信息。
7.为实现上述技术目的，本发明采用如下技术方案：
8.一种基于深度卷积神经网络的octa图像血管分割方法，针对待分割的octa图像中的en face图像，使用训练好的血管分割模型进行血管分割；其中，所述血管分割模型采用深度卷积神经网络结构，由粗分网络和细分网络级联而成；所述粗分网络接受en face图像作为输入，生成初步的血管分割图；所述细分网络拼接原始的en face图像和初步血管分割图并作为新的输入，最终输出细化后的血管分割图。
9.进一步地，所述粗分网络和细分网络，均为由编码器和解码器构成的u型网络；除编码器第一层之外，所述粗分网络和细分网络的结构相同，权重共享；除了输出层为倍频程
卷积块外，网络各层均设置为倍频程残差卷积块；编码器各层之间使用平均池化对输入图像进行逐级下采样，解码器各层之间使用转置的倍频程卷积进行上采样；编码器与解码器之间添加融合上下文信息的注意力块，在两级网络之间引入多尺度特征块。
10.进一步地，倍频程卷积块由大小为3
×
3的倍频程卷积、bn层、relu层和dropout层组成；倍频残差卷积块由两个倍频程卷积块和用于构成残差的跳跃连接组成；跳跃连接使用带bn层的大小为1
×
1的倍频程卷积，跳跃连接插入的时机是在第二个倍频程卷积块的bn层之后，relu激活之前。
11.进一步地，编码器与解码器之间的注意力块，首先通过自注意力机制建模特征图中任意两像素位置之间的依赖关系，提取包括丰富血管结构信息的上下文特征；然后将提取的上下文特征融合到通道中，通过建模通道间的相互依赖关系来自适应地重新校准通道方向的特征响应。
12.进一步地，所述通过自注意力机制建模特征图中任意两像素位置之间的依赖关系，具体包括：
13.步骤a1：将编码器输出的特征图f∈rc×h×w作为注意力块的输入，分别输入大小为1
×
3的倍频程卷积和3
×
1的倍频程卷积中，依次经过bn层、relu层和reshape操作后得到输出，fy∈rc×n和f
x
∈rc×n；其中c代表通道数、h和w分别代表特征图的高和宽，n＝h
×
w表示特征数，fy、f
x
分别表示所捕获的竖直和水平方向上的血管轮廓特征；
14.步骤a2：对fy进行转置得到在和f
x
的矩阵乘积上通过softmax函数计算空间中任意两点(x，y)之间的关系权值，即注意力权值：
[0015][0016]
步骤a3：将特征图f∈rc×h×w输入1
×
1倍频程卷积中，依次经过bn层、relu层和reshape操作得到特征图fv∈rc×n；将fv和步骤a2计算得到的注意力权值矩阵σs∈rn×n相乘获得增强后的特征f
′
∈rc×n，并reshape得到特征图f
′
∈rc×h×w；对f和f
′
执行逐元素相加操作，得到特征图fs∈rc×h×w，fs聚合了全局的上下文信息，其中包括丰富的血管结构信息。
[0017]
进一步地，所述通过建模通道间的相互依赖关系，具体包括：
[0018]
步骤b1：分别通过全局平局池化和全局最大池化操作提取特征图fs∈rc×h×w中的空间信息f
ap
∈rc×1×1和f
mp
∈rc×1×1；fs为包括丰富血管结构信息的上下文特征的特征图；
[0019]
步骤b2：将f
ap
和f
mp
输入权重共享的1
×
1的倍频程卷积块中，并将卷积块的输出在通道维度逐元素相加，以融合各通道特征，最后通过softmax函数计算得到各通道的权值响应σc∈rc×1×1：
[0020]
σc＝σ{octconv1(f
ap
)+octconv1(f
mp
)}
[0021]
其中octconv1(
·
)表示由大小为1
×
1的倍频程卷积、bn层和relu层构成的卷积块；σ表示softmax激活函数；
[0022]
步骤b3：将注意力块原始输入的特征图f∈rc×h×w，与步骤b2计算得到的权值矩阵σc相乘获得增强后的特征f
″
∈rc×h×w，将f与f
″
逐元素相加，得到注意力块的最终输出特征图fc∈rc×h×w。
[0023]
进一步地，多尺度特征块的构建步骤如下：
[0024]
步骤c1：对于第x个多尺度特征块，首先获取粗分网络编码器提取的不同尺度丰富低级语义特征
[0025][0026]
其中x∈[1，4]，y∈[x+1，5]，表示粗分网络编码器第y层输出的特征图，upsample(
·
)表示上采样操作，octconv1(
·
)表示由大小为1
×
1的倍频程卷积；
[0027]
步骤c2：将与细分网络编码器对应层的特征图执行逐元素相乘，所得结果再与相加得到融合不同尺度信息的特征f
out
，即为第x个多尺度特征块的输出：
[0028][0029]
其中表示细分网络编码器第x层输出的特征图，+、*分别表示逐元素相加和相乘操作，σ为softmax激活函数；
[0030]
步骤c3：将第x个多尺度特征块输出的特征图f
out
，通过跳跃连接与细分网络解码器输入特征图进行拼接，促进不同尺度的语义特征深度融合。
[0031]
进一步地，训练深度卷积神经网络得到所述血管分割模型的损失函数为：
[0032][0033]
其中λ是一个超参数，负责平衡粗分网络和细分网络损失函数项的权重占比；lc和lr分别表示粗分网络和细分网络的损失函数项，均为基于均方误差损失函数l
mse
和dice损失函数l
dice
的联合损失函数；将lc和lr统一表示为l，则：
[0034]
l＝l
mse
+l
dice
[0035][0036][0037]
其中，m表示en face图像中的像素的个数，gi∈[0，1]，pi∈{0，1}分别表示第i个像素的标签值和预测值；ε为拉普拉斯平滑因子。
[0038]
一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项技术方案所述的基于深度卷积神经网络的octa图像血管分割方法。
[0039]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项技术方案所述的基于深度卷积神经网络的octa图像血管分割方法。
[0040]
有益效果
[0041]
本发明用于对待分割的octa图像中的en face图像，使用训练好的血管分割模型进行血管分割，其中，所述血管分割模型采用深度卷积神经网络结构，由粗分网络和细分网络级联而成，前者生成初步血管分割图，后者进一步细化输出精细的血管分割结果，两级网
络结构相同、权重共享。骨架网络采用u型结构，基于倍频程残差卷积块设计，以提取图像多频信息。其次，为了更好地描述微血管特征，设计融合上下文信息的注意力块并将其引入到网络的编码器和解码器之间。最后，在两级网络之间引入多尺度特征块以促进不同尺度语义特征的深度融合。在octa-ss和octa-500两个公开数据集上的实验结果表明，本发明具有良好的血管分割效果，能够完整、精确地提取血管信息，特别是在细微血管的分割上表现优异。
附图说明
[0042]
图1是本发明的深度卷积神经网络ovs-net结构图。
[0043]
图2是本发明的倍频程卷积块和倍频程残差卷积块结构图。
[0044]
图3是本发明的融合上下文信息的注意力块示意图。
[0045]
图4是本发明的多尺度特征块示意图。
[0046]
图5是本发明的ovs-net网络训练过程示意图。
[0047]
图6是本发明的octa-ss数据集血管分割可视化结果对比图。
[0048]
图7是本发明的octa-500数据集血管分割可视化结果对比图。
具体实施方式
[0049]
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
[0050]
本实施例用于进行血管分割的模型，采用由粗分网络和细分网络级联而成的深度神经网络构建并使用训练样本训练得到，将本实施例中构建的深度神经网络记为ovs-net网络结构。其中，粗分网络生成初步血管分割图，细分网络进一步细化输出精细的血管分割结果，两级网络结构相同、权重共享。粗分网络和细分网络均采用u型结构，基于倍频程残差卷积块设计，以提取图像多频信息。其次，为了更好地描述微血管特征，设计融合上下文信息的注意力块并将其引入到网络的编码器和解码器之间。最后，在两级网络之间引入多尺度特征块以促进不同尺度语义特征的深度融合。在octa-ss和octa-500两个公开数据集上的实验结果表明，本发明取得极具竞争力的血管分割结果，尤其是在微血管分割方面。
[0051]
本实施例提供的基于深度卷积神经网络的octa图像血管分割方法，包括以下步骤：
[0052]
步骤1：选取公开数据集octa-ss和octa-500，并将其划分为训练集、验证集和测试集。对于数据集octa-ss，将其划分为训练集(no.1-no.35)，验证集(no.46-no.55)，测试集(no.36-no.45)。数据集octa-500包含了两个子数据集，即octa_6m和octa_3m。选取octa-500数据集中给出的内界膜和外丛状层之间的最大投影图，该投影图可以清楚地显示内侧视网膜的血管形态。将octa_6m分为训练集(no.10001-no.10180)、验证集(no.10181-no.10200)、测试集(no.10201-no.10300)，将octa_3m分为训练集(no.10301-no.10440)、验证集(no.10441-no.10450)、测试集(no.10451-no.10500)。
[0053]
步骤2：构建用于octa血管分割的深度卷积神经网络模型ovs-net(如图1所示)：
[0054]
(1)基于倍频程卷积块、倍频程残差卷积块构建五层u型骨架网络。
[0055]
如图2所示，倍频程卷积块由大小为3
×
3的倍频程卷积(octconv)、bn层、relu层和
dropout层组成。倍频残差卷积块由两个倍频程卷积块和用于构成残差的跳跃连接组成。跳跃连接使用带bn层的大小为1
×
1的倍频程卷积保证输入特征、输出特征的通道维度一致，跳跃连接插入的时机是在第二个倍频程卷积块的bn层之后，relu激活之前。
[0056]
(2)设计融合上下文信息的注意力块，并将其引入到u型网络的编码器和解码器之间，以弱化噪声影响，促使网络更加关注图像中的血管结构。如图3所示。
[0057]
该注意力模块首先通过自注意力机制建模特征图中任意两像素位置之间的依赖关系，提取包括丰富血管结构信息的上下文特征：
[0058]
参考图3左下方区域所示，首先将特征图f∈rc×h×w分别输入大小为1
×
3的倍频程卷积和3
×
1的倍频程卷积中，依次经过bn层、relu层和reshape操作后得到输出，fy∈rc×n和f
x
∈rc×n。其中c代表通道数、h和w分别代表特征图的高和宽，n＝h
×
w表示特征数，fy、f
x
分别表示所捕获的竖直和水平方向上的血管轮廓特征。
[0059]
对fy进行转置得到在和f
x
的矩阵乘积上通过softmax函数计算空间中任意两点(x，y)之间的关系权值：
[0060][0061]
将特征图f∈rc×h×w输入1
×
1倍频程卷积中，依次经过bn层、relu层和reshape操作得到特征图fv∈rc×n。将fv和注意力权值矩阵σs∈rn×n相乘获得增强后的特征f
′
∈rc×n，并reshape得到f
′
∈rc×h×w。对f和f
′
执行逐元素相加操作，得到特征图fs∈rc×h×w，fs聚合了全局的上下文信息，其中包括丰富的血管结构信息。
[0062]
然后将提取的上下文特征融合到通道中，通过建模通道间的相互依赖关系来自适应地重新校准通道方向的特征响应：
[0063]
参考图3右下方区域所示，通过全局平局池化和全局最大池化操作提取特征图fs∈rc×h×w中的空间信息f
ap
∈rc×1×1和f
mp
∈rc×1×1。全局平局池化和全局最大池化操作公式为：
[0064][0065]
其中，0＜c＜c，0＜h＜h，0＜w＜w；和分别代表f
ap
和f
mp
在通道c处的特征值。
[0066]
将f
ap
和f
mp
输入权重共享的1
×
1的倍频程卷积块中，并将卷积块的输出在通道维度逐元素相加，以融合各通道特征，最后通过softmax函数计算得到各通道的权值响应σc∈rc×1×1。
[0067]
σc＝σ{octconv1(f
ap
)+octconv1(f
mp
)}
[0068]
其中octconv1(
·
)表示由大小为1
×
1的倍频程卷积、bn层和relu层构成的卷积块。σ表示softmax激活函数。
[0069]
将原始输入特征f∈rc×h×w和步骤5计算得到的权值矩阵σc相乘获得增强后的特征f
″
∈rc×h×w。将f与f
″
逐元素相加得到最终输出fc∈rc×h×w。fc既聚合了的丰富的全局上下文信息，又突出了血管像素，抑制了不相关的背景像素和噪声的影响，促使网络更好地提取血
管结构。
[0070]
(3)按步骤步骤(1)中构建两个五层u型网络级联，所得两个网络分别命名为粗分网络和细分网络，除编码器第一层之外，两者结构相同，权重共享。其中粗分网络接受en face图像作为输入，生成初步的血管分割图，细分网络拼接原始en face图像和初步血管分割图作为新的输入，最终输出细化后的血管分割图。
[0071]
所述粗分网络和细分网络，除了输出层为倍频程卷积块外，网络各层均设置为倍频程残差卷积块，在编码器之间使用平均池化对输入图像进行逐级下采样，解码器之间使用转置的倍频程卷积进行上采样。
[0072]
(4)设计多尺度特征块，如图4所示，并将其引入到两级网络之间，促进不同尺度语义特征的深度融合，进一步增强了网络的血管提取能力的同时也促进了梯度的回传，使得网络更容易训练。
[0073]
对于第x个多尺度特征块，首先获取粗分网络编码器提取的不同尺度丰富低级语义特征
[0074][0075]
其中x∈[1，4]，y∈[x+1，5]，表示粗分网络编码器第y层输出的特征图，upsample(
·
)表示上采样操作，octconv1(
·
)表示由大小为1
×
1的倍频程卷积；
[0076]
然后将与细分网络编码器对应层的特征图执行逐元素相乘，所得结果再与加得到融合不同尺度信息的特征f
out
，即为第x个多尺度特征块的输出：
[0077][0078]
其中表示细分网络编码器第x层输出的特征图，+、*分别表示逐元素相加和相乘操作，σ为softmax激活函数；
[0079]
最后将第x个多尺度特征块输出的特征图f
out
，通过跳跃连接与细分网络解码器输入特征图进行拼接，促进不同尺度的语义特征深度融合。
[0080]
步骤3：构建模型损失函数
[0081][0082]
其中λ是一个超参数，负责平衡粗分网络和细分网络损失函数项的权重占比，实验设置为lc和lr分别表示粗分网络和细分网络的损失函数项，均为基于均方误差损失函数l
mse
和dice损失函数l
dice
的联合损失函数：
[0083]
l＝l
mse
+l
dice
[0084][0085]
[0086]
其中，m表示en face图像中的像素的个数，gi∈[0，1]，pi∈{0，1}分别表示第i个像素的标签值和预测值。为了避免数值不稳定问题和加速loss的收敛，在dice损失函数上添加拉普拉斯平滑因子ε，并将ε设置为1.0。
[0087]
步骤4：步骤1得到的训练集按批次输入到ovs-net中进行训练，得到血管分割模型。训练流程如图5所示。
[0088]
实验实验基于pytorch深度学习框架，训练并行使用两块nvidia titan xp显卡进行gpu加速。使用weight_decay为0.0005的adam优化器，初始学习率设置为0.0001，采用power为0.9的poly学习率衰减策略，octa-ss训练的epoch数为300，octa_500训练的epoch数为1000，两个数据集的batch size大小均设置为8。实验过程中每个epoch在验证集上进行验证，保存在验证集上损失函数值最小的模型。
[0089]
步骤5：将测试集图像作为待分割的octa图像中的en face图像，将其输入到上述训练好的血管分割模型中，得到血管分割结果。
[0090]
在octa-ss测试集上进行模型评估得到的dice系数、jaccard相似系数、均衡准确率、召回率分别为90.50％、82.67％、92.08％、93.88％。在octa_6m测试集上进行评估得到的dice系数、jaccard相似系数、均衡准确率、召回率分别为85.93％、75.46％、95.58％、93.62％。在octa_3m测试集上进行评估得到的dice系数、jaccard相似系数、均衡准确率、召回率分别为87.66％、78.11％、97.62％、96.97％。
[0091]
图6为本发明和对比方法在octa-ss数据集上进行血管分割的可视化结果对比图。可以看到，对比方法分割出的血管均存在像素遗漏、模糊和断裂的情况，与这些方法相比，本发明成功地提取出微血管并且分割出的血管具有良好的连续性和完整性。
[0092]
图7为本发明和对比方法在octa-500数据集上进行血管分割的可视化结果对比图。可以看到，对比方法存在血管提取不完整的情况，本发明分割出的血管则提取出了清晰的血管轮廓，且具有较好的血管的连通性，具备更好的血管提取能力，取得了和金标准基本一致的结果。
[0093]
综上，本发明提出的一种基于深度卷积神经网络的octa血管分割方法，在octa-55、octa_3m和octa_6m上的实验结果表明，本发明具有良好的血管分割效果，能够完整、精确地提取血管信息，特别是在细微血管的分割上表现优异。
[0094]
以上实施例为本技术的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本技术总的构思的前提下，这些变换或改进都应当属于本技术要求保护的范围之内。