一种基于嵌套结构的小样本眼底血管图像分割方法

本发明涉及深度学习技术和图像处理，具体涉及一种基于嵌套结构的小样本眼底血管图像分割方法。

背景技术：

1、随着全球人口老龄化、糖尿病以及生活方式改变等因素造成的影响，青光眼、糖尿病视网膜病变(dr)、年龄相关性黄斑(amd)成为了老年人失明的首要原因，疾病与视网膜血管系统的形态结构相关性的研究表明，视网膜血管系统与高血压、中风和心血管疾病等多种疾病之间存在密切关系，早期的发现与诊断对于医生和病人都有着极为重要的意义。视网膜血管树状结构非常复杂，眼底相机采集此类信息时产生的对比度、亮度分布不均的问题使得血管的分辨和提取较为困难，手工分割视网膜眼底血管对于医生来说是一个相当费时费力且繁琐的工作，当前迫切的需要一种自动化的分割手段来进行辅助。智能算法的发展使得计算机能够快速完成眼底血管的分割任务，极大的减轻眼科医生的标注负担，提升医生的工作效率。

2、目前，眼底血管图像的自动分割方法主要分为两大类：传统的眼底血管分割算法和基于深度学习的分割算法。传统的眼底血管分割算法主要以数字图像处理技术为主，这些技术大多采用基于规则的方法，包括匹配滤波、多尺度、血管跟踪、形态学处理、区域生长等。其优势在于不需要额外的数据集标注、较快的速度和较小的计算复杂度。然而传统方法的缺陷在于过度依赖特征设计和大量的人工调参，缺乏自动提取特征的能力，在分割精度上有待提高且泛化能力较差。基于深度学习的分割算法凭借其出色的特征提取能力已经逐步替代了传统的分割方法，其中基于u-net的分割模型在医学图像分割领域有着广泛的应用。然而u-net多次下采样可能会造成细节信息失真等问题，unet++通过嵌套和剪枝优化了其结构，密集跳跃连接能够更好的保存不同网络深度下的细节信息，具有更强的特征提取能力。

3、然而基于深度学习的分割模型通常要求大量样本进行训练，而在医学图像分割领域，由于病人隐私和医院政策等因素的影响，样本获取难度大且数量稀少，难以满足深度学习模型的训练需求。而目前针对包含血管结构的小样本图像分割方法较少，已有的小样本模型难以对血管结构进行精细的分割。

4、因此，如何在样本量较少的情况下对医学图像中的眼底血管结构进行有效的分割是该领域技术人员急需解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了一种基于嵌套结构的小样本眼底血管图像分割方法，提高模型提取原型特征向量的能力，改善模型在小样本情形下的分割精度，以解决现有技术中模型对样本依赖性强、精度差、泛化能力较弱等问题。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于嵌套结构的小样本眼底血管图像分割方法，获取待处理的眼底血管图像，输入至经过预先训练的眼底血管分割网络模型，得到待处理的眼底血管图像的血管区域分割结果；

4、所述眼底血管分割网络模型包括原型提取层、掩码平均池化层和分割头；所述原型提取层用于对输入的眼底血管图像进行多层嵌套的特征提取，得到眼底血管图像的原型特征图；所述掩码平均池化层用于根据设定的分割类别掩码，提取出所述原型特征图对应的原型特征向量；所述分割头用于根据所述原型特征向量进行眼底血管图像的分割处理，得到眼底血管图像区域分割结果。

5、作为优选方案，所述原型提取层包括n个阶段级联、n个层级的特征恢复单元，其中任意的第i阶段的特征恢复单元中包括依次连接的一个上下文特征精炼模块和i-1个嵌套细节恢复模块，i＝1,2,…,n，且输入至原型提取层的眼底血管图像作为第1阶段特征恢复单元的输入x1，每个阶段特征恢复单元中的上下文特征精炼模块的输出经过卷积并行池化处理后作为下一个阶段特征恢复单元的输入，每个阶段的特征恢复单元的最后第n层输出的原型特征图作为针对眼底血管图像提取的原型特征图，从而得到眼底血管图像对应的原型特征图{f1,f2,...fi,...,fn}；

6、所述原型提取层中任意第i阶段的特征恢复单元中任意第j层输出的原型特征图fk(xi)通过如下公式表示：

7、

8、

9、k＝i+j-n-1；

10、其中，xi为原型提取层中第i阶段的特征恢复单元的输入，g()表示上下文特征精炼模块的处理，dk-1()表示k-1次的嵌套细节恢复模块的处理，pool()表示卷积并行池化处理；

11、对于原型提取层中第i阶段的任意第j层的输出表示为：

12、

13、其中，满足n＜i+j≤2n，relu(·)表示relu激活函数运算。

14、作为优选方案，所述上下文特征精炼模块的处理过程包括：

15、对输入的特征图通过1×1卷积进行通道数扩展处理，得到扩展特征图；再将所述扩展特征图依次通过3×3卷积和1×1卷积进行上下文特征提取与聚合，得到聚合特征图；然后，将所述聚合特征图再依次经过通道注意力模块和空间注意力模块进行通道注意力特征和空间注意力特征的提取，最后将提取结果图与所述扩展特征图进行逐元素相加及激活运算后，得到作为输出的特征图。

16、作为优选方案，所述卷积并行池化的处理过程包括：

17、对输入特征图分别进行最大池化处理和结合卷积处理；其中，在结合卷积处理中，先对输入特征图通过5×5卷积进行特征视野扩展处理，再通过2×2卷积进行调整处理；然后，将最大池化处理结果图和结合卷积处理结果图进行逐元素相加，得到作为输出的特征图。

18、作为优选方案，对于原型提取层中第i阶段的任意第j层的嵌套细节恢复模块，其处理过程包括：

19、先对输入特征图进行密集上采样卷积处理，将输入特征图划分映射为l个高度、宽度、通道数尺寸为(h×r,w×r,1)的特征子图，然后将其与此前各阶段中位于第j层的各特征子图至进行拼接后通过上下文特征精炼处理进行信息提取融合，再将融合结果与相邻前一阶段位于第j层的特征子图进行逐元素相加后，得到作为输出的特征图

20、所述密集上采样卷积处理，是将先对输入特征图进行3×3卷积处理，然后将卷积处理后的特征图划分为l个高度、宽度、通道数尺寸为(h,w,r2)的特征图子集，其中r2×l＝c，r为上采样的倍率，l为目标通道数，c为输入特征图的通道数，最后将特征图子集映射为l个高度、宽度、通道数尺寸为(h×r,w×r,1)的特征子图。

21、作为优选方案，在原型提取层中任意第i阶段的最后第n层输出后，还通过薄弱信息精炼模块处理后，再传递至第i+1阶段的第n层；所述薄弱信息精炼模块的处理过程包括：

22、对输入特征图分别进行信息激活处理和空间注意力提取出处理；其中，在信息激活处理中，先使用线性激活函数对输入特征图进行动态线性激活，再通过3×3卷积进行通道信息激活并通过sigmoid函数映射得到概率图，然后将所述概率图与所述输入特征图相乘，得到对应的信息激活处理结果图；然后，将所述信息激活处理结果图与空间注意力提取处理结果图进行逐元素相加后，再与所述输入特征图相乘，得到作为输出的特征图。

23、作为优选方案，所述掩码平均池化层的处理过程包括：

24、先计算眼底血管图像对应的原型特征图{f1,f2,...fi,...,fn}各自对应的原型特征向量：

25、

26、其中，pi表示原型向量集中第i个原型特征向量，f(i,j,a,b)表示第j个眼底血管图像在原型提取层中第i阶段提取得到的原型特征图在(a,b)像素坐标位置的特征值，y(i,j,a,b)第j个眼底血管图像在原型提取层中第i阶段对应的原型特征图在(a,b)像素坐标位置的对应的分类掩码，i＝1,2,…,n，n表示原型提取层包含的阶段数；j＝1,2,…,k，k表示眼底血管图像的数量；由此得到原型向量集{p1,p2,...,pi,...,pn}，并融合得到原型特征向量p，融合方式为：

27、

28、作为优选方案，所述分割头通过余弦距离计算眼底血管图像在原型提取层中第n阶段提取得到的原型特征图fn与原型特征向量p的距离，进而判断眼底血管图像的区域分割类别概率，得到眼底血管图像区域分割结果。

29、作为优选方案，所述眼底血管分割网络模型通过如下方式进行训练：

30、先将完成血管图像区域分类掩码标记的眼底血管样本图像作为训练样本，并将训练样本划分为支撑集和查询集，采用n-way k-shot分类任务的训练方式，对眼底血管分割网络模型进行训练，其针对每个需要识别的区域分割类别的训练步骤包括：

31、第一阶段，将支撑集输入原型提取层提取对应的原型特征图并以标记的血管图像区域分类掩码标记作为掩码平均池化层的掩码，使用掩码平均池化层提取支撑集的原型向量集融合得到支撑集原型特征向量ps；

32、第二阶段，将查询集输入原型提取层提取对应的原型特征图并通过分割头计算查询集的原型特征图与支撑集原型特征向量ps的距离dq，得到对应的区域分割类别概率计算该分类结果的二元交叉熵损失；

33、第三阶段，将第二阶段的输出的区域分割类别概率作为掩码平均池化层的掩码，使用掩码平均池化层提取查询集的原型特征向量融合得到查询集原型特征向量pq，并通过分割头计算支撑集的原型特征图与查询集原型特征向量pq的距离ds，得到对应的区域分割类别概率计算该分类结果的二元交叉熵损失；

34、由此，通过循环上述三个阶段的操作，训练损失优化眼底血管分割网络模型的参数，直至眼底血管分割网络模型收敛，得到经过训练的眼底血管分割网络模型。

35、作为优选方案，在眼底血管分割网络模型的训练中，通过如下公式计算二元交叉熵损失：

36、

37、其中，gi表示第i个训练样本真实的区域分类掩码标记，表示针对第i个训练样本预测的区域分割类别概率，m表示训练样本的数量。

38、本发明与现有技术相比，具有如下有益效果：

39、本发明通过对unet++网络和原型网络的结合改进，提出了一种能够用于小样本眼底血管图像分割的基于嵌套结构的眼底血管分割网络模型，其通过原型提取层对输入的眼底血管图像进行多层嵌套的特征提取，得到眼底血管图像的原型特征图；通过掩码平均池化层根据设定的分割类别掩码，提取出所述原型特征图对应的原型特征向量；最后借助分割头计算眼底血管图像在原型提取层中最后一阶段提取得到的原型特征图与原型特征向量的距离，进而判断眼底血管图像的区域分割类别概率，得到眼底血管图像区域分割结果。本发明方法能够提高模型提取原型特征向量的能力，改善模型在小样本情形下的分割精度，以解决现有技术中模型对样本依赖性强、精度差、泛化能力较弱等问题。