一种基于GCS-Net进行OCT图像脉络膜自动分割方法与流程

本发明涉及一种基于gcs-net进行oct图像脉络膜自动分割方法，属于眼底图像分割
技术领域：
。
背景技术：
：脉络膜是介于视网膜色素上皮层(rpe)和巩膜之间的一层复杂血管系统，具有非常重要的生理功能。oct图像中脉络膜厚度的分布和体积的变化已成为管理视网膜疾病的重要指标。很多疾病与脉络膜的形态息息相关，如病理性近视(pm)、青光眼、年龄相关性黄斑变性(amd)，中央浆液性脉络膜视网膜病变(csc)、近视黄斑病变，脉络膜炎等。实现oct图像中脉络膜的自动分割对发现早期病变、观测病程和研究病理都具有重要意义。以1050纳米为中心波长的扫频光学相干断层成像(ss-oct)是一种高分辨率、非接触性、无创性的生物组织成像技术，以微米分辨率进行眼前节和眼后节组织的断层成像，生成包括黄斑、视盘在内的眼生物组织的横断面图像，图像中能够看到完整的脉络膜结构以及部分巩膜结构。目前传统算法和深度学习均能对oct图像中脉络膜进行分割，但都有着一定的局限性和不足：(1)传统算法复杂且脉络膜下边界检测的准确率不高。(2)很多传统算法仅适用于正常视网膜，或仅适用于以黄斑为中心的图像，对于病理性近视或含视神经乳头(onh)的视网膜，检测变得更加复杂且困难。(3)深度学习虽然能够弥补传统算法的不足，但现有的大部分网络都是对同层的所有特征图进行统一的处理，导致网络在同层中感受野相同，从而获取的局部信息单一。(4)随着网络连续的下采样以及带有步长的卷积操作，仅能在同层获取单一尺寸信息的缺陷越来越明显，从而导致脉络膜的分割不够精准。技术实现要素：本发明所要解决的技术问题是，提供一种分割准确性更高的oct图像脉络膜自动分割方法，且适用范围可扩大至病理性近视或含视神经乳头的视网膜图像分割。为解决上述技术问题，本发明采用的技术方案为：一种基于gcs-net进行oct图像脉络膜自动分割方法，此处gcs-net定义为组间上下文选择网络，本方法包括以下步骤：数据获取和预处理，数据集为人眼三维oct图像，对上述数据进行预处理作为训练集样本；构建gcs-net网络模型，利用训练集样本对所述gcs-net网络进行训练，所述gcs-net网络采用u-net结构作为基础网络，在编码路径与解码路径之间的每层跨越连接层采用组间通道膨胀模块(gcd)进行连接，在解码路径中每层反卷积层后采用组间空间膨胀模块(gsd)进行层间连接；所述组间通道膨胀模块将输入的特征图分为多组，对分组的特征图分别进行不同膨胀率的膨胀卷积操作，同时对分组的特征图进行特征提取、输出，获得所有分组的通道信息，将其作为权重与膨胀卷积操作后的所有分组特征图对应相乘得到各组特征图，将所有分组特征图拼接后与输入的特征图进行残差操作输出该模块的预测图；所述组间空间膨胀模块将输入的特征图分为多组，对分组的特征图分别进行不同膨胀率的膨胀卷积操作，同时对分组的特征图进行特征提取、输出，获得所有分组的空间信息，将其作为空间权重与膨胀卷积操作后的所有分组特征图对应相乘得到各组特征图，将所有分组特征图拼接后与输入的特征图进行残差操作输出该模块的预测图；对训练好的gcs-net网络模型进行测试；将待分割图像输入构建好的模型中，输出对应的脉络膜分割图。进一步的，所述gcs-net网络模型采用的损失函数为二值交叉熵损失(bce)和戴斯(dice)损失组合构成的联合损失函数，dice损失ldice和bce损失lbce的公式如下：这里的n是预测图中总的像素数量，pi∈[0,1]和gi∈{0,1}分别表示像素i预测为目标前景的概率和金标准的真实标签，ε是平滑因子；最终的联合损失函数ltotal的公式为：ltotal＝ldice+λlbce(3)这里的λ是dice损失和bce损失的平衡系数。进一步的，所述数据预处理方法为将大小为512(b扫描宽度)×992(b扫描深度)的原始oct图像双线性插值下采样到256(b扫描宽度)×512(b扫描深度)，并通过对图像进行随机的左右翻转以模拟左右眼图像的方式进行数据增强。进一步的，所述gcs-net网络结构为4层结构的u-net网络，编码路径每层采用两个3×3卷积层和最大池化层进行特征提取，每层特征图经所述组间通道膨胀模块连接对应的解码层，在解码路径每层采用3×3卷积层、上采样层以及1×1卷积层进行恢复，每层特征图经所述组间空间膨胀模块连接对应的解码层，输出层采用3×3卷积层以及1×1卷积层进行输出，除输出层以外的所有卷积层均加入批正则化(bn)和修正线性单元(relu)来校正数据分布。进一步的，所述组间通道膨胀模块将特征图平均分为4组，每组分别进行膨胀率为1、2、4、6的膨胀卷积操作。进一步的，所述组间通道膨胀模块中对分组的特征图进行特征提取输出步骤包括：平均池化、卷积、批正则化以及激活操作后，通过softmax回归获得所有分组的通道信息。进一步的，所述组间空间膨胀模块将特征图平均分为3组，每组分别进行膨胀率为1、3、5的膨胀卷积操作。进一步的，所述组间空间膨胀模块对分组的特征图进行特征提取输出步骤包括：下采样、卷积、批正则化、激活、上采样、卷积、批正则化、激活操作后，通过softmax回归获得所有分组的空间信息。进一步的，所述分割方法用于病理性近视或含视神经乳头(onh)的视网膜三维oct图像分割。本发明所达到的有益效果：1)本发明设计一个端到端的网络gcs-net并进行训练，得到感受野与脉络膜分割目标区域一致的脉络膜分割模型，再将正常或高度近视的oct图像送入到训练好的脉络膜分割模型中，从而得到相应的脉络膜分割图；2)在gcs-net的跨越连接层处设计组间通道膨胀模块(gcd)，该模块能够在通道信息的指导下，对组间不同膨胀率卷积得到的多尺度信息进行选择，从而增强感受野与脉络膜分割目标区域的一致性；3)在gcs-net的译码路径中设计组间空间膨胀模块(gsd)，该模块能够在空间信息的指导下，对组间不同膨胀率卷积得到的多尺度信息进行选择，从而增强感受野与脉络膜分割目标区域的一致性；本发明首次提出了一种具有可行性和有效性的针对中心波长为1050纳米的扫频光学相干断层成像扫描仪采集的大视野三维oct图像中正常和高度近视的脉络膜的自动分割方法，该方法均能够自动且准确的分割出被定义为脉络膜上边界的布鲁赫膜(bm)以及被定义为下边界的脉络膜-巩膜分界面(csi)。对正常或病变脉络膜的厚度和形态的定量分析具有重要作用。附图说明图1是实施例采用的组间通道膨胀模块(gcd)的内部组成；图2是实施例采用的组间空间膨胀模块(gsd)的内部组成；图3是实施例构建的gcs-net的整体网络结构；图4是脉络膜分割结果；其中，(a)和(b)分别是正常人眼不含视盘和含视盘的横向扫描图像的分割结果；(c)是高度近视人眼横向扫描图像的分割结果；(d)是病理性高度近视人眼的横向扫描图像的分割结果。具体实施方式下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。一种基于gcs-net进行oct图像脉络膜自动分割方法，包括以下步骤：数据获取和预处理，数据集为人眼三维oct图像，对上述数据进行预处理作为训练集样本，数据集可采集自正常、病理性近视或含视神经乳头的视网膜图像，将采集数据进行统一规格处理用于模型输入。构建gcs-net网络模型，利用训练集样本对所述gcs-net网络进行训练，所述gcs-net网络采用u-net结构作为基础网络，在编码路径与解码路径之间的每层跨越连接层采用组间通道膨胀模块(gcd)进行连接，在解码路径中每层反卷积层后采用组间空间膨胀模块(gsd)进行层间连接；所述组间通道膨胀模块将输入的特征图分为多组，对分组的特征图分别进行不同膨胀率的膨胀卷积操作，同时对分组的特征图进行特征提取、输出，获得所有分组的通道信息，将其作为权重与膨胀卷积操作后的所有分组特征图对应相乘得到各组特征图，将所有分组特征图拼接后与输入的特征图进行残差操作输出该模块的预测图；所述组间空间膨胀模块将输入的特征图分为多组，对分组的特征图分别进行不同膨胀率的膨胀卷积操作，同时对分组的特征图进行特征提取、输出，获得所有分组的空间信息，将其作为空间权重与膨胀卷积操作后的所有分组特征图对应相乘得到各组特征图，将所有分组特征图拼接后与输入的特征图进行残差操作输出该模块的预测图；对训练好的gcs-net网络模型进行测试，将待分割图像输入构建好的模型中，输出对应的脉络膜分割图。实施例1)数据预处理实验的数据集是由中心波长为1050纳米的topcondri-oct扫描仪采集的大视野三维oct图像组成，扫描范围包括黄斑中心和视神经乳头(onh)的区域。图像大小为512(b扫描宽度)×256(b扫描次数)×992(b扫描深度)，对应的体积为12×9×2.6mm3。数据集由专业医生标注的1650张包含金标准的b扫描oct图像组成，其中1150张来自115只正常人眼，500张来自50只高度近视人眼，每只人眼提取10个均匀间隔的b扫描oct图像。在训练和验证过程中，为提高模型的计算效率，将大小为512(b扫描宽度)×992(b扫描深度)的原始oct图像双线性插值下采样到256(b扫描宽度)×512(b扫描深度)，并对图像进行随机的左右翻转模拟左右眼图像的方式进行数据增强。2)网络模型的设计a)组间通道膨胀模块(gcd)如图1所示本发明网络模型中组间通道膨胀模块(gcd)的结构。该模块将输入的一组特征图平均分成四组，每组进行膨胀率为1、2、4、6的膨胀卷积操作。膨胀率的选择是由脉络膜分割目标区域的大小决定的。膨胀卷积操作后得到四组不同尺度的特征图。同时对输入的这组特征图进行全局平均池化、卷积、激活等操作，最后通过softmax回归返回四组通道信息。这里需要说明的是softmax回归是按组进行的，四组通道信息进行垂直方向的softmax操作从而自适应的选择不同尺度信息。然后将四组通道信息作为权重与前面得到的四组不同尺度的特征图相乘得到四组特征图，哪组通道信息权重越大，说明该组对应的感受野对最终网络预测的贡献越大。最后将得到的4组特征图拼接起来再与输入的特征图进行一个残差操作从而输出最终模块的预测图。因此，该模块利用分组的思想，在通道信息的指导下，自动对组间多尺度信息进行选择。b)组间空间膨胀模块(gsd)图2是组间空间膨胀模块(gsd)的结构。与gcd模块一样，本发明设计的gsd模块以另一种方式实现组间多尺度信息的选择，增强感受野与分割目标区域的一致性。该模块将输入的一组特征图分成三组，这里没必要使每组的通道数完全相同，然后每组进行膨胀率为1、3、5的膨胀卷积操作得到三组不同尺度的特征图。同时，将输入的这组特征图经过一系列操作得到三张具有空间权重的特征图，在这些操作中，下采样的目的是为了获取更多的全局信息，上采样的目的是恢复特征图的大小，softmax回归是使模块能够自动的对多尺度信息进行选择。然后将三张空间权重特征图与前面得到的三组不同尺度的特征图相乘得到三组特征图。最后将得到的三组特征图进行拼接再与输入的特征图进行一个残差操作输出最终模块的预测图。因此该模块是在空间信息的指导下，对一组特征图进行组间多尺度信息的选择。c)网络模型整体框架在gcd和gsd的基础上，本发明设计了一个微量型的深度学习网络框架(gcs-net)来自动分割oct图像中的脉络膜，网络模型的整体框架如图3所示。由于gcd和gsd具有强大的多尺度信息选择的能力，所以本发明仅使用基于编码-解码结构的4层u-net作为基础网络。在编码路径中仅使用两个3×3卷积和最大池化来快速的获取不同分辨率的特征图，在解码路径中使用多个简单的解码块快速有效地恢复出高分辨率的特征图，除了输出最终预测图的最后两个卷积层外，网络中其他卷积层都加了批正则化(bn)和修正线性单元(relu)来校正数据的分布。网络模型将发明的gcd模块放在网络的跨越连接层，目的是利用gcd，在编码路径的每层自动的对多尺度信息进行选择，从而弥补原来编码器将单一信息传递给译码器的不足。同时将发明的gsd放在解码器部分，目的是利用gsd进行多尺度信息的选择，从而来弥补上采样过程中全局信息丢失的缺陷。d)损失函数在像素级别的二值分割任务中，最常见的损失是二值交叉熵损失(bce)，它可以解决医学图像中数据不平衡的问题。而戴斯(dice)损失更加侧重于小目标的分割，例如本文中高度近视的脉络膜分割。本次发明将bce损失与dice损失相结合作为联合损失函数，来解决脉络膜分割问题中数据不平衡以及脉络膜分割目标区域不均匀的问题。dice损失ldice和bce损失lbce的具体公式如下：这里的n是预测图中总的像素数量。pi∈[0,1]和gi∈{0,1}分别表示像素i预测为目标前景的概率和金标准的真实标签，ε是平滑因子，取值范围为[0.1,1]。最终的联合损失函数ltotal的公式为:ltotal＝ldice+λlbce(3)这里的λ是dice损失和bce损失的平衡系数，这里的λ值设为1，为了公平，所有实验都采用这里的联合损失函数。3)模型的训练和测试我们对1650张含金标准的数据集进行5折交叉验证，每折将1320张不含脉络膜分割上下边界的oct图像端对端的训练到含有脉络膜上下边界的oct图像，训练过程中采用初始学习率为0.01，动量为0.9，权值衰减系数为0.0001的随机梯度下降(sgd)算法对网络进行优化，并且每次送入网络的图片数量为8，网络模型在迭代次数达到60次时即可训练好。训练结束后，将330张验证数据送入到训练好的模型中进行预测，得到这330张脉络膜分割图。4)实验结果为定量评价本发明的性能，将测试集预测的脉络膜分割结果与医生标注的金标准进行比较，采用四种分割评价指标：交并比(iou)、dice系数(dsc)、灵敏度(sen)和特异性(spe)进行评价，具体公式如表一所示。在与fcn网络做对比的过程中又添加脉络膜相对上边界误差、相对下边界误差、以及厚度误差三个指标进行评价。表1评价指标的具体公式ioutp/(tp+fp+fn)dsc2tp/(2tp+fp+fn)sentp/(tp+fn)spetn/(fp+tn)(tp:真阳性；fp:假阳性；tn:真阴性；fn:假阴性)通过消融实验来细化本发明的两个模块对最终结果的贡献。如表2所示，就iou指标来说，gcd模块加入基础网络后，性能提高0.67％，gsd模块加入基础网络后，性能提高0.94％，说明gsd贡献略大。将gcd和gsd都添加到基础网络，组成gcs-net，参数量仅有6.7m，但性能总体提高了1.21％，说明本发明构建的微量型深度学习网络框架(gcs-net)的性能优越。表2消融实验的结果方法iou(％)dsc(％)sen(％)spe(％)参数量基础网络90.38±0.8094.67±0.5995.36±0.9594.31±1.274.88m基础网络+gcd91.05±0.9095.06±0.6295.40±0.4794.95±1.176.02m基础网络+gsd91.32±1.1095.16±0.8096.10±0.5994.64±0.935.56mgcs-net91.59±0.8395.36±0.5896.02±0.4695.01±0.556.70m表3是与传统的fcn网络进行比较的结果，可以看出，高度近视人眼相对于正常人眼的脉络膜厚度误差较小。这是因为在一般情况下，高度近视人眼相对于正常人眼的脉络膜厚度要更薄。就分割指标和误差指标来说，无论是正常人眼还是高度近视人眼的脉络膜，本发明方法的分割结果都比传统的fcn效果更好。从图4的可视化结果可以看出发明的gcs-net无论是在边缘还是细节方面都做得更好。表3与fcn网络对比的脉络膜分割结果分析5)总结本发明构建的用来自动分割oct图像脉络膜的微量型深度学习网络框架(gcs-net)得到了实现且验证，该网络能够自动的进行组间多尺度信息的选择，并根据分割目标区域的大小自动调节感受野的大小。在弥补传统算法分割高度近视脉络膜复杂且困难的缺点同时，本发明的方法也对现有的一些深度学习网络的缺点进行了改进。并且本发明的网络参数量非常小，发明的两个模块gcd和gsd，以两种不同的方式自动选择组间的多尺度信息。此外，本发明采用联合损失函数来解决数据不平衡和脉络膜分割目标区域不均匀的问题。实验结果表明，本发明的这种自动进行组间多尺度信息选择的gcs-net网络不仅能够准确的分割正常脉络膜还能分割高度近视脉络膜，并且网络不需要进行预处理就能够自动避免onh区域和视网膜无效折叠的部分，这提高了脉络膜定量分析的准确率、有利于全面获取三维大视野数据中脉络膜的形态信息。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。当前第1页12