图像分割方法及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及图像分割方法及计算机可读存储介质。


背景技术：

2.冠心病是一种常见的心血管疾病，且随着人口老龄化不断加重，严重威胁人类生命健康及生活质量。冠状动脉成像(cta)技术可无创性地观察血管及斑块形态，是临床检查的重要手段。在临床中对动脉粥样硬化病变的评价尤为重要，为了对血管特征及斑块成分进行定量分析，医生需要手动绘制血管内管腔、外壁轮廓线及斑块，这样一方面耗时耗力，极大影响工作效率，一方面受图像伪影、噪声等影响，难以得到准确的结果。尤其对于非钙化斑块，由于没有规则的形态及边界，容易误判，并且需要经验丰富的医生或技师来审核。
3.随着人工智能在冠脉cta辅助诊断中的发展，自动化地将管腔、斑块及血管外壁分割出来并且做出定量分析成为可能，这不仅可以为临床提供鉴别斑块类型的依据，而且能为血管狭窄程度的计算提供数值支撑。因此，亟需设计一种图像分割方法，以满足实际应用的需求


技术实现要素：

4.本技术的目的在于提供图像分割方法及计算机可读存储介质，图像分割的准确性更高、稳定性更好、速度更快。
5.本技术的目的采用以下技术方案实现：
6.第一方面，本技术提供了一种图像分割方法，所述方法包括：利用冠脉分割模型对待分割图像中的冠脉血管进行分割，得到所述待分割图像对应的冠脉血管分割结果；基于所述待分割图像对应的冠脉血管分割结果进行曲面重建，得到所述待分割图像对应的曲面重建图像；利用管腔及斑块分割模型对所述待分割图像对应的曲面重建图像进行分割，得到所述待分割图像对应的管腔及斑块分割结果。
7.该技术方案的有益效果在于，通过冠脉分割模型对待分割图像中的冠脉血管进行分割得到冠脉血管分割结果，将冠脉血管分割结果进行曲面重建得到曲面重建图像；通过管腔及斑块分割模型对得到的曲面重建图像进行分割，可以自动输出待分割图像对应的管腔及斑块分割结果；通过端到端的模式自动得到待分割图像对应的管腔及斑块分割结果，相比传统图像处理方法其准确性更高、稳定性更好、速度更快。
8.在一些可选的实施例中，所述利用管腔及斑块分割模型对所述待分割图像对应的曲面重建图像进行分割，得到所述待分割图像对应的管腔及斑块分割结果，包括：利用斑块检测网络检测所述待分割图像对应的曲面重建图像，得到所述待分割图像对应的原始注意力图；将所述待分割图像对应的曲面重建图像和原始注意力图输入所述管腔及斑块分割模型，得到所述待分割图像对应的管腔及斑块分割结果。
9.该技术方案的有益效果在于，通过引入注意力机制，将待分割图像对应的原始注意力图和曲面重建图像作为管腔及斑块分割模型的输入，相比单纯使用分割图像对应的曲
面重建图像作为管腔及斑块分割模型的输入，所得到待分割图像对应的管腔及斑块分割结果鲁棒性更强。
10.在一些可选的实施例中，所述利用斑块检测网络检测所述待分割图像对应的曲面重建图像，得到所述待分割图像对应的原始注意力图，包括：将所述待分割图像对应的曲面重建图像输入所述斑块检测网络的特征提取模块，得到多通道特征图；将所述多通道特征图输入所述斑块检测网络的分类器，得到各斑块类别的概率向量；基于各斑块类别的概率向量，计算各斑块类别对各通道的敏感性权重；基于所述多通道特征图和各斑块类别对各通道的敏感性权重，获取所述待分割图像对应的原始注意力图。
11.该技术方案的有益效果在于，利用斑块检测网络检测待分割图像对应的曲面重建图像，可以得到待分割图像对应的原始注意力图，以便于通过注意力机制将所得到的原始注意力图和待分割图像所对应的曲面重建图像输入管腔及斑块分割模型，进而得到待分割图像对应的管腔及斑块分割结果，提高了图像分割的效率和准确性。
12.在一些可选的实施例中，所述基于各斑块类别的概率向量，计算各斑块类别对各通道的敏感性权重，包括：计算各斑块类别的概率向量对各通道中各体素的偏导数在宽、高和深三个维度上的全局平均值，作为各斑块类别对各通道的敏感性权重。该技术方案的有益效果在于，将各斑块类别的概率向量对各通道中各体素的偏导数在多个维度上计算其全局平均值，可以得到各斑块类别对各通道的敏感性权重，所获取的待分割图像对应的原始注意力图，在有系统误差的情况下保证了计算结果的一致性。
13.在一些可选的实施例中，所述基于所述多通道特征图和各斑块类别对各通道的敏感性权重，获取所述待分割图像对应的原始注意力图，包括：基于各斑块类别对各通道的敏感性权重，对所述多通道特征图进行加权求和，得到各斑块类别的加权求和结果；将各斑块类别的加权求和结果输入激活函数层，得到所述待分割图像对应的原始注意力图。
14.该技术方案的有益效果在于，将多通道特征图进行加权求和，得到各斑块类别的加权求和结果；将各斑块类别的加权求和结果输入激活函数层，得到所述待分割图像对应的原始注意力图，用于将所得到的原始注意力图和待分割图像对应的曲面重建图像输入管腔及斑块分割模型，得到所对应的管腔及斑块分割结果，所得到的管腔及斑块分割结果更能反应系统的真实值。
15.在一些可选的实施例中，所述将所述待分割图像对应的曲面重建图像和原始注意力图输入所述管腔及斑块分割模型，得到所述待分割图像对应的管腔及斑块分割结果，包括：将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个下采样层，以所述下采样层的待输入特征图与尺寸相同的注意力图的相乘结果作为所述下采样层的输入图像，所述尺寸相同的注意力图是利用所述原始注意力图得到的。
16.该技术方案的有益效果在于，在下采样减小特征图尺寸并增加输出通道数的同时，以下采样层的待输入特征图与尺寸相同的注意力图的相乘结果作为下采样层的输入图像，可以减少下采样过程中的信息丢失。
17.在一些可选的实施例中，所述将所述待分割图像对应的曲面重建图像和原始注意力图输入所述管腔及斑块分割模型，得到所述待分割图像对应的管腔及斑块分割结果，包括：将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采
样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个上采样层，将所述上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像。
18.该技术方案的有益效果在于，将上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像，得到的待分割图像的管腔及斑块分割结果更准确。
19.在一些可选的实施例中，所述管腔及斑块分割模型的训练过程如下：获取样本曲面重建图像；基于所述样本曲面重建图像的斑块标注信息，获取所述样本曲面重建图像中的正常血管段的ct值的均值和方差，并基于所述正常血管段的ct值的均值和方差确定所述样本曲面重建图像中的管腔初始轮廓、各钙化斑块的轮廓和各非钙化斑块的原始轮廓；其中，所述斑块标注信息用于指示斑块分割结果；基于所述管腔初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的管腔轮廓；基于所述各非钙化斑块的原始轮廓，利用水平集方法获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓；对所述样本曲面重建图像中的各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓取并集，得到所述样本曲面重建图像中的血管外壁初始轮廓；基于所述血管外壁初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的血管外壁轮廓；基于所述样本曲面重建图像中的管腔轮廓和血管外壁轮廓，获取所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果；基于所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果，获取所述样本曲面重建图像的金标准标注信息；利用所述样本曲面重建图像及其金标准标注信息训练预设深度神经网络，得到所述管腔及斑块分割模型。
20.该技术方案的有益效果在于，可以通过对管腔及斑块分割模型的训练，提高管腔及斑块分割模型对各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓分割的准确性和速度。
21.在一些可选的实施例中，所述基于所述各非钙化斑块的原始轮廓，利用水平集方法获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓，包括：基于所述各非钙化斑块的原始轮廓，针对各非钙化斑块，截取所述非钙化斑块对应的区域块图像；获取所述区域块图像两端的正常血管的直径与所述非钙化斑块的病灶区域的最狭窄处血管的直径的比值；基于所述比值，对所述区域块图像进行膨胀处理，得到所述区域块图像对应的膨胀图像；统计所述膨胀图像内去除管腔区域的ct值的均值和方差，并基于统计结果对所述膨胀图像的ct值进行像素归一化至[-1，1]；在所述膨胀图像内去除ct值大于0和等于-1的区域，得到的剩余部分作为所述非钙化斑块的初始轮廓。
[0022]
该技术方案的有益效果在于，基于斑块标注信息，可以获取样本曲面重建图像中的各非钙化斑块的初始轮廓，所获取的非钙化斑块的初始轮廓用于获取血管外壁初始轮廓，提高了管腔及斑块分割模型对各非钙化斑块的初始轮廓分割的准确性和速度。
[0023]
第二方面，本技术提供了一种图像分割装置，所述装置包括：第一分割模块，用于利用冠脉分割模型对待分割图像中的冠脉血管进行分割，得到所述待分割图像对应的冠脉血管分割结果；曲面重建模块，用于基于所述待分割图像对应的冠脉血管分割结果进行曲面重建，得到所述待分割图像对应的曲面重建图像；第二分割模块，用于利用管腔及斑块分
割模型对所述待分割图像对应的曲面重建图像进行分割，得到所述待分割图像对应的管腔及斑块分割结果。
[0024]
在一些可选的实施例中，所述第二分割模块包括：图像检测子模块，用于利用斑块检测网络检测所述待分割图像对应的曲面重建图像，得到所述待分割图像对应的原始注意力图；模型分割子模块，用于将所述待分割图像对应的曲面重建图像和原始注意力图输入所述管腔及斑块分割模型，得到所述待分割图像对应的管腔及斑块分割结果。
[0025]
在一些可选的实施例中，所述图像检测子模块包括：特征图单元，用于将所述待分割图像对应的曲面重建图像输入所述斑块检测网络的特征提取模块，得到多通道特征图；分类器单元，用于将所述多通道特征图输入所述斑块检测网络的分类器，得到各斑块类别的概率向量；权重单元，用于基于各斑块类别的概率向量，计算各斑块类别对各通道的敏感性权重；注意力获取单元，用于基于所述多通道特征图和各斑块类别对各通道的敏感性权重，获取所述待分割图像对应的原始注意力图。
[0026]
在一些可选的实施例中，所述权重单元用于计算各斑块类别的概率向量对各通道中各体素的偏导数在宽、高和深三个维度上的全局平均值，作为各斑块类别对各通道的敏感性权重。
[0027]
在一些可选的实施例中，所述注意力获取单元包括：类别加权子单元，用于基于各斑块类别对各通道的敏感性权重，对所述多通道特征图进行加权求和，得到各斑块类别的加权求和结果；激活函数子单元，用于将各斑块类别的加权求和结果输入激活函数层，得到所述待分割图像对应的原始注意力图。
[0028]
在一些可选的实施例中，所述模型分割子模块包括：第一采样单元，用于将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个下采样层，以所述下采样层的待输入特征图与尺寸相同的注意力图的相乘结果作为所述下采样层的输入图像，所述尺寸相同的注意力图是利用所述原始注意力图得到的。
[0029]
在一些可选的实施例中，所述模型分割子模块包括：第二采样单元，用于将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个上采样层，将所述上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像。
[0030]
在一些可选的实施例中，所述管腔及斑块分割模型的训练过程如下：获取样本曲面重建图像；基于所述样本曲面重建图像的斑块标注信息，获取所述样本曲面重建图像中的正常血管段的ct值的均值和方差，并基于所述正常血管段的ct值的均值和方差确定所述样本曲面重建图像中的管腔初始轮廓、各钙化斑块的轮廓和各非钙化斑块的原始轮廓；其中，所述斑块标注信息用于指示斑块分割结果；基于所述管腔初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的管腔轮廓；基于所述各非钙化斑块的原始轮廓，利用水平集方法获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓；对所述样本曲面重建图像中的各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓取并集，得到所述样本曲面重建图像中的血管外壁初始轮廓；基于所述血管外壁初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图
像中的血管外壁轮廓；基于所述样本曲面重建图像中的管腔轮廓和血管外壁轮廓，获取所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果；基于所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果，获取所述样本曲面重建图像的金标准标注信息；利用所述样本曲面重建图像及其金标准标注信息训练预设深度神经网络，得到所述管腔及斑块分割模型。
[0031]
在一些可选的实施例中，所述基于所述各非钙化斑块的原始轮廓，利用水平集方法获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓，包括：基于所述各非钙化斑块的原始轮廓，针对各非钙化斑块，截取所述非钙化斑块对应的区域块图像；获取所述区域块图像两端的正常血管的直径与所述非钙化斑块的病灶区域的最狭窄处血管的直径的比值；基于所述比值，对所述区域块图像进行膨胀处理，得到所述区域块图像对应的膨胀图像；统计所述膨胀图像内去除管腔区域的ct值的均值和方差，并基于统计结果对所述膨胀图像的ct值进行像素归一化至[-1，1]；在所述膨胀图像内去除ct值大于0和等于-1的区域，得到的剩余部分作为所述非钙化斑块的初始轮廓。
[0032]
第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述图像分割方法的步骤。
附图说明
[0033]
下面结合附图和实施例对本技术进一步说明。
[0034]
图1是本技术实施例提供的一种图像分割方法的流程示意图；
[0035]
图2是本技术实施例提供的一种对曲面重建图像进行分割的流程示意图；
[0036]
图3是本技术实施例提供的一种原始scpr图像和原始注意力图的示意图；
[0037]
图4是本技术实施例提供的一种检测斑块检测网络的流程示意图；
[0038]
图5是本技术实施例提供的一种获取原始注意力图的流程示意图；
[0039]
图6是本技术实施例提供的一种对管腔及斑块分割模型进行采样的流程示意图；
[0040]
图7是本技术实施例提供的另一种图像分割方法的流程示意图；
[0041]
图8是本技术实施例提供的一种训练管腔及斑块分割模型的流程示意图；
[0042]
图9是本技术实施例提供的一种分割钙化斑块的示意图；
[0043]
图10是现有的一种人工修正斑块金标准的示意图；
[0044]
图11是本技术实施例提供的一种管腔及斑块分割前后的示意图；
[0045]
图12是本技术实施例提供的一种获取非钙化斑块的初始轮廓的流程示意图；
[0046]
图13是本技术实施例提供的一种获取非钙化斑块的初始轮廓的示意图；
[0047]
图14是本技术实施例提供的一种图像分割装置的结构示意图；
[0048]
图15是本技术实施例提供的一种第二分割模块的结构示意图；
[0049]
图16是本技术实施例提供的一种图像检测子模块的结构示意图；
[0050]
图17是本技术实施例提供的一种注意力获取单元的结构示意图；
[0051]
图18是本技术实施例提供的一种电子设备的结构示意图；
[0052]
图19是本技术实施例提供的一种用于实现图像分割方法的程序产品的结构示意图。
具体实施方式
[0053]
下面，结合附图以及具体实施方式，对本技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
[0054]
参见图1，本技术实施例提供了一种图像分割方法，所述方法包括步骤s101～s103。
[0055]
步骤s101：利用冠脉分割模型对待分割图像中的冠脉血管进行分割，得到所述待分割图像对应的冠脉血管分割结果。其中，待分割图像例如是对冠脉进行冠脉ct(computed tomography，电子计算机断层扫描)血管造影(即进行冠脉ct a，computed tomography angiography，计算机断层造影)所得到的冠脉血管图像。
[0056]
步骤s102：基于所述待分割图像对应的冠脉血管分割结果进行曲面重建，得到所述待分割图像对应的曲面重建图像。其中，曲面重建图像例如是拉直后的曲面重建图像。
[0057]
步骤s103：利用管腔及斑块分割模型对所述待分割图像对应的曲面重建图像进行分割，得到所述待分割图像对应的管腔及斑块分割结果。
[0058]
由此，通过冠脉分割模型对待分割图像中的冠脉血管进行分割得到冠脉血管分割结果，将冠脉血管分割结果进行曲面重建得到曲面重建图像；通过管腔及斑块分割模型对得到的曲面重建图像进行分割，可以自动输出待分割图像对应的管腔及斑块分割结果；通过端到端的模式自动得到待分割图像对应的管腔及斑块分割结果。相比传统图像处理方法其准确性更高、稳定性更好、速度更快。
[0059]
参见图2，在一些实施方式中，所述步骤s103可以包括步骤s201～s202。
[0060]
步骤s201：利用斑块检测网络检测所述待分割图像对应的曲面重建图像，得到所述待分割图像对应的原始注意力图。其中，斑块检测网络例如是二分类网络，通过二分类网络所得到的待分割图像对应的原始注意力图例如是类激活图(grad-cam)。
[0061]
步骤s202：将所述待分割图像对应的曲面重建图像和原始注意力图输入所述管腔及斑块分割模型，得到所述待分割图像对应的管腔及斑块分割结果。
[0062]
待分割图像中的血管可能饱和度不同、图像质量层次不齐，或者因为冠周组织等因素影响，对待分割图像中斑块尤其是非钙化斑块的分割对图像分割方法提出更高要求。在一具体应用中，将拉直后的曲面重建图像(曲面重建拉直图，str aightened curve planar reformation，简称为scpr)图像通过一个斑块检测二分类模型，得到基于scpr的斑块区域的类激活图(grad-cam)，将基于scpr的斑块区域的类激活图作为分割模型的注意力图，引导网络重点关注斑块区域，从而提高分割的准确性。参见图3，原始scpr图像如3a所示，原始注意力图如3b所示。相比单纯使用scpr作为输入，引入的注意力机制使得图像分割的结果鲁棒性更强。
[0063]
由此，引入注意力机制，将待分割图像对应的原始注意力图和曲面重建图像作为管腔及斑块分割模型的输入，相比单纯使用分割图像对应的曲面重建图像作为管腔及斑块分割模型的输入，所得到待分割图像对应的管腔及斑块分割结果鲁棒性更强。
[0064]
参见图4，在一些实施方式中，所述步骤s201可以包括步骤s301～s304。
[0065]
步骤s301：将所述待分割图像对应的曲面重建图像输入所述斑块检测网络的特征提取模块，得到多通道特征图。
[0066]
步骤s302：将所述多通道特征图输入所述斑块检测网络的分类器，得到各斑块类别的概率向量。其中，斑块检测网络的分类器例如是softmax分类器。
[0067]
步骤s303：基于各斑块类别的概率向量，计算各斑块类别对各通道的敏感性权重。
[0068]
步骤s304：基于所述多通道特征图和各斑块类别对各通道的敏感性权重，获取所述待分割图像对应的原始注意力图。
[0069]
由此，利用斑块检测网络检测待分割图像对应的曲面重建图像，可以得到待分割图像对应的原始注意力图，以便于通过注意力机制将所得到的原始注意力图和待分割图像所对应的曲面重建图像输入管腔及斑块分割模型，进而得到待分割图像对应的管腔及斑块分割结果，提高了图像分割的效率和准确性。
[0070]
在一些实施方式中，所述步骤s303可以包括：计算各斑块类别的概率向量对各通道中各体素的偏导数在宽、高和深三个维度上的全局平均值，作为各斑块类别对各通道的敏感性权重。由此，将各斑块类别的概率向量对各通道中各体素的偏导数在多个维度上计算其全局平均值，可以得到各斑块类别对各通道的敏感性权重，所获取的待分割图像对应的原始注意力图，在有系统误差的情况下保证了计算结果的一致性。
[0071]
参见图5，在一些实施方式中，所述步骤s304可以包括步骤s401～s402。
[0072]
步骤s401：基于各斑块类别对各通道的敏感性权重，对所述多通道特征图进行加权求和，得到各斑块类别的加权求和结果。
[0073]
步骤s402：将各斑块类别的加权求和结果输入激活函数层，得到所述待分割图像对应的原始注意力图。其中激活函数例如是线性整流函数relu(rectifiedlinear unit)，激活函数层例如是relu激活函数层。
[0074]
由此，将多通道特征图进行加权求和，得到各斑块类别的加权求和结果；将各斑块类别的加权求和结果输入激活函数层，得到所述待分割图像对应的原始注意力图，用于将所得到的原始注意力图和待分割图像对应的曲面重建图像输入管腔及斑块分割模型，得到所对应的管腔及斑块分割结果，所得到的管腔及斑块分割结果更能反应系统的真实值。
[0075]
在一具体应用中，利用grad-cam作为注意力机制，在斑块二分类检测网络中计算最后一层softmax层输出中斑块的概率对网络最后一层特征图的每个通道上所有体素(voxel)的偏导数，在每个通道上取宽、高、深三个维度上的全局平均值，得到斑块类别对于最后一层卷积层输出特征图的各个通道的敏感程度权重(w)。具体表示如下：
[0076][0077]
将敏感性权重w与对应通道加权并求和，经过relu激活函数层，得到和斑块类别得分正相关的grad-cam。具体表示如下：
[0078][0079]
其中，y是softmax输出的概率向量，c是斑块类别的序号，a是最后一层卷积层输出的特征图，n是特征图的通道维度序号，i、j、k表示特征图的某一通道上的宽、高、深位置，z表示当前通道voxel数。
[0080]
在一些实施方式中，所述步骤s202可以包括：将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图
像对应的管腔及斑块分割结果，n是正整数；其中，针对每个下采样层，以所述下采样层的待输入特征图与尺寸相同的注意力图的相乘结果作为所述下采样层的输入图像，所述尺寸相同的注意力图是利用所述原始注意力图得到的。
[0081]
由此，在下采样减小特征图尺寸并增加输出通道数的同时，以下采样层的待输入特征图与尺寸相同的注意力图的相乘结果作为下采样层的输入图像，可以减少下采样过程中的信息丢失。
[0082]
在一些实施方式中，所述步骤s202可以包括：将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个上采样层，将所述上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像。
[0083]
由此，将上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像，得到的待分割图像的管腔及斑块分割结果更准确。
[0084]
参见图6，在一具体应用中，管腔及斑块分割模型包括4个下采样层和4个上采样层，将待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的4个下采样层和4个上采样层，得到所述待分割图像对应的管腔及斑块分割结果。在每次下采样(downsampling)前，将分割网络卷积提取到的特征图(feature map)与注意力图(grad-cam)在像素层面进行相乘，其中注意力图根据特征图的大小不同，进行缩放。参见图5，通过4次下采样层(down block)，在减小特征图尺寸的同时增加输出通道(channels)数。4次下采样后的特征图通过上采样层(up block)进行4次上采样，可以恢复特征图至原始图像大小，针对每个上采样层，将上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像。
[0085]
其中，下采样模块可以包括2
×2×
2的卷积层(cnov)、批标准化(batch norma lization，bn)层以及激活单元(relu)、步长(strides)为2。上采样模块可以包括2
×2×
2的反卷积层(transpose conv)、批标准化(batch normalization，bn)层以及激活单元(relu)、步长(strides)为2。
[0086]
参见图7，本技术实施例还提供了一种图像分割方法，所述图像分割方法可以包括如下步骤：
[0087]
对原始图像进行冠脉分割，得到冠脉分割后的图像；
[0088]
对冠脉分割后的图像提取血管中心线，获得提取血管中心线后的scrp图像；
[0089]
将提取血管中心线后的scrp图像通过斑块检测，得到基于scpr图像的斑块区域的原始注意力图(attention map)，所得到的原始注意力图可以是类激活图(grad-cam)；
[0090]
对获得提取血管中心线后的scrp图像和通过斑块检测得到的原始注意力图进行斑块及管腔分割，得到斑块分割结果。
[0091]
传统图像分割方法中，由人工在冠脉曲面重建图像(scpr)图像上标注斑块的斑块金标准，通过水平集的图像分割方法得到水平集分割结果，在有斑块标注的血管段进行管腔及斑块分割，在正常血管段只进行管腔分割的传统图像分割方法存在鲁棒性差的缺点，需要经过人工修正得到人工修正结果，才作为深度学习训练所需的金标准。参见图10，斑块金标准如10a所示，水平集分割结果如10b所示，人工修正结果如10c所示，其所得到的分割方法鲁棒性差。
[0092]
在一些实施方式中，可以利用样本曲面重建图像及其金标准标注信息对预设深度神经网络进行训练，所得到管腔及斑块分割模型的钙化斑块区分割效果鲁棒。
[0093]
参见图8，所述管腔及斑块分割模型的训练过程可以包括步骤s501～s509。
[0094]
步骤s501：获取样本曲面重建图像。
[0095]
步骤s502：基于所述样本曲面重建图像的斑块标注信息，获取所述样本曲面重建图像中的正常血管段的ct值的均值和方差，并基于所述正常血管段的ct值的均值和方差确定所述样本曲面重建图像中的管腔初始轮廓、各钙化斑块的轮廓和各非钙化斑块的原始轮廓。其中，所述斑块标注信息用于指示斑块分割结果。样本曲面重建图像的斑块标注信息例如可以包括人工标注的样本曲面重建图像中的斑块的轮廓。斑块可以包括钙化斑块和非钙化斑块中的一种或多种。
[0096]
步骤s503：基于所述管腔初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的管腔轮廓。
[0097]
步骤s504：基于所述各非钙化斑块的原始轮廓，利用水平集方法获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓。
[0098]
步骤s505：对所述样本曲面重建图像中的各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓取并集，得到所述样本曲面重建图像中的血管外壁初始轮廓。
[0099]
步骤s506：基于所述血管外壁初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的血管外壁轮廓。
[0100]
步骤s507：基于所述样本曲面重建图像中的管腔轮廓和血管外壁轮廓，获取所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果。
[0101]
步骤s508：基于所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果，获取所述样本曲面重建图像的金标准标注信息。其中，样本曲面重建图像的金标准标注信息例如可以包括样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果中的一种或多种。钙化斑块分割结果例如是钙化斑块的轮廓，非钙化斑块分割结果例如是非钙化斑块的轮廓。
[0102]
步骤s509：利用所述样本曲面重建图像及其金标准标注信息训练预设深度神经网络，得到所述管腔及斑块分割模型。
[0103]
在一具体应用中，样本曲面重建图像中的正常血管段的ct值的均值可以用mean表示，方差可以用std表示。设置阈值mean+3
×
std，大于该阈值的体素为钙化斑块，请参照图9，scpr图像如9a所示，对scpr图像统计正常血管段均值及方差如9b所示，设置阈值mean+3
×
std后如9c所示，根据阈值确定管壁初始轮廓如9d所示，钙化斑块区和非钙化斑块区分割的效果鲁棒好。这种情况下钙化斑块区分割的更准确，效果鲁棒。
[0104]
由此，一方面，基于样本曲面重建图像的斑块标注信息，获取样本曲面重建图像中的正常血管段的ct值的均值(mean)和方差(std)，并基于正常血管段的ct值的均值和方差确定样本曲面重建图像中的管腔初始轮廓、各钙化斑块的轮廓和各非钙化斑块的原始轮廓；基于管腔初始轮廓，利用水平集方法对样本曲面重建图像进行分割，得到样本曲面重建图像中的管腔轮廓；基于血管外壁初始轮廓，利用水平集方法对样本曲面重建图像进行分割，得到样本曲面重建图像中的血管外壁轮廓。
[0105]
一方面，基于各非钙化斑块的原始轮廓，获取样本曲面重建图像中的各非钙化斑
块的初始轮廓，对样本曲面重建图像中的各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓取并集，得到样本曲面重建图像中的血管外壁初始轮廓。
[0106]
基于所得到的血管外壁轮廓和样本曲面重建图像中的管腔轮廓，可以获取样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果。基于样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果，获取样本曲面重建图像的金标准标注信息。利用样本曲面重建图像及其金标准标注信息训练预设深度神经网络，得到管腔及斑块分割模型。
[0107]
请参照图11，通过对管腔及斑块分割模型的训练，管腔及斑块分割前如11a所示，模型分割后的管腔及斑块如11b所示。由此，可以通过对管腔及斑块分割模型的训练，提高管腔及斑块分割模型对各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓分割的准确性和速度。
[0108]
参见图12在一些实施方式中，所述步骤s504可以包括步骤s601～s605。
[0109]
步骤s601：基于所述各非钙化斑块的原始轮廓，针对各非钙化斑块，截取所述非钙化斑块对应的区域块图像。
[0110]
步骤s602：获取所述区域块图像两端的正常血管的直径与所述非钙化斑块的病灶区域的最狭窄处血管的直径的比值。
[0111]
步骤s603：基于所述比值，对所述区域块图像进行膨胀处理，得到所述区域块图像对应的膨胀图像。
[0112]
步骤s604：统计所述膨胀图像内去除管腔区域的ct值的均值和方差，并基于统计结果对所述膨胀图像的ct值进行像素归一化至[-1，1]。
[0113]
步骤s605：在所述膨胀图像内去除ct值大于0和等于-1的区域，得到的剩余部分作为所述非钙化斑块的初始轮廓。
[0114]
参见图13，非钙化斑块对应的区域块图像如13a所示；获取区域块图像两端的正常血管的直径与所述非钙化斑块的病灶区域的最狭窄处血管的直径的比值，对区域块图像按照所获取的比值进行膨胀处理，得到区域块图像对应的膨胀图像如13b所示；统计膨胀图像内去除管腔区域的ct值的均值和方差，并对所述膨胀图像的ct值进行像素归一化，得到非钙化斑块的初始轮廓图像如13c所示。
[0115]
由此，基于各非钙化斑块的原始轮廓，可以获取样本曲面重建图像中的各非钙化斑块的初始轮廓，所获取的非钙化斑块的初始轮廓用于获取血管外壁初始轮廓，提高了管腔及斑块分割模型对各非钙化斑块的初始轮廓分割的准确性和速度。
[0116]
参见图14，本技术实施例提供了一种图像分割装置，其具体实现方式与上述图像分割方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0117]
所述装置包括：第一分割模块101，用于利用冠脉分割模型对待分割图像中的冠脉血管进行分割，得到所述待分割图像对应的冠脉血管分割结果；曲面重建模块102，用于基于所述待分割图像对应的冠脉血管分割结果进行曲面重建，得到所述待分割图像对应的曲面重建图像；第二分割模块103，用于利用管腔及斑块分割模型对所述待分割图像对应的曲面重建图像进行分割，得到所述待分割图像对应的管腔及斑块分割结果。
[0118]
参见图15，在一些可选的实施例中，所述第二分割模块103可以包括：图像检测子模块201，用于利用斑块检测网络检测所述待分割图像对应的曲面重建图像，得到所述待分
割图像对应的原始注意力图；模型分割子模块202，用于将所述待分割图像对应的曲面重建图像和原始注意力图输入所述管腔及斑块分割模型，得到所述待分割图像对应的管腔及斑块分割结果。
[0119]
参见图16，在一些可选的实施例中，所述图像检测子模块201可以包括：特征图单元301，用于将所述待分割图像对应的曲面重建图像输入所述斑块检测网络的特征提取模块，得到多通道特征图；分类器单元302，用于将所述多通道特征图输入所述斑块检测网络的分类器，得到各斑块类别的概率向量；权重计算单元303，用于基于各斑块类别的概率向量，计算各斑块类别对各通道的敏感性权重；注意力获取单元304，用于基于所述多通道特征图和各斑块类别对各通道的敏感性权重，获取所述待分割图像对应的原始注意力图。
[0120]
在一些可选的实施例中，所述权重计算单元303可以用于计算各斑块类别的概率向量对各通道中各体素的偏导数在宽、高和深三个维度上的全局平均值，作为各斑块类别对各通道的敏感性权重。
[0121]
参见图17，在一些可选的实施例中，所述注意力获取单元304可以包括：类别加权子单元401，用于基于各斑块类别对各通道的敏感性权重，对所述多通道特征图进行加权求和，得到各斑块类别的加权求和结果；激活函数子单元402，用于将各斑块类别的加权求和结果输入激活函数层，得到所述待分割图像对应的原始注意力图。
[0122]
在一些可选的实施例中，所述模型分割子模块202可以包括：第一采样单元，用于将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个下采样层，以所述下采样层的待输入特征图与尺寸相同的注意力图的相乘结果作为所述下采样层的输入图像，所述尺寸相同的注意力图是利用所述原始注意力图得到的。
[0123]
在一些可选的实施例中，所述模型分割子模块202可以包括：第二采样单元，用于将所述待分割图像对应的曲面重建图像顺次经过所述管腔及斑块分割模型的n个下采样层和n个上采样层，得到所述待分割图像对应的管腔及斑块分割结果，n是正整数；其中，针对每个上采样层，将所述上采样层的输出图像与对应下采样层的待输入特征图的融合结果作为下一个上采样层的输入图像。
[0124]
在一些可选的实施例中，所述管腔及斑块分割模型的训练过程如下：获取样本曲面重建图像；基于所述样本曲面重建图像的斑块标注信息，获取所述样本曲面重建图像中的正常血管段的ct值的均值和方差，并基于所述正常血管段的ct值的均值和方差确定所述样本曲面重建图像中的管腔初始轮廓、各钙化斑块的轮廓和各非钙化斑块的原始轮廓；其中，所述斑块标注信息用于指示斑块分割结果；基于所述管腔初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的管腔轮廓；基于所述各非钙化斑块的原始轮廓，利用水平集方法获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓；对所述样本曲面重建图像中的各钙化斑块的轮廓、各非钙化斑块的初始轮廓和管腔轮廓取并集，得到所述样本曲面重建图像中的血管外壁初始轮廓；基于所述血管外壁初始轮廓，利用水平集方法对所述样本曲面重建图像进行分割，得到所述样本曲面重建图像中的血管外壁轮廓；基于所述样本曲面重建图像中的管腔轮廓和血管外壁轮廓，获取所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果；基于所述样本曲面重建图像的管腔分割结果、钙化斑块分割结果和非钙化斑块分割结果，获取所
述样本曲面重建图像的金标准标注信息；利用所述样本曲面重建图像及其金标准标注信息训练预设深度神经网络，得到所述管腔及斑块分割模型。
[0125]
在一些可选的实施例中，所述基于各非钙化斑块的原始轮廓，获取所述样本曲面重建图像中的各非钙化斑块的初始轮廓，包括：基于所述各非钙化斑块的原始轮廓，针对各非钙化斑块，截取所述非钙化斑块对应的区域块图像；获取所述区域块图像两端的正常血管的直径与所述非钙化斑块的病灶区域的最狭窄处血管的直径的比值；基于所述比值，对所述区域块图像进行膨胀处理，得到所述区域块图像对应的膨胀图像；统计所述膨胀图像内去除管腔区域的ct值的均值和方差，并基于统计结果对所述膨胀图像的ct值进行像素归一化至[-1，1]；在所述膨胀图像内去除ct值大于0和等于-1的区域，得到的剩余部分作为所述非钙化斑块的初始轮廓。
[0126]
参见图18，本技术实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
[0127]
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)211和/或高速缓存存储器212，还可以进一步包括只读存储器(rom)213。
[0128]
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本技术实施例中图像分割方法的步骤，其具体实现方式与上述图像分割方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0129]
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0130]
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
[0131]
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0132]
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
[0133]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本技术实施例中图像分割方法的步骤，其具体实现方式与上述图像分割方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0134]
图19示出了本实施例提供的用于实现上述图像分割方法的程序产品300，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本技术中，可读存储介质可以是任何包
含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0135]
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如java、c++等，还包括常规的过程式程序设计语言诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0136]
本技术从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本技术以上的说明书及说明书附图，仅为本技术的较佳实施例而已，并非以此局限本技术，因此，凡一切与本技术构造，装置，特征等近似、雷同的，即凡依本技术专利申请范围所作的等同替换或修饰等，皆应属本技术的专利申请保护的范围之内。