一种医学图像分割方法及装置与流程

文档序号:15146534发布日期:2018-08-10 20:31阅读:148来源:国知局

本发明涉及医学图像处理领域,尤其涉及一种医学图像分割方法及装置。



背景技术:

肺癌和肝癌是近年来发病率和死亡率不断上升的疾病之一,通过对肺部的医学图像进行肺叶或者肺段的分割,或者通过肝脏的医学图像进行肝叶或者肝段的分割,对于前期病灶的定位以及后期手术具有重要的参考价值。

现有技术中,出现了很多图像分割的方法,例如:传统的分割算法,传统的分割算法需要先分割出肺部区域、气管、血管、肺裂等组织,再结合以上信息引入代价函数,并利用分水岭算法对肺部进行分类。该种算法分割出的分割边界较好,分割速度较快,但是过程复杂一旦有一个流程出现失败则会导致整个组织分割结果出现差错。

除此之外,现有技术中还出现了基于深度学习的语义分割算法,这些算法不需要依赖医学图像的组织结构,但是得到的肺叶、肺段或者肝叶和肝段的分割结果的边界不准确且耗时太久。



技术实现要素:

有鉴于此,本发明公开了一种肺部医学图像分割方法及装置,利用深度学习的语义分割方法做粗分割与细分割并利用传统的图像分割算法对边缘进行修正,实现了快速精确的对医学图像中的目标对象进行分类的目的。

本发明实施例公开了一种医学图像分割方法,包括:

获取待处理的医学图像;

依据已训练的第一语义分割模型,确定出所述待处理的医学图像的第一敏感区域;

对所述第一敏感区域内的图像进行连通域分析,得到第一目标区域;

依据所述第一目标区域的边界坐标,从所述待处理的医学图像中提取出第一感兴趣区域的图像;

依据已训练的第二语义分割模型,将所述第一感兴趣区域的图像分割为多个部分;

依据预设的传统分割算法,对分割为多个部分的感兴趣区域的图像中的各个分割边界进行修正。

可选的,对所述待处理的医学图像进行尺寸归一化处理。

可选的,对所述第一语义分割模型的训练过程包括:

获取原始医学图像,并对所述原始医学图像进行尺寸归一化;

获取第一基准图像,对所述第一基准图像进行尺寸归一化;所述第一基准图像为标记了目标对象的区域的医学图像;

基于所述原始的医学图像和所述第一基准图像的关系,对所述第一语义分割模型进行训练。

可选的,所述获取包含标记了目标对象的区域的第一基准图像,包括:

获取具有所述目标对象的分类标记的第二基准图像;所述第二基准图像为具有所述目标对象的分类标记的医学图像;

将所述第二基准图像进行二值化处理;

将二值化处理后的所述第二基准图像中大于零的像素点置1,得到第一基准图像。

可选的,所述对所述第一敏感区域的图像进行连通域分析,得到所述第一目标区域,包括:

从所述第一敏感区域中确定出所有的连通域;

按照预设的规则,对所述第一敏感区域中各个连通域与第一敏感区域的边界的连接关系以及各个连通域的面积进行分析;

将不与所述第一敏感区域的边界相连通且面积最大的连通域作为第一目标区域;所述第一敏感区域的图像为分割出第一敏感区域的待处理的医学图像。

可选的,所述对所述第一目标区域的边界坐标,从所述待处理的医学图像中提取出感兴趣区域的图像,包括:

基于所述待处理的医学图像的尺寸,对所述第一目标区域的边界坐标进行转换;

依据转换后的边界坐标,从所述待处理的医学图像中分割出第一感兴趣区域的图像。

可选的,所述第二语义分割模型的训练过程包括:

获取原始的医学图像和第二基准图像;

从所述原始的医学图像中提取第二感兴趣区域的图像,并从所述第二基准图像中提取第三基准图像;

分别对所述第二感兴趣区域的图像和所述第三基准图像进行尺寸归一化;

依据所述第二感兴趣区域的图像和所述第三基准图像的关系,对所述第二语义分割模型进行训练。

可选的,所述从所述原始的医学图像中提取第二感兴趣区域的图像,并从所述第二基准图像中提取第三基准图像,包括:

分别将所述原始的医学图像输入到第一语义分割模型中,输出原始医学图像的第二敏感区域;

对所述第二敏感区域进行连通域分析,得到第二目标区域;

依据所述第二目标区域的边界坐标,从所述原始的医学图像中提取出第二感兴趣区域的图像,并从所述第二基准图像中提取出第三基准图像。

本发明实施例还公开了一种医学图像分割装置,包括:

第一获取单元,用于获取待处理的医学图像;

确定单元,用于依据已训练的第一语义分割模型,确定出所述待处理的医学图像的第一敏感区域;

分析单元,用于对所述第一敏感区域内的图像进行连通域分析,得到第一目标区域;

提取单元,用于依据所述第一目标区域的边界坐标,从所述待处理的医学图像中提取出第一感兴趣区域的图像;

分割单元,用于依据已训练的第二语义分割模型,将所述第一感兴趣区域的图像分割为多个部分;

修正单元,用于依据预设的传统分割算法,对分割为多个部分的感兴趣区域的图像中的各个分割边界进行修正。

可选的,还包括:

第一尺寸归一化单元,用于对所述待处理的医学图像进行尺寸归一化处理。

本发明实施例公开了一种肺部医学图像分割方法及装置,包括:

获取待处理的医学图像;依据已训练的第一语义分割模型,确定出待处理的医学图像的第一敏感区域;对第一敏感区域内的图像进行连通域分析,得到第一目标区域;依据第一目标区域的边界坐标,从待处理的医学图像中提取出第一感兴趣区域的图像;依据已训练的第二语义分割模型,将第一感兴趣区域的图像分割为多个部分;依据预设的传统分割算法,对分割为多个部分的感兴趣区域的图像中的各个分割边界进行修正。由此可知,将基于深度学习的语义分割模型和传统的分割算法相结合,这样不仅可以快速的得到的目标对象的分类结果,还可以得到良好的分割效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例提供的一种医学图像分割方法的流程示意图的流程示意图;

图2示出了本发明实施例提供的医学图像分割方法的场景示意图;

图3示出了本发明实施例提供的第一语义分割模型的训练方法的流程示意图;

图4示出了本发明实施例提供的本发明实施例提供的第二语义分割模型的训练过程的流程示意图;

图5示出了本发明实施例提供的一种医学图像的分割装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

参考图1,示出了本发明实施例提供的一种医学图像分割方法的流程示意图,在本实施例中,该方法包括:

s101:获取待处理的医学图像;

本实施例中,医学图像生成时,由于设备本身的原因,或者由于图像生成过程中产生的噪音,得到的医学图像含有噪声,需要进行预处理后才可以执行相关的操作,例如:对医学图像进行去噪处理、滤波处理等。

除此之外,由于病人的年龄、性别、胖瘦等会引起的医学图像的形态和尺寸不同,为了消除病人的年龄、性别和胖瘦等引起的差异,可以将医学图像进行尺寸归一化,即,将图像处理过程中的图像的尺寸调整为同样的大小。例如,图2-a到2-b所示,其中2-a可以表示待处理的医学图像,2-b可以表示进行尺寸归一化后的医学图像。

需要说明的是,s101中的待处理的医学图像可以为二维的医学图像,也可以为三维的医学图像,为了方便用户理解,本实施例中的以图2所示的二维图像进行展示。

还需要说明的是,待处理的医学图像可以为肺部医学图像、肝脏的医学图像等可以进行分类的目标对象的医学图像。

s102:依据已训练的第一语义分割模型,确定出所述的待处理的医学图像的第一敏感区域;

本实施例中,第一语义分割模型可以是通过原始的医学图像和第一基准图像的对应关系训练后得到的,其中,第一基准图像为标记了目标对象的区域的医学图像。为了增强分割的准确性,第一基准图像可以选取与原始的医学图像相同尺寸的医学图像。

将归一化尺寸后的待处理的医学图像输入到第一语义分割模型中,输出分割出目标对象的医学图像。

s103:对所述第一敏感区域的图像进行连通域分析,得到第一目标区域;

本实施例中,s103中得到的第一敏感区域包括多个连通域,第一目标区域为第一敏感区域中不与所述第一敏感区域的边界相连接且面积最大的连通域,具体的,包括:

从所述第一敏感区域中确定出所有的连通域;

按照预设的规则,对所述第一敏感区域中各个连通域与所述第一敏感区域的边界的连接关系以及各个连通域的面积进行分析;

将不与所述第一敏感区域的图像相连通且面积最大的连通域作为第一目标区域;所述第一敏感区域的图像为待处理的医学图像用第一语义分割模型所得的分割结果。

其中,对于第一目标区域的确定,可以采用多种方式,例如可以包括如下的两种实施方式:

实施方式一:

从所述第一敏感区域中确定各个连通域;

计算所述第一敏感区域中的各个连通域的面积,按照面积从大到小的顺序对所述第一敏感区域中的各个连通域进行排序;

将所述第一敏感区域中面积最大的连通域作为当前连通域;所述第一敏感区域中面积最大的连通域为最小的序号;

判断当前连通域是否与分割出第一敏感区域的医学图像的边界相连;

若所述当前连通域与所述第一敏感区域的边界相连,将所述当前连通域的序号加1,并返回执行判断当前连通域是否与所述预处理后的医学图像的边界相连;

若所述当前连通域没有与所述预处理后的医学图像的边界相连,将所述当前连通域作为第一目标区域。

本实施例中,第一敏感区域中面积最大的连通域还可以为最大的序号,在这种情况下,执行到“若所述当前连通域与所述预处理后的医学图像的边界相连”后,可以将所述当前连通域的序号减1。

针对于实施方式一,第一敏感区域中包括多个连通域,根据各个连通域的面积进行排序,从面积最大的连通区域开始判断,判断连通域是否与分割出第一敏感区域的医学图像的边界相连,若无连接,将其余的连通域的灰度值置为0,将该连通域表示为第一目标区域;若相连接,则将该连通域的灰度值置为0,继续判断下一序号的连通域,直至找到不连接的连通域为止。

实施方式二:

判断各个连通域的边界是否与所述医学图像的边界相连;

筛选出不与所述医学图像的边界相连的连通域;

从不与医学图像的边界相连的连通域中筛选出面积最大的连通域。

针对于实施方式二,首先判断各个连通域的边界是否与第一敏感区域的医学图像的边界相连,筛选出不与预处理后的医学图像的边界相连接的连通域,并从这些连通域中筛选出面积最大的连通域,则该连通域为第一目标区域,并将其它的连通域的灰度值置0。

本实施例中,第一目标区域的边界坐标可以是第一目标区域左上和右下的坐标。

举例说明:如图2-c所示为分割出第一目标区域的医学图像,白色的部分为第一目标区域,黑色的部分为背景区域,第一目标区域的边界坐标,可以表示为:

[(xleft-upper,yleft-upper),(xright-down,yright-down)];

其中,(xleft-upper,yleft-upper)为左上的顶点坐标,(xright-down,yright-down)为右下的顶点坐标。

s104:依据所述第一目标区域的边界坐标,从所述待处理的医学图像中提取出第一感兴趣区域的图像;

通过上文的介绍可知,待处理的医学图像可以是经过尺寸调整的,也可以是未经过尺寸调整的,若待处理的医学图像没有经过尺寸调整(尺寸归一化)。针对于未执行尺寸调整的,可以将未执行尺寸调整的,直接根据第一目标区域的边界坐标,从待处理的医学图像中提取出的感兴趣区域的图像。若是针对执行了尺寸调整的,可以对第一目标区域的边界坐标进行调整后,再从待处理的医学图像中提取出感兴趣区域的图像。

举例说明:第一目标区域的边界坐标为尺寸归一化后的坐标,但是待处理的医学图像为归一化前的医学图像,也就是说,由于第一目标区域的图像和待处理的医学图像的尺寸不一致,无法直接应用第一目标区域的边界坐标,从待处理的医学图像中提取出感兴趣区域的图像,具体的,s104包括:

基于所述待处理的医学图像的尺寸,对所述第一目标区域的边界坐标进行转换;

依据转换后的边界坐标,从所述待处理的医学图像中分割出感兴趣区域的图像。

举例说明,如图2-c到图2-d所示,根据图2-c中第一目标区域的边界坐标(2-c中白色区域的边界坐标),从待处理的肺部医学图像(2-a)中截取出如图2-d所示的第一感兴趣区域的图像。

其中,对于边界坐标的转换可以采用多种方法,在这里不进行限定,例如可以采用插值的方法,将第一目标区域的图像插值到待处理的医学图像的大小,进而得到转换后的边界坐标,并根据转换后的边界坐标,从待处理的医学图像中裁剪出感兴趣区域的图像。

s105:依据已训练的第二语义分割模型,将所述第一感兴趣区域的图像分割为多个部分;

本实施例中,在将第一感兴趣区域的图像输入到第二语义分割模型之前,可以将第一感兴趣区域进行尺寸归一化,然后将归一化后的第一感兴趣区域的图像分割为多个部分。

举例说明:图2-d到图2-e所示,图2-d为尺寸归一化后的第一感兴趣区域的图像,将该图像输入到已训练好的第二语义分割模型中,可以得到如图2-f所示的分割结果,从图2-f中可以看出,肺部被分割为了多个部分。

本实施例中,第二语义分割模型已经通过原始的医学图像和具有目标对象分类标记的第二基准图像进行训练后得到的,具体的,对于第二语义分割模型的训练方法如下实施例3所示,在这里不再赘述。其中,这里提到的目标对象为待分割的对象,例如可以是肺、肝脏等。

举例说明:若目标对象为肺部,则s105得到的分割为多个部分的第一感兴趣区域的图像,为划分出肺叶或者肺段的图像;若目标对象为肝脏,则s105得到的分割为多个部分的第一感兴趣区域的图像为划分出肝叶或者肝段的图像。

s106:对分割为多个部分的第一感兴趣区域的图像中的各个分割边界进行修正。

本实施例中,在对分割边界进行修订之前,还可以先对s105中得到的分割结果进行连通域分析,去除分割结果中较小的连通域。例如,对分割结果图2-f去除小连通域后,得到如图2-g所示的图像。

本实施例中,可以采用传统的分割算法,对分割为多个部分的感兴趣区域的图像中的各个分割边界进行修正。

需要说明的是,传统方法可以理解为依靠规则的,不经过训练即可实现自动提取特征的方法,其中,这里所说的规则可以理解为人为设计的规则,规则可以根据像素值的关系、像素点之间的距离以及纹理特征等进行设计,具体的,传统的分割方法可以包括多种,例如,

临近法:对于待分类的像素点,选取离其最近的一个像素值或多个的平均值作为其像素值,即类别(利用了像素值及像素点之间的临近关系)。

区域生长法:其核心也是基于像素值,满足一定的规则就生长,否则停止。

举例说明,若传统的分割方法为区域生长法,s106包括:根据预设半径的球形结构对所述分割为多个部分的感兴趣区域的图像进行腐蚀,得到区域生长的种子点;

对所述区域生成的种子点进行生长处理;

循环执行以上的区域生长的过程,直到每个分割的轮廓都有肺叶的标签停止。

需要说明的是,本实施例中提到的区域生长的方法,仅仅作为示例进行说明,本实施例中,可以采用多种传统的图像分割算法,对分割为多个部分的感兴趣区域的图像中的各个分割边界进行修正。

本实施例中,如图2-h所示,可以为对分割边界修正过的图像,相较于其它分割模型,通过训练的第二语义分割模型,对目标对象分类更加的细致。

为了更清楚的向用户展示目标对象的分类结果,对分割为多个部分的感兴趣区域的图像的分割边界进行修订时,可以将图像进行尺寸调整,其中,图2-h为将图像调整过一次后的图像的修正结果,图2-g为将图像的尺寸调整为待处理的肺部医学图像的尺寸。

本实施例中,将语义分割模型和传统的分割算法相结合,通过语义分割模型得到对目标对象分类后的感兴趣区域,然后再对分割后的各个分割边界进行修正。这样不仅可以快速的得到目标对象的分类结果,还可以得到良好的分割效果。

参考图3,示出了本发明实施例提供的第一语义分割模型的训练方法的流程示意图,在本实施例中,该方法包括:

s201:获取原始的医学图像,并对所述原始的医学图像进行尺寸归一化;

s202:获取第一基准图像,对所述第一基准图像进行尺寸归一化;所述第一基准图像为标记了目标对象的区域的图像;

s203:基于所述原始的医学图像和所述第一基准图像的关系,对所述第一语义分割模型进行训练。

本实施例中,第一基准图像可以为医生标记了目标对象的医学图像,或者还可以是在具有分类标记的第二基准图像的基础上,获取第一基准图像,为了增强分割的准确性,第一基准图像和第二基准图像可以选取与原始的医学图像相同尺寸的医学图像,具体的,包括:

获取具有所述目标对象分类标记的第二基准图像;

将所述第二基准图像进行二值化处理;

将二值化处理后的所述第二基准图像中大于零的像素点置1,得到第一基准图像。

举例说明:具有分类标记的第二基准图像可以理解为,医生或者相关的技术人员将目标对象划分为了多个部分,分别对每个部分进行标记,例如,可以为将肺部划分为了不同的肺叶,或者还可以是将肺部的各个肺叶划分为了不同的肺段。

本实施例中,第一语义分割模型可以采用多种深度语义分割模型,例如可以包括:fcn(英文全称:fullyconvolutionalneuralnetworks,中文全称:全卷积神经网络)、unet、segnet等以及它们的变种。其中,unet为fcn的一个变种,因为网络结构是u型,所以称为unet;segnet也是fcn的一个变种,其作者因为其作用是语义分割,所以取名为segnet。

本实施例中,相较于其它分割模型,通过训练的语义分割模型,对待处理的的医学图像进行分割,可以分割出较为精细的目标对象的区域。

参考图4,示出了本发明实施例提供的第二语义分割模型的训练过程的流程示意图,在本实施例中,该方法包括:

s301:获取原始的医学图像和第二基准图像;

s302:从所述原始的医学图像中提取出第二感兴趣区域的图像,并从所述第二基准图像中提取出第三基准图像;

s303:分别对所述第二感兴趣区域的图像和所述第三基准图像进行尺寸归一化;

s304:依据所述第二感兴趣区域的图像和所述第三基准图像的关系,对所述第二语义分割模型进行训练。

本实施例中,第二感兴趣区域为原始的医学图像中目标对象的区域,第三基准图像为从第二基准图像中提取出目标对象的区域的图像。

本实施例中,可以根据训练好的第一语义分割模型提取出第一感兴趣区域,具体的,可以是将原始的医学图像输入到训练好的第一语义分割模型中,输出原始医学图像的第二敏感区域;对所述第二敏感区域进行连通域分析,得到第二目标区域;依据所述第二目标区域的边界坐标,从所述原始的医学图像中提取出第二感兴趣区域的图像。

由于第二基准图像和原始图像的尺寸相同,可以获取到的第二感兴趣区域的图像的边界坐标,从第二基准图像中提取出第三基准图像。

需要说明的是,第二语义分割模型可以采用多种深度语义分割模型,例如可以包括:fcn(英文全称:fullyconvolutionalneuralnetworks,中文全称:全卷积神经网络)、unet、segnet等以及它们的变种,在本实施例中不进行限定。

参考图5,示出了本发明实施例提供的一种肺部医学图像的分割装置的结构示意图,在本实施例中,该装置包括:

第一获取单元501,用于获取待处理的医学图像;

确定单元502,用于依据已训练的第一语义分割模型,确定出所述待处理的医学图像的第一敏感区域;

分析单元503,用于对所述第一敏感区域内的图像进行连通域分析,得到第一目标区域;

提取单元504,用于依据所述第一目标区域的边界坐标,从所述待处理的医学图像中提取出第一感兴趣区域的图像;

分割单元505,用于依据已训练的第二语义分割模型,将所述第一感兴趣区域的图像分割为多个部分;

修正单元506,用于依据预设的传统分割算法,对分割为多个部分的感兴趣区域的图像中的各个分割边界进行修正。

可选的,还包括:

第一尺寸归一化单元,用于对所述待处理的医学图像进行尺寸归一化处理。

可选的,还包括:

第二获取单元,用于获取原始医学图像,并对所述原始医学图像进行尺寸归一化;

第二尺寸归一化单元,用于获取第一基准图像,对所述第一基准图像进行尺寸归一化;所述第一基准图像为标记了目标对象的区域的医学图像;

第一训练单元,用于基于所述原始的医学图像和所述第一基准图像的关系,对所述第一语义分割模型进行训练。

可选的,所述第二获取单元,包括:

第一获取子单元,用于获取具有所述目标对象的分类标记的第二基准图像;所述第二基准图像为具有所述目标对象的分类标记的医学图像;

二值化子单元,用于将所述第二基准图像进行二值化处理;

第一基准图像获取子单元,用于将二值化处理后的所述第二基准图像中大于零的像素点置1,得到第一基准图像。

可选的,所述分析单元,包括:

第一确定子单元,用于从所述第一敏感区域中确定出所有的连通域;

第一连通域分析子单元,用于按照预设的规则,对所述第一敏感区域中各个连通域与第一敏感区域的边界的连接关系以及各个连通域的面积进行分析;

第二确定子单元,用于将不与所述第一敏感区域的边界相连通且面积最大的连通域作为第一目标区域;所述第一敏感区域的图像为分割出第一敏感区域的待处理的医学图像。

可选的,所述提取单元,包括:

转换子单元,用于基于所述待处理的医学图像的尺寸,对所述第一目标区域的边界坐标进行转换;

分割子单元,用于依据转换后的边界坐标,从所述待处理的医学图像中分割出第一感兴趣区域的图像。

可选的,还包括:

第三获取单元,用于获取原始的医学图像和第二基准图像;

第二提取单元,用于从所述原始的医学图像中提取第二感兴趣区域的图像,并从所述第二基准图像中提取第三基准图像;

第三尺寸归一化单元,用于分别对所述第二感兴趣区域的图像和所述第三基准图像进行尺寸归一化;

第二训练单元,用于依据所述第二感兴趣区域的图像和所述第三基准图像的关系,对所述第二语义分割模型进行训练。

可选的,所述第二提取单元,包括:

输出子单元,用于分别将所述原始的医学图像输入到第一语义分割模型中,输出原始医学图像的第二敏感区域;

第二连通域分析子单元,用于对所述第二敏感区域进行连通域分析,得到第二目标区域;

提取子单元,用于依据所述第二目标区域的边界坐标,从所述原始的医学图像中提取出第二感兴趣区域的图像,并从所述第二基准图像中提取出第三基准图像。

通过本实施例的装置,将语义分割模型和传统的分割算法相结合,通过语义分割模型得到对目标对象分类后的感兴趣区域,然后再对分割后的各个分割边界进行修正。这样不仅可以快速的得到的医学图像中目标对象的分类结果,还可以得到良好的分割效果。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1