基于位置先验的图像分割方法、装置、设备和存储介质与流程

文档序号:31411386发布日期:2022-09-03 09:50阅读:149来源:国知局
基于位置先验的图像分割方法、装置、设备和存储介质与流程

1.本技术涉及医学影像处理技术领域,特别是涉及一种基于位置先验的图像分割方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术:

2.医学图像分割是指根据区域的相似或不同特征将图像分割成若干区域的过程。医学图像分割在医学研究与实践领域有着广泛的应用和研究价值,例如对于人体器官、组织或病灶的尺寸、体积或容积的测量,需要在治疗前后进行相关影像学指标的定量测量和分析,有助于医生诊断、随访或修订对病人的治疗方案。
3.传统的医学诊断中,需要医生凭借专业知识和经验判断目标器官的影像指标,但这种方法受医生的主观性例如认知差异或疲劳程度的影响较大,导致判断因人而异。随着人工智能的不断发展,目前出现了基于神经网络的医学图像分割方法,能够自动区分并分割出所需的器官影像。
4.然而,由于人体解剖结构的复杂性,现有的智能分割方法还不能适用于各种人体组织,例如对于小器官或复杂器官例如淋巴结、视交叉等器官,分割效果还不够准确。


技术实现要素:

5.基于此,有必要针对上述技术问题,提供一种基于位置先验的图像分割方法、装置、计算机设备和计算机可读存储介质。
6.第一方面,本技术提供了一种基于位置先验的图像分割方法。所述方法包括:
7.将待分割的医学图像输入预先训练好的第一神经网络,通过所述预先训练好的第一神经网络对所述医学图像进行粗分割,并针对分割得到的初始组织器官生成第一掩模图像;所述第一掩模图像中包含用于提取所述医学图像中的所述初始组织器官的第一提取区域;
8.基于所述第一提取区域和所述第一提取区域的邻域,生成第二提取区域;
9.基于所述第二提取区域对所述医学图像进行图像提取,获取位置聚焦图像;
10.将所述待分割的医学图像、所述位置聚焦图像和所述第一掩模图像输入预先训练好的第二神经网络,通过所述预先训练好的第二神经网络针对所述医学图像进行细分割,得到所述医学图像中的目标组织器官。
11.在其中一个实施例中,所述基于所述第一提取区域和所述第一提取区域的邻域,生成第二提取区域,包括:
12.在所述第一掩模图像中,获取所述第一提取区域的质心;
13.以所述质心为中心点,通过预设长度的半径围绕所述中心点形成多边形区域,将包含所述多边形区域的图像作为所述第二掩模图像。
14.在其中一个实施例中,所述以所述质心为中心点,通过预设长度的半径围绕所述中心点形成多边形区域,将包含所述多边形区域的图像作为所述第二掩模图像,包括:
15.在所述质心有多个的情况下,分别以各个所述质心为中心点,通过所述预设长度的半径分别围绕所述中心点形成多个所述多边形区域;
16.获取所述多个多边形区域的交集区域,将包含所述交集区域的图像作为所述第二掩模图像。
17.在其中一个实施例中,所述基于所述第二提取区域对所述医学图像进行图像提取,获取位置聚焦图像,包括:
18.将所述第二提取区域设置为预设像素值,生成第二掩模图像;
19.将所述第二掩模图像与所述待分割的医学图像进行相乘操作,以生成所述位置聚焦图像。
20.在其中一个实施例中,在所述将待分割的医学图像输入预先训练好的第一神经网络之前,还包括:
21.获取待分割的训练图像和所述训练图像的标签图像,所述标签图像中标识有所述训练图像中待分割的组织器官;
22.将所述训练图像相继输入待训练的第一神经网络和待训练的第二神经网络进行图像分割,得到第二分割训练图像;
23.根据所述第二分割训练图像和所述标签图像的差异确定目标损失值,并根据所述目标损失值调整所述第一神经网络的网络参数和第二神经网络的网络参数,直到满足训练结束条件,得到所述预先训练好的第一神经网络和所述预先训练好的第二神经网络。
24.在其中一个实施例中,所述将所述训练图像相继输入待训练的第一神经网络和待训练的第二神经网络进行图像分割,得到第二分割训练图像,包括:
25.将所述训练图像输入待训练的第一神经网络,通过所述待训练的第一神经网络对所述待分割的训练图像进行粗分割,并针对分割得到的初始组织器官训练区域生成第一掩模训练图像;所述第一掩模训练图像中包含用于提取所述医学图像中的所述初始组织器官训练区域的第一训练提取区域;
26.基于所述第一掩模训练图像中的第一训练提取区域和所述第一训练提取区域的邻域,确定第二训练提取区域;
27.基于所述第二训练提取区域对所述医学图像进行图像提取,获取位置聚焦训练图像;
28.将所述待分割的训练图像、所述位置聚焦训练图像和所述第一掩模训练图像输入待训练的第二神经网络,通过所述待训练的第二神经网络针对所述待分割的训练图像进行细分割,得到第二分割训练图像。
29.在其中一个实施例中,所述根据所述第二分割训练图像和所述标签图像的差异确定目标损失值,包括:
30.基于所述第一掩模训练图像与所述标签图像之间的差异,确定第一损失值;
31.基于所述第二分割训练图像和所述标签图像之间的差异,确定第二损失值;
32.将所述第一损失值与所述第二损失值进行加权求和得到所述目标损失值。
33.第二方面,本技术还提供了一种基于位置先验的图像分割装置。所述装置包括:
34.医学图像粗分割模块,用于将待分割的医学图像输入预先训练好的第一神经网络,通过所述预先训练好的第一神经网络对所述医学图像进行粗分割,并针对分割得到的
初始组织器官生成第一掩模图像;所述第一掩模图像中包含用于提取所述医学图像中的所述初始组织器官的第一提取区域;
35.第二提取区域生成模块,用于基于所述第一提取区域和所述第一提取区域的邻域,生成第二提取区域;
36.位置聚焦图像获取模块,用于基于所述第二提取区域对所述医学图像进行图像提取,获取位置聚焦图像;
37.医学图像细分割模块,用于将所述待分割的医学图像、所述位置聚焦图像和所述第一掩模图像输入预先训练好的第二神经网络,通过所述预先训练好的第二神经网络针对所述医学图像进行细分割,得到所述医学图像中的目标组织器官。
38.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述基于位置先验的图像分割方法实施例中的各步骤。
39.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于位置先验的图像分割方法实施例中的各步骤。
40.上述基于位置先验的图像分割方法、装置、计算机设备、存储介质和计算机程序产品,通过将待分割的医学图像输入预先训练好的第一神经网络,通过预先训练好的第一神经网络对医学图像进行粗分割,并针对分割得到的初始组织器官生成第一掩模图像;第一掩模图像中包含用于提取医学图像中的初始组织器官的第一提取区域;基于第一提取区域和第一提取区域的邻域,生成第二提取区域;基于第二提取区域对医学图像进行图像提取,获取位置聚焦图像;将待分割的医学图像、位置聚焦图像和第一掩模图像输入预先训练好的第二神经网络,通过预先训练好的第二神经网络针对医学图像进行细分割,得到医学图像中的目标组织器官。本技术能够预先确定感兴趣区域(即上述目标组织器官或靶区)在整个图像上的位置信息,该位置信息包括感兴趣区域本身及其周围的邻域图像。提取上述目标组织器官或靶区的准确组织边界信息,有利于后续通过神经网络分割得到更准确的边界分割结果,尤其能提高例如淋巴结、视交叉神经等小器官分割的准确性。
附图说明
41.图1为一个实施例中基于位置先验的图像分割方法的应用环境图;
42.图2为一个实施例中基于位置先验的图像分割方法的流程示意图;
43.图3为一个实施例中粗分割流程的流程示意图;
44.图4为一个实施例中细分割流程的流程示意图;
45.图5(a)为一个实施例中基于位置先验的图像分割方法的训练流程示意图;
46.图5(b)为另一个实施例中基于位置先验的图像分割方法的训练流程示意图;
47.图6为一个实施例中基于位置先验的图像分割装置的结构框图;
48.图7为一个实施例中计算机设备的内部结构图;
49.图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
50.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
51.本技术实施例提供的基于位置先验的图像分割方法,可以应用于如图1所示的应用环境中。其中,终端101通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上,也可以放在云上或其他网络服务器上。其中,终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
52.在一个实施例中,如图2所示,提供了一种基于位置先验的图像分割方法,以该方法应用于图1中的终端101为例进行说明,包括以下步骤:
53.步骤s201,将待分割的医学图像输入预先训练好的第一神经网络,通过预先训练好的第一神经网络对医学图像进行粗分割,并针对分割得到的初始组织器官生成第一掩模图像;第一掩模图像中包含用于提取上述医学图像中的初始组织器官的第一提取区域;
54.其中,待分割的医学图像是指用于提取感兴趣区域(即目标组织器官或靶区)的原始医学图像,例如ct(computed tomography,电子计算机断层扫描)图像或mr(magnetic resonance,核磁共振)图像等;为了对原始医学图像中的感兴趣区域进行分析或跟踪处理,需要将其中的感兴趣区域提取或分割出来,以区别于附近其他组织器官。第一神经网络可以采用unet3d网络,其输入通道为1,一次性可输入一个图像块。掩模处理过程是指用选定的图像、图形或物体,对待处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。其中,用于覆盖的特定图像称为掩模。本技术主要是对数字图像的处理,在数字图像处理中,掩模为二维矩阵数组,有时也为多值图像,在本技术中将掩模称为掩模图像。第一提取区域是指感兴趣区域在第一掩模图像中的相应位置,其中,这个位置是感兴趣区域的粗略位置。
55.具体地,假设需要从一个ct图像或mr图像中分割出淋巴结,由于淋巴结较小,且形状十分不规则,现需要将其从整个组织区域中单独提取出来以便进一步分析,如图3所示,将待分割的医学图像(例如ct图像或mr图像)输入预先训练好的第一神经网络(即网络1),通过该第一神经网络对上述医学图像进行粗分割,即对上述医学图像中所包含的感兴趣区域进行定位识别和分割,以使其区分于周边组织图像,并针对分割得到的初始组织图像进行掩模处理,得到第一掩模图像(如图3中的掩模结果1),该第一掩模图像包含上述感兴趣区域的大致位置信息,掩模结果1是针对目标组织器官的粗分割结果。
56.可选地,在将上述待分割的医学图像输入预先训练好的第一神经网络之前,还可以对图像进行预处理,预处理包括对图像的归一化,即照分割部位最佳显示的窗口窗位将图像值归一化到0到1之间。预处理还包括对原始图像进行裁剪得到不同的图像块,对裁剪后的图像块进行翻转或旋转实现数据增强。
57.步骤s202,基于上述第一提取区域和上述第一提取区域的邻域,生成第二提取区域。
58.其中,第一提取区域的邻域是指上述第一掩模图像中感兴趣区域向外扩张的邻近区域图像,例如,对于一个给定的区域,其邻域可认为是该给定区域根据一定规则外扩一定范围后相对于原来给定区域的新的区域。外扩规则一般为四邻域或者八邻域外扩。四邻域是指一个像素点的上下左右的像素点,八邻域则还要包含两个对角线上的四个点。具体操作如下:假定该给定区域外扩半径为n个像素,可通过四邻域或者八邻域的规则找到该区域的边界,对于边界中的任意一个像素点,可以进行四邻域或者八邻域的规则外扩n个像素点。因此,该区域的邻域就是外扩后区域减去外扩前区域所得到的区域。
59.邻域的范围是指最佳分割效果对应的多边形半径。该邻域的范围可根据不同的分割任务而产生不同大小的范围,即根据不同的目标组织器官的形状确定最佳邻域范围的大小;另外,该最佳邻域还可以是取感兴趣区域的最小外接多边形,例如取感兴趣区域的最小外接矩形,通过目前常用的最小外接矩形算法可求解感兴趣区域的最小外接矩形。
60.具体地,通过第一提取区域和上述第一提取区域的邻域,生成第二提取区域,第二提取区域例如可以是上述最小外接多边形。生成方法可以是通过求取最大外接多边形或通过矩形聚焦函数获取包含第一提取区域的矩形。
61.步骤s203,基于上述第二提取区域对上述医学图像进行图像提取,获取位置聚焦图像。
62.其中,位置聚焦图像是指待分割医学图像中至少包含目标器官组织的小区域图像。在图3中,位置聚焦图像也称为第二掩模图像。
63.位置聚焦也是一种形态学聚焦,具体地,基于第二提取区域对上述医学图像进行图像提取,获取位置聚焦图像,该位置聚焦图像的范围与上述第二提取区域一致。该位置聚焦图像中的像素值与同样位置的待分割医学图像的像素值一致,该区域外的像素值被赋予为0(黑色),如图3中的聚焦图像所示。
64.步骤s204,将上述待分割的医学图像、上述位置聚焦图像和上述第一掩模图像输入预先训练好的第二神经网络,通过预先训练好的第二神经网络针对医学图像进行细分割,得到所述医学图像中的目标组织器官。
65.其中,第二神经网络的网络结构也可采用unet3d,该第二神经网络的输入通道数为3,可同时输入3个图像块。
66.具体地,如图4所示,将上述待分割的医学图像(即原始医学图像)、上述位置聚焦图像和上述第一掩模图像在层厚方向进行拼接,将拼接结果作为第二神经网络的输入,通过第二神经网络对上述3个图像块进行细分割,得到目标组织器官,该目标组织器官例如可以是上述淋巴结。
67.上述实施例,通过将待分割的医学图像输入预先训练好的第一神经网络,通过预先训练好的第一神经网络对医学图像进行粗分割,并针对分割得到的初始组织器官生成第一掩模图像;第一掩模图像中包含用于提取医学图像中的初始组织器官的第一提取区域;基于第一提取区域和第一提取区域的邻域,生成第二提取区域;基于第二提取区域对医学图像进行图像提取,获取位置聚焦图像;将待分割的医学图像、位置聚焦图像和第一掩模图像输入预先训练好的第二神经网络,通过预先训练好的第二神经网络针对医学图像进行细分割,得到医学图像中的目标组织器官。本实施例能够预先确定感兴趣区域(即上述目标组织器官或靶区)在整个医学图像上的位置信息,该位置信息包括感兴趣区域本身及其周围
的邻域范围,提取上述目标组织器官或靶区的准确组织边界信息,有利于后续通过神经网络分割得到更准确的边界分割结果,尤其是对于小器官例如淋巴结、视交叉神经等能够提高分割的准确性。更进一步来说,本技术能够将全局图像、感兴趣区域邻近组织图像和感兴趣区域粗分割掩模三种维度信息结合起来以供神经网络进行学习和挖掘,实现靶区/目标组织器官的聚焦定位,有效提升分割结果的准确性。
68.在一实施例中,上述步骤s202包括:在第一掩模图像中,获取第一提取区域的质心;以该质心为中心点,通过预设长度的半径围绕上述中心点形成多边形区域,将包含该多边形区域的图像作为第二掩模图像。
69.其中,质心,也称为图像的重心。多边形可以是三角形、矩形、五边形等。
70.具体地,如图3所示,在通过第一神经网络对原始医学图像进行粗分割后得到第一掩模图像,也即确定了感兴趣区域的大致位置,即第一提取区域,例如感兴趣区域为淋巴结,如图3中的第一掩模图像中的白色区域所示,第一提取区域可以有多个,对每个第一提取区域进行质心计算,得到每个第一提取区域的质心;针对每个第一提取区域,以上述质心作为中心点,以预设长度的半径围绕上述中心点构建多边形区域,将包含该多边形区域的图像作为第二掩模图像。例如,可通过矩形聚焦函数对上述第一提取区域进行位置提取,以获取上述第一提取区域以及其周边相邻区域,从而确定矩形位置,得到第二掩模图像,其中,矩形聚焦函数可以是以质心作为定点,根据实际需要确定长边和短边,从而提取矩形,以上述质心作为中心点,可通过多个矩形组合在一起确定第二掩模图像。
71.上述实施例,通过对第一神经网络粗分割得到的掩模图像进行进一步的区域定位得到第二掩模图像,显然,该第二掩模图像包括了目标组织器官的周边相邻位置区域,这样,有利于后续通过第二神经网络根据感兴趣区域的位置信息学习更多的边界信息,避免遗漏信息,从而提取更准确的目标组织器官。
72.在一实施例中,上述以质心为中心点,通过预设长度的半径围绕中心点形成多边形区域,将包含多边形区域的图像作为第二掩模图像,包括:在质心有多个的情况下,分别以各个质心为中心点,通过预设长度的半径分别围绕中心点形成多个多边形区域;获取多个多边形区域的交集区域,将包含交集区域的图像作为第二掩模图像。
73.具体地,在质心有多个的情况下,分别以各个质心为中心点,通过预设长度的半径分别围绕中心点构建多边形,例如通过矩形聚焦函数构建矩形,取长度r为半径分别围绕不同的质心构建矩形,以使各个矩形能够成为包含目标组织器官的最大外接矩形。若多个聚焦矩形有重叠,则取他们的交集。其中,长度r在不同的分割任务中不同,可根据实际情况灵活调整。例如对于小器官分割任务r通常取10像素单位,对于大器官任务r通常取5像素单位。
74.上述实施例,考虑到质心有多个的情况下,如何构建多边形,以使多边形既能囊括需要分割出来的目标器官组织又能保证过多的非目标组织器官被误认为被分割的目标对象,能够提高分割的准确性。
75.在一实施例中,上述步骤s203包括:将上述第二提取区域设置为预设像素值,生成第二掩模图像;将上述第二掩模图像与上述待分割的医学图像进行相乘操作,以生成位置聚焦图像。
76.其中,位置聚焦图像是指聚焦于目标组织器官在原始图像中的位置信息后形成的
能够强调位置信息的图像。
77.具体地,由于第二提取区域即为需要聚焦的区域,因此将上述第二提取区域的像素值设置为预设像素值,例如设置为像素值1(1代表白色),其他区域的像素值设置为0(黑色)生成第二掩模图像。将第二掩模图像与上述待分割的医学图像(即原始医学图像)进行相乘操作,由于第二提取区域的像素值1,进行相乘后,则原始医学图像中的相应位置处的原始像素值与1相乘后,仍为原始像素值,即保留了第二提取区域中的原始像素值,而其他区域与0相乘后则变为0,这样生成的图像则保留了第二提取区域的像素值,最后生成的图像则为位置聚焦图像。
78.上述实施例,通过聚焦感兴趣区域的位置信息,即上述第二提取区域,生成第二掩模图像,并通过第二掩模图像提取原始医学图像中的感兴趣区域,有利于后续分割图像时能够得到更准确的分割结果。
79.在一实施例中,如图5所示,上述步骤s201之前还包括:
80.步骤s501,获取待分割的训练图像和训练图像的标签图像;该标签图像中标识有训练图像中待分割的组织器官;
81.其中,待分割的训练图像是指用于构建模型的学习样本图像;训练图像的标签图像是指事先在上述待分割的训练图像中将待分割的组织器官标注出来的图像,标签图像的可用作网络模型的训练的金标准。
82.具体地,首先获取待分割的训练图像,例如ct图像或mr图像等。对这些待分割的训练图像中的待分割的组织器官进行标注,一般是由经验丰富的临床医生勾画得到。进一步地,还可以将这些待分割的训练图像随机分为训练集和测试集,比例可以是8:2,其中,训练集用于构建模型,测试集用于验证构建后的模型的分割效果。
83.步骤s502,将所述训练图像相继输入待训练的第一神经网络和待训练的第二神经网络进行图像分割,得到第二分割训练图像;
84.其中,待训练的第一神经网络可以采用unet3d网络结构,其输入通道为1,一次性可输入一个图像块;第二神经网络的网络结构可采用unet3d;
85.将上述待分割的训练图像先输入上述第一神经网络进行粗分割,得到粗分割结果,即第一掩模训练图像;并将粗分割结果和上述待分割的训练图像输入第二神经网络进行细分割,得到第二分割训练图像。
86.步骤s503,根据第二分割训练图像和上述标签图像之间的差异确定目标损失值,并根据目标损失值调整第一神经网络的网络参数和第二神经网络的网络参数,直到满足训练结束条件,得到预先训练好的第一神经网络和所述预先训练好的第二神经网络。
87.具体地,将第二分割训练图像与上述已经被事先标注的标签图像进行对比,根据二者之间的差异确定目标损失值,目标损失值可使用dice损失函数来计算。调整第一神经网络的网络参数和第二神经网络的网络参数指导损失值达到最小或满足其他训练结束条件,例如目标损失值稳定在某个预设范围内波动,此时,得到预先训练好的第一神经网络和预先训练好的第二神经网络。
88.进一步地,在得到上述预先训练好的第一神经网络和预先训练好的第二神经网络后,还可使用上述测试集对预先训练好的第一神经网络和预先训练好的第二神经网络进行进一步验证,以保证准确的分割效果。
89.上述实施例,通过使用预先标注好的训练集图像对第一神经网络和第二神经网络进行训练,得到训练好的第一神经网络和训练好的第二神经网络,为后续进行图像分割提供数据基础。
90.在一实施例中,上述步骤s502还包括:
91.步骤s5021,将上述训练图像输入待训练的第一神经网络,通过待训练的第一神经网络对上述待分割的训练图像进行粗分割,并针对分割得到的初始组织器官训练区域生成第一掩模训练图像;第一掩模训练图像中包含用于提取上述待分割的训练图像中的初始组织器官训练区域的第一训练提取区域。
92.其中,待训练的第一神经网络可以采用unet3d网络结构,其输入通道为1,一次性可输入一个图像块。初始组织器官训练区域是指对训练图像中的目标组织器官进行粗分割后得到的区域。
93.第一掩模训练图像是对初始组织器官训练区域进行掩模处理后得到的掩模图像。
94.具体地,将上述训练图像或上述训练集中的图像输入待训练的第一神经网络,通过第一神经网络对上述训练图像进行粗分割,在训练图像上粗分割标注出初始组织器官训练区域,同时,该第一神经网络还针对该初始组织器官训练区域进行掩模处理得到第一掩模训练图像。
95.步骤s5022,基于上述第一掩模训练图像中的第一训练提取区域和上述第一训练提取区域的邻域,确定第二训练提取区域;
96.其中,第一训练提取区域是指经过粗分割后得到的目标组织器官的粗略分割结果。
97.具体地,通过第一训练提取区域和上述第一训练提取区域的邻域,生成第二训练提取区域,第二训练提取区域例如可以是最小外接多边形。生成方法可以是通过求取最大外接多边形或通过矩形聚焦函数获取包含第一训练提取区域的矩形。
98.步骤s5023,基于第二训练提取区域对所述待分割的训练图像进行图像提取,获取位置聚焦训练图像。
99.其中,位置聚焦训练图像是指在训练图像中聚焦目标组织器官的位置信息后得到的图像。
100.具体地,基于第二训练提取区域对上述医学图像进行图像提取,获取位置聚焦训练图像,该位置聚焦训练图像的范围与上述第二提取区域一致。该位置聚焦训练图像中的像素值与同样位置的待分割的医学图像的像素值一致,该区域外的像素值被赋予为0(黑色)。
101.步骤s5024,将待分割的训练图像、位置聚焦训练图像和第一掩模训练图像输入待训练的第二神经网络,通过待训练的第二神经网络针对待分割的训练图像进行细分割,得到第二分割训练图像;
102.其中,第二神经网络的网络结构可采用unet3d,输入通道数为3,即可同时输入3个图像块。第二神经网络的结构不作特别限定,其可以是二维结构也可以是三维结构的,只要保证各自的输入通道准确即可。
103.具体地,将待分割的训练图像、上述位置聚焦训练图像和上述粗分割后得到的第一掩模训练图像作为第二神经网络的输入,通过第二神经网络对待分割的训练图像进行细
分割,得到第二分割训练图像。
104.上述实施例,通过提取邻域,并基于邻域对待分割的训练图像进行图像提取,得到位置聚焦训练图像,有利于后续得到更准确的目标组织器官的位置信息。
105.在一实施例中,上述步骤s503中的根据第二分割训练图像和标签图像之间的差异,确定目标损失值,包括:基于第一掩模训练图像与标签图像之间的差异,确定第一损失值;基于第二分割训练图像和标签图像之间的差异,确定第二损失值;将第一损失值与第二损失值进行加权求和得到目标损失值。
106.具体地,计算第一神经网络的输出(即第一掩模训练图像)与标签图像之间的第一损失值,例如可使用dice损失函数计算得到上述第一损失值,dice损失函数如下:
[0107][0108]
其中,s1表示第一损失值,x表示标签图像,y1表示第一神经网络的输出结果(即上述第一掩模训练图像)。
[0109]
然后,计算第二神经网络的输出(即第二分割训练图像)与标签图像之间的第二损失值,例如可使用dice损失函数计算得到上述第二损失值,dice损失函数如下:
[0110][0111]
其中,s2表示第二损失值,x表示标签图像,y2表示第二神经网络的输出结果(即上述第二分割训练图像)。
[0112]
最后,将上述第一损失值s1和上述第二损失值s2进行加权(例如设置权重分别为0.4和0.6)得到目标损失值(即总损失),反向传播总损失来同步更新第一神经网络和第二神经网络中的参数,在完成多个训练周期后,当计算得到的总损失值满足训练结束条件时,可认为已完成第一神经网络和第二神经网络的训练。
[0113]
上述实施例,通过将第一损失值和第二损失值进行加权得到总损失,调节总损失以完成第一神经网络和第二神经网络的训练,有利于后续得到训练好的第一神经网络和第二神经网络。
[0114]
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0115]
基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的基于位置先验的图像分割方法的基于位置先验的图像分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于位置先验的图像分割装置实施例中的具体限定可以参见上文中对于基于位置先验的图像分割方法的限定,在此不再赘述。
[0116]
在一个实施例中,如图6所示,提供了一种基于位置先验的图像分割装置600,包括:医学图像粗分割模块601、第二提取区域生成模块602、位置聚焦图像获取模块603和医学图像细分割模块604,其中:
[0117]
医学图像粗分割模块601,用于将待分割的医学图像输入预先训练好的第一神经网络,通过所述预先训练好的第一神经网络对所述医学图像进行粗分割,并针对分割得到的初始组织器官生成第一掩模图像;所述第一掩模图像中包含用于提取所述医学图像中的所述初始组织器官的第一提取区域;
[0118]
第二提取区域生成模块602,用于基于所述第一提取区域和所述第一提取区域的邻域,生成第二提取区域;
[0119]
位置聚焦图像获取模块603,用于基于所述第二提取区域对所述医学图像进行图像提取,获取位置聚焦图像;
[0120]
医学图像细分割模块604,用于将所述待分割的医学图像、所述位置聚焦图像和所述第一掩模图像输入预先训练好的第二神经网络,通过所述预先训练好的第二神经网络针对所述医学图像进行细分割,得到所述医学图像中的目标组织器官。
[0121]
在其中一个实施例中,上述第二提取区域生成模块602进一步用于:
[0122]
在所述第一掩模图像中,获取所述第一提取区域的质心;以所述质心为中心点,通过预设长度的半径围绕所述中心点形成多边形区域,将包含所述多边形区域的图像作为所述第二掩模图像。
[0123]
在其中一个实施例中,上述第二提取区域生成模块602进一步用于:
[0124]
在所述质心有多个的情况下,分别以各个所述质心为中心点,通过所述预设长度的半径分别围绕所述中心点形成多个所述多边形区域;获取所述多个多边形区域的交集区域,将包含所述交集区域的图像作为所述第二掩模图像。
[0125]
在其中一个实施例中,上述位置聚焦图像获取模块603,进一步用于:
[0126]
将所述第二提取区域设置为预设像素值,生成第二掩模图像;将所述第二掩模图像与所述待分割的医学图像进行相乘操作,以生成所述位置聚焦图像。
[0127]
在其中一个实施例中,还包括模型训练单元,用于:
[0128]
获取待分割的训练图像和所述训练图像的标签图像,所述标签图像中标识有所述训练图像中待分割的组织器官;将所述训练图像输入待训练的第一神经网络,通过所述待训练的第一神经网络对所述待分割的训练图像进行粗分割,并针对分割得到的初始组织器官训练区域生成第一掩模训练图像;所述第一掩模训练图像中包含用于提取所述待分割的训练图像中的所述初始组织器官训练区域的第一训练提取区域;基于所述第一掩模训练图像中的第一训练提取区域和所述第一训练提取区域的邻域,确定第二训练提取区域;基于所述第二训练提取区域对所述待分割的训练图像进行图像提取,获取位置聚焦训练图像;将所述待分割的训练图像、所述位置聚焦训练图像和所述第一掩模训练图像输入待训练的第二神经网络,通过所述待训练的第二神经网络针对所述待分割的训练图像进行细分割,得到第二分割训练图像;根据所述第二分割训练图像和所述标签图像的差异确定目标损失值,并根据所述目标损失值调整所述第一神经网络的网络参数和第二神经网络的网络参数,直到满足训练结束条件,得到所述预先训练好的第一神经网络和所述预先训练好的第二神经网络。
[0129]
在其中一个实施例中,上述模型训练单元,进一步用于:
[0130]
基于所述第一掩模训练图像与所述标签图像,确定第一损失值;基于所述第二分割训练图像和所述标签图像的差异,确定第二损失值;将所述第一损失值与所述第二损失值进行加权求和得到所述目标损失值。
[0131]
上述基于位置先验的图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0132]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储医学图像以及图像分割结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于位置先验的图像分割方法。
[0133]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于位置先验的图像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0134]
本领域技术人员可以理解,图7至8中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0135]
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述基于位置先验的图像分割方法实施例中的各步骤。
[0136]
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述基于位置先验的图像分割方法实施例中的各步骤。
[0137]
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述基于位置先验的图像分割方法实施例中的各步骤。
[0138]
需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户
授权或者经过各方充分授权的信息和数据。
[0139]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
[0140]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0141]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1