图像检测方法及相关的模型训练方法、设备、装置与流程

文档序号:29074141发布日期:2022-03-01 22:14阅读:57来源:国知局
图像检测方法及相关的模型训练方法、设备、装置与流程

1.本技术涉及人工智能技术领域,特别是涉及一种图像检测方法及相关的模型训练方法、设备、装置。


背景技术:

2.当前,利用神经网络对人和动物的骨骼进行分割、标记,进而促进人们对骨骼自身情况的了解,以及关于骨骼的疾病判断等方面,是研究的热点,应用前景广泛。例如,针对包含人体肋骨的ct图像,对肋骨进行分割、标记的技术,能够帮助医生快速判断肋骨骨折等问题,这极大地减轻了医生的负担。
3.然而,目前在利用神经网络对人和动物的骨骼进行分割、标记时,无法直接输出结果检测结果,往往需要根据骨骼之间的排布上的顺序关系来辅助分割、标记。当图像上的骨骼不完整时,往往无法准确的对图像中骨骼进行分割、标记。这极大地限制了神经网络对骨骼进行分割、标记这一技术的进一步发展。
4.因此,如何提高神经网络对骨骼图像的分割、标记的能力,具有非常重要的意义。


技术实现要素:

5.本技术至少提供一种图像检测方法及相关的模型训练方法、设备、装置。
6.本技术第一方面提供了一种图像检测方法,该方法包括:获取包含目标对象的目标医学图像;其中,目标对象包括若干骨骼;基于目标医学图像,确定至少一张待检测图像,其中,待检测图像包含至少部分的目标医学图像;利用图像检测模型对至少一张待检测图像进行检测,得到检测结果,其中,检测结果包括待检测图像中的骨骼的以下至少一种检测信息:类别信息和/或在目标医学图像的位置信息。
7.因此,在从目标医学图像中获取待检测图像之后,通过利用图像检测模型对待检测图像进行检测,能够直接输出待检测图像中目标对象的骨骼类别信息和/或在目标医学图像的位置信息,提高了骨骼检测的效率和准确度,提高了图像检测模型对骨骼图像进行检测的能力。
8.其中,上述的目标医学图像为三维图像,待检测图像为二维图像。上述的为目标医学图像确定至少一张待检测图像,包括:沿第一方向对目标医学图像取第一目标层,得到第一目标层对应的第一待检测图像;沿第二方向对目标医学图像取第二目标层,得到第二目标层对应的第二待检测图像;其中,第一方向和第二方向相交。上述的对至少一张待检测图像进行检测,得到检测结果,包括:将第一待检测图像和第二待检测图像输入至图像检测模型进行处理,得到检测区域中包含的骨骼的检测信息,以作为检测结果;其中,检测区域为第一目标层对应的第一待检测图像和第二目标层对应的第二待检测图像之间的相交区域。
9.因此,通过在两个方向对目标医学图像取层,可以获取不同方向上的目标医学图像上的目标对象的信息,以此可以提高检测结果的准确度。
10.其中,上述的基于目标医学图像,确定至少一张待检测图像,还包括:沿第一方向
对目标医学图像取若干第一其他层,得到若干第一其它层对应的若干第一待检测图像,其中,第一其他层与第一目标层相差小于第一预设层数;沿第二方向对目标医学图像取若干第二其他层,得到若干第二其他层对应的若干第二待检测图像,其中,第二其他层与第二目标层相差小于第二预设层数;其中,输入至图像检测模型进行处理的图像包括第一目标层对应的第一待检测图像和第一其它层对应的第一待检测图像,输入至图像检测模型进行处理的第二待检测图像包括第二目标层对应的第二待检测图像和第二其它层对应的第二待检测图像。
11.因此,通过获取若干张连续的第一目标层和第一其它层,第二目标层和第二其它层,可以获取目标医学图像在一个方向上的连续的变化信息,以此可以提供更加丰富的特征信息,有助于提高图像检测模型对骨骼图像进行检测的能力。
12.其中,上述的若干第一其他层包括第一目标层之前的连续第一数量层和/或第一目标层之后的连续第二数量层;若干第二其它层包括第二目标层之前的连续第三数量层和/或第二目标层之后的连续第四数量层;第一方向为人体的冠状轴方向,第二方向为人体的矢状轴方向。
13.因此,通过将第一其它层设置为第一目标层的上下层,将第二其它层设置为第二目标层的上下层,以此可以获得第一目标层或是第二目标层的上下层信息,进一步提高图像检测模型对骨骼图像进行检测的能力,提高检测结果的准确度。
14.其中,上述的图像检测模型包括第一特征提取网络、第二特征提取网络和融合网络。上述的将第一待检测图像和第二待检测图像输入至图像检测模型进行处理,得到检测区域中包含的骨骼的检测信息,包括:利用第一特征提取网络对输入的第一待检测图像进行特征提取,以得到第一目标层对应的第一待检测图像的第一特征图;利用第二特征提取网络对输入的第二待检测图像进行特征提取,以得到第二目标层对应的第二待检测图像的第二特征图;利用融合网络对第一特征图和第二特征图进行融合处理,得到检测区域中包含的骨骼的检测信息。
15.因此,通过利用不同的特征提取网络分别对第一待检测图像和第二待检测图像进行特征提取,可以获得两个方向上待检测图像的特征信息,并利用融合网络整合两个方向的特征信息并进行检测,以此可以根据两个方向上待检测图像的特征信息对检测区域进行检测,能够提高图像检测模型的检测能力,提高检测结果的准确度。
16.其中,上述的融合网络包括第三特征提取网络和检测网络。上述的利用融合网络对第一特征图和第二特征图进行融合处理,得到检测区域中包含的骨骼的检测信息,包括:利用第三特征提取网络对第一特征图和第二特征图进行特征提取,得到第三特征图;利用检测网络对第三特征图进行检测,得到检测区域中包含的骨骼的检测信息。
17.因此,通过利用融合网络的第三特征提取网络对第一特征图和第二特征图的特征信息进一步的整合,能够提高检测的准确度。
18.其中,上述的目标对象为人体肋骨;和/或,上述的在为目标医学图像确定至少一张待检测图像之后,方法还包括以下至少一个步骤:统一至少一张待检测图像的空间分辨率;分别对每张待检测图像的像素进行归一化处理。
19.因此,通过限定目标对象为人体肋骨,可以对人体肋骨进行检测。另外,通过对待检测图像进行调整,可以提高数据的一致性,提高检测的准确度。
20.本技术第二方面提供了一种图像检测模型的训练方法,该方法包括:获取包含目标对象的样本医学图像;其中,目标对象包括若干骨骼;基于样本医学图像,确定至少一张样本检测图像,其中,样本检测图像包含至少部分的样本医学图像,且标注有样本检测图像中的骨骼的实际信息;利用至少一张样本检测图像对图像检测模型进行训练;其中,在训练过程中,图像检测模型模用于输出样本骨骼检测信息,样本骨骼检测信息包括样本检测图像中的骨骼的检测信息,骨骼的实际信息和检测信息均包括:类别信息和/或在目标医学图像的位置信息。
21.因此,通过上述的训练方法,可以实现对图像检测模型的训练。
22.其中,上述的样本医学图像为三维图像,样本检测图像为二维图像。上述的基于样本医学图像,确定至少一张待检测图像,包括:沿第一方向对样本医学图像第一目标层,得到第一目标层对应的第一样本检测图像;沿第二方向对样本医学图像取第二目标层,得到第二目标层对应的第二样本检测图像;其中,第一方向和第二方向相交。上述的利用至少一张样本检测图像对图像检测模型进行训练,包括:利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,其中,样本骨骼检测信息为样本检测区域中的骨骼的检测信息,样本检测区域为第一目标层对应的第一待检测图像和第二目标层对应的第二待检测图像之间的相交区域。
23.因此,通过在两个方向对样本医学图像取层,可以利用不同方向上的样本医学图像上的目标对象的信息对图像检测模型的训练,以此可以提高训练效果。
24.其中,上述的图像检测模型包括用于对第一样本检测图像进行特征提取的第一特征提取网络、用于对第二样本检测图像进行特征提取的第二特征提取网络、用于基于第一特征提取网络和第二特征提取网络输出的特征图得到骨骼检测信息的融合网络。上述的利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,包括:利用第一样本检测图像对第一特征提取网络进行第一训练;利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练。
25.因此,通过利用不同的特征提取网络分别对第一待检测图像和第二待检测图像进行特征提取,可以获得两个方向上待检测图像的特征信息,并利用融合网络整合两个方向的特征信息并进行检测,实现了对图像检测模型的分步训练,降低了训练的难度。
26.其中,上述的利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,还包括:利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练;利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练。
27.因此,上述的训练方法实现了对图像检测模型的分步训练,降低了训练的难度。
28.其中,上述的利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练,或用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练,包括:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本特征图;利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图;利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数;以及利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本
检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。其中,在利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练的步骤中:第二特征提取网络为目标特征提取网络,经第一训练的所第一特征提取网络为其他特征提取网络,第一样本检测图像为第一训练图像,第二样本检测图像为第二训练图像;或者,在利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练的步骤中:经第一训练的第一特征提取网络为目标特征提取网络,经第三训练的第二特征提取网络为其他特征提取网络,第二样本检测图像为第一训练图像,第一样本检测图像为第二训练图像。
29.因此,通过上述的训练方法,可以实现对图像检测模型的分步训练。
30.其中,上述的目标特征提取网络包括依序连接的n层特征提取层,第二样本特征图包括由目标特征提取网络的第i特征提取层输出的第一子样本特征图和由第n特征提取层输出的第二子样本特征图,i小于n;
31.上述的利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数,包括:利用融合网络对第二子样本特征图和第三样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络中第i+1至第n特征提取层的网络参数;
32.上述的利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数,包括:利用图像检测模型的检测网络对第一子样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络中第1至第i特征提取层的网络参数。
33.因此,通过获取两张子样本特征图(第一子样本特征图和第二子样本特征图),可以分别利用这两张子样本特征图用于不同训练的网络时,减少相互影响的影响,进而提高训练的效率。
34.其中,上述的利用第一样本检测图像对第一特征提取网络进行第一训练,或利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练,包括:以第一特征提取网络或经第二训练的第二特征提取网络为待训练特征提取网络,以第一样本检测图像或第二样本检测图像为第三训练图像;利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图;利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息;基于第二样本检测信息,调整待训练特征提取网络的网络参数。
35.因此,通过上述的训练方法,可以实现对图像检测模型的分步训练。
36.本技术第三方面提供了一种图像检测装置,该装置包括:获取模块、确定模块和检测模块。获取模块用于获取包含目标对象的目标医学图像;其中,目标对象包括若干骨骼。确定模块,用于基于目标医学图像,确定至少一张待检测图像,其中,待检测图像包含至少部分的目标医学图像。检测模块,用于利用图像检测模型对至少一张待检测图像进行检测,得到检测结果,其中,检测结果包括待检测图像中的骨骼的以下至少一种检测信息:类别信息和/或在目标医学图像的位置信息。
37.本技术第四方面提供了一种图像检测模型的训练装置,该装置包括:获取模块、确定模块和检测调整模块。获取模块用于获取包含目标对象的样本医学图像;其中,目标对象包括若干骨骼。确定模块用于基于样本医学图像,确定至少一张样本检测图像,其中,样本检测图像包含至少部分的样本医学图像,且标注有待检测图像中的骨骼的实际信息。检测调整模块用于利用至少一张样本检测图像对图像检测模型进行训练;其中,在训练过程中,图像检测模型模用于输出样本骨骼检测信息,样本骨骼检测信息包括样本检测图像中的骨骼的检测信息,骨骼的实际信息和检测信息均包括:类别信息和/或在目标医学图像的位置信息。
38.本技术第五方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像检测方法,或实现上述第二方面的图像检测模型的训练方法。
39.本技术第六方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像检测方法,或实现上述第二方面的图像检测模型的训练方法。
40.上述方案,在从目标医学图像中获取待检测图像之后,通过利用图像检测模型对待检测图像进行检测,能够直接输出待检测图像中目标对象的骨骼类别信息和/或在目标医学图像的位置信息,提高了检测的效率和准确度,提高了图像检测模型对骨骼图像进行检测的能力。
41.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本技术。
附图说明
42.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本技术的实施例,并与说明书一起用于说明本技术的技术方案。
43.图1是本技术图像检测方法一实施例的第一流程示意图;
44.图2是本技术图像检测方法一实施例的第二流程示意图;
45.图3是本技术图像检测方法一实施例的第三流程示意图;
46.图4是本技术图像检测方法另一实施例的流程示意图;
47.图5是本技术图像检测模型的训练方法一实施例的流程示意图;
48.图6是本技术图像检测装置一实施例的框架示意图;
49.图7是本技术图像检测模型的训练装置一实施例的框架示意图;
50.图8是本技术电子设备一实施例的框架示意图;
51.图9为本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
52.下面结合说明书附图,对本技术实施例的方案进行详细说明。
53.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本技术。
54.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关
系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
55.请参阅图1,图1是本技术图像检测方法一实施例的第一流程示意图。具体而言,可以包括如下步骤:
56.步骤s11:获取包含目标对象的目标医学图像。
57.目标对象可以是人体的骨骼,也可以是动物的骨骼,在目标对象中,可以包含有若干骨骼。例如,目标对象为人体的肋骨,下肢骨,或是狗的四肢骨骼。目标对象为人体的肋骨时,可以包含若干条肋骨,如包含第一根肋骨、第二根肋骨、第三根肋骨等等。目标医学图像是包含目标对象的图像。具体而言,可以利用电子计算机断层扫描(computed tomography,ct)成像技术,或是利用核磁共振成像(nuclear magnetic resonance imaging,nmri)技术来获取目标医学图像。目标医学图像可以是三维图像,例如是利用三维ct成像技术得到的三维图像,也可以是二维图像。可以理解的,目标医学图像只要包含目标对象即可,其成像方式不受限制。
58.步骤s12:基于目标医学图像,确定至少一张待检测图像。
59.在得到目标医学图像以后,可以基于目标医学图像确定至少一张待检测图像,以此来获得包括目标医学图像中的至少部分内容的待检测图像。
60.在一个具体实施场景中,待检测图像是与目标医学图像对应的二维图像。例如,当目标医学图像是人体肋骨的三维图像,或是狗的肋骨的三维图像时,可以基于该三维图像,沿着某一方向(例如沿着冠状轴的方向?)取层,以此来获得待检测图像。
61.在一个公开实施例中,在为目标医学图像确定至少一张待检测图像之后,还可以执行以下步骤1(图中未示出)和步骤2(图中未示出),提高待检测图像的一致性,以提高检测效果。
62.步骤1:统一至少一张待检测图像的空间分辨率。
63.由于获得的待检测图像的空间分辨率可能不同,因此,为了提高检测效果,可以通过对获得的全部待检测图像进行空间分辨率的调整,以统一全部待检测图像的空间分辨率。例如,可以将全部待检测图像的空间分辨率设置为15lp/cm。
64.步骤2:分别对每张待检测图像的像素进行归一化处理。
65.对待检测图像的像素进行归一化处理,例如是将待检测图像的像素值转换到某一区间。通过归一化处理,在后续图像处理时,会更加方便快捷,也可以提高检测速度。
66.步骤s13:对至少一张待检测图像进行检测,得到检测结果。
67.在获得待检测图像后,可以利对至少一张待检测图像进行检测,以此获得目标医学图像的检测结果。例如可以利用图像检测模型对待检测图像进行检测,或者是利用其他的方法对待检测图像进行检测。此外,得到的检测结果可以包括待检测图像中的目标对象的骨骼的以下至少一种检测信息:类别信息和/或在目标医学图像的位置信息。也即,检测结果可以为待检测图像中目标对象的骨骼的类别信息、或是待检测图像中目标对象的骨骼在目标医学图像的位置信息,或是二者都有。
68.待检测图像中目标对象的骨骼的类别信息,即是目标对象的骨骼的具体类别。待检测图像中目标对象的骨骼在目标医学图像的位置信息,即是待检测图像中目标对象的骨骼,经过图像检测模型对其进行识别,分割以后,得到的该骨骼在目标医学图像上位置信息。如目标对象是人体肋骨时,则类别信息是该骨骼是第几根肋骨的信息,如是第一根肋骨、第二根肋骨、第三根肋骨等等。在一个具体实施场景中,还可以包括是左肋还是右肋的类别信息。当目标医学图像是三维图像时,待检测图像中目标对象的骨骼在目标医学图像的位置信息,即是对应的像素点的三维坐标信息。
69.因此,在上述的方案中,在从目标医学图像中获取待检测图像之后,通过利用图像检测模型对待检测图像进行检测,能够直接输出待检测图像中目标对象的骨骼类别信息和/或在目标医学图像的位置信息,提高了检测的效率和准确度,提高了图像检测模型对骨骼图像进行检测的能力。
70.请参阅图2,图2是本技术图像检测方法一实施例的第二流程示意图。该实施例是对上述步骤s12的进一步的扩展,具体而言,步骤“基于目标医学图像,确定至少一张待检测图像”具体包括:
71.步骤s121:沿第一方向对目标医学图像取第一目标层,得到第一目标层对应的第一待检测图像。
72.当目标医学图像为三维图像时,可以沿着第一方向对目标医学图像取第一目标层,以此得到与第一目标层对应的二维的第一待检测图像。
73.第一方向可以是任意的一个方向,例如,针对包含人体肋骨的目标医学图像(下称三维肋骨医学图像),第一方向可以是垂直轴的方向、冠状轴的方向以及其他的方向。对于包含狗的肋骨的目标医学图像,第一方向可以是从狗的头部指向尾巴的方向。
74.对目标医学图像取层,即是获取目标医学图像在某一层的图像。例如,对于三维肋骨医学图像,沿着冠状轴,获取矢状面的图像,或是沿着矢状轴,获取冠状面的图像。矢状面、冠状面、冠状轴和矢状轴均是人体解剖学姿势的专用术语。
75.步骤s122:沿第二方向对目标医学图像取第二目标层,得到第二目标层对应的第二待检测图像。
76.在取层时,还可以沿第二方向对目标医学图像取第二目标层,以此获得第二待检测图像。具体取层的方法,可以参见上述步骤s121,此处不再赘述。
77.第一方向和第二方向相交,可以理解为沿着这两个方向取层,得的第一待检测图像和第二待检测图像是相交的两层图像。
78.通过在两个方向对目标医学图像取层,可以获取不同方向上的目标医学图像上的目标对象的信息,以此可以提高检测结果的准确度。
79.在步骤s121和步骤s122的基础上,还可以继续执行步骤s123至步骤s124,来获取待检测图像。
80.步骤s123:沿第一方向对目标医学图像取若干第一其他层,得到若干第一其它层对应的若干第一待检测图像。
81.在沿第一方向取层时,还可以沿着第一方向对目标医学图像取若干第一其他层,得到若干第一其它层对应的若干第一待检测图像。具体取层的方法,可以参见上述步骤s121,此处不再赘述。
82.在一个公开实施例中,在取层操作时,步骤s121和步骤s123可以同时进行。例如,可以沿第一方向对目标医学图像的第一目标层和第一其它层取层,以获得若干张第一待检测图像。在另一个公开实施例中,还可以沿第一方向对目标医学图像取层,获得若干第一待检测图像,并在所取的层中,确定某一层为第一目标层,其他层为第一其他层。步骤s121和步骤s123的执行顺序不受限制。
83.在一个具体实施场景,取层时,第一其他层与第一目标层相差小于第一预设层数。也即,第一其它层是第一目标层相差一定范围内的层。
84.在一个公开实施例中,上述的若干第一其他层包括第一目标层之前的连续第一数量层和/或第一目标层之后的连续第二数量层,也即,第一其它层分别是第一目标层的上下层,第一目标层与第一其它层是连续的层。连续第一数量层或是连续第二数量层,可以是不间断的连续,如第1层、第2层、第3层,也可以是间断的连续,如第1层、第3层、第5层和第7层,间隔的数量可以根据需要设置。第一数量和第二数量可以相同,如同为2,或同为3,也可以不同。
85.在一个具体实施场景,可以确定第3层为第一目标层,第1层、第2层、第4层和第5层为第一其他层。第1层和第2层则为第一目标层(第3层)之前的连续的层,第4层和第5层则为第一目标层(第3层)之后的连续的层。在取层时,可以沿着第一方向对目标图像取5层,分别得到与第3层对应的第一待检测图像,与第1层、第2层第4层和第5层对应的第一待检测图像。
86.步骤s124:沿第二方向对目标医学图像取若干第二其他层,得到若干第二其他层对应的若干第二待检测图像。
87.在沿第二方向取层时,还可以沿着第二方向对目标医学图像取若干第二其他层,得到若干第二其它层对应的若干第二待检测图像。具体取层的方法,可以参见上述步骤s121,此处不再赘述。
88.在一个公开实施例中,在取层操作时,步骤s122和步骤s124可以同时进行。例如,可以沿第二方向对目标医学图像的第二目标层和第二其它层取层,以获得若干张第二待检测图像。在另一个公开实施例中,还可以沿第二方向对目标医学图像取层,获得若干第二待检测图像,并在所取的层中,确定某一层为第二目标层,其他层为第二其他层。步骤s122和步骤s124的执行顺序不受限制。
89.在一个具体实施场景,取层时,第二其他层与第二目标层相差小于第一预设层数。也即,第二其它层是第二目标层相差一定范围内的层。
90.在一个公开实施例中,上述若干第二其它层包括第二目标层之前的连续第三数量层和/或第二目标层之后的连续第四数量层,也即,第二其它层分别是第二目标层的上下层,第二目标层与第二其它层是连续的层。连续第三数量层或是连续第四数量层,可以是不间断的连续,如第1层、第2层、第3层,也可以是间断的连续,如第1层、第3层、第5层和第7层,间隔的数量可以根据需要设置。第一数量和第二数量可以相同,如同为2,或同为3,也可以不同。
91.在一个公开实施例中,第一方向为人体的冠状轴方向,第二方向为人体的矢状轴方向。在其他的公开实施例中,第一方向和第二方向也可以是其他方向。
92.基于上述的步骤,可以获得第一目标层和第一其它层,并且获得与第一目标层对
应的第一待检测图像和与第一其他层对应的第一待检测图像。对于第二目标层和第二其它层同样如此,也能获得与第二目标层对应的第二待检测图像和与第二其他层对应的第二待检测图像。
93.通过获取若干连续的第一目标层和第一其它层,第二目标层和第二其它层,可以获取目标医学图像在一个方向上的连续的变化信息,以此可以提供更加丰富的特征信息,有助于提高图像检测模型对骨骼图像进行检测的能力。另外,通过将第一其它层设置为第一目标层的上下层,将第二其它层设置为第二目标层的上下层,以此可以获得第一目标层或是第二目标层的上下层信息,进一步提高图像检测模型对骨骼图像进行检测的能力,提高检测结果的准确度。
94.在一个公开实施例中,对应于沿第一方向和第二方向对目标医学图像取层的实施例,上述步骤s13提及的“对至少一张待检测图像进行检测,得到检测结果”具体包括:
95.步骤s131(图中未示出):将第一待检测图像和第二待检测图像输入至图像检测模型进行处理,得到检测区域中包含的骨骼的检测信息,以作为检测结果。
96.在沿着第一方向和第二方向对目标医学图像取层后,可以获得第一待检测图像和第二待检测图像。此时可以将第一待检测图像和第二待检测图像输入至图像检测模型进行处理,以此得到检测区域中包含的目标对象的骨骼的检测信息,以作为检测结果。检测区域为第一目标层对应的第一待检测图像和第二目标层对应的第二待检测图像之间的相交区域。在一个具体实施方式中,第一待检测图像和第二待检测图像是二维图像,即是一个平面,因此相交区域两个平面的相交区域,即为一条直线。
97.因为第一待检测图像包括与第一目标层和第一其它层对应的图像,第二待检测图像包括与第二目标层和第二其它层对应的图像,因此,输入至图像检测模型进行处理的第一待检测图像会包括第一目标层和第一其它层对应的第一待检测图像,输入至图像检测模型进行处理的第二待检测图像会包括第二目标层和第二其它层对应的第二待检测图像。
98.因为检测区域是第一待检测图像和第二待检测图像之间的相交区域,因此在这两个待检测图像(第一待检测图像和第二待检测图像)中,都会包含检测区域的位置信息。以此,在对检测区域的中包含的目标对象的骨骼进行检测,就可以结合两个待检测图像的位置信息,以此提高检测信息的准确度。
99.请参阅图3,图3是本技术图像检测方法一实施例的第三流程示意图。在本公开实施例中,图像检测模型包括第一特征提取网络、第二特征提取网络和融合网络。
100.在此基础上,上述步骤s131具体包括以下步骤:
101.步骤s1311:利用第一特征提取网络对输入的第一待检测图像进行特征提取,以得到第一目标层对应的第一待检测图像的第一特征图。
102.可以利用第一特征提取网络对第一待检测图像进行特征提取,以此获得与第一目标层对应的第一待检测图像的第一特征图。当第一待检测图像包括与第一其它层对应的第一待检测图像时,第一特征提取网络也会对与第一其它层对应的第一待检测图像进行特征提取,并最后输出第一特征图。也即,第一特征图除了包括与第一目标层对应的第一待检测图像的特征信息,还会包括与第一其它层对应的第一待检测图像的特征信息。第一特征图例如是第一特征提取网络最后一层特征提取层输出的特征图。
103.步骤s1312:利用第二特征提取网络对输入的第二待检测图像进行特征提取,以得
到第二目标层对应的第二待检测图像的第二特征图。
104.可以利用第二特征提取网络对第二待检测图像进行特征提取,以此获得与第二目标层对应的第二待检测图像的第二特征图。当第二待检测图像包括与第二其它层对应的第二待检测图像时,第二特征提取网络也会对与第二其它层对应的第二待检测图像进行特征提取,并最后输出第二特征图。也即,第二特征图除了包括与第二目标层对应的第二待检测图像的特征信息,还会包括与第二其它层对应的第二待检测图像的特征信息。第二特征图例如是第一特征提取网络最后一层特征提取层输出的特征图。
105.步骤s1313:利用融合网络对第一特征图和第二特征图进行融合处理,得到检测区域中包含的骨骼的检测信息。
106.在得到第一特征图和第二特征图以后,也就获得了两个方向上特征信息,此时可以利用融合网络对第一特征图和第二特征图进行融合处理,以进一步整合第一特征图和第二特征图的特征信息。融合网络在对第一特征图和第二特征图进行融合处理后,会输出检测区域中包含的目标对象的骨骼的检测信息。
107.在一个公开实施例中,融合网络包括第三特征提取网络和检测网络。在一个公开实施例中,第三特征提取可以包括一层卷积层,一层归一化层和一层激活层。检测网络是1
×
1的卷积层。
108.步骤s1313具体可以通过以下步骤1(图中未示出)和步骤2(图中未示出)实现。
109.步骤1:利用第三特征提取网络对第一特征图和第二特征图进行特征提取,得到第三特征图。
110.可以利用第三特征图对第一特征图和第二特征图进行特征提取,以此来对第一特征图和第二特征图的特征信息进行进一步的整合,以此得到第三特征图。
111.步骤3:利用检测网络对第三特征图进行检测,得到检测区域中包含的骨骼的检测信息。
112.在利用第三特征提取网络对第一特征图和第二特征图的特征信息进行进一步的整合以后得到第三特征图以后,可以利用融合网络对第三特征图进行检测,以此就可以利用到目标医学图像在两个方向上的特征信息,并最后得到检测区域中包含的目标对象的骨骼的检测信息。
113.因此,通过利用不同的特征提取网络分别对第一待检测图像和第二待检测图像进行特征提取,可以获得两个方向上待检测图像的特征信息,并利用融合网络整合两个方向的特征信息并进行检测,以此可以根据两个方向上待检测图像的特征信息对检测区域进行检测,能够提高图像检测模型的检测能力,提高检测结果的准确度。
114.在本技术中,在执行上述的步骤s13“利用图像检测模型对至少一张待检测图像进行检测,得到检测结果之前”还可以先对图像检测模型进进行训练,使得图像检测模型的检测准确度符合要求以后,再将图像检测模型用于实际的检测当中。在一个公开实施例中,也可以是在将模型用于实际检测之前进行训练,即在执行步骤s11之前进行训练。
115.具体而言,可以利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练。第一样本检测图像是对包含目标对象的样本医学图像沿着第一方向取层得到。第二样本检测图像是样本医学图像沿着第二方向取层得到。样本医学图像是三维图像,例如是人体肋骨的三维图像。
116.关于获得第一样本检测图像和第二样本检测图像的具体操作,可以参阅上述的步骤s121至步骤s124,区别在于训练时得到的是样本检测图像,检测时得到的是待检测图像。
117.样本医学图像是标注好的图像,样本检测图像同样也是标注好的图像。也即,在样本医学图像中包含的目标对象的骨骼的实际检测信息(类别信息和/或在目标医学图像的位置信息)是已知的。同样,在样本检测图像中包含的目标对象的骨骼的实际检测信息(类别信息和/或在样本检测图像的位置信息)也是已知的。
118.另外,与检测过程对应的,将沿第一方向取层得到的第一样本检测图像用于训练图像检测模型的第一特征提取网络,将沿第二方向取层得到的第二样本检测图像用于训练图像检测模型的第二特征提取网络。以此可以使得在对模型训练,以及实际测试时,输入数据的一致性。
119.参阅图4,图4是本技术图像检测方法另一实施例的流程示意图。本实施例的内容是关于对上述实施例提及的图像检测模型进行训练的具体步骤。具体而言,上述提及的“利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练”,具体包括以下步骤:
120.步骤s21:利用第一样本检测图像对第一特征提取网络进行第一训练。
121.在训练时,可以首先利用第一样本检测图像对第一特征提取网络单独进行第一训练,先完成对第一样本检测图像的部分训练,实现对图像检测模型的分步训练。
122.具体地,可以通过以下步骤s211-步骤s214(图中未示出),来实现对对第一特征提取网络进行第一训练。
123.步骤s211:以第一特征提取网络为待训练特征提取网络,以第一样本检测图像为第三训练图像。
124.在对第一特征提取网络进行训练时,可以以第一特征提取网络为待训练特征提取网络,作为训练的对象。同时,第一样本检测图像为第三训练图像,用于训练第一特征提取网络。
125.训练时,可以为第一特征提取网络配置一个检测网络,用于对第一特征提取网络提取的特征信息,进行解码输出。也即,图像检测模型还可以包括检测网络。具体的,第一特征提取网络和检测网络可以是二维的u-net模型。
126.步骤s212:利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图。
127.在确定好训练对象以及网络结构以后,就可以利用待训练特征提取网络(第一特征提取网络)对第三训练图像(第一样本检测图像)进行特征提取,得到第三样本特征图。
128.步骤s213:利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息。
129.在得到第三样本特征图后,利用图像检测模型的检测网络对第三样本特征图进行检测,此时可以得到第三训练图像中包含目标对象的骨骼的第二样本检测信息。第二样本检测信息会包括第三训练图像中包含目标对象的骨骼的类别信息和骨骼在第三训练图像的位置信息。
130.步骤s214:基于第二样本检测信息,调整待训练特征提取网络的网络参数。
131.得到关于第三训练图像中包含目标对象的骨骼的第二样本检测信息以后,也即是得到了预测结果,此时可以根据第二样本检测信息与第一样本检测图像的实际检测信息之
间的损失函数,来调整待训练特征提取网络的网络参数。另外,还可以相应的调整图像检测模型的检测网络的网络参数。
132.请继续参阅图4。
133.步骤s22:利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练。
134.在对第一特征提取网络进行第一训练以后,可以继续利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练。以此实现对图像检测模型的分步训练。
135.具体的,对第二特征提取网络和融合网络进行第二训练,可以通过以下步骤s221-s224实现。
136.步骤s221:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本特征图。
137.在步骤s21中,已经对第一特征提取网络进行了训练,因此可以以经第一训练的第一特征提取网络为其他特征提取网络,以第一样本检测图像为第一训练图像。
138.为了能够获得两个方向上的图像的特征信息,可以先利用其他特征提取网络(第一特征提取网络)对第一训练图像(第一样本检测图像)进行特征提取,得到第一样本特征图。例如,可以将其他特征提取网络的最后一层特征提取层输出的特征图作为第一样本特征图。
139.步骤s222:利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图;
140.在步骤s22中,因为第二特征提取网络是训练的对象,因此以第二特征提取网络为目标特征提取网络,以第二样本检测图像为第二训练图像。以此,就可以利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图。
141.在一个公开实施例中,目标特征提取网络(第二特征提取网络)包括依序连接的n层特征提取层。在一个具体实施场景中,每一层特征提取层提取的特征信息的维度都是上一层特征提取层的两倍,以此可以构建更加复杂的特征,来获得更多关于第二训练图像中目标对象的骨骼的信息。
142.第二样本特征图包括由目标特征提取网络的第i特征提取层输出的第一子样本特征图和由第n特征提取层输出的第二子样本特征图,i小于n。也就是说,目标特征提取网络会输出两张特征图,分别是非最后一层特征提取层(第i层特征提取层)输出的第一子样本特征图,和最后一层特征提取层(第n层特征提取层)输出的第二子样本特征图。
143.通过获取两张子样本特征图(第一子样本特征图和第二子样本特征图),可以分别利用这两张子样本特征图用于不同训练的网络时,减少相互影响的影响,进而提高训练的效率。
144.步骤s223:利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数。
145.得到第一样本特征图和第二样本特征图,也即获得了两个方向(第一方向和第二方向)的样本检测图像的特征图,此时可以利用融合网络对第一样本特征图和第二样本特征图进行融合处理,以此得到样本骨骼检测信息。
146.与检测过程相对应的,第一样本检测图像和第二样本检测图像的相交区域为检测
区域,样本骨骼检测信息是检测区域包含的目标对象的骨骼的检测信息。此时,可以获取检测区域的实际检测信息,然后与样本骨骼检测信息和实际检测信息之间的损失函数,来调整融合网络和目标特征提取网络的网络参数。
147.对应于上述目标特征提取网络输出两张子样本特征图的实施例,步骤s223具体包括:
148.利用融合网络对第一子样本特征图和第一样本特征图(步骤s221得到的第一样本特征图)进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络中第1至第i特征提取层的网络参数。
149.也即,融合网络是利用目标特征提取网络中非最后一层特征提取层(第i层特征提取层)输出的第一子样本特征图和第一样本特征图,来得到样本骨骼检测信息。此时,可以根据样本骨骼检测信息与检测区域的实际检测信息来调整融合网络的网络参数。并且,因为第一子样本特征图是是经过第1至第i特征提取层的特征提取操作,所以也需要相应地调整目标特征提取网络中第1至第i特征提取层的网络参数。
150.步骤s224:利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的目标对象的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。
151.为了能够训练第二征提取网络,在图像检测模型中还可以设置一个检测网络来对第二样本特征图进行检测,并根据检测结果来调整第二征提取网络的网络参数。第二征提取网络和与其对应的检测网络,具体的可以是二维的u-net模型。
152.在步骤s21中,也为第一特征提取网络配置了一个检测网络,因此,在训练时,均会为第一特征提取网络和第二特征提取网络配置一个检测网络,两个网络并不相同。为了区别两个检测网络,在本技术中,若目标特征提取网络是第一特征提取网络,则与其对应的检测网络是与第一特征提取网络对应的网络;若目标特征提取网络是第二特征提取网络,则与其对应的检测网络是与第二特征提取网络对应的网络。
153.在得到第二训练图像中包含的目标对象的骨骼的第一样本检测信息以后,就可以利用该第一样本检测信息与第二样本检测图像的实际检测信息之间的损失函数,来调整目标特征提取网络的网络参数,还可以同时调整与其对应的检测网络。
154.对应于上述目标特征提取网络输出两张子样本特征图的实施例,步骤s224具体包括:
155.利用图像检测模型的检测网络对第二子样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络中第i+1至n第特征提取层的网络参数。
156.也即,检测网络是利用目标特征提取网络中最后一层特征提取层(第n层特征提取层)输出的第二子样本特征图得到第一样本检测信息的,并调整目标特征提取网络中第i+1至n第特征提取层的网络参数即可。
157.上述的步骤s223和步骤s224的可以同时执行,也可以先后执行,执行的顺序不受限制。
158.以此,通过利用目标特征提取网络的不同特征提取层输出的特征图来做不同的训练,可以减少两个训练之间的相互影响,提高训练效果。
159.通过上述的步骤s21和步骤s22,实现对了对图像检测模型的分步训练,在保证训练效果的同时,还能减少系统显存的占用,降低了对训练设备的要求,促进了对图像检测模型的训练。
160.为了进一步地提高训练效果,还可以继续执行步骤s23和步骤s24。
161.请继续参阅图4。
162.步骤s23:利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练。
163.通过利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练,可以实现对第二特征提取网络的单独训练,提高第二特征提取网络提取信息的准确度。
164.具体地,可以通过以下步骤s231-步骤s234(图中未示出),来实现对第二特征提取网络进行第一训练。
165.步骤s231:以经第二训练的第二特征提取网络为待训练特征提取网络,以第二样本检测图像为第三训练图像。
166.在此步骤中,以经第二训练的第二特征提取网络为待训练特征提取网络,作为训练的对象。另外,以第二样本检测图像为第三训练图像,用于训练待训练特征提取网络(第二特征提取网络)。
167.步骤s232:利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图。
168.在确定好训练对象以后,就可以利用待训练特征提取网络(第二特征提取网络)对第三训练图像(第二样本检测图像)进行特征提取,得到第三样本特征图。
169.步骤s233:利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息。
170.利用图像检测模型的检测网络对第三样本特征图进行检测,即是利用与待训练特征提取网络(第二特征提取网络)对应的检测网络对第三样本特征图进行检测。第二样本检测信息会包括第三训练图像中包含目标对象的骨骼的类别信息和骨骼在第三训练图像的位置信息。
171.步骤s234:基于第二样本检测信息,调整待训练特征提取网络的网络参数。
172.得到关于第三训练图像中包含目标对象的骨骼的第二样本检测信息以后,也即是得到了预测结果,此时可以根据第二样本检测信息与第二样本检测图像的实际检测信息之间的损失函数,来调整待训练特征提取网络的网络参数。另外,还可以相应的调整与待训练特征提取网络对应的检测网络的网络参数。
173.请继续参阅图4。
174.步骤s24:利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练。
175.在对第二特征提取网络进行第三训练以后,可以继续利用第一样本检测图像对第一特征提取网络和融合网络进行第四训练。以此实现对图像检测模型的分步训练。
176.具体的,对第一特征提取网络和融合网络进行第四训练,可以通过以下步骤s241-s244(图中未示出)实现。
177.步骤s241:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本
特征图。
178.在步骤s23中,已经对第二特征提取网络进行了训练,因此可以以经第三训练的第二特征提取网络为其他特征提取网络,以第二样本检测图像为第一训练图像。
179.为了能够获得两个方向上的图像的特征信息,可以先利用其他特征提取网络(第二特征提取网络)对第一训练图像(第二样本检测图像)进行特征提取,得到第一样本特征图。例如,可以将其他特征提取网络的最后一层特征提取层输出的特征图作为第一样本特征图。
180.步骤s242:利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图。
181.在步骤s24中,因为第一特征提取网络是训练的对象,因此以第一特征提取网络为目标特征提取网络,以第一样本检测图像为第二训练图像。以此,就可以利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图。
182.与第二特征提取网络类似,目标特征提取网络(第一特征提取网络)包括依序连接的n层特征提取层。在一个具体实施场景中,每一层特征提取层提取的特征信息的维度都是上一层特征提取层的两倍,以此可以构建更加复杂的特征,来获得更多关于第二训练图像中目标对象的骨骼的信息。
183.第二样本特征图包括由目标特征提取网络的第i特征提取层输出的第一子样本特征图和由第n特征提取层输出的第二子样本特征图,i小于n。也就是说,目标特征提取网络会输出两张特征图,分别是非最后一层特征提取层(第i层特征提取层)输出的第一子样本特征图,和最后一层特征提取层(第n层特征提取层)输出的第二子样本特征图。
184.通过获取两张子样本特征图(第一子样本特征图和第二子样本特征图),可以分别利用这两张子样本特征图用于训练不同的网络时,减少相互影响的因素,进而提高训练的效率。
185.步骤s243:利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本检测结果,并基于样本检测结果,调整融合网络和目标特征提取网络的网络参数。
186.得到第一样本特征图和第二样本特征图,也既获得了两个方向(第一方向和第二方向)的样本检测图像的特征图,此时可以利用融合网络对第一样本特征图和第二样本特征图进行融合处理,以此得到样本骨骼检测信息。
187.与检测过程相对应的,第一样本检测图像和第二样本检测图像的相交区域为检测区域,样本骨骼检测信息是检测区域包含的目标对象的骨骼的检测信息。此时,可以获取检测区域的实际检测信息,然后与样本骨骼检测信息和实际检测信息之间的损失函数,来调整融合网络和目标特征提取网络的网络参数。
188.对应于上述目标特征提取网络输出两张子样本特征图的实施例,步骤s243具体包括:
189.利用融合网络对第一子样本特征图和第一样本特征图(步骤s241得到的第一样本特征图)进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络中第1至第i特征提取层的网络参数。
190.也即,融合网络是利用目标特征提取网络中非最后一层特征提取层(第i层特征提取层)输出的第一子样本特征图和第一样本特征图,来得到样本骨骼检测信息。此时,可以
根据样本骨骼检测信息与检测区域的实际检测信息来调整融合网络的网络参数。并且,因为第一子样本特征图是是经过第1至第i特征提取层的特征提取操作,所以也需要相应地调整目标特征提取网络中第1至第i特征提取层的网络参数,因为此步骤中的目标特征提取网络是第一特征提取网络,所以是调整第一特征提取网络第1至第i特征提取层的网络参数。
191.步骤s244:利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的目标对象的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。
192.为了调整目标特征提取网络的网络参数,此时可以根据与该目标特征提取网络对应的检测网络来对第二样本特征图进行检测,得到第二训练图像中包含的目标对象的骨骼的第一样本检测信息。因为第二样本特征图是第二训练图像进行特征提取得到的,而第二训练图像是第一样本检测图像。因此,得到的第一样本检测信息是关于第一样本检测信息的检测信息。由此,可以基于第一样本检测信息与第一样本检测图像的实际检测信息之间的损失函数,来调整目标特征提取网络的网络参数,还可以同时调整与其对应的检测网络。
193.对应于上述目标特征提取网络输出两张子样本特征图的实施例,步骤s244具体包括:
194.利用图像检测模型的检测网络对第一子样本特征图进行检测,得到第二训练图像中包含的目标对象的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络中第i+1至第n特征提取层的网络参数。
195.也即,检测网络是利用目标特征提取网络中最后一层特征提取层(第n层特征提取层)输出的第二子样本特征图得到第一样本检测信息的,并调整目标特征提取网络中第i+1至n第特征提取层的网络参数即可。
196.上述的步骤s243和步骤s244的可以同时执行,也可以先后执行,执行的顺序不受限制。
197.因此,通过步骤s21和步骤s24的训练,实现对第一特征提取网络、第二特征提取网络和融合网络的交替训练,减少系统显存的占用,降低了对训练设备的要求,并且还能保证训练的效果,促进了对图像检测模型的训练。
198.在上述的实施例中,在涉及到融合网络的训练时,使用的损失函数可以是dice损失函数和交叉熵损失函数。其中,因为在第一样本检测图像和第二样本检测图像中,目标对象的骨骼的大小与整个图像的大小比例较小,使用dice损失函数作为训练用的损失函数,可以提高训练效果。
199.参阅图5,图5是本技术图像检测模型的训练方法一实施例的流程示意图。本实施例所描述的训练方法是针对上述实施例提及的图像检测模型的训练方法,具体而言,包括一下步骤:
200.步骤s31:获取包含目标对象的样本医学图像。
201.关于本步骤的描述,具体请参阅步骤s11,区别在于,在本步骤中,是获取包含目标对象的样本医学图,而不是目标医学图像。
202.步骤s32:基于样本医学图像,确定至少一张样本检测图像,其中,样本检测图像包含至少部分的样本医学图像,且标注有样本检测图像中的骨骼的实际信息。
203.关于本步骤的描述,具体请参阅步骤s12,区别在于,在本步骤中,是确定至少一张
样本检测图像,并且,样本检测图像标注有样本检测图像中的骨骼的实际信息,实际信息是指样本检测图像中的骨骼的类别信息和在样本医学图像的位置信息。
204.在一个公开实施例中,步骤s32包括以下步骤s321-s322(图中未示出):
205.步骤s321:沿第一方向对样本医学图像取第一目标层,得到第一目标层对应的第一样本检测图像。
206.关于本步骤的描述,具体请参阅步骤s121,区别在于,在本步骤中,是得到第一样本检测图像。
207.步骤s322:沿第二方向对样本医学图像取第二目标层,得到第二目标层对应的第二样本检测图像;其中,第一方向和第二方向相交。
208.关于本步骤的描述,具体请参阅步骤s122,区别在于,在本步骤中,是得到第二样本检测图像。
209.在一个公开实施例中,步骤s32(图中未示出)还可以包括以下步骤:
210.步骤s323:沿第一方向对样本医学图像取若干第一其他层,得到若干第一其它层对应的若干第一样本检测图像,其中,第一其他层与第一目标层相差小于第一预设层数。
211.关于本步骤的描述,具体请参阅步骤s123,区别在于,在本步骤中,是得到第一样本检测图像。
212.步骤s324:沿第二方向对样本医学图像取若干第二其他层,得到若干第二其他层对应的若干第二样本检测图像,其中,第二其他层与第二目标层相差小于第二预设层数。
213.关于本步骤的描述,具体请参阅步骤s124,区别在于,在本步骤中,是得到第二样本检测图像。
214.在此情况下,输入至图像检测模型进行处理的第一样本检测图像包括第一目标层和第一其它层对应的第一样本检测图像,输入至图像检测模型进行处理的第二样本检测图像包括第二目标层和第二其它层对应的第二样本检测图像。
215.步骤s33:利用至少一张样本检测图像对图像检测模型进行训练。
216.在训练过程中,图像检测模型模用于输出样本骨骼检测信息,样本骨骼检测信息包括样本检测图像中的骨骼的检测信息,骨骼的实际信息和检测信息均包括:类别信息和/或在目标医学图像的位置信息。
217.关于本步骤的描述,具体请参阅步骤s13,区别在于,本步骤图像检测模型是输出样本骨骼检测信息。
218.在一个公开实施例中,步骤s33具体可以包括:
219.利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,其中,样本骨骼检测信息为样本检测区域中的骨骼的检测信息,样本检测区域为第一目标层对应的第一待检测图像和第二目标层对应的第二待检测图像之间的相交区域。
220.关于本步骤的描述,具体请参阅步骤s131,区别在于,本步骤将第一样本检测图像和第二样本检测图像输入到图像检测模型。
221.图像检测模型包括用于对第一样本检测图像进行特征提取的第一特征提取网络、用于对第二样本检测图像进行特征提取的第二特征提取网络、用于基于第一特征提取网络和第二特征提取网络输出的特征图得到骨骼检测信息的融合网络。
222.具体而言,上述提及的“利用第一样本检测图像和第二样本检测图像对图像检测
模型进行训练”,可以通过以下步骤s331至步骤s334(图中未示出)实现。
223.步骤s331:利用第一样本检测图像对第一特征提取网络进行第一训练。
224.具体而言,步骤s331可以包括:
225.步骤s3311:以第一特征提取网络为待训练特征提取网络,以第一样本检测图像为第三训练图像。
226.步骤s3312:利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图。
227.步骤s3313:利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息。
228.步骤s3314:基于第二样本检测信息,调整待训练特征提取网络的网络参数。
229.关于步骤s331及其子步骤的描述,具体请对应参阅步骤s21及其子步骤,此处不再赘述。
230.步骤s332:利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练。
231.具体而言,步骤s332可以包括:
232.步骤s3321:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本特征图。
233.步骤s3322:利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图。
234.步骤s3323:利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数。
235.步骤s3324:利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。
236.关于步骤s332及其子步骤的描述,具体请对应参阅步骤s22及其子步骤,此处不再赘述。
237.步骤s333:利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练。
238.具体而言,步骤s333可以包括:
239.步骤s3331:以经第二训练的第二特征提取网络为待训练特征提取网络,以第二样本检测图像为第三训练图像。
240.步骤s3332:利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图。
241.步骤s3333:利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息。
242.步骤s3334:基于第二样本检测信息,调整待训练特征提取网络的网络参数。
243.关于步骤s333及其子步骤的描述,具体请对应参阅步骤s23及其子步骤,此处不再赘述。
244.步骤s334:利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练。
245.具体而言,步骤s334可以包括:
246.步骤s3341:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本特征图。
247.步骤s3342:利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图。
248.步骤s3343:利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数。
249.步骤s3344:利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。
250.关于步骤s334及其子步骤的描述,具体请对应参阅步骤s24及其子步骤,此处不再赘述。
251.因此,通过步骤s331和步骤s334的训练,实现对第一特征提取网络、第二特征提取网络和融合网络的交替训练,减少系统显存的占用,降低了对训练设备的要求,并且还能保证训练的效果,促进了对图像检测模型的训练。
252.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
253.请参阅图6,图6是本技术图像检测装置一实施例的框架示意图。图像检测装置60包括获取模块61、确定模块62、检测模块63。获取模块61用于获取包含目标对象的目标医学图像;其中,目标对象包括若干骨骼。确定模块62用于为目标医学图像确定至少一张待检测图像,其中,待检测图像包含至少部分的目标医学图像。检测模块63用于利用图像检测模型对至少一张待检测图像进行检测,得到检测结果,其中,检测结果包括待检测图像中的骨骼的以下至少一种检测信息:类别信息和/或在目标医学图像的位置信息。
254.其中,上述的确定模块62用于为目标医学图像确定至少一张待检测图像,具体包括:沿第一方向对目标医学图像取第一目标层,得到第一目标层对应的第一待检测图像;沿第二方向对目标医学图像取第二目标层,得到第二目标层对应的第二待检测图像;其中,第一方向和第二方向相交。上述的检测模块63用于利用图像检测模型对至少一张待检测图像进行检测,得到检测结果,包括:将第一待检测图像和第二待检测图像输入至图像检测模型进行处理,得到检测区域中包含的骨骼的检测信息,以作为检测结果;其中,检测区域为第一目标层对应的第一待检测图像和第二目标层对应的第二待检测图像之间的相交区域。
255.其中,上述的确定模块62用于为目标医学图像确定至少一张待检测图像,还包括:沿第一方向对目标医学图像取若干第一其他层,得到若干第一其它层对应的若干第一待检测图像,其中,第一其他层与第一目标层相差小于第一预设层数;沿第二方向对目标医学图像取若干第二其他层,得到若干第二其他层对应的若干第二待检测图像,其中,第二其他层与第二目标层相差小于第二预设层数;其中,输入至图像检测模型进行处理的第一待检测
图像包括第一目标层和第一其它层对应的第一待检测图像,输入至图像检测模型进行处理的第二待检测图像包括第二目标层和第二其它层对应的第二待检测图像。
256.其中,上述的若干第一其他层包括第一目标层之前的连续第一数量层和/或第一目标层之后的连续第二数量层;若干第二其它层包括第二目标层之前的连续第三数量层和/或第二目标层之后的连续第四数量层;第一方向为人体的冠状轴方向,第二方向为人体的矢状轴方向。
257.其中,上述的图像检测模型包括第一特征提取网络、第二特征提取网络和融合网络。上述的检测模块63用于将第一待检测图像和第二待检测图像输入至图像检测模型进行处理,得到检测区域中包含的骨骼的检测信息,包括:利用第一特征提取网络对输入的第一待检测图像进行特征提取,以得到第一目标层对应的第一待检测图像的第一特征图;利用第二特征提取网络对输入的第二待检测图像进行特征提取,以得到第二目标层对应的第二待检测图像的第二特征图;利用融合网络对第一特征图和第二特征图进行融合处理,得到检测区域中包含的骨骼的检测信息。
258.其中,上述的融合网络包括第三特征提取网络和检测网络。上述的检测模块63利用融合网络对第一特征图和第二特征图进行融合处理,得到检测区域中包含的骨骼的检测信息,包括:利用第三特征提取网络对第一特征图和第二特征图进行特征提取,得到第三特征图;利用检测网络对第三特征图进行检测,得到检测区域中包含的骨骼的检测信息。
259.其中,图像检测装置60还包括训练模块。在上述检测模块63利用图像检测模型对至少一张待检测图像进行检测,得到检测结果之前,方法还包括:利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练;其中,第一样本检测图像是对包含目标对象的样本医学图像沿着第一方向取层得到,第二样本检测图像是样本医学图像沿着第二方向取层得到,第一样本检测图像用于训练图像检测模型的第一特征提取网络,第二样本检测图像用于训练图像检测模型的第二特征提取网络。
260.其中,上述的训练模块利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,包括:利用第一样本检测图像对第一特征提取网络进行第一训练;利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练;利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练;利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练。
261.其中,上述的训练模块利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练,或用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练,包括:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本特征图;利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图;利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数;以及
262.利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。
263.其中,在利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练的步骤中:第二特征提取网络为目标特征提取网络,经第一训练的第一特征提取网络为其他
特征提取网络,第一样本检测图像为第一训练图像,第二样本检测图像为第二训练图像;或者,在利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练的步骤中:经第一训练的第一特征提取网络为目标特征提取网络,经第三训练的第二特征提取网络为其他特征提取网络,第二样本检测图像为第一训练图像,第一样本检测图像为第二训练图像。
264.其中,上述的目标特征提取网络包括依序连接的n层特征提取层,第二样本特征图包括由目标特征提取网络的第i特征提取层输出的第一子样本特征图和由第n特征提取层输出的第二子样本特征图,i小于n。
265.上述的训练模块利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数,包括:利用融合网络对第一子样本特征图和第一样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络中第1至第i特征提取层的网络参数;
266.上述的训练模块利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数,包括:利用图像检测模型的检测网络对第二子样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络中第i+1至第n特征提取层的网络参数。
267.其中,上述的训练模块利用第一样本检测图像对第一特征提取网络进行第一训练,或利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练,包括:以第一特征提取网络或经第二训练的第二特征提取网络为待训练特征提取网络,以第一样本检测图像或第二样本检测图像为第三训练图像;利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图;利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息;基于第二样本检测信息,调整待训练特征提取网络的网络参数。
268.其中,上述的目标对象为人体肋骨。
269.其中,图像检测装置60还包括调整模块。在确定模块62为目标医学图像确定至少一张待检测图像之后,调整模块用于统一至少一张待检测图像的空间分辨率;分别对每张待检测图像的像素进行归一化处理。
270.在上述的方案中,在从目标医学图像中获取待检测图像之后,通过利用图像检测模型对待检测图像进行检测,能够直接输出待检测图像中目标对象的骨骼类别信息和/或在目标医学图像的位置信息,提高了检测的效率和准确度,提高了图像检测模型对骨骼图像进行检测的能力。
271.参阅图7,图7是本技术图像检测模型的训练装置一实施例的框架示意图。图像检测模型的训练装置70包括获取模块71、确定模块72、检测调整模块73。获取模块71用于获取包含目标对象的样本医学图像;其中,目标对象包括若干骨骼。确定模块72用于为样本医学图像确定至少一张样本检测图像,其中,样本检测图像包含至少部分的样本医学图像,且标注有待检测图像中的骨骼的实际信息。检测调整模块73用于利用至少一张样本检测图像对图像检测模型进行训练;其中,在训练过程中,图像检测模型模用于输出样本骨骼检测信
息,样本骨骼检测信息包括样本检测图像中的骨骼的检测信息,骨骼的实际信息和检测信息均包括:类别信息和/或在目标医学图像的位置信息。
272.其中,上述的样本医学图像为三维图像,样本检测图像为二维图像。上述的确定模块72沿第一方向对样本医学图像第一目标层,得到第一目标层对应的第一样本检测图像;沿第二方向对样本医学图像取第二目标层,得到第二目标层对应的第二样本检测图像;其中,第一方向和第二方向相交。上述的检测调整模块73利用至少一张样本检测图像对图像检测模型进行训练,包括:利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,其中,样本骨骼检测信息为样本检测区域中的骨骼的检测信息,样本检测区域为第一目标层对应的第一待检测图像和第二目标层对应的第二待检测图像之间的相交区域。
273.其中,上述的图像检测模型包括用于对第一样本检测图像进行特征提取的第一特征提取网络、用于对第二样本检测图像进行特征提取的第二特征提取网络、用于基于第一特征提取网络和第二特征提取网络输出的特征图得到骨骼检测信息的融合网络。上述的检测调整模块73利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,包括:利用第一样本检测图像对第一特征提取网络进行第一训练;利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练。
274.其中,上述的检测调整模块73利用第一样本检测图像和第二样本检测图像对图像检测模型进行训练,还包括:利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练;利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练。
275.其中,上述的检测调整模块73利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练,或用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练,包括:利用其他特征提取网络对第一训练图像进行特征提取,得到第一样本特征图;利用目标特征提取网络对第二训练图像进行特征提取,得到第二样本特征图;
276.其中,上述的检测调整模块73利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数;以及利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数。
277.其中,在利用第二样本检测图像对第二特征提取网络和融合网络进行第二训练的步骤中:第二特征提取网络为目标特征提取网络,经第一训练的所第一特征提取网络为其他特征提取网络,第一样本检测图像为第一训练图像,第二样本检测图像为第二训练图像;或者,在利用第一样本检测图像对经第一训练的第一特征提取网络和经第二训练的融合网络进行第四训练的步骤中:经第一训练的第一特征提取网络为目标特征提取网络,经第三训练的第二特征提取网络为其他特征提取网络,第二样本检测图像为第一训练图像,第一样本检测图像为第二训练图像。
278.其中,上述的目标特征提取网络包括依序连接的n层特征提取层,第二样本特征图包括由目标特征提取网络的第i特征提取层输出的第一子样本特征图和由第n特征提取层输出的第二子样本特征图,i小于n。
279.其中,上述的检测调整模块73利用融合网络对第一样本特征图和第二样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络的网络参数,包括:利用融合网络对第二子样本特征图和第三样本特征图进行融合处理,得到样本骨骼检测信息,并基于样本骨骼检测信息,调整融合网络和目标特征提取网络中第i+1至第n特征提取层的网络参数。
280.其中,上述的检测调整模块73利用图像检测模型的检测网络对第二样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络的网络参数,包括:利用图像检测模型的检测网络对第一子样本特征图进行检测,得到第二训练图像中包含的骨骼的第一样本检测信息,并基于第一样本检测信息,调整目标特征提取网络中第1至第i特征提取层的网络参数。
281.其中,上述的检测调整模块73利用第一样本检测图像对第一特征提取网络进行第一训练,或利用第二样本检测图像对经第二训练的第二特征提取网络进行第三训练,包括:以第一特征提取网络或经第二训练的第二特征提取网络为待训练特征提取网络,以第一样本检测图像或第二样本检测图像为第三训练图像;利用待训练特征提取网络对第三训练图像进行特征提取,得到第三样本特征图;利用图像检测模型的检测网络对第三样本特征图进行检测,得到第三训练图像中包含骨骼的第二样本检测信息;基于第二样本检测信息,调整待训练特征提取网络的网络参数。
282.上述方案,实现对了对图像检测模型的分步训练,在保证训练效果的同时,还能减少系统显存的占用,降低了对训练设备的要求,促进了对图像检测模型的训练。
283.请参阅图8,图8是本技术电子设备一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一图像检测方法实施例的步骤,或实现上述任一图像检测模型的训练方法实施例中的步骤。在一个具体的实施场景中,电子设备80可以包括但不限于:微型计算机、服务器,此外,电子设备80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
284.具体而言,处理器82用于控制其自身以及存储器81以实现上述任一图像检测模型的训练方法实施例的步骤,或实现上述任一图像检测方法实施例中的步骤。处理器82还可以称为cpu(central processing unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
285.请参阅图9,图9为本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901,程序指令901用于实现上述任一图像检测方法实施例的步骤,或实现上述任一图像检测模型的训练方法实施例中的步骤。
286.上述方案,在从目标医学图像中获取待检测图像之后,通过利用图像检测模型对待检测图像进行检测,能够直接输出待检测图像中目标对象的骨骼类别信息和/或在目标医学图像的位置信息,提高了检测的效率和准确度,提高了图像检测模型对骨骼图像进行检测的能力。
287.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
288.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
289.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
290.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
291.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1