图像分割方法、装置、电子设备以及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像分割方法、装置、电子设备以及存储介质。


背景技术：

2.在现代医学技术领域中，自动化冠脉重建技术对医生有着重要的临床价值和实际意义，进行自动化冠脉重建首先需要解决该过程中的自动化冠脉分割问题。区别于传统的冠脉分割方法，由于神经网络的诸多优点，愈发倾向于采用神经网络来完成冠脉分割工作。
3.本发明实施例在基于神经网络进行冠脉分割的过程中，发现其分割结果中存在区域中断的现象，从而导致分割结果准确性较差。


技术实现要素：

4.本发明提供了一种图像分割方法、装置、电子设备以及存储介质，以解决基于现有分割方法得到的分割结果中存在区域中断的现象，从而导致分割结果准确性较差的问题，以实现提高分割结果的完整性，从而提高分割结果的准确性。
5.第一方面，本发明实施例提供了一种图像分割方法，该方法包括：
6.获取原始图像，基于预先训练完成的初始分割模型和骨架分割模型，分别得到所述原始图像的初始分割图像和骨架分割图像；
7.对所述初始分割图像和所述骨架分割图像进行融合处理，生成第一处理图像；
8.对所述初始分割图像和所述骨架分割图像进行做差处理，生成所述骨架分割图像中的骨架连通线段；
9.基于所述骨架连通线段扩展处理后的扩展连通区域以及所述第一处理图像，生成所述原始图像的目标分割图像。
10.可选的，所述对所述初始分割图像和所述骨架分割图像进行做差处理，生成所述骨架分割图像中的骨架连通线段，包括：
11.对所述初始分割图像和所述骨架分割图像进行做差处理，确定所述骨架分割图像中的至少一段候选骨架线段；
12.基于所述候选骨架线段的线段端点与所述第一处理图像的区域边界，确定所述候选区域中的至少一段骨架连通线段。
13.可选的，所述基于所述骨架连通线段扩展处理后的扩展连通区域以及所述第一处理图像，生成所述原始图像的目标分割图像，包括：
14.对于任一骨架连通线段，基于所述第一处理图像的区域边界确定当前骨架连通线段的至少一个扩展参数；
15.基于所述扩展参数对所述骨架连通线段进行扩展处理，得到所述骨架连通线段的扩展连通区域；
16.对所述第一处理图像以及所述扩展连通区域进行融合处理，生成所述原始图像的
目标分割图像。
17.可选的，所述扩展参数包括骨架连通线段的端点扩展参数以及中心扩展参数；对于任一骨架连通线段，所述端点扩展参数基于当前骨架连通线段的线段端点、以及与所述线段端点连通的各区域边界的边界形状所确定；
18.相应的，所述基于所述扩展参数对所述骨架连通线段进行扩展处理，得到所述骨架连通线段的扩展连通区域，包括：
19.对各所述端点扩展数据进行线性拟合处理，生成所述当前骨架连通线段的至少一个中心点扩展参数；
20.基于所述端点扩展参数、各所述中心扩展参数，生成所述骨架连通线段的扩展连通区域。
21.可选的，所述骨架分割模型的训练方法包括：
22.获取用于训练所述骨架分割模型的样本图像，以及所述样本图像中标注后的目标区域，并对所述目标区域进行骨架化处理，得到所述目标区域的骨架线段；
23.将所述样本图像输入至待训练的骨架分割模型中，得到所述骨架分割模型输出的样本预测结果；
24.基于所述目标区域、骨架线段以及所述样本预测结果对所述骨架分割模型进行迭代训练，得到骨架分割模型。
25.可选的，所述样本预测结果包括目标区域对应的区域预测结果以及所述骨架线段对应的骨架预测结果；
26.相应的，所述基于所述目标区域、骨架线段以及所述样本预测结果对所述骨架分割模型进行迭代训练，包括：
27.对于任一轮次迭代，基于所述骨架预测结果、所述目标区域以及所述骨架线段，确定所述骨架分割模型在当前迭代轮次的第一样本预测概率；
28.基于所述骨架线段、所述区域预测结果以及所述骨架预测结果，确定所述骨架分割模型在当前迭代轮次的第二样本预测概率；
29.基于所述第一样本预测概率以及所述第二样本预测概率生成所述骨架分割模型在当前轮次的模型损失函数，并基于所述模型损失函数调节所述骨架分割模型的模型参数。
30.可选的，所述对所述目标区域进行骨架化处理，得到所述目标区域的骨架线段，包括：
31.所述基于所述骨架预测结果、所述目标区域以及所述骨架线段，确定所述骨架分割模型在当前迭代轮次的第一样本预测概率，包括：
[0032][0033]
其中，recall表示所述第一样本预测概率；s
p
表示所述骨架预测结果；v
l
表示所述目标区域；s
l
表示所述骨架线段；
[0034]
相应的，所述基于所述骨架线段、所述区域预测结果以及所述骨架预测结果，确定所述骨架分割模型在当前迭代轮次的第二样本预测概率，包括：
[0035][0036]
其中，precision表示所述第二样本预测概率；s
l
表示所述骨架线段；v
p
表示所述区域预测结果；s
p
表示所述骨架预测结果；
[0037]
相应的，所述基于所述第一样本预测概率以及所述第二样本预测概率生成所述骨架分割模型在当前轮次的模型损失函数，包括：
[0038][0039]
其中，skeletondice loss表示所述模型损失函数；recall表示所述第一样本预测概率；precision表示所述第二样本预测概率。
[0040]
第二方面，本发明实施例还提供了一种图像分割装置，该装置包括：
[0041]
分割图像获取模块，用于获取原始图像，基于预先训练完成的初始分割模型和骨架分割模型，分别得到所述原始图像的初始分割图像和骨架分割图像；
[0042]
第一处理图像生成模块，用于对所述初始分割图像和所述骨架分割图像进行融合处理，生成第一处理图像；
[0043]
骨架连通线段获取模块，用于对所述初始分割图像和所述骨架分割图像进行做差处理，生成所述骨架分割图像中的骨架连通线段；
[0044]
目标分割图像生成模块，用于基于所述骨架连通线段扩展处理后的扩展连通区域以及所述第一处理图像，生成所述原始图像的目标分割图像。
[0045]
第三方面，本发明实施例还提供了一种电子设备，包括：
[0046]
至少一个处理器；以及
[0047]
与所述至少一个处理器通信连接的存储器；其中，
[0048]
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的图像分割方法。
[0049]
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的图像分割方法。
[0050]
本发明实施例的技术方案，通过初始分割模型得到初始分割图像，获取原始图像的分支细节信息，同时基于骨架分割模型得到骨架分割图像，获取到原始图像中各分支连通的拓扑信息，进而基于初始分割图像和骨架分割图像进行融合处理，使生成的目标分割结果既包含分支细节信息也包含分支连通信息，即更接近于原始图像，从而实现了提升分割结果的准确性。
[0051]
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0052]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0053]
图1是本发明实施例一提供的一种图像分割方法的流程图；
[0054]
图2是本发明实施例一所涉及的生成第一处理图像的原理图；
[0055]
图3是本发明实施例一所涉及的生成骨架连通线段的原理图；
[0056]
图4是本发明实施例一所涉及的生成目标分割图像的原理图；
[0057]
图5是本发明实施例二提供的一种图像分割方法的流程图；
[0058]
图6是本发明实施例三提供的一种图像分割装置的结构示意图；
[0059]
图7是实现本发明实施例的图像分割方法的电子设备的结构示意图。
具体实施方式
[0060]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0061]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0062]
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0063]
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0064]
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0065]
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0066]
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
[0067]
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
[0068]
实施例一
[0069]
图1为本发明实施例一提供了一种图像分割方法的流程图，本实施例可适用于对
图像进行分割的情况，该方法可以由图像分割装置来执行，该图像分割装置可以采用硬件和/或软件的形式实现，该图像分割装置可配置于智能终端以及云端服务器中。
[0070]
在一些其他实施例中，在对包含有诸多分支的图像进行分割的过程中，基于现有技术的分割方法进行分割处理时，能得到各分支的分割结果，但是个分支之间容易出现中断现象，导致分割结果不准确。为了解决上述技术问题，本实施例提出了一种图像分割算法，具体基于初始分割模型得到初始分割图像，获取原始图像的分支细节信息，同时基于骨架分割模型得到骨架分割图像，获取到原始图像中各分支连通的拓扑信息，进而基于初始分割图像和骨架分割图像进行融合处理，使生成的目标分割结果既包含分支细节信息也包含分支连通信息，即是目标分割图像更接近于真实的原始图像，从而实现了提升分割结果的准确性。
[0071]
如图1所示，该方法包括：
[0072]
s110、获取原始图像，基于预先训练完成的初始分割模型和骨架分割模型，分别得到原始图像的初始分割图像和骨架分割图像。
[0073]
在本发明实施例中，原始图像可以理解为包含有诸多分支的图像，例如包含有冠脉血管的图像。可选的，还可以是其他具有分支的图像，例如花枝图像等，本实施例对与图像内容不作限定。
[0074]
具体的，若原始图像为包含冠脉血管的图像，则获取方式可以包括基于医学影像设备对目标对象进行扫描从而获得原始图像，也可以是读取本地数据库或者云端服务器的数据库中的图像数据从而获得原始图像；可选的，若原始图像为包含花枝的图像，则获取方式可以包括基于拍摄装置进行拍摄从而获得原始图像，还可以基于预设扫描设备进行扫描从而获得原始图像；本实施例中基于原始图像的类型不同可以采用不同的获取方式，本实施例对此不做限定。
[0075]
可选的，可选的，在获取到原始图像的情况下，对原始图像进行图像分割处理。具体的，可采用预先训练的分割模型对原始图像进行处理，得到对应的分割图像。可选的，基于预先训练完成的初始分割模型得到原始图像的初始分割图像的方法包括：将原始图像输入至初始分割模型，得到初始分割模型输出的初始分割图像；可选的，基于预先训练完成的骨架分割模型得到原始图像的骨架分割图像包括：将原始图像输入至骨架分割模型，得到骨架分割模型输出的骨架分割图像。
[0076]
需要说明的是，本实施例中对于获取初始分割图像和骨架分割图像的顺序不做限定，可以同时获取得到，也可以顺序获取得到，本实施例对此不做限定。
[0077]
s120、对初始分割图像和骨架分割图像进行融合处理，生成第一处理图像。
[0078]
在本发明实施例中，第一处理图像可以理解为初始分割图像和骨架分割图像的融合图像。融合处理可以理解为对初始分割图像和骨架分割图像进行取并集处理。具体的参见图2，pn代表初始分割图像，ps代表骨架分割图像；将pn和ps进行合并处理，并进行最大连通处理得到融合结果pc，即第一处理图像。可选的，第一处理图像通过合并处理，使得到的分割图像既包含原始图像的分支细节信息还包含原始图像的分支连通信息。
[0079]
s130、对初始分割图像和骨架分割图像进行做差处理，生成骨架分割图像中的骨架连通线段。
[0080]
在本发明实施例中，做差处理可以理解确定两图像之间的不同区域。
[0081]
可选的，基于做差处理生成骨架分割图像中的骨架连通线段的方法可以包括：对初始分割图像和骨架分割图像进行做差处理，确定骨架分割图像中的至少一段候选骨架线段；基于候选骨架线段的线段端点与第一处理图像的区域边界，确定候选区域中的至少一段骨架连通线段。
[0082]
具体的，将骨架分割图像与初始分割图像进行覆盖比对，确定骨架分割图像中没有被初始分割图像覆盖的骨架线段，并将上述没有被覆盖的骨架线段确定为候选骨架线段。
[0083]
可选的，对于上述候选骨架线段中的任一骨架线段，确定该骨架线段的两端点是否与初始分割图像中的中断点连接。可选的，若仅有一端连接或者两端均未连接，则将该骨架线段去除，避免引入错误的候选线段，从而造成分割结果不准确的问题；反之，若两端均连接，则确定该骨架线段为骨架分割图像中的骨架连通线段。具体的参考图3，图中ps代表骨架分割图像，pn代表初始分割图像，基于ps与pn的差集(属于ps且不属于pn的像素点的集合)得到候选骨架线段lc；并对候选骨架线段进行筛选，得到骨架连通线段ls。
[0084]
s140、基于骨架连通线段扩展处理后的扩展连通区域以及第一处理图像，生成原始图像的目标分割图像。
[0085]
在本发明实施例中，在获取到骨架分割图像的骨架连通线段的情况下，基于第一处理图像对骨架连通线段进行扩展处理，生成扩展连通区域，进而对第一处理图像以及扩展连通区域进行融合处理，生成原始图像的目标分割图像。
[0086]
可选的，对于任一骨架连通线段，对骨架连通线段进行扩展处理，生成扩展连通区域的方法可以包括：基于第一处理图像确定当前骨架连通线段的至少一个扩展参数；基于扩展参数对骨架连通线段进行扩展处理，得到骨架连通线段的扩展连通区域。
[0087]
需要说明的是，扩展参数可以理解为冠脉管腔的骨架需要扩展的直径参数。扩展参数包括骨架连通线段的端点扩展参数以及中心扩展参数；对于任一骨架连通线段，端点扩展参数基于当前骨架连通线段的线段端点、以及与线段端点连通的各区域边界的边界形状所确定；换言之，端点扩展参数可以是基于第一处理图像中分割图像的管腔中断点的断电管腔直径所确定；相应的，基于扩展参数对骨架连通线段进行扩展处理，得到骨架连通线段的扩展连通区域，包括：对各端点扩展数据进行线性拟合处理，生成当前骨架连通线段的至少一个中心点扩展参数；基于端点扩展参数、各中心扩展参数，生成骨架连通线段的扩展连通区域。
[0088]
具体的，在确定当前骨架连通线段的两线段端点的端点扩展参数的基础上，基于采用两个端点扩展参数对当前骨架连通线段的中间点的扩展参数进行拟合，以确定当前骨架连通线段的至少一个中心点扩展参数；进而将端点扩展参数、各中心扩展参数作为扩展目标对当前骨架连通线段进行扩展处理，得到当前骨架连通线段的扩展连通区域。可选的，基于上述实施方式遍历完成所有的骨架连通线段，得到各扩展连通区域。
[0089]
可选的，本实施例中对于扩展处理的方式可以包括但不限于局部扩展、全局扩展以及渐变扩展等扩展方式。具体的，对于局部扩展可以理解为对管腔狭窄处扩展至正常大小，其余管腔正常处保持不变；对于全局扩展可以理解为：对整个冠脉管腔全部进行统一尺度大小的扩展，保证狭窄处管腔直径至正常大小；对于渐变扩展可以理解为：对冠脉管腔进行扩展至预设大小，例如：近端到远端管腔形状逐渐变小。当然，上述介绍的扩展方式只是
作为可选扩展方式，本实施例还可以采用其他扩展方式，本实施例再此不进行一一举例。
[0090]
当然，还可以基于形态学其他的扩展方法即膨胀方法对骨架连通线段进行扩展处理，以得到本实施例中的扩展连通区域，本实施例对此不做限定。
[0091]
可选的，早得到骨架连通线段的扩展连通区域的情况下，对扩展连通区域以及第一处理图像进行融合处理，生成原始图像的目标分割图像。具体的参见图4，pc代表第一处理图像，rc代表扩展连通区域，将pc和rc进行拼接，得到原始图像对应的目标分割图像p。
[0092]
本实施例中由于原始图像的多样性，可能存在因动脉粥样硬化等原因导致冠脉管腔狭窄的现象，即原始图像中的冠脉管腔粗细不一致，进而在基于初始分割模型得到初始分割图像的过程中，会出现分割结果分支中断的问题。基于上述技术问题，本实施例通过标注原始图像中的冠脉管腔骨架线段，并基于骨架线段训练骨架分割模型，分割原始图像中管腔粗细一致的骨架线段，从而解决分割结果分支中断的问题，得到分割完整，个分支连通的骨架分割图像。需要说明的是，得到的骨架分割图像虽然分支连通性较好，但是其管腔直径小(即管腔不饱满)，因此需要基于初始分割图像对骨架分割图像中的骨架连通线段进行扩展处理，以及对扩展后的图像进行融合处理，使得到的目标分割图像准确性更高，质量更好。
[0093]
实施例二
[0094]
图5为本发明实施例二提供的一种图像分割方法的流程图，本实施例在上述实施例的基础上，可选的，在基于预先训练完成的初始分割模型和骨架分割模型，分别得到原始图像的初始分割图像和骨架分割图像之前，预先对初始分割模型和骨架分割模型进行训练。
[0095]
如图5所示，该方法包括：
[0096]
s210、预先训练初始分割模型和骨架分割模型。
[0097]
本实施例的技术方案在将原始图像输入至初始分割模型之前，预先对初始分割模型进行模型训练，以通过训练完成的分割模型对原始图像进行图像分割，保证初始分割图像的分割结果准确性。若初始分割模型为血管分割模型，相应的对于初始分割模型的训练过程可以包括：获取用于模型训练的冠脉血管图像，并对冠脉血管图像进行人工标注；将标注后的冠脉血管图像输入至预先确定的深度神经网络中，得到分割预测结果；将各冠脉血管图像的分割预测结果和人工标注进行比较，基于比较结果生成模型的损失函数，并基于损失函数更新深度神经网络的网络结构参数，使其朝着减少预测误差的方向演化；进一步的，将大量的冠脉血管图像作为训练样本，成千上万次的重复上述迭代过程，最终在分割预测结果和人工标注的比较结果达到预设阈值时，停止训练得到训练完成的初始分割模型。
[0098]
本实施例中，基于初始分割模型得到的初始分割图像可以得到分支细节丰富的分割结果，需要说明的是，由于原始图像的多样性，部分样本可能存在因动脉粥样硬化等原因导致冠脉管腔狭窄的现象，即管腔粗细不一致的样本图像会导致初始分割模型的学习能力降低，从而对于管腔粗细不一致的原始图像进行图像分割的过程中会出现原始图像的分割结果分支中断的问题。基于上述技术问题，本实施例通过标注原始图像中的冠脉管腔骨架线段，并基于骨架线段训练骨架分割模型，分割原始图像中管腔粗细一致的骨架线段，从而解决原始图像进行图像分割的过程中会出现原始图像的分割结果分支中断的问题。
[0099]
可选的，本实施例中对于骨架分割模型的训练过程包括：获取用于训练骨架分割
模型的样本图像，以及样本图像中标注后的目标区域，并对目标区域进行骨架化处理，得到目标区域的骨架线段；将样本图像输入至待训练的骨架分割模型中，得到骨架分割模型输出的样本预测结果；基于目标区域、骨架线段以及样本预测结果对骨架分割模型进行迭代训练，得到骨架分割模型。
[0100]
具体的，获取用于对骨架分割模型进行训练的样本图像，该样本图像可以包括冠脉管腔正常的样本图像以及冠脉管腔狭窄的样本图像；对样本图像中的冠脉管腔进行标注，将标注后的冠脉管腔作为样本图像中的目标区域。在此基础上，对目标区域即样本图像中的冠脉管腔进行骨架化处理，以得到处理后的骨架线段，并基于得到的目标区域以及骨架线段进行扩展分割模型的训练。可选的，对目标区域进行骨架化处理，得到目标区域的骨架线段的方法可以包括：确定目标区域的拓扑结构，基于拓扑结构确定目标区域的骨架线段。具体的对于冠脉血管，在保持冠脉血管的二值图像前景区域连通性不变的前提下，尽可能减少中心边缘的前景像素，最终得到冠脉血管的拓扑结构，即得到冠脉血管的骨架线段。
[0101]
需要说明的是，本实施例采用骨架化处理后的骨架线段进行训练的效果在于可以基于相同粗细的样本图像输入至模型中进行学习，增强对于管腔狭窄处的连通性学习，从而提升骨架分割模型的对于图像分割的学习能力。
[0102]
可选的，对于将样本图像输入至待训练的骨架分割模型中，得到骨架分割模型输出的样本预测结果。其中，样本预测结果包括目标区域对应的区域预测结果以及骨架线段对应的骨架预测结果；相应的，基于目标区域、骨架线段以及样本预测结果对骨架分割模型进行迭代训练，包括：对于任一轮次迭代，基于骨架预测结果、目标区域以及骨架线段，确定骨架分割模型在当前迭代轮次的第一样本预测概率；基于骨架线段、区域预测结果以及骨架预测结果，确定骨架分割模型在当前迭代轮次的第二样本预测概率；基于第一样本预测概率以及第二样本预测概率生成骨架分割模型在当前轮次的模型损失函数，并基于模型损失函数调节骨架分割模型的模型参数。
[0103]
需要说明的是，第一样本预测概率可以理解为骨架分割模型的拓扑查全率，其用于表述金标准的中心线被分割的中心线正确预测的概率，即侧重评估冠脉金标准中心线被分割到的完整度。本实施例中，第一样本预测值越大越好。可选的，对于确定第一样本预测值的方法可以采用如下表达式进行确定，示例性的，表达式可以包括：
[0104][0105]
其中，recall表示第一样本预测概率；s
p
表示骨架预测结果；v
l
表示目标区域；s
l
表示骨架线段。
[0106]
需要说明的是，第二样本预测概率可以理解为骨架分割模型的拓扑查准率，其用于表述反映预测的分割中心线的结果中，被正确预测的概率；即侧重评估预测的分割中心线本身的准确率。本实施例中，第二样本预测值越大越好。可选的，对于确定第二样本预测值的方法可以采用如下表达式进行确定，示例性的，表达式可以包括：
[0107][0108]
其中，precision表示第二样本预测概率；s
l
表示骨架线段；v
p
表示区域预测结果；sp
表示骨架预测结果。
[0109]
可选的，在确定第一样本预测概率以及第二样本预测概率的情况下，基于第一样本预测概率以及第二样本预测概率生成骨架分割模型在当前轮次的模型损失函数。可选的，可以采用如下表达式进行确定骨架分割模型的模型损失函数，示例性的，表达式可以包括：
[0110][0111]
其中，skeletondice loss表示模型损失函数；recall表示第一样本预测概率；precision表示第二样本预测概率。
[0112]
进一步的，将大量的冠脉血管图像作为训练样本，成千上万次的重复上述迭代过程，最终在分割预测结果和人工标注的比较结果达到预设阈值时，停止训练得到训练完成的骨架分割模型。
[0113]
相比较常用的dice损失函数，其仅在像素层面进行计算，不考虑像素之间的连通性，对中断现象的计算不敏感，从而导致基于dice损失训练得到的分割模型，在对图像进行分割时得到的分割结果不准确。而本实施例中采用上述方式训练骨架分割模型的有益效果在于：基于骨架化后各分支的连通像素生成模型损失，并基于模型损失进行训练，提高了模型对于连通性的学习，从而使训练完成的骨架分割模型，在对图像进行分割时得到的分割结果具备更好的连通性，从而提高分割结果的准确性。
[0114]
s220、获取原始图像，基于预先训练完成的初始分割模型和骨架分割模型，分别得到原始图像的初始分割图像和骨架分割图像。
[0115]
s230、对初始分割图像和骨架分割图像进行融合处理，生成第一处理图像。
[0116]
s240、对初始分割图像和骨架分割图像进行做差处理，生成骨架分割图像中的骨架连通线段。
[0117]
s250、基于骨架连通线段扩展处理后的扩展连通区域以及第一处理图像，生成原始图像的目标分割图像。
[0118]
本发明实施例中，通过基于样本的查全率以及查准率确定骨架分割模型训练的损失函数，提高骨架分割模型学习的能力，进而提高训练完成的骨架分割模型在分割处理过程中的分割准确性。可选的，基于初始分割模型得到初始分割图像，获取原始图像的分支细节信息，同时基于骨架分割模型得到骨架分割图像，获取到原始图像中各分支连通的拓扑信息，进而基于初始分割图像和骨架分割图像进行融合处理，使生成的目标分割结果既包含分支细节信息也包含分支连通信息，即更接近于原始图像，从而实现了提升分割结果的准确性。
[0119]
实施例三
[0120]
图6为本发明实施例三提供的一种图像分割装置的结构示意图。如图6所示，该装置包括：分割图像获取模块310、第一处理图像生成模块320、骨架连通线段获取模块330以及目标分割图像生成模块340；其中，
[0121]
分割图像获取模块310，用于获取原始图像，基于预先训练完成的初始分割模型和骨架分割模型，分别得到所述原始图像的初始分割图像和骨架分割图像；
[0122]
第一处理图像生成模块320，用于对所述初始分割图像和所述骨架分割图像进行
融合处理，生成第一处理图像；
[0123]
骨架连通线段获取模块330，用于对所述初始分割图像和所述骨架分割图像进行做差处理，生成所述骨架分割图像中的骨架连通线段；
[0124]
目标分割图像生成模块340，用于基于所述骨架连通线段扩展处理后的扩展连通区域以及所述第一处理图像，生成所述原始图像的目标分割图像。
[0125]
在上述实施方式的基础上，可选的，骨架连通线段获取模块330，包括：
[0126]
候选骨架线段生成子模块，用于对所述初始分割图像和所述骨架分割图像进行做差处理，确定所述骨架分割图像中的至少一段候选骨架线段；
[0127]
骨架连通线段生成子模块，用于基于所述候选骨架线段的线段端点与所述第一处理图像的区域边界，确定所述候选区域中的至少一段骨架连通线段。
[0128]
在上述实施方式的基础上，可选的，目标分割图像生成模块340，包括：
[0129]
扩展参数确定子模块，用于对于任一骨架连通线段，基于所述第一处理图像确定当前骨架连通线段的至少一个扩展参数；
[0130]
扩展连通区域生成子模块，用于基于所述扩展参数对所述骨架连通线段进行扩展处理，得到所述骨架连通线段的扩展连通区域；
[0131]
目标分割图像生成子模块，用于对所述第一处理图像以及所述扩展连通区域进行融合处理，生成所述原始图像的目标分割图像。
[0132]
在上述实施方式的基础上，可选的，所述扩展参数包括骨架连通线段的端点扩展参数以及中心扩展参数；对于任一骨架连通线段，所述端点扩展参数基于当前骨架连通线段的线段端点、以及与线段端点连通的各区域边界的边界形状所确定；
[0133]
相应的，扩展连通区域生成子模块，包括：
[0134]
中心扩展参数确定单元，用于对各所述端点扩展数据进行线性拟合处理，生成所述当前骨架连通线段的至少一个中心点扩展参数；
[0135]
扩展连通区域生成单元，用于基于所述端点扩展参数、各所述中心扩展参数，生成所述骨架连通线段的扩展连通区域。
[0136]
在上述实施方式的基础上，可选的，该装置还包括：模型训练模块，所述模型训练模块，用于对所述骨架分割模型进行训练；
[0137]
可选的，所述模型训练模块，包括：
[0138]
区域和线段获取子模块，用于获取用于训练所述骨架分割模型的样本图像，以及所述样本图像中标注后的目标区域，并对所述目标区域进行骨架化处理，得到所述目标区域的骨架线段；
[0139]
样本预测结果获得子模块，用于将所述样本图像输入至待训练的骨架分割模型中，得到所述骨架分割模型输出的样本预测结果；
[0140]
骨架分割模型训练子模块，用于基于所述目标区域、骨架线段以及所述样本预测结果对所述骨架分割模型进行迭代训练，得到骨架分割模型。
[0141]
在上述实施方式的基础上，可选的，所述样本预测结果包括目标区域对应的区域预测结果以及所述骨架线段对应的骨架预测结果；
[0142]
相应的，所述骨架分割模型训练子模块，包括：
[0143]
第一样本预测概率确定单元，用于对于任一轮次迭代，基于所述骨架预测结果、所
述目标区域以及所述骨架线段，确定所述骨架分割模型在当前迭代轮次的第一样本预测概率；
[0144]
第二样本预测概率确定单元，用于基于所述骨架线段、所述区域预测结果以及所述骨架预测结果，确定所述骨架分割模型在当前迭代轮次的第二样本预测概率；
[0145]
骨架分割模型训练单元，用于基于所述第一样本预测概率以及所述第二样本预测概率生成所述骨架分割模型在当前轮次的模型损失函数，并基于所述模型损失函数调节所述骨架分割模型的模型参数。
[0146]
在上述实施方式的基础上，可选的，第一样本预测概率确定单元，包括：
[0147]
第一样本预测概率确定子单元，用于基于下述表达式确定所述第一样本预测概率；其中，所述表达式包括：
[0148][0149]
其中，recall表示所述第一样本预测概率；s
p
表示所述骨架预测结果；v
l
表示所述目标区域；s
l
表示所述骨架线段；
[0150]
相应的，第二样本预测概率确定单元，包括：
[0151]
第二样本预测概率确定子单元，用于基于下述表达式确定所述第二样本预测概率；其中，所述表达式包括：
[0152][0153]
其中，precision表示所述第二样本预测概率；s
l
表示所述骨架线段；v
p
表示所述区域预测结果；s
p
表示所述骨架预测结果；
[0154]
相应的，模型损失函数确定单元，包括：
[0155]
模型损失函数确定子单元，用于基于下述表达式确定所述模型损失函数；其中，所述表达式包括：
[0156][0157]
其中，skeletondice loss表示所述模型损失函数；recall表示所述第一样本预测概率；precision表示所述第二样本预测概率。
[0158]
本发明实施例所提供的图像分割装置可执行本发明任意实施例所提供的图像分割方法，具备执行方法相应的功能模块和有益效果。
[0159]
实施例四
[0160]
图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0161]
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连
接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0162]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0163]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如图像分割方法。
[0164]
在一些实施例中，图像分割方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的图像分割方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分割方法。
[0165]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0166]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0167]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只
读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0168]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0169]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0170]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0171]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0172]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。