一种图像分割方法、装置、存储介质和电子设备与流程

本申请涉及计算机技术领域，具体涉及一种图像分割方法、装置、存储介质和电子设备。

背景技术：

基于人工智能的图像分割就是把图像分成若干个特定的、具有独特性质的区域，并提取出感兴趣目标的技术。图像分割是图像识别和计算机视觉等领域至关重要的预处理步骤，没有正确的分割就不可能有正确的识别。现今人工神经网络识别技术引起了广泛关注，但是目前利用神经网络进行图像分割时，没有有效地利用图像中与分割图像相关的信息，导致图像分割的准确度不高。

技术实现要素：

本申请实施例提供一种图像分割方法、装置、存储介质和电子设备，该方案可以提升图像分割的准确性。

本申请实施例提供一种图像分割方法，包括：

获取待分割图像、以及所述待分割图像对应的超像素图像；

分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；

将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息；

基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；

基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息；

基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。

相应的，本申请实施例还提供一种图像分割装置，包括：

获取模块，用于获取待分割图像、以及所述待分割图像对应的超像素图像；

第一编码模块，用于分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；

融合模块，用于将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息；

第二编码模块，用于基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；

解码模块，用于基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息；

分割模块，用于基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。

可选的，在一些实施例中，所述第二编码模块可以包括第一编码子模块、融合子模块和第二编码子模块，如下：

第一编码子模块，用于分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；

融合子模块，用于将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；

第二编码子模块，用于当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。

则此时，所述第二编码模块，还可以用于当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息，返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。

则此时，所述第一编码子模块，具体可以用于对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息，基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息，对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息，对所述低层边界特征信息进行编码操作，得到中层边界特征信息。

则此时，所述融合模块，具体可以用于对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息，融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息，融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息。

则此时，所述解码模块，具体可以用于确定所述高层图像特征信息对应的编码图像特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息，对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息，将所述解码后图像特征信息更新为高层图像特征信息，返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。

则此时，所述分割模块，具体可以用于对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像，基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果，根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。

则此时，所述获取模块，具体可以用于获取初始待分割图像，基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像，获取每个待分割图像对应的超像素图像。

则此时，所述第一编码模块，具体可以用于基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息，所述基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息的步骤包括，基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。

可选的，在一些实施例中，所述图像分割装置还可以包括样本获取模块、预测模块和训练模块，如下：

样本获取模块，用于获取样本图像、以及所述样本图像对应的样本超像素图像；

预测模块，用于基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；

训练模块，用于基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。

此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像分割方法中的步骤。

此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像分割方法中的步骤。

本申请实施例可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案可以提升图像分割的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像分割系统的场景示意图；

图2是本申请实施例提供的图像分割方法的第一流程图；

图3是本申请实施例提供的图像分割方法的第二流程图；

图4是本申请实施例提供的图像分割模型的结构示意图；

图5是本申请实施例提供的注意力机制示意图；

图6是本申请实施例提供的超像素图像示意图；

图7是本申请实施例提供的确定待分割图像区域示意图；

图8是本申请实施例提供的处理流程图；

图9是本申请实施例提供的图像分割装置的结构示意图；

图10是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供一种图像分割方法、装置、存储介质和电子设备。具体地，本申请实施例的图像分割方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备，该终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机（pc，personalcomputer）等设备。其中，终端可以包括客户端，该客户端可以是视频客户端或浏览器客户端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据人工智能平台等基础云计算服务的云服务器。

例如，参见图1，以该图像分割方法由电子设备执行为例，该电子设备可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。

本申请实施例提供的图像分割方法涉及人工智能领域中的机器学习方向。本申请实施例可以将需要进行图像分割的待分割图像、以及根据该待分割图像生成的超像素图像输入到图像分割模型中，就可以利用该图像分割模型对该待分割图像进行图像分割。

其中，人工智能（artificialintelligence，ai）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。

其中，机器学习（machinelearning，ml）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例提供了一种图像分割方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以图像分割方法由服务器执行为例来进行说明，如图2所示，该图像分割方法的具体流程可以如下：

s201、获取待分割图像、以及待分割图像对应的超像素图像。

其中，超像素图像为基于超像素生成算法生成的图像，超像素图像中包括一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。一个小区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，如颜色、亮度、纹理等等，而邻接区域在某种特性的度量下有很大不同。比如，如图6所示，就是心脏磁共振图像对应的超像素图像，超像素的边界可以为定位和表征左心房提供丰富的语义信息。图6中包括多个线条a，这些线条表示超像素的边界，而图6中的b区域表示基于超像素图像分割出的左心房的位置。

在实际应用中，比如，由于人体器官的解剖学一致性，医学图像具有相似的局部几何（如拓扑和边界）和形状，那么可以通过在运用神经网络进行图像分割的过程中，将能够为定位和表征目标对象提供丰富语义信息的超像素图像考虑进去，从而有效地利用图像中固有的外观模式。如图4所示，可以获取待分割图像、以及待分割图像对应的超像素图像，其中，该待分割图像可以为医学图像，医学图像也可称为医学影像，是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。

在一实施例中，比如，可以利用医学影像设备获取待分割图像，该待分割图像可以为ct（电子计算机断层扫描，computedtomography）图像或者mr（磁共振检查，magneticresonance）图像。并且对待分割图像使用slic算法，得到该待分割图像对应的初始超像素图像，再对该初始超像素图像取边界即可得到需要的超像素图像。其中，slic算法是一种生成超像素的方法，它使用k-均值聚类产生超像素。对ct图像或者mr图像使用slic算法就可以得到初始超像素图像，再对该初始超像素图像取边界即可得到需要的超像素图像。利用slic算法能够生成紧凑、近似均匀的超像素，使得邻域特征容易表达。在运算速度、物体轮廓保持等方面都较理想，符合期望的分割效果。

在一实施例中，由于利用医学影像设备获取到的图像的尺寸与图像分割模型在训练过程中适应的尺寸未必相同，因此可以通过滑窗的方式，从初始获取到的图像中确定出多个模型适应尺寸的待分割图像。具体地，步骤“获取待分割图像、以及所述待分割图像对应的超像素图像”，可以包括：

获取初始待分割图像；

基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像；

获取每个待分割图像对应的超像素图像。

在实际应用中，比如，在测试阶段，可以利用医学影像设备获取初始待分割图像，并利用预设尺寸的滑窗在初始待分割图像上的滑动操作，对初始待分割图像进行分割，如图7所示，图7中701部分的矩形框就是预设尺寸的滑窗，每个矩形框中都框出一个待分割图像，因此将初始待分割图像划分为与训练阶段尺寸相同的待分割图像，其中，相邻待分割图像之间有重叠部分702，且所有的待分割图像可以包括完整初始待分割图像中的信息，这样不仅能够保证图像输入图像分割模型后预测结果的准确性，还能够保证最终获取到结果的完整性。同时还需获取每个待分割图像对应的超像素图像。

s202、分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息。

其中，图像分割模型是可以直接输出图像分割结果的网络模型，比如，本申请实施例中的图像分割模型可以为以3du-net为基础进行相应改进后的网络模型，本申请实施例中的图像分割模型在3du-net的编码部分添加了一个自下而上的分支，并将残差跳跃连接合并到3du-net中的每个卷积块。如图4所示，可以将u-net中自下而上的路径称为编码器，将u-net中自上而下的路径称为图像解码器，其中，由于包括两个自下而上的路径，因此该图像分割模型的编码器中可以包括图像编码器和边界编码器。

在一实施例中，如图4所示，由于图像分割模型的编码器中包括图像编码器和边界编码器，而图像编码器中包括多个特征通道数依次递增的图像编码单元，边界编码器中包括多个特征通道数依次递增的边界编码单元，因此可以分别利用图像编码单元和边界编码单元对待分割图像和超像素图像进行编码。

其中，在神经网络的卷积操作中，感受野是神经网络每一层输出特征图上的像素点在输入图像上映射的区域大小，也就是说感受野是神经网络中某一层输出结果上的元素点在输入图像上映射的大小。一般的，第一层卷积层的输出特征的感受野大小等于卷积核的大小，而高层卷积层的感受野大小则与它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受野，可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的。

比如，如图4所示，在图像编码器中，由于图像编码单元a1是图像编码器中的第一个图像编码单元，因此，基于图像编码单元a1输出的特征可以称为低层图像特征信息，由于基于图像编码单元a2、a3、以及a4输出的特征经过的卷积操作次数更多，因此可以称为中层图像特征信息，而基于图像编码单元a5输出的特征经过的卷积操作次数最多，因此可以称为高层图像特征信息。其中，低层图像特征信息分辨率更高，包含更多位置、细节信息，但是由于其经历的卷积操作次数少，因此语义性低，噪声多。而高层图像特征信息具有更强的语义信息，但是其分辨率很低，并且对细节的感知能力较差。

又比如，如图4所示，在边界编码器中，由于边界编码单元b1是边界编码器中的第一个边界编码单元，因此，基于边界编码单元b1输出的特征可以称为低层边界特征信息，由于基于边界编码单元b2、b3、以及b4输出的特征经过的卷积操作次数更多，因此可以称为中层边界特征信息。

在实际应用中，比如，如图4所示，可以将待分割图像和超像素图像都输入至图像分割模型的编码器中，并利用图像编码器中的图像编码单元a1对待分割图像进行编码，得到待分割图像的低层图像特征信息，利用边界编码器中的边界编码单元b1对超像素图像进行编码，得到超像素图像的低层边界特征信息。由于超像素图像中包含进行图像分割的有效信息，并且一般不会破坏图像中物体的边界信息，因此，图像分割模型通过学习超像素图像提供的外观先验知识，有助于对图像中的器官进行精确分割。

在一实施例中，在对图像进行编码操作的过程中，可以利用残差连接的方式，将多个卷积层级联的输出与输入相加，使得网络结构相对简单、训练参数少、训练时间短。还可以利用下采样操作，使得输出的特征信息满足后续步骤所需的尺寸。具体地，步骤“分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息”，可以包括：

对所述待分割图像进行卷积操作，得到卷积后待分割特征信息；

基于残差连接，融合所述卷积后待分割特征信息、以及所述待分割图像，得到提取后待分割特征信息；

对所述提取后待分割特征信息进行特征采样，得到所述待分割图像的低层图像特征信息；

对所述超像素图像进行编码操作，得到所述超像素图像的低层边界特征信息。

在实际应用中，比如，进行编码操作的每个图像编码单元中都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化（groupnormalization）和relu激活函数，同时每个图像编码单元中都使用了残差跳跃连接。因此，可以利用图像编码单元中的卷积层对待分割图像进行卷积处理，得到卷积后待分割特征信息，并且基于残差连接，融合卷积后待分割特征信息、以及待分割图像，得到提取后待分割特征信息。

其中，残差连接通过将多个卷积层级联的输出与输入相加的方式对图像特征进行提取，使得网络结构相对简单、训练参数少、训练时间短。因此，在本申请实施例中，可以在每个图像编码单元的卷积层之间设置残差跳跃连接，将特征传递到图像编码单元的更深层，使得不同尺度的特征进行融合，从而丰富了特征，提升了准确性。并且在网络训练的过程中，运用残差跳跃连接还有助于解决梯度消失和梯度爆炸的问题，使得训练网络的同时，还可以保证良好的性能。

为了使得输出的特征信息满足后续步骤所需的尺寸，图像编码单元中还可以包括下采样层，因此还可以利用下采样层对提取后待分割特征信息进行下采样，得到待分割图像的低层图像特征信息，下采样操作可以对输出的特征进行降维，使其满足将要输入的编码单元的特征尺寸，同时减少参数量、降低运算量、增加感受野的大小，并且可以增加对输入特征的一些小扰动的鲁棒性，如图像平移、旋转等，还可以避免网络模型训练过程中的过拟合风险。

对待分割图像进行编码操作的图像编码单元、与对超像素图像进行编码操作的边界编码单元的结构可以相同，相应的编码步骤也相同。也即可以利用边界编码单元中的卷积层对超像素图像进行卷积处理，得到卷积后超像素特征信息，并且基于残差连接，融合卷积后超像素特征信息、以及超像素图像，得到提取后超像素特征信息，利用下采样层对提取后超像素特征信息进行下采样，得到超像素图像的低层边界特征信息。

在一实施例中，可以利用人工智能的图像分割模型进行图像的编码操作，一方面能够提升图像分割的准确性，还可以提升图像分割的效率。具体地，步骤“分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息”，可以包括：

基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息。

其中，如图4所示，图像编码器中包括五个图像编码单元和四个下采样层，下采样层没有标记在图4中。其中，五个图像编码单元按照一定的顺序进行排列，并且图像编码单元的特征通道数依次递增，第一个图像编码单元a1的特征通道数是16；第二个图像编码单元a2的特征通道数是32；第三个图像编码单元a3的特征通道数是64；第四个图像编码单元a4的特征通道数是128；第五个图像编码单元a5的特征通道数是256。

其中，如图4所示，边界编码器的结构与图像编码器类似，只是删除了最后一层的编码单元和下采样层。边界编码器中包括四个边界编码单元和三个下采样操作，其中，四个边界编码单元按照一定的顺序进行排列，并且边界编码单元的特征通道数依次递增，第一个边界编码单元b1的特征通道数是16；第二个边界编码单元b2的特征通道数是32；第三个边界编码单元b3的特征通道数是64；第四个边界编码单元b4的特征通道数是128。

在实际应用中，比如，如图4所示，可以将待分割图像输入至图像分割模型中的图像编码器中，该待分割图像就会直接输入至图像编码器中特征通道数最少的图像编码单元a1中，因此可以利用该图像编码器中特征通道数最少的图像编码单元a1对待分割图像进行编码，得到待分割图像的低层图像特征信息。同时将超像素图像输入至图像分割模型中的边界编码器中，该超像素图像就会直接输入至边界编码器中特征通道数最少的边界编码单元b1中，因此可以利用该边界编码器中特征通道数最少的边界编码单元b1对超像素图像进行编码，得到超像素图像的低层边界特征信息。

s203、将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息。

其中，注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。因此，由于超像素的边界可以提供图像的外观固有特性，因此本申请实施例可以编码器对超像素图像进行编码，以便从中提取出深层语义，并结合待分割图像和超像素边界中的语义产生空间注意力，以便应用注意力机制对资源进行合理分配，由于通过注意力机制关注了图像的边界信息，使得图像分割得到感兴趣区域的边界更清晰，位置更准确。

在实际应用中，比如，利用图像分割模型中特征通道数最少的图像编码单元，得到待分割图像的低层图像特征信息，且利用图像分割模型中特征通道数最少的边界编码单元，得到超像素图像的低层边界特征信息之后，可以将低层图像特征信息、以及低层边界特征信息同时输入至注意力模块中，并利用注意力模块对低层图像特征信息、以及低层边界特征信息进行融合，得到注意力特征信息，由于该注意力特征信息中同时包括待分割图像的特征、以及超像素图像的特征，因此，该注意力特征信息是关注超像素图像中待分割图像边界信息的特征信息。这种把输入图像和由输入图像生成的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习以及空间和通道注意力的优势，从而避免了高昂的计算成本。

在一实施例中，具体地，步骤“将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息”，可以包括：

对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息；

融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息；

融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息。

在实际应用中，比如，如图5所示，注意力模块内部包括两个输入，分别是低层图像特征信息、以及低层边界特征信息，特征信息大小均为n*c*w*h*d，其中，n代表batchsize，c代表通道数，w*h*d代表3d特征，可以利用fi代表低层图像特征信息，fb代表低层边界特征信息。可以利用注意力模块对低层边界特征信息进行1*1*1卷积操作（1*1*1conv）、以及sigmoid，得到大小为n*1*w*h*d的卷积后低层边界特征信息，然后将卷积后低层边界特征信息与输入的低层图像特征信息相乘，得到初始注意力特征信息，以便强调图像特征信息的重要性。由于初始注意力特征信息与输入的低层图像特征信息是具有同等重要性的信息，因此可以对其赋予相同的权重，也即将该初始注意力特征信息与输入的低层图像特征信息相加，最终得到注意力特征信息f，该注意力特征信息与输入的低层图像特征信息的大小相同，均为n*c*w*h*d，并且该注意力特征信息融合了超像素图像所提供的外观信息。

在一实施例中，利用注意力机制融合低层图像特征信息、以及低层边界特征信息的方法还可以有多种，比如，还可以直接将低层图像特征信息、以及低层边界特征信息进行相加，得到注意力特征信息。还可以仅对低层边界特征信息进行sigmoid操作，并与低层图像特征信息相乘，然后将相乘的结果与低层图像特征信息相加，得到注意力特征信息。还可以仅对低层边界特征信息进行卷积操作，并与低层图像特征信息相乘，然后将相乘的结果与低层图像特征信息相加，得到注意力特征信息，等等。

s204、基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息。

在实际应用中，比如，如图4，由于图像编码器中包括多个特征通道数依次递增的图像编码单元，并且边界编码器中包括多个特征通道数依次递增的边界编码单元，因此，需要利用多个图像编码单元、多个边界编码单元、以及注意力机制，对输入的注意力特征信息、以及低层边界特征信息进行多次编码操作，才能得到多个中层图像特征信息、以及需要的高层图像特征信息。

在一实施例中，具体地，步骤“基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息”，可以包括：

分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；

将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；

当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。

其中，中层图像特征信息所处的层级表示输出该中层图像特征信息的图像编码单元所在的层级。比如，当基于图像编码器中第二个图像编码单元a2输出中层图像特征信息时，就可以认为此时中层图像特征信息所处的层级是第二层；又比如，当基于图像编码器中第四个图像编码单元a4输出中层图像特征信息时，就可以认为此时中层图像特征信息所处的层级是第四层，等等。

在实际应用中，可以对注意力特征信息进行编码操作，得到中层图像特征信息，对低层边界特征信息进行编码操作，得到中层边界特征信息。然后利用注意力机制，将中层图像特征信息、以及中层边界特征信息进行融合，得到目标注意力特征信息。若图像编码器中包括五个图像编码单元，那么可以将预设层级设置为第四层，也即当中层图像特征信息所处的层级为第四层时，可以利用第五个图像编码单元a5，对第四层的目标注意力特征信息进行编码操作，得到高层图像特征信息。

在一实施例中，具体地，步骤“基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息”，还可以包括：

当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息；

返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。

在实际应用中，比如，若图像编码器中包括五个图像编码单元，那么可以将预设层级设置为第四层。若中层图像特征信息所处的层级为第二层时，说明此时中层图像特征信息所处的层级不是预设层级，那么需要进行循环操作，将第二层的中层图像特征信息更新为注意力特征信息，将第二层的中层边界特征信息更新为低层边界特征信息，并返回执行分别对注意力特征信息、以及低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤，直至中层图像特征信息所处的层级为第四层，利用第五个图像编码单元a5，对第四层的目标注意力特征信息进行编码操作，得到高层图像特征信息。

其中，在图像编码器和边界编码器的每一个深度级别都进行了依次基于注意力模块的融合。对于给定的一个深度级别，注意力模块将来自图像编码器和边界编码器的图像分别作为输入，并输出一个新的图像作为图像编码器的下一层的输入。

在一实施例中，比如，如图4，图像编码器包括五个图像编码单元，边界编码器包括四个边界编码单元。因此，可以将注意力特征信息输入到第二个图像编码单元a2中进行编码，得到第二个图像编码单元a2对应的中层图像特征信息，并且将低层边界特征信息输入到第二个边界编码单元b2中进行编码，得到第二个边界编码单元b2对应的中层边界特征信息。然后将第二个图像编码单元a2对应的中层图像特征信息、以及第二个边界编码单元b2对应的中层边界特征信息，输入到注意力模块中进行融合，得到第二个图像编码单元a2对应的注意力特征信息。

然后进行循环操作，将第二个图像编码单元a2对应的注意力特征信息，输入到第三个图像编码单元a3中进行编码，得到第三个图像编码单元a3对应的中层图像特征信息，并且将第二个边界编码单元b2对应的中层边界特征信息，输入到第三个边界编码单元b3中进行编码，得到第三个边界编码单元b3对应的中层边界特征信息。然后将第三个图像编码单元a3对应的中层图像特征信息、以及第三个边界编码单元b3对应的中层边界特征信息，输入到注意力模块中进行融合，得到第三个图像编码单元a3对应的注意力特征信息。

然后将第三个图像编码单元a3对应的注意力特征信息，输入到第四个图像编码单元a4中进行编码，得到第四个图像编码单元a4对应的中层图像特征信息，并且将第三个边界编码单元b3对应的中层边界特征信息，输入到第四个边界编码单元b4中进行编码，得到第四个边界编码单元b4对应的中层边界特征信息。然后将第四个图像编码单元a4对应的中层图像特征信息、以及第四个边界编码单元b4对应的中层边界特征信息，输入到注意力模块中进行融合，得到第四个图像编码单元a4对应的注意力特征信息。最后将第四个图像编码单元a4对应的注意力特征信息，输入至第五个图像编码单元a5中进行编码，得到高层图像特征信息。

在一实施例中，在对图像进行编码操作的过程中，可以利用残差连接的方式，将多个卷积层级联的输出与输入相加，使得网络结构相对简单、训练参数少、训练时间短。还可以利用下采样操作，使得输出的特征信息适应下一个图像编码单元的尺寸。具体地，步骤“分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息”，可以包括：

对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息；

基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息；

对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息；

对所述低层边界特征信息进行编码操作，得到中层边界特征信息。

在实际应用中，比如，进行编码操作的每个图像编码单元中都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和relu激活函数，同时每个图像编码单元中都使用了残差跳跃连接。因此，可以利用图像编码单元中的卷积层对注意力特征信息进行卷积处理，得到卷积后注意力特征信息，并且基于残差连接，融合卷积后注意力特征信息、以及注意力特征信息，得到提取后注意力特征信息。其中，残差连接通过将多个卷积层级联的输出与输入相加的方式对图像特征进行提取，使得网络结构相对简单、训练参数少、训练时间短。为了使得输出的特征信息满足后续步骤所需的尺寸，图像编码单元中还可以包括下采样层，因此还可以利用下采样层对提取后注意力特征信息进行下采样，得到中层图像特征信息。

对注意力特征信息进行编码操作的图像编码单元、与对低层边界特征信息进行编码操作的边界编码单元的结构可以相同，相应的编码步骤也相同。也即可以利用边界编码单元中的卷积层对低层边界特征信息进行卷积处理，得到卷积后低层边界特征信息，并且基于残差连接，融合卷积后低层边界特征信息、以及低层边界特征信息，得到提取后低层边界特征信息，利用下采样层对提取后低层边界特征信息进行下采样，得到中层边界特征信息。

s205、基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息。

在实际应用中，在基于图像编码器和边界编码器获取到高层图像特征信息之后，就可以将高层图像特征信息输入至图像解码器中，同时利用低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码，得到目标特征信息。

在一实施例中，图像分割模块中还包括图像解码器，该图像解码器中包括多个特征通道数依次递减的图像解码单元，且特征通道数相同的图像解码单元与图像编码单元相对应。具体地，步骤“基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息”，可以包括：

基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。

其中，图像编码器中包括多个特征通道数依次递增的图像编码单元，图像解码器中包括多个特征通道数依次递减的图像解码单元，特征通道数相同的图像解码单元与图像编码单元位于同一个层级上，并且二者之间是相对应的关系。比如，特征通道数为64的图像编码单元与特征通道数为64的图像解码单元位于同一个层级上，且二者相对应。

具体地，步骤“基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息”，可以包括：

确定所述高层图像特征信息对应的编码图像特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息；

对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息；

将所述解码后图像特征信息更新为高层图像特征信息；

返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。

其中，由于浅层网络会保留输入图像中明显的内容信息，而内容信息会随着网络层的加深而减少，因此，为了在深层网络中添加内容信息，可以利用高层图像特征信息、以及编码图像特征信息形成更厚的特征，再进行解码的方法。

在实际应用中，比如，由于图像解码器中的图像解码单元，按照特征通道数依次递减的方式进行排列，而图像编码器中的图像编码单元，按照特征通道数依次递增的方式进行排列，因此第一层对应第一个图像编码单元a1、以及第四个图像解码单元c4；第二层对应第二个图像编码单元a2、以及第三个图像解码单元c3；第三层对应第三个图像编码单元a3、以及第二个图像解码单元c2；第四层对应第四个图像编码单元a4、以及第一个图像解码单元c1。

可以首先确定高层图像特征信息所对应的编码图像特征信息，该编码图像特征信息为第四层的中层图像特征信息，然后对高层图像特征信息、以及第四层的中层图像特征信息进行解码操作，得到第四层的解码后图像特征信息；然后对第四层的解码后图像特征信息、以及第三层的中层图像特征信息进行解码操作，得到第三层的解码后图像特征信息；然后对第三层的解码后图像特征信息、以及第二层的中层图像特征信息进行解码操作，得到第二层的解码后图像特征信息；然后对第二层的解码后图像特征信息、以及第一层的低层图像特征信息进行解码操作，得到第一层的解码后图像特征信息，此时编码图像特征信息为第一层的低层图像特征信息，也即此时获取到的第一层的解码后图像特征信息，就是目标特征信息。

在实际应用中，可以利用多个图像解码单元完成循环解码操作。比如，可以首先确定图像解码单元与图像编码单元之间的对应关系，并且每个图像编码单元都会输出一个图像特征信息，也即每个层级都对应着一个图像特征信息，其中，图像编码单元输出的图像特征信息可能为低层图像特征信息，也可能为中层图像特征信息。

如图4所示，为了对称，图像解码器除了使用用于上采样的转置卷积外，与图像编码器使用了相同的配置。图像解码器中包括四个图像解码单元和四个上采样层，其中，四个图像解码单元按照一定的顺序进行排列，并且图像解码单元的特征通道数依次递减。那么当高层图像特征信息输入到图像解码器中时，会直接输入到第一个图像解码单元c1中，也就是特征通道数最多的图像解码单元中，同时可以将与该第一个图像解码单元c1相对应的第四个图像编码单元a4所输出的中层图像特征信息，也输入到第一个图像解码单元c1中，并利用第一个图像解码单元c1对高层图像特征信息、以及第四个图像编码单元a4所输出的中层图像特征信息进行解码，得到第一个图像解码单元c1输出的解码后图像特征信息。

然后将第一个图像解码单元c1输出的解码后图像特征信息、以及第三个图像编码单元a3所输出的中层图像特征信息，同时输入到第二个图像解码单元c2中进行解码，得到第二个图像解码单元c2输出的解码后图像特征信息。再将第二个图像解码单元c2输出的解码后图像特征信息、以及第二个图像编码单元a2所输出的中层图像特征信息，同时输入到第三个图像解码单元c3中进行解码，得到第三个图像解码单元c3输出的解码后图像特征信息。再将第三个图像解码单元c3输出的解码后图像特征信息、以及第一个图像编码单元a1所输出的低层图像特征信息，同时输入到第四个图像解码单元c4中进行解码，得到目标特征信息。并且，图像解码单元内部的网络结构与图像编码单元相同，都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和relu激活函数，同时每个图像解码单元中都使用了残差跳跃连接。

在一实施例中，该图像分割模型不仅限于上述的网络模型结构，还可以根据实际情况调整图像分割模型中图像解码器、图像编码器、以及边界编码器中单元的数量；还可以调整注意力机制中的融合方法；还可以通过对深度网络的结构进行更改，不局限于改进3du-net网络；还可以拓展到ct图像或者mr图像的其他解剖结构的分割。

s206、基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。

在实际应用中，由于待分割图像是医学影像，比如为心脏共振mr图像，那么该图像中需要识别的为左心房的位置，也即可以将左心房所在的区域称为感兴趣区域。当获取到目标特征信息后，就可以通过对目标特征信息进行概率预测、以及二值化处理等，对待分割图像进行分割，并获取到待分割图像中左心房所在的区域。

在一实施例中，可以通过对目标特征信息进行概率预测、以及二值化处理，得到需要的图像分割结果。具体地，步骤“基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域”，可以包括：

对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像；

基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果；

根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。

在实际应用中，比如，可以对目标特征信息使用1*1*1卷积，再加上softmax函数进行概率预测，得到待分割图像对应的概率预测图像，再通过预设阈值，将得到的概率预测图像进行二值化处理，得到待分割图像对应的图像分割结果，然后根据图像分割结果对待分割图像进行图像分割，确定出待分割图像中的感兴趣区域。

在一实施例中，由于步骤s201利用滑窗的方式获取到了多个待分割图像，每个待分割图像都得到了相应的图像分割结果，那么可以将所有图像分割结果都堆叠在一起，并将有重叠的位置取平均即可组成整个的分割掩码，得到初始待分割图像对应的目标图像分割结果，以便确定出初始待分割图像中的感兴趣区域。

在一实施例中，比如，如图8所示，客户端a接收到需要进行图像分割的待分割图像之后，可以将该待分割图像上传给服务端，服务端可以应用本图像分割方法对其进行图像分割，然后将得到的目标图像分割结果输出到客户端b。

在实际应用中，可以通过模型训练的方式获取到用于图像分割的图像分割模型。具体地，该图像分割方法还可以包括：

获取样本图像、以及所述样本图像对应的样本超像素图像；

基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；

基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。

在实际应用中，比如，可以将atrialsegmentationchallenge（asc）2018数据集、以及medicalsegmentationdecathlon（msd）里的胰腺肿瘤（含器官）数据集作为训练数据集，并从中获取样本图像。并且可以对样本图像使用slic算法得到该样本图像对应的初始超像素图像，再对该初始超像素图像取边界即可得到需要的样本超像素图像。由于该样本超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。

然后可以将样本图像、以及样本超像素图像输入至预设图像分割模型中进行预测，得到样本图像对应的样本概率预测图像，然后利用损失函数对预设图像分割模型进行训练，得到用于图像分割的图像分割模型。其中，本申请实施例中的损失函数可以定义为相等权重的dice损失函数与交叉熵损失函数之和。比如，可以利用xⁱ表示输入图像，其对应的mask为yⁱ，利用pⁱ表示概率预测图像，利用s表示行的位置索引，利用t表示列的位置索引，那么dice损失函数的公式可以如下：

交叉熵损失函数的公式可以如下：

针对图像解码器的输出，损失函数的公式可以如下：

在一实施例中，可以应用两种医学图像分割评价指标对该图像分割模型的分割性能进行评价。一种是dsc（dice相似度系数，dicesimilaritycoefficient），它可以有效地度量预测值与真实值之间的相似性；另一个是assd（平均对称表面距离，averagesymmetricsurfacedistance），它可以计算预测值与真实值之间的平均差。dsc评分与assd评分相辅相成，dsc评分越接近1，assd评分越接近0说明图像分割模型的分割性能越好。

如表1所示，当利用atrialsegmentationchallenge（asc）2018数据集进行训练时，本申请实施例提供的图像分割方法对应的dsc评分为92.12%，assd评分为1.62mm，residual3du-net模型对应的dsc评分为87.96%，assd评分为7.39mm，3du-net模型对应的dsc评分为85.76%，assd评分为6.30mm，根据该评价结果可知，本申请实施例提供的图像分割方法更优。

如表1所示，当利用medicalsegmentationdecathlon（msd）里的胰腺肿瘤（含器官）数据集进行训练时，本申请实施例提供的图像分割方法对应的dsc评分为83.75%，assd评分为2.51mm，residual3du-net模型对应的dsc评分为82.10%，assd评分为3.63mm，3du-net模型对应的dsc评分为79.98%，assd评分为5.48mm，根据该评价结果可知，本申请实施例提供的图像分割方法更优。

表1

其中，本申请实施例中利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。比如，利用该图像分割方法，可以更加精确地分割mr影像中的左心房和ct影像中的胰腺。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。

由上可知，本申请实施例可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案可以利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。

根据前面实施例所描述的方法，以下将以该图像分割装置具体集成在电子设备中举例作进一步详细说明。

参考图3，本申请实施例的图像分割方法的具体流程可以如下：

s301、电子设备获取样本医学图像、以及样本超像素图像。

在实际应用中，比如，可以从atrialsegmentationchallenge（asc）2018数据集、以及medicalsegmentationdecathlon（msd）里的胰腺肿瘤（含器官）数据集中获取3d样本医学图像，并对该3d样本医学图像使用slic算法得到该3d样本医学图像对应的3d样本超像素图像，其中，该样本医学图像可以为mr影像、ct影像等等。

s302、电子设备分别获取样本图像的低层图像特征信息、以及样本超像素图像的低层边界特征信息。

其中，如图4所示，图像编码器中包括五个图像编码单元和四个下采样层，其中，五个图像编码单元按照一定的顺序进行排列，并且图像编码单元的特征通道数依次递增，第一个图像编码单元a1的特征通道数是16；第二个图像编码单元a2的特征通道数是32；第三个图像编码单元a3的特征通道数是64；第四个图像编码单元a4的特征通道数是128；第五个图像编码单元a5的特征通道数是256。

其中，如图4所示，边界编码器中包括四个边界编码单元和三个下采样操作，其中，四个边界编码单元按照一定的顺序进行排列，并且边界编码单元的特征通道数依次递增，第一个边界编码单元b1的特征通道数是16；第二个边界编码单元b2的特征通道数是32；第三个边界编码单元b3的特征通道数是64；第四个边界编码单元b4的特征通道数是128。

在实际应用中，比如，如图4所示，可以将样本医学图像输入至第一个图像编码单元a1中进行编码，得到样本医学图像的低层图像特征信息。同时将样本超像素图像输入至第一个边界编码单元b1中进行编码，得到样本超像素图像的低层边界特征信息。又由于每个图像编码单元中都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和relu激活函数，同时每个图像编码单元中都使用了残差跳跃连接。因此，可以利用图像编码单元中的卷积层对样本医学图像进行卷积处理，得到卷积后图像特征信息，并且基于残差连接，融合卷积后图像特征信息、以及样本医学图像，得到提取后图像特征信息。再对提取后图像特征信息进行下采样，得到样本图像的低层图像特征信息。其中，边界编码单元的网络结构与图像编码单元相同，因此，可以利用边界编码单元中的卷积层、残差连接、以及下采样，对样本超像素图像进行处理，得到样本超像素图像的低层边界特征信息。

s303、电子设备融合低层图像特征信息、以及低层边界特征信息，得到注意力特征信息。

在实际应用中，比如，如图5所示，注意力模块内部包括两个输入，分别是低层图像特征信息、以及低层边界特征信息，大小均为n*c*w*h*d。可以利用注意力模块对低层边界特征信息进行1*1*1卷积、以及sigmoid，得到大小为n*1*w*h*d的卷积后低层边界特征信息，然后将卷积后低层边界特征信息与输入的低层图像特征信息相乘，得到初始注意力特征信息。再将该初始注意力特征信息与输入的低层图像特征信息相加，最终得到注意力特征信息，该注意力特征信息与输入的低层图像特征信息的大小相同，均为n*c*w*h*d，并且该注意力特征信息融合了样本超像素图像所提供的外观信息。

s304、电子设备基于图像编码器和边界编码器，对注意力特征信息和低层边界特征信息进行多次编码，得到中层图像特征信息和高层图像特征信息。

在实际应用中，比如，如图4，可以将注意力特征信息输入到第二个图像编码单元a2中进行编码，得到第二个图像编码单元a2对应的中层图像特征信息，并且将低层边界特征信息输入到第二个边界编码单元b2中进行编码，得到第二个边界编码单元b2对应的中层边界特征信息。然后将第二个图像编码单元a2对应的中层图像特征信息、以及第二个边界编码单元b2对应的中层边界特征信息，输入到注意力模块中进行融合，得到第二个图像编码单元a2对应的注意力特征信息。

然后进行循环操作，将第二个图像编码单元a2对应的注意力特征信息，输入到第三个图像编码单元a3中进行编码，得到第三个图像编码单元a3对应的中层图像特征信息，并且将第二个边界编码单元b2对应的中层边界特征信息，输入到第三个边界编码单元b3中进行编码，得到第三个边界编码单元b3对应的中层边界特征信息。然后将第三个图像编码单元a3对应的中层图像特征信息、以及第三个边界编码单元b3对应的中层边界特征信息，输入到注意力模块中进行融合，得到第三个图像编码单元a3对应的注意力特征信息。

然后将第三个图像编码单元a3对应的注意力特征信息，输入到第四个图像编码单元a4中进行编码，得到第四个图像编码单元a4对应的中层图像特征信息，并且将第三个边界编码单元b3对应的中层边界特征信息，输入到第四个边界编码单元b4中进行编码，得到第四个边界编码单元b4对应的中层边界特征信息。然后将第四个图像编码单元a4对应的中层图像特征信息、以及第四个边界编码单元b4对应的中层边界特征信息，输入到注意力模块中进行融合，得到第四个图像编码单元a4对应的注意力特征信息。最后将第四个图像编码单元a4对应的注意力特征信息，输入至第五个图像编码单元a5中进行编码，得到高层图像特征信息。

s305、电子设备对高层图像特征信息进行解码，得到目标特征信息。

在实际应用中，比如，可以将高层图像特征信息、以及第四个图像编码单元a4所输出的中层图像特征信息，输入到第一个图像解码单元c1中进行解码，得到第一个图像解码单元c1输出的解码后图像特征信息。然后将第一个图像解码单元c1输出的解码后图像特征信息、以及第三个图像编码单元a3所输出的中层图像特征信息，同时输入到第二个图像解码单元c2中，得到第二个图像解码单元c2输出的解码后图像特征信息。再将第二个图像解码单元c2输出的解码后图像特征信息、以及第二个图像编码单元a2所输出的中层图像特征信息，同时输入到第三个图像解码单元c3中，得到第三个图像解码单元c3输出的解码后图像特征信息。再将第三个图像解码单元c3输出的解码后图像特征信息、以及第一个图像编码单元a1所输出的低层图像特征信息，同时输入到第四个图像解码单元c4中，得到目标特征信息。

并且，图像解码单元内部的网络结构与图像编码单元相同，都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和relu激活函数，同时每个图像解码单元中都使用了残差跳跃连接。

s306、电子设备对目标特征信息进行概率预测，得到样本医学图像对应的图像分割结果。

在实际应用中，比如，可以对该目标特征信息使用1*1*1卷积，再加上softmax函数进行概率预测，得到概率预测图像，再通过预设阈值，将得到的概率预测图像进行二值化，得到样本医学图像的图像分割结果。

s307、电子设备基于图像分割结果训练初始图像分割模型，得到用于图像分割的图像分割模型。

在实际应用中，比如，获取到图像分割结果后，就可以利用损失函数，基于图像分割结果训练初始图像分割模型，并得到能够用于图像分割的图像分割模型。其中，本申请实施例中的损失函数可以定义为相等权重的dice损失函数与交叉熵损失函数之和。比如，可以利用xⁱ表示输入图像，其对应的mask为yⁱ，利用pⁱ表示概率预测图像，利用s表示行的位置索引，利用t表示列的位置索引，那么dice损失函数的公式可以如下：

交叉熵损失函数的公式可以如下：

针对图像解码器的输出，损失函数的公式可以如下：

s308、电子设备获取初始待分割图像。

s309、电子设备从初始待分割图像中，确定多个待分割图像，并获取每个待分割图像对应的超像素图像。

在实际应用中，比如，可以在初始待分割图像中确定出与训练阶段大小相同的区域，作为待分割图像。其中，区域的选取方式可以通过滑窗的方式进行，相邻待分割图像之间有重叠部分，并且使得所有待分割图像可以覆盖整体的初始待分割图像。

s310、电子设备将待分割图像和超像素图像输入到图像分割模型中，预测出每个待分割图像对应的分割结果。

s311、电子设备基于多个分割结果，确定初始待分割图像对应的目标图像分割结果。

在实际应用中，比如，得到每个待分割图像对应的分割结果后，就可以将所有结果堆叠在一起组成初始待分割图像对应的目标图像分割结果，其中，有重叠的部分结果取平均即可。

由上可知，本申请实施例可以通过电子设备获取样本医学图像、以及样本超像素图像，分别获取样本图像的低层图像特征信息、以及样本超像素图像的低层边界特征信息，融合低层图像特征信息、以及低层边界特征信息，得到注意力特征信息，基于图像编码器和边界编码器，对注意力特征信息和低层边界特征信息进行多次编码，得到中层图像特征信息和高层图像特征信息，对高层图像特征信息进行解码，得到目标特征信息，对目标特征信息进行概率预测，得到样本医学图像对应的图像分割结果，基于图像分割结果训练初始图像分割模型，得到用于图像分割的图像分割模型，获取初始待分割图像，从初始待分割图像中，确定多个待分割图像，并获取每个待分割图像对应的超像素图像，将待分割图像和超像素图像输入到图像分割模型中，预测出每个待分割图像对应的区域分割结果，基于多个区域分割结果，确定初始待分割图像对应的目标图像分割结果。该方案可以利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。

为了更好地实施以上方法，相应的，本申请实施例还提供一种图像分割装置，该图像分割装置可以集成在电子设备中，参考图9，该图像分割装置包括获取模块91、第一编码模块92、融合模块93、第二编码模块94、解码模块95和分割模块96，如下：

获取模块91，用于获取待分割图像、以及所述待分割图像对应的超像素图像；

第一编码模块92，用于分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；

融合模块93，用于将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息；

第二编码模块94，用于基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；

解码模块95，用于基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息；

分割模块96，用于基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。

在一实施例中，所述第二编码模块94可以包括第一编码子模块、融合子模块和第二编码子模块，如下：

第一编码子模块，用于分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；

融合子模块，用于将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；

第二编码子模块，用于当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。

在一实施例中，所述第二编码模块94可以具体用于：

当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息；

返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。

在一实施例中，所述第一编码子模块可以具体用于：

对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息；

基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息；

对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息；

对所述低层边界特征信息进行编码操作，得到中层边界特征信息。

在一实施例中，所述融合模块93可以具体用于：

对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息；

融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息；

融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息。

在一实施例中，所述解码模块95可以具体用于：

确定所述高层图像特征信息对应的编码图像特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息；

对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息；

将所述解码后图像特征信息更新为高层图像特征信息；

返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。

在一实施例中，所述分割模块96可以具体用于：

对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像；

基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果；

根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。

在一实施例中，所述获取模块91可以具体用于：

获取初始待分割图像；

基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像；

获取每个待分割图像对应的超像素图像。

在一实施例中，所述第一编码模块92可以具体用于：

基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；

所述基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息的步骤包括：

基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。

在一实施例中，所述图像分割装置还可以包括样本获取模块、预测模块和训练模块，如下：

样本获取模块，用于获取样本图像、以及所述样本图像对应的样本超像素图像；

预测模块，用于基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；

训练模块，用于基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本申请实施例可以通过获取模块91获取待分割图像、以及所述待分割图像对应的超像素图像，通过第一编码模块92分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息，通过融合模块93将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息，通过第二编码模块94基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，通过解码模块95基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息，通过分割模块96基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。该方案可以利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。

本申请实施例还提供一种电子设备，该电子设备可以集成本申请实施例所提供的任一种图像分割装置。

例如，如图10所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器101、一个或一个以上计算机可读存储介质的存储器102、电源103和输入单元104等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器101是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器101可包括一个或多个处理核心；优选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。

存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。

电子设备还包括给各个部件供电的电源103，优选的，电源103可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元104，该输入单元104可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器101会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文本加载到存储器102中，并由处理器101来运行存储在存储器102中的应用程序，从而实现各种功能，如下：

获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本申请实施例可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种电子设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分割方法中的步骤。例如，该指令可以执行如下步骤：

获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取记忆体（ram，randomaccessmemory）、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分割方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像分割方法、装置、存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。