图像分割方法及装置、存储介质及电子设备与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像分割方法及装置、存储介质及电子设备。


背景技术：

2.图像分割是计算机视觉研究中的一个经典难题，已经成为图像理解领域关注的一个热点，图像分割是图像分析的第一步，是计算机视觉的基础，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一。目前图像分割的方法主要是基于深度学习的图像分割方法，深度学习图像分割方法比之传统图像分割方法，在精度和速度上都有显著的提升。
3.传统的图像分割是把图像中出现的物体进行检测并识别是属于什么类别的，当在具体分割过程中无法有效提取图像的上下文信息，因此现有技术的图像分割的精度并不高。


技术实现要素：

4.有鉴于此，本发明提供一种图像分割方法，通过该方法，可以应用编码器进行多次下采样，获得不同分辨率的上下文信息图，再通过注意力模块进行特征提取，获得注意力特征图，通过上下文信息图和注意力特征图进行图像融合后再分割，以此提高图像分割精度。
5.本发明还提供了一种图像分割装置，用以保证上述方法在实际中的实现及应用。
6.一种图像分割方法，包括：
7.获取待分割的目标图像；
8.启用预先设置的短期密集连接网络中的编码器提取所述目标图像的初始特征图，并基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图；其中，各个所述上下文信息图之间的分辨率均不相同；
9.应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图；
10.启用所述短期密集连接网络的解码器对所述最后一个上下文信息图及各个所述注意力特征图执行上采样操作，获得多个上采样特征图；各个所述上采样特征图的分辨率与首个上下文信息图的分辨率一致；
11.将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像；
12.将所述目标融合图像输入所述短期密集连接网络的分割器，通过所述分割器对所述目标融合图像进行图像分割，获得所述短期密集连接网络输出的图像分割结果。
13.上述的方法，可选的，所述基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图，包括：
14.确定所述编码器中包含的各个下采样层的下采样层数量及下采样层顺序；
15.按照所述下采样层顺序，通过所述编码器执行与下采样层数量一致的下采样操作；
16.其中，将所述初始特征图作为第一次执行下采样操作的上一个上下文信息图，所述编码器执行当前的下采样操作的过程为：
17.确定上一个上下文信息图的分辨率；基于所述上一个上下文信息图的分辨率及所述步幅，设置当前待生成的上下文信息图的目标分辨率；按照所述目标分辨率对所述上一个上下文信息图进行全局池化，获得当前的下采样操作对应的上下文信息图。
18.上述的方法，可选的，所述应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图，包括：
19.获取所述注意力模块中预先设置的conv-bn-relu算子对应的真实标签；
20.将所述真实标签作为细节特征的引导，应用所述conv-bn-relu算子对各个所述其他上下文信息图进行空间细节的特征提取，获得每个所述其他上下文信息图对应的注意力特征图。
21.上述的方法，可选的，所述将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像，包括：
22.将各个所述上采样特征图与所述首个上下文信息图进行图像融合处理，获得分辨率与所述初始特征图一致的融合图像，获得初始融合图像，所述初始融合图像的分辨率与所述首个上下文信息图的分辨率一致；
23.通过所述解码器对所述初始融合图像执行上采样操作，获得分辨率与所述初始特征图一致的目标融合图像。
24.一种图像分割装置，包括：
25.获取单元，用于获取待分割的目标图像；
26.下采样单元，用于启用预先设置的短期密集连接网络中的编码器提取所述目标图像的初始特征图，并基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图；其中，各个所述上下文信息图之间的分辨率均不相同；
27.特征提取单元，用于应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图；
28.上采样单元，用于启用所述短期密集连接网络的解码器对所述最后一个上下文信息图及各个所述注意力特征图执行上采样操作，获得多个上采样特征图；各个所述上采样特征图的分辨率与首个上下文信息图的分辨率一致；
29.融合单元，用于将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像；
30.图像分割单元，用于将所述目标融合图像输入所述短期密集连接网络的分割器，通过所述分割器对所述目标融合图像进行图像分割，获得所述短期密集连接网络输出的图像分割结果。
31.上述的装置，可选的，所述下采样单元，包括：
32.确定子单元，用于确定所述编码器中包含的各个下采样层的下采样层数量及下采
样层顺序；
33.下采样子单元，用于按照所述下采样层顺序，通过所述编码器执行与下采样层数量一致的下采样操作；
34.其中，将所述初始特征图作为第一次执行下采样操作的上一个上下文信息图，所述编码器执行当前的下采样操作的过程为：
35.确定上一个上下文信息图的分辨率；基于所述上一个上下文信息图的分辨率及所述步幅，设置当前待生成的上下文信息图的目标分辨率；按照所述目标分辨率对所述上一个上下文信息图进行全局池化，获得当前的下采样操作对应的上下文信息图。
36.上述的装置，可选的，所述特征提取单元，包括：
37.第一获取子单元，用于获取所述注意力模块中预先设置的conv-bn-relu算子对应的真实标签；
38.特征提取子单元，用于将所述真实标签作为细节特征的引导，应用所述conv-bn-relu算子对各个所述其他上下文信息图进行空间细节的特征提取，获得每个所述其他上下文信息图对应的注意力特征图。
39.上述的装置，可选的，所述融合单元，包括：
40.融合子单元，用于将各个所述上采样特征图与所述首个上下文信息图进行图像融合处理，获得分辨率与所述初始特征图一致的融合图像，获得初始融合图像，所述初始融合图像的分辨率与所述首个上下文信息图的分辨率一致；
41.上采样子单元，用于通过所述解码器对所述初始融合图像执行上采样操作，获得分辨率与所述初始特征图一致的目标融合图像。
42.一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的图像分割方法。
43.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的图像分割方法。
44.与现有技术相比，本发明包括以下优点：
45.本发明提供了一种图像分割方法，包括：获取待分割的目标图像；启用预先设置的短期密集连接网络中的编码器提取所述目标图像的初始特征图，并基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图；其中，各个所述上下文信息图之间的分辨率均不相同；应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图；启用所述短期密集连接网络的解码器对所述最后一个上下文信息图及各个所述注意力特征图执行上采样操作，获得多个上采样特征图；各个所述上采样特征图的分辨率与首个上下文信息图的分辨率一致；将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像；将所述目标融合图像输入所述短期密集连接网络的分割器，通过所述分割器对所述目标融合图像进行图像分割，获得所述短期密集连接网络输出的图像分割结果。应用本发明提供的方法，可以提高图像分割精度。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
47.图1为本发明实施例提供的一种图像分割方法的方法流程图；
48.图2为本发明实施例提供的一种图像分割方法的又一方法流程图；
49.图3为本发明实施例提供的一种图像分割方法的再一方法流程图；
50.图4为本发明实施例提供的一种图像分割装置的装置结构图；
51.图5为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
54.本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
55.本发明实施例提供了一种图像分割方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：
56.s101：获取待分割的目标图像。
57.s102：启用预先设置的短期密集连接网络中的编码器提取所述目标图像的初始特征图，并基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图。
58.其中，各个所述上下文信息图之间的分辨率均不相同。
59.需要说明的是，可以将编码器部分可以设置由6个或6个以上阶段组成，若为6个阶段，则在阶段1～5分别以2的步幅对输入的空间分辨率进行下采样，阶段6则作为输出阶段。其中，在阶段1和2用于提取目标图像的初始特征图。阶段1和2通常被认为是外观特征提取的低层。为了追求效率，在第1阶段和第2阶段只使用一个卷积块。在3～5阶段进行下采样，每个阶段的下采样获得的上下文信息图对应的分辨率不同。若以步幅为2进行下采样，在3
～5阶段获得的三个上下文信息图的分辨率分别为原目标图像分辨率的1/8、1/16、1/32。
60.进一步地，基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图的过程，具体可以包括：
61.确定所述编码器中包含的各个下采样层的下采样层数量及下采样层顺序；
62.按照所述下采样层顺序，通过所述编码器执行与下采样层数量一致的下采样操作；
63.其中，将所述初始特征图作为第一次执行下采样操作的上一个上下文信息图，所述编码器执行当前的下采样操作的过程为：
64.确定上一个上下文信息图的分辨率；基于所述上一个上下文信息图的分辨率及所述步幅，设置当前待生成的上下文信息图的目标分辨率；按照所述目标分辨率对所述上一个上下文信息图进行全局池化，获得当前的下采样操作对应的上下文信息图。
65.可以理解的是，编码器除了第1第2和最后一个阶段之外，其他阶段均执行下采样操作过程。对于每一次的下采样操作过程，该过程中执行下采样操作的图像为上一次下采样获得的上下文信息图。由于第1、2阶段的特征提取也属于下采样的过程，因此，将初始特征图作为第3阶段的上一个上下文信息图。在进行下采样操作过程中，由于两个阶段对应的下采样操作过程存在步幅差别，因此，需要根据上一个上下文信息的分别率来调整当前的分辨率。在第3阶段至倒数第2阶段的下采样操作为全局池化过程。
66.例如，编码器的下采样层共5个，其中第一个下采样层和第二下采样层对目标图像进行下采样后获得初始特征图，将该初始特征图作为上下文信息图a1输入第三下采样层，按照步幅设置改该层对应的目标分辨率，并按照该目标分辨率对a1进行全局池化，获得新的上下文信息图a2；将a2输入第四下采样层，并按照该步幅重新设置该层对应的目标分辨率，按照步幅设置改该层对应的目标分辨率，并按照该目标分辨率对a2进行全局池化，获得新的上下文信息图a3，将a3输入第五下采样层，并按照步幅设置改该层对应的目标分辨率，并按照该目标分辨率对a3进行全局池化，获得新的上下文信息图a4；因此，a2、a3和a4为多次执行的下采样操作所获得的不同分辨率的上下文信息图。
67.再进一步地，在每次执行下采样操作后，基于每次下采样操作对应的过滤器数，调整每次下采样操作后获得的上下文信息图的通道数。
68.在本发明中，每一个下采样层可以是一个卷积块。
69.s103：应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图。
70.需要说明的是，当编码器由6个或6个以上阶段组成时，倒数第二个阶段进行下采样获得的上下文信息图为最后一个上下文信息图，即通过最后一个下采样层生成的上下文信息图为最后一个上下文信息图。例如编码器由6个阶段组成，在第5阶段生成的上下文信息图为最后一个上下文信息图。
71.同样的，由于第1和第2阶段用于生成初始特征图，则第3阶段生成的上下文信息图为首个上下文信息图。
72.s104：启用所述短期密集连接网络的解码器对所述最后一个上下文信息图及各个所述注意力特征图执行上采样操作，获得多个上采样特征图；各个所述上采样特征图的分
辨率与首个上下文信息图的分辨率一致。
73.在本发明中，在对图像进行下采样后，再进行上采样操作，是的分辨率变更后的特征图能够恢复成原先目标图像的分辨率或指定的分辨率。
74.s105：将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像。
75.需要说明的是，进行融合的各个特征图的分辨率一致，即，进行图像融合的上采样特征图、上下文信息图以及初始特征图的图像分辨率一致。
76.其中，首个上下文信息图为第一次执行下采样操作获得的上下文信息图，即，对初始特征图进行下采样操作后获得的上下文信息图。
77.s106：将所述目标融合图像输入所述短期密集连接网络的分割器，通过所述分割器对所述目标融合图像进行图像分割，获得所述短期密集连接网络输出的图像分割结果。
78.需要说明的是，对于最终的语义分割预测，采用特征融合模块来融合来自编码器中注意力模块生成的细节特征(注意力特征图)和来自解码器的对应特征，细节特征和解码器上采样后获得特征图的特征处于不同的特征表示级别。来自编码器的注意力模块生成的特征保留了丰富的细节信息，而来自解码器的特征由于来自全局池化层的输入而包含上下文信息。
79.本发明实施例提供的方法中，使用预训练的短期密集连接网络作为编码器的主干，并采用上下文路径对上下文信息进行编码。以编码器为6个阶段为例：
80.使用阶段3、4、5来生成下采样率分别为1/8、1/16、1/32的特征图，然后使用全局平均池来提供具有大感受野的全局上下文信息。使用注意力模块来分别细化每两个阶段(第4阶段和第5阶段)的组合特征，并将组合中的每一个与编码阶段的最后全局平均池的对应项结合起来。在第3阶段生成细节特征图(注意力特征图)。对于最终的语义分割预测，采用特征融合模块来融合来自编码器阶段3的生成的细节特征和来自解码器的对应特征，这两个阶段的特征处于不同的特征表示级别。来自编码骨干的特征保留了丰富的细节信息，而来自解码器的特征由于来自全局池化层的输入而包含上下文信息。
81.具体来说，本发明实施例利用一个3
×
3的conv-bn-relu算子，后跟一个1
×
1卷积以获得输出维度n，将得到的特征图谱与最终特征融合模块的输出结果进行融合，采用上采样的操作恢复其空间分辨率，具有细节引导的特征图可以编码比呈现的上述结果更多的空间细节。采用交叉输入损失来优化语义分割学习任务。最后，将学习到的细节特征与来自解码器深度块的上下文特征融合起来进行分割预测。
82.应用本发明实施例提供的方法，可以应用编码器进行多次下采样，获得不同分辨率的上下文信息图，再通过注意力模块进行特征提取，获得注意力特征图，通过上下文信息图和注意力特征图进行图像融合后再分割，以此提高图像分割精度。
83.在本发明中，在短期密度连接模块中，第一个卷积块(block1)的内核大小为1，其余的简单设置为3。给定短期密集连接模块输出的通道数n，第i个块中卷积层的过滤器数为n/2i，除了最后一个卷积层的过滤器，其数量与前一个卷积层的过滤器相同，在这里共设置了四个卷积块(block)。在图像分类任务中，在较高层使用更多通道是一种常见做法。但在语义分割任务中，专注于可扩展的感受野和多尺度信息。低层需要足够多的通道来编码更细粒度的小感受野信息，而大感受野的高层更关注高层信息的归纳，与低层设置相同的通
道可能会导致信息冗余，下采样仅发生在block2中。为了丰富特征信息，通过跳跃路径将block1到block4的特征图通过串联的方式进行融合，融合后的特征图作为短期密集连接模块的输出。在连接之前，短期密集连接模块中不同块的响应图通过3
×
3池化大小的平均池化操作下采样到相同的空间大小。
84.本发明实施例提供的方法中，应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图的过程如图2所示，具体可以包括：
85.s201：获取注意力模块中预先设置的conv-bn-relu算子对应的真实标签。
86.s202：将真实标签作为细节特征的引导，应用conv-bn-relu算子对各个其他上下文信息图进行空间细节的特征提取，获得每个其他上下文信息图对应的注意力特征图。
87.需要说明的是，使用注意力模块来分别细化每两个阶段(第4阶段和第5阶段)的组合特征，并将组合中的每一个与编码阶段的最后全局平均池的对应项结合起来。在第3阶段插入一个3
×
3的conv-bn-relu算子以生成细节特征图。
88.本发明实施例提供的方法中，将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像的过程如图3所示，具体可以包括：
89.s301：将各个上采样特征图与首个上下文信息图进行图像融合处理，获得分辨率与初始特征图一致的融合图像，获得初始融合图像。
90.其中，所述初始融合图像的分辨率与所述首个上下文信息图的分辨率一致。
91.s302：通过解码器对初始融合图像执行上采样操作，获得分辨率与初始特征图一致的目标融合图像。
92.需要说明的是，本发明的编码器部分由6个阶段组成，除了输入层和预测层。阶段1～5分别以2的步幅对输入的空间分辨率进行下采样，阶段6通过一个卷积、一个全局平均池化层和两个全连接层输出预测。阶段1和2通常被认为是外观特征提取的低层。为了追求效率，在第1阶段和第2阶段只使用一个卷积块。第3、4、5阶段的短期密集连接模块的数量在网络中进行了仔细调整。在这些阶段中，每个阶段中的第一个短期密集连接模块以2的步幅对空间分辨率进行下采样。每个阶段中的以下短期密集连接模块保持空间分辨率不变。在这里将阶段的输出通道数表示为nl，其中l是阶段的索引。在实践中，根据经验将n6设置为1024，并仔细调整休息阶段的通道数，直到在准确性和效率之间取得良好的折衷。事实上，本发明设计的网络主要由短期密集连接模块组成。
93.还需要说明的是，使用预训练的短期密集连接网络作为编码器的主干，并采用上下文路径对上下文信息进行编码。使用阶段3、4、5来生成下采样率分别为1/8、1/16、1/32的特征图，然后使用全局平均池来提供具有大感受野的全局上下文信息。使用注意力模块来分别细化每两个阶段第4阶段和第5阶段)的组合特征，并将组合中的每一个与编码阶段的最后全局平均池的对应项结合起来。在第3阶段插入一个3
×
3的conv-bn-relu算子以生成细节特征图。然后使用真实标签(ground-truth)作为细节特征图的指导，引导低层学习空间细节的特征。对于最终的语义分割预测，采用特征融合模块来融合来自编码器阶段3的生成的细节特征和来自解码器的对应特征，这两个阶段的特征处于不同的特征表示级别。来自编码骨干的特征保留了丰富的细节信息，而来自解码器的特征由于来自全局池化层的输
入而包含上下文信息。具体来说利用一个3
×
3的conv-bn-relu算子，后跟一个1
×
1卷积以获得输出维度n，将得到的特征图谱与最终特征融合模块的输出结果进行融合，采用上采样的操作恢复其空间分辨率，具有细节引导的特征图可以编码比呈现的上述结果更多的空间细节。采用交叉输入损失来优化语义分割学习任务。最后，将学习到的细节特征与来自解码器深度块的上下文特征融合起来进行分割预测。
94.基于上述实施例提供的方法，图像分割的过程具体可以为：
95.将图像输入至网络的短期密集连接模块中，该模块包括编码器和解码器。其中，编码器执行6个阶段的过程，在第一和第二个阶段对图像进行特征提取，获得特征图1；第三阶段以2的步幅对特征图1进行下采样，生成分辨率小于特征图1的特征图2，第四阶段以2的步幅对特征图2进行下采样，获得分辨率小于特征图2的特征图3，采用注意力模块进一步对特征图2进行特征提取，获得分辨率低于特征图2的注意力特征图a；第五阶段以2的步幅对特征图3进行全局池化，获得分辨率低于特征图3的特征图4，应用注意力模块进一步对特征图3进行特征提取，获得分辨率低于特征图3的注意力特征图b；应用解码器对注意力特征图a、注意力特征图b和特征图4进行上采样，使得上采样后获得的注意力特征图a’、注意力特征图b’和特征图4’的分辨率与特征图2一致；将注意力特征图a’、注意力特征图b’、特征图4’和特征图2进行特征融合，获得第一融合特征图；通过解码器对融合特征图进行上采样，获得分辨率与特征图1一致的第二融合特征图；第六阶段输出第二融合特征图。根据第二融合特征图获得图像分割结果。
96.上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。
97.与图1所述的方法相对应，本发明实施例还提供了一种图像分割装置，用于对图1中方法的具体实现，本发明实施例提供的图像分割装置可以应用计算机终端或各种移动设备中，其结构示意图如图4所示，具体包括：
98.获取单元401，用于获取待分割的目标图像；
99.下采样单元402，用于启用预先设置的短期密集连接网络中的编码器提取所述目标图像的初始特征图，并基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图；其中，各个所述上下文信息图之间的分辨率均不相同；
100.特征提取单元403，用于应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图；
101.上采样单元404，用于启用所述短期密集连接网络的解码器对所述最后一个上下文信息图及各个所述注意力特征图执行上采样操作，获得多个上采样特征图；各个所述上采样特征图的分辨率与首个上下文信息图的分辨率一致；
102.融合单元405，用于将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像；
103.图像分割单元406，用于将所述目标融合图像输入所述短期密集连接网络的分割器，通过所述分割器对所述目标融合图像进行图像分割，获得所述短期密集连接网络输出的图像分割结果。
104.应用本发明实施例提供的装置，可以应用编码器进行多次下采样，获得不同分辨
率的上下文信息图，再通过注意力模块进行特征提取，获得注意力特征图，通过上下文信息图和注意力特征图进行图像融合后再分割，以此提高图像分割精度。
105.本发明实施例提供的装置中，所述下采样单元402，包括：
106.确定子单元，用于确定所述编码器中包含的各个下采样层的下采样层数量及下采样层顺序；
107.下采样子单元，用于按照所述下采样层顺序，通过所述编码器执行与下采样层数量一致的下采样操作；
108.其中，将所述初始特征图作为第一次执行下采样操作的上一个上下文信息图，所述编码器执行当前的下采样操作的过程为：
109.确定上一个上下文信息图的分辨率；基于所述上一个上下文信息图的分辨率及所述步幅，设置当前待生成的上下文信息图的目标分辨率；按照所述目标分辨率对所述上一个上下文信息图进行全局池化，获得当前的下采样操作对应的上下文信息图。
110.本发明实施例提供的装置中，所述特征提取单元403，包括：
111.第一获取子单元，用于获取所述注意力模块中预先设置的conv-bn-relu算子对应的真实标签；
112.特征提取子单元，用于将所述真实标签作为细节特征的引导，应用所述conv-bn-relu算子对各个所述其他上下文信息图进行空间细节的特征提取，获得每个所述其他上下文信息图对应的注意力特征图。
113.本发明实施例提供的装置中，所述融合单元405，包括：
114.融合子单元，用于将各个所述上采样特征图与所述首个上下文信息图进行图像融合处理，获得分辨率与所述初始特征图一致的融合图像，获得初始融合图像，所述初始融合图像的分辨率与所述首个上下文信息图的分辨率一致；
115.上采样子单元，用于通过所述解码器对所述初始融合图像执行上采样操作，获得分辨率与所述初始特征图一致的目标融合图像。
116.以上本发明实施例公开的图像分割装置中各个单元及子单元的具体工作过程，可参见本发明上述实施例公开的图像分割方法中的对应内容，这里不再进行赘述。
117.需要说明的是，本发明提供的图像分割方法及装置可用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的图像分割方法及装置的应用领域进行限定。
118.本发明提供的图像分割方法及装置可用于金融领域或其他领域，例如，可用于金融领域中的监视银行网点的应用场景。其他领域为除金融领域之外的任意领域，例如，大数据领域。上述仅为示例，并不对本发明提供的图像分割方法及装置的应用领域进行限定。
119.本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述图像分割方法。
120.本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：
121.获取待分割的目标图像；
122.启用预先设置的短期密集连接网络中的编码器提取所述目标图像的初始特征图，
并基于所述初始特征图及预设的步幅执行多次下采样操作，获得每次执行下采样操作对应的上下文信息图；其中，各个所述上下文信息图之间的分辨率均不相同；
123.应用预先设置的注意力模块，对除了最后一个上下文信息图之外的其他上下文信息图进行特征提取，获得对每个所述其他上下文信息图进行特征提取后的注意力特征图；
124.启用所述短期密集连接网络的解码器对所述最后一个上下文信息图及各个所述注意力特征图执行上采样操作，获得多个上采样特征图；各个所述上采样特征图的分辨率与首个上下文信息图的分辨率一致；
125.将各个所述上采样特征图与所述首个上下文信息图进行融合处理，获得分辨率与所述初始特征图一致的目标融合图像；
126.将所述目标融合图像输入所述短期密集连接网络的分割器，通过所述分割器对所述目标融合图像进行图像分割，获得所述短期密集连接网络输出的图像分割结果。
127.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
128.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。
129.为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
130.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。