图像分割分类方法及装置

本申请涉及图像处理，尤其是图像分割分类方法及装置。

背景技术：

1、图像分类和图像分割均为计算机视觉（computer vision，cv）领域中常见的处理任务。其中，图像分割是一项将图像分成若干个特定的区域并提出感兴趣区域的技术，而图像分类则为一项确定图像的整体类别或标签的技术。一部分相关技术通常将图像分类任务和图像分割任务视为两个相互独立的任务，例如通过分类模型来实现图像分类，同时通过分割模型来实现图像分割；而另一部分相关技术则尝试探索图像分类任务和图像分割任务之间的相关性，然而它们往往使用一者信息来辅助处理另一者信息，例如使用分割结果来辅助实现图像分类。可见，相关技术中鲜少有对图像分类任务和图像分割任务进行同步处理的方式，图像分类效率和图像分割效率有待提高。此外，由于分割模型通常输出高维图像矩阵，而分类模型通常输出低维向量，单一的分割网络结构或者分类网络结构难以同时输出不同尺寸的结果，因此图像分类任务和图像分割任务的联合处理成为了一项重大挑战。

技术实现思路

1、本申请实施例提供了图像分割分类方法及装置，用于同时实现图像分类和图像分割。

2、一方面，本申请实施例提供了图像分割分类方法，包括以下步骤：

3、获取目标图像，所述目标图像包括目标区域；

4、通过预先训练的神经网络模型对所述目标图像进行分割处理和分类处理，得到所述目标区域的轮廓图和分类结果；其中，所述神经网络模型包括：

5、编码器-解码器结构，用于对所述目标图像进行特征提取，得到初始特征图和多个解码特征图；

6、第一分割模块，用于根据所述初始特征图，得到分割特征图；

7、第一分类模块，用于根据所述初始特征图和各所述解码特征图，得到分类特征图；

8、信息交互模块，用于将所述分割特征图和所述分类特征图进行特征交互，得到目标分割特征和目标分类特征；

9、第二分割模块，用于根据所述目标分割特征，得到所述目标区域的轮廓图；

10、第二分类模块，用于根据所述目标分类特征，得到所述目标区域的分类结果。

11、另一方面，本申请实施例提供了图像分割分类装置，包括：

12、获取模块，用于获取目标图像，所述目标图像包括目标区域；

13、图像分割分类模块，用于通过预先训练的神经网络模型对所述目标图像进行分割处理和分类处理，得到所述目标区域的轮廓图和分类结果；其中，所述神经网络模型包括：

14、编码器-解码器结构，用于对所述目标图像进行特征提取，得到初始特征图和多个解码特征图；

15、第一分割模块，用于根据所述初始特征图，得到分割特征图；

16、第一分类模块，用于根据所述初始特征图和各所述解码特征图，得到分类特征图；

17、信息交互模块，用于将所述分割特征图和所述分类特征图进行特征交互，得到目标分割特征和目标分类特征；

18、第二分割模块，用于根据所述目标分割特征，得到所述目标区域的轮廓图；

19、第二分类模块，用于根据所述目标分类特征，得到所述目标区域的分类结果。

20、本申请的有益效果是：提供图像分割分类方法及装置，首先，获取目标图像，目标图像包括目标区域；然后，通过预先训练的神经网络模型对目标图像进行分割处理和分类处理，得到目标区域的轮廓图和分类结果，其中，该神经网络模型包括编码器-解码器结构、第一分割模块、第一分类模块、信息交互模块、第二分割模块和第二分类模块；编码器-解码器结构用于对目标图像进行特征提取，得到初始特征图和多个解码特征图；第一分割模块用于根据初始特征图，得到分割特征图；第一分类模块用于根据初始特征图和各解码特征图，得到分类特征图；信息交互模块用于将分割特征图和分类特征图进行特征交互，得到目标分割特征和目标分类特征；第二分割模块用于根据目标分割特征，得到目标区域的轮廓图；第二分类模块用于根据目标分类特征，得到目标区域的分类结果。如此，本申请实施例实现图像分类任务和图像分割任务的同步处理，能够有效地提高图像分类任务和图像分割任务的准确性和效率。

技术特征：

1.一种图像分割分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的图像分割分类方法，其特征在于，所述对所述目标图像进行特征提取，得到初始特征图和多个解码特征图，包括：

3.根据权利要求1所述的图像分割分类方法，其特征在于，所述根据所述初始特征图，得到分割特征图，包括：

4.根据权利要求1所述的图像分割分类方法，其特征在于，所述根据所述初始特征图和各所述解码特征图，得到分类特征图，包括：

5.根据权利要求1所述的图像分割分类方法，其特征在于，所述将所述分割特征图和所述分类特征图进行特征交互，得到目标分割特征和目标分类特征，包括：

6.根据权利要求1所述的图像分割分类方法，其特征在于，所述根据所述目标分割特征，得到所述目标区域的轮廓图，包括：

7.根据权利要求1所述的图像分割分类方法，其特征在于，所述根据所述目标分类特征，得到所述目标区域的分类结果，包括：

8.根据权利要求1所述的图像分割分类方法，其特征在于，所述方法还包括以下步骤：

9.根据权利要求1所述的图像分割分类方法，其特征在于，在通过预先训练的神经网络模型对所述目标图像进行分割处理和分类处理之前，所述方法还包括以下步骤：

10.一种图像分割分类装置，其特征在于，包括：

技术总结
本申请公开了图像分割分类方法及装置，应用于图像处理技术领域，方法包括：获取包括目标区域的目标图像，通过神经网络模型对目标图像进行分割和分类，得到目标区域的轮廓图和分类结果；在该模型中，编码器‑解码器结构对目标图像进行特征提取，得到初始特征图和多个解码特征图，第一分割模块通过初始特征图来得到分割特征图，第一分类模块通过初始特征图和各解码特征图来得到分类特征图，信息交互模块将分割特征图和分类特征图进行特征交互，得到目标分割特征和目标分类特征，第二分割模块通过目标分割特征来得到目标区域的轮廓图，第二分类模块通过目标分类特征来得到目标区域的分类结果。本申请能够同时实现图像分类和图像分割。

技术研发人员：马祥园,梁仕彬,许梓壁,郭宏彬,梁蔚,黄展耀,黄祉泳,郝宇瑞,张政,黎秋宏,罗宁,郑童榉
受保护的技术使用者：汕头大学
技术研发日：
技术公布日：2024/12/30