一种可学习采样的图像分割方法、计算机可读存储介质与流程

本发明涉及图像处理，具体涉及一种可学习采样的图像分割方法、计算机可读存储介质。

背景技术：

1、在工业生产过程中，常需要对工业产品成像，利用所获得的工业图像进行工业产品的检测，而工业图像的分割常常是其中一个重要的环节。

2、工业图像分割，类别失衡是一个常见的痛点问题，而高分辨率的工业图像，则更为严重。在实际的生产过程中，工业图像的分割目标，大多呈现“细小微弱”的特点，背景区域占图像内容的绝大部分，所需分割的前景目标像素数量较少，且前景目标类别之间各自占比差异同样悬殊，类别严重失衡，影响分割模型的最终分割性能。

3、现有技术中针对类别失衡有多种解决方法，例如不同类别分配不同权重、损失函数的组合选用、网络模型的改进等，这些方法在一定程度上，可以缓解这种类别失衡的状况，但在类别严重失衡时，这些方法效果不佳，在高分辨率图像上，分割精度更差。

技术实现思路

1、本发明主要解决类别失衡的图像其分割精度较低的技术问题。

2、根据第一方面，一种实施例中提供一种可学习采样的图像分割方法，包括：

3、获取待分割图像以及第一分辨率；

4、采用预训练的图像分割网络对所述待分割图像进行非均匀采样和图像分割处理，以获得具有所述第一分辨率的初始分割图像；

5、对所述初始分割图像进行反向采样以恢复至与所述待分割图像相同的分辨率，获得最终的分割图像；

6、其中，所述图像分割网络包括可学习非均匀图像采样模块和分割模块，所述采用预训练的图像分割网络对所述待分割图像进行非均匀采样和图像分割处理，以获得具有所述第一分辨率的初始分割图像，包括：

7、利用所述可学习非均匀图像采样模块预测将所述待分割图像采样至所述第一分辨率后各像素的重要性指标，并生成逐像素采样密度图，根据所述逐像素采样密度图将所述待分割图像采样至所述第一分辨率，获得非均匀采样图像，其中每个像素的采样密度与其重要性指标成正比；

8、将所述非均匀采样图像输入所述分割模块执行图像分割，得到所述初始分割图像。

9、一些实施例中，所述可学习非均匀图像采样模块包括定位网络、压缩网络和非均匀一致性采样器，所述利用所述可学习非均匀图像采样模块预测将所述待分割图像采样至所述第一分辨率后各像素的重要性指标，并生成逐像素采样密度图，根据所述逐像素采样密度图将所述待分割图像采样至所述第一分辨率，获得非均匀采样图像，包括：

10、对所述待分割图像执行缩放操作，获得分辨率为所述第一分辨率的缩放图像；

11、将所述缩放图像输入所述定位网络以对所述缩放图像各像素的重要性进行判断，得到具有所述第一分辨率的重要区域定位图；

12、将所述重要区域定位图输入所述压缩网络以将通道数降至1，获得区域显著性图，所述区域显著性图各像素的像素值表示该像素的显著性；

13、根据所述区域显著性图生成逐像素采样密度图，其中每个像素的采样密度与其显著性成正比；

14、将所述待分割图像和所述逐像素采样密度图输入所述非均匀一致性采样器，以根据所述逐像素采样密度图将所述待分割图像的像素值采样至所述非均匀采样图像的对应位置。

15、一些实施例中，所述定位网络包括多个标准卷积层，且第一个所述标准卷积层的输出通道数大于输入通道数，各个所述标准卷积层的输出通道数先增大或不变再减小，其中所述标准卷积层包括依次连接的一个卷积层、一个批标准化层和一个激活层。

16、一些实施例中，所述定位网络包括三个标准卷积层，且三个标准卷积层的输出通道数依次为μ×c、μ×c和c，其中c表示所述缩放图像的通道数，μ为预设值且为大于0的整数。

17、一些实施例中，所述压缩网络包括一个1×1标准卷积层，其中1×1标准卷积层包括依次连接的一个1×1卷积层、一个批标准化层和一个激活层。

18、一些实施例中，所述根据所述区域显著性图生成逐像素采样密度图包括：在通道维度采用softmax函数对所述区域显著性图进行归一化，得到所述逐像素采样密度图。

19、一些实施例中，所述图像分割网络按以下步骤进行训练：

20、获取训练样本图像和相应的分割标记图，以及第二分辨率；

21、利用所述可学习非均匀图像采样模块预测将所述训练样本图像采样至所述第二分辨率后各像素的重要性指标，并生成训练样本逐像素采样密度图，根据所述训练样本逐像素采样密度图将所述训练样本图像采样至所述第二分辨率，获得训练样本非均匀采样图像，其中每个像素的采样密度与其重要性指标成正比；

22、将所述训练样本非均匀采样图像输入所述分割模块执行图像分割，得到训练样本初始分割图像；

23、根据所述训练样本逐像素采样密度图将所述分割标记图采样至所述第二分辨率，得到采样标记图，根据所述采样标记图生成采样密度标记图；

24、根据总损失函数训练所述图像分割网络，所述总损失函数由第一损失函数和第二损失函数确定，其中第一损失函数为所述分割模块所执行的图像分割任务的损失函数，表示所述训练样本初始分割图像与所述采样标记图之间的误差，第二损失函数表示所述训练样本逐像素采样密度图与所述采样密度标记图之间的误差。

25、一些实施例中，所述第二损失函数的表达式为：

26、l2＝mse(dm,dgt)

27、其中mse()表示均方误差损失函数，dm表示所述训练样本逐像素采样密度图，dgt表示所述采样密度标记图。

28、一些实施例中，所述采样密度标记图由以下表达式确定：

29、dgt＝edge(gauss(la))，

30、其中la表示所述采样标记图，gauss()表示高斯平滑函数，edge()表示边缘检测函数。

31、一些实施例中，所述总损失函数的表达式为：

32、l＝αl1+βl2，

33、其中l1表示所述第一损失函数，l2表示所述第二损失函数，α和β分别为预设的权重系数。

34、根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述任一实施例所述的图像分割方法。

35、依据上述实施例的可学习采样的图像分割方法，基于深度学习技术构建图像分割网络，其中图像分割网络包括可学习非均匀图像采样模块和分割模块，可学习非均匀图像采样模块预测将待分割图像采样至第一分辨率后各像素的重要性指标，并生成逐像素采样密度图，根据逐像素采样密度图将待分割图像进行采样，其中每个像素的采样密度与其重要性指标成正比；分割模块用于对采样后的图像执行图像分割，得到初始分割图像，之后将初始分割图像恢复至原分辨率即完成整个图像分割过程。由于可学习非均匀图像采样模块可进行深度学习，通过学习，可学习非均匀图像采样模块能够学会自动增加对分割任务有益的区域(通常是像素数量少、难于分割的区域)的信息并减少对一般区域的关注，学习得到自适应采样策略，分割时预测出采样后各像素的重要性指标，对待分割图像进行非均匀的采样，采样密度与其重要性指标成正比，从而有利于对像素数量少、难于分割的区域进行过度采样，对像素数量多、易于分割的区域降采样，从根本上解决类别之间的失衡状况，以提升图像分割网络的分割精度。