图像处理方法、装置、计算机设备及存储介质与流程

本技术涉及图像处理，特别涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术：

1、图像是一类广泛应用于各类业务场景的信号，虽然在互联网中广泛存在大量的图像，但这些图像中既包含噪声图像也包含干净图像，需要利用昂贵的人力，来人工剔除掉噪声图像，并对干净图像进行类别标注。

2、由于人力资源有限，在实际业务场景中普遍存在干净图像的样本不足的情况，因此，亟需一种能够精准筛选从海量互联网图像中筛选得到干净图像，并对干净图像进行类别标注的方法。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够在极大压缩目标图像的筛选成本的条件下，提升了对目标图像的识别精准度。该技术方案如下：

2、一方面，提供了一种图像处理方法，该方法包括：

3、基于多个图像类别进行关键词搜索，得到多个搜索图像，其中，每个图像类别与多个搜索图像相关联；

4、对所述多个搜索图像进行预筛选，得到多个备选图像；

5、基于所述多个备选图像的图像特征和所述多个图像类别的类别特征，对所述多个备选图像进行分类，得到多个干净图像和至少一个噪声图像；

6、从所述多个干净图像中，剔除与所述噪声图像符合相似条件的含噪图像，得到多个候选目标图像；

7、基于所述多个图像类别的文本信息，对所述多个候选目标图像进行过滤，得到至少一个目标图像。

8、一方面，提供了一种图像处理装置，该装置包括：

9、搜索模块，用于基于多个图像类别进行关键词搜索，得到多个搜索图像，其中，每个图像类别与多个搜索图像相关联；

10、预筛选模块，用于对所述多个搜索图像进行预筛选，得到多个备选图像；

11、分类模块，用于基于所述多个备选图像的图像特征和所述多个图像类别的类别特征，对所述多个备选图像进行分类，得到多个干净图像和至少一个噪声图像；

12、剔除模块，用于从所述多个干净图像中，剔除与所述噪声图像符合相似条件的含噪图像，得到多个候选目标图像；

13、过滤模块，用于基于所述多个图像类别的文本信息，对所述多个候选目标图像进行过滤，得到至少一个目标图像。

14、在一些实施例中，所述分类模块包括：

15、概率预测单元，用于对所述多个备选图像中任一备选图像，基于所述备选图像的图像特征，获取所述备选图像属于每个图像类别的预测概率；

16、相似度获取单元，用于基于所述备选图像的图像特征和每个图像类别的类别特征，获取所述备选图像与每个图像类别的类别相似度；

17、确定单元，用于基于所述多个图像类别的所述预测概率和所述类别相似度，确定所述备选图像属于每个图像类别的置信度；

18、分类单元，用于基于所述多个图像类别的所述置信度，对所述备选图像进行分类，其中，所述分类的结果指示所述备选图像属于所述干净图像还是所述噪声图像。

19、在一些实施例中，所述分类单元用于：

20、在所述多个图像类别中的最大置信度大于第一置信阈值的情况下，将所述备选图像分类为所述干净图像，所述干净图像的图像类别为所述最大置信度关联的图像类别；

21、在所述最大置信度小于或等于所述第一置信阈值的情况下，确定原始类别的置信度，所述原始类别是指搜索所述备选图像使用的图像类别；

22、在所述原始类别的置信度大于第二置信阈值的情况下，将所述备选图像分类为所述干净图像，所述干净图像的图像类别为所述原始类别；

23、在所述原始类别的置信度小于或等于所述第二置信阈值的情况下，将所述备选图像分类为所述噪声图像。

24、在一些实施例中，所述装置还包括：

25、特征提取模块，用于将所述备选图像输入特征提取模型，通过所述特征提取模型对所述备选图像进行卷积运算，得到所述备选图像的图像特征；其中，所述特征提取模型基于多个训练样本对以对比学习方式训练得到，每个训练样本对包括一个训练图像和一个基于所述训练图像变换得到的合成图像，所述对比学习方式是指控制所述训练图像和所述合成图像的特征相似，且控制所述训练样本对与其他训练样本对的特征不相似。

26、在一些实施例中，所述装置还包括类别特征更新模块，用于：

27、对任一图像类别，确定已分类到所述图像类别的多个训练样本；

28、将所述多个训练样本的图像特征的平均特征，确定为所述图像类别的类别特征；

29、每当新的训练样本再分类到所述图像类别时，基于所述新的训练样本的图像特征，更新所述图像类别的类别特征。

30、在一些实施例中，所述装置还包括领域数据增强模块，用于：

31、对所述特征提取模型的每个训练样本，通过领域分类模型对所述训练样本的业务领域进行预测，得到所述训练样本的领域概率，所述领域概率表征所述训练样本是否属于目标业务领域的可能性；

32、基于所述领域概率，确定对所述训练样本的变换概率，所述变换概率表征对所述训练样本进行随机数据增强的可能性；

33、按照所述变换概率，对所述训练样本进行数据增强，得到所述训练样本的增强样本。

34、在一些实施例中，所述装置还包括：

35、样本合成模块，用于对所述特征提取模型的每个训练样本，按照第一扰动概率，基于所述训练样本和其他训练样本合成目标训练样本；或，

36、类别设定模块，用于按照第二扰动概率，将所述训练样本的原始类别设定为除了所述原始类别以外的任一可能的类别。

37、在一些实施例中，所述剔除模块用于：

38、对所述多个干净图像中的任一干净图像，获取所述干净图像的图像特征与所述至少一个噪声图像的图像特征之间的多个噪声相似度；

39、在所述多个噪声相似度中任一噪声相似度大于相似阈值的情况下，将所述干净图像确定为所述含噪图像，剔除所述含噪图像。

40、在一些实施例中，每个图像类别的文本信息包括多个文本提示符，所述文本提示符表征所述图像类别下的图像风格描述；

41、所述过滤模块用于：

42、获取每个图像类别的多个文本提示符各自的多个文本特征；

43、对所述多个候选目标图像中的任一候选目标图像，获取所述候选目标图像的图像特征与每个图像类别的多个文本特征之间的多个文本相似度；

44、确定每个图像类别的所述多个文本相似度中的最大文本相似度，按照所述最大文本相似度从大到小的顺序，对所述多个图像类别进行排序；

45、在所述候选目标图像的图像类别在所述排序中位于前目标位的情况下，将所述候选目标图像确定为所述目标图像。

46、在一些实施例中，所述预筛选模块用于执行以下任一项或者至少两项的组合：

47、从所述多个搜索图像中，剔除不符合尺寸条件的搜索图像，所述尺寸条件表征所述备选图像的最小宽度或最小高度；

48、从所述多个搜索图像中，剔除不符合灰度条件的搜索图像，所述灰度条件表征所述备选图像中最高频次的灰度值的最大占比；

49、从所述多个搜索图像中，剔除与任一备选图像之间的图像相似度符合重复条件的搜索图像；

50、从所述多个搜索图像中，剔除符合破损条件的搜索图像，所述破损条件表征在经过格式转换后无法加载的搜索图像。

51、一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述图像处理方法。

52、一方面，提供了一种存储介质，该存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如上述图像处理方法。

53、一方面，提供一种计算机程序产品，所述计算机程序产品包括一条或多条计算机程序，所述一条或多条计算机程序存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条计算机程序，所述一个或多个处理器执行所述一条或多条计算机程序，使得计算机设备能够执行上述图像处理方法。

54、本技术实施例提供的技术方案带来的有益效果至少包括：

55、通过对搜索图像预筛选，能够粗略筛选掉一部分噪声样本，得到备选图像，再引入图像特征和类别特征，将备选图像划分成干净图像和噪声图像两类，然后在干净图像的基础上，利用噪声图像进行以图搜图，剔除与噪声图像高度相似的含噪图像，得到候选目标图像，最后在候选目标图像的基础上，引入图像类别的文本信息，通过文本模态和图像模态的交互，对候选目标图像进行深度过滤，得到最终的目标图像，这样不但能够剔除掉关键词为多义词、歧义词等情况下搜索到的噪声图像，而且还能够剔除掉与噪声图像高度相似的含噪图像，并且还能够剔除掉与文本模态不匹配的候选目标图像，使得最终的目标图像具有极高的识别精准度，并且目标图像天然携带图像类别，无需人工标注，在极大压缩目标图像的筛选成本的条件下，提升了对目标图像的识别精准度。