图像分类方法、装置、计算机设备及存储介质与流程

本技术涉及图像处理领域，具体涉及一种图像分类方法、装置、计算机设备及存储介质。

背景技术：

1、随着科技的快速发展，图像的种类越来越丰富，因此，可以对图像进行分类。目前，在对图像进行分类的过程中，先获取待分类的图像，然后将图像输入分类网络，通过分类网络提取图像的特征，并基于图像的特征对图像进行分类，得到图像对应的类别。然而，这种图像分类方式，仅仅是基于图像的特征进行图像分类，导致图像分类的准确性较低。

技术实现思路

1、本技术实施例提供一种图像分类方法、装置、计算机设备及存储介质，可以提高对图像分类的准确性。

2、为解决上述技术问题，本技术实施例提供以下技术方案：

3、本技术实施例提供了一种图像分类方法，包括：

4、获取待分类的图像，并对所述图像进行特征提取，得到所述图像对应的特征图；

5、基于所述特征图对所述图像进行第一次类别识别，得到所述图像的初始分类结果，所述初始分类结果包括所述图像所属的类别和置信度；

6、根据所述特征图的特征位置和所述置信度，计算所述特征图针对所述图像的类别识别的重要性权值；

7、根据所述重要性权值对所述特征图进行聚合，生成用于表征解释所述图像为所述类别的描述信息；

8、基于所述描述信息对所述图像进行第二次类别识别，得到所述图像的目标分类结果，所述目标分类结果用于指示所述图像所属的目标类别。

9、根据本技术的一个方面，还提供了一种图像分类装置，包括：

10、获取单元，用于获取待分类的图像，并对所述图像进行特征提取，得到所述图像对应的特征图；

11、第一识别单元，用于基于所述特征图对所述图像进行第一次类别识别，得到所述图像的初始分类结果，所述初始分类结果包括所述图像所属的类别和置信度；

12、确定单元，用于根据所述特征图的特征位置和所述置信度，确定所述特征图针对所述图像的类别识别的重要性权值；

13、聚合单元，用于根据所述重要性权值对所述特征图进行聚合，生成用于表征解释所述图像为所述类别的描述信息；

14、第二识别单元，用于基于所述描述信息对所述图像进行第二次类别识别，得到所述图像的目标分类结果，所述目标分类结果用于指示所述图像所属的目标类别。

15、在一些实施方式中，所述第一识别单元具体用于，通过分类网络基于所述特征图对所述图像进行第一次类别识别，得到所述图像的初始分类结果；

16、所述第二识别单元具体用于，通过反馈网络基于所述描述信息对所述图像进行第二次类别识别，得到所述图像的目标分类结果。

17、在一些实施方式中，所述图像分类装置还包括：

18、样本获取单元，用于获取训练样本，所述训练样本包括样本图像及其对应的分类标签和样本分数；

19、第一预测单元，用于通过分类网络对所述样本图像进行特征提取，得到所述样本图像对应的样本特征图，并基于所述样本特征图对所述样本图像进行第一次类别预测，得到预测标签和预测分数；

20、权值计算单元，用于根据所述样本特征图的特征位置和所述预测分数，计算所述样本特征图针对所述样本图像的类别预测的样本重要性权值；

21、样本聚合单元，用于根据所述样本重要性权值对所述样本特征图进行聚合，生成用于表征解释所述样本图像所属所述预测标签的样本描述信息；

22、第二预测单元，用于通过反馈网络基于所述样本描述信息对所述样本图像进行第二次类别预测，得到目标预测标签；

23、损失计算单元，用于计算所述预测标签和所述分类标签之间的差异，得到第一损失，以及计算所述目标预测标签和所述分类标签之间的差异，得到第二损失；

24、调整单元，用于根据所述第一损失调整所述分类网络的参数，以及根据所述第二损失调整所述反馈网络的参数，直至满足预设停止条件。

25、在一些实施方式中，所述样本特征图包括基于分类网络的多个特征提取层依次对所述样本图像进行特征提取，得到的各特征提取层对应的多个通道的样本特征图，

26、在一些实施方式中，所述样本聚合单元具体用于：

27、从多个特征提取层中筛选出满足预设语义条件的特征提取层，得到目标特征提取层；

28、根据所述目标特征提取层提取的样本特征图对应的样本重要性权值，对所述目标特征提取层的多个通道的样本特征图进行聚合，生成用于表征解释所述样本图像所属所述预测标签的样本描述信息。

29、在一些实施方式中，所述训练样本还包括所述样本图像对应的类别描述信息，所述第二预测单元具体用于：

30、基于所述类别描述信息和所述样本描述信息生成描述信息集合；

31、从所述描述信息集合中选择目标描述信息；

32、通过反馈网络基于所述目标描述信息，对所述样本图像进行第二次类别预测，得到目标预测标签。

33、在一些实施方式中，所述第二预测单元具体用于：

34、基于所述目标描述信息，生成表征所述样本图像的特征重要性分布的样本热力图；

35、将所述样本图像和所述样本热力图进行融合，得到融合后图像；

36、通过反馈网络根据所述融合后图像对所述样本图像进行第二次类别预测，得到目标预测标签。

37、在一些实施方式中，所述图像分类装置还包括：

38、搜索单元，用于根据所述目标分类结果，搜索与所述图像所属的目标类别匹配的目标图像，并对所述目标图像进行显示或推送；

39、存储单元，用于根据所述目标分类结果，将所述图像存储至与所述图像所属的目标类别匹配的存储空间；

40、生成单元，用于根据所述目标分类结果，生成与所述图像所属的目标类别匹配的内容。

41、根据本技术的一个方面，还提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术实施例提供的任一种图像分类方法。

42、根据本技术的一个方面，还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行本技术实施例提供的任一种图像分类方法。

43、根据本技术的一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器加载，以执行本技术实施例提供的任一种图像分类方法。

44、本技术可以获取待分类的图像，并对图像进行特征提取，得到图像对应的特征图；然后，基于特征图对图像进行第一次类别识别，得到图像的初始分类结果，该初始分类结果包括图像所属的类别和置信度；其次，可以根据特征图的特征位置和置信度，确定特征图针对图像的类别识别的重要性权值；以及，根据重要性权值对特征图进行聚合，生成用于表征解释图像为类别的描述信息；此时，可以基于描述信息对图像进行第二次类别识别，得到图像的目标分类结果，目标分类结果用于指示图像所属的目标类别。该方案通过第一次类别识别的初始分类结果，自动化的反馈到第二次类别识别，结合了自发和反馈思考，模仿了人类思维过程，提升了图像分类的效果，并且，基于特征图的重要性权值对特征图进行聚合，生成有意义解释且更强语义表示的描述信息，帮助准确识别图像所属类别，从而实现了结合人类的反馈思维模式和机器学习的能力，通过生成描述信息来提高图像分类的准确性。