困难图像样本挖掘方法、图像识别模型训练方法及设备与流程

本发明涉及人工智能，尤其涉及一种困难图像样本挖掘方法、图像识别模型训练方法及相关设备。

背景技术：

1、困难样本挖掘旨在找到数据集中模型拟合较差、识别(或者检测)效果较差的样本图像。训练模型时，加大模型对困难样本的训练权重可以提高模型在困难场景的表现，最终提高模型表现。一般来说，困难图像样本的挖掘是基于模型对样本图像的检测结果与样本图像对应的标准图像之间的损失值来进行挖掘的，将损失值大的样本图像作为困难图像样本，由于损失值是一个前向计算过程，仅考虑样本图像与标准图像之间存在的相对误差信息，而忽略样本本身存在的绝对困难信息，当标准值的质量不高时，所挖掘到的困难样本准确性较低，对于提高模型表现的作用不大。

技术实现思路

1、本发明实施例提供一种困难图像样本挖掘方法，旨在解决现有困难样本挖掘中仅考虑样本图像与标准图像之间存在的相对误差信息，而忽略样本图像本身存在的绝对困难信息，当标准图像的质量不高时，所挖掘到的困难样本准确性较低的问题。通过待挖掘样本图像与标准图像之间的损失值来得到待挖掘样本图像的梯度信息，通过待挖掘样本图像的梯度信息来对待挖掘样本图像进行梯度上升处理，得到梯度上升图像，通过梯度上升图像与待挖掘样本图像之间的相似度来确定困难图像样本，在考虑待挖掘样本图像与标准图像之间的相对困难信息下，同时考虑了待挖掘样本图像本身的困难信息，可以提高困难图像样本的挖掘准确性。

2、第一方面，本发明实施例提供一种困难图像样本挖掘方法，所述方法包括：

3、获取待优化特征提取模型以及待挖掘训练集，所述待挖掘训练集中包括多个样本图像对，每个样本图像对中包括一个待挖掘样本图像以及一个标准图像，所述待优化特征提取模型为已训练但欠优化的深度学习模型；

4、通过所述待优化特征提取模型确定所述待挖掘样本图像与所述标准图像之间的损失值，并基于所述损失值确定出所述待挖掘样本图像的梯度信息；

5、通过所述梯度信息对所述待挖掘样本图像进行梯度上升处理，得到所述待挖掘样本图像的梯度上升图像；

6、根据所述梯度上升图像与所述待挖掘样本图像之间的相似度，将相似度小于预设值的所述待挖掘样本图像确定为困难图像样本。

7、可选的，所述通过所述待优化特征提取模型确定所述待挖掘样本图像以及所述标准图像之间的损失值，并基于所述损失值确定出所述待挖掘样本图像的梯度信息，包括：

8、通过所述待优化特征提取模型分别对所述待挖掘样本图像以及所述标准图像进行特征提取处理，得到所述待挖掘样本图像对应的第一图像特征以及所述标准图像对应的第二图像特征；

9、计算所述第一图像特征与所述第二图像特征之间的损失值，并根据所述损失值确定所述待挖掘样本图像的梯度信息。

10、可选的，所述计算所述第一图像特征与所述第二图像特征之间的损失值，并根据所述损失值确定所述待挖掘样本图像的梯度信息，包括：

11、计算所述第一图像特征与所述第二图像特征之间的第一特征相似度；

12、基于所述第一特征相似度计算出所述第一图像特征与所述第二图像特征之间的损失值；

13、固定所述待优化特征提取模型的模型参数，通过所述损失值对所述待挖掘样本图像进行求导，得到所述待挖掘样本图像的梯度信息。

14、可选的，所述通过所述梯度信息对所述待挖掘样本图像进行梯度上升处理，得到所述待挖掘样本图像的梯度上升图像，包括：

15、通过预设的多个高斯平滑卷积核依次对所述梯度信息进行平滑处理，得到目标梯度信息，多个所述高斯平滑卷积核的参数依次减小；

16、通过所述目标梯度信息对所述待挖掘样本图像进行梯度上升处理，得到所述待挖掘样本图像的梯度上升图像。

17、可选的，所述通过所述目标梯度信息按预设的梯度上升步长对所述待挖掘样本图像进行梯度上升处理，得到所述待挖掘样本图像的梯度上升图像，包括：

18、确定梯度上升步长；

19、计算所述梯度上升步长与所述梯度信息之间的乘积，得到上升梯度信息；

20、将所述上升梯度信息与所述待挖掘样本图像进行相加处理，得到所述待挖掘样本图像的梯度上升图像。

21、可选的，所述根据所述梯度上升图像与所述待挖掘样本图像之间的相似度，将相似度小于预设值的所述待挖掘样本图像确定为困难图像样本，包括：

22、通过所述待优化特征提取模型确定所述梯度上升图像与所述待挖掘样本图像之间的第二特征相似度；

23、若所述第二特征相似度小于预设的相似度阈值，则将所述待挖掘样本图像确定为困难图像样本。

24、第二方面，本发明实施例还提供了一种图像识别模型训练方法，所述方法包括：

25、获取待优化特征提取模型以及困难图像样本，所述困难图像样本根据如本发明实施例中任一所述困难图像样本挖掘方法得到；

26、将所述困难图像样本加入到对所述待优化特征提取模型的训练过程中，在训练完成后得到训练好的图像识别模型。

27、第三方面，本发明实施例还提供了一种困难图像样本挖掘装置，所述困难图像样本挖掘装置包括：

28、第一获取模块，用于获取待优化特征提取模型以及待挖掘训练集，所述待挖掘训练集中包括多个样本图像对，每个样本图像对中包括一个待挖掘样本图像以及一个标准图像，所述待优化特征提取模型为已训练但欠优化的深度学习模型；

29、第一处理模块，用于通过所述待优化特征提取模型确定所述待挖掘样本图像以及所述标准图像之间的损失值，并基于所述损失值确定出所述待挖掘样本图像的梯度信息；

30、第二处理模块，用于通过所述梯度信息对所述待挖掘样本图像进行梯度上升处理，得到所述待挖掘样本图像的梯度上升图像；

31、挖掘模块，用于根据所述梯度上升图像与所述待挖掘样本图像之间的相似度，将相似度小于预设值的所述待挖掘样本图像确定为困难图像样本。

32、第四方面，本发明实施例提供一种图像识别模型训练装置，所述图像识别模型训练装置包括：

33、第二获取模块，用于获取待优化特征提取模型以及困难图像样本，所述困难图像样本根据如本发明实施例中任一所述困难图像样本挖掘方法得到；

34、训练模块，用于将所述困难图像样本加入到对所述待优化特征提取模型的训练过程中，在训练完成后得到训练好的图像识别模型。

35、第五方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的困难图像样本挖掘方法中的步骤，或者所述处理器执行所述计算机程序时实现本发明实施例提供的图像识别模型训练方法中的步骤。

36、第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的困难图像样本挖掘方法中的步骤，所述计算机程序被处理器执行时实现发明实施例提供的图像识别模型训练方法中的步骤。

37、本发明实施例中，获取待优化特征提取模型以及待挖掘训练集，所述待挖掘训练集中包括多个样本图像对，每个样本图像对中包括一个待挖掘样本图像以及一个标准图像，所述待优化特征提取模型为已训练但欠优化的深度学习模型；通过所述待优化特征提取模型确定所述待挖掘样本图像与所述标准图像之间的损失值，并基于所述损失值确定出所述待挖掘样本图像的梯度信息；通过所述梯度信息对所述待挖掘样本图像进行梯度上升处理，得到所述待挖掘样本图像的梯度上升图像；根据所述梯度上升图像与所述待挖掘样本图像之间的相似度，将相似度小于预设值的所述待挖掘样本图像确定为困难图像样本。通过待挖掘样本图像与标准图像之间的损失值来得到待挖掘样本图像的梯度信息，通过待挖掘样本图像的梯度信息来对待挖掘样本图像进行梯度上升处理，得到梯度上升图像，通过梯度上升图像与待挖掘样本图像之间的相似度来确定困难图像样本，在考虑待挖掘样本图像与标准图像之间的相对困难信息下，同时考虑了待挖掘样本图像本身的困难信息，可以提高困难图像样本的挖掘准确性。