人工智能模型识别能力优化方法、装置、电子设备与流程

本技术涉及计算机，具体而言，本技术涉及一种人工智能模型识别能力优化方法、装置、电子设备及存储介质。

背景技术：

1、图像识别，是指利用计算机通过图像识别模型对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。图像识别技术的产生以及更新成为当下十分重要的发展方向，同时表现出了良好的发展前景，在信息收集、医疗以及产品安全等方面，都已经开始广泛运用图像识别技术，发挥了非常大的作用。

2、现有技术的方案中，通常采用faster r-cnn(一种神经网络名称)框架对图像识别的模型进行类别不均衡的遥感图像在线持续学习，使用蓄水池算法进行基础数据的保存和重放。但上述方法缓存的数据样本不能较好地表征基础数据的特征，可能会造成严重的模型遗忘问题。且在新数据流输入下，无法较好的保证模型的稳定性和可塑性，导致模型整体的识别精度偏低。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一，本技术实施例所提供的技术方案如下：

2、第一方面，本技术实施例提供了一种人工智能模型识别能力优化方法，包括：

3、获取第一图像识别模型；其中，第一图像识别模型是基于第一特征训练集训练得到的；第一特征训练集对应至少一个第一领域；每一第一领域包括至少一个第一样本图像；每一第一样本图像有对应的第一样本标签；

4、获取第二图像识别模型；其中，第二图像识别模型是基于第二特征训练集训练得到的；第二特征训练集对应至少一个第二领域；每一第二领域包括至少一个第二样本图像；每一第二样本图像有对应的第二样本标签；每一第二领域与各第一领域均不相同；

5、基于第一图像识别模型获取第三图像识别模型；

6、基于第一特征训练集和第二特征训练集获取第三特征训练集；第三特征训练集包括至少一个第三样本图像；每一第三样本图像有对应的第三样本标签；

7、基于第三特征训练集对第三图像识别模型进行至少一次训练操作，直至符合训练结束条件，得到训练好的图像识别模型；

8、其中，训练操作包括：

9、对于每一第三样本图像，将第三样本图像输入至第一图像识别模型得到第一图像检测结果；将第三样本图像输入至第二图像识别模型得到第二图像检测结果；将第三样本图像输入至第三图像识别模型得到第三图像检测结果；

10、基于第一图像检测结果与第三图像检测结果之间的第一差异、第二图像检测结果与第三图像检测结果之间的第二差异以及第三图像检测结果与第三样本标签之间的第三差异，确定总训练损失；

11、基于总训练损失调整第三图像识别模型的参数，将调整参数后的第三图像识别模型作为下一次训练操作对应的第三图像识别模型。

12、在本技术的一种可选实施例中，基于第一特征训练集和第二特征训练集获取第三特征训练集，具体包括：

13、从第一特征训练集中获取至少一个第一样本图像，并将所获取的至少一个第一样本图像添加到第二特征训练集中，得到第三特征训练集。

14、在本技术的一种可选实施例中，从第一特征训练集中获取至少一个第一样本图像，并将所获取的至少一个第一样本图像添加到第二特征训练集中，得到第三特征训练集，具体包括：

15、对第一特征训练集执行至少一次筛选操作，得到每一筛选操作对应的目标训练集；

16、将目标训练集添加到第二特征训练集中，直至第二特征训练集中的样本数量符合第一预设数量，则得到第三特征训练集；

17、其中，对第一特征训练集执行至少一次筛选操作，得到每一筛选操作对应的目标训练集，具体包括：

18、从第一特征训练集中获取第一目标样本图像，并基于第一目标样本图像，计算第一特征训练集中各第二目标样本图像与第一目标样本图像的第一相似度；其中，第二目标样本图像为第一特征训练集中未被选取到的样本图像；

19、将各第二目标样本图像按第一相似度从小至大进行排序，并基于排序结果中排序靠前的第二预设数量的第二目标样本图像和第一目标样本图像生成目标训练集。

20、在本技术的一种可选实施例中，若第一目标样本图像为首次筛选操作对应的；

21、从第一特征训练集中获取第一目标样本图像，具体包括：

22、从第一特征训练集中随机选取任一第一样本图像作为第一目标样本图像；

23、若第一目标样本图像非首次筛选操作对应的；从第一特征训练集中获取第一目标样本图像，包括：

24、对于每一第二目标样本图像，获取第二目标样本图像与各已被选取的目标样本图像的第二相似度，并计算各第二相似度的平均值；

25、将各第二相似度的平均值最小的第二目标样本图像作为第一目标样本图像。

26、在本技术的一种可选实施例中，计算第一特征训练集中各第二目标样本图像与第一目标样本图像的第一相似度，具体包括：

27、获取第一目标样本图像的第一均值、第一方差，并获取各第二目标样本图像的第二均值、第二方差，确定第一目标样本图像与各第二目标样本图像之间的协方差；

28、对于每一第二目标样本图像，基于第一均值和第二均值计算第二目标样本图像与第一目标样本图像的亮度相似度；基于第一方差、第二方差计算第二目标样本图像与第一目标样本图像的对比度相似度；基于第一方差、第二方差与协方差计算第二目标样本图像与第一目标样本图像的结构相似度；

29、基于亮度相似度、对比度相似度以及结构相似度计算第二目标样本图像和第一目标样本图像的第一相似度。

30、在本技术的一种可选实施例中，基于第一图像检测结果与第三图像检测结果之间的第一差异、第二图像检测结果与第三图像检测结果之间的第二差异以及第三图像检测结果与第三样本标签之间的第三差异，确定总训练损失，具体包括：

31、获取第一差异对应的第一系数，获取第二差异对应的第二系数，获取第三差异对应的第三系数；

32、基于第一系数、第一差异、第二系数、第二差异确定第三图像识别模型的特征优化损失，并基于第三系数和第三差异确定第三图像识别模型的检测器损失；

33、基于特征优化损失和检测器损失确定总训练损失。

34、在本技术的一种可选实施例中，第一差异、第二差异通过如下方式获取，具体包括：

35、获取第三样本图像中的第一检测目标的第一掩码以及背景区域的第二掩码；

36、获取第三样本图像中的第二检测目标的第三掩码；

37、确定第三图像检测结果与第一图像检测结果的第三相似度，确定第三图像检测结果与第二图像检测结果的第四相似度；

38、基于第一图像检测结果获取第三样本图像中第一检测目标对应的第一像素数和背景区域对应的第二像素数，基于第二图像检测结果获取第三样本图像中第二检测目标对应的第三像素数；

39、基于第三相似度、第一掩码、第一像素数计算第一图像检测结果与第三图像检测结果之间关于第一检测目标的第四差异；

40、基于第三相似度、第三掩码、第二像素数计算第一图像检测结果与第三图像检测结果之间关于背景区域的第五差异；

41、基于关于第四差异和关于第五差异计算第一差异；

42、基于第四相似度、第二掩码、第三像素数计算第二差异。

43、第二方面，本技术实施例提供了一种人工智能模型识别能力优化装置，包括：

44、第一图像识别模型获取模块，用于获取第一图像识别模型；其中，第一图像识别模型是基于第一特征训练集训练得到的；第一特征训练集对应至少一个第一领域；每一第一领域包括至少一个第一样本图像；每一第一样本图像有对应的第一样本标签；

45、第二图像识别模型获取模块，用于获取第二图像识别模型；其中，第二图像识别模型是基于第二特征训练集训练得到的；第二特征训练集对应至少一个第二领域；每一第二领域包括至少一个第二样本图像；每一第二样本图像有对应的第二样本标签；每一第二领域与各第一领域均不相同；

46、第三图像识别模型获取模块，用于基于第一图像识别模型获取第三图像识别模型；

47、特征训练集获取模块，用于基于第一特征训练集和第二特征训练集获取第三特征训练集；第三特征训练集包括至少一个第三样本图像；每一第三样本图像有对应的第三样本标签；

48、图像识别模型训练模块，用于基于第三特征训练集对第三图像识别模型进行至少一次训练操作，直至符合训练结束条件，得到训练好的图像识别模型；

49、其中，图像识别模型训练模块具体用于：

50、对于每一第三样本图像，将第三样本图像输入至第一图像识别模型得到第一图像检测结果；将第三样本图像输入至第二图像识别模型得到第二图像检测结果；将第三样本图像输入至第三图像识别模型得到第三图像检测结果；

51、基于第一图像检测结果与第三图像检测结果之间的第一差异、第二图像检测结果与第三图像检测结果之间的第二差异以及第三图像检测结果与第三样本标签之间的第三差异，确定总训练损失；

52、基于总训练损失调整第三图像识别模型的参数，将调整参数后的第三图像识别模型作为下一次训练操作对应的第三图像识别模型。

53、在本技术的一种可选实施例中，特征训练集获取模块具体用于：

54、从第一特征训练集中获取至少一个第一样本图像，并将所获取的至少一个第一样本图像添加到第二特征训练集中，得到第三特征训练集。

55、在本技术的一种可选实施例中，特征训练集获取模块进一步用于：

56、对第一特征训练集执行至少一次筛选操作，得到每一筛选操作对应的目标训练集；

57、将目标训练集添加到第二特征训练集中，直至第二特征训练集中的样本数量符合第一预设数量，则得到第三特征训练集；

58、特征训练集获取模块还可以用于：

59、从第一特征训练集中获取第一目标样本图像，并基于第一目标样本图像，计算第一特征训练集中各第二目标样本图像与第一目标样本图像的第一相似度；其中，第二目标样本图像为第一特征训练集中未被选取到的样本图像；

60、将各第二目标样本图像按第一相似度从小至大进行排序，并基于排序结果中排序靠前的第二预设数量的第二目标样本图像和第一目标样本图像生成目标训练集。

61、在本技术的一种可选实施例中，若第一目标样本图像为首次筛选操作对应的；

62、特征训练集获取模块具体用于：

63、从第一特征训练集中随机选取任一第一样本图像作为第一目标样本图像；

64、若第一目标样本图像非首次筛选操作对应的；特征训练集获取模块具体用于：

65、对于每一第二目标样本图像，获取第二目标样本图像与各已被选取的目标样本图像的第二相似度，并计算各第二相似度的平均值；

66、将各第二相似度的平均值最小的第二目标样本图像作为第一目标样本图像。

67、在本技术的一种可选实施例中，该装置还包括相似度计算模块，具体用于：

68、获取第一目标样本图像的第一均值、第一方差，并获取各第二目标样本图像的第二均值、第二方差，确定第一目标样本图像与各第二目标样本图像之间的协方差；

69、对于每一第二目标样本图像，基于第一均值和第二均值计算第二目标样本图像与第一目标样本图像的亮度相似度；基于第一方差、第二方差计算第二目标样本图像与第一目标样本图像的对比度相似度；基于第一方差、第二方差与协方差计算第二目标样本图像与第一目标样本图像的结构相似度；

70、基于亮度相似度、对比度相似度以及结构相似度计算第二目标样本图像和第一目标样本图像的第一相似度。

71、在本技术的一种可选实施例中，图像识别模型训练模块进一步用于：

72、获取第一差异对应的第一系数，获取第二差异对应的第二系数，获取第三差异对应的第三系数；

73、基于第一系数、第一差异、第二系数、第二差异确定第三图像识别模型的特征优化损失，并基于第三系数和第三差异确定第三图像识别模型的检测器损失；

74、基于特征优化损失和检测器损失确定总训练损失。

75、在本技术的一种可选实施例中，该装置还包括差异计算模块，具体用于：

76、获取第三样本图像中的第一检测目标的第一掩码以及背景区域的第二掩码；

77、获取第三样本图像中的第二检测目标的第三掩码；

78、确定第三图像检测结果与第一图像检测结果的第三相似度，确定第三图像检测结果与第二图像检测结果的第四相似度；

79、基于第一图像检测结果获取第三样本图像中第一检测目标对应的第一像素数和背景区域对应的第二像素数，基于第二图像检测结果获取第三样本图像中第二检测目标对应的第三像素数；

80、基于第三相似度、第一掩码、第一像素数计算第一图像检测结果与第三图像检测结果之间关于第一检测目标的第四差异；

81、基于第三相似度、第三掩码、第二像素数计算第一图像检测结果与第三图像检测结果之间关于背景区域的第五差异；

82、基于关于第四差异和关于第五差异计算第一差异；

83、基于第四相似度、第二掩码、第三像素数计算第二差异。

84、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序；

85、处理器执行计算机程序以实现第一方面实施例或第一方面任一可选实施例中所提供的方法。

86、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面实施例或第一方面任一可选实施例中所提供的方法。

87、本技术实施例提供的技术方案带来的有益效果是：

88、通过训练用于识别第一领域特征的第一图像识别模型和用于识别第二领域特征的第二图像识别模型，并通过训练好的两种模型共同训练新的第三图像识别模型，使第三图像识别模型能同时具有识别第一领域特征和第二领域特征的能力。且在训练过程中，采用第一图像识别模型和第二图像识别模型同时对第三图像识别模型的训练结果进行监督调整，使最终训练出的第三图像识别模型具有更好的稳定性和识别精度。