用于图像识别的模型训练方法、图像识别方法及相关装置与流程

本申请涉及人工智能，尤其涉及用于图像识别的模型训练方法、图像识别方法及相关装置。

背景技术：

1、在科技不断发展的今天，人工智能被越来越多的应用在生活的各个角落。人工智能的其中一个分支是图像识别，具体的应用场景不同，图像识别的用处也不同。例如在一种场景下，可以利用提前训练好的模型对图像中的物品进行审核，审核图像中是否存在不符合规定的物品。

2、现有技术对图像识别模型的训练方法一般要开启两个不同的分支进行训练。获取一个待训练的模型，待训练的模型具有传统的训练网络，在训练时开启两个分支，主类别分支和子类别分支。在子类别分支上训练模型，并按照子类别分支的结果微调主类别分支的参数，也就是将子类别分支的训练结果迁移到主类别分支上，以此得到用于图像识别的模型。

3、但是使用现有技术训练出的用于图像识别的模型经常会出现对图片的误判，识别准确度较低。为此如何训练出准确度更高的用于图像识别的模型成为了本领域技术人员急于解决的问题。

技术实现思路

1、本申请实施例提供了用于图像识别的模型训练方法、图像识别方法及相关装置，旨在训练出准确度更高的用于图像识别的模型。

2、本申请第一方面提供了一种用于图像识别的模型训练方法，包括：

3、通过第一模型提取得到数据集中初始图像的前景特征和背景特征；

4、基于所述前景特征和所述背景特征拼接得到所述初始图像对应的第一特征图像；

5、以所述第一模型基于所述前景特征识别所述初始图像的类别，得到所述初始图像的第一识别结果；

6、通过第二模型提取得到所述初始图像对应的第二特征图像；

7、以所述第二模型基于所述第二特征图像识别所述初始图像的类别，得到所述初始图像的第二识别结果；

8、根据所述第一特征图像、所述第二特征图像、所述第一识别结果和所述第二识别结果，得到所述第一模型与所述第二模型在特征维度的自蒸馏损失；

9、根据所述自蒸馏损失调整所述第一模型和所述第二模型的参数，并利用所述数据集持续对所述第一模型和所述第二模型进行训练，直至训练截止条件满足。

10、本申请第二方面提供了一种图像识别方法，包括：

11、获取待识别图像；

12、将所述待识别图像输入到第二模型中，得到所述第二模型对所述待识别图像的类别的识别结果；所述第二模型是通过上述的用于图像识别的模型训练方法训练得到的。

13、本申请第三方面提供了一种用于图像识别的模型训练装置，包括：

14、前景特征和背景特征提取模块，用于通过第一模型提取得到数据集中初始图像的前景特征和背景特征；

15、拼接模块，用于基于所述前景特征和所述背景特征拼接得到所述初始图像对应的第一特征图像；

16、第一识别结果获取模块，用于以所述第一模型基于所述前景特征识别所述初始图像的类别，得到所述初始图像的第一识别结果；

17、第二特征图像提取模块，用于通过第二模型提取得到所述初始图像对应的第二特征图像；

18、第二识别结果获取模块，用于以所述第二模型基于所述第二特征图像识别所述初始图像的类别，得到所述初始图像的第二识别结果；

19、自蒸馏损失获取模块，用于根据所述第一特征图像、所述第二特征图像、所述第一识别结果和所述第二识别结果，得到所述第一模型与所述第二模型在特征维度的自蒸馏损失；

20、参数调整模块，用于根据所述自蒸馏损失调整所述第一模型和所述第二模型的参数，并利用所述数据集持续对所述第一模型和所述第二模型进行训练，直至训练截止条件满足。

21、本申请第四方面提供了一种用于图像识别的模型训练设备，所述设备包括处理器以及存储器：

22、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

23、所述处理器用于根据所述程序代码中的指令执行第一方面提供的用于图像识别的模型训练方法的步骤。

24、本申请第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面提供的用于图像识别的模型训练方法的步骤或者执行第二方面提供的一种图像识别方法的步骤。

25、本申请第六方面提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被用于图像识别的模型训练设备执行时实现第一方面提供的用于图像识别的模型训练方法的步骤或者执行第二方面提供的一种图像识别方法的步骤。

26、从以上技术方案可以看出，本申请实施例具有以下优点：

27、本申请技术方案中提供的训练方法通过前景特征和背景特征拼接得到初始图像对应的第一特征图像，通过这样的方式可以使第一特征图像更好的表示初始图像中的各个特征。通过第一模型基于前景特征识别初始图像的类别，得到初始图像的第一识别结果，将第一识别结果作为计算自蒸馏损失的参数，可以使第一模型和第二模型组成的整体更好的对初始图像前景部分进行学习，也就是对于局部的学习效果更好。通过第二模型基于第二特征图像识别初始图像的类别，得到初始图像的第二识别结果，将第二识别结果作为计算自蒸馏损失的参数可以更好的让第一模型和第二模型组成的整体学习对全局的识别能力。第一模型和第二模型组成的整体同时学习到对于局部和全局的学习能力，并让二者尽可能互相学习以相互促进，最终得到预测结果更准确的模型。

技术特征：

1.一种用于图像识别的模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第一识别结果和所述初始图像对应的类别标签进行损失计算，得到第一损失，以及，根据所述第二识别结果和所述初始图像对应的类别标签进行损失计算，得到第二损失；

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图像、所述第二特征图像、所述第一识别结果和所述第二识别结果，得到所述第一模型与所述第二模型在特征维度的自蒸馏损失，具体包括：

4.根据权利要求3所述的方法，其特征在于，对于所述第一模型和所述第二模型进行训练的一个轮次使用到所述数据集中的x个同像素规格的初始图像，所述x为大于1的整数，与初始图像对应的第一特征图像和第二特征图像均与初始图像同像素规格；所述根据所述识别相差度、所述第一特征图像的各像素的特征以及所述第二特征图像的各像素的特征，得到所述第一模型与所述第二模型在特征维度的自蒸馏损失，通过如下公式实现：

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一识别结果和所述第二识别结果得到所述第一模型和所述第二模型对于所述初始图像的识别相差度，具体包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过第一模型提取得到数据集中初始图像的前景特征和背景特征，具体包括：

7.根据权利要求6所述的方法，其特征在于，所述通过比较所述平均像素值和所述初始图像的各像素的像素值相对大小，得到所述初始图像的选区模板图像，具体包括：

8.根据权利要求6所述的方法，其特征在于，所述初始图像对应的初始特征图像具体为通过预训练的目标模块获得的；所述目标模块包括：特征提取模块、卷积模块、全局平均池化层和全连接层；训练所述目标模块，包括：

9.根据权利要求8所述的方法，其特征在于，所述目标模块还包括特征加强层和拼接层；获取所述初始图像对应的初始特征图像，具体包括：

10.根据权利要求1所述的方法，其特征在于，所述第一模型为学生模型，所述第二模型为教师模型。

11.一种图像识别方法，其特征在于，包括：

12.一种用于图像识别的模型训练装置，其特征在于，包括：

13.一种用于图像识别的模型训练设备，其特征在于，所述设备包括处理器以及存储器：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至10任一项所述的用于图像识别的模型训练方法的步骤，或者所述程序代码用于执行权利要求11所述的图像识别方法的步骤。

15.一种计算机程序产品，其特征在于，包括计算机程序或指令，该计算机程序或指令被用于图像识别的模型训练设备执行时实现权利要求1至10任一项所述的用于图像识别的模型训练方法的步骤，或者实现权利要求11所述的图像识别方法的步骤。

技术总结
本申请公开了用于图像识别的模型训练方法、图像识别方法及相关装置，用于图像识别的模型训练方法包括：通过第一模型提取前景特征和背景特征，将前景特征和背景特征拼接得到第一特征图像，第一模型识别基于前景特征进行识别得到第一识别结果，第二模型提取第二特征图像，第二模型基于第二特征图像识别得到第二识别结果，根据第一特征图像、第二特征图像、第一识别结果和第二识别结果，得到所述第一模型与所述第二模型在特征维度的自蒸馏损失，根据所述自蒸馏损失调整第一模型和第二模型的参数，并利用所述数据集持续对所述第一模型和所述第二模型进行训练，直至训练截止条件满足，使用本申请训练出的模型可以更准确的对图像进行识别。

技术研发人员：朱城
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15