一种多域轮胎花纹图像分类方法、系统、介质及设备

本发明属于图像处理，尤其涉及一种多域轮胎花纹图像分类方法、系统、介质及设备。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、轮胎花纹图像分类任务是利用深度学习技术对轮胎花纹图片进行特征提取，再由分类器根据已提取特征计算概率分布进行分类的任务，它是计算机视觉领域一项基本任务。该项任务在生产生活上也有着很广泛的应用场景，比如需要对现场留下的轮胎花纹进行分类，由于车辆的种类繁多，如果人工对这些图片进行分类，那无疑是低效且费力的。该任务可以有效缓解上述问题，在保证分类精度的基础上，极大的节省了人力和物力。

3、但是，对于轮胎花纹分类任务的研究，也存在一定的困难，具体原因如下：

4、1）不同时域拍摄的轮胎图片存在很大差异。对于同一时段内拍摄的轮胎图片而言，比如中午拍摄的图片，其所显示的花纹特征比较清晰，纹理比较清楚，轮胎图片中所表现的负面阴影区域较少，仅仅依赖现有的经典深度学习分类模型便可取得很好的分类效果，但是，这种定时段拍摄的轮胎图片不具有一般性。对于实际应用场景下的轮胎花纹图片，拍摄时间往往具有很大的随机性，而轮胎花纹图像对于拍摄环境的亮度要求很高，不同的亮度会导致轮胎花纹图像的纹理特征表现出很大的差异性，拍摄环境和亮度的影响也会产生不同的背景噪音，这会给轮胎花纹图像分类带来很大的困难。

5、2）不同空间域拍摄的轮胎花纹存在很大差异。在实际应用场景下，轮胎花纹图片的采集地点具有极大的不稳定性，而拍摄者采集图片的角度也各不相同，这就产生了大量差异性很大的轮胎花纹图片，在对其进行分类任务时，不仅要求模型能够正确识别不同环境下拍摄的轮胎花纹图片，还要求对不同角度拍摄的图片具有很高的辨识度，这就要求模型具有很高的抗噪性。

6、3）单张轮胎图像包含多个类型的花纹。由于图片采集的路段不同，可能会产生多车经过采集点，这就产生了另一个问题，如何对多花纹图像进行分类，这种图片往往含有更为复杂的特征，对模型的抗噪性能要求很高，而目前的分类模型对于这种图片的分类性能仍然有待提升。

7、围绕上述挑战，现有方法提出了一种多时段轮胎花纹图像分类方法，其通过从另一个场景下的图片(如中午拍摄的轮胎花纹图片)转移知识，成功地提高了对一个图片的(如黄昏拍摄的轮胎花纹图片)的性能，但由于源域和目标域是在固定的角度拍摄的，它们在一般情况下存在局限性。另一方面，其对于多轮胎花纹图像的检测性能并不能达到预期，这证明模型的抗噪性能并不好，无法正确的对复杂的轮胎图片进行分类。

技术实现思路

1、为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种多域轮胎花纹图像分类方法、系统、介质及设备，其通过从多个角度学习到目标图像的特征，通过多损失优化能很大程度的抑制图片的背景噪音，使得模型学习到的视觉特征更加全面。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种多域轮胎花纹图像分类方法，包括如下步骤：

4、获取轮胎花纹图像数据集；

5、基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；

6、其中，轮胎花纹分类模型的构建过程包括：

7、将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征。

8、进一步地，所述对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征包括：

9、采用预训练神经网络对轮胎花纹图片数据进行特征提取得到整体图像特征；

10、对整体图像特征进行均值池处理；

11、引入自注意力机制对均值池处理后的图像特征进行编码得到图像编码特征；

12、基于图像编码特征，采用深度残差映射的方法进行因式分解，得到轮胎花纹图像的全局特征和局部特征。

13、进一步地，所述构建双内存模块的过程包括：

14、采用不同轮胎图片的判别特征质心作为内存的基本构件；

15、在每个内存的基本构件中，将每个质心初始化为属于相应类的所有轮胎花纹图像样本的局部特征的均值向量。

16、进一步地，所述通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征，具体包括：

17、基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征；

18、基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征；

19、将异质全息特征和同质全息特征进行拼接得到全息特征。

20、进一步地，所述基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征，包括：

21、基于给定域的局部特征，通过检索内存，得到相反域的内存特征；

22、采用基于注意机制的内存选择器，以软方式自适应选择得到参与的异质内存特征；

23、结合相反域的内存特征和参与的异质内存特征得到异质全息特征。

24、进一步地，所述基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征，包括：

25、基于给定的全局特征，通过检索内存，得到全局的内存特征；

26、采用基于注意机制的内存选择器，以软方式自适应选择得到参与的同质内存特征；

27、结合全局的内存特征和参与的同质内存特征得到同质全息特征。

28、进一步地，轮胎花纹分类模型进行训练时的损失函数为：

29、

30、其中，为对抗损失的平衡权值，为内存损失的平衡权值，为全息特征的判别损失，为局部特征的判别损失，为优化域判别器和动态全息模块的对抗损失，为优化分解模块的对抗损失函数，为内存损失。

31、本发明的第二个方面提供一种多域轮胎花纹图像分类系统，包括：

32、数据获取模块，其被配置为：获取轮胎花纹图像数据集；

33、图像分类模块，其被配置为：基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；

34、其中，轮胎花纹分类模型的构建过程包括：

35、将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征。

36、本发明的第三个方面提供一种计算机可读存储介质。

37、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的一种多域轮胎花纹图像分类方法中的步骤。

38、本发明的第四个方面提供一种电子设备。

39、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的一种多域轮胎花纹图像分类方法中的步骤。

40、与现有技术相比，本发明的有益效果是：

41、1、本发明通过对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征；较之之前的方法，本发明使得轮胎花纹分类任务的准确度有了一定的提高，其普遍性和抗噪性都有所提升。

42、2、本发明针对多场景轮胎花纹图片分类问题，提出了一种多域轮胎花纹图像分类方法，它能够从多个角度学习到目标图像的特征，通过多损失优化能很大程度的抑制图片的背景噪音，使得模型学习到的视觉特征更加全面。

43、3、针对单图片多花纹的问题，本发明可以通过设置单花纹轮胎图像为源域，多花纹图像为目标域来进行学习，极大的增加了有用信息的摄入，和干扰花纹的影响。