本技术涉及数据处理,尤其涉及一种基于域自适应的检测模型的训练方法、检测方法、及相关设备。
背景技术:
1、相关技术中,域自适应涉及到两种数据,一种是目标域,一种是源域。通俗来讲,源域可以认为是仿真或训练中使用到的数据,如样本图像、样本语音等。目标域可以认为是实际应用中使用到的数据,如待检测图像、待检测语音等。域自适应技术是一种在缺少目标域标签,只有源域标签的情况下对待训练模型进行训练,以令模型在目标域进行泛化的技术。
2、目前,域自适应技术包括基于重构的方法、基于对抗学习的方法、基于特征分布对齐的方法、以及基于伪标签的方法等几种。其中,基于对抗学习的方法和基于特征分布对齐的方法,检测效果不足。基于重构的方法和基于伪标签的方法实现复杂,计算难度大。
技术实现思路
1、本技术提供了一种基于域自适应的检测模型的训练方法、检测方法、及相关设备,以至少解决现有技术中存在的以上技术问题。
2、根据本技术的第一方面,提供了一种基于域自适应的检测模型的训练方法,包括:
3、获得每次迭代下的训练样本,每次迭代下的训练样本包括源域样本和/或目标域样本;
4、获得每次迭代下的训练样本的特征图;
5、基于所述特征图,得到对每次迭代下的训练样本的各区域的分类结果;
6、获得对所述特征图的各区域的编码结果;
7、获得对每次迭代下的训练样本的各区域的编码结果;
8、基于对每次迭代下的训练样本的各区域的分类结果和编码结果、以及对所述特征图的各区域的编码结果,对待训练模型进行迭代运算,以训练出目标检测模型,所述目标检测模型用于对待检测图像进行目标检测。
9、在一可实施方式中,所述获得对特征图的各区域的编码结果,包括:
10、确定对训练样本的各区域的划分策略;
11、按照对训练样本的各区域的划分策略,对特征图进行区域划分,得到特征图的各区域;
12、采用预设编码算法,对特征图的各区域进行编码,得到对特征图的各区域的编码结果。
13、在一可实施方式中,所述基于对每次迭代下的训练样本的各区域的分类结果和编码结果、以及对所述特征图的各区域的编码结果,对待训练模型进行迭代运算,以训练出目标检测模型,包括:
14、基于对每次迭代下的训练样本的各区域的分类结果以及对所述训练样本的特征图的各区域的编码结果,得到标识有分类结果的各第一特征向量,其中所述各第一特征向量与所述特征图的各区域对应;
15、基于对每次迭代下的训练样本的各区域的分类结果和编码结果,得到标识有分类结果的各第二特征向量,其中所述各第二特征向量与所述训练样本的各区域对应;
16、基于标识有分类结果的各第一特征向量和标识有分类结果的各第二特征向量,和/或,基于标识有分类结果的各第二特征向量和在前训练样本下的标识有分类结果的各第三特征向量,对待训练模型进行迭代运算,以训练出目标检测模型;
17、其中,所述各第三特征向量通过在前迭代下的训练样本的各区域的分类结果和编码结果而得到。
18、在一可实施方式中,所述基于标识有分类结果的各第一特征向量和标识有分类结果的各第二特征向量,对待训练模型进行迭代运算,以训练出目标检测模型,包括:
19、从标识有分类结果的各第一特征向量和标识有分类结果的各第二特征向量中,确定出对应于训练样本的相同区域的第一特征向量和第二特征向量、以及对应于训练样本的不同区域的第一特征向量和第二特征向量;
20、基于对应于训练样本的相同区域的第一特征向量和第二特征向量,得到第一实例对;
21、基于对应于训练样本的不同区域的第一特征向量和第二特征向量,得到第二实例对;
22、基于第一实例对和第二实例对,对待训练模型进行迭代运算,以训练出目标检测模型。
23、在一可实施方式中,所述基于标识有分类结果的各第二特征向量和在前训练样本下的标识有分类结果的各第三特征向量,对待训练模型进行迭代运算,以训练出目标检测模型,包括:
24、从标识有分类结果的各第二特征向量和标识有分类结果的各第三特征向量中,确定出标识有相同分类结果的第二特征向量和第三特征向量、以及标识有不同分类结果的第二特征向量和第三特征向量;
25、基于标识有相同分类结果的第二特征向量和第三特征向量,得到第三实例对;
26、基于标识有不同分类结果的第二特征向量和第三特征向量,得到第四实例对;
27、基于第三实例对和第四实例对,对待训练模型进行迭代运算,以训练出目标检测模型。
28、在一可实施方式中,所述训练样本的各区域包括多个像素;
29、所述基于所述特征图,得到对每次迭代下的训练样本的各区域的分类结果,包括:
30、基于所述特征图,得到对每次迭代下的训练样本的各区域中的各个像素的分类结果;
31、基于各区域中的各个像素的分类结果,得到各区域的分类结果。
32、根据本技术的第二方面,提供了一种基于域自适应的检测方法,包括:
33、获得待检测图像;
34、将待检测图像输入至目标检测模型,得到所述待检测图像中的一个或多个目标对象;
35、其中,所述目标检测模型通过对每次迭代下的训练样本的各区域的分类结果和编码结果、以及对所述训练样本的特征图的各区域的编码结果,对待训练模型进行训练而得;所述训练样本的各区域的分类结果通过所述训练样本的特征图而得到;所述训练样本的各区域的编码结果通过对所述训练样本进行特征提取而得到;每次迭代下的训练样本包括源域样本和/或目标域样本;所述目标检测模型通过待检测图像的特征图对所述待检测图像中的一个或多个目标对象进行分类。
36、根据本技术的第三方面,提供了一种基于域自适应的检测模型的训练设备,包括:
37、第一获得单元,用于获得每次迭代下的训练样本,每次迭代下的训练样本包括源域样本和/或目标域样本;
38、第二获得单元,用于获得每次迭代下的训练样本的特征图;
39、第三获得单元,用于基于所述特征图,得到对每次迭代下的训练样本的各区域的分类结果;
40、第四获得单元,用于获得对所述特征图的各区域的编码结果;
41、第五获得单元,用于对每次迭代下的训练样本进行特征提取,得到对每次迭代下的训练样本的各区域的编码结果;
42、训练单元,用于基于对每次迭代下的训练样本的各区域的分类结果和编码结果、以及对所述特征图的各区域的编码结果,对待训练模型进行迭代运算,以训练出目标检测模型,所述目标检测模型用于对待检测图像进行目标检测。
43、根据本技术的第四方面,提供了一种基于域自适应的检测设备,包括:
44、第一获得模块,用于获得待检测图像;
45、第二获得模块,用于将待检测图像输入至目标检测模型,得到所述待检测图像中的一个或多个目标对象;
46、其中,所述目标检测模型通过对每次迭代下的训练样本的各区域的分类结果和编码结果、以及对所述训练样本的特征图的各区域的编码结果,对待训练模型进行训练而得;所述训练样本的各区域的分类结果通过所述训练样本的特征图而得到;所述训练样本的各区域的编码结果通过对所述训练样本进行特征提取而得到;每次迭代下的训练样本包括源域样本和/或目标域样本;所述目标检测模型通过待检测图像的特征图对所述待检测图像中的一个或多个目标对象进行分类。
47、根据本技术的第五方面,提供了一种电子设备,包括:
48、至少一个处理器;以及
49、与所述至少一个处理器通信连接的存储器;其中,
50、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本技术所述的方法。
51、根据本技术的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本技术所述的方法。
52、本技术中,对训练样本和训练样本的特征图进行了区域划分,并结合了训练样本的各区域的分类结果和编码结果、训练样本的特征图的各区域的编码结果,一同对待训练模型进行训练。可使得不同域和/或同一域的同类目标(对象)的特征变得相近,不同域和/或同一域的不同类目标(对象)的特征变得相远,从而保证对目标检测模型的训练精准性。
53、应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。