
1.本技术涉及人工智能技术领域,具体涉及一种图像检测方法、装置、电子设备及存储设备。本技术同时涉及预测模型的获得方法、装置、电子设备及存储设备。
背景技术:2.近年来,随着计算机技术的不断发展,尤其是深度学习技术的不断发展,人脸图像检测方法被应用于人们生活的方方面面,为人们生活带来了极大的便利。
3.与此同时,与人脸图像检测方法相对应的对抗方法也在不断的迭代更新,尤其是最近出现的利用深度学习技术对视频、图像等资源中的人脸对象进行更换的对抗方法,利用这种对抗方法获得的换脸视频或换脸图像能够达到肉眼无法分辨,以假乱真的效果,这也相应的引起大众对个人隐私的担忧。
4.然而,现有的人脸图像检测方法主要用于根据预先提取的全局人脸对象的特征信息来检测待检测图像,即图像或来源于视频中的视频帧中的人脸对象是否是目标人脸对象,而非是用于检测待检测图像中的人脸对象是否经过换脸处理,因此,现有的人脸图像检测方法对这种对抗方法获得的待检测图像的检测效果并不够好,不能准确的检测出待检测图像中所包含的人脸对象是否属于待检测图像中的原始对象。
5.以上,是以人脸图像检测方法对待检测图像中的人脸对象进行检测为例,说明现有图像检测方法在对待检测图像中的人脸对象进行检测时存在的问题。在类似的场景中,同样可能存在类似的问题,例如,在使用图像检测方法检测待检测图像中的其它目标对象,如车辆、建筑物时,同样可能存在不能准确的检测出待检测图像中所包含的目标对象是否属于待检测图像的原始对象的问题。
技术实现要素:6.本技术实施例提供一种图像检测方法,以解决现有的图像检测方法不能准确的检测出待检测图像中所包含的目标对象是否属于待检测图像的原始对象的问题。
7.本技术实施例提供一种图像检测方法,包括:获取包含目标对象的待检测图像;获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
8.可选的,所述获取与所述目标对象对应的第一局部图像,包括:
9.从所述待检测图像中,获取包含所述目标对象的目标区域;
10.根据所述目标区域,获取所述第一局部图像。
11.可选的,所述从所述待检测图像中,获取包含所述目标对象的目标区域,包括:获取所述目标对象在所述待检测图像中的位置信息和特征点信息;根据所述位置信息和所述特征点信息,获取所述目标区域。
12.可选的,所述根据所述目标区域,获取所述第一局部图像,包括:对所述目标区域
进行几何归一化处理,获取几何归一化处理后的目标区域;根据预设的第一尺寸,将所述几何归一化处理后的目标区域划分为至少一个局部图像块,从所述至少一个局部图像块中,获取所述第一局部图像。
13.可选的,所述根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像输入到第一预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象。
14.可选的,所述第一预测模型包括特征提取子模型和第一预测子模型,其中,所述第一预测子模型用于根据所述第一局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象;所述将所述第一局部图像输入到第一预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像输入到所述特征提取子模型中,获取所述第一局部图像的特征信息;将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,其中,所述第一预测结果用于表征所述目标对象是否属于所述待检测图像的原始对象。
15.可选的,所述将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取至少一个预测子结果,其中,所述预测子结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的分值信息;将所述至少一个预测子结果的平均值作为所述第一预测结果。
16.可选的,所述第一预测模型还包括综合决策子模型;所述将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取至少一个预测子结果,其中,所述预测子结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息;将所述至少一个预测子结果作为向量中的元素,获取待处理预测向量;将所述待处理预测向量输入到所述综合决策子模型中,获取所述第一预测结果。
17.可选的,所述将所述待处理预测向量输入到所述综合决策子模型中,获取所述第一预测结果,包括:将所述待处理预测向量与所述综合决策子模型中预先训练获得的第一预测子模型的预测结果和期望预测结果的数据关系进行拟合处理,获取所述第一预测结果。
18.可选的,所述第一预测模型通过以下步骤获得:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述样本对象的局部的图像;将所述第一局部样本图像作为样本数据,训练获得所述第一预测模型。
19.可选的,所述将所述第一局部样本图像作为样本图像,训练获得所述第一预测模型,包括通过以下训练步骤训练获得所述第一预测模型:将所述第一局部样本图像输入到所述特征提取子模型中,获取所述第一局部样本图像的特征信息;将所述第一局部样本图像的特征信息作为第一子样本数据,训练所述第一预测子模型,使所述第一预测子模型的预测误差达到预设的第一收敛条件。
20.可选的,所述第一预测模型还包括综合决策子模型,所述第一预测子模型的预测结果是用于表征所述样本对象是否属于所述样本图像的原始对象的概率信息;所述训练步
骤还包括:将所述第一预测子模型的预测结果作为向量中的元素,获取待处理样本预测向量;使用所述待处理样本预测向量,训练所述综合决策子模型以建立所述第一预测子模型的预测结果和期望预测结果的数据关系,使所述综合决策子模型的决策误差达到预设的决策收敛条件。
21.可选的,还包括:从所述待检测图像的背景区域中,获取第二局部图像,其中,所述背景区域是所述待检测图像中除所述目标对象以外的区域,所述第二局部图像是用于表征所述背景区域的局部的图像;所述根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,包括:根据所述第一局部图像和所述第二局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
22.可选的,所述根据所述第一局部图像和所述第二局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像和所述第二局部图像输入到第二预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象。
23.可选的,所述第二预测模型包括特征提取子模型;所述将所述第一局部图像和所述第二局部图像输入到第二预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像和所述第二局部图像输入到所述特征提取子模型中,获取所述第一局部图像的特征信息和所述第二局部图像的特征信息;根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象。
24.可选的,所述第二预测模型还包括第一预测子模型、第二预测子模型,其中,所述第一预测子模型用于根据所述第一局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象,所述第二预测子模型用于根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,判断所述第一局部图像和所述第二局部图像是否同源,以预测所述第一局部图像是否属于所述待检测图像的原始对象;所述根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果;将所述第一局部图像的特征信息和所述第二局部图像的特征信息进行组对,获取待处理特征信息对;将所述待处理特征信息对输入到所述第二预测子模型中,获取第二预测结果;根据所述第一预测结果和所述第二预测结果,获得目标预测结果,其中,所述目标预测结果用于表示所述目标对象是否属于所述待检测图像的原始对象。
25.可选的,所述第二预测模型还包括综合决策子模型;所述根据所述第一预测结果和所述第二预测结果,获得目标预测结果,包括:将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果。
26.可选的,所述第一预测结果和所述第二预测结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的分值信息;所述将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果,包括:通过所述综合决策子模型,获取所述第一预测结果中的多个子结果的平均值,作为第一平均值,以及,获取所述第二预测结果中的多个子结果的平均值,作为第二平均值;将所述第一平均值与对应的第一权重相乘的结果,与所述第二平均值与对应的第二权重值相乘的结果相加,获得所述目标预测结果。
27.可选的,所述第一预测结果和所述第二预测结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息;所述将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果,包括:将所述第一预测结果中的多个子结果和所述第二预测结果中的多个子结果作为向量中的元素,获取待处理预测向量;将所述待处理预测向量输入到所述综合决策子模型中,获得所述目标预测结果。
28.可选的,所述第二预测模型通过以下步骤获得:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像是用于表征所述样本背景区域的局部的图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得所述第二预测模型。
29.可选的,所述将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得所述第二预测模型,包括通过以下训练步骤训练获得所述第二预测模型:将所述第一局部样本图像和所述第二局部样本图像输入到所述特征提取子模型中,获取所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息;将所述第一局部样本图像的特征信息作为第一子样本数据,训练所述第一预测子模型,使所述第一预测子模型的预测误差达到预设的第一收敛条件;将所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行组对,获取待处理样本特征信息对;将所述待处理样本特征信息对作为第二子样本数据,训练所述第二预测子模型,使所述第二预测子模型的预测误差达到预设的第二收敛条件。
30.可选的,所述第二预测模型还包括综合决策子模型,所述第一预测子模型的预测结果和所述第二预测子模型的预测结果是用于表征所述样本对象是否属于所述样本图像的原始对象的概率信息;所述训练步骤还包括:将所述第一预测子模型的预测结果和所述第二预测子模型的预测结果作为向量中的元素,获取待处理样本预测向量;使用所述待处理样本预测向量,训练所述综合决策子模型以建立所述第一预测子模型的预测结果第二预测子模型的预测结果和期望预测结果的数据关系,使所述综合决策子模型的决策误差达到预设的决策收敛条件。
31.可选的,所述将所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行组对,获取待处理样本特征信息对,包括:对所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行难样本挖掘处理,从所述第二局部样本图像的特征信息中,获取与所述第一局部样本图像的特征信息对应的正样本图像的特征信息和负样本图像的特征信息;将所述第一局部样本图像的特征信息和所述负样本图像的特征信息进行组对,获取所述待处理样本特征信息对。
32.可选的,所述目标对象包括人脸对象。
33.本技术实施例还提供一种预测模型的获得方法,包括:获取包含样本对象的样本图像;获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像;将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
34.本技术实施例还提供另一种预测模型的获得方法,包括:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
35.本技术实施例还提供一种图像检测装置,包括:
36.图像获取单元,用于获取包含目标对象的待检测图像;
37.局部图像获取单元,用于获取与所述目标对象对应的第一局部图像,所述第一局部图像是用于表征所述目标对象的局部的图像;
38.确定单元,用于根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
39.本技术实施例还提供一种电子设备,包括:。
40.处理器;
41.存储器,用于存储图像检测方法的程序,该设备通电并通过所述处理器运行所述图像检测方法的程序后,执行下述步骤:
42.获取包含目标对象的待检测图像;获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
43.本技术实施例还提供一种存储设备,存储有图像检测方法的程序,该程序被处理器运行,执行下述步骤:
44.获取包含目标对象的待检测图像;获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
45.本技术实施例还提供一种预测模型的获取装置,包括:
46.样本图像获取单元,用于获取包含样本对象的样本图像;
47.局部样本图像获取单元,用于获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像;
48.模型训练单元,用于将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
49.本技术实施例还提供一种电子设备,包括:。
50.处理器;
51.存储器,用于存储预测模型的获取方法的程序,该设备通电并通过所述处理器运行所述预测模型的获取方法的程序后,执行下述步骤:
52.获取包含样本对象的样本图像;获取与所述样本对象对应的局部样本图像,其中,
所述局部样本图像是用于表征所述样本对象的局部的图像;将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
53.本技术实施例还提供一种存储设备,存储有预测模型的获取方法的程序,该程序被处理器运行,执行下述步骤:
54.获取包含样本对象的样本图像;获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像;将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
55.本技术实施例还提供另一种预测模型的获取装置,包括:
56.样本图像获取单元,用于获取包含样本对象的样本图像;
57.第一局部样本图像获取单元,用于获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;
58.第二局部样本图像获取单元,用于从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;
59.模型训练单元,用于将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
60.本技术实施例还提供另一种电子设备,包括:。
61.处理器;
62.存储器,用于存储预测模型的获取方法的程序,该设备通电并通过所述处理器运行所述预测模型的获取方法的程序后,执行下述步骤:
63.获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
64.本技术实施例还提供另一种存储设备,存储有预测模型的获取方法的程序,该程序被处理器运行,执行下述步骤:
65.获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所
述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
66.与现有技术相比,本技术具有以下优点:
67.本技术实施例提供一种图像检测方法,包括:获取包含目标对象的待检测图像;获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。所述方法通过获取与待检测图像所包含的目标对象对应的、用于表征目标对象的局部的第一局部图像,并根据获取到的第一局部图像来确定目标对象是否属于待检测图像的原始对象,而当目标对象不属于待检测图像的原始对象时,从目标对象获取到的第一局部图像的局部通常会存在异常细节纹理、图像融合痕迹等局部特征信息,因此,根据第一局部图像的局部中所存在的这些局部特征信息,即可准确的预测目标对象是否属于待检测图像的原始对象,可以增加预测结果的准确性。
68.本技术实施例还提供一种预测模型的获得方法,包括:获取包含样本对象的样本图像;获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像;将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。所述方法通过获取与样本图像所包含的样本对象对应的、用于表征样本对象的局部的局部样本图像,并将获取到的局部样本图像作为样本数据,训练获得目标预测模型,可以增加目标预测模型的预测结果的准确率。
69.本技术实施例还提供一种预测模型的获得方法,包括:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。所述方法通过获取与样本图像所包含的样本对象对应的、用于表征样本对象的局部的第一局部样本图像,以及从样本图像的样本背景区域获取到的第二局部样本图像,并将第一局部样本图像和第二局部样本图像作为样本数据,训练获得目标预测模型,可以增加目标预测模型的预测结果的准确率。
附图说明
70.图1-a是本技术第一实施例提供的一种图像检测方法的第一应用场景的示意图。
71.图1-b是本技术第一实施例提供的一种图像检测方法的第二应用场景的示意图。
72.图2是本技术第一实施例提供的一种图像检测方法的流程图。
73.图3是本技术第一实施例提供的一种图像检测方法的框架示意图。
74.图4是本技术第二实施例提供的一种预测模型的流程图。
75.图5是本技术第三实施例提供的另一种预测模型的流程图。
76.图6是本技术第四实施例提供的一种图像检测装置的示意图。
77.图7是本技术第五实施例提供的一种电子设备的示意图。
78.图8是本技术第七实施例提供的一种预测模型的获得装置的示意图。
79.图9是本技术第十实施例提供的另一种预测模型的获得装置的示意图。
具体实施方式
80.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本技术内涵的情况下做类似推广,因此本技术不受下面公开的具体实施的限制。
81.为了使本领域的技术人员更好的理解本技术方案,下面基于本技术提供的图像检测方法,对其实施例的具体应用场景进行详细描述。本技术第一实施例提供的所述图像检测方法可以应用与客户端与服务端交互的场景,如图1-a、图1-b所示,其分别为本技术第一实施例提供的一种图像检测方法的第一应用场景示意图以及第二应用场景示意图。
82.在具体实施时,通常是基于用户对待检测图像中的目标对象进行检测,以确认该目标对象是否属于待检测图像的原始对象的需求,在客户端获取到待检测图像之后,客户端与服务端建立连接,连接之后客户端将包含目标对象的待检测图像发送给服务端;服务端获取待检测图像之后,获取与待检测图像所包含的目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;之后,服务端根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,获得目标预测结果,并将该目标预测结果发送给客户端;之后,客户端接收该目标预测结果,并将该目标预测结果展示供用户查看,例如,目标预测结果为“假脸”,则客户端展示该结果,以供用户查看。
83.需要说明的是,所述客户端可以是移动终端设备,如手机、平板电脑等,也可以是常用的计算机设备。所述服务端一般是指服务器,该服务器可以是物理服务器,也可以是云端服务器,此处不做特殊限定。
84.所述目标对象,泛指在现实或虚拟世界中存在的物体对象,例如,可以是人脸对象、车辆对象、建筑对象、卡通对象、公司logo或印章对象等实体或虚拟对象。
85.所述原始对象,是指待检测图像原生包含的对象,即在待检测图像生成时,就存在于待检测图像中的对象。在本技术第一实施例中,原始对象是与目标对象对应的对象,目标对象是指有可能替换掉原始对象的对象。
86.例如,在生成图像img01.jpg时,其原生包含的人脸对象为“a”;在实际中,在利用技术手段将图像img01.jpg中的人脸对象替换为“b”后,当使用本技术第一实施例所述图像检测方法对该图像img01.jpg进行检测时,可以认为人脸对象“b”,即为本技术第一实施例所述的目标对象,而与人脸对象“b”对应的人脸对象“a”则为本技术第一实施例所述的原始对象。
87.另外,在具体实施时,也可以将所述图像检测方法单独应用于客户端或服务端计
算设备中,例如,客户端在获取到待检测图像之后,直接获取与待检测图像所包含的目标对象对应的第一局部图像,并根据所述第一局部图像,确定所述目标对象是否属于待检测图像的原始对象,并将获取到的目标预测结果展示给用户查看。又例如,服务端从其它服务端获取到待检测图像之后,直接获取待与待检测图像所包含的目标对象对应的第一局部图像,并根据所述第一局部图像,确定所述目标对象是否属于待检测图像的原始对象,之后,将获取到的目标预测结果存储在自身存储或远程存储中,而不需要发送给客户端。上述应用场景仅仅是所述图像检测方法的一个具体实施例,提供所述应用场景的目的是便于理解所述图像检测方法,而并非用于限定所述图像检测方法。
88.本技术第一实施例提供一种图像检测方法,如图2所示,其为本技术第一实施例提供的一种图像检测方法的流程图,以下结合图2对本技术第一实施例提供的所述图像检测方法予以详细介绍。
89.步骤s201,获取包含目标对象的待检测图像。
90.所述目标对象,泛指在现实或虚拟世界中存在的物体对象,例如,可以是人脸对象、车辆对象、建筑对象、卡通对象、公司logo或印章对象等实体或虚拟对象。
91.所述待检测图像,是包含目标对象的图像或视频帧,具体可以是通过图像传感器从三维立体世界获得到的图像,其中,该图像可以为二维图像(two dimensional image)或三维图像(three dimensional image)。例如,待检测图像可以是通过摄像机从三维立体世界拍摄得到的不包含深度信息的二维图像,即,仅有左右、上下四个方向的图像;或者,也可以是通过深度摄像机(tof camera)拍摄得到的包含深度信息的深度图像(depth image),即,不仅有左右、上下方向,还包含前后方向的图像,其中,深度图像也被称为距离影像(range image),是指将从图像传感器到拍摄场景中各点的距离(也可称为深度)作为像素值的图像。当然,随着技术的不断进步,待检测图像也可以是其它来源或者其它形式的图像,此处不再赘述。
92.需要说明的是,在本技术第一实施例中,为了描述方便,以目标对象为人脸对象,即待检测图像为包含人脸对象的图像为例,对所述图像检测方法进行说明。
93.步骤s202,获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像。
94.现有的图像检测方法在检测待检测图像所包含的目标对象是否属于该待检测图像的原始对象时,通常是基于完整的目标对象进行检测,即,将该待检测图像中的目标对象作为一个整体,提取该目标对象的特征信息,并根据这些特征信息来判断该目标对象是否是待检测图像的原始对象。然而,这种方法不仅计算量较大,而且忽略了目标对象的局部特征,因此其预测准确率相对较低。
95.在本技术第一实施例中,为了减少计算量以及增加图像检测方法的预测准确率,在进行图像检测时,通过获取与待检测图像所包括的目标对象对应的、用于表征目标对象的局部的第一局部图像来预测目标对象是否属于待检测图像的原始对象,由于第一局部图像仅是目标对象的一部分,使用第一局部图像来进行图像检测可以减少计算量,并且,如果目标对象不是待检测图像中的原始对象时,第一局部图像中通常会存在局部异常纹理信息以及图像融合信息等信息,通过第一局部图像可以增加预测结果的准确性。
96.所述获取与所述目标对象对应的第一局部图像,包括:从所述待检测图像中,获取
包含所述目标对象的目标区域;根据所述目标区域,获取所述第一局部图像。即,在所述待检测图像中,先定位出仅包含目标对象的目标区域,之后,截取该目标区域中的多个部分图像,作为该第一局部图像即可。
97.具体的,所述从所述待检测图像中,获取包含所述目标对象的目标区域,包括:获取所述目标对象在所述待检测图像中的位置信息和特征点信息;根据所述位置信息和所述特征点信息,获取所述目标区域。
98.即,通过提取待检测图像中的特征信息,并创建检测窗口,基于提取出的特征信息采用现有的目标检测方法判断检测窗口中是否为该目标对象,如果该检测窗口中是该目标对象,则可将该检测窗口在待检测图像中的位置信息作为目标对象在待检测图像中的位置信息;同时,为了尽可能的去除获得的目标区域中的背景区域,还可以从待检测图像中,获取目标对象的特征点信息,并根据该特征点信息进一步确定目标区域的边界位置,其中,背景区域,是指待检测图像中除所述目标对象以外的区域;所述目标对象的特征点信息,是用于表示所述目标对象的关键部位的信息,通过特征点信息可以描绘出目标对象的轮廓。
99.例如,针对包含人脸对象的待检测图像,为了获取包含人脸对象的目标区域,可以先提取该待检测图像的特征信息,之后,创建检测窗口,并基于提取出的特征信息采用现有的目标检测方法判断检测窗口中是否为人脸对象,如果是,则可将检测窗口在待检测图像中的位置信息作为人脸对象在待检测图像中的位置信息;同时,从该待检测图像中,获取人脸对象的特征点信息,例如,眼角、嘴巴、鼻子、眉毛等特征点信息,之后,根据这些特征点信息描绘出目标对象的轮廓,并根据该轮廓与上述位置信息结合进一步确定目标区域的精确边界。
100.在获取到包含目标对象的目标区域之后,所述根据所述目标区域,获取所述第一局部图像,包括:对所述目标区域进行几何归一化处理,获取几何归一化处理后的目标区域;根据预设的第一尺寸,将所述几何归一化处理后的目标区域划分为至少一个局部图像块,从所述至少一个局部图像块中,获取所述第一局部图像。
101.在本技术第一实施例中,为了能够使获得的第一局部图像能够更好的表征目标对象的局部细节,采取对目标区域进行几何归一化处理,并在几何归一化处理后的目标区域中获取第一局部图像,
102.所述对所述目标区域进行几何归一化处理,获取几何归一化处理后的目标区域,具体为:根据目标区域在待检测图像中的位置信息以及目标对象的特征点信息,对该目标区域进行缩放处理,获得归一化的几何区域。例如,选取该目标对象在水平方向上处于最远距离的两个特征点,并将这两个特征点的像素距离缩放到预设的像素距离,同时,对该目标区域的垂直方向进行等比缩放,其中,所述预设的像素距离为168像素距离,当然,在具体实施时,也可以设置为其它数值。
103.在获取到几何归一化处理后的目标区域后,根据预设的第一尺寸,将该目标区域划分为多个局部图像块,并从多个局部图像块中,选取预设数量的图像块作为第一局部图像。例如,将几何归一化处理后的目标区域划分为168*168的局部图像块,之后,从这168*168的局部图像块中选取n个56*56的图像块,作为第一局部图像,其中,n不小于1。即,预设的第一尺寸为168*168,当然,在具体实施时,也可以根据实际需要,将该预设的第一尺寸设置为其它数值,以及,从目标区域的局部图像块中选取其它数值的图像块,例如,选取n个
64*64的图像块,此处不再赘述。
104.至此,即从待检测图像中,获取到了与目标对象对应的、用于表征目标对象的局部的第一局部图像,在获得第一局部图像之后,即可根据该第一局部图像,预测目标对象是否属于待检测图像的原始对象。
105.步骤s203,根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
106.在本技术第一实施例中,用于确定目标对象是否属于待检测图像的原始对象的其中一个方法具体为:将所述第一局部图像输入到第一预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象。
107.需要说明的是,所述第一预测模型是预先训练获得的卷积神经网络模型,主要由特征提取子模型和第一预测子模型构成。所述特征提取子模型为残差学习网络模型,由多层卷积层、激活层以及全连接层组合而成,具体用于提取第一局部图像中的特征信息;所述第一预测子模型,用于根据特征提取子模型获取到的第一局部图像的特征信息,确定目标对象是否属于待检测图像的原始对象。
108.即,所述第一预测模型包括特征提取子模型和第一预测子模型,其中,所述第一预测子模型用于根据所述第一局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象;所述将所述第一局部图像输入到第一预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像输入到所述特征提取子模型中,获取所述第一局部图像的特征信息;将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,其中,所述第一预测结果用于表征所述目标对象是否属于所述待检测图像的原始对象。
109.所述将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取至少一个预测子结果,其中,所述预测子结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的分值信息;将所述至少一个预测子结果的平均值作为所述第一预测结果。
110.例如,将n个56*56的第一局部图像输入到第一预测模型的特征提取子模型中,获取与这n个第一局部图像对应的n个128维的特征信息构成的特征向量,之后,将这n个128维的特征向量输入到第一预测模型的第一预测子模型中,可以获取到n个对应的分值信息,将这n个分值信息取平均值即可获得第一预测结果,其中,所述分值信息用于表示所述目标对象是否属于待检测图像的原始对象的匹配程度。需要说明的是,在本技术第一实施例中,是从第一局部图像中,获取到128维的特征信息,在具体实施时,也可以提取更多维的特征信息,或者仅是有针对性的提取一部分特征信息,此处不做特殊限定。
111.另外,为了进一步增加预测结果的准确性,第一预测子模型的输出结果也可以是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息,在获得第一预测子模型的输出结果后,可以进一步的使用综合决策子模型对所述输出结果进行拟合,以获得所述第一预测结果。即,所述第一预测模型还包括综合决策子模型;所述将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取至少一个预测子结果,其中,所述预测子结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息;将所述
至少一个预测子结果作为向量中的元素,获取待处理预测向量;将所述待处理预测向量输入到所述综合决策子模型中,获取所述第一预测结果。
112.其中,所述将所述待处理预测向量输入到所述综合决策子模型中,获取所述第一预测结果,包括:将所述待处理预测向量与所述综合决策子模型中预先训练获得的第一预测子模型的预测结果和期望预测结果的数据关系进行拟合处理,获取所述第一预测结果。
113.在本技术第一实施例中,所述第一预测模型通过以下步骤获得:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述样本对象的局部的图像;将所述第一局部样本图像作为样本数据,训练获得所述第一预测模型。
114.需要说明的是,所述样本图像是预先获取到的、与目标对象对应的、用于训练预测模型且具有强监督信息的图像,即该样本图像的监督信息经过人工标注,可以直观的获得该样本图像中的样本对象是否是该样本图像中的原始对象。
115.所述将所述第一局部样本图像作为样本图像,训练获得所述第一预测模型,包括通过以下训练步骤训练获得所述第一预测模型:将所述第一局部样本图像输入到所述特征提取子模型中,获取所述第一局部样本图像的特征信息;将所述第一局部样本图像的特征信息作为第一子样本数据,训练所述第一预测子模型,使所述第一预测子模型的预测误差达到预设的第一收敛条件。
116.即,在根据特征提取子模型获取到第一局部样本图像的特征信息之后,将该第一局部样本图像的特征信息作为第一样本数据,训练第一预测子模型,在训练的过程中,使用softmax loss或focal loss等损失函数调整第一预测子模型的参数,使第一预测子模型的预测误差达到预设的第一收敛条件,若该预测误差未达到预设的第一收敛条件,则采用梯度下降法调整第一预测子模型的参数。
117.另外,如果第一预测子模型的输出结果是用于表征所述样本对象是否属于所述样本图像的原始对象的概率信息,则:所述第一预测模型还包括综合决策子模型;所述训练步骤还包括:将所述第一预测子模型的预测结果作为向量中的元素,获取待处理样本预测向量;使用所述待处理样本预测向量,训练所述综合决策子模型以建立所述第一预测子模型的预测结果和期望预测结果的数据关系,使所述综合决策子模型的决策误差达到预设的决策收敛条件。其中,所述期望预测结果是该样本对象是否属于样本图像的原始对象的实际结果。
118.即,将第一预测子模型的预测结果联合为一个待处理样本预测向量,并使用该待处理样本预测向量训练综合决策子模型,在训练的过程中,利用softmax loss等损失函数调整综合决策子模型的参数,以建立第一预测子模型的预测结果与期望预测结果的数据关系。
119.以上是本技术第一实施例提供的根据第一局部图像和第一预测模型,预测目标对象是否属于待检测图像的原始对象的方法,该方法通过获取用于表征待检测图像的目标对象的局部的多个第一局部图像,并根据第一预测子模型中的特征提取子模型,获取第一局部图像中的多个维度的特征信息,并使用强监督信息的样本图像训练获得的第一预测子模型,确定目标对象是否属于待检测图像的原始对象,可以减少图像检测的计算量,以及增加预测结果的准确性。
120.另外,考虑到一般在替换待检测图像中的目标对象时,通常仅针对目标对象所在的目标区域进行替换,而不会替换待检测图像中的背景区域,也就是不会替换待检测图像中除目标对象以外的区域,由此可知,在进行图像检测时,还可以通过判断目标对象中获得的局部图像与背景区域中获得的局部图像是否同源,来进一步增加预测结果的准确性。
121.在本技术第一实施例中,为了进一步增加预测结果的准确性,还提供另一种预测方法,具体为:从所述待检测图像的背景区域中,获取第二局部图像,其中,所述背景区域是所述待检测图像中除所述目标对象以外的区域,所述第二局部图像是用于表征所述背景区域的局部的图像;所述根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,包括:根据所述第一局部图像和所述第二局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
122.例如,在从待检测图像中获得包含目标对象的目标区域,并对该目标区域进行几何归一化处理后,从该目标区域中获取到了第一局部图像;与此同时,还可以从该目标区域以外的背景区域中,选取至少一个图像块,并从这至少一个图像块中,获取第二局部图像,其中,所述第二局部图像的数量可以与该第一局部图像的数量等同,也可以不同;所述第二局部图像可以是与第一局部图像等尺寸的图像,也可以是不同尺寸的图像,此处不做特殊限定。
123.所述根据所述第一局部图像和所述第二局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像和所述第二局部图像输入到第二预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象。
124.在本技术第一实施例中,所述第二预测子模型是与上述方法中的第一预测子模型不同的卷积神经网络模型,该第二预测子模型具体为一个多分支预测模型,其首先由一个特征提取子模型构成,该特征提取子模型的结构与上述第一预测模型中的特征提取子模型相同,并可用于提取第一局部图像和第二局部图像的特征信息。即,所述第二预测模型包括特征提取子模型;所述将所述第一局部图像和所述第二局部图像输入到第二预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像和所述第二局部图像输入到所述特征提取子模型中,获取所述第一局部图像的特征信息和所述第二局部图像的特征信息;根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象。
125.所述第二预测模型还包括第一预测子模型、第二预测子模型,其中,所述第一预测子模型用于根据所述第一局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象,所述第二预测子模型用于根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,判断所述第一局部图像和所述第二局部图像是否同源,以确定所述第一局部图像是否属于所述待检测图像的原始对象;所述根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测果;将所述第一局部图像的特征信息和所述第二局部图像的特征信息进行组对,获取待处理特征信息对;将所述待处理特征信息对输入到所述第二预测子模型中,获取第二预测结果;根据所述第一预测结果和所述第二预测结果,获得目标预测结果,其中,所述目标预测结果用于表示所述目标对象是否属于所述待检测图像的原始对象。
126.即,所述第二预测模型包括至少两个分支预测子模型,这两个分支预测子模型共享特征提取子模型的输出结果,即输出的第一局部图像和第二局部图像的特征信息,其中,该第二预测模型的其中一个分支中的模型,即第二预测模型中的第一预测子模型与上述第一预测模型中的第一预测子模型的结构及功能相同,此处不再赘述。该第二预测模型的另一个分支中的模型,即第二预测子模型,用于根据第一局部图像的特征信息和第二局部图像的特征信息构成的特征信息对,判断第一局部图像和第二局部图像是否同源,进而判断目标对象是否属于待检测图像的原始对象。
127.另外,由于在第二预测模型中包括至少两个分支的预测结果,因此,在获取到这两个分支的预测结果后,还需要对这两个分支的预测结果进行综合决策,以获得最终的目标预测结果。所以,所述第二预测模型还包括综合决策子模型;所述根据所述第一预测结果和所述第二预测结果,获得目标预测结果,包括:将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果。
128.所述第一预测结果和所述第二预测结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的分值信息;所述将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果,包括:通过所述综合决策子模型,获取所述第一预测结果中的多个子结果的平均值,作为第一平均值,以及,获取所述第二预测结果中的多个子结果的平均值,作为第二平均值;将所述第一平均值与对应的第一权重相乘的结果,与所述第二平均值与对应的第二权重值相乘的结果相加,获得所述目标预测结果。
129.另外,为了进一步增加目标预测结果的准确性,所述第一预测结果和所述第二预测结果可以是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息;所述将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果,包括:将所述第一预测结果中的多个子结果和所述第二预测结果中的多个子结果作为向量中的元素,获取待处理预测向量;将所述待处理预测向量输入到所述综合决策子模型中,获得所述目标预测结果。
130.所述将所述待处理预测向量输入到所述综合决策子模型中,获得所述目标预测结果,包括:将所述待处理预测向量与预先训练获得的第一预测子模型的预测结果和第二预测子模型的预测结果和期望预测结果的数据关系进行拟合处理,获得所述目标预测结果。
131.在本技术第一实施例中,所述第二预测模型通过以下步骤获得:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像是用于表征所述样本背景区域的局部的图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得所述第二预测模型。
132.关于样本图像,在前述处理中已经有详细描述,此处不再赘述。所述将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得所述第二预测模型,包括通过以下训练步骤训练获得所述第二预测模型:将所述第一局部样本图像和所述第二局部样本图像输入到所述特征提取子模型中,获取所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息;将所述第一局部样本图像的特征信息作为第一子样本数据,训练所述第一预测子模型,使所述第一预测子模型的预测误差达到预设的第一收敛条件;将
所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行组对,获取待处理样本特征信息对;将所述待处理样本特征信息对作为第二子样本数据,训练所述第二预测子模型,使所述第二预测子模型的预测误差达到预设的第二收敛条件。
133.其中,关于第二预测模型中的第一预测子模型的训练过程与上述第一预测模型的第一预测子模型的训练过程基本相同,此处不再赘述。
134.所述将所述待处理样本特征信息对作为第二子样本数据,训练所述第二预测子模型,使所述第二预测子模型的预测误差达到预设的第二收敛条件,具体为:将获取到的多个第一局部图像的特征信息和多个第二局部图像的特征信息进行随机组对,或按预定的规则组对,获得待处理特征信息对;之后,使用该待处理特征信息对训练第二预测子模型,在训练的过程中,使用contrastive loss或者margin based loss等损失函数调整第二预测子模型的参数,使第二预测子模型的预测误差达到预设的第二收敛条件;若该预测误差未达到预设的第二收敛条件,则采用梯度下降法调整第二预测子模型的参数。
135.需要说明的是,所述按预定的规则组对,具体可以是对第一局部图像的特征信息和第二局部图像的特征信息进行难样本挖掘处理,并将该第一局部图像的特征信息与从第二局部图像的特征信息中挖掘获得的负样本图像的特征信息进行组对,以增加第二预测子模型的预测结果的准确性。即,所述将所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行组对,获取待处理样本特征信息对,包括:对所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行难样本挖掘处理,从所述第二局部样本图像的特征信息中,获取与所述第一局部样本图像的特征信息对应的正样本图像的特征信息和负样本图像的特征信息;将所述第一局部样本图像的特征信息和所述负样本图像的特征信息进行组对,获取所述待处理样本特征信息对。
136.另外,如果所述第一预测子模型的预测结果和所述第二预测子模型的预测结果是用于表征所述样本对象是否属于所述样本图像的原始对象的概率信息,则所述第二预测模型还包括综合决策子模型;所述训练步骤还包括:将所述第一预测子模型的预测结果和所述第二预测子模型的预测结果作为向量中的元素,获取待处理样本预测向量;使用所述待处理样本预测向量,训练所述综合决策子模型以建立所述第一预测子模型的预测结果第二预测子模型的预测结果和期望预测结果的数据关系,使所述综合决策子模型的决策误差达到预设的决策收敛条件。
137.如图3所示,其为本技术第一实施例提供的一种图像检测方法的框架示意图。根据上述描述以及图3内容可知,根据第一局部图像、第二局部图像和第二预测模型对待检测图像中的目标对象进行检测,不仅可以减少图像检测时的计算量;同时,由于第二预测模型中的第一预测子模型以及第二预测子模型是使用强监督信息的样本图像训练获得的模型,并且,第一预测子模型和第二预测子模型共享特征提取子模型的参数,由此可知,第二预测模型是端到端的优化模型,其在训练和实际使用时的处理过程是完全一致的,可以增加检测结果的准确性。
138.需要说明的是,在具体实施时,也可以将上述第一预测模型和第二预测模型合并为一个自适应的目标预测模型,该目标预测模型包括特征提取子模型、第一预测子模型,第二预测子模型以及综合决策子模型,并可以根据输入数据的不同,自适应的输出目标预测结果。
139.例如,当目标预测模型的输入数据仅为第一局部图像时,所述目标预测模型可以仅通过特征提取子模型、第一预测子模型和综合决策子模型输出目标预测结果;当目标预测模型的输入数据为第一局部图像和第二局部图像时,所述目标预测模型通过特征提取子模型、第一预测子模型、第二预测子模型和综合决策子模型输出目标预测结果。
140.综上所述,本技术第一实施例提供的图像检测方法,包括:获取包含目标对象的待检测图像;获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。所述方法通过获取与待检测图像所包含的目标对象对应的、用于表征目标对象的局部的第一局部图像,并根据获取到的第一局部图像来确定目标对象是否属于待检测图像的原始对象,而当目标对象不属于待检测图像的原始对象时,从目标对象获取到的第一局部图像的局部通常会存在异常细节纹理、图像融合痕迹等局部特征信息,因此,根据第一局部图像的局部中所存在的这些局部特征信息,即可准确的预测目标对象是否属于待检测图像的原始对象,可以增加预测结果的准确性。
141.与本技术第一实施例提供的图像检测方法相对应,本技术第二实施例还提供一种预测模型的获得方法,请参看图4所示,其为本技术第二实施例提供的一种预测模型的获得方法的流程图,其中部分步骤在本技术第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本技术第一实施例提供的一种图像检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
142.步骤s401,获取包含样本对象的样本图像。
143.步骤s402,获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像。
144.步骤s403,将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
145.与本技术第一实施例提供的图像检测方法相对应,本技术第三实施例还提供另一种预测模型的获得方法,请参看图5所示,其为本技术第三实施例提供的另一种预测模型的获得方法的流程图,其中部分步骤在本技术第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本技术第一实施例提供的一种图像检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
146.步骤s501,获取包含样本对象的样本图像。
147.步骤s502,获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像。
148.步骤s503,从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像。
149.步骤s504,将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
150.与本技术第一实施例提供的一种图像检测方法相对应,本技术第四实施例还提供一种图像检测装置,请参看图6,其为本技术第四实施例提供的图像检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本技术第四实施例提供的一种图像检测装置包括如下部分:
151.图像获取单元601,用于获取包含目标对象的待检测图像。
152.局部图像获取单元602,用于获取与所述目标对象对应的第一局部图像,所述第一局部图像是用于表征所述目标对象的局部的图像。
153.确定单元603,用于根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
154.可选的,所述局部图像获取单元,具体用于:从所述待检测图像中,获取包含所述目标对象的目标区域;根据所述目标区域,获取所述第一局部图像。
155.可选的,所述从所述待检测图像中,获取包含所述目标对象的目标区域,包括:获取所述目标对象在所述待检测图像中的位置信息和特征点信息;根据所述位置信息和所述特征点信息,获取所述目标区域。
156.可选的,所述根据所述目标区域,获取所述第一局部图像,包括:对所述目标区域进行几何归一化处理,获取几何归一化处理后的目标区域;根据预设的第一尺寸,将所述几何归一化处理后的目标区域划分为至少一个局部图像块,从所述至少一个局部图像块中,获取所述第一局部图像。
157.可选的,所述确定单元,具体用于:将所述第一局部图像输入到第一预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象。
158.所述第一预测模型包括特征提取子模型和第一预测子模型,其中,所述第一预测子模型用于根据所述第一局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象;
159.所述将所述第一局部图像输入到第一预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象,包括:
160.将所述第一局部图像输入到所述特征提取子模型中,获取所述第一局部图像的特征信息;
161.将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,其中,所述第一预测结果用于表征所述目标对象是否属于所述待检测图像的原始对象。
162.可选的,所述将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取至少一个预测子结果,其中,所述预测子结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的分值信息;将所述至少一个预测子结果的平均值作为所述第一预测结果。
163.可选的,所述第一预测模型还包括综合决策子模型;所述将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取至少一个预测子结果,其中,所述预测子结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息;将所述至少一
个预测子结果作为向量中的元素,获取待处理预测向量;将所述待处理预测向量输入到所述综合决策子模型中,获取所述第一预测结果。
164.可选的,所述将所述待处理预测向量输入到所述综合决策子模型中,获取所述第一预测结果,包括:将所述待处理预测向量与所述综合决策子模型中预先训练获得的第一预测子模型的预测结果和期望预测结果的数据关系进行拟合处理,获取所述第一预测结果。
165.可选的,所述第一预测模型通过以下步骤获得:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述样本对象的局部的图像;将所述第一局部样本图像作为样本数据,训练获得所述第一预测模型。
166.可选的,所述将所述第一局部样本图像作为样本图像,训练获得所述第一预测模型,包括通过以下训练步骤训练获得所述第一预测模型:将所述第一局部样本图像输入到所述特征提取子模型中,获取所述第一局部样本图像的特征信息;将所述第一局部样本图像的特征信息作为第一子样本数据,训练所述第一预测子模型,使所述第一预测子模型的预测误差达到预设的第一收敛条件。
167.可选的,所述第一预测模型还包括综合决策子模型,所述第一预测子模型的预测结果是用于表征所述样本对象是否属于所述样本图像的原始对象的概率信息;所述训练步骤还包括:将所述第一预测子模型的预测结果作为向量中的元素,获取待处理样本预测向量;使用所述待处理样本预测向量,训练所述综合决策子模型以建立所述第一预测子模型的预测结果和期望预测结果的数据关系,使所述综合决策子模型的决策误差达到预设的决策收敛条件。
168.可选的,所述装置还包括:第二局部图像获取单元,用于从所述待检测图像的背景区域中,获取第二局部图像,其中,所述背景区域是所述待检测图像中除所述目标对象以外的区域,所述第二局部图像是用于表征所述背景区域的局部的图像。所述确定单元,还用于:根据所述第一局部图像和所述第二局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
169.可选的,所述根据所述第一局部图像和所述第二局部图像,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像和所述第二局部图像输入到第二预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象。
170.可选的,所述第二预测模型包括特征提取子模型;所述将所述第一局部图像和所述第二局部图像输入到第二预测模型中,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像和所述第二局部图像输入到所述特征提取子模型中,获取所述第一局部图像的特征信息和所述第二局部图像的特征信息;根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象。
171.可选的,所述第二预测模型还包括第一预测子模型、第二预测子模型,其中,所述第一预测子模型用于根据所述第一局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象,所述第二预测子模型用于根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,判断所述第一局部图像和所述第二局部图像是否同源,以预
测所述第一局部图像是否属于所述待检测图像的原始对象;所述根据所述第一局部图像的特征信息和所述第二局部图像的特征信息,确定所述目标对象是否属于所述待检测图像的原始对象,包括:将所述第一局部图像的特征信息输入到所述第一预测子模型中,获取第一预测结果;将所述第一局部图像的特征信息和所述第二局部图像的特征信息进行组对,获取待处理特征信息对;将所述待处理特征信息对输入到所述第二预测子模型中,获取第二预测结果;根据所述第一预测结果和所述第二预测结果,获得目标预测结果,其中,所述目标预测结果用于表示所述目标对象是否属于所述待检测图像的原始对象。
172.可选的,所述第二预测模型还包括综合决策子模型;所述根据所述第一预测结果和所述第二预测结果,获得目标预测结果,包括:将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果。
173.可选的,所述第一预测结果和所述第二预测结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的分值信息;所述将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果,包括:通过所述综合决策子模型,获取所述第一预测结果中的多个子结果的平均值,作为第一平均值,以及,获取所述第二预测结果中的多个子结果的平均值,作为第二平均值;将所述第一平均值与对应的第一权重相乘的结果,与所述第二平均值与对应的第二权重值相乘的结果相加,获得所述目标预测结果。
174.可选的,所述第一预测结果和所述第二预测结果是用于表征所述目标对象是否属于所述待检测图像的原始对象的概率信息;所述将所述第一预测结果和所述第二预测结果输入到所述综合决策子模型中,获得所述目标预测结果,包括:将所述第一预测结果中的多个子结果和所述第二预测结果中的多个子结果作为向量中的元素,获取待处理预测向量;将所述待处理预测向量输入到所述综合决策子模型中,获得所述目标预测结果。
175.可选的,所述第二预测模型通过以下步骤获得:获取包含样本对象的样本图像;获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像是用于表征所述样本背景区域的局部的图像;将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得所述第二预测模型。
176.可选的,所述将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得所述第二预测模型,包括通过以下训练步骤训练获得所述第二预测模型:将所述第一局部样本图像和所述第二局部样本图像输入到所述特征提取子模型中,获取所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息;将所述第一局部样本图像的特征信息作为第一子样本数据,训练所述第一预测子模型,使所述第一预测子模型的预测误差达到预设的第一收敛条件;将所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行组对,获取待处理样本特征信息对;将所述待处理样本特征信息对作为第二子样本数据,训练所述第二预测子模型,使所述第二预测子模型的预测误差达到预设的第二收敛条件。
177.可选的,所述第二预测模型还包括综合决策子模型,所述第一预测子模型的预测结果和所述第二预测子模型的预测结果是用于表征所述样本对象是否属于所述样本图像
的原始对象的概率信息;所述训练步骤还包括:将所述第一预测子模型的预测结果和所述第二预测子模型的预测结果作为向量中的元素,获取待处理样本预测向量;使用所述待处理样本预测向量,训练所述综合决策子模型以建立所述第一预测子模型的预测结果第二预测子模型的预测结果和期望预测结果的数据关系,使所述综合决策子模型的决策误差达到预设的决策收敛条件。
178.可选的,所述将所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行组对,获取待处理样本特征信息对,包括:对所述第一局部样本图像的特征信息和所述第二局部样本图像的特征信息进行难样本挖掘处理,从所述第二局部样本图像的特征信息中,获取与所述第一局部样本图像的特征信息对应的正样本图像的特征信息和负样本图像的特征信息;将所述第一局部样本图像的特征信息和所述负样本图像的特征信息进行组对,获取所述待处理样本特征信息对。
179.可选的,所述目标对象包括人脸对象。
180.与本技术第一实施例提供的一种图像检测方法相对应,本技术第五实施例还提供一种电子设备,请参看图7,其为本技术第五实施例提供的一种电子设备的示意图,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本技术第五实施例提供的一种电子设备包括:
181.处理器701;
182.存储器702,用于存储用于图像检测方法的程序,该设备通电并通过所述处理器运行所述图像检测方法的程序后,执行下述步骤:
183.获取包含目标对象的待检测图像;
184.获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;
185.根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
186.与本技术第一实施例提供的一种图像检测方法相对应,本技术第六实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本技术第六实施例提供的一种存储设备,存储有图像检测方法的程序,该程序被处理器运行,执行下述步骤:
187.获取包含目标对象的待检测图像;
188.获取与所述目标对象对应的第一局部图像,其中,所述第一局部图像是用于表征所述目标对象的局部的图像;
189.根据所述第一局部图像,确定所述目标对象是否属于所述待检测图像的原始对象。
190.与本技术第二实施例提供的一种预测模型的获得方法相对应,本技术第七实施例还提供一种预测模型的获得装置,请参看图8,其为本技术第七实施例提供的预测模型的获得装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本技术第七实
施例提供的一种预测模型的获得装置包括如下部分:
191.样本图像获取单元801,用于获取包含样本对象的样本图像。
192.局部样本图像获取单元802,用于获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像。
193.模型训练单元803,用于将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
194.与本技术第二实施例提供的一种预测模型的获得方法相对应,本技术第八实施例还提供一种电子设备,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本技术第八实施例提供的一种电子设备包括:
195.处理器;
196.存储器,用于存储用于预测模型的获得方法的程序,该设备通电并通过所述处理器运行所述预测模型的获得方法的程序后,执行下述步骤:
197.获取包含样本对象的样本图像;
198.获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像;
199.将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
200.与本技术第二实施例提供的一种预测模型的获得方法相对应,本技术第九实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本技术第九实施例提供的一种存储设备,存储有预测模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
201.获取包含样本对象的样本图像;
202.获取与所述样本对象对应的局部样本图像,其中,所述局部样本图像是用于表征所述样本对象的局部的图像;
203.将所述局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包括的目标对象对应的局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
204.与本技术第三实施例提供的一种预测模型的获得方法相对应,本技术第十实施例还提供另一种预测模型的获得装置,请参看图9,其为本技术第十实施例提供的预测模型的获得装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本技术第十实施例提供的另一种预测模型的获得装置包括如下部分:
205.样本图像获取单元901,用于获取包含样本对象的样本图像;
206.第一局部样本图像获取单元902,用于获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;
207.第二局部样本图像获取单元903,用于从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;
208.模型训练单元904,用于将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
209.与本技术第二实施例提供的一种预测模型的获得方法相对应,本技术第十一实施例还提供另一种电子设备,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本技术第十一实施例提供的另一种电子设备包括:
210.处理器;
211.存储器,用于存储用于预测模型的获得方法的程序,该设备通电并通过所述处理器运行所述预测模型的获得方法的程序后,执行下述步骤:
212.获取包含样本对象的样本图像;
213.获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;
214.从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;
215.将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
216.与本技术第二实施例提供的一种预测模型的获得方法相对应,本技术第十二实施例还提供另一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本技术第十二实施例提供的一种存储设备,存储有预测模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
217.获取包含样本对象的样本图像;
218.获取与所述样本对象对应的第一局部样本图像,其中,所述第一局部样本图像是用于表征所述目标对象的局部的图像;
219.从所述样本图像的样本背景区域中,获取第二局部样本图像,其中,所述样本背景区域是所述样本图像中除所述样本对象以外的区域,所述第二局部样本图像用于表征所述样本背景区域的部分图像;
220.将所述第一局部样本图像和所述第二局部样本图像作为样本数据,训练获得目标预测模型,其中,所述目标预测模型用于根据与待检测图像所包含的目标对象对应的第一局部图像,以及从所述待检测图像的背景区域获得的第二局部图像,预测所述待检测图像所包括的目标对象是否属于所述待检测图像的原始对象。
221.本技术虽然以较佳实施例公开如上,但其并不是用来限定本技术,任何本领域技术人员在不脱离本技术的精神和范围内,都可以做出可能的变动和修改,因此本技术的保护范围应当以本技术权利要求所界定的范围为准。
222.在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
223.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
224.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
225.本领域技术人员应明白,本技术的实施例可提供为方法、系统或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。