模型训练方法、移动对象识别方法、装置及设备与流程

文档序号:27007669发布日期:2021-10-19 22:58阅读:93来源:国知局
模型训练方法、移动对象识别方法、装置及设备与流程

1.本发明涉及数据处理技术领域,尤其涉及一种模型训练方法、移动对象识别方法、装置及设备。


背景技术:

2.随着经济的飞速发展,车辆的应用越来越普及,而车辆的识别与管理也越来越重要。目前,车辆的识别方式通常包括:提取目标车辆的视觉特征(例如:颜色、外观以及品牌等等),而后利用所提取的车辆的视觉特征来定位数据库中与目标车辆在视觉上最为相似的车辆。
3.然而,由于同一车辆在不同时间被不同的摄像头捕捉到的车辆图像可能会因不同的摄像参数(例如:分辨率、视角、高度等等)和不同的环境条件(例如:光照、车速、天气等等)而差异较大,并且,不同的车辆也可能具有非常相似的颜色、形状,尤其是同一个汽车厂商所生产的车辆更加容易混淆。因此,仅仅依赖视觉特征不足以实现对车辆进行准确、有效地识别。


技术实现要素:

4.本发明实施例提供了一种模型训练方法、移动对象识别方法、装置及设备,通过对多维度特征信息的学习训练获得目标模型,而后可以利用目标模型在不同的摄像参数、环境条件下,实现快速、准确地对移动对象进行识别,进而便于基于识别结果对移动对象进行管理。
5.第一方面,本发明实施例提供了一种模型训练方法,包括:
6.获取包括预设对象的训练图像以及与所述预设对象相对应的身份信息;
7.利用第一机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第一训练特征;
8.利用第二机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第二训练特征,其中,所述第一机器学习模型与所述第二机器学习模型不同,所述第一训练特征与所述第二训练特征不同;
9.基于所述第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
10.第二方面,本发明实施例提供了一种模型训练装置,包括:
11.第一获取模块,用于获取包括预设对象的训练图像以及与所述预设对象相对应的身份信息;
12.第一处理模块,用于利用第一机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第一训练特征;
13.所述第一处理模块,用于利用第二机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第二训练特征,其中,所述第一机器学习模型与所述第二机器学
习模型不同,所述第一训练特征与所述第二训练特征不同;
14.第一训练模块,用于基于所述第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
15.第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的模型训练方法。
16.第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的模型训练方法。
17.第五方面,本发明实施例提供了一种移动对象识别方法,包括:
18.获取待处理图像以及多个参考图像,其中,所述待处理图像中包括待识别移动对象,所述多个参考图像中包括多个参考移动对象;
19.确定与所述待处理图像相对应的待分析特征、以及与所述参考图像相对应的参考特征;
20.在所述多个参考移动对象中,利用机器学习模型对所述待分析特征和参考特征进行分析处理,确定与所述待识别移动对象相对应的目标移动对象,其中,所述机器学习模型被训练为用于基于图像特征识别图像中移动对象的身份信息。
21.第六方面,本发明实施例提供了一种移动对象识别装置,包括:
22.第二获取模块,用于获取待处理图像以及多个参考图像,其中,所述待处理图像中包括待识别移动对象,所述多个参考图像中包括多个参考移动对象;
23.第二确定模块,用于确定与所述待处理图像相对应的待分析特征、以及与所述参考图像相对应的参考特征;
24.第二处理模块,用于在所述多个参考移动对象中,利用机器学习模型对所述待分析特征和参考特征进行分析处理,确定与所述待识别移动对象相对应的目标移动对象,其中,所述机器学习模型被训练为用于基于图像特征识别图像中移动对象的身份信息。
25.第七方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的移动对象识别方法。
26.第八方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第五方面中的移动对象识别方法。
27.本实施例提供的技术方案,通过获取包括预设对象的训练图像以及与所述预设对象相对应的身份信息,并利用第一机器学习模型和第二机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第一训练特征和第二训练特征,由于第一训练特征和第二训练特征为与训练图像相对应的不同维度的特征信息,而后基于所述第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中车辆的身份信息的目标模型,从而有效地实现了目标模型是基于图像中多维度的特征信息训练而成,使得目标模型可以在不同的摄像参数、环境条件下,实现快速、准确地对移动对象进行识别,从而便于基于识别结果对移动对象进行管理,进一步提高了该方法的实用性。
也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
48.应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
49.取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
50.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
51.另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
52.为了便于理解本实施例中的技术方案,下面对相关技术进行简要说明:
53.随着经济的飞速发展,城市汽车的保有量与日俱增,这也给交通管理、维护公共安全带来极大的挑战。在维护车辆安全方面,经常需要进行特定车辆的车辆检索操作,现有技术中最广泛的车辆识别方法是基于车牌而实现的,然而,面对车牌信息无法识别、车辆无牌、车辆套牌等车牌信息错误或者缺失的情况,则无法准确地进行车辆识别操作。
54.为了解决上述无法准确地进行车辆识别操作的情况,现有技术提出了以下几种车辆识别方法:
55.(1)基于时空关联的车辆识别方法,即通过摄像头获取车辆的时空约束信息和车辆视觉信息,而后基于时空约束信息和车辆视觉信息来进行车辆识别操作。然而,在获取车辆的时空约束信息和车辆视觉信息时,若摄像头所在点位的经纬度标定不准或者摄像头时钟未校准,则容易导致所获取的时空约束信息和车辆视觉信息不准确,从而无法实现对车辆的准确识别操作。
56.(2)基于车辆局部标注的车辆识别方法。然而,该车辆识别方法需要大量的人工进行标注操作,数据处理的效率较低,不具备普适性。
57.(3)基于车辆图片全局特征的车辆识别方法。然而,该方法无法分辨细微差别的车辆,例如:对于车型一样、颜色一样的车辆的识别准确率不高。
58.为了解决上述技术问题,本应用实施例提供了一种模型训练方法、移动对象识别方法、装置及设备,该方法通过获取包括预设对象的训练图像以及与所述预设对象相对应的身份信息,并利用第一机器学习模型和第二机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第一训练特征和第二训练特征,由于第一训练特征和第二训练特征为与训练图像相对应的不同维度的特征信息,而后基于所述第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中车辆的身份信息的目标模型,从而有效地实现了目标模型是基于图像中多维度的特征信息训练而成,使得目标模型可以在不同的摄像参数、环境条件下,实现快速、准确地对移动对象进行识别,从
而便于基于识别结果对移动对象(例如:车辆等可以被管理的对象)进行管理,进一步提高了该方法的实用性。
59.下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
60.图1为本发明实施例提供的一种模型训练方法的流程示意图;图2为本发明实施例提供的一种模型训练方法的示意图;参考附图1-图2所示,本实施例提供了一种模型训练方法,该方法的执行主体可以为模型训练装置,可以理解的是,该模型训练装置可以实现为软件、或者软件和硬件的组合。具体的,该模型训练方法可以包括:
61.步骤s101:获取包括预设对象的训练图像以及与预设对象相对应的身份信息。
62.步骤s102:利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征。
63.步骤s103:利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征,其中,第一机器学习模型与第二机器学习模型不同,第一训练特征与第二训练特征不同。
64.步骤s104:基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
65.下面针对上述各个步骤进行详细阐述:
66.步骤s101:获取包括预设对象的训练图像以及与预设对象相对应的身份信息。
67.其中,预设对象可以是对应有标准身份信息的任意对象,在不同的应用场景中,预设对象可以具有不同的表现形式,例如:在道路交通管理的应用产经中,预设对象可以为车辆,此时,车辆所对应的标准身份信息可以为用于标识车辆身份的车牌信息。此外,上述的预设对象可以包括移动对象和非移动对象,移动对象可以包括:移动车辆、移动机器人、移动无人机、移动人物或者移动动物等等;非移动对象可以包括:服装、饰品、建筑物等等。
68.另外,训练图像可以是通过图像传感器直接采集获得的图像,或者,也可以是通过卷积神经网络(convolutional neural networks,简称cnn)对采集图像进行分析处理后所获得的cnn特征图。具体的,本领域技术人员可以根据具体的应用需求和设计需求进行设置,在此不再赘述。
69.此外,训练图像的数量为一个或多个,较为优选的,所获取的训练图像为多个图像,当预设对象包括移动车辆时,多个训练图像可以是指针对同一个移动车辆在不同时间、不同道路上的运行图像信息。此外,本实施例对于获取训练图像的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求进行设置,例如:模型训练装置可以与图像采集装置(例如:道路上的摄像头、预设空间内的摄像头)通信连接,通过图像采集装置可以获取图像,而后图像采集装置可以将所获得的图像发送至模型训练装置,从而使得模型训练装置可以获取包括预设对象的训练图像。或者,通过图像采集装置可以获取到图像,而后可以将图像存储在预设区域中,模型训练装置通过访问预设区域可以获取到图像。
70.在一些实例中,预先设置有多个对象以及与多个对象相对应的多个第一图像,而预设对象可以是上述多个对象中的任意一个,而上述包括预设对象的训练图像可以是多个第一图像中的至少一部分。此时,本实施例中的获取包括预设对象的训练图像可以包括:获取与多个对象相对应的多个第一图像,多个对象中包括有预设对象;对多个第一图像进行
聚类处理,获得与预设对象相对应的至少一个图像。
71.其中,与多个对象相对应的多个第一图像可以存储在预设区域中,通过访问预设区域可以获取到与多个对象相对应的多个第一图像;或者,与多个对象相对应的多个第一图像可以是通过图像采集装置采集获得的,例如:在预设对象为车辆时,图像采集装置可以应用于道路监控的应用场景中在图像采集装置是位于道路上的摄像头时,多个第一图像可以是摄像头在预设的时间段内所采集的所有道路上的所有过车图像,可以理解的是,所有过车图像可以对应多个车辆,此时,通过图像采集装置对道路上的实时采集或者监控可以获得与多个对象相对应的第一图像,该多个对象中可以包括预设对象。
72.在获取到与多个对象相对应的多个第一图像之后,可以对多个第一图像进行聚类处理。为了便于理解,以车辆作为预设对象为例进行说明,可以基于车牌信息对多个第一图像进行聚类处理,或者,也可以基于预设的图像特征信息对多个第一图像进行聚类处理,或者,也可以按照预设的聚类规则对多个第一图像进行聚类处理,从而可以获得与车辆相对应的至少一个车辆训练图像。
73.举例来说,现有与多个车辆相对应的多个第一图像如下:与车辆a相对应的图像a、与车辆b相对应的图像b、与车辆c相对应的图像c、与车辆a相对应的图像d、与车辆a相对应的图像e、与车辆b相对应的图像f以及与车辆c相对应的图像g,那么,在获取到上述与多个车辆相对应的多个第一图像之后,可以对上述的多个第一图像进行聚类处理,从而可以获得与车辆a相对应的至少一个车辆训练图像(包括:图像a、图像d和图像e)、与车辆b相对应的至少一个车辆训练图像(包括:图像b和图像f)以及与车辆c相对应的至少一个车辆训练图像(包括:图像c和图像g)。其中,对于车辆a而言,图像a、图像d和图像e可以是指在不同时间、不同道路上针对车辆a所采集到的图像信息;同理的,对于车辆b而言,图像b和图像f可以是指在不同时间、不同道路上针对车辆b所采集到的图像信息;对于车辆c而言,图像c和图像g可以是指在不同时间、不同道路上针对车辆c所采集到的图像信息。
74.可以理解的是,预设车辆可以是多个车辆中的至少之一,举例来说,在车辆a为预设车辆时,那么与预设车辆相对应的至少一个车辆训练图像可以包括图像a、图像d和图像e。在车辆b为预设车辆时,那么与预设车辆相对应的至少一个车辆训练图像可以包括图像b和图像f。在车辆c为预设车辆时,那么与预设车辆相对应的至少一个车辆训练图像可以包括图像c和图像g。
75.通过获取与多个移动对象相对应的多个第一图像,并而后对多个第一图像进行聚类处理,获得包括预设对象的训练图像,这样不仅可以提高对图像进行分析处理的质量和效率,并且由于预设对象对应有至少一个训练图像,而至少一个训练图像可以包括不同拍摄角度、不同拍摄环境下的图像,这样可以有效地提高对目标模型进行学习训练的质量和效率,进一步提高了利用目标模型进行数据处理的准确可靠性。
76.步骤s102:利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征。
77.其中,第一机器学习模型是预先被训练的用于提取图像特征的模型,具体的,第一机器学习模型可以包括注意力机制,此时,在获取到训练图像之后,可以利用注意力机制对训练图像进行分析处理,以获得与训练图像相对应的第一训练特征,所获得的第一训练特征可以包括训练图像的局部特征和全局特征。
78.步骤s103:利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征,其中,第一机器学习模型与第二机器学习模型不同,第一训练特征与第二训练特征不同。
79.其中,第二机器学习模型与第一机器学习模型不同,该第二机器学习模型是预先被训练的用于提取图像特征的模型,具体实现时,第二机器学习模型可以包括由卷积神经网络所构成的透视转换子网络(ptn模块)、残差子网络和转置卷积子网络,上述的透视转换子网络用于对图像进行透视变换处理,残差子网络用于提取图像的残差特征,转置卷积子网络用于获取残差特征的局部响应的权重系数,所获得的查查特征的局部响应的权重系数用于实现第二训练特征的提取操作。
80.在获取到训练图像之后,可以利用第二机器学习模型对训练图像进行分析处理,从而可以获得与训练图像相对应的第二训练特征。可以理解的是,由于第一机器学习模型与第二机器学习模型不同,因此,所获得的第二训练特征与第一训练特征不同,并且,所获得的第二训练特征可以包括训练图像的局部特征和全局特征。
81.步骤s104:基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
82.在获取到第一训练特征、第二训练特征和预设对象的身份信息之后,可以基于第一训练特征、第二训练特征和与预设对象相对应的身份信息进行学习训练,具体的,可以将第一训练特征、第二训练特征和预设对象相对应的身份信息输入到分类器中进行学习训练,而后通过交叉熵损失函数进行计算,获得模型学习训练的损失值,而后基于所获得的损失值对模型的训练参数进行更新,直到所获得的损失值满足预设需求时,则可以获得用于识别图像中预设对象的身份信息的目标模型,在获取到目标模型之后,可以利用目标模型对待分析图像进行身份识别操作。
83.本实施例提供的模型训练方法,通过获取包括预设对象的训练图像以及与所述预设对象相对应的身份信息,并利用第一机器学习模型和第二机器学习模型对所述训练图像进行处理,获得与所述训练图像相对应的第一训练特征和第二训练特征,由于第一训练特征和第二训练特征为与训练图像相对应的不同维度的特征信息,而后基于所述第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中车辆的身份信息的目标模型,从而有效地实现了目标模型是基于图像中多维度的特征信息训练而成,使得目标模型可以在不同的摄像参数、环境条件下,实现快速、准确地对移动对象进行识别,从而便于基于识别结果对移动对象进行管理,进一步提高了该方法的实用性。
84.图3为本发明实施例提供的另一种模型训练方法的流程示意图;在上述实施例的基础上,继续参考附图3所示,训练图像的数量可以为多个,在获取包括预设对象的训练图像之后,本实施例中的方法还可以包括:
85.步骤s301:对多个训练图像进行像素归一化处理,获得与多个训练图像相对应的多个中间图像。
86.步骤s302:对多个中间图像进行色域转换处理,获得与多个训练图像相对应的多个目标训练图像。
87.在训练图像的个数为多个时,多个训练图像的尺寸可以是相同或者不同的,此时,为了保证对图像特征进行提取的质量和效率,可以对多个训练图像进行像素归一化处理,
从而可以获得与多个训练图像相对应的多个中间图像,可以理解的是,所获得的多个中间图像具有相同的像素大小。
88.在获取到多个中间图像之后,可以对多个中间图像进行色域转换处理,从而可以获得与多个训练图像行对应的多个目标训练图像,从而可以保证在进行特征提取操作时,多个训练图像的图像特征维度相同,进一步提高了对图像特征进行提取的质量和效率。
89.图4为本发明实施例提供的利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征的流程示意图;在上述实施例的基础上,继续参考附图4所示,本实施例对于获得与训练图像相对应的第一训练特征的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征可以包括:
90.步骤s401:利用注意力机制对训练图像进行处理,获得与训练图像所对应的特征权重系数。
91.步骤s402:基于特征权重系数和训练图像,获得与训练图像相对应的第一训练特征。
92.其中,在第一机器学习模型为注意力机制时,可以利用注意力机制对训练图像进行处理,从而可以获得训练图像所对应的特征权重系数。在获取到特征权重系数之后,可以对特征权重系数和训练图像进行分析处理,从而可以获得与训练图像相对应的第一训练特征。具体的,参考附图5所示,基于特征权重系数和训练图像,获得与训练图像相对应的第一训练特征可以包括:
93.步骤s501:确定与特征权重系数相对应的目标权重系数,其中,目标权重系数的非线性程度大于特征权重系数的非线性程度。
94.步骤s502:基于目标权重系数和训练图像,获得第一训练特征。
95.由于特征权重系数的非线性程度有限,因此,为了能够保证对第一训练特征进行提取的质量和效率,可以在获取到特征权重系数之后,对特征权重系数进行分析处理,从而可以确定与特征权重系数相对应的目标权重系数,具体的,确定与特征权重系数相对应的目标权重系数可以包括:获取用于增加特征权重系数的非线性程度的激活函数;利用激活函数对特征权重系数进行处理,获得目标权重系数。
96.其中,激活函数是预先配置的用于增加特征权重系数的非线性程度的数据处理函数。另外,本实施例对激活函数的具体获取方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:激活函数可以存储在预设区域,通过访问预设区域可以获取到激活函数;或者,激活函数可以存储在预设装置中,预设装置与模型训练装置通信连接,预设装置可以将激活函数主动发送至模型训练装置,或者,模型训练装置可以向预设装置发送函数获取请求,以使预设装置可以通过函数获取请求将激活函数发送至模型训练装置,从而使得模型训练装置可以稳定地获取到激活函数。
97.在获取到激活函数之后,可以利用激活函数对特征权重系数进行分析处理,从而可以获得目标权重系数。具体的,利用激活函数对特征权重系数进行处理,获得目标权重系数可以包括:利用激活函数对特征权重系数进行处理,获得处理后权重系数;对处理后权重系数进行归一化处理,获得目标权重系数。
98.在获取到激活函数和特征权重系数之后,可以利用激活函数对特征权重系数进行分析处理,从而可以获得处理后权重系数,处理后权重系数的非线性程度高于特征权重系数的非线性程度。为了提高数据处理的质量和效率,在获取到处理后权重系数之后,可以对处理后权重系数进行归一化处理,从而可以获得目标权重信息。
99.在获取到目标权重信息之后,可以对目标权重系数和训练图像进行分析处理,从而可以获得第一训练特征。具体的,基于目标权重系数和训练图像,获得第一训练特征可以包括:将目标权重系数与训练图像的乘积,确定为第一训练特征。
100.本实施例中,利用注意力机制对训练图像进行处理,获得与训练图像所对应的特征权重系数,而后基于特征权重系数和训练图像,获得与训练图像相对应的第一训练特征,由于特征权重系数的非线性程度较高,因此,有效地保证了对第一训练特征进行获取的准确可靠性。
101.图6为本发明实施例提供的利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征的流程示意图;在上述实施例的基础上,继续参考附图6所示,本实施例中的利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征可以包括:
102.步骤s601:利用透视转换子网络对训练图像进行分析处理,获得与训练图像相对应的图像变换矩阵。
103.其中,在第二机器学习模型包括用于对图像进行透视变换处理的透视转换子网络时,可以利用透视转换子网络对训练图像进行透视变换处理,获得与训练图像相对应的图像变换矩阵。
104.在一种可实现的方式中,利用透视转换子网络对训练图像进行分析处理,获得与训练图像相对应的图像变换矩阵可以包括:获取训练图像中的像素点坐标信息;利用透视转换子网络对像素点坐标信息进行分析处理,获得与训练图像相对应的图像变换矩阵。
105.具体的,在获取到训练图像之后,可以利用预设识别算法识别出训练图像中包括的像素点坐标信息,而后可以利用透视转换子网络对像素点坐标信息进行分析处理,从而可以获得与训练图像相对应的图像变换矩阵,即实现了对训练图像进行透视变化处理。
106.步骤s602:基于图像变换矩阵,获得与训练图像相对应的第二训练特征。
107.在获取到图像变换矩阵之后,可以对图像变换矩阵进行分析处理,从而可以获得与训练图像相对应的第二训练特征。具体的,基于图像变换矩阵,获得与训练图像相对应的第二训练特征可以包括:利用残差子网络对图像变换矩阵进行分析处理,获得与图像变换矩阵相对应的残差特征;利用转置卷积子网络对残差特征进行分析处理,获得用于标识残差特征的局部响应的权重系数;基于权重系数和残差特征,确定与训练图像相对应的第二训练特征。
108.具体的,在获取到图像变换矩阵之后,可以利用用于提取残差特征的残差子网络对图像变换矩阵进行分析处理,从而可以获得与图像变换矩阵相对应的残差特征。而后可以利用转置卷积子网络对残差特征进行分析处理,获得用于标识残差特征的局部响应的权重系数,在获取到用于标识残差特征的局部响应的权重系数之后,可以对权重系数和残差特征进行分析处理,从而可以确定与训练图像相对应的第二训练特征。
109.在一种可实现的方式中,基于权重系数和残差特征,确定与训练图像相对应的第
二训练特征可以包括:将权重系数与残差特征的乘积,确定为与训练图像相对应的第二训练特征。
110.本实施例中,通过透视转换子网络对训练图像进行分析处理,获得与训练图像相对应的图像变换矩阵,而后基于图像变换矩阵,获得与训练图像相对应的第二训练特征,从而有效地保证了对第二训练特征进行获取的准确可靠性,进一步提高了对模型进行学习训练的质量和效率。
111.图7为本发明实施例提供的基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型的流程示意图;在上述实施例的基础上,参考附图7所示,本实施例中的基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型可以包括:
112.步骤s701:根据第一训练特征和第二训练特征,确定与训练图像相对应的目标特征信息。
113.步骤s702:基于目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型。
114.其中,在获取到第一训练特征和第二训练特征之后,可以对第一训练特征和第二训练特征进行分析处理,从而可以确定与训练图像相对应的目标特征信息。在一种可实现的方式中,根据第一训练特征和第二训练特征,确定与训练图像相对应的目标特征信息可以包括:对第一训练特征和第二训练特征进行拼接处理,获得与训练图像相对应的目标特征信息。
115.具体的,由于第一训练特征和第二训练特征是标识训练图像的不同维度的特征向量信息,因此,在获取到第一训练特征和第二训练特征之后,可以对第一训练特征和第二训练特征进行拼接处理,从而可以获得与训练图像相对应的目标特征信息,此时的目标特征信息融合有上述的第一训练特征和第二训练特征。
116.在获取到目标特征信息之后,可以基于目标特征信息和与预设对象相对应的身份信息进行学习训练,从而可以获得目标模型。在一种可实现的方式中,基于目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型可以包括:利用交叉熵损失函数对目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型。
117.本实施例中,通过所获得的第一训练特征和第二训练特征可以确定与训练图像相对应的目标特征信息,而后可以基于目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型,从而有效地实现了可以基于训练图像的不同维度特征进行模型训练操作,继而保证了对目标模型进行学习训练的质量和效率,进一步提高了该方法的实用性。
118.图8为本发明实施例提供的又一种模型训练方法的流程示意图;在上述实施例实施例的基础上,继续参考附图8所示,本实施例中的方法还可以包括:
119.步骤s801:获取用户针对所述训练图像所输入的特征提取操作。
120.步骤s802:根据所述特征提取操作获取与所述训练图像相对应的第三训练特征。
121.步骤s803:基于所述第一训练特征、第二训练特征、第三训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
122.其中,在获取到训练图像之后,为了能够使得目标模型可以适用于更多的应用场景,满足不同用户的应用需求,用户可以针对训练图像输入特征提取操作,该特征提取操作可以实现在不同的应用场景中进行不同的特征提取操作;在获取到用户针对训练图像所输入的特征提取操作,可以根据所述特征提取操作获取与所述训练图像相对应的第三训练特征。
123.在获取到第三训练特征之后,可以结合上述的第一训练特征、第二训练特征和第三训练特征以及与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
124.本实施例中,通过获取用户针对所述训练图像所输入的特征提取操作,根据所述特征提取操作获取与所述训练图像相对应的第三训练特征,基于所述第一训练特征、第二训练特征、第三训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型,从而有效地实现了基于与用户之间的交互操作来选择满足不同应用场景和应用需求的训练特征,进一步提高了对目标模型进行训练的质量和实用性。
125.在上述任意一个实施例的基础上,本实施例中的方法还可以包括:提供一与所述目标模型相对应的数据应用接口,以通过所述数据应用接口调用所述目标模型进行数据处理操作。
126.在训练生成目标模型之后,为了方便对目标模型进行调用,可以提供一与目标模型相对应的数据应用接口,该数据应用接口用于通过网络来提供与目标模型相对应的服务应用,从而方便利用目标模型进行相应的数据处理操作。
127.举例来说,在获取到用于对目标模型进行更新操作的模型更新请求时,则可以根据模型更新请求,通过数据应用接口对目标模型进行模型更新操作,从而有效地实现了可以根据模型更新请求对目标模型的数据处理能力进行优化更新操作,并进一步提高了目标模型的训练能力。在获取到针对目标模型的数据处理请求时,则可以根据数据处理请求,通过数据应用接口调用目标模型进行数据处理操作,从而有效地实现了可以根据数据处理请求和目标模型进行数据处理操作,进一步提高了对目标模型进行应用的质量和效率。
128.图9为本发明实施例提供的一种移动对象识别方法的流程示意图;参考附图9所示,本实施例提供了一种移动对象识别方法,该方法的执行主体可以为移动对象识别装置,可以理解的是,该移动对象识别装置可以实现为软件、或者软件和硬件的组合。具体的,该移动对象识别方法可以包括:
129.步骤s901:获取待处理图像以及多个参考图像,其中,待处理图像中包括待识别移动对象,多个参考图像中包括多个参考移动对象。
130.步骤s902:确定与待处理图像相对应的待分析特征、以及与参考图像相对应的参考特征。
131.步骤s903:在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,确定与待识别移动对象相对应的目标移动对象,其中,机器学习模型被训练为用于基于图像特征识别图像中移动对象的身份信息。
132.下面针对上述各个步骤进行详细阐述:
133.步骤s901:获取待处理图像以及多个参考图像,其中,待处理图像中包括待识别移
动对象,多个参考图像中包括多个参考移动对象。
134.其中,待识别移动对象可以是需要进行身份识别操作的任意对象,具体的,待识别移动对象可以包括:移动车辆、移动机器人、移动无人机、移动人物或者移动动物等等。参考移动对象可以是指具有标准身份信息的移动对象,该参考移动对象用于实现对待处理图像进行身份识别。
135.另外,待处理图像的数量可以为一个或多个,在待处理图像的数量为多个时,可以对多个待处理图像进行聚类处理,从而可以获得针对一个或多个待识别移动对象所对应的一个或多个待处理图像,在同一个待识别移动对象对应有多个待处理图像时,多个待处理图像可以是指针对同一个待识别移动对象在不同时间、不同空间上的图像信息,例如:当待识别移动对象包括移动车辆时,多个待处理图像可以是指针对同一个移动车辆在不同时间、不同道路上的运行图像信息。
136.此外,本实施例对于获取待处理图像和多个参考图像的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求进行设置,例如:移动对象识别装置可以与图像采集装置(例如:道路上的摄像头、预设空间内的摄像头)通信连接,通过图像采集装置可以获取待处理图像,而后图像采集装置可以将所获得的待处理图像发送至移动对象识别装置,从而使得移动对象识别装置可以获取包括待识别移动对象的待处理图像。另外,在识别出待处理图像中待识别移动对象的身份信息时,可以将识别出身份信息的待处理图像确定为参考图像,并将参考图像存储在预设区域中,以通过访问预设区域获得多个参考图像。
137.在一种可实现的方式中,预先设置有多个对象以及与多个对象相对应的多个第一图像,而预设对象可以是上述多个对象中的任意一个,而上述包括待识别移动对象的待处理图像可以是多个第一图像中的至少一部分。此时,本实施例中的获取包括待识别移动对象的待处理图像可以包括:获取与多个对象相对应的多个第一图像,多个对象中包括有待识别移动对象;对多个第一图像进行聚类处理,获得与待识别移动对象相对应的至少一个图像。
138.其中,与多个对象相对应的多个第一图像可以存储在预设区域中,通过访问预设区域可以获取到与多个对象相对应的多个第一图像;或者,与多个对象相对应的多个第一图像可以是通过图像采集装置采集获得的,例如:在预设对象为车辆时,图像采集装置可以应用于道路监控的应用场景中在图像采集装置是位于道路上的摄像头时,多个第一图像可以是摄像头在预设的时间段内所采集的所有道路上的所有过车图像,可以理解的是,所有过车图像可以对应多个车辆,此时,通过图像采集装置对道路上的实时采集或者监控可以获得与多个对象相对应的第一图像,该多个对象中可以包括待识别移动对象。
139.在获取到与多个对象相对应的多个第一图像之后,可以对多个第一图像进行聚类处理。为了便于理解,以车辆作为待识别移动对象为例进行说明,可以基于车牌信息对多个第一图像进行聚类处理,或者,也可以基于预设的图像特征信息对多个第一图像进行聚类处理,或者,也可以按照预设的聚类规则对多个第一图像进行聚类处理,从而可以获得与车辆相对应的至少一个车辆训练图像。
140.举例来说,现有与多个车辆相对应的多个第一图像如下:与车辆a相对应的图像a、与车辆b相对应的图像b、与车辆c相对应的图像c、与车辆a相对应的图像d、与车辆a相对应的图像e、与车辆b相对应的图像f以及与车辆c相对应的图像g,那么,在获取到上述与多个
车辆相对应的多个第一图像之后,可以对上述的多个第一图像进行聚类处理,从而可以获得与车辆a相对应的至少一个车辆图像(包括:图像a、图像d和图像e)、与车辆b相对应的至少一个车辆图像(包括:图像b和图像f)以及与车辆c相对应的至少一个车辆图像(包括:图像c和图像g)。其中,对于车辆a而言,图像a、图像d和图像e可以是指在不同时间、不同道路上针对车辆a所采集到的图像信息;同理的,对于车辆b而言,图像b和图像f可以是指在不同时间、不同道路上针对车辆b所采集到的图像信息;对于车辆c而言,图像c和图像g可以是指在不同时间、不同道路上针对车辆c所采集到的图像信息。
141.可以理解的是,待识别移动对象可以是多个车辆中的至少之一,举例来说,在车辆a为待识别移动对象时,那么与待识别移动对象相对应的至少一个车辆图像可以包括图像a、图像d和图像e。在车辆b为待识别移动对象时,那么与待识别移动对象相对应的至少一个车辆图像可以包括图像b和图像f。在车辆c为待识别移动对象时,那么与预设车辆相对应的至少一个车辆图像可以包括图像c和图像g。
142.通过获取与多个移动对象相对应的多个第一图像,并而后对多个第一图像进行聚类处理,获得与待识别移动对象相对应的图像,这样不仅可以提高对图像进行分析处理的质量和效率,并且由于待识别移动对象对应有至少一个图像,而至少一个图像可以包括不同拍摄角度、不同拍摄环境下的图像,因此可以有效地提高对待识别移动对象进行识别的准确可靠性。
143.步骤s902:确定与待处理图像相对应的待分析特征、以及与参考图像相对应的参考特征。
144.在获取到待处理图像和参考图像之后,可以对待处理图像和参考图像进行分析处理,从而可以确定与待处理图像相对应的待分析特征和与参考图像相对应的参考特征,可以理解的是,待分析特征可以包括待处理图像的局部特征和全局特征,参考特征可以包括参考图像的局部特征和全局特征。
145.步骤s903:在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,确定与待识别移动对象相对应的目标移动对象,其中,机器学习模型被训练为用于基于图像特征识别图像中移动对象的身份信息。
146.在获取到待分析特征和参考特征之后,可以将待分析特征和参考特征输入到机器学习模型中进行分析处理,以实现在多个参考移动对象中,确定与待识别移动对象相对应的目标对象的身份信息;其中,机器学习模型被训练为用于基于图像特征识别图像中移动对象的身份信息。具体的,参考附图10所示,本实施例中的在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,确定与待识别移动对象相对应的目标移动对象可以包括:
147.步骤s9031:利用机器学习模型获取待分析特征与参考特征之间的相似度信息。
148.其中,利用机器学习模型获取待分析特征与参考特征之间的相似度信息可以包括:利用机器学习模型获取待分析特征与参考特征之间的余弦距离或欧氏距离;基于余弦距离或欧式距离,确定待分析特征与参考特征之间的相似度信息。
149.具体的,在获取到余弦距离或欧式距离之后,将1与余弦距离之间的差值确定为待分析特征与参考特征之间的相似度信息,或者,将1与欧式距离之间的差值确定为待分析特征与参考特征之间的相似度信息。
150.当然的,本领域技术人员也可以采用其他的方式来获取待分析特征与参考特征之间的相似度信息,只要能够保证对相似度信息进行获取的准确可靠性即可,在此不再赘述。
151.步骤s9032:将相似度信息最大的参考特征所对应的参考移动对象,确定为与待识别移动对象相对应的目标移动对象。
152.由于参考图像的数量可以为多个,与参考图像相对应的参考特征的数量也为多个,因此,待分析特征与参考特征之间的相似度信息的个数也为多个。在获取到多个相似度信息之后,可以识别出相似度信息最大的参考特征,而后可以将相似度信息最大的参考特征所对应的参考移动对象,确定为与待识别移动对象相对应的目标移动对象。
153.举例来说,参考图像可以包括参考图像a、参考图像b和参考图像c,相对应的,参考特征可以包括参考特征a、参考特征b、参考特征c。待分析特征与参考特征a之间的相似度为相似度a、待分析特征与参考特征b之间的相似度为相似度b、待分析特征与参考特征c之间的相似度为相似度c。
154.而后可以将相似度a、相似度b和相似度c进行分析比较,获取相似度信息最大的参考特征为参考特征b,进而可以将参考特征b所对应的参考图像b确定为目标参考图像,此时,可以将目标参考图像中的参考移动对象确定为与待识别移动对象相对应的目标移动对象,从而准确有效地实现了对图像进行身份识别操作。
155.本实施例提供的移动对象识别方法,通过获取待处理图像以及多个参考图像,确定与待处理图像相对应的待分析特征、以及与参考图像相对应的参考特征,而后在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,可以实现在不同的摄像参数、环境条件下,能够快速、准确地对图像中的移动对象进行识别,从而有效地实现了对图像中的移动对象进行识别的质量和效率,进一步提高了该方法的实用性。
156.图11为本发明实施例提供的确定与待处理图像相对应的待分析特征的流程示意图;在上述实施例的基础上,继续参考附图11所示,本实施例对于确定与待处理图像相对应的待分析特征的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求信息设置,较为优选的,本实施例中的确定与待处理图像相对应的待分析特征可以包括:
157.步骤s1001:利用第一机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第一特征。
158.其中,第一机器学习模型是预先被训练的用于提取图像特征的模型,可选地,第一机器学习模型可以包括注意力机制,此时,在获取到待处理图像之后,可以利用注意力机制对待处理图像进行分析处理,从而可以获得与待处理图像相对应的第一特征,所获得的第一特征可以包括待处理图像的局部特征和全局特征。
159.在一种可实现的方式中,利用第一机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第一特征可以包括:利用注意力机制对待处理图像进行处理,获得与待处理图像所对应的第一特征权重系数;基于第一特征权重系数和待处理图像,获得与待处理图像相对应的第一特征。
160.在获取到第一特征权重系数之后,可以对第一特征权重系数和待处理图像进行分析处理,以获得与待处理图像相对应的第一特征。具体的,基于第一特征权重系数和待处理图像,获得与待处理图像相对应的第一特征可以包括:确定与第一特征权重系数相对应的
目标权重系数,其中,目标权重系数的非线性程度大于第一特征权重系数的非线性程度;基于目标权重系数和待处理图像,获得第一特征。
161.在一种可实现的方式中,确定与第一特征权重系数相对应的目标权重系数可以包括:获取用于增加第一特征权重系数的非线性程度的激活函数;利用激活函数和第一特征权重系数,获得目标权重系数。
162.在一种可实现的方式中,利用激活函数和第一特征权重系数,获得目标权重系数可以包括:利用激活函数对第一特征权重系数进行处理,获得处理后权重系数;对处理后权重系数进行归一化处理,获得目标权重系数。
163.在一种可实现的方式中,基于目标权重系数和待处理图像,获得第一特征可以包括:将目标权重系数与待处理图像的乘积,确定为第一特征。
164.本实施例中上述方法的实现过程和技术效果与上述实施例中的对第一训练特征进行提取的实现过程和技术效果相类似,本实施例未详细描述的部分,可参考对图4-图7所示实施例的相关说明,在此不再赘述。
165.步骤s1002:利用第二机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第二特征,其中,第一机器学习模型与第二机器学习模型不同,第一特征与第二特征不同。
166.其中,第二机器学习模型与第一机器学习模型不同,该第二机器学习模型是预先被训练的用于提取图像特征的模型,具体实现时,第二机器学习模型可以包括由卷积神经网络所构成的透视转换子网络、残差子网络和转置卷积子网络,上述的透视转换子网络用于对图像进行透视变换处理,残差子网络用于提取图像的残差特征,转置卷积子网络用于获取残差特征的局部响应的权重系数。
167.在一种可实现的方式中,利用第二机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第二特征可以包括:利用透视转换子网络对待处理图像进行分析处理,获得与待处理图像相对应的图像变换矩阵;基于图像变换矩阵,获得与待处理图像相对应的第二特征。
168.在一种可实现的方式中,利用透视转换子网络对待处理图像进行分析处理,获得与待处理图像相对应的图像变换矩阵可以包括:获取待处理图像中的像素点坐标信息;利用透视转换子网络对像素点坐标信息进行分析处理,获得与待处理图像相对应的图像变换矩阵。
169.在一种可实现的方式中,基于图像变换矩阵,获得与待处理图像相对应的第二特征可以包括:利用残差子网络对图像变换矩阵进行分析处理,获得与图像变换矩阵相对应的残差特征;利用转置卷积子网络对残差特征进行分析处理,获得用于标识残差特征的局部响应的权重系数;基于权重系数和残差特征,确定与待处理图像相对应的第二特征。
170.在一种可实现的方式中,基于权重系数和残差特征,确定与待处理图像相对应的第二特征可以包括:将权重系数与残差特征的乘积,确定为与待处理图像相对应的第二特征。
171.本实施例中上述方法的实现过程和技术效果与上述实施例中的对第二训练特征进行提取的实现过程和技术效果相类似,本实施例未详细描述的部分,可参考对图4-图7所示实施例的相关说明,在此不再赘述。
172.步骤s1003:基于第一特征和第二特征,确定与待处理图像相对应的待分析特征。
173.在获取到第一特征和第二特征之后,可以对第一特征和第二特征进行分析处理,以确定与待处理图像相对应的待分析特征。由于第一特征和第二特征可以均是待处理图像的不同维度的特征向量信息,在一种可实现的方式中,基于第一特征和第二特征,确定与待处理图像相对应的待分析特征可以包括:对第一特征和第二特征进行拼接处理,从而可以确定与待处理图像相对应的待分析特征。
174.本实施例中上述方法的实现过程和技术效果与上述实施例中的图4-图7所示实施例的方法的实现过程和技术效果相类似,本实施例未详细描述的部分,可参考对图4-图7所示实施例的相关说明,在此不再赘述。
175.本实施例中,分别利用第一机器学习模型和第二机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第一特征和第二特征,而后可以基于第一特征和第二特征确定与待处理图像相对应的待分析特征,从而有效地保证了对于待处理图像相对应的待分析特征进行获取的准确可靠性,进一步提高了对图像中移动对象进行识别的质量和效果。
176.具体应用时,参考附图12所示,以车辆图像作为待处理图像、车辆图像中包括的待识别移动车辆作为待识别移动对象为例进行说明,本应用实施例提供了一种车辆识别方法,该车辆识别方法的执行主体可以包括客户端和车辆识别装置,客户端和车辆识别装置通信连接,以实现对车辆的身份进行准确、有效地识别操作。具体的,该方法可以包括:
177.步骤1:客户端向车辆识别装置发送待识别车辆图像,待识别车辆图像中包括待识别移动车辆。
178.步骤2:车辆识别装置接收客户端发送的待识别车辆图像。
179.步骤3:对待识别车辆图像进行特征提取操作,获得与待识别车辆图像的第一特征和第二特征。
180.其中,利用第一机器学习模型(注意力机制)对待识别车辆图像进行特征提取操作,获得第一特征。具体的,所获得的待识别车辆图像可以是经过预处理操作的矩阵图像数据,因此,在利用第一机器学习模型(注意力机制)对待识别车辆图像进行特征提取操作时,可以利用利用注意力机制对待识别车辆在不同位置特征(对矩阵图像数据中的各个矩阵元素)进行加权处理,从而可以获得cnn特征图(即第一特征)。
181.具体的,在利用注意力机制对待识别车辆在不同位置特征进行加权处理,获得cnn特征图可以包括:利用注意力机制网络对待识别车辆图像进行分析处理,得到通道特征描述子(即用于对矩阵中各个元素进行加权处理的权重系数),其中,通道特征描述子可以通过以下公式来表达:
[0182][0183]
其中,p为用于避免数据||m||为0的预设参数,p=2,∈=1e-12,m为通道特征描述子,m∈r
h
×
w
,h为待识别车辆图像的高度、w为待识别车辆图像的宽度。
[0184]
在获取到通道特征描述子之后,可以通过激活函数对通道特征描述子进行运算,并对运算后的结果进行归一化处理,使得归一化后限制其值在0-1之间,从而可以得到通道注意力特征图,而后可以将通道注意力特征图与通道特征描述子相乘,得到经通道处理的
cnn特征图。
[0185]
利用第二机器学习模型对待识别车辆图像进行特征提取操作,获得第二特征,该第二机器学习模型可以包括由卷积神经网络所构成的透视转换子网络、残差子网络和转置卷积子网络。上述的透视转换子网络用于对图像进行透视变换处理,残差子网络用于提取图像的残差特征,转置卷积子网络用于获取残差特征的局部响应的权重系数。
[0186]
具体的,如图13所示,利用第二机器学习模型对待识别车辆图像进行特征提取操作,获得第二特征可以包括:
[0187]
步骤31:利用透视转换子网络对待识别车辆图像进行分析处理,获得与待识别车辆图像相对应的图像变换矩阵。
[0188]
将待识别车辆图像输入至由两层卷积神经网络所构成的透视转换子网络进行处理,从而可以获得图像变换矩阵θ,图像变换矩阵θ可以表达如下:
[0189][0190]
其中,为图像变换矩阵,为输出特征图的像素点坐标,为输入的原始特征图的像素点坐标。
[0191]
步骤32:利用残差子网络对图像变换矩阵进行分析处理,获得与图像变换矩阵相对应的残差特征。
[0192]
步骤33:利用转置卷积子网络(convolutional transposed layer,简称ctl)对残差特征进行分析处理,获得用于标识残差特征的局部响应的权重系数。
[0193]
其中,转置卷积子网络可以包括向量卷积运算单元conv、批量规范化单元(batch normalization,简称bn)、线性整流函数(rectified linear unit,relu)单元、转置卷积单元(transposed convolutional layer,简称trans-conv)。
[0194]
步骤34:基于权重系数和残差特征,确定与待识别车辆图像相对应的第二特征。
[0195]
步骤4:对第一特征和第二特征进行拼接处理,获得与待识别车辆图像的目标特征。
[0196]
步骤5:获取预设参考图像以及与预设参考图像相对应的参考图像特征。
[0197]
步骤6:将目标特征和参考图像特征输入至机器学习模型中进行分析处理,获得与待识别车辆图像中的待识别车辆的身份信息。
[0198]
具体的,利用机器学习模型计算参考图像的深度特征与待识别车辆图像的深度特征之间的余弦距离,其中,余弦距离可以通过以下公式来获得:
[0199][0200]
其中,x为参考图像的深度特征,y为待识别车辆图像的深度特征,s为参考图像的深度特征与待识别车辆图像的深度特征之间的余弦距离。
[0201]
在获取到余弦距离之后,可以根据余弦距离的大小确定目标车辆图像和待识别车辆图像之间的相似度(1-s),将相似度最大的参考图像中的车辆身份确定为待识别车辆图像中的待识别车辆的身份信息,从而有效地实现了对待识别车辆图像的车辆身份进行识别操作。
[0202]
本应用实施例提供的车辆识别方法,结合了大数据和视觉算法,实现了对车辆图片进行有效的特征提取操作,从而有效地解决了现有技术中因摄像头点位经纬度标定不准、摄像头时钟未校准而导致的数据不准确的问题,此外,利用机器学习技术和大数据技术充分汲取历史经验,能够提高车辆图片的检索准确度,提高车辆识别的工作效率;另外,能够准确地识别出车辆局部特征和/或全局特征,并利用车辆局部的特征发现更多全局特征不易发现的细节,从而可以对相似度较高的车辆进行准确地身份识别操作,进一步提高了该方法的实用性。
[0203]
图14为本发明实施例提供的一种模型训练装置的结构示意图;参考附图14所示,本实施例提供了一种模型训练装置,该模型训练装置可以执行上述图1所示的模型训练方法,该模型训练装置可以包括:第一获取模块11、第一处理模块12和第一训练模块13,具体的,
[0204]
第一获取模块11,用于获取包括预设对象的训练图像以及与预设对象相对应的身份信息;
[0205]
第一处理模块12,用于利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征;
[0206]
第一处理模块12,用于利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征,其中,第一机器学习模型与第二机器学习模型不同,第一训练特征与第二训练特征不同;
[0207]
第一训练模块13,用于基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
[0208]
在一些实例中,训练图像的数量为多个,在获取包括预设对象的训练图像之后,本实施例中的第一处理模块12还可以用于执行:对多个训练图像进行像素归一化处理,获得与多个训练图像相对应的多个中间图像;对多个中间图像进行色域转换处理,获得与多个训练图像相对应的多个目标训练图像。
[0209]
在一些实例中,第一机器学习模型包括注意力机制,第二机器学习模型包括由卷积神经网络所构成的透视转换子网络、残差子网络和转置卷积子网络。
[0210]
在一些实例中,在利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征时,第一处理模块12可以用于执行:利用注意力机制对训练图像进行处理,获得与训练图像所对应的特征权重系数;基于特征权重系数和训练图像,获得与训练图像相对应的第一训练特征。
[0211]
在一些实例中,在基于特征权重系数和训练图像,获得与训练图像相对应的第一训练特征时,第一处理模块12可以用于执行:确定与特征权重系数相对应的目标权重系数,其中,目标权重系数的非线性程度大于特征权重系数的非线性程度;基于目标权重系数和训练图像,获得第一训练特征。
[0212]
在一些实例中,在确定与特征权重系数相对应的目标权重系数时,第一处理模块
12可以用于执行:获取用于增加特征权重系数的非线性程度的激活函数;利用激活函数对特征权重系数进行处理,获得目标权重系数。
[0213]
在一些实例中,在利用激活函数对特征权重系数进行处理,获得目标权重系数时,第一处理模块12可以用于执行:利用激活函数对特征权重系数进行处理,获得处理后权重系数;对处理后权重系数进行归一化处理,获得目标权重系数。
[0214]
在一些实例中,在基于目标权重系数和训练图像,获得第一训练特征时,第一处理模块12可以用于执行:将目标权重系数与训练图像的乘积,确定为第一训练特征。
[0215]
在一些实例中,在利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征时,第一处理模块12可以用于执行:利用透视转换子网络对训练图像进行分析处理,获得与训练图像相对应的图像变换矩阵;基于图像变换矩阵,获得与训练图像相对应的第二训练特征。
[0216]
在一些实例中,在利用透视转换子网络对训练图像进行分析处理,获得与训练图像相对应的图像变换矩阵时,第一处理模块12可以用于执行:获取训练图像中的像素点坐标信息;利用透视转换子网络对像素点坐标信息进行分析处理,获得与训练图像相对应的图像变换矩阵。
[0217]
在一些实例中,在基于图像变换矩阵,获得与训练图像相对应的第二训练特征时,第一处理模块12可以用于执行:利用残差子网络对图像变换矩阵进行分析处理,获得与图像变换矩阵相对应的残差特征;利用转置卷积子网络对残差特征进行分析处理,获得用于标识残差特征的局部响应的权重系数;基于权重系数和残差特征,确定与训练图像相对应的第二训练特征。
[0218]
在一些实例中,在基于权重系数和残差特征,确定与训练图像相对应的第二训练特征时,第一处理模块12可以用于执行:将权重系数与残差特征的乘积,确定为与训练图像相对应的第二训练特征。
[0219]
在一些实例中,在基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型时,该第一训练模块13可以用于执行:根据第一训练特征和第二训练特征,确定与训练图像相对应的目标特征信息;基于目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型。
[0220]
在一些实例中,在根据第一训练特征和第二训练特征,确定与训练图像相对应的目标特征信息时,该第一训练模块13可以用于执行:对第一训练特征和第二训练特征进行拼接处理,获得与训练图像相对应的目标特征信息。
[0221]
在一些实例中,在基于目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型时,该第一训练模块13可以用于执行:利用交叉熵损失函数对目标特征信息和与预设对象相对应的身份信息进行学习训练,获得目标模型。
[0222]
在一些实例中,本实施例中的第一获取模块11、第一处理模块12和第一训练模块13还可以用于执行以下步骤:
[0223]
第一获取模块11,用于获取用户针对所述训练图像所输入的特征提取操作;
[0224]
第一处理模块12,用于根据所述特征提取操作获取与所述训练图像相对应的第三训练特征;
[0225]
第一训练模块13,用于基于所述第一训练特征、第二训练特征、第三训练特征、与
预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
[0226]
在一些实例中,本实施例中的第一处理模块12还可以用于执行以下步骤:提供一与所述目标模型相对应的数据应用接口,以通过所述数据应用接口调用所述目标模型进行数据处理操作。
[0227]
图14所示装置可以执行图1-图8所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图8所示实施例中的描述,在此不再赘述。
[0228]
在一个可能的设计中,图14所示模型训练装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图15所示,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储相对应电子设备执行上述图1-图8所示实施例中提供的模型训练方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
[0229]
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:
[0230]
获取包括预设对象的训练图像以及与预设对象相对应的身份信息;
[0231]
利用第一机器学习模型对训练图像进行处理,获得与训练图像相对应的第一训练特征;
[0232]
利用第二机器学习模型对训练图像进行处理,获得与训练图像相对应的第二训练特征,其中,第一机器学习模型与第二机器学习模型不同,第一训练特征与第二训练特征不同;
[0233]
基于第一训练特征、第二训练特征、与预设对象相对应的身份信息进行学习训练,获得用于识别图像中预设对象的身份信息的目标模型。
[0234]
进一步的,第一处理器21还用于执行前述图1-图8所示实施例中的全部或部分步骤。
[0235]
其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
[0236]
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图7所示方法实施例中模型训练方法所涉及的程序。
[0237]
图16为本发明实施例提供的一种移动对象识别装置的结构示意图;参考附图16所示,本实施例提供了一种移动对象识别装置,该移动对象识别装置可以执行上述图9所示的移动对象识别方法,该移动对象识别装置可以包括:第二获取模块31、第二处理模块32和第二训练模块33,具体的,
[0238]
第二获取模块31,用于获取待处理图像以及多个参考图像,其中,待处理图像中包括待识别移动对象,多个参考图像中包括多个参考移动对象;
[0239]
第二确定模块32,用于确定与待处理图像相对应的待分析特征、以及与参考图像相对应的参考特征;
[0240]
第二处理模块33,用于在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,确定与待识别移动对象相对应的目标移动对象,其中,机器学习
模型被训练为用于基于图像特征识别图像中移动对象的身份信息。
[0241]
在一些实例中,在确定与待处理图像相对应的待分析特征时,第二确定模块32可以用于执行:利用第一机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第一特征;利用第二机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第二特征,其中,第一机器学习模型与第二机器学习模型不同,第一特征与第二特征不同;基于第一特征和第二特征,确定与待处理图像相对应的待分析特征。
[0242]
在一些实例中,第一机器学习模型包括注意力机制,在利用第一机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第一特征时,第二确定模块32可以用于执行:利用注意力机制对待处理图像进行处理,获得与待处理图像所对应的第一特征权重系数;基于第一特征权重系数和待处理图像,获得与待处理图像相对应的第一特征。
[0243]
在一些实例中,在基于第一特征权重系数和待处理图像,获得与待处理图像相对应的第一特征时,第二确定模块32可以用于执行:确定与第一特征权重系数相对应的目标权重系数,其中,目标权重系数的非线性程度大于第一特征权重系数的非线性程度;基于目标权重系数和待处理图像,获得第一特征。
[0244]
在一些实例中,在确定与第一特征权重系数相对应的目标权重系数时,第二确定模块32可以用于执行:获取用于增加第一特征权重系数的非线性程度的激活函数;利用激活函数和第一特征权重系数,获得目标权重系数。
[0245]
在一些实例中,在利用激活函数和第一特征权重系数,获得目标权重系数时,第二确定模块32可以用于执行:利用激活函数对第一特征权重系数进行处理,获得处理后权重系数;对处理后权重系数进行归一化处理,获得目标权重系数。
[0246]
在一些实例中,在基于目标权重系数和待处理图像,获得第一特征时,第二确定模块32可以用于执行:将目标权重系数与待处理图像的乘积,确定为第一特征。
[0247]
在一些实例中,第二机器学习模型包括由卷积神经网络所构成的透视转换子网络、残差子网络和转置卷积子网络;在利用第二机器学习模型对待处理图像进行处理,获得与待处理图像相对应的第二特征时,第二确定模块32可以用于执行:利用透视转换子网络对待处理图像进行分析处理,获得与待处理图像相对应的图像变换矩阵;基于图像变换矩阵,获得与待处理图像相对应的第二特征。
[0248]
在一些实例中,在利用透视转换子网络对待处理图像进行分析处理,获得与待处理图像相对应的图像变换矩阵时,第二确定模块32可以用于执行:获取待处理图像中的像素点坐标信息;利用透视转换子网络对像素点坐标信息进行分析处理,获得与待处理图像相对应的图像变换矩阵。
[0249]
在一些实例中,在基于图像变换矩阵,获得与待处理图像相对应的第二特征时,第二确定模块32可以用于执行:利用残差子网络对图像变换矩阵进行分析处理,获得与图像变换矩阵相对应的残差特征;利用转置卷积子网络对残差特征进行分析处理,获得用于标识残差特征的局部响应的权重系数;基于权重系数和残差特征,确定与待处理图像相对应的第二特征。
[0250]
在一些实例中,在基于权重系数和残差特征,确定与待处理图像相对应的第二特征时,第二确定模块32可以用于执行:将权重系数与残差特征的乘积,确定为与待处理图像相对应的第二特征。
[0251]
在一些实例中,在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,确定与待识别移动对象相对应的目标移动对象时,第二处理模块33可以用于执行:利用机器学习模型获取待分析特征与参考特征之间的相似度信息;将相似度信息最大的参考特征所对应的参考移动对象,确定为与待识别移动对象相对应的目标移动对象。
[0252]
在一些实例中,在利用机器学习模型获取待分析特征与参考特征之间的相似度信息时,第二处理模块33可以用于执行:利用机器学习模型获取待分析特征与参考特征之间的余弦距离或欧氏距离;基于余弦距离或欧式距离,确定待分析特征与参考特征之间的相似度信息。
[0253]
在一些实例中,待识别移动对象包括车辆。
[0254]
图16所示装置可以执行图9-图13所示实施例的方法,本实施例未详细描述的部分,可参考对图9-图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图9-图13所示实施例中的描述,在此不再赘述。
[0255]
在一个可能的设计中,图16所示移动对象识别装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图17所示,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储相对应电子设备执行上述图9-图13所示实施例中提供的移动对象识别方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。
[0256]
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:
[0257]
获取待处理图像以及多个参考图像,其中,待处理图像中包括待识别移动对象,多个参考图像中包括多个参考移动对象;
[0258]
确定与待处理图像相对应的待分析特征、以及与参考图像相对应的参考特征;
[0259]
在多个参考移动对象中,利用机器学习模型对待分析特征和参考特征进行分析处理,确定与待识别移动对象相对应的目标移动对象,其中,机器学习模型被训练为用于基于图像特征识别图像中移动对象的身份信息。
[0260]
进一步的,第二处理器41还用于执行前述图9-图13所示实施例中的全部或部分步骤。
[0261]
其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备或通信网络通信。
[0262]
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图9-图13所示方法实施例中移动对象识别方法所涉及的程序。
[0263]
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
[0264]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可
借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0265]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0266]
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0267]
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0268]
在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0269]
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0270]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0271]
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1