1.本发明涉及计算机视觉领域,尤其涉及一种行人重识别方法、装置、计算机设备及存储介质。
背景技术:2.随着硬件算力的飞速发展和人工智能计算机视觉技术,尤其是深度学习技术的快速发展和普及,计算机视觉技术在智慧城市安全领域有着广泛的应用。
3.行人重识别(person re-identification)是一种利用计算机视觉技术,旨在从大规模的分布式监控系统中搜索判断是否存在特定行人的技术,也称作行人再识别,简称为re-id。在监控摄像头视频中,摄像头的安装分布存在安装位置,安装角度,安装环境,摄像头分辨率各异的情况,摄像头的视频图像呈现因背景、时空行人姿态和环境光照影响的不同而存在差异。因此,行人重识别时需要克服监控摄像头的各种差异。但是,由于监控场景下存在不同光照亮度差异,不同曝光度差异,顺逆光差异,甚至环境有色光源干扰等一系列光照影响,导致对行人重识别的准确性有很大的影响。在大多数场景下,光照影响导致了行人重识别存在识别准确率低的问题。
4.因此,现有的行人重识别中存在因光照影响而导致的识别准确率低的问题。
技术实现要素:5.本发明实施例提供一种行人重识别方法、装置、计算机设备和存储介质,以提高不同光照影响下的行人重识别准确率。
6.为了解决上述技术问题,本技术实施例提供一种行人重识别方法,包括。
7.获取待识别图像,并将所述待识别图像输入行人重识别模型,其中,所述行人重识别模型包括主干网络和光照感知网络,所述主干网络包括n+2个卷积层,所述光照感知网络包括n个光照感知模块,第i+1个卷积层与第i个光照感知模块连接,所述i的取值范围为(1,n)且所述i为正整数。
8.基于所述主干网络的第一个卷积层,对所述待识别图像进行特征提取,得到第一特征图,并将所述主干网络的第二个卷积层作为当前卷积层。
9.采用所述当前卷积层对所述第一特征图进行特征提取,得到第二特征图。
10.采用与所述当前卷积层连接的光照感知模块,对所述第二特征图进行感知处理,得到感知特征图。
11.当所述当前卷积层对应的下一层卷积层不是最后一层卷积层时,则将所述第二特征图作为第一特征图,所述当前卷积层对应的下一层卷积层作为当前卷积层,并返回所述采用所述当前卷积层对所述第一特征图进行特征提取,得到第二特征图的步骤继续执行。
12.当所述当前卷积层对应的下一层卷积层为最后一层卷积层时,则对所述第二特征图进行卷积计算,得到第三特征图。
13.基于所有所述感知特征图和所述第三特征图,对所述待识别图像进行重识别处
理,得到行人重识别结果。
14.为了解决上述技术问题,本技术实施例还提供一种行人重识别装置,包括。
15.待识别图像获取模块,用于获取待识别图像,并将所述待识别图像输入行人重识别模型,其中,所述行人重识别模型包括主干网络和光照感知网络,所述主干网络包括n+2个卷积层,所述光照感知网络包括n个光照感知模块,第i+1个卷积层与第i个光照感知模块连接,所述i的取值范围为(1,n)且所述i为正整数。
16.第一特征图获取模块,用于基于所述主干网络的第一个卷积层,对所述待识别图像进行特征提取,得到第一特征图,并将所述主干网络的第二个卷积层作为当前卷积层。
17.第二特征图获取模块,用于采用所述当前卷积层对所述第一特征图进行特征提取,得到第二特征图。
18.感知特征图获取模块,用采用与所述当前卷积层连接的光照感知模块,对所述第二特征图进行感知处理,得到感知特征图。
19.循环模块,用于当所述当前卷积层对应的下一层卷积层不是最后一层卷积层时,则将所述第二特征图作为第一特征图,所述当前卷积层对应的下一层卷积层作为当前卷积层,并返回所述采用所述当前卷积层对所述第一特征图进行特征提取,得到第二特征图的步骤继续执行。
20.第三特征图获取模块,用于当所述当前卷积层对应的下一层卷积层为最后一层卷积层时,则对所述第二特征图进行卷积计算,得到第三特征图。
21.行人重识别模块,用于基于所有所述感知特征图和所述第三特征图,对所述待识别图像进行重识别处理,得到行人重识别结果。
22.为了解决上述技术问题,本技术实施例还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述行人重识别方法的步骤。
23.为了解决上述技术问题,本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述行人重识别方法的步骤。
24.本发明实施例提供的行人重识别方法、装置、计算机设备及存储介质,通过获取待识别图像,并将待识别图像输入行人重识别模型;基于主干网络的第一个卷积层,对待识别图像进行特征提取,得到第一特征图,并将主干网络的第二个卷积层作为当前卷积层;采用当前卷积层对第一特征图进行特征提取,得到第二特征图;采用与当前卷积层连接的光照感知模块,对第二特征图进行感知处理,得到感知特征图;当当前卷积层对应的下一层卷积层不是最后一层卷积层时,则将第二特征图作为第一特征图,当前卷积层对应的下一层卷积层作为当前卷积层,并返回采用当前卷积层对第一特征图进行特征提取,得到第二特征图的步骤继续执行;当当前卷积层对应的下一层卷积层为最后一层卷积层时,则对第二特征图进行卷积计算,得到第三特征图;基于所有感知特征图和第三特征图,对待识别图像进行重识别处理,得到行人重识别结果。通过上述步骤,能够减弱甚至去除不同光照条件对行人重识别的影响,提高不同光照影响下的行人重识别准确率。
附图说明
25.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
26.图1是本技术可以应用于其中的示例性系统架构图。
27.图2是本技术的行人重识别方法的一个实施例的流程图。
28.图3是本技术的行人重识别模型的一示例图。
29.图4是本技术的光照感知模块的一示例图。
30.图5是根据本技术的行人重识别装置的一个实施例的结构示意图。
31.图6是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
32.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本技术;本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
33.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
34.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
35.请参阅图1,如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
36.用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。
37.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture e界面显示perts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4(moving picture e界面显示perts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
38.服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
39.需要说明的是,本技术实施例所提供的行人重识别方法由服务器执行,相应地,行人重识别装置设置于服务器中。
40.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器,本技术实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
41.请参阅图2,图2示出本发明实施例提供的一种行人重识别方法,以该方法应用在图1中的服务端为例进行说明,详述如下。
42.s201、获取待识别图像,并将待识别图像输入行人重识别模型,其中,行人重识别模型包括主干网络和光照感知网络,主干网络包括n+2个卷积层,光照感知网络包括n个光照感知模块,第i+1个卷积层与第i个光照感知模块连接,i的取值范围为(1,n)且i为正整数。
43.在步骤s201中,上述待识别图像是指行人图像。
44.上述待识别图像的获取方式包括但不限于从监控摄像头拍摄的监控视频中截取图像、手机拍摄。具体地,上述获取待识别图像的方式根据实际应用场景进行适应性调整。
45.上述行人重识别模型是指用于识别待识别图像中行人数据的模型。应理解,此处的行人重识别模型可针对特定行人或者非特定行人,具体根据实际应用场景进行适应性调整。
46.具体地,上述行人重识别模型包括主干网络和光照感知网络,主干网络用于对待识别图像进行行人重识别,主干网络包括n+2个卷积层,光照感知网络用于进一步提取待识别图像的特征,减少光照影响的干扰。光照感知网络包括n个光照感知模块,第i+1个卷积层与第i个光照感知模块连接,i的取值范围为(1,n)且i为正整数。
47.此处需要说明的是,上述主干网络中卷积层的层数根据实际应用场景进行适应性调整。
48.通过上述获取待识别图像,并将待识别图像输入行人重识别模型,以便于后续基于行人重识别模型对待识别图像进行特征提取,提高对行人重识别算法对光照环境的鲁棒性,提高不同光照影响下的行人重识别准确率。
49.s202、基于主干网络的第一个卷积层,对待识别图像进行特征提取,得到第一特征图,并将主干网络的第二个卷积层作为当前卷积层。
50.在步骤s202中,上述特征提取是指对待识别图像进行卷积计算。
51.上述当前卷积层是指在主干网络中,当前对特征图进行处理的卷积层。
52.上述第一特征图包括但不限于颜色特征、姿态特征。
53.其中,颜色特征为待识别图像的整体颜色分布特征,例如,通过直方图算法提取待识别图像的的整体颜色特征。
54.上述姿态特征是指行人的特征,例如,通过姿态估计模型预测出行人的关键点,利用仿射变换对齐相同关键点进行姿态特征提取。应理解,一个行人通常被分为14个关键点,这些关键点将人体分为若干个区域,提取这些区域特征,并仿射变换对齐相同关键点完成姿态特征提取,得到待识别图像的行人特征。
55.此处需要说明的是,第一特征图的特征可根据实际情况进行调整,此处不作具体限制。
56.采用主干网络的第一个卷积层对待识别图像进行卷积计算,得到第一特征图,并采用主干网络后续卷积层对第一特征图进行深层次特征提取,以提高对行人的识别准确率。
57.s203、采用当前卷积层对第一特征图进行特征提取,得到第二特征图。
58.在步骤s203中,上述特征提取是指对第一特征图进行卷积计算。
59.上述第二特征图是指对第一特征图进行卷积计算得到的特征图。
60.此处需要说明的是,第二特征图的特征与第一特征图的特征相同。例如,当第一特征图仅包括姿态特征时,则第二特征图也仅包括姿态特征。
61.采用当前卷积层对第一特征图进行特征提取,得到第二特征图,以便于主干网络后续对该特征图进行进一步的特征计算,提高对行人重识别算法对光照环境的鲁棒性,提高不同光照影响下的行人重识别准确率。
62.s204、采用与当前卷积层连接的光照感知模块,对第二特征图进行感知处理,得到感知特征图。
63.在步骤s204中,上述光照感知模块用于提取第二特征图中的光照特征。
64.此处需要说明的是,光照特征是指在光线影响下呈现出的特征。例如,当拍摄环境存在红色灯光或者绿色灯光,该红色灯光或者绿色灯光会造成获取到的行人图像中,行人身上会泛红光。此时,提取出行人身上存在的红光特征即为光照特征。
65.上述感知特征图是指剔除第二特征图中光照影响得到的特征图。
66.此处需要说明的是,每一个光照感知模块对应一个感知特征图。所有的光照感知模块都属于光照感知网络。
67.光照感知网络的实现方法包括但不限于二分类网络,注意力网络。
68.其中,二分类网络是指采用二分类算法对待识别图像进行分类,得到分类结果,并根据分类结果采用不同的方式对第二特征图进行感知处理得到感知特征图。例如,当分类结果为该待识别图像对应的时间段为白天,由于白天可见光其的作用和热红外的作用相似,因此,赋予可见光和热红外的权重一样对第二特征图进行感知处理;当分类结果为该待识别图像对应的时间段为夜晚,由于夜晚由热红外为主导,因此,赋予热红外更高权重对第二特征图进行感知处理。
69.注意力网络是指基于注意力构建多个光照感知网络分支,分支和行人重识别主干分支,采用多级联合方式,在主干分支的多级特征图上进行特征融合,融合光照特征,此处需要说明的是,光照感知网络的构建方法可根据实际情况进行适应性调整。
70.优选地,本技术采用基于注意力网络构建光照感知网络。
71.通过采用多级联合方式,光照感知网络的光照感知模块在主干分支的多级特征图上进行特征融合,融合光照特征,抑制光照的干扰,提高对行人重识别算法对光照环境的鲁棒性,提高不同光照影响下的行人重识别准确率。
72.s205、当当前卷积层对应的下一层卷积层不是最后一层卷积层时,则将第二特征图作为第一特征图,当前卷积层对应的下一层卷积层作为当前卷积层,并返回采用当前卷积层对第一特征图进行特征提取,得到第二特征图的步骤继续执行。
73.在步骤s205中,当当前卷积层对应的下一层卷积层不是最后一层卷积层时,则当前卷积层对应的下一层卷积层依旧与一个光照感知模块连接。
74.通过识别当前卷积层对应的下一层卷积层是否最后一层卷积层,可根据识别结果进行不同处理,从而提高对待识别图像的处理速度。
75.s206、当当前卷积层对应的下一层卷积层为最后一层卷积层时,则对第二特征图进行卷积计算,得到第三特征图。
76.在步骤s206中,当当前卷积层对应的下一层卷积层为最后一层卷积层时,则当前卷积层对应的下一层卷积层没有相连接的光照感知模块。
77.上述第三特征图是指对第二特征图进行卷积计算得到的特征图。
78.此处需要说明的是,第三特征图的特征与第二特征图的特征相同。例如,当第二特征图仅包括姿态特征时,则第三特征图也仅包括姿态特征。
79.通过最后一层卷积层,对第二特征图进行卷积计算,提高对行人重识别算法对光照环境的鲁棒性,提高不同光照影响下的行人重识别准确率。
80.s207、基于所有感知特征图和第三特征图,对待识别图像进行重识别处理,得到行人重识别结果。
81.在步骤s207中,其具体是。
82.对第三特征图进行全连接处理,并将全连接得到的特征图与所有感知特征图进行连接处理,得到连接特征图。
83.对该连接特征图进行全连接和重识别处理,得到行人重识别结果。
84.其中,上述连接处理的顺序可根据实际情况具体调整。优选地,本技术采用全连接得到的特征图和感知特征图,感知特征图的顺序按照层级依次排列。
85.上述行人重识别结果为是否包含目标行人。
86.通过上述步骤,实现对待识别图像的重识别,提高对行人重识别算法对光照环境的鲁棒性,提高不同光照影响下的行人重识别准确率。
87.下面一实施例对上述步骤s201至步骤s207中的行人重识别模型进行解释说明,如图3所示,图3为上述行人重识别模型的一示例图。其中,conv、conv1_x、conv2_x、conv3_x、conv4_x为主干网络的5个卷积层,光照感知网络包括3个光照感知模块。每一个光照感知模块与一个卷积层相连接,即主干网络的第二个卷积层与光照感知网站的第一个光照感知模块连接,主干网络的第三个卷积层与光照感知网站的第二个光照感知模块连接,依次类推。fc为fully connected layers,全连接层,concat是指连接处理。softmax loss在此图中表示在主干网络的全连接层接入分类损失函数,triplet loss是使用三元损失度量行人特征。
88.主干网络的conv1_x、conv2_x和conv3_x中分别连接光照感知模块,在主干网络的多层级特征图上设置光照注意力网络。最后融合主干网络的全连接层和三级光照感知模块输出,通过全连接生成最终的行人重识别特征。在主干网络的全连接层接入分类损失,引导行人身份分类,最后的融合特征使用三元损失度量行人特征,提高对行人重识别算法对光照环境的鲁棒性,提高不同光照影响下的行人重识别准确率。
89.在本实施例中,通过获取待识别图像,并将待识别图像输入行人重识别模型;基于主干网络的第一个卷积层,对待识别图像进行特征提取,得到第一特征图,并将主干网络的第二个卷积层作为当前卷积层;采用当前卷积层对第一特征图进行特征提取,得到第二特征图;采用与当前卷积层连接的光照感知模块,对第二特征图进行感知处理,得到感知特征
图;当当前卷积层对应的下一层卷积层不是最后一层卷积层时,则将第二特征图作为第一特征图,当前卷积层对应的下一层卷积层作为当前卷积层,并返回采用当前卷积层对第一特征图进行特征提取,得到第二特征图的步骤继续执行;当当前卷积层对应的下一层卷积层为最后一层卷积层时,则对第二特征图进行卷积计算,得到第三特征图;基于所有感知特征图和第三特征图,对待识别图像进行重识别处理,得到行人重识别结果。通过上述步骤,能够减弱甚至去除不同光照条件对行人重识别的影响,提高不同光照影响下的行人重识别准确率。
90.在本实施例的一些可选的实现方式中,步骤s201之前,行人重识别方法还包括。
91.s101、获取行人图像集。
92.s102、基于残差网络,采用行人图像集中的行人图像对初始化主干网络进行预训练,得到预训练主干网络。
93.s103、基于注意力算法,构建初始化光照感知网络。
94.s104、基于预训练主干网络和初始化光照感知网络,构建初始化行人重识别模型。
95.s105、基于预设的数据增强方式,对行人图像集中的行人图像进行数据增强,得到训练图像集。
96.s106、根据训练图像集,对初始化行人重识别模型进行训练,得到行人重识别模型。
97.在步骤s101中,上述获取行人图像集的方法包括但不限于从监控摄像头拍摄的监控视频中截取图像、手机拍摄。具体地,上述获取行人图像集的方式根据实际应用场景进行适应性调整。
98.优选地,本技术实施例采用使用划定地理区域范围内的多监控摄像头,获取一定时间监控视频数据。使用行人检测模型检测得到行人图像集。
99.在步骤s102中,其具体是,采用残差网络对行人图像集中的行人图像进行特征提取。通过使用获取的行人图像集,对初始化主干网络进行训练,通过多次迭代训练,训练出损失和特征指标达到最优的状态,以此训练后的网络作为后续步骤中行人重识别的预训练主干网络。
100.上述残差网络可为resnet50、resnet101、resnet152,本技术优选resnet50模型。
101.在步骤s104中,其具体是,将预训练主干网络的多层卷积层依次和初始化光照感知网络的光照感知模块相连接,即在预训练主干网络的多层卷积层上设置光照感知网络,构建初始化行人重识别模型。
102.在步骤s105中,上述数据增强的方法包括但不限于基于生成对抗网络进行数据增强、随机增强。
103.应理解,上述数据增强的方法是对行人图像集中的行人图像进行光照条件的数据增强。
104.在步骤s106中,其具体是,根据训练图像集,对初始化行人重识别模型的初始化光照感知网络进行训练,得到带光照适用性的预训练模型。
105.采用低学习率,以及训练图像集,对预训练模型进行融合训练,对预训练模型的主干网络和光照感知网络进行监督学习,微调预训练模型的主干网络,得到行人重识别模型。
106.其中,根据训练图像集,对初始化行人重识别模型的初始化光照感知网络进行训
练,得到带光照适用性的预训练模型可通过将预训练主干网络导入到初始化光照感知网络中,采用预设次数迭代冻结主干网络参数,训练光照感知网络的光照感知模块。此处需要说明的是,预设次数迭代冻结主干网络参数优选为前20次迭代冻结主干网络参数。
107.在本实施例中,使用注意力机制网络构建光照感知及光照估计分支,联合主干网络多层级特征图实现加权机制,融合行人重识别网络及预训练权重采用多阶段训练机制,在预训练模型上微调,自适应抑制光照高级特征在行人重识别特征中的表达,能够减弱甚至去除不同光照条件对行人重识别的影响,提高不同光照影响下的行人重识别准确率。
108.在本实施例的一些可选的实现方式中,在步骤s105中,基于预设的数据增强方式,对行人图像集中的行人图像进行数据增强,得到训练图像集的步骤包括。
109.从行人图像集中抽取出预设数量的行人图像作为待增强图像,并将所有待增强图像加入待增强图像集合中。
110.基于直方图算法,依次对待增强图像集合选取出的待增强图像进行亮度处理,得到待增强图像对应的增强结果。
111.对所有待增强图像和待增强图像对应的增强结果进行汇总,得到训练图像集。
112.具体地,上述预设数量可根据实际情况进行调整,本技术不做具体限制。例如,采用从行人图像集中随机抽取出20%的行人图像作为待增强图像。
113.基于直方图算法,调整待增强图像的整体亮度,使得待增强图像的彩色图像通道分离,并根据分离结果使用比例分级调整不同亮度,得到待增强图像对应的增强结果。
114.此处需要说明的是,上述亮度处理可根据实际情况进行调整,本技术不做具体限制。
115.在本实施例中,通过直方图算法,调整待增强图像的亮度,从而增强样本的数量,实现了数据增强,以便于对行人重识别模型进行训练时,能够减弱甚至去除不同光照条件对行人重识别的影响,提高不同光照影响下的行人重识别准确率。
116.在本实施例的一些可选的实现方式中,在步骤s105中,基于预设的数据增强方式,对行人图像集中的行人图像进行数据增强,得到训练图像集的步骤包括:
117.基于预设的图像分割方式,对行人图像集中的行人图像进行图像分割,得到每一张行人图像对应的分割结果,其中,分割结果包括前景区域图像和背景区域图像。
118.针对每一张行人图像,采用高斯分布分别对行人图像对应的前景区域图像和背景区域图像进行亮度调整,得到前景区域图像对应的前景调整图像和背景区域图像对应的背景调整图像。
119.针对每一张行人图像,将前景调整图像和背景调整图像进行组合,得到行人图像对应的曝光图像。
120.对所有曝光图像进行光源筛选,并将通过光源筛选的曝光图像对应的行人图像加入训练图像集中。
121.其中,上述预设的图像分割方式包括但不限于均分图像、不等分图像。其中,均分图像是指将图像分割成大小一致的图片块,不等分图像是指将图像分割成大小不一致的图片块。
122.优选地,本技术采用均分图像。同时,本技术采用pspnet分割技术,对行人图像集中的行人图像进行图像分割。pspnet是在fcn上的改进,引入更多的上下文信息进行解决,
当分割层有更多全局信息时,出现误分割的概率就会降低。
123.针对每一张行人图像,采用高斯分布分别对行人图像对应的前景区域图像和背景区域图像进行明暗亮度分布调整,得到不同明暗的前景调整图像和的背景调整图像。
124.对不同明暗的前景调整图像和的背景调整图像进行组合,得到模拟曝光,顺逆光情况下的行人图像。
125.上述光源筛选是指筛选出符合标准的图像。例如,筛选出光源在亮度20%-80%的图像。此处需要说明的是,上述光源筛选根据实际情况具体调整,本技术不做具体限制。
126.在本实施例中,通过对图像进行分割,对分割出的前景区域图像和后景区域图像进行明暗处理,得到模拟曝光,顺逆光情况下的行人图像,实现了数据增强,以便于对行人重识别模型进行训练时,能够减弱甚至去除不同光照条件对行人重识别的影响,提高不同光照影响下的行人重识别准确率。
127.在本实施例的一些可选的实现方式中,在步骤s105中,基于预设的数据增强方式,对行人图像集中的行人图像进行数据增强,得到训练图像集的步骤包括。
128.基于生成对抗网络算法,确定预训练网络。
129.采用预训练网络对行人图像集进行训练,得到有色光源迁移模型。
130.基于有色光源迁移模型,对行人图像集中的行人图像进行数据增强,得到训练图像集。
131.具体地,基于生成对抗网络算法训练生成器和判别器网络,训练网络生成有色光源迁移模型,可以使用不同的图像生成多样的有色光源模板,迁移合成有色光源环境下行人图像,形成对有色光源条件下的数据增强。
132.在本实施例中,通过上述方法扩展数据集,丰富光照行人数据,以便于对行人重识别模型进行训练时,能够减弱甚至去除不同光照条件对行人重识别的影响,提高不同光照影响下的行人重识别准确率。
133.在本实施例的一些可选的实现方式中,在步骤s204中,采用与当前卷积层连接的光照感知模块,对第二特征图进行感知处理,得到感知特征图的步骤包括。
134.基于当前卷积层连接的光照感知模块,对第二特征图进行卷积计算,得到第四特征图和第五特征图。
135.对第五特征图进行池化、全连接处理,得到全连接特征图。
136.将全连接特征图和第四特征图进行乘积计算,得到融合特征图。
137.将第二特征图和融合特征图进行融合处理,得到感知特征图。
138.具体地,如图4所示,图4为本技术实施例的光照感知模块示意图。
139.上述第四特征图和第五特征图是当前卷积层连接的光照感知模块对第二特征图进行卷积计算得到的特征图。此处第五特征图和第四特征图本质上相同。
140.基于avarage group pooling层对第五特征图进行池化,基于fc层对池化后的第五特征图进行全连接处理。
141.在本实施例中,采用多级联合方式,在主干分支的多级特征图上进行特征融合,融合光照特征通过两个全连接层和激活层通过交换特征图之间的特征信息,能够融合通道之间的相关性,抑制光照的干扰。
142.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程
的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
143.图5示出与上述实施例行人重识别方法一一对应的行人重识别装置的原理框图。如图5所示,该行人重识别装置包括待识别图像获取模块31、第一特征图获取模块32、第二特征图获取模块33、感知特征图获取模块34、循环模块35、第三特征图获取模块36和行人重识别模块37。各功能模块详细说明如下。
144.待识别图像获取模块31,用于获取待识别图像,并将待识别图像输入行人重识别模型,其中,行人重识别模型包括主干网络和光照感知网络,主干网络包括n+2个卷积层,光照感知网络包括n个光照感知模块,第i+1个卷积层与第i个光照感知模块连接,i的取值范围为(1,n)且i为正整数。
145.第一特征图获取模块32,用于基于主干网络的第一个卷积层,对待识别图像进行特征提取,得到第一特征图,并将主干网络的第二个卷积层作为当前卷积层。
146.第二特征图获取模块33,用于采用当前卷积层对第一特征图进行特征提取,得到第二特征图。
147.感知特征图获取模块34,用采用与当前卷积层连接的光照感知模块,对第二特征图进行感知处理,得到感知特征图。
148.循环模块35,用于当当前卷积层对应的下一层卷积层不是最后一层卷积层时,则将第二特征图作为第一特征图,当前卷积层对应的下一层卷积层作为当前卷积层,并返回采用当前卷积层对第一特征图进行特征提取,得到第二特征图的步骤继续执行。
149.第三特征图获取模块36,用于当当前卷积层对应的下一层卷积层为最后一层卷积层时,则对第二特征图进行卷积计算,得到第三特征图。
150.行人重识别模块37,用于基于所有感知特征图和第三特征图,对待识别图像进行重识别处理,得到行人重识别结果。
151.在本实施例的一些可选的实现方式中,待识别图像获取模块31之前,行人重识别装置还包括。
152.行人图像集获取模块,用于获取行人图像集。
153.预训练主干网络获取模块,用于基于残差网络,采用行人图像集中的行人图像对初始化主干网络进行预训练,得到预训练主干网络。
154.初始化光照感知网络构建模块,用于基于注意力算法,构建初始化光照感知网络。
155.初始化行人重识别模型构建模块,用于基于预训练主干网络和初始化光照感知网络,构建初始化行人重识别模型。
156.训练图像集获取模块,用于基于预设的数据增强方式,对行人图像集中的行人图像进行数据增强,得到训练图像集。
157.行人重识别模型获取模块,用于根据训练图像集,对初始化行人重识别模型进行训练,得到行人重识别模型。
158.在本实施例的一些可选的实现方式中,训练图像集获取模块包括。
159.待增强图像获取单元,用于从行人图像集中抽取出预设数量的行人图像作为待增强图像,并将所有待增强图像加入待增强图像集合中。
160.直方图单元,用于基于直方图算法,依次对待增强图像集合选取出的待增强图像
进行亮度处理,得到待增强图像对应的增强结果。
161.汇总单元,用于对所有待增强图像和待增强图像对应的增强结果进行汇总,得到训练图像集。
162.在本实施例的一些可选的实现方式中,训练图像集获取模块包括。
163.分割单元,用于基于预设的图像分割方式,对行人图像集中的行人图像进行图像分割,得到每一张行人图像对应的分割结果,其中,分割结果包括前景区域图像和背景区域图像。
164.亮度调整单元,用于针对每一张行人图像,采用高斯分布分别对行人图像对应的前景区域图像和背景区域图像进行亮度调整,得到前景区域图像对应的前景调整图像和背景区域图像对应的背景调整图像。
165.曝光图像获取单元,用于针对每一张行人图像,将前景调整图像和背景调整图像进行组合,得到行人图像对应的曝光图像。
166.光源筛选单元,用于对所有曝光图像进行光源筛选,并将通过光源筛选的曝光图像对应的行人图像加入训练图像集中。
167.在本实施例的一些可选的实现方式中,训练图像集获取模块包括。
168.预训练网络获取单元,用于基于生成对抗网络算法,确定预训练网络,
169.有色光源迁移模型构建单元,用于采用预训练网络对行人图像集进行训练,得到有色光源迁移模型。
170.训练图像集获取单元,用于基于有色光源迁移模型,对行人图像集中的行人图像进行数据增强,得到训练图像集。
171.进一步地,感知特征图获取模块34包括。
172.卷积单元,用于基于当前卷积层连接的光照感知模块,对第二特征图进行卷积计算,得到第四特征图和第五特征图。
173.全连接单元,用于对第五特征图进行池化、全连接处理,得到全连接特征图。
174.乘积单元,用于将全连接特征图和第四特征图进行乘积计算,得到融合特征图。
175.感知特征图获取单元,用于将第二特征图和融合特征图进行融合处理,得到感知特征图。
176.关于行人重识别装置的具体限定可以参见上文中对于行人重识别方法的限定,在此不再赘述。上述行人重识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
177.为解决上述技术问题,本技术实施例还提供计算机设备。具体请参阅图6,图6为本实施例计算机设备基本结构框图。
178.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程门阵列(field-
programmable gate array,fpga)、数字处理器(digital signal processor,dsp)、嵌入式设备等。
179.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
180.所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或d界面显示存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如电子文件的控制的程序代码等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
181.所述处理器42在一些实施例中可以是中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据,例如运行电子文件的控制的程序代码。
182.所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
183.本技术还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有界面显示程序,所述界面显示程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的行人重识别方法的步骤。
184.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本技术各个实施例所述的方法。
185.显然,以上所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例,附图中给出了本技术的较佳实施例,但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本技术专利保护范围之内。