一种人脸识别和行人重识别关联方法与流程

本发明涉及视频监控技术领域。

背景技术：

在商业应用场景下行人特征具有容易获取并且难以隐藏的特点，目前的行人特征提取依赖于行人衣服的纹理特征，当行人换衣服的时候该方法将会失效。

人脸特征提取是目前最成熟且准确率最高的方法，但是人脸特征在非配合场景下难以获得清晰人脸。

若想将人脸识别和行人重识别结合起来需要解决以下问题：

1)如何在目标检测过程中将人脸检测框和行人检测框关联。目前该领域方法有bottom-up和top-down两种，自下而上的bottom-up方法不会因为人数增多而变慢，但是准确率较差。自上而下的top-down方法准确率高但是随着人数增多而变慢；

2)如何获取高清晰的人脸图像是一个关键。在原始图像1080p上进行人脸检测需要引入额外的检测模块，会降低整个系统的运行速度。

技术实现要素：

基于现有的人脸识别和行人重识别方法存在的上述问题，本发明提供了一种人脸识别和行人重识别关联方法。

本发明为实现上述目的所采用的技术方案是：一种人脸识别和行人重识别关联方法，包括以下步骤：

1)通过视频解码获得原始视频图像；

2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x:代表目标中心位置的横坐标；y：代表目标中心位置纵坐标；w：代表目标的宽度；h：代表目标的高度；

3)根据pbox在原图上裁剪获得行人的图像image_p；

4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；

5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；

6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框；

7)在原图上裁剪可获得高清晰的人脸图像image_face；

8)获得人脸的id；

9)将行人图像和行人mask图像拼接，获得行人的id。

所述步骤6)中，原图上人脸的检测框获取方法为：

6.1)通过获取头部mask在x轴方向的最大最小值和y轴方向最大最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；

6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高，face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]，

xmin_n＝xmin/img_x；xmax_n＝xmax/img_x，

ymin_n＝ymin/img_y；ymax_n＝ymax/img_y；

6.3)行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p，行人图像尺寸统一后的大小为img_x、img_y，在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：

xmin_org＝x_p-w_p/2+xmin_n*w_p

xmax_org＝x_p+w_p/2+xmax_n*w_p

ymin_org＝y_p-h_p/2+ymin_n*h_p

ymax_org＝y_p+h_p/2+ymax_n*h_p。

本发明的人脸识别和行人重识别关联方法，充分复用了各种算法的输出结果，使整个系统计算复杂度降低；在不引入额外的人脸检测模块下，实现了高分辨率人脸图像获取。

附图说明

图1是本发明人脸识别和行人重识别关联方法流程图。

具体实施方式

本发明人脸识别和行人重识别关联方法如下：

1.通过视频解码获得原始视频图像1080p；

2.采用目标检测算法(常用的目标检测算法即可)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x代表目标中心位置的横坐标；y代表目标中心位置纵坐标；w代表目标的宽度；h代表目标的高度；

3.根据pbox在原图上裁剪获得行人的图像image_p，该图像的尺寸根据不同人而不同；

4.将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；

5.通过人体解析网络，可以获得行人头部，上身，下身区域的掩膜mask；

6.将通过头部区mask经过两次坐标变换可以获得原图上人脸的检测框；

6.1)通过获取头部mask在x轴方向的最大、最小值和y轴方向最大、最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；

6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]。

xmin_n＝xmin/img_x；xmax_n＝xmax/img_x

ymin_n＝ymin/img_y；ymax_n＝ymax/img_y6.3)设行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p；行人图像尺寸统一后的大小为img_x，img_y；在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：

xmin_org＝x_p-w_p/2+xmin_n*w_p

xmax_org＝x_p+w_p/2+xmax_n*w_p

ymin_org＝y_p-h_p/2+ymin_n*h_p

ymax_org＝y_p+h_p/2+ymax_n*h_p

7.在原图上裁剪可获得高清晰的人脸图像image_face。

8.通过人脸识别算法获得人脸的id。

9.将行人图像和行人mask图像拼接，送入行人重识别算法可获得行人的id。

本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。