一种局部二值化图像阶梯型特征融合的行人重识别方法及装置

本发明属于行人重识别，具体涉及一种局部二值化图像阶梯型特征融合的行人重识别技术。

背景技术：

1、行人重识别又称行人再识别，目标是给定一张行人图片，从多个摄像机拍摄的图片中，再识别到同一个人。行人重识别涉及跨摄像头的图像检索问题，旨在利用查询图在图像库中检索出属于同一身份的行人图像。首先从多个摄像头中提取原始行人视频图像，依次通过特征提取、相似度度量确认该行人其他图像。目前无监督行人重识别任务研究的主要方法一般分为三类，(1)使用无监督域自适应方法来调整源域和目标域之间的特征分布。(2)利用摄像机感知方法使模型可以学习到区分不同摄像机下样本特征的能力。(3)通过聚类方法在目标域上生成用于训练的伪标签，并给相似图像分配相同的伪标签。

2、影响识别精准度的主要因素是由于相机分辨率和拍摄角度的缘故导致监控视频中难以得到高质量的人脸图片，容易造成人脸识别失效。通常，行人重识别根据损失类型分为表征学习和度量学习，表征学习将行人重识别问题当作图像分类和验证问题，度量学习将图像特征映射到高维特征空间，通过距离度量出两张图像相似度。然而，在真实的场景下，由于摄像头角度、天气等因素的影响，获得的原始视频图像质量不高，往往呈现很大的外观差异，这给行人重识别的研究与应用带来诸多挑战，以上情况会严重影响行人重识别的精度，因此在低质量图像上学习出高精度行人重识别模型成为研究重点。

技术实现思路

1、针对现有技术中关于行人重识别的准确率不够高的技术缺陷，本发明提供一种局部二值化图像阶梯型特征融合的行人重识别方法及装置。

2、本发明解决其技术问题所采用的方案是：一种局部二值化图像阶梯型特征融合的行人重识别方法，包括如下步骤。

3、首先，原始图像获取，从上方和/或两个侧面拍摄人脸的各个方位的图像形成原始图像数据集q1，采用深度学习图像标注工具对图像数据进行打标且制作成数据集，同时构建行人重识别训练网络，并按训练数据集和测试数据集比例对行人重识别网络进行训练，直至达到预设要求，其次对原始图像数据集q1进行局部阈值二值化处理，根据原始图像数据集q1中各像素的邻域块的像素值分布，确定各像素位置上的二值化阈值，形成二值化图像数据集q2。

4、然后，将原始图像数据集q1与二值化图像数据集q2按比例融合，对数据集q1和数据集q2分别滤除噪声后获得清晰人脸图像，形成融合图像数据集q。其融合方法如下：

5、

6、ω(i，j)＝ ωg(i,j)× (αωs(i,j)+βωh(i,j)) (2)；

7、ωp＝∑i,j∈ωω(i,j) (3)；

8、

9、

10、

11、式中，q(敬,瑡)是滤除噪声后的清晰人脸图像；ω是像素的邻域；ω(i，j)是在点(i，j)处的权值，ωg(i,j)是高斯滤波的权值，ωs(i,j)是素值变化的权值，n(i，j)为输入图像点；ωp是一个标准量，σg和σs是两个滤波权值的高斯函数标准差；s(x,y)表示图像中的像素点，s(i,j)表示深度图像中的像素值，α+β≤1，ωh代表人脸图像灰度值变化的权值；h(i,j)表示灰度化后图像的像素值；h(x,y)表示灰度图的像素点。由于人脸图像边缘处的像素值变化较大，所以ωs(i,j)的值较小，导致ω(i,j)的值变小，人脸图像图像边缘处的滤波作用减小，从而达到在去除人脸图像图像噪声的同时提取有效边缘信息。由于高斯滤波的权值ωg(i,j)忽略了图像灰度值的变化，因此在去噪的同时会使边缘变得平滑。

12、特征加强，计算人脸图像中五官特征和边缘轮廓特征各像素的roberts梯度，并根据梯度值对图像分割形成不同梯度窗口，计算不同梯度窗口内的灰度协方差矩阵和计算兴趣值，以确定候选点和极值点。

13、图像分割：将边缘检测得到的线束端子边缘轮廓输入到改进后的u-net图像分割网络中，进行线束的分割，得到线束区域的掩膜。

14、线束长度测量：通过分割得到的线束掩膜计算线束的长度。

15、缺陷检测：将线束掩膜与原始图像进行相减，得到缺陷区域的掩膜。使用一些特征提取算法中的图像滤波对缺陷区域进行进一步处理，提取出具体的缺陷信息。

16、特征提取与匹配，采用forstner算子提取特征点并且对其进行归一化处理，实现特征点的匹配并且输出行人重识别结果。

17、优选地，特征加强包括采用高斯滤波器对人脸图像进行平滑滤波，并将高斯滤波器与原人脸图像进行卷积，再对人脸图像进行梯度计算，得到梯度值和方向角度；极值点的选取是以梯度窗口范围内的最大的点作为特征点；边缘轮廓特征检测时使用边缘检测算子对线束端子图像进行边缘检测，得到线束端子的边缘轮廓。

18、优选地，摄像头包括同步的单目摄像头和/或红外摄像头，原始图像获取包括可见光图像和/或红外线图像的获取。

19、优选地，将单目摄像头和红外摄像头所拍摄到的视频取相同帧，将相同帧的可见光图像和红外线图像合并，为合并过程包括将输入可见光图像头与红外线图像进行对比，与红外线图像相似性比较高的点视为红外线图像，与红外线图像相似性比较低的点视为可见光图像，再利用形态学的方法进行人脸目标提取。

20、优选地，在红外线图像和可见光图像之间建立标定关系，对红外线图像头与可见光图像头融合的目标重合度计算，红外线图像头获得同一帧图像的目标兴趣区域，同时，摄像头也检测到目标区域验证红外线图像头和可见光图像头检测到的两个矩形区域是否有重叠，如果有重叠，说明红外线图像头和可见光图像头都检测到该区域存在目标，则认为该区域存在目标，对于重叠的区域，根据重合区域面积占目标感兴趣区域面积的百分比确定重合度。

21、优选地，所述训练数据集包括正数据集与负数据集，所述测试数据集结合正向数据提取有价值的图像，正数据集是从一系列事先标记好的图像中创建的含有目标的图片，反向数据是图像中不包含待检测的物体的其他的由单目摄像头拍摄的图像，行人重识别训练网络将搜集到的正数据集与负数据集进行训练，将多个弱分类器通过集成的方式生成高精度的强分类器，多个强分类器组成级联分类器，级联分类器加入阀值算法，小于图片特征值的为有价值的头像，使用筛选级把强分类器联到一起。

22、一种行人重识别装置，包括python运行环境的服务器、高精度相机模块和光源工具，所述高精度相机模块用于获取原始图像并发送至服务器，所述服务器运行所述的行人重识别方法。

23、本发明的有益效果：本发明方法将原始图像数据集进行处理形成二值化图像数据集，将原始图像数据集与二值化图像数据集按比例融合，形成融合图像数据集，特征加强后输入初始图像训练或融合图像训练的行人重识别网络中进行训练，最后得到训练后准确率高的行人重识别网络。

24、本发明方法将图像融合过程引入了快速高斯变换，不仅能够①消除噪音，②使原始图像数据集与二值化图像数据集按比例融合，而且③能够加快运算速度，具有良好的实时性能。

技术特征：

1.一种局部二值化图像阶梯型特征融合的行人重识别方法，其特征在于，包括如下内容：

2.根据权利要求1所述的的行人重识别方法，其特征在于，特征加强包括采用高斯滤波器对人脸图像进行平滑滤波，并将高斯滤波器与原人脸图像进行卷积，再对人脸图像进行梯度计算，得到梯度值和方向角度；极值点的选取是以梯度窗口范围内的最大的点作为特征点；边缘轮廓特征检测时使用边缘检测算子对线束端子图像进行边缘检测，得到线束端子的边缘轮廓。

3.根据权利要求1所述的的行人重识别方法，其特征在于，摄像头包括同步的单目摄像头和/或红外摄像头，原始图像获取包括可见光图像和/或红外线图像的获取。

4.根据权利要求3所述的的行人重识别方法，其特征在于，将单目摄像头和红外摄像头所拍摄到的视频取相同帧，将相同帧的可见光图像和红外线图像合并，为合并过程包括将输入可见光图像头与红外线图像进行对比，与红外线图像相似性比较高的点视为红外线图像，与红外线图像相似性比较低的点视为可见光图像，再利用形态学的方法进行人脸目标提取。

5.根据权利要求4所述的的行人重识别方法，其特征在于，在红外线图像和可见光图像之间建立标定关系，对红外线图像头与可见光图像头融合的目标重合度计算，红外线图像头获得同一帧图像的目标兴趣区域，同时，摄像头也检测到目标区域验证红外线图像头和可见光图像头检测到的两个矩形区域是否有重叠，如果有重叠，说明红外线图像头和可见光图像头都检测到该区域存在目标，则认为该区域存在目标，对于重叠的区域，根据重合区域面积占目标感兴趣区域面积的百分比确定重合度。

6.根据权利要求1所述的的行人重识别方法，其特征在于，所述训练数据集包括正数据集与负数据集，所述测试数据集结合正向数据提取有价值的图像，正数据集是从一系列事先标记好的图像中创建的含有目标的图片，反向数据是图像中不包含待检测的物体的其他的由单目摄像头拍摄的图像，行人重识别训练网络将搜集到的正数据集与负数据集进行训练，将多个弱分类器通过集成的方式生成高精度的强分类器，多个强分类器组成级联分类器，级联分类器加入阀值算法，小于图片特征值的为有价值的头像，使用筛选级把强分类器联到一起。

7.一种局部二值化图像阶梯型特征融合的行人重识别装置，包括python运行环境的服务器、高精度相机模块和光源工具，其特征在于，所述高精度相机模块用于获取原始图像并发送至服务器，所述服务器运行权利要求1所述的行人重识别方法。

技术总结
本发明提供了一种局部二值化图像阶梯型特征融合的行人重识别方法及装置，首先获取原始图像数据集，构建行人重识别训练网络，对原始图像数据集进行局部阈值二值化处理形成二值化图像数据集，在将原始图像数据集与二值化图像数据集按比例融合形成融合图像数据集，对融合图像进行特征加强，最后进行特征提取与匹配，实现特征点的匹配并且输出行人重识别结果。本发明不仅能够消除噪音，使原始图像数据集与二值化图像数据集按比例融合，而且能够加快运算速度，具有良好的实时性能。

技术研发人员：韩珂,王乾隆,朱明明,张曦燕
受保护的技术使用者：华北水利水电大学
技术研发日：
技术公布日：2024/1/13