一种支持特征自定义的跨镜头目标检索方法与流程

本发明涉及一种目标检索方法，具体地说涉及一种支持特征自定义的跨镜头目标检索方法。本发明属于模式识别和智能监控领域，应用于跨摄像机视频监控网络中特定目标的检索。

背景技术：

随着硬件成本的降低和网络的普及，视频监控系统往往会采用多个视频摄像头监控环境，并通过监控人员的感知能力来观察(发现和识别)监控场景内运动的目标。人工处理这些海量的数据，耗费巨大的人力和财力的同时，处理的效率十分低下且易因监控人员疲劳疏忽而出错。因此，通过快速自动地从海量的监控视频中定位、跟踪和识别感兴趣的运动目标，实现智能交通控制和导航、人流实时监测、危险预警、可疑目标搜索等一些高级应用，逐渐成为计算机视觉领域中非常重要的研究课题。

如何让监控人员在能够集中精力的数分钟内，高效地捕捉线索和可疑对象，这是一个高度面向应用的技术课题，由此，跨镜头目标检索技术应运而生。跨镜头目标检索的显著特性是可在很短时间内从海量监控视频网络中检索查询目标，可大大缩短查找原始视频的时间，提高效率和人工识别的准确性。

基于内容的图像检索是跨镜头目标检索的技术基础，而图像内容是通过图像特征来描述的。图像特征是反映图像内容的低层视觉特征，如颜色、纹理，或经过适当处理后得到的边、角、线、颜色区、形状、轮廓和图像中对象的空间关系等。在跨镜头目标检索中，由于图像采集的环境不同，图像的质量、光照条件、拍摄角度等都会有较大的区别，同一个行人或机动车在不同摄像机下或不同时间内，外观上会有很大的不同，造成我们用来匹配识别的特征非常不稳定，因此，目前大多现有的技术方案仅使用单一特征度量方式进行跨镜头目标检索，无法完成跨镜头的相似性度量功能。

技术实现要素：

为适应多样化视频监控环境下跨镜头目标检索的需要，本发明的发明目的是提供一种支持特征自定义的跨镜头目标检索方法。

为实现上述目的，本发明采用以下技术方案：一种支持特征自定义的跨镜头目标检索方法，它包括如下步骤：

a、采集多个摄像头下的监控视频，通过前景检测、目标跟踪等计算机视觉技术，提取出目标图像，生成目标图像数据库；

b、对目标图像数据库中的图像数据进行特征提取，并结合目标的图片和时空信息，构成目标特征数据库；

c、选定一张查询图片，对该图片进行特征提取；

d、制定多特征的自定义级联及筛选策略；

在该自定义级联及筛选策略中，可进行n次筛选过程，其中n＞0，第一次筛选过程的输入包括查询图片的特征数据和目标特征数据库，其余每次筛选过程的输入为查询图片的特征数据和上一次的筛选结果，本次筛选结果又作为下一次的输入，最后一次筛选结果作为本方法输出的检索结果；

每一次级联及筛选过程可采用m个特征，其中m＞0，如采用多个特征需对特征进行级联，如采用两个特征进行级联时，分别设特征匹配的分数结果是x和y，进行分数归一化后，结果分别为x′和y′，加权求和后，分数结果为z＝ax′+by′(其中a＞0且b＞0，a和b的取值可通过机器学习算法拟合最佳值)，然后按照分数z将匹配结果进行排序；

若设置了相似度分数阈值，筛选出符合条件的结果，若设置了目标筛选个数，按照分数高低取个数上限个分数结果；

e、按照制定的筛选策略，利用查询图片检索目标特征数据库，在每个筛选过程中，分别计算每个特征的相似度分数，如有多个特征，将多个特征的分数按自定义比例级联，得到按相似度分数大小排序的结果序列，然后按照目标个数上限和分数阈值筛选结果；

f、操作人员根据目标检索的结果准确率，重新修改级联及筛选策略，重复步骤e，以达到最佳的检索效果。

所述步骤b和步骤c中对目标图像数据、查询图片进行特征的提取分为全局特征的提取和局部特征的提取；

所述全局特征包括rgb、hsv、颜色特征、纹理特征和形状特征，

所述局部特征包括sift特征、lbp特征和harr特征。

附图说明

图1为本发明支持特征自定义跨镜头目标检索方法原理框图；

图2为本发明采用的多特征级联及筛选策略的原理框图。

具体实施方式

下面结合附图对本发明做具体说明。

如图1所示，本发明提供的支持特征自定义的跨镜头目标检索方法为：

a、采集多个摄像头下的监控视频，通过前景检测、目标跟踪等计算机视觉技术，提取出目标图像，生成目标图像数据库。

本发明采用背景剪除技术进行前景检测，利用当前图像和背景图像差分获取前景运 动区域。背景图像一般而言是通过背景建模的方法更新得到，多模态性也是动态背景建模的一个必须考虑的因素，如树叶摆动，水的波纹等等。混合高斯模型是处理这种快速变化的情形比较实用的方法，其优点是可以在固定个数的模态中选择当前最稳定的模式作为背景，并实时在线更新各个模态的高斯分布参数；同时，通过采用目标追踪技术，识别连续时间内出现的同一目标，以减少对重复的目标进行检索。

b、对目标图像数据库中的图像数据进行特征提取，并结合目标的图片和时空信息，构成目标特征数据库。

c、选定一张查询图片，对该图片进行特征提取。

在本发明中对目标图像数据、查询图片进行特征提取分为全局特征的提取和局部特征的提取。其中，全局特征主要包括rgb、hsv、颜色特征、纹理特征和形状特征等，局部特征主要包括sift特征(局部旋转不变的特征)、lbp特征和harr特征等。

1)、对目标图像数据库中的图像数据和查询图片进行全局特征提取。

常用的全局特征提取方法包括子空间学习法，这类方法采用pca技术，增量r-svd等方法提取若干基图像作为特征，然后对原始图像在这些基图像上进行投影重建，后续处理，该方法可以有效对抗跟踪过程中光照和姿势的变化。

2)、对目标图像数据库中的图像数据和查询图片进行局部特征提取。

sift特征提取方法：将图像和不同尺度下的高斯差分滤波器进行卷积运算，在得到的图像上利用多分辨率局部极值定位的方法提取出图像尺度空间中的稳定点(被称为关键点)，然后采用局部梯度方向直方图向量来描述得到的关键点，用于后续的模式匹配。

lbp特征是一种有效的局部纹理描述方法，对旋转和光照变化具有一定程度的非敏感性，广泛应用于纹理建模和人脸识别等领域。harr特征是一种基于矩形图像块差分算子的特征描述方法，实际应用中可以定义多种算子结构和尺度。结合多层次采样结构和积分图的方法，harr特征具有计算快速的优点，广泛应用于物体的检测，跟踪和识别。lbp特征和harr特征的提取方法为现有技术，在此不再赘述。

d、制定多特征的自定义级联及筛选策略。

如图2所示，在该自定义级联及筛选策略中，可进行n次筛选过程，其中n＞0，第一次筛选过程的输入包括查询图片的特征数据和目标特征数据库，其余每次筛选过程的输入为查询图片的特征数据和上一次的筛选结果，本次筛选结果又作为下一次的输入，最后一次筛选结果作为本方法输出的检索结果；

每一次级联及筛选过程可采用m个特征，其中m＞0，如采用多个特征需对特征进行级联，如采用两个特征进行级联时，分别设特征匹配的分数结果是x和y，进行分数归一化后，结果分别为x’和y’，加权求和后，分数结果为z＝ax’+by’(其中a＞0且b＞0，a和 b的取值可通过机器学习算法拟合最佳值)，然后按照分数z将匹配结果进行排序，若设置了相似度分数阈值，筛选出符合条件的结果，若设置了目标筛选个数，按照分数高低取个数上限个分数结果。

e、按照制定的筛选策略，利用查询图片检索目标特征数据库，在每个筛选过程中，分别计算每个特征的相似度分数，如有多个特征，将多个特征的分数按自定义比例级联，得到按相似度分数大小排序的结果序列，然后按照目标个数上限和分数阈值筛选结果。

f、操作人员根据目标检索的结果准确率，重新修改级联及筛选策略，重复步骤e，以达到最佳的检索效果。

在本发明中对目标图像数据、查询图片进行特征提取时，为提高运行效率，本发明首先采用pca技术对提取的特征进行降维，然后通过自定义多个特征的级联及筛选策略并计算各个特征的相似度，逐步筛选出相似的目标，最后根据特定视频图像环境下的匹配结果反馈信息，制定出最优化的特征级联及筛选策略，以达到最佳的目标检索的准确率。

本发明的有益效果：

1、采用pca(主成分分析)降维技术，可以提高目标检索的准确率和算法效率。

2、由于图像采集的环境不同，图像的质量、光照条件、拍摄角度等都会有较大的区别，在不同的图像环境下，可能适合不同的特征级联及筛选策略，如果在实验室环境下，采用有限的样本确定固定的特征级联及筛选策略，继而将产品推出，难以适用于各种视频图像环境下跨镜头目标检索的需要。因此，灵活配置特征级联及筛选的策略，在不同环境下可以采用不同的样本训练，得到最优化的特征级联及筛选策略，从而得到最佳的目标检索准确率，使运用该技术的产品具有很好的适应性和扩展性。

3、本发明中的特征级联及筛选策略是高度可配置的，主要体现在筛选过程次数可配置、每次筛选采用的特征可配置、多个特征级联的归一化及权重比例可配置、每次相似度分数的阈值可配置、目标筛选个数可配置等。同时，特征级联及筛选策略可保存，非常方便再次利用。

4、本发明具有很好的扩展性，只要约定一定的算法接口，可以很方便的将新的特征匹配算法添加到特征级联及筛选策略中。

以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。