一种矿用智能视频分析中的图像检索方法与流程

本发明涉及图像技术领域，尤其涉及一种矿用智能视频分析中的图像检索方法。

背景技术：

随着煤矿安全生产的需要，许多煤矿都建立了工业电视监控系统，其应用为矿井生产调度、安全生产监控提供了直观可靠的手段。但是，工业电视监控系统仍然受到一些固有因素的限制，其中包括人类作为监控者自身在生理上的弱点，也包含视频监控系统配置和以及视频监控设备在功能和性能上的局限性。这些限制因素使各类视频监控系统均或多或少的存在无人化、智能化程度低，报警精确度差，误报和漏报现象多，报警响应时间长，录像数据分析困难等缺陷，从而导致整个系统在安全性和实用性的降低。智能视频分析技术的提出与发展从很大程度上弥补了这些传统视频监控系统存在的缺陷。

具体来说，智能视频分析就是应用图像超分辨率重建技术、目标检索技术、视频的无损压缩与编码技术等现代智能化手段，针对煤矿企业生产经营活动中的事故风险、安全管理等情况，辨识其存在的危险及有害因素，提出合理可行的安全对策、措施与联动控制，提高企业安全生产水平和安全保障能力。而含有目标图像的检索技术是通过对模板图像底层特征的分析与描述，然后快速的从海量图像中检索出与模板图像相关或类似的目标信息，是整个智能视频分析系统中的关键核心技术，其性能的优劣直接决定了智能视频分析系统的精度和应用效果。

基于内容的图像检索，也称为图像内容查询(qbic)或基于内容的视觉信息检索(cbvir)，是计算机视觉技术在图像检索问题中的应用。随着网络、科技的发展，基于内容的图像检索成为研究人员探讨的重要方向。研究人员对图像检索技术进行了大量研究，算法的深度和广度都在不断延伸。基于内容的图像检索广泛运用图像特征从大量数据库中检索所需图像。在过去的十年中，已经成功开发了许多如photobook系统，visualseek系统，simplicity系统等图像检索系统。cbir在军事，医学，教育，采矿业，服务业，计算机服务业等许多领域也具有非常重要的应用。

自2003年sift被提出，它在图像尺度、方向变化问题中表现良好，基于该算子的检索方法也因此被广泛研究运用。近几年，研究人员发现gabor滤波器在尺度问题方面具有不错的表现，基于该滤波器的检索方法开始流行。gabor小波分别分析信号描述局部频率信息，进而捕获局部特征、能量。现有技术中，基于纹理结构直方图(tsh)和gabor特征提取的图像检索方法，通过提取边缘方向等信息描述纹理特征，并且对图像进行滤波、旋转归一化获取相同主方向信息以获得图像特征用于检索。

现有技术至少存在以下缺陷，一是，虽然gabor滤波器在处理图像尺度问题时具有一定的效果，但是当图像的分辨率变化较大的时候，所计算出来的纹理还是会存在较大偏差；二是，必须保证图像信号是连续；三是，无论是利用sift提取图像特征，还是利用gabor提取特征，构造的特征描述子，使得特征向量维度较高，降低了效率；四是，现有图像检索方法无法同时在降低计算复杂度的同时，提高图像检索的精度。

技术实现要素：

鉴于上述的分析，本发明旨在提供一种矿用智能视频分析中的图像检索方法，用以解决现有图像检索技术检索精度差、效率低的问题。

本发明提供了一种矿用智能视频分析中的图像检索方法，包括以下步骤：

对目标图像进行预处理获得相同的第一图像和第二图像，所述目标图像为包含矿井异常信息的图像；

利用方差自适应量化方法从所述第一图像中获得对应的方差自适应量化颜色直方图；从所述第二图像中提取梯度信息和符号信息；

将所述方差自适应量化颜色直方图、梯度信息及符号信息进行特征自适应融合获得目标图像的融合特征；

利用主成分分析法对所述融合特征进行降维获得融合主特征；

利用所述融合主特征在矿井视频所包含的多帧图像中进行检索以实时辨识矿井异常。

进一步的，从所述第一图像中获得对应的方差自适应量化颜色直方图，具体包括以下步骤：

提取所述第一图像中每一像素点的r、g、b值；

将rgb颜色三通道量化值分别均匀划分为预设个数的区间，并统计提取得到的所述r、g、b值分别落在rgb颜色三通道量化值每一区间内的像素点；

分别利用下述公式计算对应通道每一区间内的像素点的r、g、b值方差：

其中，为第j个区间的参考值，n为对应区间的像素点数量，μi为第j个区间第i个像素点的r值、g值或b值，j表示对应通道内的第j个区间，c表示每一通道划分的区间的个数；

通过下述公式获得对应通道每一区间内的自适应参考值

其中，α为学习速率，j表示对应通道内的第j个区间，v为对应通道每一区间内的像素点的r、g、b值方差。

利用对应通道每一区间内的所述自适应参考值及对应区间内的像素点个数获得每一通道对应的方差自适应量化颜色直方图。

进一步的，还包括在所述特征自适应融合之前，利用差分求和的方式对所述方差自适应量化颜色直方图进行数据质量评价，若达标，则进行自适应融合，否则利用方差自适应量化方法，重新选取对应区间内的量化值作为参考值，获得对应的方差自适应量化颜色直方图。

进一步的，所述差分求和的评价标准如下：

其中，l为评价函数，第二图像所有像素点像素值的平均值；

当自适应参考值的值使l的值小于第一预设值，则判断达标，否则，不达标。

进一步的，利用局部二值法从所述第二图像中提取符号信息，并采用下述公式提取梯度信息：

其中，grad表示梯度信息，c为自适应阈值，mf为采样区域内中心像素点与与其相邻的像素点的像素值梯度差的绝对值，x为采样区域内像素点的像素值，f为采样区间第f个采样点。

进一步的，在进行特征自适应融合之前，采用二进制方式对所述符号信息和梯度信息进行编码。

进一步的，执行下述流程将所述方差自适应量化颜色直方图、编码获得的梯度信息及符号信息进行特征自适应融合以获得目标图像的融合特征：

根据所述方差自适应量化颜色直方图、编码获得的梯度信息及符号信息获得对应的直方图特征矩阵、梯度特征矩阵及符号特征矩阵；

采用离散傅里叶变换分别将空间域的所述直方图特征矩阵、梯度特征矩阵及符号特征矩阵转换到频率域；

在频域内获得每一特征矩阵的自适应权重；

根据每一特征矩阵及对应的自适应权重获得目标图像的融合特征矩阵。

进一步的，通过下述公式获得每一特征矩阵的自适应权重及融合特征矩阵：

ψtotal＝ωvqchψ(xvqch)+ωsψ(xs)+ωgψ(xg)，

wvqch＝wvqch+ηθvqch，

ws＝ws+ηθs，

wg＝wg+ηθg，

其中，xvqch、xs、xg分别为直方图特征矩阵、符号特征矩阵和梯度特征矩阵，wvqch、ws、wg分别为直方图特征矩阵、符号特征矩阵和梯度特征矩阵对应的自适应权重，ψ(x)表示特征矩阵信号，ψtotal表示融合特征矩阵信号，η为学习速率定值。

进一步的，利用主成分分析法执行下述流程对所述融合特征进行降维获得融合主特征：

计算所述融合特征矩阵每一列的平均值，根据所述平均值构建一维矩阵；

计算所述一维矩阵的协方差矩阵，并计算所述协方差矩阵的特征值及对应的特征向量，提取大于第二预设值的特征值对应的特征向量生成特征子矩阵；

根据所述一维矩阵及特征子矩阵获得降维后的融合主特征矩阵。

进一步的，通过下述方式在矿井视频所包含的多帧图像中进行检索：

分别提取所述目标图像对应的融合主特征矩阵的特征向量及待检索图像的特征向量；

获取所述融合主特征矩阵的特征向量及待检索图像的特征向量间的欧氏距离；

若所述欧式距离小于第三预设值，则判定目标图像与待检测图像相似，矿井出现异常。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、本发明采用方差自适应量化方法从第一图像中提取包含图像特征的方差自适应量化颜色直方图，不仅可以保存第一图像的主要颜色属性，而且最大程度的保留了第一图像的最优颜色分布，此外该颜色直方图不受目标图像的方向、平移变化旋转变化及尺度变化的影响，使图像特征提取更加简单；

2、本发明提取目标图像的梯度信息及符号信息，可以提高特征描述符的区分能力和鲁棒性，保证在信息编码过程中，主要特征信息不会被覆盖，提高了特征提取的精度，从而提高图像检索精度；

3、本发明采用dft傅里叶变换加速算法将方差自适应量化颜色直方图、梯度信息及符号信息变换到频域，并进行融合获得图像融合特征，再采用主成分分析法进行降维，在保留目标图像主特征的同时降低了计算复杂度，提高了计算效率，从而使图像检索结果更加准确、检索效率更高，实现对矿井异常情况的及时辨识，提高矿井安全性。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例矿用智能视频分析中的图像检索方法的流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种矿用智能视频分析中的图像检索方法。如图1所示，包括以下步骤：

步骤1、对目标图像进行预处理获得相同的第一图像和第二图像，目标图像为包含矿井异常信息的图像。为提高后续检索结果的适应广泛性，目标图像可以包括多种矿井异常信息的图像。示例性的，目标图像为拍摄得到的矿井中的传送带上落有大石块，会影响传送带的正常运行的图像。

步骤2、利用方差自适应量化方法从第一图像中获得对应的方差自适应量化颜色直方图；从第二图像中提取梯度信息和符号信息。

步骤3、将方差自适应量化颜色直方图、梯度信息及符号信息进行特征自适应融合获得目标图像的融合特征。

步骤4、利用主成分分析法对融合特征进行降维获得融合主特征。

步骤5、利用融合主特征在矿井视频所包含的多帧图像中进行检索以实时辨识矿井异常。

考虑到目标图像通常会受到设备、环境等因素的影响，噪声就难以避免，这很容易引起误差。因此，首先需要对目标图像进行降噪预处理。优选的，采用非局部均值滤波的方法对目标图像进行去噪处理。与双线性滤波方法、中值滤波方法等利用图像局部信息来滤波不同，非局部均值滤波方法利用整幅图像进行去噪。非局部均值滤波不仅仅考虑了像素的较小邻域，并且某一点邻域的权重是由该点与滤波点相似度计算得到的，这可以保证图像边缘信息可以被很好地保留。

具体的，目标图像为v＝{v(i)|i∈i}，其中，i表示目标图像中的第i个像素点，i为目标图像中像素点的总个数，v(i)表示第i个像素点的像素值。那么非局部均值滤波过程估计值nl[v](i)可以用下面公式来表示：

其中，w(i,j)代表权重，是由像素点i,j之间的相似度决定的。

其中,表示高斯核，a＞0，表示高斯核的标准差。h为衰减因子，改变参数h来控制滤波程度，z(i)是归一化常量。ni、nj分别表示以像素点i为中心和以像素点j为中心的图像块区域，示例性的，ni、nj分别为以像素点i为中心和以像素点j为中心的7*7的图像块区域，两个图像块区域为相似度比较图像块区域。v(ni)和v(nj)别为ni和nj对应的灰度矩阵。

颜色直方图反映的是图像中颜色的组成分布，即出现了哪些颜色以及各种颜色出现的概率，颜色直方图适合于检索图像全局颜色相似性的场合。颜色直方图相对于图像的以观察轴为轴心的旋转、幅度不大的平移及缩放等几何变换是不敏感的，对于图像质量的变化(如模糊)也不敏感。本发明提出了方差自适应量化颜色直方图，以解决传统颜色直方图量化误差大、阈值难以人工调节的问题。

优选的，步骤2.1、从第一图像中获得对应的方差自适应量化颜色直方图，具体包括以下步骤：

步骤2.1.1、提取第一图像中每一像素点的r、g、b值。

步骤2.1.2、将rgb颜色三通道量化值分别均匀划分为预设个数的区间，并统计步骤2.1.1中提取得到的r、g、b值分别落在rgb颜色三通道量化值每一区间内的像素点。

具体的，对于256种颜色的三通道(r、g、b)彩色图像,其颜色直方图中bins的数量为256*256*256＝16777216种，这会使得后续数据处理计算量太大,因此减少颜色数量就显得非常重要。优选的，本发明将每一通道256级亮度指定为16级亮度，这样对于彩色图像来说,最大可表示的颜色数量就变为16*16*16＝4096，256级亮度对应256个量化值，即0-255。与基本量化颜色直方图不同的是，本发明所做的贡献是分别将三个通道的256个量化值化分为15个区间，即[0,16],[16,32],[32,48],[48,64]......[224,240]。

步骤2.1.3、分别利用下述公式计算r、g、b三通道每一区间内的像素点的r、g、b值方差：

其中，为第j个区间参考值，优选的，可以选择对应区间内所有量化值的平均值作为参考值。n为对应区间的像素点数量，μi是第j个区间第i个像素点的r值、g值或b值，其中，1≤i≤n，j表示对应通道内的第j个区间，c表示每一通道划分的区间的个数，在这里，区间个数为15。

步骤2.1.4、通过下述公式获得对应通道每一区间内的自适应参考值

其中，α为学习速率，优选的，可以设置为-0.5，j表示对应通道内的第j个区间，v为对应通道每一区间内的像素点的r、g、b值方差。

步骤2.1.5、利用对应通道每一区间内的自适应参考值及对应区间内的像素点个数获得每一通道对应的方差自适应量化颜色直方图。示例性的，对于r通道，若在第一区间[0,16]内获得的自适应参考值为7，则将所有r值落在该区间内的像素点的r值都设为7，并进行个数统计，以此类推，对剩余的14个区间进行统计，获得第一图像基于r值的方差自适应量化颜色直方图。同样的道理，可以获得基于g、b值的方差自适应量化颜色直方图。

图像质量的好坏对获取信息的充分性和准确性起着之至关重要的作用。目前，图像质量评价从方法上可分为主观评价方法和客观评价方法，主观质量评分法是图像质量最具代表性的评价方法，它通过对观察者的评分归一化来判断图像质量；图像质量的客观评价是根据人眼的主观视觉系统建立数学模型，并通过具体的公式计算图像的质量，模拟人类视觉系统感知机制来衡量图像质量。本发明是根据客观评价方法为上述得到的方差自适应量化颜色直方图建立评价模型。图像质量客观评价的标准有很多，包括均方根误差、线性相关系数、spearman秩相关系数、kendall秩相关系数等等。但是这些评价标准最大问题是计算量比较大，无法满足本发明简单且高效率的要求。

因此，本发明提出在所述特征自适应融合之前，利用差分求和的方式对方差自适应量化颜色直方图进行数据质量评价，若达标，则进行自适应融合，否则利用方差自适应量化方法，重新选取对应区间内的量化值作为参考值，获得对应的方差自适应量化颜色直方图，并在此进行数据质量评价，直至达标。

优选的，差分求和的评价标准如下：

式(1)为数据质量评价函数，是第一图像所有像素点的r值平均值、g值平均值、b值平均值；式(2)中为式(1)的导数之和。l是二次函数，所以仅有一个极值点且为最小值，但是不总是相等。因为每一区间的量化值个数为16个，因此在三个通道每一区间内参数值的取值包含16种情况，即对应16个自适应参数值因此在计算过程中选取dl最小时对应的作为对应区间的自适应参考值即可。即选取的使评价函数的值最小即可。优选的，为减少计算量，也可以根据经验设置第一预设值，当自适应参考值的值使l的值小于第一预设值，则判断达标，否则，不达标。

局部二值模式(lbp)是一种用来描述图像纹理特征的算子，即lbp提取的特征是图像局部纹理特征，它具有旋转不变性和灰度不变性的优点。与传统lbp不同的是，本发明提出的图像特征具有2个描述子，分别是符号信息和梯度信息，符号信息就是传统lbp特征描述子。符号信息、梯度信息相结合以描述图像特征，可以避免传统lbp编码过程中部分主要特征信息被覆盖，保证特征信息的完备性，从而提高提取的图像特征的精度。

优选的，步骤2.2、从第二图像中提取符号信息和梯度信息。

步骤2.2.1、利用局部二值法从第二图像中提取符号信息，即传统lbp定义式：

其中，gc为采样区域内中心像素点的灰度值，gp是采样区域内与中心像素点相邻的像素点的灰度值，p为采样区间内的第p个像素点。比较中心像素点与周围相邻像素点的灰度值大小，大于中心像素点灰度值的为1，小于为0，最后按一定顺序进行二进制编码。

步骤2.2.2、采用下述公式提取梯度信息：

其中，grad表示梯度信息，c为自适应阈值，mf为采样区域内中心像素点与与其相邻的像素点的像素值梯度差的绝对值，优选的，将c设置为第二图像内所有mf的平均值，f为采样区间第f个采样点。

优选的，在步骤2.2中的采样方式，可以采用3*3的滑动窗口在第二图像内以单位1进行滑动确定采样区间，并遍历第二图像内的所有像素点进行采样。

优选的，为了便于将梯度信息和符号信息进行融合，在进行特征自适应融合之前，采用二进制方式对所述符号信息和梯度信息进行编码。

vqch的自适应量化过程不仅可以保持最合适的颜色属性，而且可以最大程度的保留了最优颜色分布，此外还可以不受图像的方向、平移变化的影响，方差自适应量化颜色直方图归一化还可以不受尺度变化的影响。然而,vqch是颜色信息的统计量是整幅图像，无论颜色在图像中的具体位置、在哪里出现颜色直方图无法确切描述，不同的图像很可能具有相同的颜色直方图。因此本发明提取图像的符号信息以及梯度信息，以描述图像空间位置，本发明以自适应方式融合方差自适应量化颜色直方图、符号信息及梯度信息。

具体的，执行下述流程将方差自适应量化颜色直方图、编码获得的梯度信息及符号信息进行特征自适应融合以获得目标图像的融合特征。

步骤3.1、根据方差自适应量化颜色直方图、编码获得的梯度信息及符号信息获得对应的直方图特征矩阵、梯度特征矩阵及符号特征矩阵。具体的，将三通道对应的直方图特征矩阵合并为一个总的直方图特征矩阵。

步骤3.2、采用离散傅里叶变换分别将空间域的所述直方图特征矩阵、梯度特征矩阵及符号特征矩阵转换到频率域。具体方式如下：

ψ(x)为输出的频域信号，ψ(x)为输入的空间域信号。n表示傅里叶变换的点数，k表示傅里叶变换的第k个频谱。xvqch、xs、xg分别为频域内的直方图特征矩阵、符号特征矩阵和梯度特征矩阵，xvqch、xs、xg分别为空间域内的直方图特征矩阵、符号特征矩阵和梯度特征矩阵。离散傅里叶变换是在频率域对离散时间傅里叶变换进行的采样并截取主值，以方便计算机运算，加快计算速度。

步骤3.3、在频域内获得每一特征矩阵的自适应权重；

步骤3.4、根据每一特征矩阵及对应的自适应权重获得目标图像的融合特征矩阵。

具体的，通过下述公式获得每一特征矩阵的自适应权重及融合特征矩阵：

ψtotal＝ωvqchψ(xvqch)+ωsψ(xs)+ωgψ(xg)，

wvqch＝wvqch+ηθvqch，

ws＝ws+ηθs，

wg＝wg+ηθg，

其中，xvqch、xs、xg分别为频域内的直方图特征矩阵、符号特征矩阵和梯度特征矩阵，wvqch、ws、wg分别为直方图特征矩阵、符号特征矩阵和梯度特征矩阵对应的自适应权重，ψ(x)表示特征矩阵信号，ψtotal表示融合特征矩阵信号，η为学习速率定值。

主成分分析法(pca)也称主分量分析，常常被用于减少数据维度，是一种简化数据集的技术。旨在利用降维的思想，把多种特征信息转化为少数几个具有代表性的综合特征信息。为了降低数据的复杂度，用投影的方法找到最小均方差表示最初数据，同时保持各数据中对方差贡献最大的特征。

因此为了简化计算，利用主成分分析法执行下述流程对融合特征进行降维获得融合主特征：

步骤4.1、计算融合特征矩阵每一列的平均值，根据平均值构建一维矩阵。示例性的，一维矩阵可以表示为x＝[x1，x2，x3，.....xm]。

步骤4.2、计算一维矩阵的协方差矩阵q＝xx^t，并计算协方差矩阵的特征值及对应的特征向量，提取大于第二预设值的特征值对应的特征向量生成特征子矩阵w^t。根据经验设置第二预设值，使得到的特征子矩阵能够保留图像的主特征信息，并且减少计算量。

步骤4.3、根据一维矩阵x及特征子矩阵w^t获得降维后的融合主特征矩阵y＝w^tx。

优选的，通过下述方式在矿井视频所包含的多帧图像中进行检索：

步骤5.1、分别提取所述目标图像对应的融合主特征矩阵的特征向量及待检索图像的特征向量；

步骤5.2、计算所述融合主特征矩阵的特征向量及待检索图像的特征向量间的欧氏距离；

步骤5.3、若所述欧式距离小于第三预设值，则判定目标图像与待检测图像相似，矿井出现异常。该矿井异常为目标图像中所包含的矿井异常状况。具体的，可以根据对图像检索精度及准确率的需求设置第三预设值。

与现有技术相比，本发明实施例提供的矿用智能视频分析中的图像检索方法，首先，采用方差自适应量化方法从第一图像中提取包含图像特征的方差自适应量化颜色直方图，不仅可以保存目标图像的主要颜色属性，而且最大程度的保留了目标图像的最优颜色分布，此外该颜色直方图不受目标图像的方向、平移变化旋转变化及尺度变化的影响，使图像特征提取更加简单。其次，提取目标图像的梯度信息及符号信息，可以提高算法的区分能力和鲁棒性，保证在信息编码过程中，主要特征信息不会被覆盖，提高了特征提取的精度，从而提高图像检索精度。最后，采用dft傅里叶变换加速算法将方差自适应量化颜色直方图、梯度信息及符号信息变换到频域，并进行融合获得图像融合特征，再采用主成分分析法进行降维，在保留目标图像特征的同时降低了计算复杂度，提高了计算效率，从而使图像检索结果更加准确、检索效率更高，实现对矿井异常情况的及时辨识，提高了矿井异常监控效率，提升矿井的安全检测水平。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。