基于复杂光照条件下红外监控视频的行为识别方法

1.本发明涉及视频监控技术领域,尤其是一种基于复杂光照条件下红外监控视频的行为识别方法。


背景技术：

[0002][0003]
目前夜间场景下行为识别技术的理论研究大多是基于热红外视频数据，但该数据大多是应用在特殊场合，不符合常规公共场所夜间红外数据特性，而且获取难度也大。相比于热红外视频数据主动式红外视频数据更容易获得，因此研究基于主动式红外视频的行为识别技术具有更高的意义。但是夜间场景下主动式红外摄像头的成像图像易受到光照变化的影响，夜间复杂的光照条件造成夜间红外成像视频中存在大量的光照干扰，这些夜间的光照干扰主要来源于外界的人造红外光源和由于运动目标靠近监控设备产生的光照变化，这将使得对夜间人体行为识别产生严重的阻碍。
[0004]
除此之外，当前关于行为识别的研究中改进的密集轨迹(idt)算法是目前效果最好的传统特征提取算法，但idt算法是基于视频相邻两帧图像亮度不变这一假设条件。因此基于自上而下的可见光视频行为识别算法和idt特征提取算法若被直接引入到红外视频中，算法的识别精度将严重受到红外视频光照变化的影响。
[0005]
因此，解决主动式红外视频数据中的光照干扰问题进而进行夜间行为识别具有更好的理论意义和实际应用价值。


技术实现要素：

[0006]
针对上述现有技术中存在的不足，本发明的目的在于提供了一种基于复杂光照条件下红外监控视频的行为识别方法，本发明解决了在夜间视频监控中由于红外摄像头成像视频存在光照变化的干扰从而造成基于自上而下的传统人体行为识别技术的准确度严重下降的问题。
[0007]
为解决上述问题，本发明公开了一种基于复杂光照条件下红外监控视频的行为识别方法，包括以下步骤：
[0008]
s1.计算视频中每帧图像的信息熵并根据图像信息熵的变化情况标记出光照变化大的视频图像并进行灰度变换，消除由于光照干扰产生的图像亮度突变的现象；
[0009]
s2.计算视频图像的光流特征并从光流特征中获取光流直方图hof、梯度直方图hog、运动边界直方图mbh和轨迹四类特征；
[0010]
s3.对特征进行降维并使用费希尔向量fv特征编码对获取的四类特征进行特征融合编码；
[0011]
s4.将编码后特征送入到训练好的支持向量机svm中进行行为类别分类。
[0012]
作为优选，s1的具体方法如下：
[0013]
s1.1视频图像预处理
[0014]
获取到视频图像后将图像尺寸转为新的尺寸大小，新尺寸大小为h
×
w，得到的视频定义为v；
[0015]
s1.2标记光照变化大的视频图像
[0016]
分别计算视频v中每一帧图像的信息熵，图像一维信息熵可根据信息论中熵的定义由以下公式计算得到：
[0017][0018]
其中，si表示视频第i帧的图像一维信息熵，pk表示图像像素值为k的像素点占图像的总像素点的比例；视频的信息熵s表示为[s1,s2,
…
,sn]，其中n 为视频图像帧的总数，找出s中的最小值sj(1≤j≤n)，以位置j为中心，向两端扩展，扩展的结束条件为取视频v 中的第a帧到第b帧图像构成新的视频v
′
；
[0019]
s1.3对光照变化大的图像进行灰度变换
[0020]
使用伽马变换对视频v
′
中的每帧图像的像素值进行变换，使得每帧图像的灰度级分布较均匀，变换后的图像帧构成视频v
″
，最后使用视频v
″
替换视频v中的第a帧到第b帧图像，构成视频v1。
[0021]
作为优选，s2的具体方法如下：
[0022]
s2.1计算视频的光流矢量
[0023]
视频v1中的第t帧图像表示为i(x,y,t)，第t+1帧图像可通过第t帧表示为i(x+dx,y+dy,t+dt)，第t帧图像的光流矢量表示为(u,v)，u和v分别表示为光流在图像x与y方向的速度矢量，其中像素点(x,y)的光流矢量定义为f
(x,y)
(u,v)；
[0024]
s2.2获取特征运动轨迹
[0025]
首先将视频v1中的视频图像缩放成m个不同尺寸的视频图像，缩放因子取将视频图像划分为多个方形网格，每个网格都作为一个密集采样特征点，然后在视频的时序维度上获取这些密集采样特征点的运动轨迹；其中，第t帧时刻的第i个密集特征点的坐标为该特征点在t+1时刻的坐标为
[0026][0027]
其中(u
t
,v
t
)为第t帧视频图像的光流场，km为中值滤波器，定义第t帧的特征位置为p
t
，长度为l帧图像的视频的所有密集采样特征点的运动轨迹可表示为{p1，p2，
…
,p
l
}；
[0028]
密集轨迹特征的位移向量可表示为δp
t
＝p
t+1-p
t
，对轨迹特征进行归一化：
[0029][0030]
s2.3获取hog特征
[0031]
通过计算像灰度图像像素点梯度方向直方图获取hog特征，首先将视频图像根据
以下公式转化为灰度图像：
[0032]
gray＝0.3r+0.59g+0.11b
ꢀꢀꢀ
(3)
[0033]
其中，gray为转换后的灰度图像，r，g，b分别表示彩色图像中的红、绿、蓝三个通道；对转换后的灰度图像计算水平方向和垂直方向的梯度，水平方向的梯度算子为[-1,0,1]，垂直方向的梯度算子为[-1,0,1]
t
，计算公式如下：
[0034]gx
(x,y)＝f(x+1,y)-f(x-1,y)
ꢀꢀꢀ
(4)
[0035]gy
(x,y)＝f(x,y+1)-f(x,y-1)
ꢀꢀꢀ
(5)
[0036][0037]
公式(4)、(5)和(6)分别是图像中像素点f(x,y)在水平方向的梯度、垂直方向的梯度和该像素点的梯度方向，最后将图像划分为多个相同大小且不重合的方形单元；
[0038]
s2.4获取hof特征
[0039]
通过对光流方向进行加权统计则可得到光流方向直方图hof，利用光流矢量f
(x,y)
(u,v)来计算光流矢量与水平方向的夹角，角度范围取值为-90
°
～90
°
之间，忽略夹角的左右方向，并使用光流矢量的模长对其进行加权，其计算公式如下：
[0040][0041]
然后对φ
(x,y)
进行归一化处理，最后将角度范围-90
°
～90
°
均匀划分为若干个区域，使用直方图的方式对φ
(x,y)
进行统计，这若干个角度区域对应于直方图的若干个条纹；
[0042]
s2.5获取mbh特征
[0043]
通过计算图像的光流的梯度直方图获得运动边界直方图特征mbh，图像中每个像素点的光流矢量由沿x轴方向和y轴方向的两个分量组成，则需要分别计算x轴方向的梯度直方图mbhx和y轴方向的梯度直方图mbhy。
[0044]
作为优选，s3的具体方法如下：
[0045]
s3.1对特征降维
[0046]
对轨迹特征、hog、hof和mbh特征向量进行拼接，定义拼接后的特征向量f的维度为n，使用主成分分析法pca对特征f进行降维；
[0047]
s3.2对特征进行编码
[0048]
一段视频中存在多个特征，使用费希尔向量fv编码方式对降维后的特征进行编码，使得输出相同尺寸维度的特征向量，输出特征作为idt算法提取的特征。
[0049]
作为优选，s4的具体方法如下：
[0050]
s4训练svm分类器
[0051]
自制的数据集包含了k个动作类别，采用多分类的支持向量机svm进行视频动作识别，支持向量机的数学模型定义如下：
[0052][0053]
其中，c、ω和b是训练支持向量机svm所需要学习到的参数，xi是视频中的第i类行为类别的特征样本，共有n个类别，yi是特征xi对应的行为类别。
[0054]
作为优选，s2.3还包括如下方法：在单元内部统计梯度方向，逆时针 0～180
°
范围内，以20
°
为单位，可分为z1到z9共9个部分，逆时针180
°
到360
°
范围内以20
°
为单位，以递增的顺序将其分为z1到z9共9个部分，然后在z1到z9区域中统计每个像素点的素梯度方向的直方图，z1到z9作为直方图的条纹，每个单元则可得到一个9维的特征向量，以相邻的4个单元作为一个块从而提高局部表征能力，每个块的特征向量维度为36，相邻两个块之间存在两个重叠的单元，最后使用l2范数对每个块的特征向量进行标准化。
[0055]
作为优选，s2.5中所述的mbhx和mbhy的计算方式采用hog的计算方式，只需省略转换为灰度图像这一步骤，最终mbh特征的维度是hog特征维度的两倍。
[0056]
由于采用上述技术方案，本发明的有益效果如下：能够直接对夜间红外视频监控中的人体行为进行识别，即使红外监控视频中存在严重光照变化或亮度变化，也可不进行其它处理，直接对其进行行为识别，相比其它行为识别方法更为有效。
附图说明
[0057]
图1为本发明的技术流程图；
[0058]
图2为本发明实施例处理前后的视频图像对比图。
具体实施方式
[0059]
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0060]
如图1所示，本发明提供一种基于复杂光照条件下红外监控视频的行为识别方法，包括以下步骤：
[0061]
s1.计算视频中每帧图像的信息熵并根据图像信息熵的变化情况标记出光照变化大的视频图像并进行灰度变换，消除由于光照干扰产生的图像亮度突变的现象；
[0062]
s2.计算视频图像的光流特征并从光流特征中获取光流直方图hof、梯度直方图hog、运动边界直方图mbh和轨迹四类特征；
[0063]
s3.对特征进行降维并使用费希尔向量fv特征编码对获取的四类特征进行特征融合编码；
[0064]
s4.将编码后特征送入到训练好的支持向量机svm中进行行为类别分类。
[0065]
具体方法和实施例如下：
[0066]
s1.1视频图像预处理
[0067]
不同厂商生产的网络红外摄像头成像画面尺寸各不相同，获取到视频图像后将图像尺寸转为为新的尺寸大小，新尺寸大小为h
×
w，得到视频定义为v。
[0068]
s1.2标记光照变化大的视频图像
[0069]
图像一维信息熵可以反应出图像像素值的分布情况，分别计算视频v中每一帧图像的信息熵，图像一维信息熵可根据信息论中熵的定义由以下公式计算得到：
[0070][0071]
其中，si表示视频第i帧的图像一维信息熵，pk表示图像像素值为k的像素点占图像的总像素点的比例。视频的信息熵s表示为[s1,s2,
…
,sn]，其中n 为视频图像帧的总数。然
后找出s中的最小值sj(1≤j≤n)，以位置j为中心，向两端扩展，扩展的结束条件为取视频v 中的第a帧到第b帧图像构成新的视频v
′
。
[0072]
s1.3对光照变化大的图像进行灰度变换
[0073]
视频v
′
中的图像帧的信息熵值偏小，则图像的灰度级或像素值分布在亮区和暗区。使用伽马变换对视频v
′
中的每帧图像的像素值进行变换，使得每帧图像的灰度级分布较均匀，伽马系数取值为0.5。变换后的图像帧构成视频 v”，最后使用视频v”替换视频v中的第a帧到第b帧图像，构成视频v1。
[0074]
灰度变换验证结果如图2所示，第一行图像来自于带有光照变化视频中的4帧图像，该视频数据通过主动式红外摄像头获取得到，视频中的每一帧图像为单通道的灰度图像。视频中的光照变化是由于人体靠近红外摄像头而产生，该光照变化表现为除人体之外的背景区域变暗，(1)和(4)不存在光照变化，(2)和(3)存在光照变化。第二行中的4帧图像来源于经过灰度变换后的视频，(5)、(6)、(7)和(8)对应于第一行中的4帧图像。不存在光照变化的图像不进行处理，(6)和(7)是通过灰度变换后的结果，(6)和(7)中图像背景区域的亮度通过灰度变换后较为接近无光照变化图像中背景区域的亮度，从而达到抑制光照变化的效果。
[0075]
s2.1计算视频的光流矢量
[0076]
视频v1中的第t帧图像表示为i(x,y,t)，第t+1帧图像可通过第t帧表示为i(x+dx,y+dy,t+dt)，第t帧图像的光流矢量表示为(u,v)，u和v分别表示为光流在图像x与y方向的速度矢量，其中像素点(x,y)的光流矢量定义为f
(x,y)
(u,v)。
[0077]
s2.2获取特征运动轨迹
[0078]
首先将视频v1中的视频图像缩放成m个不同尺寸的视频图像，缩放因子取将视频图像划分为多个方形网格，其中每个方形网格为25个像素点，每个网格都作为一个密集采样特征点。然后在视频的时序维度上获取这些密集采样特征点的运动轨迹。其中，第t帧时刻的第i个密集特征点的坐标为该特征点在t+1时刻的坐标为
[0079][0080]
其中(u
t
,v
t
)为第t帧视频图像的光流场，km为中值滤波器，km滤波器采用3
×
3大小的滤波窗口，定义第t帧的特征位置为p
t
，长度为l帧图像的视频的所有密集采样特征点的运动轨迹可表示为{p1，p2，
…
,p
l
}。
[0081]
密集轨迹特征的位移向量可表示为δp
t
＝p
t+1-p
t
，对轨迹特征进行归一化：
[0082][0083]
其中，t为归一化后密集采样特征轨迹，t的维度为2l。
[0084]
s2.3获取hog特征
[0085]
通过计算像灰度图像像素点梯度方向直方图获取hog特征。首先将视频图像根据一下公式转化为灰度图像：
[0086]
gray＝0.3r+0.59g+0.11b
ꢀꢀꢀ
(3)
[0087]
其中，gray为转换后的灰度图像，r，g，b分别表示彩色图像中的红、绿、蓝三个通道。对转换后的灰度图像计算水平方向和垂直方向的梯度，水平方向的梯度算子为[-1,0,1]，垂直方向的梯度算子为[-1,0,1]
t
，计算公式如下：
[0088]gx
(x,y)＝f(x+1,y)-f(x-1,y)
ꢀꢀꢀ
(4)
[0089]gy
(x,y)＝f(x,y+1)-f(x,y-1)
ꢀꢀꢀ
(5)
[0090][0091]
公式(4)、(5)和(6)分别是图像中像素点f(x,y)在水平方向的梯度、垂直方向的梯度和该像素点的梯度方向。最后将图像划分为多个相同大小且不重合的方形单元，在单元内部统计梯度方向。逆时针0～180
°
范围内，以20
°
为单位，可分为z1到z9共9个部分，逆时针180
°
到360
°
范围内以20
°
为单位，以递增的顺序将其分为z1到z9共9个部分，然后在z1到z9区域中统计每个像素点的素梯度方向的直方图，z1到z9作为直方图的条纹，每个单元则可得到一个9维的特征向量，以相邻的4个单元作为一个块从而提高局部表征能力，每个块的特征向量维度为36，相邻两个块之间存在两个重叠的单元，最后使用l2范数对每个块的特征向量进行标准化。
[0092]
最终一帧图像得到的hog特征向量维度为：块数乘以36。
[0093]
s2.4获取hof特征
[0094]
通过对光流方向进行加权统计则可得到光流方向直方图(hof)。利用光流矢量f
(x
,
y)
(u,v)来计算光流矢量与水平方向的夹角，角度范围取值为-90
°
～90
°
之间，忽略夹角的左右方向，并使用光流矢量的模长对其进行加权，其计算公式如下：
[0095][0096]
然后对φ
(x,y)
进行归一化处理，最后将角度范围-90
°
～90
°
均匀划分为9 个区域，这个9给区域分别为[-90
°
,-70
°
]，[-90
°
,-70
°
]，[-90
°
,-70
°
]， [-70
°
,-50
°
]，[-50
°
,-30
°
]，[-30
°
,-10
°
]，[-10
°
,10
°
]， [10
°
,30
°
]，[30
°
,50
°
]，[50
°
,70
°
]，[70
°
,90
°
]，使用直方图的方式对φ
(x,y)
进行统计，这9个角度区域对应于直方图的9个条纹。
[0097]
每个像素点的hof特征向量维度9。
[0098]
s2.5获取mbh特征
[0099]
通过计算图像的光流的梯度直方图获得运动边界直方图特征(mbh)。图像中每个像素点的光流矢量由沿x轴方向和y轴方向的两个分量组成，则需要分别计算x轴方向的梯度直方图mbhx和y轴方向的梯度直方图mbhy。
[0100]
mbhx和mbhy的计算方式采用hog的计算方式，只需省略转换为灰度图像这一步骤，最终mbh特征的维度是hog特征维度的两倍。
[0101]
s3.1对特征降维
[0102]
对轨迹特征、hog、hof和mbh特征向量进行拼接，定义拼接后的特征向量f的维度为n，使用主成分分析法(pca)对特征f进行降维，降维后的特征向量f的维度为n/2。
[0103]
s3.2对特征进行编码
[0104]
一段视频中存在多个特征，使用费希尔向量(fv)编码方式对第9小节后降维的特征进行编码，使得输出相同尺寸维度的特征向量，输出特征作为 idt算法提取的特征。
[0105]
s4训练svm分类器
[0106]
自制的数据集包含了k个动作类别，本设计采用多分类的支持向量机 (svm)进行视频动作识别。支持向量机的数学模型定义如下：
[0107][0108]
其中，c、ω和b是训练支持向量机(svm)所需要学习到的参数，xi是视频中的第i类行为类别的特征样本，共有n个类别，yi是特征xi对应的行为类别。
[0109]
由于本设计涉及到多个类别分类，采用“一对其它”策略进行分类。使用多分类的支持向量机在数据集上进行训练,并保存训练之后的svm模型作为行为分类的分类器。
[0110]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。