基于动态场景感知的天气识别方法
【专利摘要】本发明涉及一种基于动态场景感知的天气识别方法，包括以下步骤：分析动态天空场景目标和背景在不同天气下成像的差异性，采用角点检测算法确定目标区域和背景区域的位置；再分别提取背景区域的纹理和功率谱斜率特征，以及目标区域的对比度和锐度特征；利用多核学习方法将背景和目标区域特征融合识别天气状况。本发明是基于动态场景感知的天气识别方法，既可消除由目标的尺度变化对天气识别的影响，同时又借助目标区域特征增加有用特征信息以提高天气识别率，尤其提升了背景均匀、特征相似的天气的识别率。
【专利说明】
基于动态场景感知的天气识别方法
技术领域
[0001] 本发明涉及图像处理和模式识别领域，尤其涉及一种基于动态场景感知的天气识 别方法。
【背景技术】
[0002] 场景天气识别是图像理解和模式识别领域的研究热点之一，尤其是对恶劣天气的 识别有极为迫切的需求，在智能交通、无人驾驶、虚拟现实、导航定位和军事侦查等领域应 用广泛。目标跟踪是光电跟踪系统的关键技术，存在着对天气条件过于依赖的缺陷。在阴天 和雾天天气条件下，目标能量按大气衰减，造成光电成像系统中目标成像对比度低，无法对 目标的精识别;在晴空中夹杂云层，一旦将云层错误识别成目标或目标被遮挡，目标跟踪中 断造成测量关键段的珍贵数据丢失。场景天气识别可分为固定场景和动态场景的天气识 另IJ。固定场景是利用图像的全局特征来识别天气，而在动态场景中存在目标种类不同和尺 度变化等干扰，全局特征并不能实时有效地反映天气特性。动态场景的研究主要有选取天 空背景、光阴影和反光块等具有天气代表性区域来识别天气，但是，仅利用了场景中的局部 特征信息，未充分挖掘图像信息来解决动态场景的天气识别，尤其在晴天、小晴天和小阴天 天气，背景区域清晰，均匀且单一，特征均有相似性，很难仅依靠背景区域特征进行天气的 识别。
[0003] 因此，如何实时有效的识别动态天空场景的天气对于解决目标稳定跟踪而言具有 重要的意义。
【发明内容】
[0004] 本发明的目的在于克服现有的利用全局特征或局部特征信息进行天气识别从而 导致天气识别率降低的技术问题，提供一种基于动态场景感知的天气识别方法。
[0005] 实现上述目的，该天气识别方法包括：
[0006] 步骤一：分析动态天空场景的组成及其在不同天气状况下的图像特性;所述的动 态天空场景的组成包括背景区域和目标区域；
[0007] 步骤二:采用Harris角点检测算法来确定场景中目标区域和背景区域的位置，对 目标区域和背景区域进行划分；
[0008] 步骤三:对背景区域提取纹理特征；
[0009] 步骤四：对背景区域提取功率谱斜率特征；
[0010] 步骤五:对目标区域提取对比度特征；
[0011] 步骤六:对目标区域提取锐度特征；
[0012] 步骤七:根据光电跟踪系统采集的图像数据库建立动态天空场景训练集;对动态 天空场景训练集进行多核学习的训练，提取图像特征的权重并将背景区域和目标区域特征 融合；
[0013] 步骤八:利用多核学习方法进行天气的识别；
[0014] 所述的图像特征包括:纹理特征、功率谱斜率特征、对比度特征和锐度特征。
[0015] 具体地，所述背景区域是不同天气状况下云层或天空的图像区域，该图像区域具 有不规则的纹理特征;所述目标区域是具有角点特性的结构化刚体区域。
[0016] 具体地，所述的Harr is角点检测算法是场景中的点通过Harr is算子计算，其计算 值大于设定阈值时，则该点为角点；再分别选择场景中角点位置的水平方向上坐标最小值 Umin，水平方向上坐标最大值Umax，垂直方向上坐标最小值Vmin和垂直方向上坐标最大值Vmax， 从而确定目标区域为It(U, V) = { (U, V) | Umin < U < Umax, Vmin < V < Vmax}，其中U和V分别为图像 水平和垂直方向上坐标，t代表目标区域，It(U，V)为目标区域的具体位置。
[0017] 具体地，所述的背景区域提取纹理特征是通过灰度共生矩阵GLCM获取，分别选择 灰度共生矩阵GLCM在0°，45°，90°和135°四个方向的能量和熵提取纹理特征;所述灰度共生 矩阵GLCM是利用图像中灰度的空间相关特性描述图像纹理特征信息的方法。
[0018] 具体地，所述的能量是衡量图像的同质性或均匀性，反映背景区域的纹理粗细程
其中，energy为能量，i和j为灰度级，k为图像的灰度级数 目，P(i，j)为灰度共生矩阵GLCM的元素;所述的熵是衡量背景区域一致性的参数，背景区域 的灰度分布均匀时熵值较大，而背景区域的灰度值分散和变化较大时熵值较小；熵为
其中，entropy为熵，lg为对数计算。 ，
[0019] 具体地，所述的功率谱斜率特征是分析背景区域中不同的能量频率的分布情况，
进而根据分布情况来识别天气；功率谱斜率 其中A是缩放因子的常 乂
数，S(f)是背景区域图像关于半径f的功率谱函数。
[0020] 具体地，对比度特征是通过图像亮度的标准差计算， 其中It(u，V)为目标区域的亮度，Nt为目标区域像素点个数。
[0021 ]具体地，所述的锐度特征是以梯度模的波动反映目标的边缘信息，即锐度特征用 梯度模的方差表示为@# = ΣΣΡ(?，ν)-；其中S(u，v)为目标区域的梯度模，互为梯度 .， 模的均值;所述的目标区域提取锐度特征反映动态天空场景中目标轮廓的明显程度。
[0022]具体地，建立动态天空场景训练集{λ·,.，.ν^=ι>Χι为目标区域和背景区域的天气特 征，yi为天气识别的标号；动态天空场景训练集进行多核学习训练，得到代表图像 特征的单核函数^^^)所对应的权重dm，通过将m个单核函数线性加权组合成多核函数K
其中Μ为单核函数的总数;通过训练得到 权重dm来完成测试集中目标区域和背景区域的图像特征融合。
[0023] 具体地，所述的利用多核学习方法进行天气的识别，
其中a，和P是通过动态天空场景训练集训练得出的参数，fm(x)为多核学习的输 出，即天气识别；将动态天空场景测试集输入到训练完成的多核学习方法中进行天气的识 别。
[0024] 本发明是一种基于动态场景感知的天气识别方法，采用角点检测算法确定目标区 域和背景区域的位置，通过多核学习训练将背景区域和目标区域特征融合，进而用于天气 的识别。此方法既可消除由目标的尺度变化对天气识别的影响，同时又借助目标区域特征 增加有用特征信息以提高天气识别率，尤其提升了背景均匀、特征相似的天气的识别率。
【附图说明】
[0025] 图1是基于动态场景感知的天气识别方法的流程图；
[0026] 图2是动态天空场景天气图像数据库；
[0027] 图3(a)、图3(b)、图 3(c)、图3(d)、图3(e)、图3(f)、图3(g)、图 3(h)和图3(i)是动态 天空场景中9类天气的背景区域和目标区域划分结果；
[0028] 图4是本发明与全局特征和代表性区域特征对9类天气识别率的对比；
[0029] 图5是天气识别正确率与对比度的关系；
[0030] 图6是背景特征和目标特征在各类天气下的权重。
【具体实施方式】
[0031] 为了更好地理解本发明的技术方案，下面结合附图对本发明的实施方式作进一步 的描述，但本发明的保护范围不限于下述的实施例。
[0032] 本实施例的动态天空场景训练集中的图像数据库是光电跟踪系统实时采集的，晴 天有云125幅，晴天90幅，小晴天153幅，大阴天269幅，中阴天116幅，小阴天167幅，大雾天 156幅，中雾天156幅，小雾天101幅，分别用数字1-9标类别，共1333幅。光电跟踪系统在9类 天气下对不同机型和尺度的飞行目标成像，选取部分场景图像如图2所示，9类天气依次用 竖线分开。
[0033] 图1为本发明基于动态场景感知的天气识别方法的流程图，具体的实施步骤如下：
[0034] (1)随机选取600幅动态天空场景天气图像作为训练样本，即训练集，733幅作为测 试样本，即测试集。利用Harris角点检测算法确定场景中背景区域和目标区域的位置，将动 态天空场景划分为目标区域和背景区域。将场景中的点通过Harris算子计算，其计算值大 于设定阈值时，则该点为角点；再分别选择场景中角点位置的水平方向上坐标最小值u min， 水平方向上坐标最大值Umax，垂直方向上坐标最小值Vmin和垂直方向上坐标最大值Vmax，从而 确定目标区域为A ^職，其中U和V分别为图像水平和 垂直方向上坐标，t代表目标区域，It(u，v)为目标区域的具体位置。所述背景区域是不同天 气状况下云层或天空的图像区域，该图像区域由R0I1、R0I2、R0I3和R0I4组成，具有不规则 的纹理特征;所述目标区域，即Target区域是具有角点特性的结构化刚体区域。选取9类天 气动态天空场景区域划分如图3(a)-3(i)所示。
[0035] (2)背景区域R0I1、R0I2、R0I3和ROM中分别提取纹理特征和功率谱斜率特征，即 在灰度共生矩阵的〇°，45°，90°和135°四个方向的能量(energy)和熵(entropy)上计算纹理 特征。其中，能量是衡量图像的同质性或均匀性，反映背景区域的纹理粗细程度；能量为
其中，energy为能量，i和j为灰度级，k为图像的灰度级数目，p(i，j)为 ，
灰度共生矩阵GLCM的元素。熵是衡量背景区域一致性的参数，背景区域的灰度分布均匀时熵值 较大，而背景区域的灰度值分散和变化较大时熵值较小 其中，entropy为熵，lg为对数计算。功率谱斜率特征是分析背景区域中不同的能量频率的
分布情况，进而根据分布情况来识别天气； 其中A是缩放 > 因子的常数，S(f)是背景区域图像关于半径f的功率谱函数。
[0036] (3)目标区域Target中提取对比度特征和锐度特征，即采用目标区域亮度的标准 差来计算对比度，目标区域梯度模的方差来计算锐度特征。锐度特征是以梯度模的波动反 映目标的边缘信息，即锐度特征用梯度模的方差表示为@^ = ΣΣΡ(〃，ν)-02其中s(u， V)为目标区域的梯度模，友为梯度模的均值;所述的目标区域提取锐度特征反映动态天空 场景中目标轮廓的明显程度。
[0037] (4)对动态天空场景训练集{χ,.,.ν, 进行多核学习，得到代表图像特征的单核函数Km (x，h)所对应的权重dm，其中h为目标区域和背景区域的天气特征，yi为天气识别的标号，通过
将m个单核函数线性加权组合成多核函数K(X，Xi)， 其中Μ为单核函数的总数;通过训练得到权重dm来完成测试集中目标区域和背景区域的图 像特征融合。
[0038] (5)将测试集的背景区域的纹理特征和功率谱斜率特征，目标区域的对比度特征 和锐度特征作为训练好的多核学习方法的输入，按训练得到各类天气特征的权重参数d m进 行特征融合识别天气，
其中和P是通过 动态天空场景训练集只^训练得出的参数，fm(x)为多核学习的输出，得到天气识别结 果。
[0039] 运用以上方法，对9类天气的识别正确率可参见如下表： Γ00401
[0042] 上表可看出本发明对动态天空场景各类天气均有较高的识别率，其中晴天有云 (1)、大阴天(4)、中阴天(5)、中雾天(8)和小雾天(9)的识别正确率均超过0.9;大雾天(7)的 识别率为0.8652;晴天(2)、小晴天(3)和小阴天(6)的识别正确率分别为0.6267、0.8462和 0.7582，该3类动态天空场景小部分相互错误识别，由于光电跟踪系统灰度成像分辨率低、 信息量有限，而晴天、小晴天和小阴天的天气特性相似，分类较细且无明显的天气分类界 限。
[0043] 本发明与现有的图像全局特征和选取图像的代表性区域的方法的识别率对比，为 了得到有效的识别正确率，将实验重复了 10次，再用10次实验识别率的平均值对比如下表：
[0045]上表可看出本发明的天气识别正确率为88.831%，要优于其他两种方法，即将动 态天空场景的目标区域和背景区域特征融合，相比于图像全局特征或单一背景代表性区域 特征的天气识别正确率高。
[0046]图4为进一步分析本发明的各类天气下识别正确率。本发明相比其他两种方法在 识别正确率上均有提高，尤其在晴天、小晴天和小阴天，因该3类天气状况下背景区域清晰、 均匀且单一，特征具有相似性，很难仅依靠背景区域特征识别，可利用目标区域天气特征的 差异性，提高动态天空场景天气识别正确率。
[0047]图5为全局对比度与天气识别正确率的关系，同时也反映天气图像质量与识别正 确率的关系。为了分析动态天空场景中目标对天气识别的影响，本发明采用全局对比度来 反映目标的尺度变化。由图5可知，本发明的随对比度的增加，较其他两种方法的下降更加 缓慢，识别正确率几乎趋于稳定，识别正确率均在0.8以上，即本发明既可以消除目标尺度 变化对图像天气特征的影响，同时目标区域特征可以为动态场景天气识别提供有用信息。 [0048]本发明分析各类天气的目标区域和背景区域的权重如图6所示，可看出背景区域 特征在动态天空场景天气识别权重较大，即在天气识别中作用较大。晴天(2)、小晴天(3)和 小阴天(6)的目标区域的权重相对目标区域的平均权重有明显增加，即目标区域对天气识 别的贡献率相对平均贡献要高，同本发明相比其他两种方法在该3类天气识别正确率上均 有提1? 〇
【主权项】
1. 基于动态场景感知的天气识别方法，其特征在于，该方法包括： 步骤一:分析动态天空场景的组成及其在不同天气状况下的图像特性;所述的动态天 空场景的组成包括背景区域和目标区域； 步骤二:采用Harris角点检测算法来确定场景中目标区域和背景区域的位置，对目标 区域和背景区域进行划分； 步骤三:对背景区域提取纹理特征； 步骤四：对背景区域提取功率谱斜率特征； 步骤五:对目标区域提取对比度特征； 步骤六:对目标区域提取锐度特征； 步骤七:根据光电跟踪系统采集的图像数据库建立动态天空场景训练集;对动态天空 场景训练集进行多核学习的训练，提取图像特征的权重并将背景区域和目标区域特征融 合； 步骤八:利用多核学习方法进行天气的识别； 所述的图像特征包括:纹理特征、功率谱斜率特征、对比度特征和锐度特征。2. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:所述背景区 域是不同天气状况下云层或天空的图像区域，该图像区域具有不规则的纹理特征;所述目 标区域是具有角点特性的结构化刚体区域。3. 根据权利要求1或2所述的基于动态场景感知的天气识别方法，其特征在于:所述的 Harr i s角点检测算法是场景中的点通过Harr i s算子计算，其计算值大于设定阈值时，则该 点为角点;再分别选择场景中角点位置的水平方向上坐标最小值umin，水平方向上坐标最大 值Umax，垂直方向上坐标最小值Vmin和垂直方向上坐标最大值Vm ax，从而确定目标区域为11 (U, V) = { (U, V) | Umin < U < Umax, Vmin < V < Vmax}，其中U和V分别为图像水平和垂直方向上坐 标，t代表目标区域，It(U，V)为目标区域的具体位置。4. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:所述的背景 区域提取纹理特征是通过灰度共生矩阵GLCM获取，分别选择灰度共生矩阵GLCM在0°，45°， 90°和135°四个方向的能量和熵提取纹理特征;所述灰度共生矩阵GLCM是利用图像中灰度 的空间相关特性描述图像纹理特征信息的方法。5. 根据权利要求4所述的背景区域提取纹理特征，其特征在于:所述的能量是衡量图像 k-rl 的同质性或均匀性，反映背景区域的纹理粗细程度；能量为⑶〃沿'= 其中， i=0 ;=0 J .， energy为能量，i和j为灰度级，k为图像的灰度级数目，p(i，j)为灰度共生矩阵GLCM的元素； 所述的熵是衡量背景区域一致性的参数，背景区域的灰度分布均匀时熵值大，而背景区域 k-? t-l. 的灰度值分散和变化剧烈时熵值小；熵为= ΣΣ/#·./)4/4·./)其中，entropy为 熵，lg为对数计算。6. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:所述的功率 谱斜率特征是分析背景区域中不同的能量频率的分布情况，进而根据分布情况来识别天 气;功率谱斜率为-1其中A是缩放因子的常数，S(f)是背景区域图像关于 HJ) 半径f的功率谱函数。7. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:对比度特征 是通过图像亮度的标准差计算，即 <其中It(u，v)为目标区域的， 亮度，Nt为目标区域像素点个数。8. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:所述的锐度 特征是以梯度模的波动反映目标的边缘信息，即锐度特征用梯度模的方差表示为 其中S(u，v)为目标区域的梯度模，及为梯度模的均值;所述的目， 标区域提取锐度特征反映动态天空场景中目标轮廓的明显程度。9. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:建立动态天空场 景训练集为目标区域和背景区域的天气特征，yi为天气识别的标号;动态天空场景 训练集进行多核学习训练，得到代表图像特征的单核函数Km(x，Xl)所对应的权重dm，通 过将m个单核函数线性加权组合成多核函数K(x，xi)，B[其中Μ为单核函数的总数;通过训练得到权重dm来完成测试集中目标区域和背景区域的图 像特征融合。10. 根据权利要求1所述的基于动态场景感知的天气识别方法，其特征在于:所述的利 用多核学习方法进行天气的识别是，将动态天空场景测试集输入到训练完成的多核学习方 法中进行天气的识别，即根据."其中'和b*是通过动态天空场 =1 ， 景训练集^.，>4=1训练得出的参数，fm(x)为多核学习的输出，即天气识别结果。
【文档编号】G06K9/62GK105868745SQ201610444136
【公开日】2016年8月17日
【申请日】2016年6月20日
【发明人】李正周, 李家宁, 程蓓, 邵万兴, 葛丰增
【申请人】重庆大学