基于光流网络与高斯背景建模的大坝白蚁视频识别方法与流程

1.本发明涉及一种白蚁识别方法，尤其涉及一种基于光流网络与高斯背景建模的大坝白蚁视频识别系统及方法。


背景技术：

2.千里之堤毁于蚁穴，意指指很长的堤坝，因为小小蚁虫的啃噬，最后也会被摧毁。这里所谓的蚁，即为白蚁。对于水库堤坝来说，白蚁隐患严重影响水库堤坝的运行安全，特别是土栖白蚁喜欢在土坝上分群、蚕食、筑巢，一窝白蚁的主巢及副巢可多达上百个，从而使河堤土坝内部受害严重，一旦汛期到来，水位高涨，水流渗入蚁道、蚁穴，形成管涌，随着水压的上升，大量泥沙会被高压水流带出，使蚁道孔径不断扩大，最后造成滑坡垮塌。所以水库堤坝的白蚁防治意义十分重要。而随着社会的发展，在水库大坝上采用高效、低毒的白蚁治理策略，是白蚁防治发展的必然趋势。
3.目前的蚁防治、监测过程，主要通过施工，人为对部分区域进行手动取样，判别白蚁在水库大坝中的活动情况，成本较高，且人工巡查的工作量、难度高、时效性差，监测结果也不一定准确。
4.关于光流估计网络：输入为包含目标的两帧图像堆叠，输出为两帧图像对应的光流估计目标概率值图像。
5.关于高斯背景建模：是利用混合高斯模模型对视频图像数据进行建模，对将所输入的图像，将图像中的每个像素点依据其像素值特征分为背景像素与运动目标像素，从而达到分离背景与运动目标，进行运动目标提取的作用。


技术实现要素：

6.本发明的目的就在于提供一种解决上述问题，极大减少人工巡查的工作量、提高白蚁监控及处理的时效性、且能对白蚁的数目与活动状态进行准确估计的，基于光流网络与高斯背景建模的大坝白蚁视频识别系统及方法。
7.为了实现上述目的，本发明采用的技术方案是这样的：一种基于光流网络与高斯背景建模的大坝白蚁视频识别方法，包括以下步骤；（1）获取水库大坝监控白蚁活动的视频序列，逐帧读取图像并对图像预处理，得到n+1帧监控图像，n为正整数；（2）构建一光流估计网络，并训练得到光流网络模型，所述光流估计网络采用flownet2网络结构，输入为包含目标的两帧图像堆叠，输出为两帧图像对应的光流估计目标概率值图像；（3）以白蚁为目标，依次将n+1帧监控图像输入光流网络模型，得到n个光流估计白蚁概率值图像，依次标记为p1～pn；（4）构建一混合高斯背景模型，将所有监控图像输入混合高斯背景模型中训练得到背景图像，依次提取所有图像的运动目标，得到n+1帧运动目标概率值图像，选择后n帧依
次标记为q1～qn；（5）图像后处理：将p1～pn、q1～qn分别进行图像形态学滤波、滤除噪声，并对缺失部分进行填充，得到与p1～pn对应的图像a1～an、与q1～qn对应的图像b1～bn；（6）融合；（61）将图像a1～an作为a组、b1～bn作为b组，设定a组和b组的权重；（62）将ai和bi进行加权数据融合，得到融合图像ci，i=1～n；（63）设置阈值t，滤除ci中置信度小于t的目标，再进行二值化处理，得到1张二值化图像；（7）对二值化图像进行连通区域分析，认为每一块联通区域对应一个白蚁目标，计算每一个联通区域的最小外接矩形，并标识出白蚁目标的位置，得到1张识别图像；（8）重复步骤（62）-（7），对a组和b组所有图像进行处理，得到n张识别图像，并按顺序排列。
8.作为优选：所述步骤（1）中，图像预处理具体为，对每张图像采用滤波去噪或直方图增强的方法进行预处理。
9.作为优选：所述步骤（2）中，训练得到光流网络模型具体为，所述光流估计网络为三层堆叠网络，第一层为flownetc 网络，第二层和第三层为flownets网络，先使用flyingchairs数据集对光流估计网络进行预训练，再用flyingthings3d数据集对结果进行网络权重调整，直至模型收敛。
10.光流估计网络输入为包含目标的两帧图像堆叠，输出为两帧图像对应的光流估计目标概率值图像；本发明中用白蚁作为目标，所以训练好的光流估计网络模型，输入为水库大坝监控白蚁活动的视频序列中的两帧图像堆叠，输出为光流估计白蚁概率值图像。
11.混合高斯背景模型是将所有图像输入混合高斯背景模型中训练，不断优化得到背景图像，并用该背景图像去提取每一帧图像的运动目标，本发明中，只有白蚁是运动的，所以白蚁就是运动目标。混合高斯背景模型输出的运动目标概率值图像，我们取后n帧，与光流估计白蚁概率值图像一一对应。
12.本发明则针对光流估计白蚁概率值图像、和混合高斯模型的运动目标概率值图像，进行加权融合。
13.与现有技术相比，本发明的优点在于：将水库大坝监控白蚁活动的视频处理后，分别通过光流估计网络和高斯背景建模的方法进行白蚁目标的初步识别与提取，随后对两种算法的结果进行加权融合并得到最终的白蚁识别结果。能自动完成监控，极大减少人工巡查的工作量并提高白蚁监控及处理的时效性，为水库大坝白蚁危害监控探索了新的方法。
14.这种基于光流法和高斯背景建模法一融合使用的识别方法，相对于高斯背景建模，能够补充由于运动目标像素与背景接近的漏检目标的情况；相比于直接使用光流法，能够消除由直接使用光流法带来的光流造成的错检目标，大大提高了白蚁数目与活动状态识别的准确度，为白蚁防治提供有效的线索与依据。
15.附图说明
16.图1为本发明流程图；
图2为本发明光流估计网络采用flownet2网络结构图；图3a为水库大坝监控白蚁活动的视频序列中随机抽取的第一帧监控图像；图3b为对图3a采用光流估计网络的识别结果；图3c为对图3a采用混合高斯背景模型的识别结果；图3d为对图3a采用本发明方法的识别结果；图4a为水库大坝监控白蚁活动的视频序列中随机抽取的第二帧监控图像；图4b为对图4a采用光流估计网络的识别结果；图4c为对图4a采用混合高斯背景模型的识别结果；图4d为对图4a采用本发明方法的识别结果；图5a为水库大坝监控白蚁活动的视频序列中随机抽取的第三帧监控图像；图5b为对图5a采用光流估计网络的识别结果；图5c为对图5a采用混合高斯背景模型的识别结果；图5d为对图5a采用本发明方法的识别结果。
17.具体实施方式
18.下面将结合附图对本发明作进一步说明。
19.实施例1：参见图1-图2，一种基于光流网络与高斯背景建模的大坝白蚁视频识别方法，包括以下步骤；（1）获取水库大坝监控白蚁活动的视频序列，逐帧读取图像并对图像预处理，得到n+1帧监控图像，n为正整数；（2）构建一光流估计网络，并训练得到光流网络模型，所述光流估计网络采用flownet2网络结构，输入为包含目标的两帧图像堆叠，输出为两帧图像对应的光流估计目标概率值图像；（3）以白蚁为目标，依次将n+1帧监控图像输入光流网络模型，得到n个光流估计白蚁概率值图像，依次标记为p1～pn；（4）构建一混合高斯背景模型，将所有监控图像输入混合高斯背景模型中训练得到背景图像，依次提取所有图像的运动目标，得到n+1帧运动目标概率值图像，选择后n帧依次标记为q1～qn；（5）图像后处理：将p1～pn、q1～qn分别进行图像形态学滤波、滤除噪声，并对缺失部分进行填充，得到与p1～pn对应的图像a1～an、与q1～qn对应的图像b1～bn；（6）融合；（61）将图像a1～an作为a组、b1～bn作为b组，设定a组和b组的权重；（62）将ai和bi进行加权数据融合，得到融合图像ci，i=1～n；（63）设置阈值t，滤除ci中置信度小于t的目标，再进行二值化处理，得到1张二值化图像；（7）对二值化图像进行连通区域分析，认为每一块联通区域对应一个白蚁目标，计算每一个联通区域的最小外接矩形，并标识出白蚁目标的位置，得到1张识别图像；（8）重复步骤（62）-（7），对a组和b组所有图像进行处理，得到n张识别图像，并按顺
序排列。
20.本实施例中，所述步骤（1）中，图像预处理具体为，对每张图像采用滤波去噪或直方图增强的方法进行预处理。
21.所述步骤（2）中，训练得到光流网络模型具体为，所述光流估计网络为三层堆叠网络，第一层为flownetc 网络，第二层和第三层为flownets网络，先使用flyingchairs数据集对光流估计网络进行预训练，再用flyingthings3d数据集对结果进行网络权重调整，直至模型收敛。
22.关于光流估计网络：第一步：在进行本发明步骤（2）的工作时，先确定光流估计网络的构架，本发明具体采用flownet2架构，该网络包括flownetc、flownets、以及flowsd这三类模块，共四个部分构成，参见图2。
23.(a)flownets，将相邻两帧图像堆叠作为输入。
24.在编码阶段，也可以称为收缩阶段，输入通过多个连续卷积模块构成，每个卷积模块包括一个卷积层、一个标准批处理层以及相应的激活函数，得到逐渐收缩的具有不同抽象层级、不同分辨率特征图。
25.在解码阶段，也可以称为扩张阶段，随后将不同抽象层级、不同分辨率的特征图，不同分辨率的光流预测结果与上一层解码模块的输出通过refine模块融合得到更高分辨率的光流预测结果，逐层解码直至最终输出。其中refine模块的融合由三部分组成，分别是低分辨率光流预测结果的上采样值、与解码模块对应的编码模块输出的特征图以及上一层解码模块的输出，具体如图2右下部分所示。
26.(b)flownetc与flownets具有类似的结果，差别在于具有双通道的输入，输入的前后两帧图像分别输入独立的前三个卷积模块得到特征图，利用correlate对两组特征图进行相关性计算，并将结果作为新的特征图输入到后续的连续卷积模块中重复与flownets网络相同的编码结果过程。
27.(c)flownet-sd模块具有与flownets一致的结构，但前三个卷积模块的核由7x7、5x5、5x5替换为3x3，使得该模块可以用于处理微小的形变。
28.第二步：对光流估计网络进行训练，得到光流网络模型，具体又分为以下step11-step15；step11： 构建光流估计网络中的flownets、flownetc模块。
29.step12：使用公开光流数据对光流网络进行预训练。先使用flyingchairs dataset对网络进行预训练，随后再使用flyingthings3d数据集对结果进行网络权重进行微调，直至模块收敛，若所有光流网络模块都已叠加在光流网络中则进行step13操作否则跳转至step11。
30.step13：使用chairssdhom与flyingthings3d构成的混合数据集对flownet2-css模块进行训练。
31.step14：构建flownet-sd模块，将其补充进入光流估计网络中进行训练，得到训练好的模型。
32.step15：对本发明步骤（1）中由水库大坝监控白蚁活动的视频序列处理得到的n+1帧图像，依次将连续两帧图像输入光流网络模型中，输出光流估计结果例如第1、第2帧包含
目标的图像，得到第1个光流估计白蚁概率值图像，第2、第3帧图像，得到第2个光流估计白蚁概率值图像，那么最终n+1帧图像，得到n个光流估计白蚁概率值图像。
33.关于混合高斯背景模型：是利用混合高斯模模型对视频图像数据进行建模，对将所输入的图像，将图像中的每个像素点依据其像素值特征分为背景像素与运动目标像素，从而达到分离背景与运动目标，进行运动目标提取的作用。该算法模块对视频中的每一个像素点都建立一个具有k个高斯分布构成的混合高斯模型，使用下式（1）表示，在实际算法运算过程中，k为3~5之间的值，下式（1）中，表示像素点为背景点的概率模拟每个像素点在对应的视频中相应时刻作为背景的概率。每一帧视频图像输入后都对由混合高斯背景模型的参数进行重新估计。该算法模块认为具有较多数据支持且方差较小的高斯分布代表背景模型的可能性较大。一般认为当背景物体是持久静止时，该物体表面产生的高斯分布代表背景分布，且该分布的数据会随时间持续积累，方差逐渐变小；当有新的物体遮挡原来的背景物体时则会产生新的分布或使得原分布方差增大。即分布所产生或积累的所占的比例大小与该分布的方差大小共同决定了一个分布是否是背景分布。
34.实施例2：参见图1-图2，本实施例包括以下步骤：（1）水库大坝监控白蚁活动的视频序列，逐帧读取图像并对图像预处理，得到121帧监控图像；（2）同实施例1步骤（2）；（3）以白蚁为目标，依次将121帧监控图像输入光流网络模型，得到120个光流估计白蚁概率值图像，依次标记为p1～p
120
；（4）同实施例1步骤（4），共得到121帧运动目标概率值图像，选择后120帧依次标记为q1～q
120
；（5）图像后处理：将p1～p
120
、q1～q
120
分别进行图像形态学滤波、滤除噪声，并对缺失部分进行填充，得到与p1～p
120
对应的图像a1～a
120
、与q1～q
120
对应的图像b1～b
120
；（6）融合；（61）将图像a
1-a
120
作为a组、b
1-b
120
作为b组，设定a组和b组的权重a和b，所述权重根据经验值设定，取值在0～1之间；（62）用a1和b1进行加权数据融合得到ci，也就是c1=a1×
a+b1×
b；（63）设置阈值t=0.75，滤除ci中置信度小于t的目标，再进行二值化处理，得到1张二值化图像，当然t不仅限于0.75；（64）对二值化图像进行连通区域分析，认为每一块联通区域对应一个白蚁目标，计算每一个联通区域的最小外接矩形，并标识出白蚁目标的位置，得到1张识别图像，该识别图像与c1对应；（64）重复步骤（62）-（64），依次得到与c1～c
120
对应的120张识别图像，按顺序排列。
35.实施例3：参见图1-图5d，为了说明本发明效果，我们采用光流网络估计、高斯背景建模、及本发明方法，分别对水库大坝监控白蚁活动的视频序列进行处理，上述三种方法依次标记为方法1、方法2、方法3。然后从视频序列中抽取三帧监控图像，分别如图3a、图4a、图5a所示，用上述三种方法进行分析。
36.对图3a采用方法1、方法2、方法3处理得到的结果如图3b～图3d，对图3b-图3d进行分析得到下表1：表1图3a采用三种方法得到的识别结果对比表方法识别数量正确数量错误数量目视统计数量准确率召回率方法195132055.56%25%方法2221572068.18%75%方法3241952079.17%95%表1中，准确率=正确数量/识别数量*100%；召回率=正确数量/目视统计数量*100%。
37.对图4a采用方法1、方法2、方法3处理得到的结果如图4b-图4d，对图4b-图4d进行分析得到下表2：表2图4a采用三种方法得到的识别结果对比表方法识别数量正确数量错误数量目视统计数量准确率召回率方法1185132427.78%20.83%方法2272072474.07%83.33%方法3292452482.76%100%对图5a采用方法1、方法2、方法3处理得到的结果如图5b-图5d，对图5b-图5d进行分析得到下表3：表3图5a采用三种方法得到的识别结果对比表方法识别数量正确数量错误数量目视统计数量准确率召回率方法19451944.44%21.05%方法2251961976%100%方法3231941982.61%100%从表1到表3可以看到，无论是准确率，还是召回率，本专利的方法均要优于以往传统的光流网络或高斯背景建模方法。
38.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。