一种基于自适应高斯混合算法的视频雨量监测方法与装置

1.本发明属于水文监测技术领域，具体涉及一种基于自适应高斯混合算法的视频雨量监测方法与装置。


背景技术：

2.降水作为水文循环基本三要素之一，降水量的监测预报对水文模拟及洪水预报提供了数据基础。基于视频的河道流量和水位监测，已起到了不错的效果，基于视频的降雨量监测也成为一个新颖的研究方向。不同于传统降雨监测技术，城市、乡村和野外水利工程中广泛分布的监控摄像头可以监测完整的降雨过程，具有实时性及较高的时空分辨率。然而当前视频测雨算法的雨滴识别和尺寸计算精确性有限，降雨量计算准确性有待提高。具体问题是：（1）现有算法一般都需要进行一些重要参数设置，根据不同降雨事件或场景进行改变，仅适用于有限的场景，难以适应实时降雨监测的要求；（2）雨滴识别的精确性和准确性与算法计算时间成本之间存在矛盾；（3）没有充分考虑雨滴运动的模糊视觉效应和相机景深问题，无法对雨滴实际尺寸精确计算。
3.近年，监控摄像头广泛分布，计算机视觉技术不断发展，在基于视频的降雨量计算中，如果充分考虑雨滴在相机光学成像中的规律，得到更为精确的雨滴尺寸信息，并在降雨视频的雨滴识别中的准确性和计算效率之间找到一个平衡，对于提高降雨量的计算精度和实时性有显著意义，可对暴雨洪水预警和实时洪水预报等提供数据支撑。


技术实现要素：

4.本发明针对现有技术的不足，提供一种基于自适应高斯混合算法的视频雨量监测方法与装置，实现对降雨过程的高精度实时监控。
5.为了达到上述目的，本发明提供的技术方案是一种基于自适应高斯混合算法的视频雨量监测方法，包括以下步骤：步骤1，初次测雨前的准备工作；步骤1.1，考察测雨地点，配置测雨基础设施；步骤1.2，采集降雨视频；步骤1.3，收集基础参数和景深信息；步骤2，逐帧分离降雨视频中的背景和雨滴，得到逐帧雨纹二值图；步骤3，逐帧对步骤2得到雨纹二值化图进行形态学分析，并根据透镜方程推求各个雨滴距相机的距离；步骤4，利用步骤3求得的各个雨滴距相机的距离筛选出景深内的雨滴，计算景深内雨滴的实际直径，拟合雨滴密度分布函数；步骤5，利用步骤4拟合的雨滴密度分布函数计算降雨量。
6.而且，所述步骤1.1中对测雨地点进行考察，选择的位置应具有足够的视野以保证降雨事件的完整监测，同时应避开容易对设备造成损害的环境。配置视频录制、传输所需要
的供电、传输等基础设施，包括用于拍摄的高清相机、电源、固定载具、用于传输数据的桥接设备、远端pc设备。
7.而且，所述步骤1.2先将摄像头架在拍摄的固定平台上，调整拍摄角度和焦距使得视野能清晰地拍摄近景深的雨滴，然后使用相机对降雨事件进行拍摄，通过桥接设备传输至pc终端进行初步审核，检查视频帧数、是否有破损帧，并将符合要求的视频序列转入预处理阶段，不符合的予以删除。
8.而且，所述步骤1.3中收集的基础参数包括相机焦距f、成像最清晰的位置距相机距离、镜头数、曝光时间、最大允许弥散圆、视频帧率、拍摄图像的分辨率、单幅图像的垂直和水平尺寸；景深为近焦距和远焦距所在两焦平面之间的锥形范围，近焦距和远焦距的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，为近焦距，为远焦距，f为相机焦距，为成像最清晰的位置距相机距离，f为镜头数，为最大允许弥散圆。
9.而且，所述步骤2中对步骤1获取的降雨视频逐帧分析，使用自适应高斯混合模型算法分离出降雨视频中每帧的雨纹，即雨滴在相机曝光时间的下落轨迹，得到逐帧雨纹二值图。
10.而且，所述步骤3中逐帧对步骤2得到雨纹二值化图进行形态学分析，利用最小外接矩形对每个雨纹进行外接，认为最小外接矩形的长和宽分别为雨纹的长和宽，根据相机像素和单幅图像尺寸换算关系，得到图像中雨纹的长和宽；根据透镜方程推得雨滴的实际直径d和雨滴在相机曝光时间的下落距离l关于雨滴距相机的距离u的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）式中，f为相机焦距，和分别为视频帧图像中雨纹的长度和宽度；雨滴下落速度的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中，为相机的曝光时间，l为雨滴在相机曝光时间的下落距离，d为雨滴的实际
直径；根据终端速度假设，认为雨滴的下落速度就是终端速度，雨滴终端速度表达式为atlas雨滴终端速度经验公式，即：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）由公式（3）、式（4）、式（5）、式（6）联立求得各个雨滴距相机的距离u：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（7）式中，，，，是指朗伯w函数，是的反函数，用于求解包含指数函数的方程，f为相机焦距，是曝光时间。
11.而且，所述步骤4中通过不等式筛选出景深内的雨滴，由式（4）利用景深内雨滴实际直径大小d，统计各直径区间大小内的雨滴数目，根据雨型确定，从而拟合gamma分布雨滴谱，gamma分布雨滴谱表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）式中，d为景深内雨滴的实际直径，是雨滴密度分布函数，是常数，是与雨强有关的参数，是形状因子。
12.而且，所述步骤5是利用步骤4拟合的雨滴密度分布函数，结合atlas雨滴终端速度经验公式，求解降雨量r；降雨量r计算方式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）式中，d为景深内雨滴的实际直径，为步骤4所拟合得到的雨滴密度分布函数，为atlas雨滴终端速度经验公式。
13.本发明还提供一种基于自适应高斯混合算法的视频雨量监测装置，包括相机参数获取部、雨滴识别分离部、雨滴尺寸统计部、降雨量计算部、输入显示部、控制部。
14.相机参数获取部，调整拍摄角度和焦距使视野能清晰地拍摄近景深的雨滴，获取基本相机参数包括相机型号、焦距f、成像最清晰的位置距相机距离、镜头数f、曝光时间、最大允许弥散圆、视频帧率、拍摄图像的分辨率、单幅图像的垂直和水平尺寸，得到景深信息，景深为近焦距和远焦距所在两焦平面之间的锥形范围。
15.雨滴识别分离部，通过图像获取装置对降雨事件进行视频采集，采用自适应高斯混合模型算法进行雨滴分离，得到逐帧雨纹二值化图。
16.雨滴尺寸统计部，根据雨滴识别分离部得到的雨纹二值化图和相机参数获取部确定的相机像素和单幅图像尺寸换算关系，得到图像中雨纹的长和宽，并求得各雨滴物距u，筛选出景深内的雨滴，统计雨滴尺寸分布，拟合雨滴谱n(d)。
17.降雨量计算部，根据雨滴尺寸统计部获得的雨滴谱参数，并结合雨滴终端速度与直径之间的经验关系，计算得到降雨量r。
18.输入显示部与相机参数获取部、雨滴识别分离部、雨滴尺寸统计、降雨量计算部和控制部均通信相连，用于让用户输入操作指令，并进行相应显示。
19.控制部与相机参数获取部、雨滴识别分离部、雨滴尺寸统计部和降雨量计算部均通信相连，并控制它们的运行。
20.与现有技术相比，本发明具有如下优点：1）利用自适应高斯混合模型算法进行雨滴识别，可适应多种场景变化，且计算效率高；2）在雨滴尺寸计算过程中充分相机光学成像规律和景深问题，并基于雨滴谱计算降雨量，降低了因雨滴识别不准确导致的不确定性，提高了降雨量测量精度，可实时监测降雨量，经济快捷，且具有较高的时空分辨率。
附图说明
21.图1为本发明实施例的流程图。
22.图2为本发明雨纹二值化图示意图。
23.图3为本发明雨滴成像光学分析示意图。
具体实施方式
24.本发明提供一种基于自适应高斯混合算法的视频雨量监测方法与装置，下面结合附图和实施例对本发明的技术方案作进一步说明。
25.如图1所示，一种基于自适应高斯混合算法的视频雨量监测方法，可分为初次测雨前的准备、雨滴识别分离、雨滴尺寸统计、降雨量计算四个部分，具体步骤如下：步骤1，初次测雨前的准备工作。
26.步骤1.1，考察测雨地点，配置测雨基础设施。
27.对测雨地点进行考察，选择的位置应具有足够的视野以保证降雨事件的完整监测，同时应避开容易对设备造成损害的环境。配置视频录制、传输所需要的供电、传输等基础设施，包括用于拍摄的高清相机、电源、固定载具、用于传输数据的桥接设备、远端pc设备。
28.步骤1.2，采集降雨视频。
29.首先将摄像头架在拍摄的固定平台上，调整拍摄角度和焦距使得视野能清晰地拍摄近景深的雨滴，然后使用相机对降雨事件进行拍摄，通过桥接设备传输至pc终端进行初步审核，检查视频帧数、是否有破损帧，并将符合要求的视频序列转入预处理阶段，不符合的予以删除。
30.步骤1.3，收集基础参数和景深信息。
31.基础参数包括相机焦距f、成像最清晰的位置距相机距离、镜头数f、曝光时间、最大允许弥散圆、视频帧率、拍摄图像的分辨率、单幅图像的垂直和水平尺寸。
32.景深为近焦距和远焦距所在两焦平面之间的锥形范围。近焦距和远焦距的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）步骤2，雨滴识别分离。
33.对步骤1获取的降雨视频逐帧分析，使用开源的背景消除算法——自适应高斯混合模型算法（mog2, mixture of gaussians），分离出降雨视频中每帧的雨纹（即雨滴在相机曝光时间的下落轨迹），得到逐帧雨纹二值图，如图2所示。
34.步骤3， 雨滴尺寸统计。
35.逐帧对步骤2得到雨纹二值化图进行形态学分析，利用最小外接矩形对每个雨纹进行外接，认为最小外接矩形的长和宽分别为雨纹的长和宽，根据相机像素和单幅图像尺寸换算关系，得到图像中雨纹的长（，mm）和宽（，mm）。
36.如图3所示，根据透镜方程推得雨滴的实际直径d和雨滴在相机曝光时间的下落距离l关于雨滴距相机的距离u的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）式中，f为相机焦距，和分别为视频帧图像中雨纹的长度和宽度。
37.雨滴下落速度的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中，为相机的曝光时间，l为雨滴在相机曝光时间的下落距离，d为雨滴的实际直径。
38.根据终端速度假设，认为雨滴的下落速度就是终端速度，雨滴终端速度表达式为atlas雨滴终端速度经验公式，即：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
由公式（3）、式（4）、式（5）、式（6）联立求得各个雨滴距相机的距离u：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）式中，，，，是指朗伯w函数（lambert w function），是的反函数，用于求解包含指数函数的方程，f为相机焦距，是曝光时间。
39.通过不等式筛选出景深内的雨滴，由式（4）计算景深内雨滴的实际直径d，利用景深内雨滴实际直径大小d，统计各直径区间大小内（根据雨型确定）的雨滴数目，从而拟合gamma分布雨滴谱。
40.gamma分布雨滴谱表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）式中，d为景深内雨滴的实际直径，是雨滴密度分布函数，是常数，是与雨强有关的参数，是形状因子。
41.步骤4，降雨量计算。
42.利用步骤3拟合所得的雨滴谱参数，结合atlas雨滴终端速度经验公式，求解降雨量r。
43.降雨量r计算方式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）式中，d为景深内雨滴的实际直径，为步骤3所拟合得到的雨滴密度分布函数，为atlas雨滴终端速度经验公式。
44.本实施例提供能够自动实现上述方法的视频降雨监测装置，该装置包括相机参数获取部、雨滴识别分离部、雨滴尺寸统计部、降雨量计算部、输入显示部、控制部。
45.相机参数获取部，调整拍摄角度和焦距使视野能清晰地拍摄近景深的雨滴，成像最清晰的位置距相机距离为，获取基本相机参数和景深等信息。
46.具体地，基本相机参数包括相机型号、焦距f、成像最清晰的位置距相机距离、镜头数f、曝光时间、最大允许弥散圆、视频帧率、拍摄图像的分辨率、单幅图像的垂直和水平尺寸。
47.景深为近焦距 和远焦距所在两焦平面之间的锥形范围。近焦距和远焦距的表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）雨滴识别分离部通过图像获取装置对降雨事件进行视频采集，采用自适应高斯混合模型算法，分离出降雨视频中每帧的雨纹（即雨滴在相机曝光时间的下落轨迹），得到逐帧雨纹二值化图，如图2所示。
48.雨滴尺寸统计部根据雨滴识别分离部得到的雨纹二值化图，对每帧中的雨纹进行形态学分析，利用最小外接矩形对每个雨纹进行外接，认为最小外接矩形的长和宽分别为雨纹的长和宽，根据相机像素和单幅图像尺寸换算关系，得到图像中雨纹的长（，mm）和宽（，mm），并计算各个雨滴距相机的距离u。具体地，雨滴距相机的距离u表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）式中，，，，是指朗伯w函数（lambert w function），是的反函数，用于求解包含指数函数的方程，f为相机焦距，是曝光时间。
49.通过不等式筛选出景深内的雨滴，计算出景深内各雨滴的实际直径大小d：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（13）式中，u为雨滴距相机的距离，f为相机焦距，为图像中雨纹的宽。
50.进而统计景深内雨滴直径的密度分布，即统计各直径区间大小内（根据雨型确定）的雨滴数目，从而拟合gamma分布雨滴谱，求解雨滴谱参数，gamma分布雨滴谱表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（14）式中，d为景深内雨滴的实际直径，是雨滴密度分布函数，是常数，是与雨强有关的参数，是形状因子。
51.降雨量计算部根据雨滴尺寸统计部拟合的雨滴谱参数和altas雨滴终端速度经验公式计算求得降雨量。具体地，altas雨滴终端速度经验公式和降雨量计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（15）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（16）式中，d为景深内雨滴的实际直径，为雨滴密度分布函数，为atlas雨滴终端速度经验公式。
52.输入显示部与相机参数获取部、雨滴识别分离部、雨滴尺寸统计、降雨量计算部和控制部均通信相连，用于让用户输入操作指令，并进行相应显示。
53.控制部与相机参数获取部、雨滴识别分离部、雨滴尺寸统计部和降雨量计算部均通信相连，并控制它们的运行。
54.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。