一种时空图像测流方法、装置、系统及存储介质

本发明涉及一种时空图像测流方法、装置、系统及存储介质，属于计算机视觉水文应用。

背景技术：

1、近年来，随着计算机视觉技术的快速发展，基于图像的非接触式测流技术开始在水文领域被广泛应用。这些新型技术具有高效、快速、高精度等优势，能够大幅提高测量效率和精度，并且在安全性方面也有很大的改善。

2、时空图像流速测量法(stiv)是一种高空间分辨率的一维时均运动矢量估计方法。它利用水流光学特性在三维时空域中运动的连续性，采用平行于顺流方向的测速线作为分析区域，在图像空间和序列时间组成的时空图像中检测和示踪物运动相关的纹理方向特征，直接估计指定空间方向上的时均运动矢量，实现数据流快速分析，达到河流流速的监管目标。该方法由相机标定、图像畸变校正、时空图像生成、纹理主方向识别以及流速计算共五个部分组成，其中，纹理主方向识别是该方法中最重要的环节，直接决定着计算结果的准确性。

3、专利公开号为cn111798386a的发明专利提出一种基于边缘识别与最大序列密度估计的河道流速测量方法，首先通过直方图均衡化来增强时空图像纹理特征，之后通过canny算子对均衡化之后的时空图像进行边缘识别，识别出闭合的多边形轮廓，获取时空图像纹理主方向，进而计算出河流表面流速，大大减少河道流量测量安全隐患，提高了测量精度。但此方法在面对杂光照和水流环境的变化时难以准确获取纹理主方向，存在局限性。

4、专利公开号为cn111062978a的发明专利提出基于频域滤波技术的时空图像测流的纹理识别方法，能够有效去除时空图像中的噪声，识别出清晰的时空图像纹理，进而实现表面流速的监测，但在面对复杂天然河流环境时仍存在局限性。

5、stiv方法空间分辨率高，实用性强，但其在河流表面纹理受到复杂环境干扰时，对复杂光照和水流环境的变化较为敏感，并且易受到不规则的河岸干扰，导致测量误差较大。因此迫切地需要一种相对精确性更高和适应性更强的时空图像纹理生成与识别方法来改进stiv方法测量性能，实现河流流速的监测。

技术实现思路

1、本发明的目的在于提供一种时空图像测流方法、装置、系统及存储介质，能够准确测量待测河流视频对应的河流表面流速。

2、为达到上述目的，本发明提供如下技术方案：

3、第一方面，本发明提供一种时空图像测流方法，包括：

4、将待测河流视频中每帧图像转换为序列灰度图；

5、确定测速线，并根据所述序列灰度图和测速线，生成时空图像；

6、对所述时空图像进行预处理，获取纹理滤波增强图像；

7、根据所述纹理滤波增强图像，构建频谱图，并获取频谱主方向；

8、根据所述频谱主方向，获取所述纹理滤波增强图像的纹理主方向，并根据所述纹理主方向，计算获取待测河流视频对应的河流表面流速。

9、结合第一方面，进一步的，确定测速线包括：

10、利用等分原则对预设置的河流断面线进行分段，获取分段点作为测速线起点；

11、利用shi-tomasi角点检测法在以所述测速线起点为中心的矩形窗口区域查询角点；

12、利用金字塔l-k光流法跟踪所述角点获取流向；

13、根据所述测速线起点和流向确定测速线。

14、结合第一方面，进一步的，利用金字塔l-k光流法跟踪所述角点获取流向包括：

15、利用金字塔l-k光流法跟踪所述角点，获取角点帧间光流向量集合；

16、计算所述角点帧间光流向量集合的绝对中位差；

17、根据所述绝对中位差，剔除所述角点帧间光流向量集合中的离群值；

18、计算剔除离群值的角点帧间光流向量集合的平均方向，获取流向；

19、其中，所述绝对中位差为所述角点帧间光流向量集合中每个元素与中位值的绝对偏差的中位数；所述离群值为所述角点帧间光流向量集合中与中位值的绝对偏差与所述绝对中位差的比值超过预设阈值的元素。

20、结合第一方面，进一步的，根据所述序列灰度图和测速线，生成时空图像包括：

21、在所述序列灰度图中沿测速线设置单列像素；

22、逐帧提取每条测速线上单列像素的灰度信息；

23、由所述灰度信息生成时空图像。

24、结合第一方面，进一步的，对所述时空图像进行预处理，获取纹理滤波增强图像包括：

25、计算获取所述时空图像的二阶微分方程；

26、根据所述二阶微分方程，计算获取所述时空图像的泰勒展开式；

27、根据所述泰勒展开式，计算获取所述时空图像的脊状纹理描述式；

28、利用所述脊状纹理描述式对所述时空图像的像素进行重新赋值，获取纹理滤波增强图像。

29、结合第一方面，进一步的，获取频谱主方向包括：

30、利用harris角点检测法查询所述频谱图中包含纹理信息的特征点；

31、利用最小二乘法对包含纹理信息的特征点进行直线拟合，获取特征点位置坐标；

32、根据所述特征点位置坐标，获取频谱主方向。

33、结合第一方面，进一步的，所述纹理滤波增强图像的纹理主方向是基于傅里叶变换的自配准性质，根据所述频谱主方向获取的，所述纹理滤波增强图像的纹理主方向与所述频谱主方向垂直。

34、结合第一方面，进一步的，待测河流视频对应的河流表面流速的计算公式为：

35、

36、其中，v为待测河流视频对应的河流表面流速，θmain为纹理滤波增强图像的纹理主方向，δs为纹理滤波增强图像中每像素长度对应的实际河流表面距离，δt为待测河流视频中每帧图像的间隔时间，δt的倒数为待测河流视频的帧数。

37、第二方面，本发明提供一种时空图像测流装置，包括：

38、图像转换模块：用于将待测河流视频中每帧图像转换为序列灰度图；

39、时空模型生成模块：用于确定测速线，并根据所述序列灰度图和测速线，生成时空图像；

40、预处理模块：用于对所述时空图像进行预处理，获取纹理滤波增强图像；

41、频谱图构建模块：用于根据所述纹理滤波增强图像，构建频谱图，并获取频谱主方向；

42、测流模块：用于根据所述频谱主方向，获取所述纹理滤波增强图像的纹理主方向，并根据所述纹理主方向，计算获取待测河流视频对应的河流表面流速。

43、第三方面，本发明提供一种系统，包括处理器及存储介质；

44、所述存储介质用于存储指令；

45、所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。

46、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。

47、与现有技术相比，本发明的有益效果是：

48、本发明提供的时空图像测流方法，根据测速线和序列灰度图生成时空图像，对时空图像进行纹理滤波增强，获取纹理滤波增强图像，根据纹理滤波增强图像的纹理主方向，能够准确测量待测河流视频对应的河流表面流速。结合金字塔l-k光流法和纹理滤波增强，将河流表面流速测量问题转化为时空图像的纹理角度识别问题，能够实现对天然河流表面流速的测量。