一种基于回归卷积神经网络的河流表面流速计算方法与流程

本发明属于水利行业水文监测，具体涉及一种基于回归卷积神经网络的河流表面流速计算方法。

背景技术：

1、目前，水利行业河流表面流速计算方法有流速仪法、浮标法、声学多普勒流速剖面仪法、声学时差法、雷达流速法、大尺度粒子图像测速法和时空图像测速法等。流速仪法单次测试时间较长，漂浮物易缠绕，接触式测流速危险。浮标法测量实施难度大，人工投入较大，精度难以保证。声学多普勒流速剖面仪法投入较大，易受水位变幅影响，受水体杂物影响，后期运营维护有一定的难度。声学时差法成本较高，需要在两岸安装设备、仪器的防护，设备供电较为困难。雷达流速法只能获取表面某一点的流速，限制性较大。

2、大尺度粒子图像测速法计算时间长，所需存储空间大，依赖于水面示踪物的可见性，实时性差。

3、时空图像测速法尽管仅能获得平行于流动方向的一维流速分布，但其空间分辨率能够达到单像素水平，并且算法计算效率高。该方法的核心是检测时空图像的纹理主方向。

4、检测时空图像的纹理主方向目前的方法有传统方法和分类卷积神经网络方法。

5、传统方法有梯度张量法、二维自相关函数法、快速傅里叶变换法，其中快速傅里叶变换法表现较好，但对于算法中滤波器的参数无法做到自适应选取，很大程度上依赖于人工设置并且所需设置的参数较多，人工调参很难兼顾各种复杂场景下滤波器参数的设置。

6、分类卷积神经网络算法的思路是把时空图像的纹理主方向计算看作一个分类问题。纹理主方向的角度范围为0度～180度，如果按1度分类，就分为180类；如果按0.5度分类，就分为360类；以此类推，想要更高的精度，就需要多分类，但是，分的类别越多，通过分类卷积神经网络识别时精度越低，识别时间越长，影响算法的时效性和识别精度。

7、因此，当前水利行业河流表面流速计算方法具有明显的不足和缺陷。

技术实现思路

1、为了解决上述技术问题，本发明技术提供了一种基于回归卷积神经网络的河流表面流速计算方法。采用回归卷积神经网络算法，进行时空图像纹理主方向的计算，发挥回归卷积神经网络计算准确率高的优势；设计回归卷积神经网络时，采用下采样卷积压缩，再运用上采样卷积扩展、特征信息分块提取、卷积参数等效转换、特征信息回归处理等技术实现，本发明不仅有很好的准确率，同时也可以降低计算开销，提升计算速度，提高河流表面流速计算的实时性。

2、本发明提供以下技术方案：一种基于回归卷积神经网络的河流表面流速计算方法，包括以下步骤：

3、步骤1、根据水流视频影像数据集生成水流速时空图像；

4、步骤2、对步骤1中生成的水流速时空图像数据进行清洗，再标注样本，进行时空图像纹理主方向回归数据集的制作；

5、步骤3、基于设计的回归卷积神经网络，对步骤2中生成的时空图像纹理主方向回归数据集进行训练，得到时空图像纹理主方向角度识别模型文件；

6、步骤4、根据步骤3中得到的时空图像纹理主方向角度识别模型文件，推理得到角度信息；

7、步骤5、根据相机标定，得到像平面中每个像素所代表的世界坐标平面实际距离；

8、步骤6、根据步骤4中得到的角度信息、步骤5中得到的像平面中每个像素所代表的世界坐标平面实际距离，再结合相机帧率，根据水流速计算方法，得到河流表面的流速。

9、优选的，所述步骤3中，所述回归卷积神经网络分为6个部分，第一部分到第五部分依序为特征信息提取，第六部分为特征信息回归。

10、更优的，所述步骤3中，所述回归卷积神经网络的第二部分由4块组成、第三部分由6块组成、第四部分由16块组成。

11、优选的，所述步骤3中，所述回归卷积神经网络运用下采样卷积压缩，再运用上采样卷积扩展方法。

12、优选的，所述步骤3中，所述回归卷积神经网络在网络训练时3x3卷积、1x1卷积、恒等映射卷积3个并联的卷积分支相当于一个多分支的结构；所述回归卷积神经网络在推理时，三个分支等效地转换为一个单路的3x3卷积。

13、更优的，所述步骤4中，输入待识别水流速时空图，调用回归卷积神经网络训练模型文件进行模型推理；在推理时，3x3卷积、1x1卷积、恒等映射卷积三个分支可以等效地转换为一个单路的3x3卷积；推理得到时空图像纹理主方向角度信息，角度记为θ。

14、优选的，所述步骤3中，所述回归卷积神经网络中，优化器为带权重衰减的adamw，损失函数为平滑的平均绝对误差huber，初始学习率为0.001，输入图像大小为224x224。

15、优选的，所述步骤5中，相机标定涉及3个坐标系包括：像素坐标系，相机坐标系，世界坐标系，通过三个变换来表示：仿射变换，投影变换，刚体变换；从世界坐标系到相机坐标系是刚体变换，也就是旋转和平移变换；从相机坐标系到像素坐标系是仿射变换和投影变换；通过这些变换，将世界坐标系中的点坐标(xw,yw,zw)通过相机坐标系中的点坐标(xc,yc,zc)，与二维像素坐标系中的点坐标(u,v)对应起来；其中，(xw,yw,zw)表示世界坐标系中的点坐标，(xc,yc,zc)表示相机坐标系中的点坐标，(u,v)表示二维像素坐标系的点坐标。

16、更优的，所述步骤5中，世界坐标系中的点坐标(xw,yw,zw)到二维像素坐标系中的点坐标(u,v)的转化为：

17、

18、根据采集的多个标定点的世界坐标(xw,yw,zw)和对应的像素坐标(u,v)值，分别代入式(1)中，可得到多个方程，通过解这多个方程组成的方程组，可以计算出式中的未知参数fx,fy,qx,qy,r1,r2,r3,r4,r5,r6,r7,r8,r9,tx,ty,tz，其中fx,fy表示相机在x,y方向上的焦距，qx,qy表示相机在x,y方向上的主点，焦距的单位是像素每毫米(或米)，主点的单位是像素，tx,ty,tz表示刚体变换中平移变换的转换系数，r1,r2,r3,r4,r5,r6,r7,r8,r9表示刚体变换中旋转变换的转换系数；式(1)中的未知参数已求出，从而根据二维像素坐标系中的一个点坐标(u,v)，就可以计算出对应的世界坐标系中的点坐标(xw,yw,zw)；设两个点的像素坐标为(a1,b1)，(a2,b1)，a2比a1大一个像素，这两个点分别带入式(1)，分别计算得到世界坐标系中的点坐标(xa1,ya1,za1)，(xa2,ya2,za2)，进而可以计算一个像素代表的实际距离本发明的有益效果是：

19、本发明与现有河流表面流速计算方法相比，采用基于回归卷积神经网络的河流表面流速计算方法，可以高准确率、高时效性、非接触、无人值守、简单、可在线或离线计算河流表面流速，便于在边缘计算设备上部署；因此本发明算法安全可靠，维护方便，可在水文监测、水库调度管理、灌区灌溉管理调度及其他相关行业广泛应用。

技术特征：

1.一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤3中，所述设计的回归卷积神经网络分为6个部分，第一部分到第五部分依序为特征信息提取，第六部分为特征信息回归。

3.根据权利要求2所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤3中，所述回归卷积神经网络的第二部分由4块组成、第三部分由6块组成、第四部分由16块组成。

4.根据权利要求1所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤3中，所述回归卷积神经网络运用下采样卷积压缩，再运用上采样卷积扩展方法。

5.根据权利要求1所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤3中，所述回归卷积神经网络在网络训练时3x3卷积、1x1卷积、恒等映射卷积3个并联的卷积分支相当于一个多分支的结构；所述回归卷积神经网络在推理时，三个分支等效地转换为一个单路的3x3卷积。

6.根据权利要求5所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤4中，输入待识别水流速时空图，调用回归卷积神经网络训练模型文件进行模型推理；在推理时，3x3卷积、1x1卷积、恒等映射卷积三个分支等效地转换为一个单路的3x3卷积；推理得到时空图像纹理主方向角度信息，角度记为θ。

7.根据权利要求1所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤3中，所述回归卷积神经网络中，优化器为带权重衰减的adamw，损失函数为平滑的平均绝对误差huber，初始学习率为0.001，输入图像大小为224x224。

8.根据权利要求1所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤5中，相机标定涉及3个坐标系包括：像素坐标系，相机坐标系，世界坐标系，通过三个变换来表示：仿射变换，投影变换，刚体变换；从世界坐标系到相机坐标系是刚体变换，也就是旋转和平移变换；从相机坐标系到像素坐标系是仿射变换和投影变换；通过这些变换，将世界坐标系中的点坐标(xw,yw,zw)通过相机坐标系中的点坐标(xc,yc,zc)，与二维像素坐标系中的点坐标(u,v)对应起来；其中，(xw,yw,zw)表示世界坐标系中的点坐标，(xc,yc,zc)表示相机坐标系中的点坐标，(u,v)表示二维像素坐标系的点坐标。

9.根据权利要求8所述的一种基于回归卷积神经网络的河流表面流速计算方法，其特征在于，所述步骤5中，世界坐标系中的点坐标(xw,yw,zw)到二维像素坐标系中的点坐标(u,v)的转化为：

技术总结
本发明属于水利行业水文监测技术领域，涉及一种基于回归卷积神经网络的河流表面流速计算方法，步骤1、生成水流速时空图像；步骤2、进行时空图像纹理主方向回归数据集的制作；步骤3、设计回归卷积神经网络，训练网络得到时空图像纹理主方向角度识别模型文件；步骤4、根据训练得到的模型文件，推理得到角度信息；步骤5、根据相机标定，得到像平面中每个像素所代表的世界坐标平面实际距离；步骤6、根据水流速计算方法，得到河流表面的流速；本发明可以高准确率、高时效性、非接触、无人值守、简单、可在线或离线计算河流表面流速，便于在边缘计算设备上部署；本发明算法安全可靠，维护方便，可在水文监测及其他相关行业广泛应用。

技术研发人员：万红涛,赵晖,陈学锋
受保护的技术使用者：西安迅腾科技有限责任公司
技术研发日：
技术公布日：2024/8/27