一种基于物联网的水利水位数据采集与传输系统及方法与流程

本发明涉及数据处理的，具体为一种基于物联网的水利水位数据采集与传输系统及方法。

背景技术：

1、水利水位数据采集对农业灌溉、洪水预警和防灾减灾具有重要影响，但是传统水利水位数据测量方法费时费力，对水尺进行目测读数，水利水位数据误差大，安全性较低；同时水面上干扰较多，不利于实时测量出水利水位数据，得到的水利水位数据缺失异常数据多，导致测量结果不正确。

2、公开号为cn117972357a的中国发明专利申请公开了一种水位测量装置的水位监测数据智能处理方法。该方法具体包括：首先设定一个水位监控数据作为目标数据点，以所述目标数据点为起点构建待压缩数据区间，在所述待压缩数据区间内设定抽稀阈值；其次根据待压缩数据区间内水位增量获得待压缩数据区间的抽稀阈值调整系数，根据待压缩数据区间的峰谷值点的差异确定压缩数据区间的峰谷值点的转折异常可能性，由转折异常可能性生成压缩数据区间的约束参数；再根据所述抽稀阈值调整系数和约束参数获取修正抽稀阈值，最后由所述修正抽稀阈值根据道格拉斯普克压缩模型对水位数据进行压缩处理，获取水位数据。但是该方法没有使用物联网等高新技术，没有实现水位数据实时获取，同时也不能实现水位数据预测。

技术实现思路

1、针对相关技术中的问题，本发明提供了一种基于物联网的水利水位数据采集与传输系统及方法，以克服现有相关技术所存在的上述技术问题。

2、为解决上述技术问题，本发明是通过以下技术方案实现的：

3、本发明为一种基于物联网的水利水位数据采集与传输方法，包括如下步骤：

4、s1、获取实时水尺图像，对所述实时水尺图像进行切割，得到刻度线区域图像和数字区域图像，对所述刻度线区域图像进行图像处理实现刻度识别，对所述数字区域图像进行分割字符和13点特征值提取法处理后使用bp神经网络进行数字识别，得到待处理的水利水位数据集合；

5、s2、对所述待处理水利水位数据集合进行拟合确定平滑系数，使用双向指数平滑修复法对待处理水利水位数据集合中缺失数据进行填充，得到处理好的水利水位数据集合，并引入误差系数评价处理好的水利水位数据集合；

6、s3、由所述处理好的水利水位数据集合生成水利水位数据矩阵，使用孤立森林算法和三支聚类算法找到异常数据后删除异常数据，并基于红嘴蓝鹊优化算法寻找最优初始聚类中心，得到最终水利水位数据集合；

7、s4、将往年水利水位数据集合分成水利水位样本集和水利水位测试集，对lstm神经网络预测模型进行训练，得到最终lstm神经网络预测模型，使用所述最终水利水位数据集合对水利水位数据进行预测。

8、该发明通过获取实时水尺图像并对实时水尺图像进行切割，分成刻度线区域图像和数字区域图像，对所述刻度线区域图像进行形态学处理，将刻度线像素点进行四邻通处理，利用贴标签的方法得到刻度线根数，提高了识别速度及正确性；再对所述数字区域图像进行分割字符和13点特征值提取法处理，提取数字区域图像的13个特征值，输入bp神经网络进行训练，进行数字识别，得到水利水位数据集合，具有良好容错性和自适应能力；其次对水利水位数据集合中缺失数据使用指数平滑修复法进行填充，通过获取平滑系数对缺失数据的正向和反向预测，使用预测值填补缺失数据，有效地提高了水利水位数据地精度；再对水利水位数据集合中异常数据使用孤立森林算法和三支聚类算法进行异常删除，基于红嘴蓝鹊优化算法寻找三支聚类算法中的最优初始聚类中心，通过红嘴蓝鹊觅食过程中不断更新位置找最佳适应度函数值，该新型算法收敛速度快，具有很强的开发能力，消除了随机寻找初始聚类中心的影响，提高了聚类结果的准确性；最后用往年水利水位数据对lstm神经网络预测模型进行训练，实现对水利水位数据的预测。

9、优选地，所述s1包括以下步骤：

10、s11、获取实时水尺图像，设定所述实时水尺图像的横向特征维度为，纵向特征维度为，生成实时水尺图像矩阵如下，

11、，

12、其中，表示实时水尺图像中横向特征维度为，纵向特征维度为的像素点；

13、设定实时水尺图像的垂直投影函数，当实时水尺图像的垂直投影函数取最小值时对应的横坐标数值为，以横坐标数值将所述实时水尺图像矩阵分成第一分割矩阵和第二分割矩阵；将所述第一分割矩阵内的像素点填充为白色，得到刻度线区域图像，再将所述第二分割矩阵内的像素点填充为白色，得到数字区域图像，完成实时水尺图像切割；

14、s12、对所述刻度线区域图像进行刻度识别，具体过程如下：

15、s121、设定所述刻度线区域图像的横向特征维度为，纵向特征维度为，生成刻度线区域图像矩阵如下，

16、，

17、其中，表示刻度线区域图像中横向特征维度为，纵向特征维度为的像素点；

18、对所述刻度线区域图像进行腐蚀操作，设定结构元素，所述结构元素包含原点，选择所述刻度线区域图像矩阵中像素点；将所述原点移动到刻度线区域图像矩阵中像素点处，当刻度线区域图像矩阵中像素点完全包含原点，则将刻度线区域图像矩阵中像素点记为1，否则将刻度线区域图像矩阵中像素点记为0，得到腐蚀处理后的刻度线区域图像；再将腐蚀处理后的刻度线区域图像进行开运算处理，得到去噪后的刻度线区域图像；

19、s122、由所述去噪后的刻度线区域图像生成去噪后的刻度线区域图像矩阵，设定图像标签且标签值为0，已贴好图像标签数，去噪后的刻度线区域图像贴标签后得到图像；在所述去噪后的刻度线区域图像矩阵依次扫描寻找像素值为1的像素点，更新已贴好图像标签数；将所述像素值为0的像素点记为没有贴标签的像素点，设定没有贴标签的像素点的右下、正下、左下和左边的四邻通标签组成邻通域；当所述邻通域的标签值等于0，则，图像中像素点个数为；当所述邻通域的标签值为1种时，则图像中像素点个数为；当所述邻通域的标签值为2种时，此时标签值为和，将标签值替换成且；重复s122将去噪后的刻度线区域图像矩阵中像素点处理完毕，得到处理后的刻度线区域图像矩阵；

20、统计相同标签值的像素点个数，再计算邻通域的平均像素点个数，设定像素点阈值为，当所述相同标签值的像素点个数和邻通域的平均像素点个数的差的绝对值大于，则将邻通域内像素点的像素值修改为0且；否则不修改邻通域内像素点的像素值，得到更新后的已贴好图像标签数，当不是连续编号时，对更新后的已贴好图像标签数进行编码映射操作，得到修正后的已贴好图像标签数；选择所述修正后的已贴好图像标签数的最大标签号，将最大标签号记为刻度线根数，实现刻度识别；

21、s13、对所述数字区域图像进行数字识别，具体过程如下：

22、s131、设定所述数字区域图像的横向特征维度为，纵向特征维度为，生成数字区域图像矩阵如下，

23、，

24、其中，表示数字区域图像中横向特征维度为，纵向特征维度为的像素点；

25、对所述数字区域图像矩阵进行从上到下、从左到右的扫描，得到每行黑色像素点个数和投影直方图，所述投影直方图存在间隙，所述间隙即行分割点，以行分割点对数字区域图像矩阵进行分割，选取行分割后的数字区域图像最下面行的字符，记为行分割字符；再将所述行分割字符在列上进行轮廓投影，所述轮廓投影存在间隔，以所述间隔对行分割字符进行列分割，得到分割字符图像；

26、将所述分割字符图像归一化处理，得到归一化分割字符图像，使用三次样条插值法对归一化分割字符图像进行大小变换，得到标准分割字符图像；设定所述标准分割字符图像生成标准分割字符图像矩阵，将所述标准分割字符图像矩阵划分成2×4大小相同的子矩阵，统计所述子矩阵中黑色像素点的个数，得到子矩阵中黑色像素点的8个特征值；再统计所述标准分割字符图像矩阵水平方向中间两列和竖直方向中间两列的黑色像素点的个数，得到标准分割字符图像矩阵水平方向中间两列和竖直方向中间两列的4个特征值；再统计所述标准分割字符图像矩阵的黑色像素点的个数，得到标准分割字符图像矩阵的1个特征值，得到13个特征值，记为待处理的特征值；

27、s132、设定bp（后向传播）神经网络输入层节点数为13，激活函数为sigmoid函数，输出层节点数为4，将所述bp神经网络中的0修正为0.1，1修正为0.9，输出层输出8421码；设定学习率为，期望误差为，当前迭代次数为，最大迭代次数为，获取训练样本集，所述训练样本集中样本数据包含13个特征值；将训练样本集输入到bp神经网络中，设定误差阈值为，当小于且当前迭代次数等于最大迭代次数时，得到训练好的bp神经网络；否则调整权值直至小于且当前迭代次数等于最大迭代次数；将所述待处理的特征值输入训练好的bp神经网络中，输出离水面最近的数字，完成数字识别；

28、s14、设定所述刻度线根数为，所述离水面最近的数字为，水尺精度为，则水利水位计算公式如下，

29、

30、由所述水利水位组成待处理的水利水位数据集合。

31、该发明通过获取实时水尺图像并对实时水尺图像进行切割，分成刻度线区域图像和数字区域图像，对所述刻度线区域图像进行形态学处理，将刻度线像素点进行四邻通，利用贴标签的方法得到刻度线根数，方法巧妙简便，提高了识别速度及正确性；再对所述数字区域图像进行分割字符和13点特征值提取法处理，提取数字区域图像13个特征值，再输入bp神经网络进行训练，进行数字识别，提高了字符提取识别效率。

32、优选地，所述s2包括以下步骤：

33、s21、将所述待处理的水利水位数据集合中的待处理的水利水位数据进行

34、一阶差分和二阶差分运算，得到一阶差分结果和二阶差分结果，将一阶差分结果和二阶差分结果进行拟合，得到平滑系数；选定待处理的水利水位数据集合中的时刻缺失数据，设定时刻参数为、和，则时刻、时刻和时刻预测值计算公式如下，

35、

36、其中，表示时刻、时刻和时刻预测值，且；

37、当时，得到1时刻、2时刻和3时刻预测值，结合所述平滑系数得到初始估算值，用所述初始估算值替换待处理的水利水位数据集合中的初始水利水位数据得到替换后的水利水位数据集合；

38、s22、设定所述替换后的水利水位数据集合，其中表示时刻水利水位数据；设定时刻缺失数据为，将替换后的水利水位数据集合分割成正向预测集合和反向预测集合，其中表示时刻缺失数据的前一位数据，表示时刻缺失数据的后一位数据，对所述正向预测集合进行正向预测，对所述反向预测集合进行反向预测，计算公式如下，

39、

40、

41、其中，表示时刻的正向预测值，表示时刻的反向预测值，正向预测参数为、和，反向预测参数为、和，，；

42、将所述时刻的正向预测值和时刻的反向预测值进行加权求和后计算均值，得到最终预测结果，所述最终预测结果即时刻缺失数据，使用最终预测结果对替换后的水利水位数据集合缺失数据进行填充；

43、s23、重复s22计算替换后的水利水位数据集合中的缺失数据，得到最终预测结果集，以所述最终预测结果集填充替换后的水利水位数据集合得到处理后的水利水位数据集合；对处理后的水利水位数据集合进行拟合得到拟合数据集，计算拟合数据集和所述待处理的水利水位数据集合的误差系数，设定拟合数据集中拟合数据为，拟合数据集中拟合数据平均值为，待处理的水利水位数据集合中待处理的水利水位数据为，计算公式如下，

44、，

45、其中，表示误差系数，表示拟合数据集中第个拟合数据，表示拟合数据集中第个拟合数据平均值，表示待处理的水利水位数据集合中第个待处理的水利水位数据，；

46、设定第一阈值为，当所述误差系数小于时，所述最终预测结果集准确，得到处理好的水利水位数据集合；否则最终预测结果集不准确，重复s21和s22直至误差系数小于。

47、该发明通过对缺失数据使用指数平滑修复法进行填充，先对水利水位数据集合中数据进行拟合获取平滑系数，得到初始预测值，再对缺失数据的正向预测和反向预测，加权求和得到预测值即缺失数据，使用预测值填补缺失数据，并引入误差系数评价预测值的准确性，有效地提高了水利水位数据地精度。

48、优选地，所述s3包括以下步骤：

49、s31、设定所述处理好的水利水位数据集合为，其中表示第个处理好的水利水位数据，处理好的水利水位数据的特征维度为，生成水利水位数据矩阵如下，

50、，

51、其中，表示第个、特征维度为的处理好的水利水位数据；

52、选取所述水利水位数据矩阵中一列作为水利水位抽样样本集，记为，其中表示第个、特征维度为的水利水位抽样样本数据，使用孤立森林算法计算所述水利水位抽样样本集的异常得分，设定第二阈值为，当水利水位抽样样本集的异常得分大于时，将水利水位抽样样本集的异常得分对应的水利水位样本数据加入到正常水利水位样本数据集，否则将水利水位抽样样本集的异常得分对应的水利水位样本数据加入到异常水利水位样本数据集，并舍弃所述异常水利水位样本数据集；

53、s32、对所述正常水利水位样本数据集使用三支聚类算法，选择个样本数据作为初始聚类中心得到类簇集合，计算正常水利水位样本数据集中样本数据到初始聚类中心的距离，记为，将最小的对应的正常水利水位样本数据集中样本数据加入到类簇集合中，使用红嘴蓝鹊优化算法在所述类簇集合中寻找最优初始聚类中心，具体过程如下：

54、s321、设定类簇集合包含个样本数据，样本数据的特征维度为，在红嘴蓝鹊种群中，红嘴蓝鹊种群规模为，红嘴蓝鹊的特征维度为，设定表示红嘴蓝鹊在维上限，表示红嘴蓝鹊在维下限，表示随机数且，红嘴蓝鹊初始位置计算公式如下，

55、

56、s322、设定适应度函数为，其中表示类簇集合中的样本个数，表示类簇集合的个数，表示类簇集合中第个样本的质心，表示类簇集合的质心，表示类簇集合中第个样本数据，，；

57、红嘴蓝鹊在寻找食物过程中，设定当前迭代次数为，第次迭代食物位置为，红嘴蓝鹊种群数为，红嘴蓝鹊种群中随机选择红嘴蓝鹊个体位置为，第次迭代红嘴蓝鹊种群中随机选择红嘴蓝鹊个体位置为，表示随机数且，则第次迭代红嘴蓝鹊位置计算公式如下，

58、

59、其中，表示红嘴蓝鹊种群中第个红嘴蓝鹊个体位置，表示第次迭代红嘴蓝鹊位置，表示第次迭代红嘴蓝鹊位置，；

60、红嘴蓝鹊在寻找食物过程中不断移动位置，所述类簇集合不断迭代寻找最小适应度函数值；

61、s323、红嘴蓝鹊在攻击食物过程中，此时更新适应度函数值，设定食物位置为，食物系数为，表示正态分布随机数，最大迭代次数为，则第次迭代红嘴蓝鹊更新位置计算公式如下，

62、，

63、；

64、红嘴蓝鹊将食物存储，当第次迭代的适应度函数值小于第次迭代的适应度函数值，保存第次迭代的适应度函数值；不断更新适应度函数值，当当前迭代次数等于最大迭代次数，停止迭代，得到最佳红嘴蓝鹊位置，所述最佳红嘴蓝鹊位置即所述最优初始聚类中心；

65、s33、计算所述正常水利水位样本数据集中样本数据到所述最优初始聚类中心的隶属度，得到隶属度集合，将所述隶属度集合分成核心域和边界域，设定第三阈值为，将隶属度集合中隶属度大于对应的聚类中心加入到核心域，隶属度集合中隶属度小于或者等于对应的聚类中心加入到边界域；计算正常水利水位样本数据集中样本数据的平均值作为新的聚类中心，重复s33直至聚类中心不再改变，完成正常水利水位样本数据集的聚类，删除所述边界域中隶属度对应的正常水利水位样本数据集中的样本数据，完成异常数据删除，得到最终水利水位数据集合。

66、该发明通过对水利水位数据集合中异常数据使用孤立森林算法和三支聚类算法进行异常删除，将异常值和正常值区分聚类，再基于红嘴蓝鹊优化算法寻找三支聚类算法中的最优初始聚类中心，消除了随机寻找初始聚类中心的影响，提高了聚类结果的准确性，红嘴蓝鹊优化算法收敛速度快，具有很强的开发能力。

67、优选地，所述s4包括以下步骤：

68、s41、获取往年水利水位数据，组成往年水利水位数据集合为，其中表示往年第个水利水位数据，将往年水利水位数据集合分成水利水位样本集和水利水位测试集，其中表示往年第个水利水位数据；将所述水利水位样本集输入到lstm（长短期记忆）神经网络中进行训练，水利水位样本集中样本数据通过输入门更新细胞状态，再通过遗忘门的sigmoid激活函数处理后输入到输入门，细胞状态输出预测值；

69、设定lstm神经网络的均方根误差和学习率，均方根误差阈值为，当均方根误差小于时，lstm神经网络停止迭代，得到lstm神经网络预测模型，否则调整权重直至均方根误差小于；再将所述水利水位测试集输入lstm神经网络预测模型中，设定精度阈值为，当输出结果的精度大于时，停止迭代，得到最终lstm神经网络预测模型，否则重复s41和s42直至输出结果的精度大于；将所述最终水利水位数据集合输入到最终lstm神经网络预测模型中，输出水利水位预测值，实现水利水位数据预测，并将处理好的水利水位数据集合和水利水位预测值上传水利水位监控平台。

70、该发明通过将往年水利水位数据分成训练集和测试集，使用训练集和测试集对lstm神经网络进行训练和验证，得到最终lstm神经网络预测模型，实现对水利水位数据的预测，lstm神经网络通过隐藏单元加入复杂门控机制的循环网络架构，保持信息的长期存储，预测效果高于其他神经网络。

71、本实施例还公开了一种基于物联网的水利水位数据采集与传输方法的系统，具体包括：实时水尺图像识别处理模块、水利水位缺失数据填充模块、水利水位异常数据删除模块和水利水位数据预测模块；

72、所述实时水尺图像识别处理模块用于分别处理识别实时水尺图像的刻度和数字，计算水利水位数据；

73、所述水利水位缺失数据填充模块用于使用双向指数平滑修复法对待处理水利水位数据集合中缺失数据进行填充；

74、所述水利水位异常数据删除模块用于使用孤立森林算法和三支聚类算法找到异常数据后删除异常数据；

75、所述水利水位数据预测模块用于使用lstm神经网络预测模型对水利水位数据进行预测。

76、本发明具备以下有益效果：

77、1.该发明通过获取实时水尺图像并对实时水尺图像进行切割，分成刻度线区域图像和数字区域图像，对所述刻度线区域图像进行形态学处理，提高了识别速度及正确性；再对所述数字区域图像进行分割字符和13点特征值提取法处理，再输入bp神经网络进行训练，实现数字识别，提高字符提取识别效率。

78、2.该发明对水利水位数据集合中缺失数据使用指数平滑修复法进行填充，通过获取平滑系数对缺失数据的正向和反向预测，使用预测值填补缺失数据，有效地提高了水利水位数据的精度。

79、3.该发明通过对水利水位数据集合中异常数据使用孤立森林算法和三支聚类算法进行异常删除，再基于红嘴蓝鹊优化算法寻找三支聚类算法中的最优初始聚类中心，消除了随机寻找初始聚类中心的影响，提高了聚类结果的准确性；最后用往年水利水位数据对lstm神经网络预测模型进行训练，实现对水利水位数据的预测，lstm神经网络可以保持信息的长期存储，预测效果高于其他神经网络。

80、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。