一种监测数据处理方法与流程

本发明属于工程监测，尤其涉及一种监测数据处理方法。

背景技术：

1、目前的工程监测领域越来越多项目使用自动化监测，自动化监测具有实时高效的特点，深受广大第三方监测单位的欢迎，然而自动化监测广泛存在传感器数据丢包、设备受现场环境影响出现异常不工作数据不完整等问题，从而让技术人员无法判断或错误判断现场监测项目稳定性及安全性的情况。

技术实现思路

1、本发明的目的在于提供一种监测数据处理方法，依据自动化监测项目中的监测数据，通过采用神经网络算法来进行数据训练、自生成及数据比对，从而实现监测数据中至少10％数据的缺失自生成填充的目的。

2、本发明的目的可以通过以下技术方案实现：

3、本申请实施例提供了一种监测数据处理方法，包括如下步骤：

4、s1，获取监测数据并进行样本选择与样本分类；

5、s2，采用神经网络算法对所述监测数据进行训练，获取训练模型；

6、s3，根据所述训练模型进行数据拟合，获取拟合数据；

7、s4，根据所述拟合数据对缺失数据进行重构。

8、优选的，在所述监测数据中选择振动频率和温度作为训练样本，将振动频率测量值设为x，将温度测量值设为y。

9、优选的，根据所述训练样本生成样本数据集并将其划分为训练组和测试组；其中，训练组数据与测试组数据的比值为7:2。

10、优选的，在所述步骤s2中根据所述神经网络算法依次确定输入层、隐藏层和输出层；其中，将所述隐藏层的数量设置为十个，且其数量根据所述输出层输出的数据效果进行动态调整；所述输入层为一个1*2的矩阵。

11、优选的，将所述输入层设置为(xi,yi)，则所述输入层到所述隐藏层的计算公式表示为：

12、h＝(xi,yi)×w1+b1；

13、其中，h为输入层函数；w1为第一权重因子，b1为第一修正值。

14、优选的，在所述隐藏层到所述输出层之前设置第一激活函数，所述第一激活函数的计算公式为：

15、其中，x为所述输入层函数。

16、优选的，经过所述第一激活函数计算后输出最终值，其位于为(0,1)区间内；将经过所述第一激活函数计算后的所述输入层函数输入至所述输出层，其计算公式为：(xo,yo)＝h×w2+b2；

17、其中，输入层函数h为2*10的矩阵，w2为第二权重因子，b2为第二修正值。

18、优选的，在所述输出层设置第二激活函数，其公式表示为：

19、

20、其中，zi表示第i个节点的输出值；c表示输出节点的个数；

21、其中，c设置为两个。

22、优选的，引入交叉熵损失函数计算所述第二激活函数的损失值，获取交叉熵损失值；所述交叉熵损失函数的表达式为：

23、

24、根据所述交叉熵损失值对模型参数进行优化，当所述交叉熵损失值无限接近于0时，结束训练；

25、其中，所述模型参数包括：所述第一权重因子、所述第二权重因子、所述第一修正值和所述第二修正值。

26、优选的，所述测试组数据用于进行数据拟合；

27、其中，采用均方差表示所述拟合数据与所述测试组数据之间的误差，所述均方差表示为：

28、

29、其中，n表示用于测试的数据量，所述数据量小于等于所述测试组数据；

30、yi表示所述测试组数据，表示所述拟合数据。

31、本发明的有益效果为：

32、(1)本发明依据自动化监测项目中的监测数据，通过采用神经网络算法来进行数据训练、自生成及数据比对，从而实现监测数据中10％数据的缺失自生成填充的目的。

33、(2)本发明通过引入交叉熵损失函数来计算softmax函数的损失值，并且通过其优化模型参数，使得数据训练更加精准。

34、(3)本发明中训练组数据占全部数据的70％，主要用于调整神经网络的权重；测试组数据占全部数据的20％，主要用于依据神经网络进行数据拟合，从而生成拟合数据；通过训练组数据提高训练的准确性，通过测试组数据确认神经网络的实际拟合能力。

35、(4)本发明采用均方差mse来表示和计算拟合数据与测试组数据之间的误差，如果该误差越小，则表示训练模型的拟合效果越好，通过最小化该均方差mse来优化训练模型的参数。

技术特征：

1.一种监测数据处理方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种监测数据处理方法，其特征在于：在所述监测数据中选择振动频率和温度作为训练样本，将振动频率测量值设为x，将温度测量值设为y。

3.根据权利要求2所述的一种监测数据处理方法，其特征在于：根据所述训练样本生成样本数据集并将其划分为训练组和测试组；其中，训练组数据与测试组数据的比值为7:2。

4.根据权利要求1所述的一种监测数据处理方法，其特征在于：在所述步骤s2中根据所述神经网络算法依次确定输入层、隐藏层和输出层；其中，将所述隐藏层的数量设置为十个，且其数量根据所述输出层输出的数据效果进行动态调整；所述输入层为一个1*2的矩阵。

5.根据权利要求4所述的一种监测数据处理方法，其特征在于：将所述输入层设置为(xi,yi)，则所述输入层到所述隐藏层的计算公式表示为：

6.根据权利要求5所述的一种监测数据处理方法，其特征在于：在所述隐藏层到所述输出层之前设置第一激活函数，所述第一激活函数的计算公式为：

7.根据权利要求6所述的一种监测数据处理方法，其特征在于：经过所述第一激活函数计算后输出最终值，其位于为(0,1)区间内；将经过所述第一激活函数计算后的所述输入层函数输入至所述输出层，其计算公式为：

8.根据权利要求7所述的一种监测数据处理方法，其特征在于：在所述输出层设置第二激活函数，其公式表示为：

9.根据权利要求8所述的一种监测数据处理方法，其特征在于：引入交叉熵损失函数计算所述第二激活函数的损失值，获取交叉熵损失值；所述交叉熵损失函数的表达式为：

10.根据权利要求3所述的一种监测数据处理方法，其特征在于：所述测试组数据用于进行数据拟合；

技术总结
本发明公开了一种监测数据处理方法，涉及工程监测技术领域。该方法包括：S1，获取监测数据并进行样本选择与样本分类；S2，采用神经网络算法对所述监测数据进行训练，获取训练模型；S3，根据所述训练模型进行数据拟合，获取拟合数据；S4，根据所述拟合数据对缺失数据进行重构。本发明依据自动化监测项目中的监测数据，通过采用神经网络算法来进行数据训练、自生成及数据比对，从而实现监测数据中至少10％数据的缺失自生成填充的目的。

技术研发人员：黄文德,彭炎华,刘佑人,王建华,陈奇栋,杨凯,严智,刘绿林,李凡
受保护的技术使用者：广州市吉华勘测股份有限公司
技术研发日：
技术公布日：2024/1/15