一种基于数据混合式自主共享的仪器仪表数据异常检测方法

本发明涉及仪器仪表，特别涉及一种基于数据混合式自主共享的仪器仪表数据异常检测方法。

背景技术：

1、随着工业自动化和智能化水平的提高，各种仪器仪表被广泛应用于生产线、实验室和其他场景，这也使得大量的数据需要实时监测和分析，以确保系统的正常运行。自动化系统需要具备在数据异常发生时及时作出响应的能力，以降低故障对生产和实验的影响。在工业生产、设备运行和实验室等领域，仪器仪表的正常运行对于确保工作流程的稳定性和产品质量至关重要。然而，由于设备老化、外部环境变化、操作不当或者故障等原因，仪器仪表可能会出现异常情况，导致工作不正常、性能下降，甚至引发安全隐患。

2、目前的大数据异常检测方式有两种；一，如果行业参与者之间愿意暴露本地的仪器仪表运行数据，则将本地存储的运行数据传输到云服务器上与另外的行业参与者仪器仪表运行数据进行训练，大量的训练数据能够使训练的模型更加准确，但由于数据需要上传，数据的安全性较差。二，如果行业参与者不愿意暴露本地数据，则可以使用协商好的训练模型算法如cnn，ann等算法在本地对数据进行训练，得到本地训练模型，然后将本地模型的相关参数传输到云服务器上进行聚合并使用合适的算法进行训练，该方法比上一种方法更安全，但是对准确度有一定影响。

技术实现思路

1、本发明公开了一种基于数据混合式自主共享的仪器仪表数据异常检测方法，它可以在不上传数据的情况下，精确实现数据异常检测。

2、它通过这样的技术方案实现的，所述方法基于数据异常检测系统，所述包括云服务器和若干本地服务器；

3、所述本地服务器，均独立获取并存储本地仪器仪表采集的本地数据；

4、所述云服务器，与所有本地服务器数据交互，构建有用于数据异常检测的主检测模型；

5、本地服务器采用包括云检测或本地检测方式完成本地数据的异常检测；

6、云检测：本地服务器将本地数据传输至云服务器，云服务器通过接收到的本地数据训练主检测模型，并通过主检测模型完成各本地服务器的本地数据的异常检测；

7、本地检测：需要本地检测方式的每个本地服务器均构建一个独属的子检测模型，云服务器将主检测模型的模型参数下发本地服务器，覆盖本地服务器的子检测模型，本地服务器通过本地数据训练子检测模型，并通过子检测模型完成本地服务器的本地数据的异常检测。

8、该实施例的优点在于，对于数据安全性要求不高的企业，可以通过云服务器进行仪器仪表的数据异常检测，对于数据安全性要求较高的企业，可以通过本地服务器进行仪器仪表的数据异常检测；本地服务器采用的检测模型与云服务器采用的检测模型一至，子检测模型可获取主检测模型的模型参数，在缺少训练数据的情况下依然可以保持高检测准确度。

9、进一步地，所述主检测模型和子检测模型均为长短期记忆神经网络模型。

10、进一步地，通过长短期记忆神经网络模型完成数据异常检测，具体方法如下：

11、获取用于长短期记忆神经网络模型训练的历史数据，将历史数据划分为训练集和验证集，训练集用于训练模型，验证集用于调整模型参数及优化性能；

12、对本地数据进行归一化，归一化公式如下：

13、

14、其中，x为当前样本数据值，xmax为数据样本的最大值，xmin为数据样本的最小值；

15、将归一化后的本地数据输入经训练的长短期记神经网络模型，计算每个时间步的实际观测值与预测值之间的差异，计算差异采用均方根误差公式，具体公式如下：

16、

17、其中为样本数量，x为真实值，xpredicted为预测值；

18、设定一个阈值y来确定预测误差的正常范围，rmse>y时该时间步的数据为异常，反之则为正常。

19、该实施例的优点在于，对于时间序列数据，lstm模型可以根据数据的生成时间分配注意力，并且可考虑到相邻数据之间的关联规则，可显著提高异常数据检测的准确度。

20、进一步地，对于识别出来的异常数据，根据预测误差rmse的幅度、趋势、形状来对异常类型进行分类，然后将这些特征作为输入，利用支持向量机进行仪器仪表运行数据异常的分类。

21、进一步地，异常数据分类包括：跳变异常、偏移异常、震荡异常、趋势异常、突增/突减异常和缺失数据异常。

22、该实施例的优点在于，不仅实现了异常数据的检测，在识别到异常数据后还可以本地进行异常分类，支持向量机对数据量和算力要求较小，适合本地服务器运行，进一步增加了该方法的实用性。

23、进一步地，所述仪器仪表采集到本地数据后，先对本地数据进行预处理，具体方法如下：

24、仪器仪表内部的信号处理单元对电信号进行放大、滤波及数字化操作。

25、进一步地，本地检测方法中，主检测模型的模型参数，获取方法如下：

26、云服务器向若干被选中的本地服务器传输主检测模型的初始化模型参数；

27、被选中的本地服务器将初始化模型参数输入子检测模型，本地服务器通过本地历史数据训练子检测模型，获取子检测模型更新后的子检测模型参数；

28、本地服务器将子检测模型参数上传至云服务器，由此完成一轮云服务器与本地服务器的一轮通信；

29、云服务器将接收到的所有子检测模型参数后，分别设计每个子检测模型参数的权重；

30、云服务器加权子检测模型参数，获取主检测模型的模型参数。

31、该实施例的优点在于，以一轮通信作为一次训练，使主检测模型具有长期的迭代更新能力，随着使用时间的增长，主检测模型的检测能力会逐步增强，对于新加入或训练数据量少的子检测模型，也可快速达到高检测精度。

32、进一步地，分别设计每个子检测模型参数的权重，参考内容包括：主检测模型参数与每个子检测模型参数的损失、子检测模型参数与更新后子检测模型参数的损失以及本地服务器训练子检测模型时的数据量。

33、该实施例的优点在于，主检测模型参数在融合的时候，不仅考虑到的各子检测模型的训练数据量，还考虑到了主、子模型之间的参数损失，以及子模型训练前、后之间的参数损失，在融合的时候更加全面，可进一步提高主检测模型的检测能力。

34、进一步地，分别设计每个子检测模型参数的权重，具体方法如下：

35、主检测模型参数与每个子检测模型参数的损失、子检测模型参数与更新后子检测模型参数的损失以及本地服务器训练子检测模型时的数据量，数学表达如下：

36、

37、式中，表示第t轮通信时，主检测模型参数与第i个子检测模型参数的损失；表示第t轮通信时，第i个子检测模型参数与更新后第i个子检测模型参数的损失；ni表示i个子检测模型的训练数据量；

38、为第t轮通信生成一个权重分配行动为t轮通中第i个子检测模型参数的权重，数学表示如下：

39、

40、定义：

41、

42、式中，at为第t轮通信的行动，μ为高斯分布的均值，σ为高斯分布的方差；

43、针对每个行动，计算行动对应的奖励函数，设计奖励函数数学表达如下：

44、

45、对于第t+1轮通信，主检测模型获取第t轮通信时的所有子检测模型的结果聚合来自所有客户端的来得到状态st+1；

46、状态st+1被输入到使用的policy network策略网络π获得行动at+1，该网络参数例如层数、学习率根据经验来进行设定；

47、提取若干经验(at,st,rt,st+1)；

48、采用主价值网络q-network对提取的经验进行优先级排序，优先级函数为δt＝rt+γq(st+1,at)-q(st,at)；

49、使用梯度下降的方法更新主价值网络q-network，即

50、

51、其中，b为在经验缓冲区抽取的一批经验数量；

52、使用梯度上升法更新主策略网络π，即

53、最后将更新传输到主价值网络。

54、该实施例的优点在于，采用了行动和行动对应奖励函数的方式来评价每一个权重策略，通过多权重策略的比较可获取更合理的权重分配方式；新的行动生成方式与多行动的选取方式也随结果一直在调整，可显著提高权重计算的合理性和实用性。

55、进一步地，通过web技术建立可视化平台，异常检测结果通过可视化平台展示。