1.本发明涉及光纤网络数据技术领域，特别是一种基于深度置信网络的光纤网络链路缺陷数据检测方法。
背景技术：
2.随着国网对数据资产越来越重视，最近两年，福建省电力公司信息网络建设的进度进一步加快，需要进行监控的业务源端系统、数据传输量也日益增长。这对网络链路监控、运行可靠性、链路异常数据及时预警提出了更高的要求，现省公司信息综合网管系统已出现了光纤链路异常数据难以准确性、及时性的发现与预警。
3.光纤网络链路在实际工作中，常常由于光缆过长、光纤受压或断裂、弯曲过度、接头污染、接头抛光接头接触不良等原因，出现故障问题，影响了通信传输质量。因此，为了能够确保网管系统及时、高效的进行数据采集、分析及异常数据预警，需要及时排除光纤网络链路由于上述问题引发的故障，恢复正常网络通信，有必要结合大数据分析技术，实时检测和发现光纤网络链路缺陷数据，提高省公司综合网管系统的安全性，健硕性，提升监控质量。
4.现有技术数据在采集、传输过程中，由于各种原因难免会出现缺失值。一旦数据不平衡，数据失值检测结果就会受到严重影响，检测准确性也会随之明显降低。另外现有技术依据源节点与所述源节点之间的ip地址之间相互响应报文，只能判断数据链路是否中断，对因外部环境等噪声干扰的异常数据，无法进行无损检测，难以保证数据的完整性和准确性。
技术实现要素：
5.有鉴于此，本发明的目的在于提供一种基于深度置信网络的光纤网络链路缺陷数据检测方法，有效检测由于各种原因出现数据缺陷的情况。
6.为实现上述目的，本发明采用如下技术方案：一种基于深度置信网络的光纤网络链路缺陷数据检测方法，其特征在于包括以下步骤：
7.步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集；
8.步骤2，采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理，定义光纤网络链路数据为：
9.f(t)＝s(t)+n(t)
10.其中s(t)为链路上真实数据；m(t)是方差为α2的gaussian白噪声，服从n(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理；
11.步骤3，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处
理；
12.步骤4，采用smote算法进行数据均衡处理，采样最邻近算法，计算出每个少数类样本的k个近邻；从k个近邻中随机挑选n个样本进行随机线性插值；构造新的少数类样本；将新样本与原数据合成，产生新的训练集；
13.步骤5，采用min-max和z-score标准化方法对数据进行尺度处理，使数据尺度保持一致，这是因为采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致，具体公式如下；
14.min-max标准化：
15.z-score标准化：
16.其中，x^'规范化后数据，x为原始数据，max、min为样本数据的最大、小值，a为对应特征均值，b为标准差；
17.步骤6，采用matlab中的tssa时间序列分割方法将长序列离散化，以固定步长l移动对原始光纤网络链路缺陷数据时间序列进行分割，最后得到等间隔的时间序列片段；
18.步骤7，通过滑动窗口平均方法，用迭代的方法产生特征序列，从中提取统计特征、信号特征及物理特征，然后将这些特征封装成特征合集，供后续分类器使用；
19.步骤8，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型当中，利用该模型进行缺陷数据识别，完成数据检测。
20.在一较佳的实施例中，所述模型具体为深度置信网络(dbn)分析模型，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型(svdd)当中，利用该模型进行缺陷数据识别，完成数据检测。
21.与现有技术相比，本发明具有以下有益效果：
22.本发明提出了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，结合公司链路数据不平衡的情况，实现光纤网络链路缺陷数据检测。可以在充分考虑面对不平衡链路数据，数据在网络链路采集、传输过程中，能有效检测由于各种原因出现数据缺陷的情况。
附图说明
23.图1为本发明优选实施例中一种基于深度置信网络的光纤网络链路缺陷数据检测方法的方法流程图。
具体实施方式
24.下面结合附图及实施例对本发明做进一步说明。
25.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
26.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
27.一种基于深度置信网络的光纤网络链路缺陷数据检测方法，包括以下步骤：
28.步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集。
29.为保证采集到的光纤网络链路缺陷数据符合后续深度学习算法的处理规范，需要对数据进行预处理，包括去噪处理、插值、均衡处理、尺度处理和时长处理。
30.步骤2，由于光纤网络链路数据在采集过程中，会受到噪声的影响，将有用数据覆盖住，干扰后面数据检测的准确性，所以采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理。定义光纤网络链路数据为：
31.f(t)＝s(t)+n(t)
32.其中s(t)为链路上真实数据；n(t)是方差为α2的gaussian白噪声，服从n(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理。
33.步骤3，数据在采集过程中，由于各种原因难免会出现缺失值，而时间序列数据分析最重要的要求就是保证数据的完整性，因此，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处理。
34.步骤4，数据不平衡是导致后续深度学习造成分类器在训练时性能下降的主要原因，因此，采用smote算法进行数据均衡处理。采样最邻近算法，计算出每个少数类样本的k个近邻。从k个近邻中随机挑选n个样本进行随机线性插值。构造新的少数类样本。将新样本与原数据合成，产生新的训练集，丰富数据。
35.步骤5，采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致。这在后期会影响分类器收敛速度和训练时间，因此，采用min-max和z-score标准化方法对数据进行尺度处理，使数据尺度保持一致。这是因为采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致，具体公式如下；
36.min-max标准化：
37.z-score标准化：
38.其中，x^'规范化后数据，x为原始数据，max、min为样本数据的最大、小值，a为对应特征均值，b为标准差。
39.步骤6，由于采集到的光纤网络链路缺陷数据具有时间性，是一个带有时间戳的长序列，不利于后续特征提取，因此，采用tssa时间序列分割方法将长序列离散化，切分为固定大小的段，最后得到等间隔的时间序列片段。
40.步骤7，光纤网络链路数据具有时间特性，因此利用一种基于规则迭代的时间序列特征提取方法，所以通过滑动窗口平均方法，用迭代的方法产生特征序列，从中提取统计特
征、信号特征及物理特征，然后将这些特征封装成特征合集，供后续分类器使用。
41.步骤8，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型当中，利用该模型进行缺陷数据识别，完成数据检测。具体来说，所述模型具体为深度置信网络(dbn)分析模型。待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型(svdd)当中，利用该模型进行缺陷数据识别，完成数据检测，如图1所示。
42.本发明提出了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，结合公司链路数据不平衡的情况，实现光纤网络链路缺陷数据检测。可以在充分考虑面对不平衡链路数据，数据在网络链路采集、传输过程中，能有效检测由于各种原因出现数据缺陷的情况。