一种光网络故障预测不确定性分析方法及系统
本发明涉及通信技术领域，尤其涉及一种光网络故障预测不确定性分析方法及系统。
背景技术：
光网络故障主要包括两大类：硬故障和软故障。其中，硬故障是指一些突发事件造成的不可抗力的故障，如光纤断纤、电源断电等，一般具有不可预测性；软故障是指在传输使用过程中，设备性能逐渐恶化造成的故障，如设备原件老化、光纤弯折等，当劣化到一定程度时会触发告警机制，因此软故障是可在告警前预测的。光网络的故障分类统计数据显示，60％的光业务故障是由于光路劣化、光模块劣化及误码类问题产生的，如果在告警前进行故障预测，可以使运维人员采取更主动的策略，避免影响业务质量，同时降低网络管理的修复时间。
近年来，基于人工智能的故障预测获得了广泛关注，但由于神经网络的“黑盒”属性，给出的结果通常为确定性的点估计，缺少不确定性量化会导致运维人员难以判断预测结果的置信度，即使预测结果出现偏差，此时模型仍然会给出“自认为”正确的结果，导致运维人员基于完全“相信”的预测结果做出的决策有可能是错误的，甚至会导致严重的业务中断，因此，进行预测不确定性分析是很有必要的。其次，人工智能方法作为数据驱动的方法，模型质量受限于数据质量。传统运维主要通过设定阈值触发告警进行数据标注，阈值过高会产生大量漏报，增加业务中断风险，阈值过低会产生大量误报，以致于运维人员不得不逐个检查，增加了人员工作量，且随着网络的日益复杂，性能监测特征增加，阈值方法无法考虑高维特征间相关性，数据标注质量有待提高。因此，现在亟需一种光网络故障预测不确定性分析方法及系统来解决上述问题。
技术实现要素：
针对现有技术存在的问题，本发明提供一种光网络故障预测不确定性分析方法及新系统。
本发明提供一种光网络故障预测不确定性分析方法，包括：
获取待预测光网络故障的光网络性能数据；
基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签；
将所述目标光网络性能数据和所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
根据本发明提供的一种光网络故障预测不确定性分析方法，所述训练好的光网络故障预测模型通过以下步骤得到：
通过无监督学习方法对样本光网络性能数据进行标注，并根据标注后的样本光网络性能数据和对应的样本标签，构建训练样本集；
将所述训练样本集输入到贝叶斯神经网络中进行训练，得到训练好的光网络故障预测模型。
根据本发明提供的一种光网络故障预测不确定性分析方法，所述将所述训练样本集输入到贝叶斯神经网络中进行训练，得到训练好的光网络故障预测模型包括：
基于变分推断方法，将贝叶斯神经网络的权重和偏置初始化为标准正态分布，并对所述标准正态分布进行采样，将采样得到的权重数据进行前向传播，得到样本故障预测结果；
基于条件概率公式，通过反向传播对所述贝叶斯神经网络的权重分布进行更新，得到训练好的光网络故障预测模型，所述条件概率公式为：
其中，ω表示权重，x表示训练样本，y表示所述训练样本对应的标签，
根据本发明提供的一种光网络故障预测不确定性分析方法，在所述基于条件概率公式，通过反向传播对所述贝叶斯神经网络的权重分布进行更新，得到训练好的光网络故障预测模型之后，所述方法还包括：
对所述训练好的光网络故障预测模型输出的光网络故障预测结果进行信息熵计算，得到所述光网络故障预测结果的故障不确定性度量。
根据本发明提供的一种光网络故障预测不确定性分析方法，在所述基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签之前，所述方法还包括：
对光网络性能数据进行数据预处理，以对预处理后的光网络性能数据进行标注。
根据本发明提供的一种光网络故障预测不确定性分析方法，所述无监督学习方法为密度聚类算法。
本发明还提供一种光网络故障预测不确定性分析系统，包括：
数据采集模块，用于获取待预测光网络故障的光网络性能数据；
数据自动标注模块，用于基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签；
故障预测模块，用于将所述目标光网络性能数据和所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
根据本发明提供的一种光网络故障预测不确定性分析系统，所述系统还包括：
样本构建模块，用于通过无监督学习方法对样本光网络性能数据进行标注，并根据标注后的样本光网络性能数据和对应的样本标签，构建训练样本集；
训练模块，用于将所述训练样本集输入到贝叶斯神经网络中进行训练，得到训练好的光网络故障预测模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述光网络故障预测不确定性分析方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述光网络故障预测不确定性分析方法的步骤。
本发明提供的光网络故障预测不确定性分析方法及系统，通过无监督学习方法实现数据自动标注，保证了数据自动标注的准确性和高效性，并基于贝叶斯神经网络的故障预测及预测不确定性分析，可以给出预测结果的置信度量化，避免了传统故障预测中确定性估计带来的潜在风险，提高了故障预测的可靠性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的光网络故障预测不确定性分析方法的流程示意图；
图2为本发明提供的贝叶斯神经网络原理图；
图3为本发明提供的贝叶斯神经网络预测示意图；
图4为本发明提供的不同聚类算法的效果示意图；
图5为本发明提供的基于贝叶斯神经网络的故障预测及预测不确定性分析的效果示意图；
图6为本发明提供的三组实验结果评价指标的示意图；
图7为本发明提供的光网络故障预测不确定性分析系统的结构示意图；
图8为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的光网络故障预测不确定性分析方法的流程示意图，如图1所示，本发明提供了一种光网络故障预测不确定性分析方法，包括：
步骤101，获取待预测光网络故障的光网络性能数据。
在本发明中，对光网络进行监测，从而采集到的光网络性能数据，例如，对光传送网(opticaltransportnetwork，简称otn)进行监测，采集到光功率特征、激光器特征和温度特征等。
步骤102，基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签。
在本发明中，通过无监督学习方法，对庞大的样本集合数据进行标注，优选地，本发明采用的无监督学习方法为密度聚类算法，密度聚类算法可以完成任何形状的簇，而无需指定簇的数量。具体地，密度聚类需要两个参数，邻域最大半径(eps)和邻域中包含的最少点数(minpts)，任选光网络性能数据中一个未被标记的当前点开始，找出与其距离在eps之内(包括eps)的所有附近点，如果附近点的数量大于等于minpts，则当前点与其附近点形成一个簇，并且出发点被标记，然后递归，以相同的方法处理该簇内所有未被标记的点，从而对簇进行扩展；如果附近点的数量小于minpts，则该当前点被标记，不作扩展；如果簇充分地被扩展，即簇内的所有点被标记为已访问，然后用同样的算法去处理未被访问的点，直到所有的点都被标记。通过密度聚类算法进行数据标注，不需要相关领域的先验知识，通过数据间相似性主动发现不同数据类别，不仅避免了传统阈值方法不准确、浪费人力的问题，还可以挖掘日志数据多维特征间相似性，实现了准确和高效的数据主动标注。
步骤103，将所述目标光网络性能数据和所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
在本发明中，贝叶斯神经网络通过其参数以概率分布的形式，为光网络故障预测提供不确定性估计；同时，通过使用先验概率分布来整合参数，训练期间在模型上计算平均值，给网络提供正则化效果，从而防止过度拟合。通过将目标光网络性能数据和目标标签输入到由贝叶斯神经网络训练得到的光网络故障预测模型中，从而得到光网络故障预测结果，并且，本发明对所述训练好的光网络故障预测模型输出的光网络故障预测结果进行信息熵计算，从而得到所述光网络故障预测结果的故障不确定性度量。
本发明提供的光网络故障预测不确定性分析方法，通过无监督学习方法实现数据自动标注，保证了数据自动标注的准确性和高效性，并基于贝叶斯神经网络的故障预测及预测不确定性分析，可以给出预测结果的置信度量化，避免了传统故障预测中确定性估计带来的潜在风险，提高了故障预测的可靠性。
在上述实施例的基础上，所述训练好的光网络故障预测模型通过以下步骤得到：
通过无监督学习方法对样本光网络性能数据进行标注，并根据标注后的样本光网络性能数据和对应的样本标签，构建训练样本集。
在本发明中，基于密度聚类算法，对样本数据进行自动标注，使得模型在训练时，降低了传统阈值方法的不稳定性，并且可以考虑日志数据多维特征间的相关性，保证了数据自动标注的准确性和高效性。
将所述训练样本集输入到贝叶斯神经网络中进行训练，得到训练好的光网络故障预测模型。训练过程具体包括：
基于变分推断方法，将贝叶斯神经网络的权重和偏置初始化为标准正态分布，并对所述标准正态分布进行采样，将采样得到的权重数据进行前向传播，得到样本故障预测结果。
在本发明中，图2为本发明提供的贝叶斯神经网络原理图，可参考图2所示，图2中的(a)为贝叶斯神经网络的结构示意图，可以看出，贝叶斯神经网络和常规神经网络的区别主要在于网络权重和偏置的差异，常规神经网络的权重为确定点估计值，而贝叶斯神经网络的权重为概率分布。进一步地，给定训练集d＝{(x1,y1),(x2,y2),...,(xm,ym)}，将全概公式引入贝叶斯公式中，可得到如下公式：
在公式(1)中，要得到后验概率p(ω|x,y)，需计算出分母，该积分要在ω的取值空间上进行，但ω的分布未知，该积分实际不可求，因此，本发明引入近似贝叶斯推理方法，即变分推断。变分推断的基本思想是使用称作变分后验
基于条件概率公式，通过反向传播对所述贝叶斯神经网络的权重分布进行更新，得到训练好的光网络故障预测模型，所述条件概率公式为：
其中，ω表示权重，x表示训练样本，y表示所述训练样本对应的标签，
在本发明中，基于公式(1)进行推导，得到优化目标函数，即条件概率公式，可参考图3中的(c)所示，条件概率公式对应数据的似然由两部分组成，第一部分为
本发明在对贝叶斯神经网络训练时，首先，根据进行变分推断，将模型权重和偏置初始化为标准正态分布，预测结果通过对分布采样进行前向传播计算得到；然后，基于条件概率公式，通过反向传播更新权重分布，以使模型达到最优预测效果；最后，在测试过程中，通过多次重复调用模型以保持dropout开启，即多次采样取平均值，获得预测结果，从而得到训练好的光网络故障预测模型。
在上述实施例的基础上，在所述基于条件概率公式，通过反向传播对所述贝叶斯神经网络的权重分布进行更新，得到训练好的光网络故障预测模型之后，所述方法还包括：
对所述训练好的光网络故障预测模型输出的光网络故障预测结果进行信息熵计算，得到所述光网络故障预测结果的故障不确定性度量。
在本发明中，不确定性度量是指在已有信息的基础上，无法确定某些量的确切取值，而只能得出不同取值的概率分布。本发明将信息熵作为故障事件发生不确定性的度量，当熵的值越大时，说明故障事件发生的不确定性越大，反之亦然。图3为本发明提供的贝叶斯神经网络预测示意图，可参考图3所示，故障预测作为二分类问题，预测结果一反面反映出故障发生与否，另一方面，预测结果经过信息熵计算可得到预测结果的不确定性度量，基于此，可作为运维人员判断预测结果可靠性的依据。
在上述实施例的基础上，在所述基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签之前，所述方法还包括：
对光网络性能数据进行数据预处理，以对预处理后的光网络性能数据进行标注。
在本发明中，光网络性能数据采集后上传到网管系统，但此时的数据质量比较差，存在数据重复，数据缺失和数据分散等情况，因此，需进行数据预处理，将数据进行删除、填充和整合处理，再将处理后的数据送入密度聚类算法进行主动数据标注。
在一实施例中，图4为本发明提供的不同聚类算法的效果示意图，可参考图4所示，基于来自运营商的真实数据进行不同聚类算法的自动标注，通过准确率(acc)、f1值、误报率(fpr)和漏报率(fnr)四种评价指标比较了ocsvm、孤立森林、k-均值聚类和密度聚类四种方法的适用性，实验结果表明密度聚类取得了最佳效果。
在另一实施例中，图5为本发明提供的基于贝叶斯神经网络的故障预测及预测不确定性分析的效果示意图，可参考图5所示，本发明采用贝叶斯神经网络，将权重和偏置视作概率分布，同时引入信息熵，可给出预测结果的不确定量化，用于衡量预测结果置信度。
具体地，实验数据来自实际的otn性能监控，主要包括光功率特征，激光器特征和温度特征等。其中，激光器导致的故障占比约为7％，输入光功率导致的故障占比0.7％，该数据为类别不均衡数据，为此，采用更为合理的评价指标，f1值。为进行贝叶斯神经网络不确定性量化，进行三组对照实验，图6为本发明提供的三组实验结果评价指标的示意图，三组对比实验可参考图6所示。
进一步地，可参考图6所示，实验1的数据删除输入光功率异常，仅包含激光器故障，f1值可以达到99.5％，表明该模型对不平衡数据具有较好的预测效果。
而实验2的数据是在实验1数据的基础上注入人为干扰，以增加误报率和漏报率，从而降低了预测的准确性。对于每个样本，分别记录其类别标签和不确定性量化值，结果可参考图5的(a)所示。平均而言，对于错误分类的数据(即，误报和误报)报告了较高的不确定性值。此外，还研究了不同的dropout比率和重复实验次数对检测错误分类数据的影响，结果可参考图5的(b)所示，综合考虑检测效果和计算成本，当dropout比率设置为0.5，重复实验次数为200时，可以实现最佳的检测效果。实验2表明不确定性量化有助于检测错误分类的数据样本。
在实验3训练数据中，删除了输入光功率故障，保留激光器故障；测试数据中两者均保留。可参考图5的(c)，由于训练数据保留了激光器故障，激光器数据在测试过程中获得了极低的不确定性量化值，这表明该模型已经学习到激光器的故障模式。同时，由于训练过程中没有输入光功率故障，因此在测试过程中，输入光功率超过阈值的数据将获得非常高的不确定性量化值。实验3表明不确定性量化有助于发现新的故障模式。
图7为本发明提供的光网络故障预测不确定性分析系统的结构示意图，如图7所示，本发明提供了一种光网络故障预测不确定性分析系统，包括数据采集模块701、数据自动标注模块702和故障预测模块703，其中，数据采集模块701用于获取待预测光网络故障的光网络性能数据；数据自动标注模块702用于基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签；故障预测模块703用于将所述目标光网络性能数据及所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
本发明提供的光网络故障预测不确定性分析系统，通过无监督学习方法实现数据自动标注，保证了数据自动标注的准确性和高效性，并基于贝叶斯神经网络的故障预测及预测不确定性分析，可以给出预测结果的置信度量化，避免了传统故障预测中确定性估计带来的潜在风险，提高了故障预测的可靠性。
在上述实施例的基础上，所述系统还包括：
样本构建模块，用于通过无监督学习方法对样本光网络性能数据进行标注，并根据标注后的样本光网络性能数据和对应的样本标签，构建训练样本集；
训练模块，用于将所述训练样本集输入到贝叶斯神经网络中进行训练，得到训练好的光网络故障预测模型。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图8为本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(communicationsinterface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行光网络故障预测不确定性分析方法，该方法包括：获取待预测光网络故障的光网络性能数据；基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签；将所述目标光网络性能数据和所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的光网络故障预测不确定性分析方法，该方法包括：获取待预测光网络故障的光网络性能数据；基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签；将所述目标光网络性能数据和所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的光网络故障预测不确定性分析方法，该方法包括：获取待预测光网络故障的光网络性能数据；基于无监督学习方法，对所述光网络性能数据进行标注，得到目标光网络性能数据和目标标签；将所述目标光网络性能数据和所述目标标签输入到训练好的光网络故障预测模型，获取光网络故障预测结果和所述光网络故障预测结果对应的故障不确定性度量，所述训练好的光网络故障预测模型是由样本光网络性能数据，对贝叶斯神经网络进行训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！