一种微服务系统异常检测方法、存储介质、电子设备与流程

本发明微服务系统检测领域，具体涉及一种微服务系统异常检测方法、存储介质、电子设备。

背景技术：

1、在当今数字化时代，微服务架构作为一种高度灵活、可扩展的软件设计模式，已经成为构建大规模应用和服务的主流选择。然而，随着微服务系统的规模和复杂性的增加，监测这些服务的运行状况变得愈发关键。微服务系统的复杂性主要表现在多样性的服务组合、分布式环境下的通信和协作，以及异构数据的处理。这些特征使得异常监测变得更为困难，传统的监测方法难以胜任。微服务系统的指标数据通常涉及到多个维度和模态，而融合这些异构的多模态数据具有重要意义。如何整合这些数据，建模时序关系，以及有效处理高维度和噪声是一项重要的挑战。

技术实现思路

1、本发明的目的在于：为了解决微服务系统异构的多模态数据难以融合导致微服务系统监测困难的问题，本发明提出一种微服务系统异常检测方法，为微服务系统提供一种全面而高效的监测和异常检测解决方案，以促进系统的稳定性和可靠性，包括以下步骤：

2、s1、获取多元微服务系统数据及对应的标签，多元微服务系统数据包括指标数据和日志数据，标签表示多元微服务系统数据是否异常；

3、s2、通过谱残差算法抽取指标数据的特征，通过日志解析获取日志数据的特征；

4、s3、融合指标数据的特征和日志数据的特征构建异常检测模型；

5、具体为：

6、通过多层感知机将指标数据的特征和日志数据的特征映射到同一维度，得到指标数据隐层特征和日志数据隐层特征；

7、将指标数据隐层特征和日志数据隐层特征输入以时间卷积网络tcn为主干的网络中，得到指标数据高维隐层特征和日志数据高维隐层特征；

8、结合自动编码器将指标数据高维隐层特征和日志数据高维隐层特征压缩到低维嵌入空间，得到低维的指标数据的特征和低维的日志数据的特征；

9、根据低维的指标数据的特征和低维的日志数据的特征计算系统异常得分，基于系统异常得分判断系统是否异常；

10、s4、将待检测数据输入异常检测模型，判断系统是否异常。

11、进一步地，步骤s1具体为：

12、s11、在系统正常运行阶段，收集指标数据和日志数据，和数据标签设为0，将指标数据和日志数据、指标数据和日志数据对应的标签设置为训练集；

13、s12、设置故障注入参数，根据故障注入参数向系统随机注入故障，收集指标数据和日志数据，将故障注入时间段收集到的指标数据和日志数据的标签设为1，其他时间段收集到的指标数据和日志数据的标签设为0，将指标数据和日志数据、指标数据和日志数据对应的标签设置为测试集；

14、s13、设置采样时间间隔，从训练集和测试集中采样训练集的训练样本为和测试集的测试样本为。

15、进一步地，步骤s2中，通过谱残差算法抽取指标数据的特征，具体为：

16、基于所述指标数据，使用傅里叶变换将所述指标数据从空间域转换到频率域，得到指标数据的频谱信息；

17、计算指标数据的频谱的幅度谱；

18、对所述幅度谱进行谱残差变换，得到谱残差变换后的幅度谱；

19、对谱残差变换后的幅度谱进行傅里叶逆变换，将复数形式的频域结果转换回空间域，得到指标数据的显著图；

20、将指标数据的显著图归一化后纵向拼接，得到指标数据的特征。

21、进一步地，步骤s2中，通过日志解析抽取日志数据的特征，具体为：

22、使用drain日志解析工具对所述日志数据进行聚类，每个聚类表示一个日志模板，得到日志模板集合，其中，n表示聚类簇集数；

23、预设一个时间间隔，统计预设时间间隔的不同时间段各个日志模板出现的频率，并转换为日志模板频次矩阵，将日志模板频次矩阵归一化，得到日志数据的特征。

24、进一步地，根据低维的指标数据的特征和低维的日志数据的特征计算系统异常得分，基于系统异常得分判断系统是否异常具体为：

25、通过以下方式计算系统异常得分：

26、

27、其中，s表示系统异常得分，和表示的均值和协方差矩阵，表示训练数据集中的训练样本经过异常检测模型得到的低维特征，表示测试数据集中的测试样本经过异常检测模型得到的低维特征，系统异常得分表示和之间的马哈拉比诺斯距离；

28、如果s大于预设的阈值threshold，则测试样本是异常值；相反，测试样本是正常值。

29、进一步地，以时间卷积网络tcn为主干的网络的损失函数定义为：

30、

31、其中，表示对比学习损失，表示和之间的余弦相似度，表示第i个指标数据隐层特征，表示第i个日志数据隐层特征，表示第k个日志数据隐层特征，n表示指标数据隐层特征个数。

32、进一步地，自动编码器的损失函数表示为：

33、

34、其中，表示自动编码器的损失函数，表示欧几里得范数的平方，表示对h编码的结果，表示对解码的结果，h表示高维隐层特征。

35、进一步地，通过最小化异常检测模型的整体损失函数优化整个异常检测模型，异常检测模型的整体损失函数表示为：

36、

37、其中，表示异常检测模型的整体损失函数，表示权重系数。

38、本发明还提出一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行时实现上述的微服务系统异常检测方法。

39、本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的微服务系统异常检测方法。

40、本发明提供的技术方案带来的有益效果是：

41、本发明通过融合业务日志和指标，丰富了异常检测的信息视角，为异常的解释和定位提供了更多线索，提高了系统监测的全面性；通过傅里叶变换和谱残差变换对微服务指标数据进行特征抽取，不仅在时域上捕捉了复杂模式，还在频域上进行全面分析，本发明可以融合异构的多模态数据，提高了异常检测的准确性和全面性。

技术特征：

1.一种微服务系统异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种微服务系统异常检测方法，其特征在于，步骤s1具体为：

3.根据权利要求2所述的一种微服务系统异常检测方法，其特征在于，步骤s2中，通过谱残差算法抽取指标数据的特征，具体为：

4.根据权利要求3所述的一种微服务系统异常检测方法，其特征在于，

5.根据权利要求4所述的一种微服务系统异常检测方法，其特征在于，根据低维的指标数据的特征和低维的日志数据的特征计算系统异常得分，基于系统异常得分判断系统是否异常具体为：

6.根据权利要求5所述的一种微服务系统异常检测方法，其特征在于，以时间卷积网络tcn为主干的网络的损失函数定义为：

7.根据权利要求6所述的一种微服务系统异常检测方法，其特征在于，自动编码器的损失函数表示为：

8.根据权利要求7所述的一种微服务系统异常检测方法，其特征在于，

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至8中任一项所述的方法。

10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行如权利要求1至8中任一项所述的方法。

技术总结
本发明公开了一种微服务系统异常检测方法、存储介质、电子设备，属于微服务系统检测领域，包括获取指标数据和日志数据的多元微服务系统数据及对应的标签；构建异常检测模型，使用指标数据的特征和日志数据的特征和相应的标签训练异常检测模型，异常检测模型包括：输入层、TCN模块、输出层，输入层将指标数据的特征和日志数据的特征拼接组成新特征，TCN模块捕获新特征的时间序列中的依赖关系后，输入输出层生成最终的异常分数；将待检测数据输入训练后的异常检测模型，得到系统异常情况。本发明将微服务系统指标数据和日数据融合，丰富了信息视角，为复杂微服务环境下的全面异常监测提供了有力解决方案。

技术研发人员：张竞超,李扬,张泽锟,王健
受保护的技术使用者：安徽思高智能科技有限公司
技术研发日：
技术公布日：2024/9/17