基于实时分析应用请求日志实现流量智能切换的方法与流程

1.本发明涉及计算机技术领域，具体涉及一种基于实时分析应用请求日志实现流量智能切换的方法、电子设备、存储介质及计算机程序产品。


背景技术：

2.原来两个机房使用轮询策略引流从而实现应用双活。如果某一机房一个或者多个应用出现不可用的情况，这时就需要对部分应用引流区域进行切换，不再轮询引流，而是将流量引向单一可用机房。
3.由于不同业务、不同域名、不同策略且流量切换操作是人工操作，就会出现切换时间过长，同时也容易出错，而且不能24小时实时的值守，从而导致不可用时间增长，严重影响线上业务运行。


技术实现要素：

4.针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种基于实时分析应用请求日志实现流量智能切换的方法、电子设备、存储介质及计算机程序产品。
5.为实现上述目的，第一方面，本发明实施例提供了一种基于实时分析应用请求日志实现流量智能切换的方法，包括：
6.通过日志分析系统收集项目nginx请求日志，并将所述项目nginx请求日志存储至数据库中；其中，所述项目nginx请求日志来自于两个不同的机房；
7.通过日志分析系统对所述项目nginx请求日志进行分析，得到分析结果，并将所述分析结果发送至流量切换系统中；
8.通过所述流量切换系统按照模型分析策略进行流量切换判定，得到判定结果，并根据所述判定结果进行流量切换。
9.作为本技术的一种具体实施方式，所述项目nginx请求日志包括项目域名，对所述项目nginx请求日志进行分析，具体为：
10.通过所述日志分析系统对所述项目域名的请求进行分析，得到三种请求，分别为超时请求、5xx请求和正常请求。
11.作为本技术的一种具体实施方式，所述模型分析策略包括：单机房不可用性的严重性、总不可用率以及总不可用的严重性、当前域名重要等级、是否为大量错误或偶发事件、是否双机房故障以及是否需要机房互相切换、故障是否恢复以及是否切回双活模式。
12.作为本技术的一种具体实施方式，进行流量切换判定及流量切换具体为：
13.通过所述流量切换系统接收所述超时请求、5xx请求和正常请求；
14.结合所述模型分析策略和所述超时请求、5xx请求和正常请求进行流量切换判定，得到判定结果；所述判定结果包括恢复双活模式或切换到单机房；
15.基于所述判定结果，调用动态网关对项目所在的项目域名的流量进行切换。
16.第二方面，本发明实施例提供了一种电子设备，包括处理器、输入设备、输出设备
和存储器，所述处理器、输入设备、输出设备和存储器通过总线相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令。其中，所述处理器被配置用于调用所述程序指令，执行如下步骤：
17.通过日志分析系统收集项目nginx请求日志，并将所述项目nginx请求日志存储至数据库中；其中，所述项目nginx请求日志来自于两个不同的机房；
18.通过日志分析系统对所述项目nginx请求日志进行分析，得到分析结果，并将所述分析结果发送至流量切换系统中；
19.通过所述流量切换系统按照模型分析策略进行流量切换判定，得到判定结果，并根据所述判定结果进行流量切换。
20.第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序/指令。该计算机程序/指令被处理器执行时实现如上述第一方面所述的方法步骤。
21.第四方面，本发明实施例提供了一种计算机程序产品，其上存储有计算机程序/指令。该计算机程序/指令被处理器执行时实现如上述第一方面所述的方法步骤。
22.实施本发明实施例，通过对项目nginx请求日志进行分析，采用模型分析策略对分析结果进行流量切换判定，并实现流量切换，解决了当某一机房的一个或多个应用出现不可用时、人工切换流量不及时、易出错及时间长等问题。
附图说明
23.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
24.图1是本发明实施例提供的数据库管理方法基于实时分析应用请求日志实现流量智能切换的方法的流程图；
25.图2是本发明实施例提供的电子设备的结构图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.为了更好地理解本发明实施例，先对实施例中所涉及的相关术语做如下解释：
28.日志收集系统：是一款内部开发的实时去读取nginx访问日志并将日志转存到mongodb数据库中的系统。
29.mongodb：是由c++语言编写的，是一个基于分布式文件存储的开源数据库系统。
30.日志分析系统：是一款内部开发的对mongodb数据库中日志进行分析的系统。
31.流量切换系统：是一款内部开发的决策、判定应用是否可用且操作“动态网关”的系统。
32.动态网关：是一款内部开发的基于nginx+lua的流量管理系统。
33.请参考图1，本发明实施例的基于实时分析应用请求日志实现流量智能切换的方法，可以包括如下步骤：
34.s101，日志分析系统收集项目nginx请求日志，并将所述项目nginx请求日志存储至数据库中。
35.s102，日志分析系统对所述项目nginx请求日志进行分析，得到分析结果。
36.s103，日志分析系统将分析结果发送至流量切换系统中。
37.s104，流量切换系统按照模型分析策略进行流量切换判定，得到判定结果。
38.s105，流量切换系统调用动态网关进行流量切换。
39.基于步骤s101至s105，下面举例说明其具体过程：
40.项目名为demo，项目域名为www.xxx.com
41.运行操作系统为centos7_x64，所依赖的组件为php
‑
7.4.20、nginx
‑
1.18.0
42.(1)通过日志收集系统将demo项目两个不同机房的nginx请求日志都收集起来，同时将这些日志转存到mongodb数据库中。
43.(2)通过日志分析系统来分析域名www.xxx.com的请求，把请求按3种类型进行分类。第一种是超时，也就是请求的响应时间超过某个额定的值，比如3s。第二种是5xx，也就是请求响应状态是5xx，比如502。第三种是正常请求，没有超时也没有5xx的请求。通过分析，把这三类的请求信息传入到流量切换系统中去，交给流量切换系统去决策到底怎么去切换。
44.(3)分析的结果输入到“流量切换系统”建立好的模型中进行学习和分析，让它决策是否对流量进行切换，模型分析策略如下:
45.a、单机房不可用性的严重性
46.b、总不可用率以及总不可用的严重性
47.c、当前域名重要等级
48.d、是否为大量错误或偶发事件
49.e、是否双机房故障以及是否需要机房互相切换
50.f、故障是否恢复以及是否切回双活模式
51.通过以上策略判定是恢复双活模式还是切换到单机房，然后调用“动态网关”对demo项目所在的域名www.xxx.com的流量进行切换，这样就实现了无人值守、且快速的将域名的流量切换操作。
52.从以上描述可以看出，实施本发明实施例的方法，通过对项目nginx请求日志进行分析，采用模型分析策略对分析结果进行流量切换判定，并实现流量切换，解决了当某一机房的一个或多个应用出现不可用时、人工切换流量不及时、易出错及时间长等问题。
53.需要说明都是，本发明的两点在于：在流量双活模式下，通过分析各个机房的可用性，智能地对单域名的流量进行切换。这种切换不仅告别了运维手动操作，而且切换时间也缩减到了秒级。同时还解决了单机房非高可用业务切换场景，这种域名可以直接通过白名单模式不进行切换。
54.基于相同的发明构思，请参考图2，本发明实施例提供了一种电子设备。如图所示，该电子设备可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行如下步骤：
55.通过日志分析系统收集项目nginx请求日志，并将所述项目nginx请求日志存储至数据库中；其中，所述项目nginx请求日志来自于两个不同的机房；
56.通过日志分析系统对所述项目nginx请求日志进行分析，得到分析结果，并将所述分析结果发送至流量切换系统中；
57.通过所述流量切换系统按照模型分析策略进行流量切换判定，得到判定结果，并根据所述判定结果进行流量切换。
58.进一步地，所述处理器还被配置于调用程序指令执行如下步骤：
59.通过所述日志分析系统对所述项目nginx请求日志中的项目域名的请求进行分析，得到三种请求，分别为超时请求、5xx请求和正常请求。
60.进一步地，所述处理器还被配置于调用程序指令执行如下步骤：
61.所述处理器还被配置于调用程序指令执行如下步骤：
62.通过所述流量切换系统接收所述超时请求、5xx请求和正常请求；
63.结合所述模型分析策略和所述超时请求、5xx请求和正常请求进行流量切换判定，得到判定结果；所述判定结果包括恢复双活模式或切换到单机房；
64.基于所述判定结果，调用动态网关对项目所在的项目域名的流量进行切换。
65.应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
66.输入设备102可以包括键盘等，输出设备103可以包括显示器(lcd等)、扬声器等。
67.该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
68.具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的方法的实施例中所描述的实现方式，在此不再赘述。
69.需要说明的是，关于电子设备更为具体的工作流程，请参考前述方法实施例部分，在此不再赘述。
70.进一步地，对应于上述基于实时分析应用请求日志实现流量智能切换的方法，本发明实施例还提供了一种可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现：上述方法实施例部分的方法。
71.进一步地，本发明实施例提供了一种计算机程序产品，其上存储有计算机程序/指令。该计算机程序/指令被处理器执行时实现：上述方法实施例部分的方法。
72.该计算机程序产品应当理解为主要通过计算机程序实现其解决方案的软件产品。
73.所述计算机可读存储介质可以是前述实施例所述的客户机的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述计算机可读存储介质还可以既包
括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
74.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
75.在本技术所提供的几个实施例中，应该理解到，所揭露的单元和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
76.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。