一种网络服务监控系统的制作方法

本发明涉及网络技术领域，具体涉及一种网络服务监控系统。

背景技术：

随着信息技术的不断发展，各种网络在生活和工作方面成为不可或缺的工具。而网络带宽情况复杂多变，如何对各种复杂网络服务进行有效合理的监控一直是存在的问题。

目前的网络服务监控系统大都存在以下缺陷：

(1)监控指标单一，无法反映当前网络服务的真实状态；

(2)监控网络服务类型单一，无法适应复杂多样的网络服务环境；

(3)采集数据存在延时，不能实时获取监控数据。

技术实现要素：

为解决现有技术的不足，本发明实施例提供了一种网络服务监控系统，该系统包括：

采集模块，用于通过数据特征判断网络服务的类型并根据所述类型，对所述网络服务进行分类埋点并采集不同的监控数据，将所述监控数据转换为json格式的数据并将所述监控数据发送至kafka消息队列；

服务模块，用于利用微服务架构及restful接口，从kafka消息队列接收所述监控数据，根据监控数据判断网络服务的类型并将所述网络服务的类型写入所述监控数据中，将数据保存到存储模块；

分析模块，用于实时从所述存储模块中读取监控数据并利用sparkstreaming流式大数据实时分析平台对所述监控数据进行实时分析，生成相应的分析数据并实时根据预置的告警规则，生成告警信息。

优选地，所述采集模块，还用于利用面向切面编程技术，采集监控数据并对获取的数据进行反向分析。

优选地，所述服务模块，还用于丢弃转换失败的监控数据，将所述监控数据的接收时间、重要程度及最短保存时间写入所述监控数据中。

优选地，所述分析数据包括网络服务的状态、耗时、链路调用关系、调用拓扑图、日志及系统吞吐量。

本发明实施例提供的网络服务监控系统具有以下有益效果：

(1)零侵入

所有环节对开发者零侵入，开发者无需关心监控实现细节，无需在代码开发中引入任何和监控相关的代码逻辑。

(2)支持异构网络服务

采集模块根据采集的监控数据的类型，将服务分成单体应用、rpc服务、restful服务、消息队列服务、数据库服务、缓存服务，支持混合模式下的数据采集。

(3)实时性

该系统所有环节均考虑到实时性，实现服务调用后，可实时获取网络服务的状态、耗时、链路调用关系、拓扑、日志、系统吞吐量等信息并实时根据预设的告警规则生成告警信息。

(4)高并发

该系统所有环节考虑实际应用中可能产生的性能瓶颈，采取kafka消息队列、微服务等技术对大并发产生的大量数据进行削峰、弹性扩容，实现十万级并发规模的系统吞吐量。

附图说明

图1是本发明实施例提供的网络服务监控系统结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

参照图1，本发明实施例提供的网络服务监控系统包括：

采集模块，用于根据数据特征，判断网络服务的类型并根据该类型，对网络服务进行分类埋点并采集不同的监控数据，将监控数据转换为json格式的数据并将监控数据发送至kafka消息队列。

其中，数据特征包括数据的类型，网络服务的类型包括单体应用、rpc服务、restful服务、消息队列服务、数据库服务、缓存服务。

服务模块，用于利用微服务架构及restful接口，从kafka消息队列接收监控数据，根据监控数据判断网络服务的类型并将网络服务的类型写入所述监控数据中，将数据保存到存储模块。

作为一个具体的实施例，服务模块在接收数据时，通过注册多个微服务实例，提高接收数据的效率，缓解接收大并发监控数据时引起的性能问题。

其中，存储模块在存储数据时，优先将接收到的数据保存到内存中，快速响应存储请求，为防止监控数据随着时间推移，占用硬盘存储容量过大，存储模块开启多线程实例异步将数据压缩并持久存储到硬盘中，实现时间效率与存储效率同时达到最佳性能。

分析模块，用于实时从存储模块中读取监控数据并利用sparkstreaming流式大数据实时分析平台对监控数据进行实时分析，生成相应的分析数据并实时根据预置的告警规则，生成告警信息。

其中，告警规则为可配置选项，根据不同网络服务的状态阈值、耗时阈值、调用链路长度阈值、日志关键字、系统吞吐量阈值，灵活设置不同的告警规则。

可选地，采集模块，还用于利用面向切面编程技术，采集监控数据并对获取的数据进行反向分析。

可选地，服务模块，还用于丢弃转换失败的监控数据，将监控数据的接收时间、重要程度及最短保存时间写入监控数据中。

采集模块在采集监控数据时，对业务开发者零侵入，业务开发者无需关心监控实现方式，通过面向切面编程技术采集服务数据，同时对获取的数据进行反向分析，核心代码基于汇编编程并使用jni技术实现高效判定网络服务类型。

可选地，分析数据包括网络服务的状态、耗时、链路调用关系、调用拓扑图、日志及系统吞吐量。

本发明实施例提供的网络服务监控系统，监控指标多样化，支持异构网络服务的监控，能够适应复杂多样的网络服务环境及实时获取监控数据并根据监控数据，生成告警信息，提高了监控系统的兼容性、实时性及系统吞吐量。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。