一种分布式数据节点异常行为的预警系统的制作方法

1.本发明涉及分布式数据节点技术领域，尤其涉及一种分布式数据节点异常行为的预警系统。


背景技术：

2.分布式系统中的各个节点都是相对比较独立的，同时每个节点均有可能发生故障，比如网络异常，磁盘坏掉甚至整个操作系统损坏等，但是目前现有的分布式系统异常分析是通过人工查看各个数据节点输出的日志文件来定位、分析异常。通过这种方式，开发者无法实时的对系统产生的异常进行跟踪修正，也无法快速定位异常到底发生在何处，因此，若能在数据节点设备发生严重故障之前实时察觉，并在故障仍属轻微的情形下及早停机修复检查，将可有效的把损失降到最低。
3.经检索，中国专利申请号为cn201410401812.7的专利，公开了一种分布式系统中数据节点的安全管理方法，能够所有的数据节点定义6个物理状态，保证了数据健康程度监控的及时性，以使用户得以及时得知整个分布式系统上每个节点上的数据健康状况，但是上述专利中存在以下不足：无法对各个数据节点的异常行为进行实时监控并快速生成异常报告，从而导致工作人员无法立刻排出各个数据节点出现的故障，影响整个数据系统的工作效率。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种分布式数据节点异常行为的预警系统。
5.为了实现上述目的，本发明采用了如下技术方案：一种分布式数据节点异常行为的预警系统，包括管理单元、数据处理单元、数据整合单元、数据监控单元和多个数据节点，所述多个数据节点分别与数据监控单元通信连接，数据监控单元与数据整合单元通信连接，数据整合单元与数据处理单元通信连接，数据处理单元与管理单元通信连接。
6.优选的：所述数据监控单元包括日志获取模块和日志发送模块，所述日志获取模块会通过日志调用软件对数据节点的运行日志进行获取，日志发送模块包括网络传输装置和蓝牙传输装置，数据监控单元获取数据节点的运行日志的周期为半小时或一小时。
7.进一步的：所述数据整合单元包括分类接收模块，分类接收模块对日志发送模块发送的日志进行接收和分类，并将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元。
8.进一步优选的：所述数据整合单元还包括节点接入模块，节点接入模块可对新接入的数据节点的原始日志进行获取，同时对数据监控单元的节点接入数量进行管理，节点接入模块直接将数据节点的原始日志和数据监控单元的节点接入情况发送给管理单元。
9.作为本发明一种优选的：所述数据处理单元对数据整合单元发送的三类日志进行
分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，并将这三份报告整合成一份预警报告发送给管理单元。
10.作为本发明进一步优选的：所述管理单元包括报告等级划分模块和预警报告发送模块，报告等级划分模块会将数据处理单元发送的报告划分成四类：高风险、中风险、低风险和正常，预警报告发送模块可将预警报告通过邮件、短信和qq等文件发送方式发送给工作人员。
11.作为本发明再进一步的方案：所述管理单元还包括数据存储模块，能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
12.在前述方案的基础上：所述管理单元可以将多个数据节点分配到不同的数据监控单元上，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上。
13.在前述方案的基础上优选的：所述数据处理单元还包括日志调用对比模块，日志调用对比模块可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告。
14.本发明的有益效果为：1.通过将数据监控单元获取的数据节点的日志分成操作系统日志、数据软件运行日志和用户日常操作日志，可以对数据节点的运行情况进行全方位的评估，让数据处理单元出具的预警报告更为准确和详细，同时也能够让工作人员更快的发现数据节点在运行时在哪个方面出现了问题，提高了数据节点的维护效率。
15.2.通过将预警报告分成高风险、中风险、低风险和正常四个等级，让工作人员再通过短信、邮件或者qq接收到预警报告后，立刻对风险的大小有了直观的判断，让工作人员能够立刻做出应对不同风险时该有的反应。
16.3.通过设置数据存储模块，数据存储模块能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
17.4.当有新的数据节点需要接入时，数据整合单元中的节点接入模块首先会对数据节点的原始日志进行获取，然后发送给数据存储模块进行存储，然后将数据监控单元的接入数量发送给管理单元，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上，避免数据监控单元过于拥挤影响工作效率。
18.5.数据处理单元在生成安全报告时，可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告，提高安全报告的准确性。
附图说明
19.图1为本发明提出的一种分布式数据节点异常行为的预警系统的系统结构示意图。
具体实施方式
20.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
21.下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
22.在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
23.在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
24.一种分布式数据节点异常行为的预警系统，如图1所示，包括管理单元、数据处理单元、数据整合单元、数据监控单元和多个数据节点，所述多个数据节点分别与数据监控单元通信连接，数据监控单元与数据整合单元通信连接，数据整合单元与数据处理单元通信连接，数据处理单元与管理单元通信连接。
25.所述数据监控单元包括日志获取模块和日志发送模块，所述日志获取模块会通过日志调用软件对数据节点的运行日志进行获取，日志发送模块包括网络传输装置和蓝牙传输装置，数据监控单元获取数据节点的运行日志的周期为半小时或一小时。
26.所述数据整合单元包括分类接收模块，分类接收模块对日志发送模块发送的日志进行接收和分类，并将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元。
27.所述数据整合单元还包括节点接入模块，节点接入模块可对新接入的数据节点的原始日志进行获取，同时对数据监控单元的节点接入数量进行管理，节点接入模块直接将数据节点的原始日志和数据监控单元的节点接入情况发送给管理单元。
28.所述数据处理单元对数据整合单元发送的三类日志进行分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，并将这三份报告整合成一份预警报告发送给管理单元。
29.所述管理单元包括报告等级划分模块和预警报告发送模块，报告等级划分模块会将数据处理单元发送的报告划分成四类：高风险、中风险、低风险和正常，预警报告发送模块可将预警报告通过邮件、短信和qq等文件发送方式发送给工作人员。
30.所述管理单元还包括数据存储模块，能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
31.所述管理单元可以将多个数据节点分配到不同的数据监控单元上，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上。
32.所述数据处理单元还包括日志调用对比模块，日志调用对比模块可以将数据存储
模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告。
33.本实施例在使用时，数据监控单元每隔半小时或者一小时就对与其通信连接的数据节点的运行日志进行获取，数据监控单元通过日志调用软件对数据节点的运行日志进行获取，然后通过蓝牙或者网络传输的形式将日志传输给数据整合单元，数据整合单元会对数据监控单元发送的的日志进行接收和分类，将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元，数据处理单元对数据整合单元发送的三类日志进行分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，然后将安全报告传输给管理单元，管理单元将报告划分成四类：高风险、中风险、低风险和正常，然后通过邮件、短信和qq等文件发送方式发送给工作人员，数据存储模块能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析，数据处理单元在生成安全报告时，可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告，当有新的数据节点需要接入时，数据整合单元中的节点接入模块首先会对数据节点的原始日志进行获取，然后发送给数据存储模块进行存储，然后将数据监控单元的接入数量发送给管理单元，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上，避免单个数据监控单元接入的数据节点太多，导致数据监控单元无法正常运行的问题出现。
34.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。