用于实时处理异常数据的方法及装置与流程

1.本技术涉及数据处理技术领域，具体涉及一种用于实时处理异常数据的方法及装置。


背景技术：

2.随着网速发展越来越快，需要实时数据支撑的场景将会是热门方向，流数据的使用方式部分是延续之前的批处理方案，每过一段时间根据存储顺序将数据拿出来，或是将数据放在队列中实时取用，其中通过对每一批数据的数量和时间戳来判断数据的完成性，使用内存数据库或者文件的形式传递数据信号，根据信号来判断是否出现流数据。
3.沿袭批处理方案，会导致数据之间出现时间差，批处理方案只能减小时间差不能取消时间差，放置队列使用流处理，会出现丢失数据的现象，报警只能发现问题不能解决问题，传统数据信号传递是线性的，过去的数据无法再次获取到。


技术实现要素：

4.为此，本技术提供一种用于实时处理异常数据的方法及装置，以解决现有技术存在的使用流处理会出现数据丢失的现象以及过去的数据无法再次获取到的问题。
5.为了实现上述目的，本技术提供如下技术方案：
6.第一方面，一种用于实时处理异常数据的方法，包括：
7.向内存队列发送心跳信息，并实时监控所述内存队列；
8.判断所述内存队列里面的信息是否正常；
9.若异常，则将异常信息发送给管理平台；所述管理平台启动数据节点对应的备用接口并将所述备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；
10.若正常，则初步验证数据并标注数据状态；
11.将数据和数据状态发送至下游；下游判断数据状态是否正常，若正常，则直接写入，若异常，则查看第一状态码，并将所述第一状态码返回至所述管理平台，所述管理平台将储存在本地的原有格式的数据取出写入到消息队列；
12.实时监控写入结果；
13.若写入正常，则直接将正常码写入日志；
14.若写入异常，则将异常信息写入所述内存队列，并将写入异常发送至所述管理平台，所述管理平台将所述数据节点中的信息直接以原格式放入所述消息队列并标注第二状态码。
15.作为优选，所述向内存队列发送心跳信息时每隔500毫秒发送一次。
16.作为优选，所述管理平台生成一个新的备用接口时是采用哈希算法生成的。
17.作为优选，所述管理平台将所有的异常信息通过邮件的形式通知管理员进行处理。
18.作为优选，所述初步验证数据并标注数据状态的同时将数据原本的格式写入到本地文件中。
19.第二方面，一种用于实时处理异常数据的装置，包括：
20.心跳发送模块，用于向内存队列发送心跳信息；
21.实时监控模块，用于实时监控所述内存队列，并判断所述内存队列里面的信息是否正常；
22.若异常，则将异常信息发送给管理平台；所述管理平台启动数据节点对应的备用接口并将所述备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；
23.若正常，则直接跳过；
24.数据验证模块，用于初步验证数据并标注数据状态，并将数据和数据状态发送至下游；下游判断数据状态是否正常，若正常，则直接写入，若异常，则查看第一状态码，并将所述第一状态码返回至所述管理平台，所述管理平台将储存在本地的原有格式的数据取出写入到消息队列；
25.写入监控模块，用于实时监控写入结果；
26.若写入正常，则直接将正常码写入日志；
27.若写入异常，则将异常信息写入所述内存队列，并将写入异常发送至所述管理平台，所述管理平台将所述数据节点中的信息直接以原格式放入所述消息队列并标注第二状态码。
28.第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现用于实时处理异常数据的方法的步骤。
29.第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现用于实时处理异常数据的方法的步骤。
30.相比现有技术，本技术至少具有以下有益效果：
31.本技术提供了一种用于实时处理异常数据的方法及装置，包括：接收节点异常信息并启动数据节点对应的备用接口并将备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；接收第一状态码并将储存在本地的原有格式的数据取出写入到消息队列；接收写入异常信息并将数据节点中的信息直接以原格式放入消息队列并标注第二状态码。本技术可以将流数据完整的获取，具有实时性，整个管理由系统自动完成，只需要一个人，每天定时看一下新增的二级节点即可，为后续各种的流处理平台提供可靠的数据来源。
附图说明
32.为了更直观地说明现有技术以及本技术，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本技术时的限定条件；例如，本领域技术人员基于本技术揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。
33.图1为本技术实施例一提供的一种用于实时处理异常数据的方法的流程图。
具体实施方式
34.以下结合附图，通过具体实施例对本技术作进一步详述。
35.在本技术的描述中：除非另有说明，“多个”的含义是两个或两个以上。本技术中的术语“第一”、“第二”、“第三”等旨在区别指代的对象，而不具有技术内涵方面的特别意义(例如，不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式，同时还意味着“不限于”(某些单元、部件、材料、步骤等)。
36.本技术中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，通常是为了便于对照附图直观理解，而并非对实际产品中位置关系的绝对限定。在未脱离本技术揭示的技术构思的情况下，这些相对位置关系的改变，当亦视为本技术表述的范畴。
37.实施例一：
38.请参阅图1，本实施例提供一种用于实时处理异常数据的方法，包括：
39.s1：向内存队列发送心跳信息，并实时监控内存队列；
40.具体的，每个节点过500毫秒向内存队列发送一次心跳信息。
41.s2：判断内存队列里面的信息是否正常；
42.s3：若异常，则将异常信息发送给管理平台；管理平台启动数据节点对应的备用接口并将备用接口标注为主接口，将原来的主接口降级为二级备用接口，并使用哈希算法生成一个新的备用接口，向管理员发送邮件，通知其有时间的处理一下二级接口；
43.具体的，数据节点用于接收不同接口的数据，使用哈希算法将每一个主接口打散分布在不同节点，每一个接口设置备用连接使用哈希算法将其和主接口分布在不同的机器上。
44.s4：若正常，则初步验证数据并标注数据状态，将数据原本的格式写入到本地文件中；
45.s5：将数据和数据状态发送至下游；下游判断数据状态是否正常，若正常，则直接写入，若异常，则查看第一状态码，并将所述第一状态码返回至所述管理平台，所述管理平台将储存在本地的原有格式的数据取出写入到消息队列，经异常信息通过邮件发送至管理员；
46.s6：实时监控写入结果；
47.s7：若写入正常，则直接将正常码写入日志；
48.s8：若写入异常，则将异常信息写入所述内存队列，并将写入异常发送至所述管理平台，所述管理平台将所述数据节点中的信息直接以原格式放入所述消息队列并标注第二状态码，将写入异常的信息发送一份邮件通知管理员。
49.本技术中所有传递的消息和数据全部由系统放入数据库中一份，方便管理员查看历史情况，并由管理界面展出。
50.本技术采用分布式和二级主备循环节点的方式设计数据节点，系统中所有的状态信息在各个队列和管理平台中流动并循环，不同时间和不同来源的状态信息有着不同的状态码和备注。
51.本技术可以将流数据完整的获取，并且具有实时性，可以解放大量的人力资源不必盯着数据，管理由系统自动完成，只需要一个人，每天定时看一下新增的二级节点即可，为后续各种的流处理平台提供可靠的数据来源。
52.实施例二：
53.本实施例提供一种用于实时处理异常数据的装置，包括：
54.心跳发送模块，用于向内存队列发送心跳信息；
55.实时监控模块，用于实时监控所述内存队列，并判断所述内存队列里面的信息是否正常；
56.若异常，则将异常信息发送给管理平台；所述管理平台启动数据节点对应的备用接口并将所述备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；
57.若正常，则直接跳过；
58.数据验证模块，用于初步验证数据并标注数据状态，并将数据和数据状态发送至下游；下游判断数据状态是否正常，若正常，则直接写入，若异常，则查看第一状态码，并将所述第一状态码返回至所述管理平台，所述管理平台将储存在本地的原有格式的数据取出写入到消息队列；
59.写入监控模块，用于实时监控写入结果；
60.若写入正常，则直接将正常码写入日志；
61.若写入异常，则将异常信息写入所述内存队列，并将写入异常发送至所述管理平台，所述管理平台将所述数据节点中的信息直接以原格式放入所述消息队列并标注第二状态码。
62.关于用于实时处理异常数据的装置的具体限定可以参见上文中对于用于实时处理异常数据的方法的限定，在此不再赘述。
63.实施例三
64.本实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现用于实时处理异常数据的方法的步骤。
65.实施例四：
66.本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现用于实时处理异常数据的方法的步骤。
67.以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。
68.上文中通过一般性说明及具体实施例对本技术作了较为具体和详细的描述。应当理解，基于本技术的技术构思，还可以对这些具体实施例作出若干常规的调整或进一步的创新；但只要未脱离本技术的技术构思，这些常规的调整或进一步的创新得到的技术方案也同样落入本技术的权利要求保护范围。