数据处理方法、装置及服务器与流程

文档序号:27073032发布日期:2021-10-24 10:14阅读:100来源:国知局
数据处理方法、装置及服务器与流程

1.本发明涉及数据处理技术领域,尤其是涉及一种数据处理方法、装置及服务器。


背景技术:

2.相关技术中,由于边缘节点的非正常采集或通信网络的非正常抖动等原因,会使得部分数据延迟发送至数据中心。数据中心通常将之前由边缘节点正常发送的数据与延迟的数据作为整体数据进行处理,基于预设的业务需求计算对应的业务指标。该方式会对数量较大的正常发送的业务数据进行重复计算,浪费计算资源,成本较高。


技术实现要素:

3.有鉴于此,本发明的目的在于提供一种数据处理方法、装置及服务器,以避免正常数据的重复计算,提高数据处理效率,降低处理成本。
4.第一方面,本发明实施例提供了一种数据处理方法,包括:基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;其中,延迟数据包括:数据产生后,在超出指定时间段后到达当前设备的数据;基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果;对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果;其中,正常数据包括:数据产生后,在指定时间段之内到达当前设备的数据。
5.结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述时间信息包括数据的产生时间以及数据到达当前设备的时间;基于获取到的数据的时间信息,从获取到的数据中确定延迟数据的步骤,包括:判断获取到的数据到达当前设备的时间与产生时间的时间差是否大于指定时间段;如果大于指定时间段,确定获取到的数据为延迟数据。
6.结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,获取到的数据的时间信息,通过以下方式确定:接收预设的边缘节点设备发送的数据日志;记录数据日志到达当前设备的到达时间;对数据日志进行解析,得到数据日志中的数据的产生时间;将数据日志的到达时间确定为数据日志中的数据到达当前设备的时间。
7.结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述时间信息包括数据的产生时间以及数据到达当前设备的时间;延迟数据对应的正常数据的处理结果,通过下述方式得到:判断获取到的数据到达当前设备的时间与产生时间的时间差是否小于或等于指定时间段;如果小于或等于指定时间段,确定获取到的数据为正常数据;基于预设的数据处理方式,对正常数据进行处理,得到正常数据对应的处理结果。
8.结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,上述时间信息包括数据的产生时间;对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果的步骤之前,
方法还包括:将与延迟数据的数据类型相同,且与延迟数据的产生时间处于同一时间段的正常数据,确定为延迟数据对应的正常数据。
9.结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果的步骤之前,上述方法还包括:如果接收到新的延迟数据,基于新的延迟数据更新延迟数据对应的中间结果。
10.结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,基于新的延迟数据更新延迟数据对应的中间结果的步骤,包括:将新的延迟数据更新至延迟数据中,得到更新后的延迟数据;基于预设的数据处理方式,对更新后的延迟数据进行处理,得到更新后的延迟数据对应的中间结果。
11.结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,其中,上述数据处理方式包括多种;每种数据处理方式对应一种业务需求;基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果的步骤,包括:根据不同的业务需求,基于业务需求对应的数据处理方式对所述延迟数据进行处理,得到延迟数据对应的中间结果。
12.结合第一方面,本发明实施例提供了第一方面的第八种可能的实施方式,其中,上述获取到的数据包括多个信息;数据处理方式包括指定信息求和;基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果的步骤,包括:从延迟数据中的多个信息中提取指定信息;对提取到的指定信息进行求和处理,得到求和结果;将求和结果确定为延迟数据对应的中间结果。
13.第二方面,本发明实施例还提供一种数据处理装置,包括:延迟数据确定模块,用于基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;其中,延迟数据包括:数据产生后,在超出指定时间段后到达当前设备的数据;延迟数据处理模块,用于基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果;数据融合模块,用于对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果;其中,正常数据包括:数据产生后,在指定时间段之内到达当前设备的数据。
14.第三方面,本发明实施例还提供一种服务器,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现上述数据处理方法。
15.第四方面,本发明实施例还提供机器可读存储介质,机器可读存储介质存储有机器可执行指令,机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现上述数据处理方法。
16.上述一种数据处理方法、装置及服务器,首先基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;然后基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果;进一步对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,从而得到延迟数据和正常数据对应的最终处理结果。该方式通过对延迟数据进行处理得到中间结果,然后对中间结果和基于正常数据得到的处理结果进行融合处理,得到最终处理结果,提高了数据处理效率,节省了计算资源。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种数据处理方法的应用场景;
19.图2为本发明实施例提供的一种数据处理方法的流程图;
20.图3为本发明实施例提供的另一种数据处理方法的流程图;
21.图4为本发明实施例提供的一种数据处理装置的结构示意图;
22.图5为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
24.相关技术中,数据中心在接收到边缘节点发送的数据后,会基于预设的业务需求,计算数据对应的业务指标。例如,当用户通过个人电脑在某时刻登录了设定网站后,个人电脑将访问记录发送到数据中心,数据中心对某一时间段的该网站的访问量进行统计。为了便于理解,图1示出该应用场景,该场景包括数据中心及多个边缘节点;数据中心与多个边缘节点连接,构成了内容分发网络(content delivery network,简称“cdn”)。其中,数据中心也可以称为中心服务器,边缘节点也可以称为边缘节点设备;边缘节点设备可以为个人电脑、工业设备等。
25.然而,由于边缘节点的非正常采集或通信网络的非正常抖动等原因,会使得少量的数据延迟发送至数据中心,例如用户在早上10点钟访问该网站的产生的访问记录可能会由于上述原因随着12点钟产生的访问记录一同发送至数据中心。针对于该情况,数据中心通常在获得延迟的数据后,将之前由边缘节点正常发送的数据与延迟的数据作为整体数据进行处理,计算对应的业务指标。该方式会对数量较大的正常发送的数据进行重复计算,浪费计算资源,成本较高。
26.基于此,本发明实施例提供的一种数据处理方法、装置以及服务器,可以各种业务系统的数据处理过程中,如销售业务系统,网站业务系统等。
27.为便于对本实施例进行理解,首先对本发明实施例所公开的一种数据处理方法进行详细介绍。
28.首先参见图2所示的一种数据处理方法的流程图;该方法包括如下步骤:
29.步骤s200,基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;其中,延迟数据包括:数据产生后,在超出指定时间段后到达当前设备的数据。
30.上述数据可以由边缘节点发送至数据中心,此时当前设备可以指数据中心。该数据的时间信息可以包括数据的产生时间及数据中心接收到该数据的时间。通常情况下,为了使数据中心实时了解边缘节点的工作状态或业务情况,边缘节点会以设定频率向数据中
心发送数据,或者边缘节点会在约定时间向数据中心发送数据。
31.上述指定时间段可以为边缘节点相邻两次发送数据的时间为端点的时间段,或者为数据中心相邻两次接收数据的时间差的时间为端点的时间段,也可以仅对指定时间段长度进行限定,不对指定时间段的端点进行限定;如指定时间段的时间长度可以与边缘节点相邻两次发送数据的时间差相同等。由于网络数据的传输速度较快,可以将数据中心接收到数据的时间近似作为边缘节点发送该数据的时间。可以将数据的到达数据中心的时间与其产生时间的时间差大于上述指定时间段的数据作为延迟数据。
32.正常情况下,在边缘节点中产生数据后,该数据会在其产生后的指定时间段发送至数据中心。例如,假设边缘节点在10点向数据中心发送数据后,会在10点30分再次向数据中心发送数据;则10点至10点30分之间在边缘节点中产生的数据应该在10点30分发送至数据中心,数据中心此次接收到的数据的指定时间段应该为10点至10点30分。然而,由于数据的非正常传输或网络问题等原因,数据中心接收到的数据可能包括9点30分产生的数据,该数据超出指定时间段到达数据中心,可以将该数据确定为延迟数据。
33.在一些情况下,还会设置最大延迟时间阈值,即当数据在超出指定时间段后才到达当前设备,但是其到达时间与产生时间的时间差已经超过最大延迟时间阈值时,可以丢弃该数据,不进行相关处理。例如,想统计某天上午10点至12点的某网站访问记录,但是相隔两周后接收到了若干条该时间段的该网站访问记录,如果最大延迟时间阈值为一周,则这些数据的到达时间与产生时间的时间差已超过该最大延迟时间阈值,可以丢弃这些数据。
34.步骤s202,基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果。
35.上述数据处理方式通常为相关人员在数据中心预先设定的,与接收到的数据类型及想要了解的边缘节点的信息相关。例如,当边缘节点为个人计算机时,想要实时了解某个区域的某个时间段内的个人计算机的流量使用情况,如总流量、个人计算机的平均流量等;此时,数据中心接收到的数据为该区域内该时间段内的多台个人计算机的流量数据。例如,数据中心想要了解的内容为某个手机销售情况时,其接收到的数据可以为各个零售网点的手机售卖记录等。
36.在上述情况下,上述数据处理方式可以为加和处理,首先将接收到的正常发送的该时间段的流量数据中的流量进行加和处理,得到初步的总流量结果;当接收到延迟数据时,也可以将延迟数据中的流量进行加和,将加和结果作为延迟数据对应的中间结果。上述数据处理方式还可以为求平均值,当接收到若干条延迟数据后,可以将延迟数据中的流量进行求平均值处理,将平均值结果及延迟数据条数作为延迟数据对应的中间结果。上述数据处理方式可以为多种,同样的延迟数据可以基于不同的数据处理方式进行多次处理,得到多个与该数据处理方式对应的延迟数据对应的中间结果。
37.当再一次接收到延迟数据后,可以将此次接收的延迟数据和之前接收到的延迟数据一起按照预设的处理方式进行处理,生成全部延迟数据对应的中间结果。也可以将此次接收到的延迟数据按照预设的处理方式进行处理,得到此次延迟数据对应的中间结果,然后将此次延迟数据对应的中间结果和之前处理得到的延迟数据对应的中间结果进行融合,得到全部延迟数据对应的中间结果。上述两种方式均可行,考虑到数据处理流程的简洁性,
通常在再次接收到延迟数据时采用第一种处理方式。
38.步骤s204,对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果;其中,正常数据包括:数据产生后,在指定时间段之内到达当前设备的数据。
39.上述正常数据通常指与延迟数据的数据类型相同,且及时发送至当前设备的数据,即在指定时间段之内到达当前设备的数据。数据类型相同可以指针对于同一业务需求的数据。例如,延迟数据为边缘节点设备的流量数据时,正常数据也为边缘节点设备的流量数据,且延迟数据和正常数据的产生时间都在数据中心想要了解的流量使用情况对应的时间范围内(即同一业务需求)。
40.为了简化融合处理的过程,上述正常数据的处理结果通常也通过采用预设的数据处理方式对正常数据处理得到。融合处理的方式与预设的数据处理方式相对应,例如,预设的数据处理方式为加和时,正常数据对应的处理结果为正常数据的加和结果,延迟数据对应的中间结果为延迟数据的加和结果,则融合过程为正常数据对应的处理结果和延迟数据的中间结果的加和过程,得到延迟数据和正常数据对应的最终处理结果。
41.上述一种数据处理方法,首先基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;然后基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果;进一步对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,从而得到延迟数据和正常数据对应的最终处理结果。该方式通过对延迟数据进行处理得到中间结果,然后对中间结果和基于正常数据得到的处理结果进行融合处理,得到最终处理结果,提高了数据处理效率,节省了计算资源。
42.本发明实施例还提供另一种数据处理方法,该方法在上述实施例所述方法的基础上实现;该方法重点描述确定获取到的数据的时间信息的具体实现过程(参见步骤s300

s306);当时间信息包括数据的产生时间以及数据到达当前设备的时间时,基于获取到的数据的时间信息,从获取到的数据中确定正常数据及延迟数据及对二者进行处理的具体实现过程(参见步骤s308

s316),以及确定延迟数据对应的正常数据的具体实现过程(参见步骤s318);如图3所示,该方法包括如下步骤:
43.步骤s300,接收预设的边缘节点设备发送的数据日志。
44.上述数据日志可以为日志文件。一个日志文件中通常包括多条日志。每条数据通常以字符串的形式保存为一条日志。边缘节点设备在向数据中心发送数据时,通常将数据以日志文件的形式发送。
45.步骤s302,记录数据日志到达当前设备的到达时间。其中,该到达时间可以以时间戳的形式进行记录;时间戳(time stamp),通常是一个字符序列,唯一地标识某一刻的时间,以统一边缘节点设备和数据中心的时间。
46.步骤s304,对数据日志进行解析,得到数据日志中的数据的产生时间。一条数据在产生的时候,其产生时间也是该数据的一部分,数据的其他信息和产生时间会基于预设的算法生成日志,日志通常以一串字符串表示。日志的解析过程相当于日志生成过程的逆过程。对日志进行解析,可以得到该日志保存的数据的产生时间和其他信息,如数据为流量数据时,可以得到该流量的使用时间和使用量,还可以包括流量流向等信息。其中,数据的产生信息也可以以时间戳的形式保存在日志中。
47.步骤s306,将数据日志的到达时间确定为数据日志中的数据到达当前设备的时间。由于数据已经以日志的形式保存在数据日志中,因此数据日志在当前设备的到达时间与数据到达当前设备的时间相同。
48.步骤s308,判断获取到的数据到达当前设备的时间与产生时间的时间差是否大于指定时间段;如果小于或等于指定时间段,执行步骤s310;如果大于指定时间段,执行步骤s314。
49.具体实现时,当指定时间段包括时间节点时,可以基于时间节点得到指定时间段的时间长度。将计算得到的数据到达当前设备的时间与产生时间的时间差与指定时间段的时间长度进行比较。当指定时间段不包括时间节点,仅包括时间长度时,可以直接将计算得到的数据到达当前设备的时间与产生时间的时间差与指定时间段进行比较,从而判断该数据是否在及时到达当前设备。
50.步骤s310,确定获取到的数据为正常数据。具体而言,即当获取到的数据在指定时间段到达当前设备时,该数据为正常数据。
51.步骤s312,基于预设的数据处理方式,对正常数据进行处理,得到正常数据对应的处理结果,执行步骤s300。虽然正常数据可能不包含所有需要进行处理的数据,但通常情况下大部分数据都会正常发送到当前设备,并且为了对数据进行及时处理,可以基于预设的数据处理方式对接收到的正常数据进行处理,得到一个处理结果,作为该数据处理方式对应的业务需求的初步结果。然后将该处理结果进行存储至预设的正常数据的处理结果存储位置。如果有需求,也可以将该数据作为对应的业务需求的初步结果展示给相关人员。
52.步骤s314,确定获取到的数据为延迟数据。具体而言,即当获取到的数据晚于指定时间段到达当前设备时,该数据为延迟数据。
53.步骤s316,基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果。
54.在具体实现时,上述数据处理方式可以包括多种;每种数据处理方式对应一种业务需求;例如,针对于手机销售数据,业务需求可以为在统计某个品牌手机的销售额,也可以为统计所有品牌手机的销售额,还可以为统计某个区域的某个品牌手机的销售额等等。在具体实现时,可以根据不同的业务需求,基于业务需求对应的数据处理方式对延迟数据进行处理,得到延迟数据对应的中间结果。
55.上述获取到的数据通常包括多个信息,如手机销售数据可以包括品牌,销售个数,销售区域,销售商时间等;当业务需求为统计某个品牌的手机的销售额时,对应的数据处理方式可以为指定信息求和;此时,上述步骤s316可以通过以下方式实现:
56.(1)从延迟数据中的多个信息中提取指定信息。其中,对应于该业务需求,该指定信息为各个数据中该品牌的手机的销售额。
57.(2)对提取到的指定信息进行求和处理,得到求和结果。
58.(3)将求和结果确定为延迟数据对应的中间结果。
59.在接收到延迟数据,并采用上述方法按照预设的数据处理方式处理该延迟数据后,通常会把延迟数据保存至预设的延迟数据存储位置,将延迟数据对应的中间结果保存至预设的中间结果存储位置。如果又接收到新的延迟数据,可以基于新的延迟数据更新延迟数据对应的中间结果。此时可以将新的延迟数据更新至延迟数据中,得到更新后的延迟
数据。
60.具体而言,可以从预设的延迟数据存储位置读取与新的延迟数据数据类型相同,且产生于同一时间段的延迟数据;然后将读取到的延迟数据与新的延迟数据确定为更新后的延迟数据;进而再基于预设的数据处理方式,对更新后的延迟数据进行处理,得到更新后的延迟数据对应的中间结果。该中间结果可以是由多次接收的同数据类型,同一时间段产生的延迟数据经过多次处理得到的。
61.步骤s318,将与延迟数据的数据类型相同,且与延迟数据的产生时间处于同一时间段的正常数据,确定为延迟数据对应的正常数据。
62.当前设备在接收到正常数据时,通常会将正常数据按照预设的数据处理方式进行处理,并将正常数据及处理结果在预设的存储位置进行保存。当接收到延迟数据时,可以根据延迟数据的数据类型及延迟数据的产生时间,在预设的存储位置查找与该延迟数据的数据类型相同及产生时间处于同一时间段的正常数据,作为该延迟数据对应的正常数据。
63.步骤s320,对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果。
64.上述最终处理结果为当前的延迟数据和正常数据对应的最终处理结果。如果接收到新的延迟数据,并基于新的延迟数据更新中间结果后,继续采用上述步骤s320,基于更新后的中间结果和正常数据对应的处理结果进行融合处理,得到更新后的最终数据结果。
65.上述方法中,通过对接收到的数据日志进行解析,得到数据的产生时间,并在数据的到达时间与产生时间的时间差大于指定时间段时,将数据确定为延迟数据;然后基于预设的数据处理方式对延迟数据进行处理,得到中间结果,再将延迟数据对应的正常数据的处理结果与该中间结果进行融合,得到最终结果,避免了正常数据的重复计算,提高了计算效率。
66.本发明实施例还提供了另一中数据处理方法,该方法在图2所示的方法的基础上实现。
67.数据延迟通常由数据采集装置(相当于“上述边缘节点设备”)的非正常采集和传输网络的非正常抖动所造成的,数据延迟的主要表现是数据产生时间与数据处理时间存在较大偏差,导致在计算任务处理时,遗漏掉延迟的数据,导致最终结果的准确性不高。
68.相关技术中,为了解决最终结果准确性不高的问题,可以通过全量数据重复计算完成对延迟数据的分析处理;其中,全量数据包括正常发送的数据和延迟发送的数据,因此正常发送的数据通常需要进行重复计算。全量数据重复计算的方式浪费计算资源,成本高,会导致系统不稳定。在多次接收到延迟数据的情况下,该方式的缺点更加明显。
69.本发明实施例提供的方法通过对延迟数据的识别分类,将延迟数据与正常数据分开存储,并通过一条计算任务进行处理,由正常数据得到的处理结果与延迟数据得到的中间结果也进行分开存储,在进入最终的存储系统时将延迟数据的中间结果与正常数据的处理结果进行合并操作,得到最终处理结果,通过该方法最终降低计算成本,提升系统的可靠性。
70.该方法也可以称为对延迟数据的数据融合方法,主要通过计算任务的多次异源执行(异源执行:表示多次运行读取不同的原始数据,这里主要指延迟数据),将延迟数据单独处理;该方法应用于与边缘节点设备连接的中心服务器,该方法的具体步骤如下:
71.(1)通过日志(相当于上述数据日志)的解析环节将正常数据与延迟数据分开写入不同的数据存储中;具体而言,通过日志时间(即数据的产生时间)与任务运行的基准时间(数据开始处理的时间,由于对数据进行实时处理,该时间也可以认为是数据到达中心服务器的时间)区分正常数据与延迟数据,延迟数据为到达中心服务器的时间与产生时间大于预设的时间阈值的数据。
72.(2)将计算任务分为两部分,第一部分进行粗粒度的聚合操作,减少数据量(相当于基于预设的数据处理方式,对正常数据进行处理,得到正常数据的处理结果,以及基于预设的数据处理方式,对延时数据进行处理,得到延时数据的中间结果的过程),第二部分主要针对不同的需求,构建数据集市。
73.数据集市(data mart),也叫数据市场,可以视为保存多个业务需求对应的业务指标的数据库,其中这里的业务指标可以为上述即为正常数据及延迟数据得到的最终处理结果。
74.在第一部分中,任务第一次运行读取正常数据(最先得到正常数据),并将结果数据写入到正常的结果存储中,在非第一次运行时读取延迟数据,将结果数据写入到延迟的结果存储中,然后在计算任务的第二部分,将正常的结果存储中的数据与延迟的结果存储中的数据同时读取出来进行处理,将最终的结果输出到数据集市层的相应存储中,在降低计算成本的同时,实现正常数据与延迟数据的融合,完成各类数据需求。
75.上述数据处理方法,通过数据的到达时间将正常数据与延迟数据进行区分,对正常数据进行一次计算,对延迟数据进行多次更新及计算,降低因数据延迟导致的数据误差,然后将延迟数据与正常数据进行合并写入存储系统,完成对延迟数据的处理。该方式提高了数据处理的效率,节省了计算资源。
76.对应于上述数据处理方法实施例,本发明实施例提供了一种数据处理装置,如图4所示,该装置包括:
77.延迟数据确定模块400,用于基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;其中,延迟数据包括:数据产生后,在超出指定时间段后到达当前设备的数据;
78.延迟数据处理模块402,用于基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果;
79.数据融合模块404,用于对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,得到延迟数据和正常数据对应的最终处理结果;其中,正常数据包括:数据产生后,在指定时间段之内到达当前设备的数据。
80.上述一种数据处理装置,首先基于获取到的数据的时间信息,从获取到的数据中确定延迟数据;然后基于预设的数据处理方式,对延迟数据进行处理,得到延迟数据对应的中间结果;进一步对延迟数据对应的中间结果以及延迟数据对应的正常数据的处理结果进行融合处理,从而得到延迟数据和正常数据对应的最终处理结果。该方式通过对延迟数据进行处理得到中间结果,然后对中间结果和基于正常数据得到的处理结果进行融合处理,得到最终处理结果,提高了数据处理效率,节省了计算资源。
81.进一步地,上述时间信息包括数据的产生时间以及数据到达当前设备的时间;上述延迟数据确定模块还用于:判断获取到的数据到达当前设备的时间与产生时间的时间差是否大于指定时间段;如果大于指定时间段,确定获取到的数据为延迟数据。
82.进一步地,上述装置还包括时间获取模块,用于:接收预设的边缘节点设备发送的数据日志;记录数据日志到达当前设备的到达时间;对数据日志进行解析,得到数据日志中的数据的产生时间;将数据日志的到达时间确定为数据日志中的数据到达当前设备的时间。
83.进一步地,上述时间信息包括数据的产生时间以及数据到达当前设备的时间;上述装置还包括处理结果获取模块,用于:判断获取到的数据到达当前设备的时间与产生时间的时间差是否小于或等于指定时间段;如果小于或等于指定时间段,确定获取到的数据为正常数据;基于预设的数据处理方式,对正常数据进行处理,得到正常数据对应的处理结果。
84.进一步地,上述时间信息包括数据的产生时间;上述装置还包括正常数据确定模块,用于:将与延迟数据的数据类型相同,且与延迟数据的产生时间处于同一时间段的正常数据,确定为延迟数据对应的正常数据。
85.进一步地,上述装置还包括中间结果更新模块,用于:如果接收到新的延迟数据,基于新的延迟数据更新延迟数据对应的中间结果。
86.进一步地,上述中间结果更新模块还用于:将新的延迟数据更新至延迟数据中,得到更新后的延迟数据;基于预设的数据处理方式,对更新后的延迟数据进行处理,得到更新后的延迟数据对应的中间结果。
87.进一步地,上述数据处理方式包括多种;每种数据处理方式对应一种业务需求;上述延迟数据处理模块还用于:根据不同的业务需求,基于业务需求对应的数据处理方式对延迟数据进行处理,得到延迟数据对应的中间结果。
88.进一步地,上述获取到的数据包括多个信息;数据处理方式包括指定信息求和;上述延迟数据处理模块还用于:从延迟数据中的多个信息中提取指定信息;对提取到的指定信息进行求和处理,得到求和结果;将求和结果确定为延迟数据对应的中间结果。
89.本发明实施例所提供的数据处理装置,其实现原理及产生的技术效果和前述数据处理方法实施例相同,为简要描述,数据处理装置实施例部分未提及之处,可参考前述数据处理方法实施例中相应内容。
90.本发明实施例还提供了一种服务器,参见图5所示,该服务器包括处理器130和存储器131,该存储器131存储有能够被处理器130执行的机器可执行指令,该处理器130执行机器可执行指令以实现上述数据处理方法。
91.进一步地,图5所示的服务器还包括总线132和通信接口133,处理器130、通信接口133和存储器131通过总线132连接。
92.其中,存储器131可能包含高速随机存取存储器(ram,random access memory),也可能还包括非不稳定的存储器(non

volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线132可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
93.处理器130可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上
述的处理器130可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processing,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现成可编程门阵列(field

programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131,处理器130读取存储器131中的信息,结合其硬件完成前述实施例的方法的步骤。
94.本发明实施例还提供了一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现上述数据处理方法,具体实现可参见方法实施例,在此不再赘述。
95.本发明实施例所提供的数据处理方法及装置和服务器的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
96.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
97.最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1