一种数据处理方法、装置及系统与流程

文档序号:32305580发布日期:2022-11-23 09:52阅读:38来源:国知局

1.本技术涉及通信技术领域,尤其涉及一种数据处理方法、装置及系统。


背景技术:

2.服务系统是对特定的技术或组织的一种网络化配置,用来提供服务以满足顾客的需求和期望。以汽车产业领域为例,汽车产业领域的服务系统一般为车联网系统,包括三大部分:车载智能终端、云端数据处理平台、数据分析平台。车载智能终端负责采集车辆实时运行数据,并发送到云端数据处理平台,由云端数据处理平台负责处理接收的车辆实时运行数据,数据分析平台则负责对处理后的车辆实时运行数据进行报表式处理,供管理人员查看决策。
3.但是,随着分布式及时、云技术、大数据技术等的飞速发展,各种服务系统逐步大型化、复杂化。当终端设备通信数量较多时,数据量并发大,如果云端数据处理平台出现并发性瓶颈、不能及时处理智能终端上报的大量终端数据,轻则会导致丢包,重则可能导致终端设备连接中断,对整个服务系统产生灾难性影响。
4.因此,亟需一种有效的数据处理方法用以解决服务系统在数据量高并发的情况下,对终端数据的实时高效处理的需求。


技术实现要素:

5.本技术提供了一种数据处理方法、装置及系统,解决了服务系统在数据量高并发的情况下,无法实现对终端数据的实时高效处理的技术问题。
6.一方面,提供了一种数据处理方法,所述方法应用于数据处理平台,所述数据处理平台包括各个服务节点、数据调度模块及数据库,所述方法包括:
7.从各个目标车辆中分别接收车辆数据;
8.将各个车辆数据分配至各个服务节点;
9.数据调度模块获取订阅需求,并根据所述订阅需求,从所述各个服务节点中接收目标车辆数据;
10.数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果;
11.数据调度模块将所述处理结果发送至数据库中。
12.又一方面,提供了一种数据处理装置,包括:
13.车辆数据获取模块,用于从各个目标车辆中分别接收车辆数据;
14.车辆数据分配模块,用于将各个车辆数据分配至各个服务节点;
15.目标车辆数据接收模块,用于数据调度模块获取订阅需求,并根据所述订阅需求,从所述各个服务节点中接收目标车辆数据;
16.处理结果获取模块,用于控制数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果;
17.处理结果发送模块,用于控制数据调度模块将所述处理结果发送至数据库中。
18.在一种可能的实施方式中,所述目标车辆数据接收模块,包括:
19.订阅配置文件获取子模块,用于控制所述数据调度模块获取订阅需求,并基于所述订阅需求获取订阅配置文件;所述订阅配置文件包括目标服务节点的域名、目标服务节点的端口、用户名密码及需要订阅的车辆数据的主题;
20.目标车辆数据获取子模块,用于控制所述数据调度模块基于所述订阅配置文件,从所述各个服务节点中接收目标车辆数据。
21.在一种可能的实施方式中,所述目标车辆数据获取子模块,用于:
22.针对每个服务节点,控制所述数据调度模块建立与所述服务节点对应的接收线程,并根据所述接收线程建立与所述服务节点的通信连接;
23.控制所述数据调度模块基于所述订阅配置文件,通过与所述各个服务节点对应的接收线程,分别从所述各个服务节点中多线程接收所述目标车辆数据。
24.在一种可能的实施方式中,所述处理结果获取模块,用于:
25.通过所述数据调度模块与各个服务节点对应的各个线程,将所述目标车辆数据与所述目标车辆数据的主题按照目标格式进行合并处理,获取各个处理结果。
26.在一种可能的实施方式中,所述数据处理装置还用于:控制所述数据调度模块对所述各个处理结果进行无锁队列下的中转缓存。
27.在一种可能的实施方式中,所述处理结果发送模块,还用于:
28.控制所述数据调度模块将所述各个处理结果按照数据类型进行数据分类,以获得各个类别的处理结果集合;
29.在所述数据调度模块满足指定条件时,将所述各个类别的处理结果集合发送至数据库中。
30.在一种可能的实施方式中,所述数据处理平台还包括负载均衡模块,所述数据处理装置还用于:
31.控制所述负载均衡模块从各个目标车辆中分别接收车辆数据,并将各个车辆数据均衡分配至所述各个服务节点。
32.在一种可能的实施方式中,所述数据处理装置还用于:在所述各个目标车辆与所述各个服务节点之间基于消息队列遥测传输协议建立连接。
33.再一方面,提供了一种数据处理系统,包括:各个目标车辆、数据处理平台及数据分析平台,其中,所述数据处理平台包括负载均衡模块、各个服务节点、消息队列服务模块、数据调度模块、数据库;
34.其中,所述负载均衡模块,用于从各个目标车辆中分别接收车辆数据,并将各个车辆数据分配至各个服务节点;
35.所述数据调度模块,用于获取订阅需求,并根据所述订阅需求,从所述各个服务节点中接收目标车辆数据;
36.所述数据调度模块,用于通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果;
37.所述数据调度模块,用于将所述处理结果发送至数据库中;
38.所述数据分析平台,用于对数据库中的车辆数据进行报表式处理,并获取处理结
果。
39.又一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如本技术所述的一种数据处理方法。
40.再一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如本技术所述的一种数据处理方法。
41.本技术提供的技术方案可以包括以下有益效果:
42.在需要将多个车辆发送的车联网数据进行处理的情况下,可以通过数据处理平台分别接受各个车辆所发送的车辆数据,并将各个车辆数据分配至各个服务节点,此时数据处理平台中的数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。上述方案,通过在数据调度模块中设立多个线程,以分别对多个服务节点发送的目标车辆数据进行并行处理,从而能够达到对高并发车辆数据的快速处理,提高了整个系统对车联网数据消息的处理能力。
附图说明
43.为了更清楚地说明本技术的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
44.图1是根据一示例性实施例示出的一种车联网系统的结构示意图。
45.图2是根据一示例性实施例示出的一种数据处理方法的方法流程图。
46.图3是根据一示例性实施例示出的一种数据处理方法的方法流程图。
47.图4是根据一示例性实施例涉及的多线程结构示意图。
48.图5是根据一示例性实施例示出的一种数据处理装置的结构方框图。
49.图6是根据一示例性实施例示出的一种数据处理系统的结构示意图。
50.图7是根据一示例性实施例示出的一种计算机设备示意图。
具体实施方式
51.下面将结合附图对本技术的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
52.应理解,在本技术实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
53.图1是根据一示例性实施例示出的一种车联网系统的结构示意图。该车联网系统100中包含车载智能终端110、云端数据处理平台120以及数据分析平台130。
54.可选的,车载智能终端110负责采集各个车辆的车辆实时运行数据,实现对各个车辆的工作信息、安全数据、行驶数据、位置信息等数据信息进行采集,并将采集到的车辆实时运行数据发送到云端数据处理平台120;
55.可选的,云端数据处理平台120负责处理接收的车辆实时运行数据,并将该车辆实
时运行数据进行过滤处理、二次封装处理及分类缓存处理等处理,并将处理后的车辆实时运行数据一同发送到数据分析平台130;
56.可选的,数据分析平台130则负责对处理后的车辆实时运行数据进行报表式处理,供管理人员查看决策。
57.可选的,上述云端数据处理平台120可以是由多个物理服务器构成的服务器集群或者是分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等技术运计算服务的云服务器。
58.可选的,该系统还可以包括管理设备,该管理设备用于对该系统进行管理(如管理各个模块与服务器之间的连接状态等),该管理设备与服务器之间通过通信网络相连。可选的,该通信网络是有线网络或无线网络。
59.可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网,但也可以是其他任何网络,包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
60.图2是根据一示例性实施例示出的一种数据处理方法的流程图。该方法由数据处理平台执行。如图2所示,该数据处理方法可以包括如下步骤:
61.步骤s201、从各个目标车辆中分别接收车辆数据。
62.在车辆网应用场景中,为了对联网的车辆提供服务,通常需要设置服务中心,获取车联网中的各个目标车辆的车辆数据,在本技术实施例中,在服务中心对车辆数据进行获取之前,可以通过数据处理平台实现各个车辆数据的接收以及预处理。例如,当数据处理平台为如图1所示的车联网系统100中的云端数据处理平台120时,该数据处理平台可以通过云端数据处理平台中的负载均衡模块执行对各个目标车辆的车辆数据的接收。该负载均衡模块可以与各个目标车辆建立通信连接,并获取到目标车辆所发送的车辆数据。其中,该负载均衡模块为虚拟服务器,用于数据的均衡转发。
63.在一种可能的实施方式中,数据处理平台从车载智能终端中获取各个目标车辆的车辆数据,该车辆数据包括:目标车辆的工作信息、安全数据、行驶数据、位置信息等数据。
64.在一种可能的实现方式中,数据处理平台从车载智能终端中接收各个目标车辆的车辆数据的同时,还会接收各个目标车辆的车辆数据所对应的主题。例如,该主题可以用于指示目标车辆的车辆品牌、车辆型号等车辆信息。
65.步骤s202、将各个车辆数据分配至各个服务节点。
66.在一种可能的实施方式中,该数据处理平台包括各个服务节点,在获取各个目标车辆的车辆数据及主题后,该数据处理平台将各个目标车辆的车辆数据及主题均衡分配至各个服务节点。
67.例如,当数据处理平台为如图1所示的车联网系统100中的云端数据处理平台120时,该数据处理平台可以通过云端数据处理平台中的负载均衡模块,将接收到的各个目标
车辆的车辆数据及主题转发至各个服务节点。
68.步骤s203、数据调度模块获取订阅需求,并根据该订阅需求,从该各个服务节点中接收目标车辆数据。
69.在一种可能的实施方式中,在各个服务节点接收到各个目标车辆的车辆数据及主题后,该数据处理平台中的数据调度模块获取用户对车辆数据的订阅需求,再根据该订阅需求,对该各个服务节点中的车辆数据及主题进行过滤,再对过滤后的车辆数据及主题进行多线程接收,获取目标车辆数据及目标主题,实现消息的订阅。
70.步骤s204、数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。
71.在一种可能的实施方式中,在数据调度模块实现消息的订阅后,通过与各个服务节点对应的各个线程,对获取的目标车辆数据及目标主题按照目标格式执行数据合并处理操作,并获取处理结果。
72.例如,当目标主题中包含了目标车辆对应的车辆型号时,通过数据合并处理操作,即对目标车辆数据的格式进行转换,从而使得转换后得到的处理结果中,既包含目标车辆数据也包含目标车辆数据的目标主题。
73.数据调度模块会对获取的处理结果进行中转缓存,以便于后续的数据写入数据库。其中,目标格式可以人为的预设也可以计算机根据客户需要自动生成,便于用户读取即可。
74.步骤s205、数据调度模块将该处理结果发送至数据库中。
75.在一种可能的实施方式中,数据调度模块在获取处理结果后将该处理结果写入数据库中,便于数据分析平台对数据库中的车辆数据进行报表式处理,并获取处理结果,供管理人员查看决策。
76.综上所述,在需要将多个车辆发送的车联网数据进行处理的情况下,可以通过数据处理平台分别接受各个车辆所发送的车辆数据,并将各个车辆数据分配至各个服务节点,此时数据处理平台中的数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。上述方案,通过在数据调度模块中设立多个线程,以分别对多个服务节点发送的目标车辆数据进行并行处理,从而能够达到对高并发车辆数据的快速处理,提高了整个系统对车联网数据消息的处理能力。
77.图3是根据一示例性实施例示出的一种数据处理方法的方法流程图。该方法由数据处理平台执行。如图3所示,该数据处理方法可以包括如下步骤:
78.步骤s301、从各个目标车辆中分别接收车辆数据。
79.在一种可能的实施方式中,数据处理平台分别从各个车辆上的车载智能终端中获取各个目标车辆的车辆数据,该车辆数据包括:目标车辆的工作信息、安全数据、行驶数据、位置信息等数据。
80.步骤s302、将各个车辆数据分配至各个服务节点。
81.在一种可能的实施方式中,该数据处理平台还包括负载均衡模块,负载均衡模块从各个目标车辆中分别接收车辆数据及该车辆数据对应的主题,并将各个车辆数据及主题均衡分配至该各个服务节点。
82.可选的,该负载均衡模块可为lvs负载均衡(linux virtual server),linux虚拟
服务器,是一个虚拟的四层交换器集群系统,根据目标地址和目标端口实现用户请求转发,本身不产生流量,只做用户请求转发,目前是负载均衡性能最好的集群系统,负载均衡实现了很好可伸缩性,节点数目可以增长到几千。具体到本技术中,lvs负载均衡(linux virtual server)在获取各个目标车辆的车辆数据及主题后,将各个目标车辆的车辆数据均衡分配至各个服务节点。
83.在一种可能的实施方式中,该各个目标车辆与各个服务节点之间基于消息队列遥测传输协议建立连接。
84.可选的,该数据处理平台还包括消息队列服务模块,该消息队列服务模块包括若干个服务节点。其中,各个目标车辆与各个服务节点之间基于消息队列遥测传输协议(message queuing telemetry transport,mqtt)建立连接,消息队列遥测传输协议(message queuing telemetry transport,mqtt)是一种基于发布/订阅(publish/subscribe)模式的轻量级协议,该协议构建于tcp/ip协议之上,其最大优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。
85.可选的,该消息队列服务模块中各个服务节点采用的mqtt服务软件是mosquitto,mosquitto是一款实现了消息队列遥测传输协议(message queuing telemetry transport,mqtt)的开源的消息代理和队列软件,提供轻量级的,支持可发布/可订阅的的消息推送模式。在本技术中,mosquitto提供了消息发布、消息订阅服务,即各个服务节点接收到各个目标车辆的车辆数据后,对接收到的数据以多级主题的格式提供消息发布功能,并为后续的数据调度模块提供消息订阅功能,多级主题的应用减少并规划了车辆数据的种类,缩短了分类调度需要的时间。
86.其中,本技术中的多级主题格式可采用“u/车企名称/车型/车辆vin/车载终端唯一编码/组件类型/数据类型”的消息主题格式进行发布,这样的消息主题格式是一个层层递进的关系,可通过多层通配符同时匹配,每一级表示的意思如表1所示:
[0087][0088][0089]
表1
[0090]
步骤s303、该数据调度模块获取订阅需求,并基于该订阅需求获取订阅配置文件。
[0091]
在一种可能的实施方式中,该订阅配置文件包括目标服务节点的域名、目标服务节点的端口、用户名密码及需要订阅的车辆数据的主题。
[0092]
可选的,在各个服务节点接收到目标车辆的车辆数据及主题后,该数据调度模块获取用户对车辆数据的订阅需求,再根据该订阅需求获取订阅配置文件。
[0093]
步骤s304、该数据调度模块基于该订阅配置文件,从该各个服务节点中接收目标车辆数据。
[0094]
在一种可能的实施方式中,针对每个服务节点,该数据调度模块建立与该服务节点对应的接收线程,并根据该接收线程建立与该服务节点的通信连接;
[0095]
该数据调度模块基于该订阅配置文件,通过与该各个服务节点对应的接收线程,分别从该各个服务节点中多线程接收该目标车辆数据。
[0096]
可选的,如图4所示的多线程结构示意图,在数据调度模块获取订阅配置文件后,针对每个服务节点,该数据调度模块单独建立一个与该服务节点对应的接收线程,并根据该接收线程建立与该服务节点的通信连接,在建立完所有接收线程并实现通信连接后,该数据调度模块基于该订阅配置文件,对该各个服务节点中的车辆数据及主题进行过滤,并通过与该各个服务节点对应的接收线程,分别从该各个服务节点中多线程接收过滤后的车辆数据及主题,获取目标车辆数据及目标主题,以实现该数据调度模块基于该订阅配置文件进行消息的订阅。
[0097]
可选的,在该数据调度模块基于该订阅配置文件进行消息的订阅时,需要先对每个服务节点的“u/#”主题进行订阅,再基于该主题实现车辆数据的订阅。其中,“u/#”代表接收所有上行数据,#表示多层通配符,该多层通配符可以匹配于多级主题,即多层通配符可以匹配符合通配符之前主题层级的所有子集主题。
[0098]
步骤s305、数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。
[0099]
在一种可能的实施方式中,该数据调度模块通过与各个服务节点对应的各个线程,将该目标车辆数据与该目标车辆数据的主题按照目标格式进行合并处理,获取各个处理结果。
[0100]
在一种可能的实施方式中,数据调度模块对该各个处理结果进行无锁队列下的中转缓存。
[0101]
可选的,数据调度模块作为数据的消费者,在实现基于该订阅配置文件进行消息的订阅后,该数据调度模块对订阅到的信息(即目标车辆数据与目标主题)进行解析,得到具体的车辆数据与主题,在实现解析后,该数据调度模块通过与各个服务节点对应的各个线程,将解析后的车辆数据与主题按照目标格式进行合并处理,获取各个处理结果。
[0102]
其中,将解析后的目标车辆数据与目标主题按照目标格式进行合并处理,获取各个处理结果(即最终的订阅消息),即为基于目标主题在解析后的目标车辆数据中追加信息,将解析后的车辆数据转换成目标格式,以获取目标订阅消息。追加的信息有:车企名称、车型分类、车辆vin、终端唯一编码、组件类型、上传数据类型、收到事件的时间戳。
[0103]
可选的,该数据调度模块在获取各个处理结果后,会对该处理结果进行临时的中转缓存,如图4所示,在进行临时中转缓存时采用无锁队列,无锁队列就是一个无锁状态的队列,在多个线程同时操作数据的时候不需要加锁,因为加/解锁都是一个很消耗系统资源的动作,采用无锁队列可以减少缓存的时间,降低对系统资源的消耗。
[0104]
步骤s306、数据调度模块将该处理结果发送至数据库中。
[0105]
在一种可能的实施方式中,该数据调度模块将各个处理结果(即最终的订阅消息)按照数据类型进行数据分类;
[0106]
并将同一数据类型下的数据处理结果(即最终的订阅消息)一次写入数据库。
[0107]
在一种可能的实施方式中,该数据调度模块将该各个处理结果按照数据类型进行
数据分类,以获得各个类别的处理结果集合;
[0108]
在该数据调度模块满足指定条件时,将该各个类别的处理结果集合发送至数据库中。
[0109]
进一步的,该指定条件的有如下几种可能:一种是按照处理结果(即最终的订阅消息)获取的周期,到一定周期时间后系统自动将该各个类别的处理结果集合(即最终的订阅消息集合)按类别发送至数据库中;一种是在数据调度模块存储到一定数量的处理结果(即最终的订阅消息)时,按类别自动至数据库中;一种是在系统接收到具体的发送指令时,将该各个类别的处理结果集合(即最终的订阅消息集合)发送至数据库中。
[0110]
可选的,该数据调度模块在获取目标订阅消息后,会将目标订阅消息写入数据库中,该数据库可为redis数据库,redis数据库是一种开源的高性能内存型数据库,可以缓存存储该数据调度模块获取的目标订阅消息,最后供数据分析平台调取。
[0111]
可选的,该数据调度模块会将目标订阅消息写入数据库时,可采用管道技术(pipeline)以提高系统吞吐量,指的是客户端(即数据调度模块)将多个请求一次发给服务端(数据库),过程中不需要等待请求的回复,最后再一并读取结果即可,即将满足指定条件的订阅消息集合发送至数据库中。
[0112]
例如,对于”一次数据上报->写一次redis数据库->读一次写入结果”这样的读写模型,数据库的操作过于频繁,很快就会导致系统延时过高,吞吐量低下,无法满足目标。经过对业务代码做优化,将其中redis数据库操作大量合并,同类型的数据累积后一次写入能够明显提升系统的吞吐量,解决单次写redis数据库效率低下的问题。
[0113]
经实际验证,一次写10条数据的效率是一次写1条数据效率的7倍;一次写100条数据的效率是一次写1条数据效率的30倍。
[0114]
综上所述,在需要将多个车辆发送的车联网数据进行处理的情况下,可以通过数据处理平台分别接受各个车辆所发送的车辆数据,并将各个车辆数据分配至各个服务节点,此时数据处理平台中的数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。上述方案,通过在数据调度模块中设立多个线程,以分别对多个服务节点发送的目标车辆数据进行并行处理,从而能够达到对高并发车辆数据的快速处理,提高了整个系统对车联网数据消息的处理能力。
[0115]
图5是根据一示例性实施例示出的一种数据处理装置的结构方框图,该数据处理装置包括:
[0116]
车辆数据获取模块501,用于从各个目标车辆中分别接收车辆数据;
[0117]
车辆数据分配模块502,用于将各个车辆数据分配至各个服务节点;
[0118]
目标车辆数据接收模块503,用于数据调度模块获取订阅需求,并根据该订阅需求,从该各个服务节点中接收目标车辆数据;
[0119]
处理结果获取模块504,用于控制数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果;
[0120]
处理结果发送模块505,用于控制数据调度模块将该处理结果发送至数据库中。
[0121]
在一种可能的实施方式中,该目标车辆数据接收模块503,包括:
[0122]
订阅配置文件获取子模块,用于控制该数据调度模块获取订阅需求,并基于该订阅需求获取订阅配置文件;该订阅配置文件包括目标服务节点的域名、目标服务节点的端
口、用户名密码及需要订阅的车辆数据的主题;
[0123]
目标车辆数据获取子模块,用于控制该数据调度模块基于该订阅配置文件,从该各个服务节点中接收目标车辆数据。
[0124]
在一种可能的实施方式中,该目标车辆数据获取子模块,用于:
[0125]
针对每个服务节点,控制该数据调度模块建立与该服务节点对应的接收线程,并根据该接收线程建立与该服务节点的通信连接;
[0126]
控制该数据调度模块基于该订阅配置文件,通过与该各个服务节点对应的接收线程,分别从该各个服务节点中多线程接收该目标车辆数据。
[0127]
在一种可能的实施方式中,该处理结果获取模块504,用于:
[0128]
通过该数据调度模块与各个服务节点对应的各个线程,将该目标车辆数据与该目标车辆数据的主题按照目标格式进行合并处理,获取各个处理结果。
[0129]
在一种可能的实施方式中,该数据处理装置还用于:控制该数据调度模块对该各个处理结果进行无锁队列下的中转缓存。
[0130]
在一种可能的实施方式中,该处理结果发送模块505,还用于:
[0131]
控制该数据调度模块将该各个处理结果按照数据类型进行数据分类,以获得各个类别的处理结果集合;
[0132]
在该数据调度模块满足指定条件时,将该各个类别的处理结果集合发送至数据库中。
[0133]
在一种可能的实施方式中,该数据处理平台还包括负载均衡模块,该数据处理装置还用于:
[0134]
控制该负载均衡模块从各个目标车辆中分别接收车辆数据,并将各个车辆数据均衡分配至该各个服务节点。
[0135]
在一种可能的实施方式中,该数据处理装置还用于:在该各个目标车辆与该各个服务节点之间基于消息队列遥测传输协议建立连接。
[0136]
综上所述,在需要将多个车辆发送的车联网数据进行处理的情况下,可以通过数据处理平台分别接受各个车辆所发送的车辆数据,并将各个车辆数据分配至各个服务节点,此时数据处理平台中的数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。上述方案,通过在数据调度模块中设立多个线程,以分别对多个服务节点发送的目标车辆数据进行并行处理,从而能够达到对高并发车辆数据的快速处理,提高了整个系统对车联网数据消息的处理能力。
[0137]
图6是根据一示例性实施例示出的一种数据处理系统的结构示意图,该数据处理系统包括:各个目标车辆、数据处理平台及数据分析平台,其中,所述数据处理平台包括负载均衡模块、各个服务节点、数据调度模块、数据库;
[0138]
其中,所述负载均衡模块,用于从各个目标车辆中分别接收车辆数据,并将各个车辆数据分配至各个服务节点;
[0139]
所述数据调度模块,用于获取订阅需求,并根据所述订阅需求,从所述各个服务节点中接收目标车辆数据;
[0140]
所述数据调度模块,用于通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果;
[0141]
所述数据调度模块,用于将所述处理结果发送至数据库中;
[0142]
所述数据分析平台,用于对数据库中的车辆数据进行报表式处理,并获取处理结果。
[0143]
综上所述,在需要将多个车辆发送的车联网数据进行处理的情况下,可以通过数据处理平台分别接受各个车辆所发送的车辆数据,并将各个车辆数据分配至各个服务节点,此时数据处理平台中的数据调度模块通过与各个服务节点对应的各个线程,对目标车辆数据执行数据处理操作,以得到各个处理结果。上述方案,通过在数据调度模块中设立多个线程,以分别对多个服务节点发送的目标车辆数据进行并行处理,从而能够达到对高并发车辆数据的快速处理,提高了整个系统对车联网数据消息的处理能力。
[0144]
图7是根据本技术一示例性实施例提供的一种计算机设备示意图,所述计算机设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的数据处理方法。
[0145]
其中,处理器可以为中央处理器(central processing unit,cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
[0146]
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。
[0147]
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0148]
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、只读光盘(compact disc read-only memory,cd-rom)、磁带、软盘和光数据存储设备等。
[0149]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求指出。
[0150]
应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1