一种多模式自适应监视数据处理自动化部署系统的制作方法

文档序号:33119483发布日期:2023-02-01 03:26阅读:40来源:国知局
一种多模式自适应监视数据处理自动化部署系统的制作方法

1.本发明属于航空监视数据处理技术领域,具体涉及一种多模式自适应监视数据处理自动化部署系统。


背景技术:

2.随着通用航空和无人机的不断发展,在空中交通管制领域,从传统的机场、区域、全国航管,拓展到低空通航、无人机等管理管制,在通航机场、通航服务站、无人机管理平台、通航服务中心、通航旅游服务、无人机物流管理等不同的空中交通管理场景下,航空器的数量、监视设备数量、信息系统的规模等各不相同,通过构建可自适应不同监视设备数量、数据处理能力要求和信息系统规模的便于部署的监视数据处理架构,可以快速响应不同场景的监视数据处理能力建设需求,降低监视数据处理系统部署和运维成本,支持对已部署系统的处理能力、系统规模的快速扩展,对提高监视保障能力建设效能,促进空管现代化,及通用航空和无人机应用领域的发展具有重要意义。
3.然而,现有技术已存在多种监视数据处理技术,然而其主要针对解决监视数据处理本身的问题,没有解决在不同的场景下如何部署应用的问题。现有技术存在如下缺点:
4.(1)没有考虑不同应用场景下所需监视系统架构的差异,针对不同的场景需要重复性设计和开发监视数据处理系统。
5.(2)没有考虑复杂应用场景下自动化配置以降低部署难度和成本的问题。
6.(3)没有考虑在运行过程中所需监视能力需求变更或硬件资源变化的问题,不能动态适应业务场景需求或条件的变化。


技术实现要素:

7.针对现有技术没有考虑不同应用场景下所需监视系统架构的差异,需要针对不同的场景重复性设计和开发监视数据处理系统的问题,本发明提供了一种多模式自适应监视数据处理自动化部署系统。本发明建立了可适用于不同场景需求的自动化系统部署功能架构。
8.本发明通过下述技术方案实现:
9.一种多模式自适应监视数据处理自动化部署系统,包括:
10.部署配置界面,为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面;
11.部署管理服务,根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器信息调整系统部署架构,并根据系统部署架构为每个服务器生成对应的服务运行配置参数;
12.代理服务,根据收到的配置参数进行并执行决策,包括重启本机数据处理服务或在数据处理服务运行中动态应用新配置参数,并为部署管理服务提供所在服务器状态信息,代理服务在各服务器中配置为开机自动启动;
13.数据处理服务,根据配置参数实现数据处理功能的初始化或动态调整,执行监视数据处理流程;
14.数据中间件,支持部署架构下不同服务器上的数据处理服务间的数据交互,以及作为监视数据处理结果的输出平台。
15.本发明通过构建可适用于不同场景需求的自动化系统部署功能架构,能够适用于不同场景下的监视数据处理,无需针对不同的场景进行重复性设计和开发,提高了系统的鲁棒性,降低了系统开发成本。
16.本发明提出的自适应监视数据处理自动化部署系统,能够实现基于数据源和硬件配置的部署架构及配置参数自动生成,降低了相关人员的工作难度和人力成本。
17.本发明提出的自适应监视数据处理自动化部署系统,能够实现基于配置参数变化的自动参数执行,同时能够实现基于输入数据源变化和硬件资源变化的系统部署架构及人物分配自适应,满足了运行过程中所需监视能力需求变更或硬件资源变化的动态自适应需求。
附图说明
18.此处所说明的附图用来提供对本发明实施例的进一步理解,构成本技术的一部分,并不构成对本发明实施例的限定。在附图中:
19.图1为本发明实施例的系统架构图。
20.图2为本发明实施例的系统工作原理图。
21.图3为本发明实施例的监视数据处理原理图。
22.图4为本发明实施例的监视数据处理服务线程关系示意图。
23.图5为本发明实施例的部署管理服务的业务流程图。
24.图6为本发明实施例的自动生成部署架构的流程示意图。
25.图7为本发明实施例的删除服务器后的部署架构自适应流程示意图。
26.图8为本发明实施例的数据处理服务配置参数构成。
27.图9为本发明实施例的配置参数生成流程示意图。
28.图10为本发明实施例的删除服务器后的参数自适应流程示意图。
29.图11为本发明实施例的数据处理服务初始化流程示意图。
具体实施方式
30.为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
31.实施例
32.针对现有技术没有考虑不同应用场景下所需监视系统架构的差异问题,本实施例提出了一种多模式自适应监视数据处理自动化部署系统。
33.具体如图1所示,本实施例提出的系统包括部署配置界面、部署管理服务、代理服务、数据处理服务和数据中间件。其中需要为系统中每个应用服务器配置一个代理服务和一个数据处理服务。
34.其中,部署配置界面为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面。
35.部署管理服务根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器信息调整部署架构,并根据部署架构为每个服务器生成对应的服务运行配置参数。
36.代理服务根据收到的配置参数进行并执行决策,包括重启本机数据处理服务或在数据处理服务运行中动态应用新配置参数,代理服务是动态部署得以实施的保障,为部署管理服务提供所在服务器状态信息,需在各应用服务器中配置为开机自动启动;数据处理服务根据配置参数实现数据处理功能的初始化或动态调整,执行监视数据的接收、解析、单路处理、数据融合等功能。
37.数据中间件支持部署体系下不同服务器上的数据处理服务件的数据交互,以及作为数据融合处理结果的输出平台。
38.如图2所示,本发明实施例提出的系统工作流程如下:
39.(1)配置输入数据源和可用服务器信息;
40.(2)根据输入数据源和可用服务器信息生成或更新部署架构和任务分配;
41.(3)基于部署架构和任务分配为各服务器构建配置参数;
42.(4)各服务器代理服务根据收到的指令更新参数并重启数据处理服务;
43.(5)数据处理服务根据配置参数完成服务的初始化和启动;
44.(6)数据处理服务执行监视数据处理流程并输出结果。
45.作为一种可选的实施方式,数据处理服务主要用于接收和处理空管监视数据,核心功能包括数据接收、数据解析、单路数据处理、数据融合等,如图3所示。其中,四个核心功能在一个服务器上可以只执行一个或执行相邻的几个。其中数据解析、单路数据处理、数据融合都包括数据获取、数据处理、数据输出三个环节。当只执行一个核心功能时,对应功能的输入从数据中间件中获取(数据接收功能除外),数据输出都写入数据中间件;同时执行相邻功能时,前序核心功能的数据输出通过内部任务队列传递给后续核心功能的数据获取,减少网络传输消耗以提高效率。在有多路监视数据源输入时,数据接收、数据解析、单路数据处理都用对应数量的线程对对应数据源的数据进行处理,但数据融合始终只有一个核心线程,保障系统只输出一路最终的系统航迹,如图4所示。
46.数据处理服务的监视数据处理流程如下:
47.(1)按照数据源输入配置参数接收并输出原始数据;
48.(2)根据原始数据和配置的对应数据协议对原始数据进行解析;
49.(3)根据解析结果和配置的处理器对解决结果进行单路处理生成单路航迹;
50.(4)根据单路航迹数据进行多源数据融合,输出系统航迹。
51.在另外的优选实施方式中,也可以采用多级数据融合模式,即先采用多个数据融合服务器各自完成一部分单路航迹数据的融合,再用一个唯一的数据融合节点对部分融合航迹进行最终融合处理生成系统航迹。即将监视数据按照接收、解析、单独处理、部分融合、完整融合5个阶段进行处理。
52.作为一种可选的实施方式,部署配置界面为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面,根据设备状态及设备功能分配情况进行配置可
用性检查。部署配置界面支持为数据处理服务配置统一的数据中间件地址信息。根据数据处理需求,单路输入数据源的参数包括:数据源编号、数据源类型(ads-b、雷达、数据链等)、数据协议类型、数据协议版本、数据更新周期、对应监视设备部署位置(经度、纬度和海拔)等参数。单个可用服务器信息数据包括:设备编号、设备ip地址、设备物理地址。设系统接入的数据源数量为n,则系统除数据中间件外,至少需要1台服务器,最大可占用的服务器数量m为:
53.m=3
×
n+1
54.即接收、解析、单路处理的各路分别使用1个服务器,达到系统服务器的最大占用量。
55.(1)输入数据源配置
56.输入数据源的配置包括新增数据源、修改数据源和删除数据源。新增数据源即需要数据处理服务支持新的数据源的接入和处理;修改数据源即调整原有数据源的接收端口或对应监视设备部署位置;删除数据源即对不再接入的数据源信息删除,释放对应空线程占用的系统资源。
57.(2)可用服务器配置
58.可用服务器信息的配置包括新增服务器、删除服务器和更换服务器。新增服务器即根据处理能力扩展需求,为系统增加服务器;删除服务器主要是削减系统数据处理能力或移除故障的服务器;更换服务器是将一个服务器替换为另一个服务器,实现程序运行的自动移植。在更换服务器时如果使用删除服务器与增加服务器组合的方式,可能导致各服务器处理配置的重新分配,对系统的整体产生更大的影响。
59.(3)配置可用性检查
60.在初始部署时,各服务器都没有被分配运行功能,此时完成输入数据源和可用服务器配置后的检查流程为:
61.a1,获取输入数据源数量n;
62.b1,获取可用服务器数量m;
63.c1,计算最大可用服务器数量m;
64.d1,若满足1≤m≤m则通过检查;若可用服务器为0提示服务器不满足要求,停止配置提交;若可用服务器大于m则提示服务器数量超配,确认自动选择分配空闲服务器后提交。
65.在系统运行过程中动态调整时,若涉及新增数据源、修改数据源、更换服务器时,无需进行数据检查。在删除数据源、新增服务器、删除服务器时,需进行检查,检查流程同初始化时(即步骤a1-d1)。
66.在一种可选的实施方式中,部署管理服务根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器信息调整部署架构,并根据部署架构为每个服务器生成对应的服务运行配置参数。部署管理服务的功能包括服务器可用性检查、部署架构生成或调整、各服务器配置参数生成、部署参数发布、各服务器状态监视等。部署管理服务收到配置信息后的处理流程如图5所示:
67.(1)服务器可用性检查:部署管理服务在接收到提交的配置参数后,首先需要判断各服务器的可用性,即有没有收到对应服务器代理服务的心跳信息,只有代理服务正常的
情况下才能执行对应的自动部署运行配置能力。服务器可用性判断的流程为:
68.a2,从配置信息中提取服务器配置信息,构成配置服务器集合s
p

69.b2,从服务器状态监视信息中提取状态正常的服务器信息,构成在线服务器集合s
l

70.c2,从集合s
p
中移除存在于集合s
l
的所有服务器;
71.d2,若结果集合为空,则所有服务器可用,判断结束;若结果集合不为空,则进入步骤e2;
72.e2,根据物理地址尝试对状态不正常的服务器进行网络唤醒,等待预设时间以便服务器启动后对应的代理服务自启动;
73.f2,单独检测本次唤醒的各服务器状态信息,若所有服务器状态正常,则所有服务器进入可用状态,判断结束;否则为不可用服务器生成提示日志进行记录,并返回到部署配置界面进行提示,此状态下不进行后续的部署架构生成或调整操作。
74.(2)部署架构生成:部署管理服务根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器自适应调整部署架构。根据数据处理服务的核心功能构成,数据处理服务可用单服务器全功能运行,在多个服务器情况下,可分别配置为“接收解析单路处理+数据融合”、“接收解析+单路处理+数据融合”、“接收+解析+单路处理+数据融合”三种模式,分别对应的最小服务器数量分别为2、3、4,必须且只能有一台服务器运行数据融合功能。
75.系统初次部署时,部署的模式、每个模式使用的服务器及各服务器的任务分配可以人工指定,也可以由系统根据输入数据源和可用服务器自动初始化。
76.其中,人工初始化部署架构的流程为:
77.a3,选择系统部署模式,进入步骤b3;
78.b3,为模式的各阶段分配服务器并提交检测,进入步骤c3;
79.c3,系统对服务器分配进行检测,所选模式下数据融合阶段有且只有一个服务器,其他阶段的服务器数量不应超过输入数据源的数量,不符合要求则退回步骤b3提示修改,符合则进入步骤d3;
80.d3,为各阶段的各服务器分配处理任务,同一个数据源在同一阶段不能重复分配,完成后保存和应用,进入步骤e3;
81.e3,系统记录当前的部署架构和任务分配,发起配置参数的初始化构建,结束部署架构初始化。
82.如图6所示,部署架构自动初始化生成流程为:
83.a4,确定运行模式:系统运行模式按照可用服务器数量m和输入数据源数量n进行综合判断,当只有一台服务器可用时只能采用全功能运行模式,服务器数量大于1时按照:
[0084][0085]
分别计算“接收解析单路处理+数据融合”、“接收解析+单路处理+数据融合”、“接收+解析+单独处理+数据融合”模式下数据融合以外的服务器分配基数n1、n2、n3,然后基于
模式下最大服务器占用的约束1≤n≤n剔除不满足约束的模式。
[0086]
例如,有8台服务器和6路输入数据源的情况下,n1、n2、n3分别为7、3.5、2.3,则7不满足约束不采用“接收解析单路处理+数据融合”模式。
[0087]
对符合约束的模式,按照最佳负载均衡的方式进行选择,即比较小数位大小,采用小数位最小的模式,如上例n3=2.3最小,采用模式“接收+解析+单路处理+数据融合”;在小数位一致的情况下,优先采用排序靠后的模式,便于灵活扩展;在服务器资源超量,即所有n值都超过n的情况下,采用模式“接收+解析+单路处理+数据融合”以充分利用服务器资源,同时修正可用服务器数量为m=3
×
n+1,并将多出的服务器标识为空闲。
[0088]
b4,确定服务器分配:确定服务器分配时根据运行模式进行处理,首先为具备融合功能的节点分配一台服务器,剩下的服务器按照从第一个阶段按照取整进行分配,如模式除融合功能外有k个阶段,分配系数为n,除融合外剩余服务器数量为m1,则分配按照(除融合节点外最多拆分为三个阶段):
[0089][0090]
以步骤a4中的例子为例,如按照“接收解析+单路处理+数据融合”模式分配的结果为3+4+1,按照“接收+解析+单路处理+数据融合”模式分配的结果为2+2+3+1。
[0091]
c4,数据处理任务分配:对每个阶段对应的服务器数量m

,按照输入数据源数量n进行任务分配,针对服务器ip排序后,第n输入源分配的服务器序号i为:
[0092]
i=n%m

,1≤n≤n
[0093]
以步骤a4中的例子为例,按照“接收+解析+单路处理+数据融合”的分配则6路数据处理按照服务器数量2+2+3+1的前三个阶段分配为“(1、3、5)(2、4、6)+(1、3、5)(2、4、6)+(1、4)(2、5)(3、6)”。数据融合阶段需要对所有输入数据源处理的单路航迹进行处理,且在系统中只会有1台服务器,默认处理当前的所有输入源任务,无需特别分配。
[0094]
在输入数据源变化时,新增数据源按照部署架构初始化生成步骤d3或步骤c4进行继续分配,且优先分配给各阶段任务最轻的的服务器;变更数据源时不变更任务分配;删除数据源时将对应分配移除,同时检查对应各阶段的任务分配情况:
[0095]
1)若删除数据源后对应阶段当前服务器处理任务数量相对同阶段任务最重服务器差为2,则将最重任务服务器的一个任务重新分配给当前服务器,如上述部署架构自动初始化生成步骤c4所述分配,若连续删除数据源1和3,则分配变为“(5)(2、4、6)+(5)(2、4、6)+(4)(2、5)(6)”,则触发任务调整,变更为“(5、6)(2、4)+(5、6)(2、4)+(4)(2、5)(6)”;
[0096]
2)若删除数据源后对应阶段当前服务器无任务,且其他服务器都只有一路数据源任务,即不满足任务调整条件时,当前服务器标记为无任务,当新增数据源时优先分配;如在上述删除后继续删除数据源2和4,则变更为“(5)(6)+(5)(6)+(无任务)(5)(6)”。
[0097]
可用服务器变化包括新增服务器、替换服务器和删除服务器。在可用服务器变化时:
[0098]
1)若新增可用服务器,按照除数据融合节点外的阶段服务器数量最少的部分进行分配,阶段服务器数量一致时,顺序靠后的阶段优先分配,同时检查对应阶段的任务分配情
况,若新增服务器处理任务数量相对同阶段任务最重服务器差为2,则将最重任务服务器的一个任务重新分配给当前服务器,如上述部署架构初始化生成步骤c4所述分配模式“(1、3、5)(2、4、6)+(1、3、5)(2、4、6)+(1、4)(2、5)(3、6)”,新增一台服务器后变为“(1、3、5)(2、4、6)+(1、3、5)(2、4、6)()+(1、4)(2、5)(3、6)”,任务平衡后为“(1、3、5)(2、4、6)+(1、3)(2、4)(5、6)+(1、4)(2、5)(3、6)”。
[0099]
2)更换服务器则将所选服务器的任务完整的分配给指定的新服务器,任务分配模式不变。
[0100]
3)若删除服务器,如图7所示:
[0101]
a,若有空闲或无任务服务器,则将对应任务按照优先级分配给一台无任务或空闲的服务器;
[0102]
b,若无空闲或无任务服务器,且删除服务器后当前阶段服务器与服务器最多的阶段服务器数量差大于2,则将服务器数量最多的阶段服务器分配一台给当前阶段,并重新分配任务。如上述如上述步骤3)所述分配模式“(1、3、5)(2、4、6)+(1、3、5)(2、4、6)+(1、4)(2、5)(3、6)”,删除阶段二的一台服务器后调整为“(1、3、5)(2、4、6)+(1、3、5)(2、4、6)+(1、4、3)(2、5、6)”;
[0103]
c,若无空闲或无任务服务器,且其他阶段服务器数量不满足调整条件,则在本阶段服务器中重新分配,如前序删除后再删除阶段二的一台服务器,则变化为“(1、3、5)(2、4、6)+(1、3、5、2、4、6)+(1、4、3)(2、5、6)”;
[0104]
d,若本阶段无法再获得服务器资源,即不满足当前模式分配,则对分配模式进行降级,如在“(1、2、3、4、5、6)+(1、2、3、4、5、6)+(1、2、3、4、5、6)”模式下,删除阶段二的一台服务器,则分配模式改变为“接收解析+单路处理+数据融合”模式“(1、2、3、4、5、6)+(1、2、3、4、5、6)”。
[0105]
(3)配置参数构建:部署管理服务根据部署架构的组成和变化生成各服务器监视数据处理服务的配置参数,包括初始化配置参数构建、输入数据源变化后的参数自适应和服务器变化后的参数自适应。系统部署架构包括“单服务器全功能运行”,“接收解析单路处理+数据融合”、“接收解析+单路处理+数据融合”、“接收+解析+单路处理+数据融合”四种模式,对应到单个服务器的数据处理服务则包括“全功能”“单接收”“单解析”“单路处理”“数据融合”“接收解析”“接收解析单路处理”工7种运行模式,根据部署架构生成管理需要,添加“空闲”和“无任务”两种模式,其中“空闲”模式是指服务器还没有纳入当前部署架构体系,“无任务模式”是指当前服务器以分配给当前部署架构体系,但没有分配数据处理任务。
[0106]
数据处理服务的配置参数包括基础参数和四个核心功能运行参数,如图8所示,基础参数包括运行模式、数据源参数、数据源过程数据标识数据中间件地址,数据源过程数据标识包括各数据源对应的原始数据标识、解析数据标识、单路航迹标识等,以便各功能根据标识输出或请求对应的数据;核心功能运行参数包括数据输入方式、数据源编号、数据源输出方式,数据源编号需与数据源参数中定义的编号对应,数据源输入方式包括“中间件输入”和“内部任务队列”两种模式,数据源输出方式包括“中间件输出”和“内部任务队列”两种模式。其中数据接收功能通过网口接收数据,无需定义数据输入方式;数据融合在监视数据处理系统内没有后续处理任务,只支持输出到中间件,无需定义输出方式。对数据接收、数据解析、单路数据处理而言,每路输入由单独的线程进行处理,因而需为每路任务数据源
配置参数;对数据融合而言,所有的输入由单线程统一进行融合,配置包含输入方式,数据源id集合在内的参数即可,接收参数、解析参数、单路参数和融合参数根据服务的运行模式确定是否配置,按照json格式组织的完整配置参数示意如下:
[0107]
{
[0108]
基础参数:{
[0109]
运行模式:模式,
[0110]
数据源参数:{数据源id1:数据源参数1,...
[0111]
数据源idn:数据源参数n},
[0112]
输出数据标识:{数据源id1:数据源1过程数据标识,...
[0113]
数据源idn:数据源n过程数据标识},
[0114]
中间件地址:地址
[0115]
},
[0116]
接收参数:{数据源id1:数据源1接收参数,...
[0117]
数据源idn:数据源n接收参数},
[0118]
解析参数:{数据源id1:数据源1解析参数,...
[0119]
数据源idn:数据源n解析参数},
[0120]
单路参数:{数据源id1:数据源1单路参数,...
[0121]
数据源idn:数据源n单路参数},
[0122]
融合参数:数据融合参数
[0123]
}
[0124]
配置参数构建主要包括:
[0125]
1)初始化参数构建
[0126]
初始化参数构建的第一步是为所有数据源生成系统内统一的过程数据标识,包括各数据源的原始数据标识、解析数据标识、单路航迹标识,原始数据标识用于对应数据源数据接收和数据解析之间的数据传递,解析数据标识用于对应数据源数据解析和单路数据处理间的数据传递,单路航迹标识是用于单路数据处理结果到数据融合的数据传递:数据融合的结果采用默认的唯一标识存入数据中间件,以传递给其他业务系统。
[0127]
然后是基于系统部署架构和数据处理任务分配,为每个服务器生成对应的所需配置参数,配置参数生成流程具体如图9所示:
[0128]
a5,基础参数配置,包括确定当前服务器数据处理服务的运行模式,确定系统统一配置的数据中间件的地址,根据为当前服务器分配的数据处理任务提取对应的数据源参数,即根据数据处理任务分配提取各数据源对应的过程数据标识,共同构成配置参数的基础参数部分;
[0129]
b5,检测当前服务器数据处理服务运行模式,若包含数据接收则通过步骤c5生成数据接收参数,若包含数据解析则通过步骤d5生成数据解析参数,若包含单路数据处理则通过步骤e5生成单路数据处理参数,若包含数据融合则通过步骤f5生成数据融合参数,若当前服务器空闲或无任务则不生成核心功能参数;
[0130]
c5,数据接收通过网口接收和输出原始数据,需根据数据源id从数据源参数中获取对应的接收网口,从过程数据标识中提取对应的原始数据标识;若当前服务需要执行数
据解析操作,则将数据输出模式设置为“内部任务队列”,否则将数据输出模式设置为“数据中间件”模式并配置数据中间件地址;为便于初始化数据接收功能,为每个数据源单独封装一组数据接收参数;
[0131]
d5,数据解析对数据接收的原始数据进行解析并输出对应解析数据,需根据数据源id从过程数据标识中提取对应的原始数据标识和解析数据标识;若当前服务同时也执行数据接收操作,则输入为“内部任务队列输入”,否则为“数据中间件输入”;若当前服务同时执行单路数据处理操作,则数据输出模式设置为“内部任务队列”,否则将数据输出模式设置为“数据中间件”模式并配置数据中间件地址;为便于初始化数据解析功能,为每个数据源单独封装一组数据解析参数;
[0132]
e5,单路数据处理对数据解析的解析数据进行数据处理并输出对应的单路航迹数据,需根据数据源id从过程数据标识中提取对应的解析数据标识和单路航迹标识;若当前服务同时也执行数据解析操作,则输入为“内部任务队列输入”,否则为“数据中间件输入”;若当前服务同时执行数据融合处理操作,则数据输出模式设置为“内部任务队列”,否则将数据输出模式设置为“数据中间件”模式并配置数据中间件地址;为便于初始化数据解析功能,为每个数据源单独封装一组单路数据处理参数;
[0133]
f5,数据融合参数对所有单路数据处理输出的单路航迹数据进行融合,输出一路系统航迹数据,需根据数据源id从过程数据标识中单路航迹标识;若当前服务同时也执行单路数据处理操作,则输入为“内部任务队列输入”,否则为“数据中间件输入”;数据融合处理结果在数据处理系统中无后续处理,输出默认按照系统航迹标识输出到数据中间件,无需配置输出模式;数据融合不需要对单路航迹分别处理,给出参与融合的数据源id的集合即可。
[0134]
对部署架构中的每一个服务器重复步骤a5至步骤f5即可完成初始化参数构建。
[0135]
2)输入数据源变化后的自适应参数变化
[0136]
新增数据源按照部署架构生成对应流程处理后,体现为对应服务器分配处理任务的增加,按照参数构建规则处理包括:为新的数据源生成过程数据标识;找到对应的服务器参数;在基础参数中添加新数据源的id及过程数据标识;根据相应的服务器运行模式,为服务器增加对应数据源的核心功能参数。
[0137]
删除数据源按照部署架构生成对应流程处理后,体现为对应服务器分配处理任务的减少,按照参数构建规则的处理包括:确认对应的数据源id;移除数据源对应的所有数据过程标识;找到涉及该路数据处理的所有服务器,包括数据融合服务器;从对应服务参数的基础参数中移除数据源及过程数据标识;从对应服务器的接收、解析和/或单路数据处理等核心功能参数中移除对应的参数块;从数据融合服务器对应的参数中移除数据源id及过程数据标识。
[0138]
更换数据源体现为对数据源参数的改变,任务分配不变,按照参数构建规则的处理包括:确认对应的数据源id;找到涉及该路数据处理的所有服务器,包括数据融合服务器;从对应服务参数的基础参数中替换对应的数据源参数。
[0139]
3)可用服务器变化后的自适应参数变化
[0140]
可用服务器变化包括新增服务器、更换服务器和删除服务器:
[0141]
新增服务器时触发对应的任务再分配,表现为原有的一个或几个分配的任务减
少,而为新增服务器初始化新的任务,按照参数构建规则的处理包括:获取任务减少的服务器及减少的数据源id;从对应服务参数的基础参数中移除数据源及过程数据标识;从对应服务器的接收、解析和/或单路数据处理等核心功能参数中移除对应的参数块;根据新服务器参数的分配,按照初始化参数构建的流程构建新增服务器服务参数。
[0142]
更换服务器时触发任务的转移,任务的分配保持不变,表现为原有对应服务器整体任务的移除,以及新服务器所有任务的继承,按照参数构建规则的处理包括:获取原服务器及其完整的运行参数;从原服务器中清除数据源参数、过程数据标识和所有功能配置参数;将原服务器的完整运行参数设置为新服务器的服务运行参数。
[0143]
删除服务器时,触发任务的转移、再分配或者部署模式的重构,对应的参数也进行转移、新增或重构,如图10所示,按照参数构建规则的处理包括:
[0144]
a6,检测是否为使用空闲或无任务服务器替代,是则进入步骤b6,否则进入步骤c6;
[0145]
b6,将对应任务分配给选定的无任务或空闲的服务器,按照更换服务器时的参数转移流程进行处理,完成进入步骤g6;
[0146]
c6,确定是是否调用其他阶段服务器,是则确定选中的阶段和服务器,及对应阶段重新分配任务的情况,选中服务器的任务移除和其他同阶段服务器任务的增加,见步骤d6;否则是将删除服务器的任务分配给同阶段的其他服务器,见步骤e6;
[0147]
d6,根据所选服务器的任务给对应阶段其他服务器的分配情况,在对应服务器基础参数中添加新数据源的id及过程数据标识,根据相应的服务器运行模式,为服务器增加对应数据源的核心功能参数;然后将删除服务器的完整运行参数设置为所选服务器的运行参数,完成后进入步骤g6;
[0148]
e6,若在本机阶段重分配任务,根据删除服务器的任务给对同阶段其他服务器的分配情况,在对应服务器基础参数中添加新数据源的id及过程数据标识,根据相应的服务器运行模式,为服务器增加对应数据源的核心功能参数,完成后进入步骤g6;否则进入步骤f6;
[0149]
f6,若是运行模式降级,即不满足当前模式分配,则对分配模式进行降级,降级的顺序为“接收+解析+单路处理+数据融合”“接收解析+单路处理+数据融合”“接收解析单路处理+数据融合”“单服务器全功能运行”,降级后对应阶段的任务分配不变,但要改变对应服务器的数据处理模式。例如“接收+解析+单路处理+数据融合”中“单路处理”阶段的服务器全部被移除,则降级到“接收解析+单路处理+数据融合”模型,将原“接收”模式运行的服务器的配置参数改为“接收解析”模式,将原“解析”模式运行的服务器的配置参数改为“单路处理”模式,数据融合不受影响,降级后任务分配不变,按照(1)初始化参数构建的方式,为各服务器重构配置参数,进入步骤g6;
[0150]
g6,保存和提交各服务器的新参数,完成参数自适应变化。
[0151]
在一种可选的实施方式中,代理服务的功能包括:一方面根据配置管理服务分发的配置参数,判断参数执行方法,并通过调用对应功能使数据处理服务正确的响应配置参数的动态变化;另一方面实时监测所在服务器的资源状态和数据处理服务的运行状态,以心跳数据的方式周期性发送给配置管理服务。
[0152]
其中,代理服务在收到配置管理服务分发的配置参数后,对本机的数据处理服务
运行状态及当前服务配置参数进行检查,确定执行新配置参数的方式,支持的方式包括初始化、重新初始化、新增数据处理任务、减少数据处理任务四种可选执行方式。代理服务确定参数执行方式及提交执行的流程包括:
[0153]
a7,当前服务器是否还未启动数据处理服务,是则进入步骤b7,否则进入步骤c7;
[0154]
b7,配置参数执行方式为“初始化”模式,通过代理服务启动数据处理服务并传输初始化参数,进入步骤h7;
[0155]
c7,检测服务运行模式是否发生改变,是则进入步骤d7,否则进入步骤e7;
[0156]
d7,配置参数执行方式为“重新初始化”模式,通过代理服务向数据处理服务发起重新初始化请求并传输新的配置参数,进入步骤h7;
[0157]
e7,检测数据处理任务,任务增加进入步骤f7,任务减少进入步骤g7,任务不变则直接进入步骤h7;
[0158]
f7,配置参数执行方式为“新增任务”模式,从参数中提取增加任务对应的数据源参数及过程数据标识,通过代理服务向数据处理服务发起新增任务请求并传输数据源参数及过程数据标识,进入步骤h7;
[0159]
g7,配置参数执行方式为“减少任务”模式,从参数中提取减少任务对应的数据源id,通过代理服务向数据处理服务发起减少任务请求并传输数据源id,进入步骤h7;
[0160]
h7,生成本次配置参数及执行记录,结束配置参数执行过程。
[0161]
另一方面,代理服务实时监测所在服务器的资源状态和数据处理服务的运行状态,生成心跳数据包并发送给配置管理服务,配置管理服务地址需在部署代理服务程序时进行正确配置,代理服务生成和发送心跳数据的流程包括:收集服务器cpu使用状态数据;收集服务器内存使用状态数据;收集服务器磁盘使用状态数据;检测数据处理服务的运行状态,包括是否运行、线程数量、cpu使用、内存使用等;按照数据协议封装为心跳数据包;通过预定端口将心跳数据包发送给配置管理服务。
[0162]
在一种可选的实施方式中,数据处理服务一方面通过执行代理服务发起的配置参数初始化、重新初始化、任务减少、任务增加等操作,根据服务运行模式对各数据处理阶段的任务线程进行管理;另一方面运行状态的数据接收、数据解析、单路数据处理和数据融合线程根据初始化配置和参数,接收或获取输入数据,进行数据处理并输出数据处理结果。
[0163]
数据处理服务具体被配置为:
[0164]
(1)响应代理服务发起的配置请求:包括配置初始化、重新初始化、增加任务、减少任务。
[0165]
其中,配置初始化一般是在安装数据管理系统后,第一次配置和启动数据处理服务,或新增的服务器第一次运行数据处理服务时执行,流程如图11所示,包括:
[0166]
a8,按照id缓存配置参数中的数据源参数及过程数据标识;
[0167]
b8,更新数据中间件服务地址;
[0168]
c8,检测配置参数中定义的运行模式,若包含数据接收则进入步骤d8初始化数据接收任务,若包含数据解析则通过步骤e8初始化数据解析任务,若包含单路数据处理则通过步骤f8初始化单路数据处理任务,若包含数据融合则通过步骤g8初始化数据融合任务,若当前服务器空闲或无任务则结束任务初始化;
[0169]
d8,初始化接收任务时根据数据源信息,为每一路输入数据源生成并启动一个数
据接收任务线程,流程包括:
[0170]
a.获取一个数据源id,进入步骤b;
[0171]
b.为数据源生成一个数据接收线程,进入步骤c;
[0172]
c.根据数据源参数设置数据接收端口,进入步骤d;
[0173]
d.检测数据输出方式,若为中间件输出则进入步骤e,若为内部任务队列则进入步骤f;
[0174]
e.为接收线程生成基于中间件的输出器,并设置原始数据标识,进入步骤g;
[0175]
f.为生成数据源id对应的内部原始数据任务队列及输出器,并设置原始数据标识,进入步骤g;
[0176]
g.启动线程,开始数据接收任务执行,进入步骤h;
[0177]
h.检测所有数据源接收任务是否都初始化,是则进入步骤i,否则回到步骤a初始化下一个任务线程;
[0178]
i.记录数据接收初始化信息,完成数据接收初始化。
[0179]
e8,初始化数据解析任务时根据数据源信息,为每一路输入数据源生成并启动一个数据解析任务线程,流程包括:
[0180]
a.获取一个数据源id,进入步骤b;
[0181]
b.为数据源生成一个数据解析线程,进入步骤c;
[0182]
c.检测数据输入方式,若为中间件输入则进入步骤d,若为内部任务队列输入则进入步骤e;
[0183]
d.为解析线程生成基于中间件的输入器,并设置原始数据标识,进入步骤f;
[0184]
e.为生成内部任务队列输入器,并设置原始数据标识,进入步骤f;
[0185]
f.检测数据输出方式,若为中间件输出则进入步骤g,若为内部任务队列则进入步骤h;
[0186]
g.为接收线程生成基于中间件的输出器,并设置解析数据标识,进入步骤i;
[0187]
h.为生成数据源id对应的内部解析数据任务队列及输出器,并设置解析数据标识,进入步骤i;
[0188]
i.更新数据源参数,启动线程,开始数据解析任务执行,进入步骤j;
[0189]
j.检测所有数据源接收任务是否都初始化,是则进入步骤k,否则回到步骤a初始化下一个任务线程;
[0190]
k.记录数据解析初始化信息,完成数据解析初始化。
[0191]
f8,初始化单路数据任务时根据数据源信息,为每一路输入数据源生成并启动一个单路数据处理任务线程,流程包括:
[0192]
a.获取一个数据源id,进入步骤b;
[0193]
b.为数据源生成一个数据处理线程,进入步骤c;
[0194]
c.检测数据输入方式,若为中间件输入则进入步骤d,若为内部任务队列输入则进入步骤e;
[0195]
d.为单路数据处理线程生成基于中间件的输入器,并设置解析数据标识,进入步骤f;
[0196]
e.为单路数据处理线程生成内部任务队列输入器,并设置解析数据标识,进入步
骤f;
[0197]
f.检测数据输出方式,若为中间件输出则进入步骤g,若为内部任务队列则进入步骤h;
[0198]
g.为单路数据处理线程生成基于中间件的输出器,并设置单路航迹标识,进入步骤i;
[0199]
h.为生成数据源id对应的内部单路航迹数据任务队列及输出器,并设置单路航迹标识,进入步骤i;
[0200]
i.设置数据源参数,启动线程,开始单路数据处理任务执行,进入步骤j;
[0201]
j.检测所有数据源单路数据处理任务是否都初始化,是则进入步骤k,否则回到步骤a初始化下一个任务线程;
[0202]
k.记录单路数据处理初始化信息,完成单路数据处理初始化。
[0203]
g8,初始化数据融合任务时根据数据源信息,生成并启动唯一的数据融合任务线程,流程包括:
[0204]
a.获取所有数据源id,进入步骤b;
[0205]
b.生成一个数据融合处理线程,进入步骤c;
[0206]
c.检测数据输入方式,若为中间件输入则进入步骤d,若为内部任务队列输入则进入步骤e;
[0207]
d.为数据融合处理线程生成基于中间件的输入器,并设置所有数据源的单路航迹标识集,进入步骤f;
[0208]
e.为数据融合处理线程生成内部任务队列输入器,并设置单路航迹标识,进入步骤f;
[0209]
f.为单路数据处理线程生成基于中间件的输出器,并设置系统航迹标识,进入步骤i;
[0210]
i.设置数据源参数,启动线程,开始数据融合处理任务执行,进入步骤j;
[0211]
j.记录数据融合处理初始化信息,完成数据融合处理初始化。
[0212]
h8,完成运行模式下所有阶段的任务初始化后结束初始化操作。
[0213]
重新初始化是在数据处理服务运行过程中,运行模式发生改变时触发,重新初始化的流程包括:
[0214]
a9,获取当前在执行的任务分配的所有数据源id集,进入步骤b9;
[0215]
b9,获取当前在执行的运行模式,进入步骤c9;
[0216]
c9,根据运行模式停止服务中生成的所有数据接收、数据解析、单路数据处理或/和数据融合任务线程,清除所有任务线程及所有的内部任务队列,进入步骤d9;
[0217]
d9,加载新的配置参数,按照配置初始化的步骤a8至h8重新初始化和启动任务线程,进入步骤e9;
[0218]
e9,记录本次重新初始化的响应信息,结束重新初始化。
[0219]
增加任务是在数据处理服务运行过程中,为服务器分配新任务,但不改变运行模式,增加任务的流程包括:
[0220]
a10,获取新增任务的所有数据源id,进入步骤b10;
[0221]
b10,将数据源参数和过程数据标识添加到对应参数缓存中,进入步骤c10;
[0222]
c10,对所有新增的数据源,按照配置初始化步骤c8至h8生成和启动任务线程,进入步骤d10;
[0223]
d10,记录本次增加任务的响应信息,完成增加任务操作。
[0224]
减少任务是在数据处理服务运行过程中,移除已分配的任务,但不改变运行模式,减少任务的流程包括:
[0225]
a11,获取减少任务的所有数据源id,清除对应的数据源参数和过程数据标识缓存,进入步骤b11;
[0226]
b11,获取当前在执行的运行模式,进入步骤c11,;
[0227]
c11,根据运行模式停止服务中生成的所有数据接收、数据解析、单路数据处理或/和数据融合任务线程,清除所有任务线程及所有的内部任务队列,进入步骤d11;
[0228]
d11,记录本次任务减少的响应信息,完成减少任务操作。
[0229]
(2)监视数据处理:监视数据处理通过数据接收、数据解析、单路数据处理和数据融合处理四类任务线程的执行完成监视数据处理功能,总体上按照接收数据、解析数据、单路处理和数据融合的流程执行。
[0230]
其中,数据接收任务线程启动后开始执行数据接收任务,流程包括:
[0231]
a12,根据数据端口,启动对端口数据的监听,进入步骤b12;
[0232]
b12,等待数据接收,收到数据后进入步骤c12;
[0233]
c12,对接收到的数据封装为原始数据对象,进入步骤d12;
[0234]
d12,调用数据输出器,将原始数据按照设置的原始数据标识输出到内部任务队列或数据中间件,进入步骤e12;
[0235]
e12,记录本次数据接收信息,回到步骤b12接收下一条数据。
[0236]
数据解析任务线程启动后开始执行数据解析任务,流程包括:
[0237]
a13,调用输入器,根据原始数据标识从内部任务队列或数据中间件中获取待解析的原始数据,若无原始数据则线程阻塞直到获取原始数据,进入步骤b13;
[0238]
b13,根据协议类型和版本执行数据解析,解析成功后进入步骤c13,否则进入步骤e13;
[0239]
c13,对解析的结果封装为解析数据对象,进入步骤d13;
[0240]
d13,调用数据输出器,将解析数据按照设置的解析数据标识输出到内部任务队列或数据中间件,进入步骤e13;
[0241]
e13,记录本次数据解析信息,回到步骤a13请求下一条原始数据。
[0242]
单路数据处理任务线程启动后开始执行单路数据处理任务,流程包括:
[0243]
a14,调用输入器,根据解析数据标识从内部任务队列或数据中间件中获取待处理的解析数据集(一次获取已有的全部解析数据,无解析数据则返回空集),进入步骤b14;
[0244]
b14,根据数据类型和数据更新周期,完成单路数据处理,包括数据管理和单路航迹跟踪,结束后进入步骤c14;
[0245]
c14,对更新的单路航迹封装为单路航迹数据,进入步骤d14;
[0246]
d14,调用数据输出器,将单路航迹数据按照设置的单路航迹标识输出到内部任务队列或数据中间件,进入步骤e14;
[0247]
e14,检测未更新的单路航迹数据,对有效数据进行外推同时清除过期无效的单路
航迹缓存,进入步骤f14;
[0248]
f14,记录本次单路数据处理信息,回到步骤a14请求下一组解析结果数据。
[0249]
数据融合处理线程启动后开始执行数据融合处理任务,流程包括:
[0250]
a15,调用输入器,根据单路航迹数据标识从内部任务队列或数据中间件中获取待处理的单路航迹数据集(一次获取所有数据源id对应的已有的全部解析数据,无解析数据则返回空集),进入步骤b15;
[0251]
b15,根据数据类型和数据更新周期,完成数据融合处理,包括数据校准、数据关联和单路航迹跟踪,结束后进入步骤c15;
[0252]
c15,对更新的系统航迹封装为系统航迹数据,进入步骤d15;
[0253]
d15,调用数据输出器,将系统航迹数据按照设置的系统航迹标识输出到数据中间件,进入步骤e15;
[0254]
e15,检测未更新的系统航迹数据,对有效数据进行外推同时清除过期无效的系统航迹缓存,进入步骤f15;
[0255]
f15,记录本次数据融合处理信息,回到步骤a15请求下一组单路航迹数据。
[0256]
在一种可选的实施方式中,数据中间件为数据处理服务提供公共的数据缓存和交换管理,支持基于标识的分类数据队列,按照先进先出的原则为数据提交和数据请求提供服务。
[0257]
其中,数据中间件收到数据提交时的处理流程包括:
[0258]
a16,检测数据标识对应的缓存队列是否存在,不存在则进入步骤b16,存在则进入步骤c16;
[0259]
b16,为数据标识生成缓存队列,进入步骤c16;
[0260]
c16,检测缓存空间是否足够,不足则进入步骤d16,充足则进入步骤e16;
[0261]
d16,检测缓存中是否有过期数据,有则进入步骤e16,没有则进入步骤f16;
[0262]
e16,清除缓存中的过期数据,释放所占缓存空间,进入步骤g16;
[0263]
f16,对缓存空间进行扩容,完成后进入步骤g16;
[0264]
g16,将提交的数据添加到缓存队列的末尾,结束数据提交处理。
[0265]
数据中间件收到数据请求时的处理流程包括:
[0266]
a17,检测数据标识对应的缓存队列是否存在,若存在则进入步骤b17,否则进入步骤e17;
[0267]
b17,检测数据请求方式,请求单个数据进入步骤c17,请求所有数据集进入步骤d17;
[0268]
c17,从队列的头部读取缓存数据返回,并释放对应缓存空间,进入步骤h17;
[0269]
d17,读取队列中的所有缓存数据返回,并释放所有缓存空间,进入步骤h17;
[0270]
e17,检测数据响应模式,支持空集返回则进入步骤f17,否则进入步骤g17;
[0271]
f17,生成空的数据集合并返回,进入步骤h17;
[0272]
g17,将数据请求挂起,等待对应缓存队列数据的出现,回到步骤b17;
[0273]
h17,记录数据请求处理信息,接收数据请求处理。
[0274]
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明
的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1