天地一体化信息网络中多源数据融合处理方法及系统

文档序号:30089222发布日期:2022-05-18 07:59阅读:751来源:国知局
天地一体化信息网络中多源数据融合处理方法及系统

1.本发明涉及任务处理、数据传输领域,具体地,涉及天地一体化信息网络中多源数据融合处理方法及系统,更为具体地,涉及软件定义天地一体化网络中多源数据融合处理方法及系统。


背景技术:

2.天地一体化信息网络是一个综合了天基和地基网络的庞大而复杂的网络架构,其中天基网络主要由运行在不同轨道的各类卫星(通信卫星、遥感卫星和导航卫星等)和多种近地飞行器组成,地基网络主要由地面互联网和移动通信网组成。天地一体化的主要目标是为全球用户提供低延时、高带宽的通信服务,实现全球跨时空网络的互联互通,优化网络资源的使用。
3.软件定义网络技术是一种新兴的网络管理方法,可实现动态、高效的网络配置,改善整个网络的性能。传统网络的静态体系结构分散且复杂,而对于所有网络来说,都需要更强的灵活性和更容易的控制方法,sdn通过将网络数据包(数据平面)的转发过程与路由决策过程(控制平面)分离,来将网络智能集中在一个网络组件中。天地网采用软件定义网络的架构和天地协同传输方案来实现天地网络资源的高度融合,从而优化整个网络资源的共享,通过星间、星地和地面网络链路为规模巨大和分散较广的用户提供跨时空、跨平台的优质网络业务。
4.天地一体化网络中,节点间能力参差不齐,同时在该网络中各种类型的任务浩如烟海,现有的天地一体化信息网络架构缺少对任务的分布式动态处理技术。具体来说,现有的天地网传输-计算架构是将任务所需数据进行采集,并传回数据中心做统一处理。这样的传输-计算模式忽略了网络中节点的计算能力,导致了较高的传输资源损耗,同时还对数据中心的处理能力有相当的要求。
5.专利文献cn110247699b(申请号:201910550797.5)公开了一种在天地一体化网络中实现天地间资源协同调度的方法,涉及云计算技术领域;包括如下步骤:步骤一、建立资源协调调度系统;包括一个资源调度节点和n个天基资源节点;步骤二、资源调度节点接收外部部署新应用资源命令;获取新应用资源的资源占用信息;步骤三、资源调度节点获取各天基资源节点的剩余资源信息;步骤四、将t时刻各天基资源节点ni剩余资源信息与新应用资源的资源占用信息进行比较,筛选出可用天基资源节点;步骤五、从筛选出的天基资源节点中计算最优天基资源节点,并在该天基资源节点中部署新应用资源;该专利通过建立资源调度系统,接受外部部署的应用并获取其资源占用信息,同时筛选天基资源节点中的最优资源节点,最终在该天基节点中部署该应用。该方法解决了天地网络中资源不均衡的问题。
[0006]“天地一体化网络基于拥塞状态的路径选择算法”,鄢砚军等,《兵器装备工程学报》,2021,42(06),为了降低拥塞导致的队列时延和传播时延,采用了一种基于星间链路的路由选择算法。该算法基于局部的网络信息,通过模拟退火算法找出源节点和目的节点之
间的链路。但是该方案没有考虑路径选择过程中网络的全局信息,缺乏统一调控。
[0007]“基于sdn的高性能qos保证低轨卫星星间路由算法”,王奎宇等,《计算机工程》,2021-10-18,研究了星间链路的状态信息交互和低轨道卫星的路由计算。其中路由算法通过其提出的权重函数、稳定度函数和负载度函数加权计算得到最优路径,比较适合卫星通信网络资源受限的场景。但是该方案没有考虑数据路由过程中通过任务计算来降低网络负载的可能。
[0008]
此外也有其他的基于软件定义天地一体化网络中的传输和计算方案,但是他们所作研究首先没有考虑天地一体化网络中节点管理的层次性,依据这种层次性可以大幅降低路径规划和任务部署的复杂度,另外他们没有考虑天地一体化网络中任务可能存在的相关性,而是对每一个任务都做单独的处理,这样增加了地面控制中心的负载,而且网络资源损耗可进一步降低。


技术实现要素:

[0009]
针对现有技术中的缺陷,本发明的目的是提供一种天地一体化信息网络中多源数据融合处理方法及系统。
[0010]
根据本发明提供的一种天地一体化信息网络中多源数据融合处理方法,包括:
[0011]
步骤s1:天地一体化信息网络根据逻辑管理层次进行网络状态和资源实时管控;
[0012]
步骤s2:地面控制中心将一定时间内获取的多个任务进行切分,并根据任务间关系进行融合构成一个多任务执行图;
[0013]
步骤s3:对多任务执行图进行子任务的分组及抽象,并经过序列化后形成全序抽象任务图;
[0014]
步骤s4:地面控制中心依据所管控网络域的网络视图以及序列化后的抽象任务图进行处理路径规划,并对抽象任务进行最小代价部署规划;
[0015]
步骤s5:控制层中控制器将收到的抽象任务进行拆分,并进行处理路径规划和任务部署规划;
[0016]
步骤s6:执行层在接收到任务后,按照控制节点下发的计算策略和流表进行任务的计算和传输;并将传算结果返回至用户;
[0017]
所述天地一体化信息网络的逻辑管理层次自上而下分为地面控制中心、控制层以及执行层。
[0018]
优选地,所述步骤s1采用:基于sdn架构的多层天地一体化网络按照逻辑管理层次自下而上分为执行层、控制层和地面控制层;
[0019]
所述地面控制层是地面管理中心,负责管控控制层的多个控制器,获取所有控制域信息;
[0020]
所述控制器部署于卫星网络和地面网络,按照控制器管控范围分为多个区域,每个区域由一个控制器管控,控制器管控执行层设备;
[0021]
所述执行层由天地一体化网络中的传输和计算节点组成;
[0022]
天地一体化网络从下至上对网络状态和资源进行分层管控,执行节点周期性地上传网络状态信息,控制器将所管控区域内节点的网络状态信息进行整合,并将信息发送至地面控制中心。
[0023]
优选地,所述步骤s2采用:地面控制中心将一定时间内获取的多个任务进行切分,再依据任务相关性和时延敏感程度进行任务图融合,构成一个多任务执行图。
[0024]
优选地,所述步骤s2采用:
[0025]
步骤s2.1:地面控制中心针对用户上传的每个任务获取相应的位置信息、任务来源信息以及任务类型信息;
[0026]
步骤s2.2:地面控制中心根据任务来源信息和任务类型信息确定任务时延敏感值和任务等待值;
[0027]
步骤s2.3:比较任务等待值与时延敏感阈值,当任务等待值大于时延敏感阈值时,则触发步骤s3;当任务等待值小于等于时延敏感阈值时,则触发步骤s2.4;
[0028]
步骤s2.4:地面控制中心对n个任务组成的集合t={t1,t2,
···
,tn},根据位置信息和任务来源信息进行分组;
[0029]
步骤s2.5:对分组后一组中的所有任务进行任务切分,形成多个任务图,任务图是可执行代码所构成的有向无环图;
[0030]
步骤s2.6:按照前置子任务是否相同进行任务图融合;若出现未被融合子任务,增加该任务的任务等待值至预设值,重复触发步骤s2.3至步骤s2.6,直至所有子任务均被融合。
[0031]
优选地,所述步骤s3采用:
[0032]
步骤s3.1:根据任务图中子任务执行依赖进行全序分组;
[0033]
步骤s3.2:对分组后的每组子任务进行数据压缩率和资源需求量的抽象;
[0034]
步骤s3.3:将非全序任务图按照数据压缩率进行序列化;
[0035]
所述非全序任务图是任务图中存在子任务的输入输出没有前后关系。
[0036]
优选地,所述步骤s4采用:
[0037]
步骤s4.1:确定控制层传输路径源节点和目标节点;
[0038]
步骤s4.2:以路径最小代价为目标规划路径,通过启发式算法迭代计算,每次迭代将一个控制域添加到路由路径,获取最小成本路径;
[0039]
步骤s4.3:以部署代价最小为目标,通过抽象任务部署方法确定抽象任务部署位置。
[0040]
优选地,所述步骤s5采用:
[0041]
步骤s5.1:对抽象任务进行拆分,并将多个子任务序列化;
[0042]
步骤s5.2:确定执行层传输路径源节点和目标节点;
[0043]
步骤s5.3:通过启发式算法迭代计算,每次迭代将一个执行节点添加到路由路径,获取最小成本路径;
[0044]
步骤s5.4:以部署代价最小为目标,通过子任务部署方法确定子任务部署位置。
[0045]
根据本发明提供的一种天地一体化信息网络中多源数据融合处理系统,包括:
[0046]
模块m1:天地一体化信息网络根据逻辑管理层次进行网络状态和资源实时管控;
[0047]
模块m2:地面控制中心将一定时间内获取的多个任务进行切分,并根据任务间关系进行融合构成一个多任务执行图;
[0048]
模块m3:对多任务执行图进行子任务的分组及抽象,并经过序列化后形成全序抽象任务图;
[0049]
模块m4:地面控制中心依据所管控网络域的网络视图以及序列化后的抽象任务图进行处理路径规划,并对抽象任务进行最小代价部署规划;
[0050]
模块m5:控制层中控制器将收到的抽象任务进行拆分,并进行处理路径规划和任务部署规划;
[0051]
模块m6:执行层在接收到任务后,按照控制节点下发的计算策略和流表进行任务的计算和传输;并将传算结果返回至用户;
[0052]
所述天地一体化信息网络的逻辑管理层次自上而下分为地面控制中心、控制层以及执行层。
[0053]
优选地,所述模块m1采用:基于sdn架构的多层天地一体化网络按照逻辑管理层次自下而上分为执行层、控制层和地面控制层;
[0054]
所述地面控制层是地面管理中心,负责管控控制层的多个控制器,获取所有控制域信息;
[0055]
所述控制器部署于卫星网络和地面网络,按照控制器管控范围分为多个区域,每个区域由一个控制器管控,控制器管控执行层设备;
[0056]
所述执行层由天地一体化网络中的传输和计算节点组成;
[0057]
天地一体化网络从下至上对网络状态和资源进行分层管控,执行节点周期性地上传网络状态信息,控制器将所管控区域内节点的网络状态信息进行整合,并将信息发送至地面控制中心;
[0058]
所述模块m2采用:地面控制中心将一定时间内获取的多个任务进行切分,再依据任务相关性和时延敏感程度进行任务图融合,构成一个多任务执行图;
[0059]
所述模块m2采用:
[0060]
模块m2.1:地面控制中心针对用户上传的每个任务获取相应的位置信息、任务来源信息以及任务类型信息;
[0061]
模块m2.2:地面控制中心根据任务来源信息和任务类型信息确定任务时延敏感值和任务等待值;
[0062]
模块m2.3:比较任务等待值与时延敏感阈值,当任务等待值大于时延敏感阈值时,则触发模块m3;当任务等待值小于等于时延敏感阈值时,则触发模块m2.4;
[0063]
模块m2.4:地面控制中心对n个任务组成的集合t={t1,t2,
···
,tn},根据位置信息和任务来源信息进行分组;
[0064]
模块m2.5:对分组后一组中的所有任务进行任务切分,形成多个任务图,任务图是可执行代码所构成的有向无环图;
[0065]
模块m2.6:按照前置子任务是否相同进行任务图融合;若出现未被融合子任务,增加该任务的任务等待值至预设值,重复触发模块m2.3至模块m2.6,直至所有子任务均被融合。
[0066]
优选地,所述模块m3采用:
[0067]
模块m3.1:根据任务图中子任务执行依赖进行全序分组;
[0068]
模块m3.2:对分组后的每组子任务进行数据压缩率和资源需求量的抽象;
[0069]
模块m3.3:将非全序任务图按照数据压缩率进行序列化;
[0070]
所述非全序任务图是任务图中存在子任务的输入输出没有前后关系;
[0071]
所述模块m4采用:
[0072]
模块m4.1:确定控制层传输路径源节点和目标节点;
[0073]
模块m4.2:以路径最小代价为目标规划路径,通过启发式算法迭代计算,每次迭代将一个控制域添加到路由路径,获取最小成本路径;
[0074]
模块m4.3:以部署代价最小为目标,通过抽象任务部署方法确定抽象任务部署位置;
[0075]
所述模块m5采用:
[0076]
模块m5.1:对抽象任务进行拆分,并将多个子任务序列化;
[0077]
模块m5.2:确定执行层传输路径源节点和目标节点;
[0078]
模块m5.3:通过启发式算法迭代计算,每次迭代将一个执行节点添加到路由路径,获取最小成本路径;
[0079]
模块m5.4:以部署代价最小为目标,通过子任务部署方法确定子任务部署位置。
[0080]
与现有技术相比,本发明具有如下的有益效果:
[0081]
1、通过任务融合可以将某些具有相同处理过程但是具有不同数据源的任务执行过程合并,从而减少网络传输资源损耗,同时减少任务部署时间;
[0082]
2、任务图抽象目的在于在多数据源任务场景下,数据源往往分布较为分散,如果直接进行任务图序列化,会增加了额外传输链路。
附图说明
[0083]
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
[0084]
图1为本发明实施例中使用的软件定义天地一体化信息网络中多源数据融合处理方法的时序图。
[0085]
图2为本发明实施例中软件定义天地一体化信息网络中多源数据融合处理的系统模块示意图。
[0086]
图3为本发明实施例中多任务融合示意图。
[0087]
图4为本发明实施例中任务分组及抽象示意图。
[0088]
图5为本发明实施例中任务序列化示意图。
具体实施方式
[0089]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0090]
实施例1
[0091]
根据本发明提供的一种天地一体化信息网络中多源数据融合处理方法,包括:
[0092]
步骤s1:天地一体化信息网络根据逻辑管理层次进行网络状态和资源实时管控,按层次描述网络拓扑,同时对其中可用资源进行整合及量化;
[0093]
步骤s2:地面控制中心将一定时间内获取的多个任务进行切分,并根据任务间关
系进行融合构成一个多任务执行图;
[0094]
步骤s3:对多任务执行图进行子任务的分组及抽象,形成抽象任务图,抽象任务图中由抽象任务连接组成,抽象任务为多个子任务的连接;并经过序列化后形成全序抽象任务图;
[0095]
步骤s4:地面控制中心依据所管控网络域的网络视图以及序列化后的抽象任务图进行处理路径规划,并对抽象任务进行最小代价部署规划;
[0096]
步骤s5:控制层中控制器将收到的地面控制中心所下发的抽象任务后,对其进行拆分,根据所管控的控制域网络视图进行传算路径规划,并部署每个子任务;
[0097]
步骤s6:执行层传算节点在接收到子任务后,按照控制节点下发的计算策略和流表进行任务的计算和传输;并将传算结果返回至用户;
[0098]
所述天地一体化信息网络的逻辑管理层次自上而下分为地面控制中心、控制层以及执行层。
[0099]
具体地,所述步骤s1采用:基于sdn架构的多层天地一体化网络按照逻辑管理层次自下而上分为执行层、控制层和地面控制层;
[0100]
所述地面控制层是地面管理中心,负责管控控制层的多个控制器,获取所有控制域信息;
[0101]
所述控制器部署于卫星网络和地面网络,按照控制器管控范围分为多个区域,每个区域由一个控制器管控,控制器管控执行层设备;控制器将所管控区域内节点的网络状态进行整合,并将该信息向地面控制中心提供;
[0102]
所述执行层由天地一体化网络中的传输和计算节点组成;
[0103]
天地一体化网络从下至上对网络状态和资源进行分层管控,执行节点周期性地上传网络状态信息,控制器将所管控区域内节点的网络状态信息进行整合,并将信息发送至地面控制中心。
[0104]
具体地,所述步骤s2采用:地面控制中心将一定时间内获取的多个任务进行切分,任务的时延敏感陈固定可以量化表示,依据任务相关性和时延敏感程度进行任务图融合,构成一个多任务执行图。子任务由每个任务拆分为多个有依赖关系的执行块得到。任务融合的优势在于,面对天地网中极为繁多的任务,将其中一些处理过程相关性极强的任务进行合并,可大幅降低网络负载和任务部署的时间。
[0105]
具体地,所述步骤s2采用:
[0106]
步骤s2.1:地面控制中心针对用户上传的每个任务获取相应的位置信息、任务来源信息以及任务类型信息;
[0107]
步骤s2.2:地面控制中心根据任务来源信息和任务类型信息确定任务时延敏感值和任务等待值;
[0108]
步骤s2.3:比较任务等待值与时延敏感阈值,当任务等待值大于时延敏感阈值时,则触发步骤s3;当任务等待值小于等于时延敏感阈值时,则触发步骤s2.4;
[0109]
步骤s2.4:地面控制中心对n个任务组成的集合t={t1,t2,
···
,tn},为了增加多个任务的相似性,提前对任务进行划分,根据位置信息、任务来源信息以及软件多种因素对任务进行分组;
[0110]
步骤s2.5:对分组后一组中的所有任务进行任务切分,形成多个任务图,任务图是
可执行代码所构成的有向无环图;一个任务可以在多个编译阶段进行切分,比如源代码、中间代码级别,现有很多方法可以解决这个任务切分的问题,比如根据多个代码段之间的依赖关系。其次,在切分任务之后形成多个代码的执行块,执行块可以在逻辑上视为由输入、输出、以及代码段组成。每个子任务即为可执行的代码块。代码执行块之间根据输入、输出的依赖关系可以构成任务执行图(任务图)。
[0111]
步骤s2.6:按照前置子任务是否相同进行任务图融合;若出现未被融合子任务,增加该任务的任务等待值至预设值,重复触发步骤s2.3至步骤s2.6,直至所有子任务均被融合。前置子任务是指在一个任务由切分得到一个任务执行图之后,多个任务的多个执行图中,有相同的执行块(相同的子任务),执行块根据代码段、输入、输出可确定是否相同。前置任务块指多个任务图从源点(有向无环图的源点)开始的多个子任务块。
[0112]
具体地,所述步骤s3采用:依据多任务融合后任务图进行分组,分组过程依据子任务之间的输入输出相关性,分组后,多个子任务可作为一个任务进行部署也可以重新拆分为多个子任务。
[0113]
具体地,
[0114]
步骤s3.1:根据任务图中子任务执行依赖进行全序分组;
[0115]
步骤s3.2:对分组后的每组子任务进行数据压缩率和资源需求量的抽象;
[0116]
步骤s3.3:将非全序任务图按照数据压缩率进行序列化;
[0117]
所述非全序任务图是任务图中存在子任务的输入输出没有前后关系。
[0118]
具体地,所述步骤s4采用:对抽象任务进行处理路径规划依据其管控的控制域所上传的网络状态,以及任务的数据源和目标点进行路径规划,采用启发式方法寻找最小成本路径。任务部署是指决定将抽象任务具体放置在哪个控制域。
[0119]
步骤s4.1:确定控制层传输路径源节点和目标节点;
[0120]
步骤s4.2:以路径最小代价为目标规划路径,通过启发式算法迭代计算,每次迭代将一个控制域添加到路由路径,获取最小成本路径;
[0121]
步骤s4.3:以部署代价最小为目标,通过抽象任务部署方法确定抽象任务部署位置。
[0122]
所述抽象任务部署方法是将抽象任务按照子任务部署方法部署于控制层面(即地面控制器到控制器这一层)。
[0123]
具体地,所述步骤s5采用:将多个子任务组成的抽象任务进行拆分,以便将每个子任务分别进行部署。处理路径依据任务数据源、目标点和控制域中网络状态进行规划。任务部署在路径规划完成的基础上采用启发式算法完成。
[0124]
步骤s5.1:对抽象任务进行拆分,并将多个子任务序列化;
[0125]
步骤s5.2:确定执行层传输路径源节点和目标节点;
[0126]
步骤s5.3:通过启发式算法迭代计算,每次迭代将一个执行节点添加到路由路径,获取最小成本路径;
[0127]
步骤s5.4:以部署代价最小为目标,通过子任务部署方法确定子任务部署位置。
[0128]
根据本发明提供的一种天地一体化信息网络中多源数据融合处理系统,包括:
[0129]
模块m1:天地一体化信息网络根据逻辑管理层次进行网络状态和资源实时管控,按层次描述网络拓扑,同时对其中可用资源进行整合及量化;
[0130]
模块m2:地面控制中心将一定时间内获取的多个任务进行切分,并根据任务间关系进行融合构成一个多任务执行图;
[0131]
模块m3:对多任务执行图进行子任务的分组及抽象,形成抽象任务图,抽象任务图中由抽象任务连接组成,抽象任务为多个子任务的连接;并经过序列化后形成全序抽象任务图;
[0132]
模块m4:地面控制中心依据所管控网络域的网络视图以及序列化后的抽象任务图进行处理路径规划,并对抽象任务进行最小代价部署规划;
[0133]
模块m5:控制层中控制器将收到的地面控制中心所下发的抽象任务后,对其进行拆分,根据所管控的控制域网络视图进行传算路径规划,并部署每个子任务;
[0134]
模块m6:执行层传算节点在接收到子任务后,按照控制节点下发的计算策略和流表进行任务的计算和传输;并将传算结果返回至用户;
[0135]
所述天地一体化信息网络的逻辑管理层次自上而下分为地面控制中心、控制层以及执行层。
[0136]
具体地,所述模块m1采用:基于sdn架构的多层天地一体化网络按照逻辑管理层次自下而上分为执行层、控制层和地面控制层;
[0137]
所述地面控制层是地面管理中心,负责管控控制层的多个控制器,获取所有控制域信息;
[0138]
所述控制器部署于卫星网络和地面网络,按照控制器管控范围分为多个区域,每个区域由一个控制器管控,控制器管控执行层设备;控制器将所管控区域内节点的网络状态进行整合,并将该信息向地面控制中心提供;
[0139]
所述执行层由天地一体化网络中的传输和计算节点组成;
[0140]
天地一体化网络从下至上对网络状态和资源进行分层管控,执行节点周期性地上传网络状态信息,控制器将所管控区域内节点的网络状态信息进行整合,并将信息发送至地面控制中心。
[0141]
具体地,所述模块m2采用:地面控制中心将一定时间内获取的多个任务进行切分,任务的时延敏感陈固定可以量化表示,依据任务相关性和时延敏感程度进行任务图融合,构成一个多任务执行图。子任务由每个任务拆分为多个有依赖关系的执行块得到。任务融合的优势在于,面对天地网中极为繁多的任务,将其中一些处理过程相关性极强的任务进行合并,可大幅降低网络负载和任务部署的时间。
[0142]
具体地,所述模块m2采用:
[0143]
模块m2.1:地面控制中心针对用户上传的每个任务获取相应的位置信息、任务来源信息以及任务类型信息;
[0144]
模块m2.2:地面控制中心根据任务来源信息和任务类型信息确定任务时延敏感值和任务等待值;
[0145]
模块m2.3:比较任务等待值与时延敏感阈值,当任务等待值大于时延敏感阈值时,则触发模块m3;当任务等待值小于等于时延敏感阈值时,则触发模块m2.4;
[0146]
模块m2.4:地面控制中心对n个任务组成的集合t={t1,t2,
···
,tn},为了增加多个任务的相似性,提前对任务进行划分,根据位置信息、任务来源信息以及软件多种因素对任务进行分组;
[0147]
模块m2.5:对分组后一组中的所有任务进行任务切分,形成多个任务图,任务图是可执行代码所构成的有向无环图;一个任务可以在多个编译阶段进行切分,比如源代码、中间代码级别,现有很多方法可以解决这个任务切分的问题,比如根据多个代码段之间的依赖关系。其次,在切分任务之后形成多个代码的执行块,执行块可以在逻辑上视为由输入、输出、以及代码段组成。每个子任务即为可执行的代码块。代码执行块之间根据输入、输出的依赖关系可以构成任务执行图(任务图)。
[0148]
模块m2.6:按照前置子任务是否相同进行任务图融合;若出现未被融合子任务,增加该任务的任务等待值至预设值,重复触发模块m2.3至模块m2.6,直至所有子任务均被融合。前置子任务是指在一个任务由切分得到一个任务执行图之后,多个任务的多个执行图中,有相同的执行块(相同的子任务),执行块根据代码段、输入、输出可确定是否相同。前置任务块指多个任务图从源点(有向无环图的源点)开始的多个子任务块。
[0149]
具体地,所述模块m3采用:依据多任务融合后任务图进行分组,分组过程依据子任务之间的输入输出相关性,分组后,多个子任务可作为一个任务进行部署也可以重新拆分为多个子任务。
[0150]
具体地,
[0151]
模块m3.1:根据任务图中子任务执行依赖进行全序分组;
[0152]
模块m3.2:对分组后的每组子任务进行数据压缩率和资源需求量的抽象;
[0153]
模块m3.3:将非全序任务图按照数据压缩率进行序列化;
[0154]
所述非全序任务图是任务图中存在子任务的输入输出没有前后关系。
[0155]
具体地,所述模块m4采用:对抽象任务进行处理路径规划依据其管控的控制域所上传的网络状态,以及任务的数据源和目标点进行路径规划,采用启发式方法寻找最小成本路径。任务部署是指决定将抽象任务具体放置在哪个控制域。
[0156]
模块m4.1:确定控制层传输路径源节点和目标节点;
[0157]
模块m4.2:以路径最小代价为目标规划路径,通过启发式算法迭代计算,每次迭代将一个控制域添加到路由路径,获取最小成本路径;
[0158]
模块m4.3:以部署代价最小为目标,通过抽象任务部署方法确定抽象任务部署位置。
[0159]
所述抽象任务部署方法是将抽象任务按照子任务部署方法部署于控制层面(即地面控制器到控制器这一层)。
[0160]
具体地,所述模块m5采用:将多个子任务组成的抽象任务进行拆分,以便将每个子任务分别进行部署。处理路径依据任务数据源、目标点和控制域中网络状态进行规划。任务部署在路径规划完成的基础上采用启发式算法完成。
[0161]
模块m5.1:对抽象任务进行拆分,并将多个子任务序列化;
[0162]
模块m5.2:确定执行层传输路径源节点和目标节点;
[0163]
模块m5.3:通过启发式算法迭代计算,每次迭代将一个执行节点添加到路由路径,获取最小成本路径;
[0164]
模块m5.4:以部署代价最小为目标,通过子任务部署方法确定子任务部署位置。
[0165]
实施例2
[0166]
实施例2是实施例1的优选例
[0167]
本发明提供了一种软件定义天地一体化信息网络中多源数据融合处理方法,如图1所示,包括以下步骤:
[0168]
步骤s1:通过sdn架构特有的性质,在多层管控的天地一体化网络环境中,网络层次从下至上分为执行层、控制层、地面控制层。地面控制层是地面管理中心,负责管控控制层的多个控制器。控制器部署于卫星网络和地面网络,管控执行层设备。这个网络从下至上对网络状态和资源进行分层管控。地面数据中心掌握所有控制域信息。执行节点周期性地上传网络状态信息,各层控制节点据此动态地向上层更新各自域内的网络状态;
[0169]
步骤s2:网络中用户上传任务至地面数据中心,数据中心针对每个任务t可得到下述信息,位置信息loc
t
,任务来源信息appt,任务类型信息tp
t
;如图3所示,数据中心根据多个任务的任务相关性和时延敏感值进行多个任务图的融合;
[0170]
步骤s2.1:地面数据中心根据任务来源app
t
,任务类型tp
t
进行判断,对一个任务t确定其时延敏感值1/2
t
,同时对该任务赋予一个任务等待值wait
t

[0171]
步骤s2.2:比较任务等待值与时延敏感阈值,如果wait
t
>ρ
t
,代表任务等待时间已超出容忍程度,直接执行步骤s3,否则执行步骤s2.3,其中,ρ
t
表示时延敏感阈值;
[0172]
步骤s2.3:地面数据中心对n个任务组成的集合t={t1,t2,

,tn},依据任务请求者所处的位置信息loc
t
、任务来源信息app
t
多种因素进行分类;目的在于在数据融合前先对有可能融合成功的任务进行预先整合。具体地,
[0173]
步骤s2.3.1:如果任务ti和任务tj的任务来源信息为appi和appj,其中i,j∈n,有appi=appj,则将任务ti和任务tj分为一组;
[0174]
步骤s2.3.2:对于未被分组的任务,如果任务ti和任务tj的位置来源信息为loci和locj,其中i,j∈n,有|loc
i-locj|<ε,则将任务ti和任务tj分为一组,其中,ε为任务位置相关性度量,可以进行人为调整;
[0175]
步骤s2.4:对分组后一组中的所有任务进行任务切分,一组任务可表示为包含s个任务集合st={st1,st2,

,sts}。
[0176]
步骤s2.4.1:以其中的单个任务sti为例,i∈[1,s],任务切分方式在其中间代码级别对其进行分割,可得到一个执行块(子任务)集合blk={blk1,blk2,

,blkm},一个任务执行块blki可用三元组(body,din,dout)来抽象表达,i∈[1,m],其中body为该执行块的执行体,din为输入数据,dout为输出数据,如某子任务blki的执行体可表示为blki(body)。
[0177]
步骤s2.4.2:对于任务sti,在得到任务执行块集合blk后,根据任务执行块输入数据和输出数据的关系形成一个有向无环图tg(tv,te)。tg(tv,te)形成的方式为:tv=blk,即tg的点集为任务执行块集合,tv={tv1,tv2,

,tvm};从节点tvi到节点tvj的有向边te(tvi,tvj)∈te,当且仅当
[0178]
步骤s2.4.3:对于代码块tv∈tv,其具有一定的可量化的数据压缩能力comp(tv),该值代表数据流经过子任务tv后流量率的变化情况,同时子任务tv具有计算存储的需求,被量化为nd(tv)。执行完本步骤后,一个类中将形成多个任务图tg1,tg2,

,tgs。
[0179]
步骤s2.5:对多个任务图集合{tg1,tg2,

,tgs}进行任务图融合,按照任务图之间的前置执行块是否相同进行融合。融合方式为:从tg1,tg2,

,tgs的任务图的起始节点(任务图的起始节点定义为为该任务图中不存在到该点有向边)开始遍历,如果对于两个任务图tgi和tgj,i,j∈[1,s],tgi的执行块blki和tgj的执行块blkj存在blki(body)=blkj(body),则合并图tgi和tgj得到tg

。合并方式为tg

点集为tgi和tgj点集的并集;tg

边集为tgi和tgj边集的并集,同时将相同代码块连接的边进行合并,示意图如图3所示。融合后图tg

具有点集tv

和边集te


[0180]
步骤s2.6:在步骤2.5执行完成后,对于未被融合的任务ti,增加其任务等待值并返回步骤2.2。
[0181]
步骤s3:对融合后的任务图进行分组抽象,并量化每个抽象子任务数据压缩率与计算所需资源;
[0182]
步骤s3.1:首先依据任务图中子任务执行依赖进行全序分组,如图4的抽象前任务图到抽象后任务图这一过程,具体的方式为:如果任务图tv

中的由某些子任务组成的集合中,包含起始节点(前文已定义),且两个子任务tvi,tvj∈tv

至多有一条边连接。全序任务组是原任务图tg

中的子图,可表示为og(ov,oe)包含原任务图的部分点集ov和边集oe,即ov∈tv

,oe∈te

。全序融合的意义在于,如果一组子任务是全序的,从常理上来说该组子任务是密切相关的,且不受其他子任务的影响,将其抽象为一个抽象任务并部署在一个控制域内加快处理。
[0183]
步骤s3.2:对每个全序任务组进行抽象,有两个指标,一个为数据压缩率comp,另一个为资源需求量nd,对全序任务组og(ov,oe)的抽象方法如下:
[0184]
comp(og)=π
tv∈ov
comp(tv),
[0185]
nd(og)=max{nd(tv),tv∈ov},
[0186]
分组和抽象完后,原任务图tg

(tv

,te

)可抽象为新的抽象任务图ag(av,ae),其中av表示抽象子任务集合,ae∈te


[0187]
步骤s4.对抽象后的任务图进行序列化。任务图是有向无环的,如图5所示,如果一个节点av的输入为多个节点输出,则将这些节点作为输入集合按照comp排序,并按照从小到大的顺序连接,将新的有向边加入ae,并删除原有边。在有序化后ag(av,ae)变为新的有序抽象任务图sg(sv,se),其中sv表示抽象子任务集合,且sv=av,se为新的有向边集合。
[0188]
步骤s5:地面控制中心掌握所管控的多个控制域的网络视图,以g
dc
(v
dc
,e
dc
)表示由多个控制域组成的网络图,g
dc
为无向图,包括控制域节点集合v
dc
,以及控制域直接链路集合e
dc
,结合有序抽象任务图sg(sv,se)进行传算路径规划和任务部署;
[0189]
步骤s5.1:抽象任务处理路径规划阶段,采用下述算法,以源控制域为起点,目标控制域为终点,以路径最小代价为目标规划路径,路径代价描述如下,控制域u,v∈v
dc
,且其直接连接,路径u到v的代价为
[0190]wu,v
=weight(load
u,v
+spec
u,v
),
[0191]
其中weight是一个单调不减的函数,自变量load
u,v
和spec
u,v
的增大会导致该条链路的代价增大。load
u,v
是该链路当前传输负载,spce
u,v
为当前链路的重要性度量,该值用来给不同重要性的链路以不同的传输代价。每次循环寻找一个控制域加入路径,不断地积累路径中的控制域,直至路径中的计算和存储资源大于有序抽象任务图sg的所需资源,即大于π
sv∈sv
nd(sv)。
[0192]
以第i次循环为例,从已找到的执行节点vi开始,vi∈v
dc
,以上述的最小路径成本为度量,找到下一个执行节点vj,同时将两个节点之间的路径添加到路由路径中。如果已经寻找到了足够的节点用于计算,则停止迭代。步骤s5.1完成后得到了一个从路径源点到目
标点的最小化代价路径path
dc
(pv
dc
,pe
dc
),path
dc
是一个有向无环图,且是网络图g
dc
(v
dc
,e
dc
)的子集。且该路径上的资源足够处理即将部署的多个抽象子任务。
[0193]
步骤s5.2:抽象任务部署阶段,在第一阶段确定路由路径后,以每一步的部署代价最小化为目标,贪心地依次部署每一个抽象任务。现有全序抽象任务图sg(sv,se),抽象子任务共有size(sv)个。在path
dc
(pv
dc
,pe
dc
)上的节点vi部署全序抽象任务图中的第j个任务时,从节点vi到v
i+1
链路的代价为:
[0194][0195]
其中,指的是将任务j执行完后在节点vi到v
i+1
链路上产生的新的负载变化。假如全序抽象任务组的输入流量率为tr,svk∈sv,k∈[1,size(sv)]则有:
[0196][0197]
以第j个任务的部署为例,依次以从第j-1个任务部署位置之后的path中节点为第j个任务的部署节点,计算新代价,以其中最小代价部署位置为最优位置,放入有序集合location中,location中元素与sg(sv,se)中节点顺序对应。
[0198]
步骤s5.3:根据求出的部署位置location和对应全序任务图sg(sv,se),对子任务或者子任务组下发至超控域,同时下发流表来控制每个控制域数据的流向。
[0199]
步骤s6:控制器在收到抽象任务之后,根据所管控的超控域网络视图对每个任务组进行传算路径规划;
[0200]
步骤s6.1:对从控制中心分发下来的抽象任务进行拆解,还原为全序任务组og(ov,oe);
[0201]
步骤s6.2:任务处理路径规划阶段,控制器已知本网络拓扑,用gc(vc,ec)表示,包括执行节点集合vc,执行节点链路集合ec,同时根据数据中心下发的流表确定控制域中的传输路径源点和目标节点。以路径最小代价为目标规划路径,路径代价描述如下,执行节点u,v∈vc,且直接连接,节点u到v的路径代价为weight(load
u,v
+spec
u,v
),其中weight是一个单调不减函数。load
u,v
是该链路当前传输负载,spec
u,v
为当前链路的重要性度量,该值用来给不同重要性的链路以不同的传输代价。每次循环寻找一个执行节点加入路径,不断地积累路径,直至路径中的计算和存储资源大于全序任务组og(ov,oe)中所有子任务所需资源,即大于π
ov∈ov
nd(ov)。最终得到了一个从路径源点到目标点的最小化代价路径pathc(pvc,pec),pathc是一个有向无环图,且是控制域网络图gc(vc,ec)的子集。且该路径上的资源足够处理即将部署的多个子任务。
[0202]
步骤s6.3:任务部署阶段,在步骤s6.2确定路由路径后,以每一步的部署代价最小化为目标,贪心地依次部署每一个任务。现有全序任务图og(ov,oe),子任务共有size(ov)个。在pathc(pvc,pec)上的节点vi部署全序任务图中的第j个任务时(j<size(ov)),从节点vi到v
i+1
链路的代价为:
[0203][0204]
其中,指的是将任务j执行完后在节点vi到v
i+1
链路上产生的新的负载变化,假如任务组的输入流量率为trc,ovk∈ov,k∈[1,size(ov)]则有:
[0205]
[0206]
以第j个任务的部署为例,依次以从第j-1个任务部署位置之后的path中节点为下一个部署节点,计算新代价,以其中最小代价部署位置为最优位置,放入有序集合locationc中,locationc中元素与og(ov,oe)中节点顺序对应。
[0207]
步骤s7:执行节点在接收到子任务后,按照控制节点下发的计算策略和流表进行任务的计算和传输。
[0208]
根据上述发明技术实现的软件定义天地一体化信息网络中多源数据融合处理系统,如图2所示,包括以下模块:
[0209]
网络实时管控模块:对各个层次的网络状态及资源进行整合,每个区域以抽象节点的形式被上层节点控制;
[0210]
任务融合模块:根据多任务的相关度、以及时延敏感度进行任务图融合;
[0211]
任务处理模块:对融合后的任务图进行分组,然后对每组任务进行序列化,最后对子任务组进行相关数据的抽象;
[0212]
路径计算模块:每一层的控制节点根据子任务组的资源需求,任务源节点和任务目标节点继续路由路径规划;
[0213]
任务部署模块:每一层的控制节点根据子任务或子任务组的数据压缩率,以模块4计算出的路径为任务放置路径,并以最小化链路代价为目标放置子任务;
[0214]
传算执行模块:位于传算执行层的传算节点在收到上级控制器发来的传算信令后,执行相应的子任务计算和数据传输。
[0215]
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0216]
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本技术的实施例和实施例中的特征可以任意相互组合。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1