卫星物联网大数据处理方法与流程

1.本发明属于电子和通信领域，具体涉及一种卫星物联网大数据处理方法。


背景技术：

2.随着我国空间卫星通信技术的发展，低轨卫星物联网成为新的发展趋势，低轨卫星物联网的数据通信量大，过程产生的数据也呈指数级增长，由各类探测器、传感器和地面支撑系统产生的海量数据具有异构性、规模性、实时性、复杂性和隐私性等大数据特点。天启卫星物联网在轨运行期间将接受大量的地面采集数据，低轨卫星物联网大数据从采集、存储、分析到传输，是对大数据的生命周期的控制，从计算能力、存储系统和通信能力三方面对卫星大数据的处理分析提出了新的革命要求。
3.这些海量数据涵盖了大范围的测试数据等非结构化数据。整个卫星系统生命周期产生的数据种类繁多，数据量非常大，存储分散，时间周期长，具有规模性和异构性特点，需要利用大数据的处理方法，将其综合起来应用到卫星在轨运行管理中。随着新的空间科学任务的不断提出，现有系统渐渐不能满足新业务的需求特性，需要高扩展性、高性能、容错性、伸缩性和低运营成本的数据处理方法。传统数据管理和处理分析系统是基于关系型数据库管理系统和文件系统，这些系统在处理常规量级结构化数据时展现了其突出的性能，但对海量结构化数据、半结构化或非结构化数据的处理能力却支持不足。在高速、多源、海量数据记录等新的处理需求面前，如何有效地进行存储、查询、分析是一个巨大的挑战。
4.大数据是指数据规模大于10tb以上的数据集，它具有数据量大、数据类型众多、应用价值高、处理速度快等一系列重要特点，这类数据与传统的数据具有明显的差异。在卫星通信系统中，已经形成了pb级的数据量，其特征是具有规模性、多样性、高速性和价值性等特征，大数据正在成为复杂性科学研究以及现代服务业及相关领域发展的重要数据基础。
5.面对多源异构、规模宏大、高速处理和复杂分析的卫星运控任务新需求，传统关系数据库系统并不适宜，具体原因如下：
6.(1)关系数据库模型无法高效组织和统一管理所有数据集；
7.(2)关系数据库仍面临着通过并行操作集群节点实施海量数据集高速处理的瓶颈，关系数据库要应对大规模数据处理，需要解决读操作、更新操作的性能问题，受到事务性(保证数据持久性、一致性、可靠性)的约束；
8.(3)基于现有关系数据库无法满足统计挖掘分析工具处理数据量对内存容量和并行化水平的要求，传统联机分析软件的处理流程读取数据库中的数据并传送到分析软件所来的大量数据搬迁增加了时间复杂度和空间复杂度。
9.针对当前大数据技术发展的日益成熟，将大数据技术应用到卫星物联网运控中，提高系统处理性能、容错容灾与扩展能力，对获取的数据进行分析挖掘，为卫星在轨运行提供可依据的技术支撑显得尤为必要。围绕卫星运行产生的海量采集数据、工程数据、科学数据以及卫星有效载荷在运行过程中的数据，将采用大数据技术进行分析，为卫星在轨运行提供更加科学的数据管理方法。


技术实现要素：

10.本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种卫星物联网大数据处理方法，以兼顾提升系统的数据容量、数据的计算速度和降低数据处理时间之间的协调，兼顾提升系统容量和系统的数据传输效率。
11.根据本发明，提供了一种卫星物联网大数据处理方法，包括：在轨卫星载荷接收终端发射的上行传感器数据和通信短报文数据，解调出数据信息，通过与星载计算机的数据通讯接口传送给星上数管，并进行数据的处理和存储；其中利用卫星大数据技术spark技术框架来处理数据；在大数据的处理过程中启动资源调度，从而调度资源池中的资源；当资源池进行了调度同时进行反注册生成任务列表，进行任务的分配；利用大数据模型rdd进行资源与任务的统一计算，采用rdd数据模型进行任务的序列执行。
12.优选地，所述的卫星物联网大数据处理方法包括：
13.调用sparksubmit类，内部依次执行执行submit和dorunmain，随后通过反射获取应用程序的主类对象，执行主类的main；
14.构建sparkcontext，在sparkcontext入口创建sparkenv对象、用来生成task并发送给executor的taskscheduler、以及用来划分stage的dagscheduler；
15.clientactor将任务信息封装到applicationdescription对象里并且提交给master；
16.master收到clientactor提交的任务信息后，把任务信息进行存储，然后将任务信息放到队列中；
17.当开始执行任务队列信息的时候，启动worker并进行资源的调度；
18.将调度好的资源封装到launchexecutor并发送给对应的worker；
19.worker接收到master发送过来的调度信息后，将信息封装成一个executorrunner对象；
20.封装成executorrunner后，调用executorrunner的start方法，开始启动coarsegrainedexecutorbackend对象；
21.executor启动后向driveractor进行反向注册；
22.向driveractor反注册成功后，创建一个线程池用来执行任务。
23.优选地，所述的卫星物联网大数据处理方法包括：
24.当所有的executor注册完成后，driver端会结束与sparkcontext对象的初始化；
25.当driver初始化完成后，触发action的rdd算子即触发了一个job，将job提交到dagscheduler；
26.dagscheduler根据job开始进行stage划分；
27.将划分好的stage按照区域生成一个一个的task，并且封装到taskset对象，然后taskset提交到taskscheduler；
28.taskscheduler接收到提交过来的taskset，获取一个序列化器，对taskset序列化，将序列化好的taskset封装到launchexecutor并提交到driveractor；
29.把driveractor发送到executor上；
30.executor接收到driveractor发送过来的任务，将其封装成taskrunner，然后从线程池中获取线程来执行taskrunner；
31.taskrunner拿到反序列化器，反序列化taskset，然后执行任务。
32.优选地，所述的卫星物联网大数据处理方法包括：
33.spark架构内使用rdd数据模型进行数据处理，启动rdd数据模型的建立；
34.启动action触发job，将job提交到dagscheduler；
35.dagscheduler根据job开始进行stage划分；
36.每一个stage生成一个task，将task提交到taskscheduler；
37.taskscheduler接收到提交过来的taskset，将序列化好的taskset封装到launchexecutor并提交到driveractor；
38.把driveractor发送到executor上，安排worker执行任务。
39.发明的卫星物联网大数据处理方法可以对地面采集的激增的大量数据包含不同的数据类别进行高效的数据处理，对于卫星物联网整个系统的建设提供有效的数据通信保障。上述卫星物联网大数据处理技术，并不局限于本发明中公开的实施例，还可以拓展到地面网络等其他物联网大数据处理的系统或者混合系统组合。本发明采用的卫星物联网大数据处理方法，启动资源调度，从资源池里选择空余资源，进行任务序列的建立，从而安排并发执行任务。
40.本发明适合用于卫星物联网上行频率240-243mhz范围，此外这种大数据处理方法还可以用于其他频段物联网。本发明支持不同速率下上下行信号处理的流程。本发明支持208bps、832bps两种速率的上行信号处理，但不局限于这两种数据速率。
附图说明
41.结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
42.图1示意性地示出了根据本发明优选实施例的卫星大数据处理的架构。
43.图2示意性地示出了根据本发明优选实施例的大数据处理技术。
44.图3示意性地示出了根据本发明优选实施例的卫星物联网大数据处理方法的流程图。
45.图4示意性地示出了根据本发明优选实施例的卫星物联网大数据处理方法的流程图。
46.图5示意性地示出了根据本发明优选实施例的卫星物联网大数据处理方法的流程图。
47.需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。
具体实施方式
48.为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。
49.本发明针对卫星物联网数据量激增，现有的数据处理方法无法快速的进行数据的处理，设计一种最新的卫星物联网大数据的处理系统。该系统设计中兼顾提升系统的数据容量，数据的计算速度和降低数据处理时间之间的协调。本发明的技术方案要点包括：数据
采集类别、大数据的数据处理流程。本发明可用于中、低轨卫星建立卫星物联网，对地面采集的激增数据量，可以提升在轨卫星的数据容量和数据的处理速度，从而降低数据处理的时间提高通信效率。
50.本发明可用于低轨卫星与地面采集终端之间进行通信的物联网系统或其相对应的平台。
51.本发明利用最新的spark大数据技术来进行数据框架的设计和处理，在轨卫星载荷接收终端发射的上行传感器数据和通信短报文数据，解调出数据信息，通过与星载计算机的数据通讯接口(rs422)传送给星上数管，并进行相应的处理和存储。
52.例如，星上数管系统中的大数据处理由采集地面dcs终端、船舶ais发射机、航空器ads-b发射机、地面x波段数传站和地面相关数据中心的数据组成，如图1所示。通过大数据采集卫星，采集全球范围内船舶ais信息、航空器ads-b信息和dcs终端发送的传感器信息。统一通过同步rs422接口将大数据传输到数管系统，在数管系统里进行大数据技术处理，择机通过x波段数传信道下传到地面。
53.大数据采集的数据分类为以下几种：
54.船舶ais发射特性
55.发射天线增益：≥-3dbi；
56.发射功率：≥12.5w；
57.馈线损耗：1.5db；
58.发射频率：常规ais频点161.975mhz、162.025mhz和星载ais专用频点156.775和156.825mhz。
59.ais接收天线覆盖特性
60.在整星上的仿真分析表明，天线极化方式为线极化，仿真增益大于≥0dbi(主瓣
±
45
°
范围内)，天线主瓣偏移+z方向15
°
，按照以往经验考虑1dbi的仿真误差，天线增益大于≥-1dbi(主瓣
±
45
°
范围内)。经分析，位于689km轨道，卫星ais接收天线波束宽度为
±
45
°
，对应的直径1460km的地面覆盖区域。随着卫星在轨飞行，天线波束覆盖区域沿星下点轨迹移动。
61.飞机ads-b发射特性
62.采用1090mhzs模式扩展电文数据链(1090es)。航空器发射频率1090mhz；信号带宽4mhz；发射功率27dbw，发射天线增益≥2.5dbi(仰角20～90
°
)。
63.ads-b接收天线覆盖特性
64.在整星上的仿真分析表明，天线仿真增益大于≥7.7dbi(
±
25
°
范围内)，按照以往经验考虑0.5dbi的仿真误差，天线仿真增益大于≥7.2dbi(
±
25
°
范围内)。经分析，位于689km轨道，卫星ads-b接收天线波束宽度为
±
25
°
，覆盖直径为660km的覆盖区域。随着卫星在轨飞行，天线波束覆盖区域沿星下点轨迹移动。
65.地面终端特性
66.地面天线收发共用；
67.天线增益：≥2dbi(
±
25
°
仰角以上),≥3dbi(
±
38
°
仰角以上)；
68.天线极化形式：左旋圆极化；
69.馈线损耗：0.5db。
70.上行频率：401mhz～403mhz(具体频点待定)；
71.地面发射功率：≥2w@400bps，≥8w@2.4kbps(脉冲发射)；
72.下行频率：465mhz～468mhz；(待定)
73.地面接收灵敏度：-123dbm。
74.dcs接收天线覆盖特性
75.在整星上的仿真分析表明，ads-b天线及其他星体结构对dcs天线较小，dcs接收天线在
±
60
°
范围形成轴比良好的左旋圆极化波束，仿真增益大于1dbi(
±
60
°
范围内)，考虑1db误差，dcs接收天线实测增益大于0dbi(
±
60
°
范围内)。经分析，位于689km轨道，卫星dcs接收天线波束宽度
±
60
°
，覆盖直径3032km的覆盖区域。随着卫星在轨飞行，天线波束覆盖区域沿星下点轨迹移动。
76.在星上数管系统中大数据处理系统采用了最新的spark技术来进行，spark是基于hadoop技术基础上发展起来的大数据并行计算框架，它是基于内存的计算模型，有很高的计算性能和集群模式，同时保证了高可用特性。spark主要特点是能在内存中进行计算，运行速度非常快、接口丰富、通用性强、随处运行。本发明采用spark技术在卫星载荷上从分布式文件系统hdfs上读取数据。
77.spark的核心(spark core)主要包括任务调度、内存管理、存储系统交互等。spark用rdd模型包装数据的输入和处理。数据库使用spark的组件spark sql框架，优化了hadoop中map reduce、hive核查处理程序，大幅提高数据核查处理效率，对于卫星星上计算提高了效率，spark sql既可以运行云端操作，数据来源于地面采集器采集的大量上星数据，可以处理hdfs、hbase、hive、cassandra和tachyon各种类型的数据，同时也可适用于实时性要求或者速度要求较高的卫星传输场所，对于低轨卫星物联网的应用场景来说是非常适合的。
78.图3至图5示意性地表示出了根据本发明优选实施例的卫星物联网大数据处理方法的流程图。
79.如图3至图5所述，根据本发明优选实施例的卫星物联网大数据处理方法包括：
80.s101：调用sparksubmit类，内部执行submit
‑‑
》dorunmain-》通过反射获取应用程序的主类对象
‑‑
》执行主类的main；
81.s102：构建sparkcontext，在sparkcontext入口创建了sparkenv对象(创建了actorsystem对象)，taskscheduler(用来生成并发送task给executor)，dagscheduler(用来划分stage)；
82.s103：clientactor将任务信息封装到applicationdescription对象里并且提交给master；
83.s104：master收到application后，把任务信息进行存储，然后又将任务信息放到队列中；
84.s105：准备执行这个任务信息，进行资源的调度；
85.s106：将调度好的资源封装到launchexecutor并发送给对应的worker；
86.s107：worker接收到master发送过来的调度信息(launchexecutor)后，将信息封装成一个executorrunner对象；
87.s108：封装成executorrunner后，调用executorrunner的start方法，开始启动coarsegrainedexecutorbackend对象；
88.s109：executor启动后向driveractor进行反向注册。
89.s110：与driveractor注册成功后，创建一个线程池(threadpool)，用来执行任务。
90.对于卫星大数据spark调度，如下所述：
91.s201.当所有的executor注册完成后，意味着作业环境准备好了，driver端会结束与sparkcontext对象的初始化。
92.s202.当driver初始化完成后(创建了sc实例)，触发action的rdd算子即触发了一个job，将job提交到dagscheduler。
93.s203.根据提交的job，dagscheduler开始进行stage划分。
94.s204.将划分好的stage按照区域生成一个一个的task，并且封装到taskset对象，然后taskset提交到taskscheduler。
95.s205.taskscheduler接收到提交过来的taskset，拿到一个序列化器，对taskset序列化，将序列化好的taskset封装到launchexecutor并提交到driveractor。
96.s206.把driveractor发送到executor上。
97.s207.executor接收到driveractor发送过来的任务(launchexecutor)，会将其封装成taskrunner，然后从线程池中获取线程来执行taskrunner。
98.s208.taskrunner拿到反序列化器，反序列化taskset，执行任务。
99.spark大数据处理技术中需要建立rdd模型对数据流程进行处理：
100.s301.spark架构内使用rdd数据模型进行数据处理，启动rdd数据模型的建立。
101.s302.启动action,生成job，将job提交到dagscheduler；
102.s303.根据生成的job，dagscheduler开始进行stage划分；
103.s304.每一个stage生成一个task，将task提交到taskscheduler；
104.s305.taskscheduler接收到提交过来的taskset，将序列化好的taskset封装到launchexecutor并提交到driveractor。
105.s306.把driveractor发送到executor上,安排worker执行任务。
106.利用本发明提供的方法用于卫星物联网大数据处理，至少具有以下优点：
107.1、解决了卫星采集大量数据形成大数据规模的处理状态，在轨卫星利用最新的大数据spark技术处理方法，该方法可应用于卫星物联网；
108.2、能够接收用户发射的上行传感器数据和通信短报文数据，经过大数据的调度和处理存储于星上数管；
109.3、载荷系统中的大数据系统利用spark技术，将资源进行合理的调度和分配，改进了数据旧的调度方式，更快捷更安全可靠。
110.4、并行处理数据的能力大幅提升，对于低轨卫星物联网的推广和应用具有革命性的意义和价值。
111.需要说明的是，除非特别指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
112.可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等
同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。