一种大数据实时处理与存储系统及其处理方法
【技术领域】
[0001] 本发明涉及航天飞行器的测量信号采集与处理技术领域，特别涉及一种大数据实 时处理与存储系统及其处理方法。
【背景技术】
[0002] 随着空间军事化和商业化的迅猛发展，外层空间已成为当今维护国家安全和国家 利益所必须关注和占据的战略制高点，主要表现在以快速轨道部署、为代表的空间防卫新 挑战以及以二代导航二期工程、月球探测工程、国际商业发射等为代表的运载火箭任务适 应性、多星发射新要求。
[0003] 我国新一代空间运载器的成功应用需要突破包括远距离高码率测量系统技术在 内多项突破空间运输与空间攻防武器关键技术。为了突破远距离高码率测量系统技术，型 号要求测量系统能够实时完成对全箭数据的实时处理与存储，以提高数据的利用率、提升 型号的测试效率。该需求使得测量系统面临以下难题：
[0004] 全箭数据类型及数据量与传统型号相比有大幅增加，传统型号只需完成缓变、指 令、计算机字类参数的处理，对于1553B、CAN、RS485、RS422等数据的实时处理尚未涉及。因 此，如何设计出一个能够适应全箭数据实时处理，提高数据利用率，满足型号对数据处理结 果快速提供需求的系统，是测量系统面临的一大难题。
[0005] 为了满足型号快速数据判读、比对的需求，提高型号的测试效率，测量系统需将处 理数据结果进行实时存储，确保型号试验完成即可进行数据判读。由于计算机硬件的限制 (磁盘读写速度、系统I/O开销、CPU执行效率等）使得瞬时大数据的实时存储成为测量系 统面临的巨大难题。
【发明内容】
[0006] 本发明的目的在于克服现有技术的不足，提供一种大数据实时处理与存储系统， 该系统利用中心控制模块实现数据帧在各模块之间的调度，按照设定的流程分别对数据帧 正确性、连续性、帧结构进行判断，在符合要求的数据帧中提取起飞时刻，并发送到数据处 理模块进行处理，最后将得到的处理结果保存在数据库中，从而实现了数据的实时处理和 事后存储。
[0007] 本发明的上述目的是通过如下技术方案予以实现的：
[0008] 一种大数据实时处理与存储系统，包括数据提供模块、中心控制模块、遥测帧解析 模块、变帧判断模块、起飞判断模块、数据处理模块和数据库，其中：
[0009] 数据提供模块：接收外部网络组播的遥测原码数据帧，然后将所述原码数据帧存 入循环缓存区内，并将所述循环缓存区内的数据帧发送给中心控制模块；
[0010] 中心控制模块：接收数据提供模块发送的数据帧，并将所述数据帧发送给遥测帧 解析模块；接收遥测帧解析模块发送的数据帧判断结果，如果判断结果显示数据帧正确， 则发送所述数据帧到变帧判断模块；接收变帧判断模块发送的错误提示或帧结构标示，如 果接收到变帧判断模块发送的帧结构标示，则发送所述数据帧和帧结构标示到起飞判断模 块；在接收到起飞判断模块发送的起飞时刻值后，发送所述数据帧和起飞时刻值到数据处 理模块；
[0011] 遥测帧解析模块：接收中心控制模块发送的数据帧，将所述数据帧的大小和帧同 步码与设定的帧大小值和设定的帧同步码进行比较，即判断所述数据帧的正确性，并通过 所述数据帧的计数值判断数据帧的连续性，然后发送判断结果到中心控制模块；如果所述 判断结果为数据帧不正确或不连续，则将所述判断结果记录在系统日志文件中；
[0012] 变帧判断模块：接收中心控制模块发送的数据帧，对所述数据帧标示进行判断，如 果所述数据帧标示不在设定的帧标示取值范围内，则发送错误提示到中心控制模块，并将 所述错误记录在系统日志文件中；如果所述数据帧标示正确，则根据数据帧大小和数据帧 标示确定对所述数据帧进行处理时采用的帧结构，并发送所述帧结构的标示到中心控制模 块；
[0013] 起飞判断模块：接收中心控制模块发送的数据帧和帧结构标示，按照所述帧结构 标示对应的帧结构对数据帧进行解析，然后在解析结果中查找记录在数据帧中的起飞时刻 值，并将起飞时刻值发送给中心控制模块；
[0014] 数据处理模块：接收中心控制模块发送的数据帧和起飞时刻值，然后按照数据帧 的数据类型进行处理，提取出所述数据帧中的源码，并将所述源码与设定的系统参数进行 对应，采用所述系统参数对应的处理计算公式对源码进行处理，得到所述系统参数的物理 量值；将所述系统参数、处理计算公式和处理结果发送到数据库进行保存；
[0015] 数据库：接收数据处理模块发送的处理结果并保存。
[0016] 在上述的大数据实时处理与存储系统中，数据库包括实时数据库和关系数据库， 其中，实时数据库实时接收数据处理模块发送的处理结果，并将所述处理结果转发到关系 数据库进行保存。
[0017] 在上述的大数据实时处理与存储系统中，数据处理模块在进行数据处理和存储过 程中发送数据处理进度和数据存储进度到中心控制模块，中心控制模块接收所述进度并进 行显示。
[0018] 上述的大数据实时处理与存储系统，还包括数据发布模块，其中：数据处理模块根 据设定的数据发布内容，发送相应的数据处理结果到中心控制模块，中心控制模块转发所 述数据处理结果到数据发布模块，数据发布模块根据设定的通信协议将所述数据处理结果 进行打包和网络发布。
[0019] 上述的大数据实时处理与存储系统，还包括数据中心，其中，在数据库中保存有系 统设定值，所述系统设定值包括帧大小值、帧同步码、帧标示取值范围、帧结构和系统参数 的计算公式；数据中心从数据库中读取所述系统设定值并发送给中心控制模块；中心控制 模块发送设定的帧大小值和帧同步码到遥测帧解析模块，发送帧标示取值范围到变帧判断 模块，发送帧结构到起飞判断模块，发送系统参数的计算公式到数据处理模块。
[0020] 在上述的大数据实时处理与存储系统中，数据处理模块按照处理数据类型划分为 8个处理单元，包括缓变参数处理单元、指令参数处理单元、计算机字参数处理单元、1553B 总线参数单元、特征码复用参数处理单元、CAN总线参数处理单元、二次计算参数处理单元 和串口参数处理单元，所述各处理单元接收中心控制模块发送的数据帧，分别对8种类型 的数据进行处理。
[0021] 在上述的大数据实时处理与存储系统中，中心控制模块对数据处理模块中的8个 处理单元进行线程控制，即为每个处理单元分配设定数量的线程，每个单元在所述分配线 程内进行数据处理。
[0022] 在上述的大数据实时处理与存储系统中，中心控制模块对系统进程进行控制，即 在系统运行过程中，如果处理出现再次启动请求，则进行报错并对所述请求进行禁止。
[0023] 基于上述的大数据实时处理与存储系统实现的数据处理方法，包括如下步骤：
[0024] (1)、数据提供模块接收外部网络组播的遥测原码数据帧，然后将所述原码数据帧 存入循环缓存区内，并将所述循环缓存区内的数据帧发送给中心控制模块；
[0025] (2)、中心控制模块将接收到的数据帧发送给遥测帧解析模块；遥测帧解析模块将 所述数据帧的大小和帧同步码与设定的帧大小值和设定的帧同步码进行比较，即判断所述 数据帧的正确性，并通过所述数据帧的计数值判断数据帧的连续性，然后发送判断结果到 中心控制模块；如果所述判断结果为数据帧不正确或不连续，则将所述判断结果记录在系 统日志文件中；
[0026] (3)、中心控制模块接收遥测帧解析模块发送的判断结果；如果所述判断结果为数 据帧不正确或不连续，则进入步骤（8);如果所述判断结果为数据帧正确且连续，则进入步 骤⑷；
[0027] (4)、中心控制模块发送数据帧到变帧判断模块，变帧判断模块对所述数据帧标示 进行判断，如果所述数据帧标示不在设定的帧标示取值范围内，则发送错误提示到中心控 制模块，并将所述错误记录在系统日志文件中；如果所述数据帧标示正确，则根据数据帧大 小和数据帧标示确定对所述数据帧进行处理时采用的帧结构，并发送所述帧结构的标示到 中心控制模块；
[0028] (5)、中心控制模块接收变帧判断模块发送的错误提示或帧结构标示；如果接收内 容为错误提示，则进入步骤（8);如果接收内容为帧结构标示，则进入步骤（6);
[0029] (6)、中心控制模块发送数据帧和帧结构标示到起飞判断模块，起飞判断模块按照 所述帧结构标示对应的帧结构对数据帧进行解析，并在解析结果中查找记录在数据帧中的 起飞时刻值，并将起飞时刻值和数据帧发送给数据处理模块；
[0030] (7)、数据处理模块按照数据帧的数据类型进行处理，提取出所述数据帧中的源 码，并将所述源码与设定的系统参数进行对应，采用所述系统参数对应的处理计算公式对 源码进行处理，得到所述系统参数的物理量值；将所述系统参数、处理计算公式和处理结果 发送到数据库进行保