多级数据传输与数据计算的并行处理方法及装置与流程

本发明涉及多级数据传输与数据计算的并行处理方法及装置，属于大数据、计算机网络、数据通信和数据计算的。

背景技术：

0、技术背景

1、当前通信技术和计算技术正极力迎合和促进人类对信息快速处理需要。人工收集统计的信息数据，技术平台产生的业务数据以及采集器获取的信息数据都以爆炸式增长。比如手机对语音采集，相机对图像采集，录像机、摄像机对音频和视频采集，雷达对目标探测，卫星对地探测，航天器对宇宙探测，各种各样的采集器每时每刻都在收集信息，信息数据分发共享需要传输和计算等处理。根据仙农原理，信息传输速度与信道频谱带宽有关。为了提高数据传输的时效性，无论有线还是无线信道必需依赖丰富的频谱资源。当前数据传输若走地面则多采用光纤，若利用卫星通信则多租用微波信道。为了提高数据处理速度，需要配备数据处理能力强的计算机，为了提高数据计算速度则需使用较快的cpu(中央处理器)或者gpu(图像处理器)及存储器等部件，增加内存容量有利于大数据处理，提高外设数据读取和保存速度则需使用较快读写访问的外部存储器及其接口电路，比如固态盘及其配套接口。当前，并行传输和并行计算系统已取得很大成功，为了进一步提高数据传输和计算效益可使用成本更高的并行传输和并行计算系统。

2、业务数据多任务处理及业务机构分级设置，存在多级数据传输和数据计算需求。数据是否需要多级传输则有多方面因素，比如前端需要对接收数据加工处理，再转发；地面专线成本与距离远近相关，或设立分中心转发；卫星接收设备成本高，接收卫星下发数据后，转地面专线续传；等等。多级数据传输模式，例如卫星遥感数据的多级传输，由地面站接收卫星下发数据，经数据中心处理后，由地面站上传卫星转发；例如省(/部)级卫星遥感系统的多级传输，由地面站接收卫星下发数据，经数据中心处理后，经地面专线逐级转发至其所属司级、地级、县级等部门。数据应用前，数据不仅需要多级分发，还需要进行多任务数据计算。比如卫星遥感数据往往还要做一系列的数据预处理，包括时域、空域、频域等各种数据校正，以及多种地物反演，为地球模拟系统不断提供各路参数数据。早前，多级数据传输由独立站接续传输，接收前级站文件后，再独立向后级站续传。为了提高数据传输时效性，多级数据传输多采用级间内存同步转发，实时完成数据传输。前级站有数据计算任务(如数据预处理)，可利用内存保存接收的数据文件，为了避免低速外存浪费时间，可使用高速的内存、cpu或者gpu完成相应的数据计算，再往下级站转发。当前多级数据传输中有数据计算任务，需要等待数据文件接收完成，还是两站间独立传输模式，转发过程和接收过程等待时间相对甚长，没有利用数据传输时间而同时进行数据计算，没有考虑多级站数据传输和数据计算环节的时效性和综合效益。

3、虽然数据获取和处理等方面越来越快，但是，当前多级数据传输和数据计算的时效还离人们对行业应用需求甚远。大数据业务系统需要应对各地业务数据集中处理及高峰期拥挤而至带来的数据传输和数据计算的资源压力。对于军事、气象、国土、海洋、环境等领域大数据，面对局域性、全球性模拟系统时效性差，在数据异地传输、数据时域空域频域校正、数据反演各种参数数据以及系统模拟运算等大量数据处理事务，在技术上迫切需求创新升级。例如军事目标监测、地球资源监测及灾害监测预测等，对局域，甚至全球数据收集、传输和计算，会对采集数据获取和处理速度希望极高，甚至不惜成本而提高相应处理能力。基于前人相关研究，更急需构建高效的多级数据传输和数据计算并行处理应用模式，与大数据并行传输模式和大数据并行计算模式不同，而是一起提高大数据的传输、计算效率，符合国家战略，对国民经济和社会效益的推动作用不可估量。

技术实现思路

1、本发明针对需要多址数据传输和多任务数据计算的数据源，为克服数据传输过程的封闭性而建立数据传输与数据计算的交互融合机制，构建起数据传输与数据计算超级应用模式，提高数据传输和数据计算的事务效率，提供高效的多级数据传输与数据计算的并行处理方法及装置。

2、本发明从系统结构，并行机制，系统功能，系统模块，对研制的多级数据传输与数据计算的并行处理方法及装置概述如下：

3、所述系统结构包括：由多级计算机站点(/节点)组成；站间通信采用远程、近程计算机通信网络，或者远程、近程非计算机通信网络；站点及站间远程或近程通信构成多级站点远程或近程数据通信系统及独立分布的超级计算机集群；多级站点及其数据流向为多级树杈型静态结构；站点数据处理分为数据传输和数据计算等模块；数据逐级交错传输计算的并行处理动态模式。

4、所述并行机制包括：数据分块为大数据并发传输计算提供契机；最小数据处理块分为2种基本形式：一组主体数据，没有或不需要传输辅助数据；一组辅助数据及其对应的一组主体数据；数据分块逐站传输，逐站计算，形成交错传输计算机制，完成全程数据传输计算任务。还陈述了并行传输计算数学模式。

5、所述系统功能包括：各级站承担数据传输和数据计算业务；以数据逐级交错传输计算方式完成多级站数据传输和总量任务计算；站间通信方式确定了系统的运行、作用和效益，表现出不同的结构模式功能；站点及站间远程或近程通信确定了多级站点远程数据通信、近程数据通信与独立分布的超级计算的组合。

6、所述系统模块即各级站点系统模块，包括系统预设、传输模块和计算模块。

7、所述系统预设包括：预先确定好程序进程形式、通信收发方式、信号收发匹配和数据交换方式等，预先编制计算任务算法，落实文件名称规范命名。

8、所述传输模块，分为低级版、中级版和高级版，按需选择使用版本。低级版传输模块，包括发送子模块和接收子模块。发送子模块包括：制定数据发送启动机制，按最小数据处理块读取发送数据，按最小数据处理块合帧或多帧对数据打包装帧传输，持续发送数据任务后续数据，清理已发送的主辅数据(或仅主体数据)等。接收子模块包括：完整接收每帧数据，依据帧导头和包导头的标志卸帧解包，根据标志按块保存接收的主辅数据(或仅主体数据)，持续接收数据任务后续数据。中级版传输模块，包括发送子模块和接收子模块。发送子模块包括：制定数据发送启动机制，按最小数据处理块读取发送数据，按帧规划向接口提供交换数据，持续发送数据任务后续数据，清理已发送的主辅数据(或仅主体数据)等。接收子模块包括：按接口规范读取数据，根据标志按块保存接收的主辅数据(或仅主体数据)，持续接收数据任务后续数据。高级版传输模块，包括：制定数据发送启动机制，按块从本级站读取发送数据，写入下级站“接收”交换数据存放处，持续转发数据任务后续数据，清理已发的主辅数据(或仅主体数据)。

9、所述计算模块包括：调整需要用到的辅助数据，制定数据计算启动机制，调用收集的参数数据和“接收”的辅助数据，根据计算任务处理算法按块计算尚未处理的主体数据，持续计算数据任务后续数据，调整发送的辅助数据，保存已发送(或读取)、接收(或写入)、计算的主辅数据(或仅主体数据)。

10、与现有技术相比，本发明创新及效益在于：⑴建立了数据传输与数据计算的并行机制，打破了数据传输过程的封闭性，建立了数据传输的分块转发机制，为数据传输与数据计算并行处理提供方便之门，为多级站数据并发传输提供密集转发机会，为数据计算提供数据处理所需要的时间隙。⑵利用数据传输与数据计算的并行机制，使用相对甚少时间即可完成大数据多级站并发传输，并汇集大量算力完成大数据计算任务，具有甚高的数据传输和数据计算效益。⑶利用传输时间和计算资源，采用不同通信方式构建了3种实施应用模式：①二合模式，多级站点远程数据通信系统和独立分布计算资源的超级计算机集群，同时提供高效率数据通信和超级算力的数据计算；②强算模式，近程特高效率的数据通信系统，独立分布计算资源的超级计算机集群，发挥特质超级算力的数据计算；③综合模式，多级站点局部远程和局部近程数据通信系统，独立分布计算资源的超级计算机集群，同时提供高效率数据通信和优质超级算力的数据计算。⑷本发明为大数据多址传输和多任务计算提供并行机制及其应用模式，高效率解决了大数据多址数据通信及大数据多任务计算的超级算力的不同类型需求。

11、结合附图对本发明实施方式的详细陈述后，本发明的其他特点和优点会将变得更加清楚。