一种多类型数据多节点异步下发与延迟集成的方法与流程

1.本发明涉及一种多类型数据多节点异步下发与延迟集成的方法，属于数据传输领域。


背景技术：

2.随着互联网的快速发展，海量数据的出现和数据结构的改变，给各行各业在数据处理问题上带来了巨大的挑战。数据的同步处理是一项极为常见而重要的数据处理工作， 其中涉及到数据从一个系统到另一个系统的同步过程。数据同步任务的数据迁移过程，一开始是由人工手动进行迁移的，不仅耗费人力，且应用场所有限。进而出现了采用自动化工具进行数据全量导入的方式，但随着数据量的增大，这会给网络带宽带来极大压力，且稳定性较差，还对服务搭建要求较高。
3.针对上述问题，实时增量传输的概念应运而生，即实时监听数据源端是否存在增量数据，每次只传输增量数据。但这种数据同步方式存在的问题是当传输失败时，数据源端和数据目的端会出现数据差异。为此，现有技术提供的解决办法是实时增量传输和异步下发，延时集成结合，保证数据源端和数据目的端的数据一致性。
4.但是现有技术在数据同步这个问题上不能保证实时增量传输的准确性，且还需要引入占用带宽较大的全量传输保证数据同步的准确性，随着数据量的增长，还是会对网络带宽产生较大压力，造成网络带宽的浪费。


技术实现要素：

5.为解决现有的技术问题，本发明提供一种多类型数据多节点异步下发与延迟集成的方法，将分散的多类型异构数据按照网络性能及实时性要求进行分类上传数据，避免网络忙碌时段时发生数据文件上传积压现象，减少网络压力的同时提高文件同步上传效率，进一步提高了网络空闲时段网络的利用率，有效防止上传失败造成数据文件漏传。
6.本发明中主要采用的技术方案为：一种多类型数据多节点异步下发与延迟集成的方法，所述方法包括以下步骤：s1：预先在数据源服务器产生增量部署数据，各数据节点服务器从数据源服务器获取增量部署数据文件内容以及增量部署数据文件的下发需求；s2：数据节点服务器依据本服务器的负载信息，基于所述s1产生的增量部署数据信息，生成增量同步部署配置的配置文件；s3：将所述s2中生成的配置文件发送至各业务终端服务器进行实时增量与延时增量同步部署，以实现各数据节点服务器间的实时增量同步与延时增量同步；s4：对于延迟下发数据，判断当前时段为网络忙碌时段还是网络空闲时段，若当前时段为网络忙碌时段，则由数据节点服务器对延迟下发数据标记延迟下发的标识；若当前时段为网络空闲时段，则执行s5；s5：对于实时下发数据，由数据节点服务器向业务终端服务器发出基于
webservice文件下发请求，并判断是否下发成功，若下发失败，则数据节点服务器于网络空闲时段定时循环检测下发失败数据和延迟下发数据，并向业务终端服务器发出基于webservice文件下发请求进行下发，直至全部下发成功，若下发成功则结束数据下发。
7.优选地，所述s2的具体步骤如下：s2
‑
1:获取各数据节点服务器的负载信息；s2
‑
2:获取s1中产生的增量部署数据信息；s2
‑
3:依据s2
‑
1和s2
‑
2获取的信息预设对实时增量数据传输生成各数据节点服务器的同步部署配置，根据同步部署配置和预设的配置模板生成配置文件，所述配置文件包括数据文件的类型和大小以及在业务终端服务器与各数据节点服务器中设置的配置参数。
8.优选地，所述s3的具体步骤如下：s3
‑
1：业务终端服务器定义网络空闲时段、网络忙碌时段以及本服务器数据文件请求类型；s3
‑
2：针对业务终端服务器产生的数据文件请求类型采用数据分析判断模块进行分析判断，将数据文件分为实时下发数据和延迟下发数据；s3
‑
3：切割指定文件，并标记集成标志位。
9.优选地，所述s3
‑
2中，对数据文件进行分析判断的具体过程包括以下步骤：s3
‑
21获取数据文件的类型和大小以及在业务终端服务器与各数据节点服务器中设置的配置参数；s3
‑
22判断配置参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割并标记集成标志位；若不需要切割，则判断当前时间段是网络空闲时段还是网络忙碌时段；s3
‑
23若当前时间段是网络空闲时段，则执行s5直接进行下发；若当前时间段是网络忙碌时段，则判断配置参数中该类型数据文件是否需要网络忙碌时段下发；s3
‑
24若配置参数中该类型数据文件需要网络忙碌时段下发，则执行s5进行下发，若不需要网络忙碌时段下发，则进行延迟下发的标记，等待网络空闲时段进行下发。
10.优选地，所述s3
‑
21中数据文件的类型包括短视频数据、文件数据、结构化的业务信息和运行日志。
11.优选地，所述s3
‑
22中，数据文件的切割方法为：根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
12.优选地，系统各终端服务器依据集成标志位将切割文件合并形成完整数据文件。
13.有益效果：本发明提供一种多类型数据多节点异步下发与延迟集成的方法，将分散的多类型数据按照网络性能及实时性要求，评估多节点服务器负载，分类为实时下发数据和延迟下发数据，减少网络忙碌时段时，数据文件下发积压，减少网络压力的同时提高了文件同步下发效率，并且提高了网络空闲时段网络的利用率，有效防止下发失败造成数据文件漏传；同时主数据管理系统只进行一次下发申请，由系统提供实时和非实时的分析，实时数据同步共享，非实时数据通过定义的空闲时段重复抓取直至数据共享完成，实现延迟集成。
14.附图标记
图1为本发明的方法流程图。
具体实施方式
15.为了使本技术领域的人员更好地理解本技术中的技术方案，下面对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
16.一种多类型数据多节点异步下发与延迟集成的方法，所述方法包括以下步骤：s1：预先在数据源服务器产生增量部署数据，各数据节点服务器从数据源服务器获取增量部署数据文件内容以及增量部署数据文件的下发需求；s2：数据节点服务器依据本服务器的负载信息，基于所述s1产生的增量部署数据信息，生成增量同步部署配置的配置文件；s3：将所述s2中生成的配置文件发送至各业务终端服务器进行实时增量与延时增量同步部署，以实现各数据节点服务器间的实时增量同步与延时增量同步；s4：对于延迟下发数据，判断当前时段为网络忙碌时段还是网络空闲时段，若当前时段为网络忙碌时段，则由数据节点服务器对延迟下发数据标记延迟下发的标识；若当前时段为网络空闲时段，则执行s5；s5：对于实时下发数据，由数据节点服务器向业务终端服务器发出基于webservice文件下发请求，并判断是否下发成功，若下发失败，则数据节点服务器于网络空闲时段定时循环检测下发失败数据和延迟下发数据，并向业务终端服务器发出基于webservice文件下发请求进行下发，直至全部下发成功，若下发成功则结束数据下发。
17.优选地，所述s2的具体步骤如下：s2
‑
1:获取各数据节点服务器的负载信息；s2
‑
2:获取s1中产生的增量部署数据信息；s2
‑
3:依据s2
‑
1和s2
‑
2获取的信息预设对实时增量数据传输生成各数据节点服务器的同步部署配置，根据同步部署配置和预设的配置模板生成配置文件，所述配置文件包括数据文件的类型和大小以及在业务终端服务器与各数据节点服务器中设置的配置参数。
18.优选地，所述s3的具体步骤如下：s3
‑
1：业务终端服务器定义网络空闲时段、网络忙碌时段以及本服务器数据文件请求类型；s3
‑
2：针对业务终端服务器产生的数据文件请求类型采用数据分析判断模块进行分析判断，将数据文件分为实时下发数据和延迟下发数据；s3
‑
3：切割指定文件，并标记集成标志位。
19.优选地，所述s3
‑
2中，对数据文件进行分析判断的具体过程包括以下步骤：s3
‑
21获取数据文件的类型和大小以及在业务终端服务器与各数据节点服务器中设置的配置参数；s3
‑
22判断配置参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割并标记集成标志位；若不需要切割，则判断当前时间段是网络空闲时段还是网络忙碌时段；
s3
‑
23若当前时间段是网络空闲时段，则执行s5直接进行下发；若当前时间段是网络忙碌时段，则判断配置参数中该类型数据文件是否需要网络忙碌时段下发；s3
‑
24若配置参数中该类型数据文件需要网络忙碌时段下发，则执行s5进行下发，若不需要网络忙碌时段下发，则进行延迟下发的标记，等待网络空闲时段进行下发。
20.优选地，所述s3
‑
21中数据文件的类型包括短视频数据、文件数据、结构化的业务信息和运行日志。
21.优选地，所述s3
‑
22中，数据文件的切割方法为：根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
22.优选地，系统各终端服务器依据集成标志位将切割文件合并形成完整数据文件。
23.本发明中，所述数据文件分析判断模块包括数据文件分割模块，用于根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
24.本发明中，该系统依据监听数据节点服务器间的增量数据的传输过程；以及当增量数据传输失败时，记录增量数据传输失败的信息，依据配置文件进行下发失败数据进行多次传输，直到所有数据完成下发。
25.本发明中的工作原理如下：（1）多数据节点服务器间的数据同步基于监控节点实现，首先在各数据节点服务器进行实时增量同步部署，以实现各数据节点服务器间的实时增量同步，实现了数据同步过程占用带宽最小化，同时监听节点间的增量数据的传输过程，当增量数据传输失败时，记录增量数据传输失败的信息。在此基础上，便于由人工或机器监督传输失败的增量数据，对其进行后续处理，因此保证了数据节点服务器间数据同步的准确性，可见本发明提供的数据节点服务器间的数据同步方法既保证了数据节点服务器间数据同步的准确性，又减少了所需网络带宽。
26.（2)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的下发需求。
27.（3)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时下发数据和延迟下发数据:对延迟下发数据业务终端服务器标记延迟下发的标识；对实时下发数据，向业务终端服务器发出文件下发请求，并判断是否下发成功，若下发失败，业务终端服务器于网络空闲时段检测下发失败数据和延迟下发数据，重复本步骤直至结束下发。
28.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。