一种基于异步长连接技术的数据前置系统、方法及介质与流程

文档序号:28943746发布日期:2022-02-19 08:00阅读:126来源:国知局
一种基于异步长连接技术的数据前置系统、方法及介质与流程

1.本发明涉及数据传输技术领域,特别是涉及一种基于异步长连接技术的数据前置系统、方法及介质。


背景技术:

2.随着大数据时代的到来,一方面数据量激增,大量数据需要高效稳定的传输,另一方面系统大集中趋势越来越普遍,越来越明显,多类型,多种类的终端数据往往集中发往一个数据前置系统,如此高及多类型的数据量,使金融数据前置已经不再单一针对某种业务,而是要同时处理多类型、多业务的大批量数据流。
3.鉴于此发展趋势,金融数据前置对大数据的高效稳定处理能力要求越来越高,因此急需设计出一种高效稳定的金融数据前置系统。


技术实现要素:

4.本发明的目的在于通过异步长连接技术,配置两条数据链路子系统,分别专门处理数据的收取和数据的发送,保证数据前置系统的高效运行。
5.为实现上述目的,本发明采用的一个技术方案是:提供一种基于异步长连接技术的数据前置系统,包括:初始化模块、数据发送模块、数据收取模块、数据处理模块、日志输出模块和监控修复模块;
6.所述初始化模块用于读取配置文件,得到初始参数;
7.所述数据发送模块用于执行第一参数初始化操作,并获取第一初始化白名单;根据所述初始参数执行第一消息队列启动操作,得到第一系统消息队列;根据所述第一初始化白名单和所述第一系统消息队列,执行数据发送操作;
8.所述数据收取模块用于执行第二参数初始化操作,并获取第二初始化白名单;根据所述初始参数执行第二消息队列启动操作,得到第二系统消息队列;根据所述第二初始化白名单和所述第二系统消息队列,执行数据收取操作;
9.所述数据处理模块用于获取所述数据发送模块和所述数据收取模块的初始数据,根据所述初始参数对所述初始数据执行处理操作,得到处理数据;并对所述处理数据执行发送操作或者执行保存操作;
10.所述日志输出模块用于获取所述初始化模块、所述数据发送模块、所述数据收取模块、所述数据处理模块和所述监控修复模块的日志信息,并对所述日志信息执行信息输出操作;
11.所述监控修复模块用于对所述数据发送模块、所述数据收取模块和所述数据处理模块执行监控修复操作。
12.进一步,所述数据处理模块包括收取数据处理单元、发送数据处理单元、数据校验单元、数据筛选单元和数据发送单元;
13.所述收取数据处理单元用于获取所述数据收取模块的所述初始数据,并对所述初
始数据执行接收数据格式化操作,得到接收格式化数据;并根据所述初始参数对所述接收格式化数据执行数据组合操作,得到完整接收数据;
14.所述发送数据处理单元用于获取所述数据发送模块的所述初始数据,并对所述初始数据执行发送数据格式化操作,得到发送格式化数据;并根据所述初始参数对所述发送格式化数据执行数据分包操作,得到待发送数据;
15.所述数据校验单元用于对所述完整接收数据和所述待发送数据执行数据校验操作,得到数据校验结果;并根据所述数据校验结果执行第一警告操作或者执行数据其他处理操作;
16.所述数据筛选单元用于获取数据筛选策略,并根据所述筛选策略对所述完整接收数据执行数据筛选操作,得到筛选数据;对所述筛选数据执行所述保存操作或者将所述筛选数据发送至所述第二系统消息队列;
17.所述数据发送单元用于对所述待发送数据执行数据发送操作。
18.进一步,所述监控修复模块包括收取数据监控单元、发送数据监控单元、数据处理监控单元、日志输出监控单元、消息队列监控单元和异常修复单元;
19.所述收取数据监控单元用于对所述数据收取模块执行数据收取监控操作,得到数据收取监控结果;
20.所述发送数据监控单元用于对所述数据发送模块执行数据发送监控操作,得到数据发送监控结果;
21.所述数据处理监控单元用于对所述数据处理模块执行数据处理监控操作,得到数据处理监控结果;
22.所述日志输出监控单元用于对所述日志输出模块执行日志输出监控操作,得到日志输出监控结果;
23.所述消息队列监控单元用于对所述第一系统消息队列和所述第二系统消息队列执行消息队列监控操作,得到消息队列监控结果;
24.所述异常修复单元用于根据所述数据收取监控结果和或所述数据发送监控结果和或所述数据处理监控结果和或日志输出监控结果和或所述消息队列监控结果执行异常检测修复操作。
25.进一步,所述数据发送模块根据所述初始参数,执行第一异步长连接通讯链路建立操作,得到第一异步长连接通讯链路;
26.当所述第一异步长连接通讯链路建立成功时,所述数据发送模块通过所述第一异步长连接通讯链路执行所述数据发送操作;
27.当所述第一异步长连接通讯链路建立失败时,所述数据发送模块循环执行所述第一异步长连接通讯链路建立操作,直到所述第一异步长连接通讯链路建立成功。
28.进一步,所述数据收取模块根据所述初始参数,执行第二异步长连接通讯链路建立操作,得到第二异步长连接通讯链路;
29.当所述第二异步长连接通讯链路建立成功时,所述数据收取模块根据所述第二异步长连接通讯链路执行系统连接操作;
30.当所述第二异步长连接通讯链路建立失败时,所述数据收取模块循环执行所述第二异步长连接通讯链路建立操作,直到所述第二异步长连接通讯链路建立成功。
31.进一步,所述数据校验结果包括第一校验结果和第二校验结果;
32.所述数据校验单元获取所述完整接收数据或者所述待发送数据的校验值,并根据所述校验值对所述完整接收数据或者所述待发送数据进行校验;
33.当所述校验值正确时,得到所述第一校验结果,并对所述完整接收数据或者所述待发送数据执行所述数据其他处理操作;
34.当所述校验值错误时,得到所述第二校验结果,并执行所述第一警告操作。
35.进一步,所述筛选数据包括第一筛选数据和第二筛选数据;
36.当所述数据筛选单元得到所述第一筛选数据时,则将所述第一筛选数据保存至所述第一系统消息队列或者所述第二系统消息队列;
37.当所述数据筛选单元得到所述第二筛选数据时,则将所述第二筛选数据保存至数据存储组件中。
38.进一步,所述收取数据监控单元、所述发送数据监控单元、所述数据处理监控单元、所述日志输出监控单元和所述消息队列监控单元分别对所述数据发送模块、所述数据接收模块、所述数据处理模块、所述日志输出模块和所述第一系统消息队列及所述第二系统消息队列的运行进行监控;
39.当出现异常时,所述异常修改单元执行所述异常检测修复操作。
40.一种基于异步长连接技术的数据前置方法,包括以下步骤:
41.初始化:读取配置文件,得到初始参数;
42.开启监控:对监控子系统执行启动操作,执行监控操作;
43.数据收取:根据所述初始参数,执行第二异步长连接通讯链路建立操作,得到第二异步长连接通讯链路;获取第二初始化白名单;根据所述第二初始化白名单和所述第二异步长连接通讯链路,执行数据收取操作;
44.数据发送:根据所述初始参数,执行第一异步长连接通讯链路建立操作,得到第一异步长连接通讯链路;获取第一初始化白名单;根据所述第一初始化白名单和所述第一异步长连接通讯链路,执行数据发送操作;
45.数据处理:获取所述数据收取操作和所述数据发送操作的数据,并对所述数据执行处理操作;
46.异常修复:根据所述监控操作的结果,执行异常修复操作。
47.本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现所述的一种基于异步长连接技术的数据前置方法的步骤。
48.本发明的有益效果是:
49.1、本发明所述的基于异步长连接技术的数据前置系统,可以实现通过异步长连接技术,配置数据收取链路和数据发送链路,分别负责收取数据和发送数据,使得数据的收取和发送分离开,互不干涉,为高并发的海量数据处理提供全面的分离保障,保证了系统运行的高效率和低故障率;
50.2、本发明所述的基于异步长连接技术的数据前置方法,可以实现对数据的传输进行监控,并在监控到异常时,可以通过设置的处理方案对异常进行及时修复,保证系统的稳定运行,提升工作效率,降低了人工维护成本;
51.3、本发明所述的基于异步长连接技术的数据前置介质,可以实现多个模块之间的稳定配合,很大程度的提高了数据处理的能力、数据分析的能力和异常自我修复的能力,提供了一套稳定的数据前置处理系统。
附图说明
52.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
53.图1是本发明实施例1所述的一种基于异步长连接技术的数据前置系统的示意图;
54.图2是本发明实施例1所述的一种基于异步长连接技术的数据前置系统的数据处理模块的示意图;
55.图3是本发明实施例1所述的一种基于异步长连接技术的数据前置系统的监控修复模块的示意图;
56.图4是本发明实施例2所述的一种基于异步长连接技术的数据前置方法的流程图。
具体实施方式
57.下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
58.在本发明的描述中,需要说明的是,除非另有明确的规定和限定,“异步长连接”、“初始化模块”、“数据发送模块”、“数据收取模块”、“数据处理模块”、“日志输出模块”、“监控修复模块”、“配置文件”、“初始参数”、“第一参数初始化操作”、“第一初始化白名单”、“第一消息队列启动操作”、“第一系统消息队列”、“数据发送操作”、“第二参数初始化操作”、“第二初始化白名单”、“第二消息队列启动操作”、“第二系统消息队列”、“数据收取操作”、“初始数据”、“处理数据”、“日志信息”、“日志输出操作”、“监控修复操作”、“收取数据处理单元”、“发送数据处理单元”、“数据校验单元”、“数据筛选单元”、“数据发送单元”、“接收数据格式化操作”、“接收格式化数据”、“数据组合操作”、“完整接收数据”、“发送数据格式化操作”、“发送格式化数据”、“数据分包操作”、“待发送数据”、“数据校验操作”、“数据校验结果”、“第一警告操作”、“数据其他处理操作”、“数据筛选策略”、“筛选数据”、“收取数据监控单元”、“发送数据监控单元”、“数据处理监控单元”、“日志输出监控单元”、“消息队列监控单元”、“异常修复单元”、“数据收取监控操作”、“数据收取监控结果”、“数据发送监控操作”、“数据发送监控结果”、“数据处理监控操作”、“数据处理监控结果”、“日志输出监控操作”、“日志输出监控结果”、“消息队列监控操作”、“消息队列监控结果”、“异常检测修复操作”、“第一异步长连接通讯链路建立操作”、“第一异步长连接通讯链路”、“第二异步长连接通讯链路建立操作”、“第二异步长连接通讯链路”、“第一校验结果”、“第二校验结果”、“校验值”、“第一筛选数据”、“第二筛选数据”等术语应做广义理解。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
59.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
60.实施例1
61.本发明实施例提供一种基于异步长连接技术的数据前置系统,请参阅图1至图3,包括:初始化模块、数据发送模块、数据收取模块、数据处理模块、日志输出模块和监控修复模块;
62.初始化模块:
63.初始化模块用于读取配置文件,得到初始参数;
64.具体地,初始化模块在系统启动时,初始化系统环境,检测系统环境和内核版本号,检测所有相关依赖包和异步长连接所需要的底层库,测试数据库版本,并连接数据库系统。
65.系统启动后,初始化模块读取配置文件,得到初始参数,初始参数包括异步通讯端口、连接超时时间、消息队列编号、长连接心跳包数据、心跳包间隔时间、数据包是否分包以及分包数据大小等参数。
66.数据收取模块:
67.数据收取模块用于执行第二参数初始化操作,并获取第二初始化白名单;根据初始参数执行第二消息队列启动操作,得到第二系统消息队列;根据第二初始化白名单和第二系统消息队列,执行数据收取操作;
68.具体地,数据收取模块获取数据库中第二初始化白名单,并初始化相关参数,如异步长连接需要的对方的ip地址、端口号、心跳包内容以及检测网络是否连通和对方端口号是否可以使用等;
69.需要说明的是,本发明的系统只允许在第二初始化白名单列表中的ip地址和端口号进行通讯。
70.获取初始参数中的消息队列编号,并通过消息队列编号启动第二系统消息队列;根据第二初始化白名单和第二系统消息队列执行数据收取操作;
71.接收到其他系统连接请求时,数据收取模块根据初始参数建立第二异步长连接通讯链路;
72.当第二异步长连接通讯链路建立成功时,数据收取模块通过第二异步长连接通讯链路与其他系统之间建立连接,并获取其他系统发送过来的数据;需要说明的是,此处只是简单的收取数据,并不做数据处理;
73.当第二异步长连接通讯链路建立失败时,数据收取模块则返回等待,等待其他系统发起连接请求,循环执行第二异步长连接通讯链路建立操作,直到第二异步长连接通讯链路建立成功。
74.数据发送模块:
75.数据发送模块用于执行第一参数初始化操作,并获取第一初始化白名单;根据初始参数执行第一消息队列启动操作,得到第一系统消息队列;根据第一初始化白名单和第一系统消息队列,执行数据发送操作;
76.具体地,数据发送模块获取数据库中第一初始化白名单,并初始化相关参数,如异步长连接需要的我方监听端口号、心跳包内容、数据接收规则以及检测网络是否连通等;
77.需要说明的是,本发明的系统只允许在第一初始化白名单列表中的ip地址和端口号进行通讯。
78.获取初始参数中的消息队列编号,并通过消息队列编号启动第一系统消息队列;根据第一初始化白名单和第一系统消息队列执行数据发送操作;
79.数据发送模块根据初始参数建立第一异步长连接通讯链路;
80.当第一异步长连接通讯链路建立成功时,数据发送模块通过第一异步长连接通讯链路发送数据;
81.当第一异步长连接通讯链路建立失败时,数据发送模块循环执行异步长连接通讯链路建立操作,直到异步长连接通讯链路建立成功。
82.数据处理模块:
83.数据处理模块用于获取数据发送模块和数据收取模块的初始数据,根据初始参数对初始数据执行处理操作,得到处理数据;并对处理数据执行发送操作或者执行保存操作;数据处理模块包括收取数据处理单元、发送数据处理单元、数据校验单元、数据筛选单元和数据发送单元;
84.收取数据处理单元:
85.收取数据处理单元用于获取数据收取模块的初始数据,并对初始数据执行接收数据格式化操作,得到接收格式化数据;并根据初始参数对接收格式化数据执行数据组合操作,得到完整接收数据;
86.具体地,收取数据处理单元获取数据收取模块接收的初始数据,将初始数据进行格式化处理,得到接收格式化数据;获取初始参数中的数据包是否分包参数,如果没有分包,则格式化后的数据即为完整接收数据;如果分包,则根据数据包的编号,将格式化后的数据进行重新排列并整合,得到完整接收数据。
87.为了更清楚地解释本发明,此处进行举例说明,假设接收到数据为多个数据包,数据包的编号为1,2,3,其中编号为3的数据包中的日期格式为20210102,那么需要将日期格式化为2021年1月2日,再按照数据包编号为1,2,3的顺序将数据包重新排列整合,得到了完整的接收数据。
88.发送数据处理单元:
89.发送数据处理单元用于获取数据发送模块的初始数据,并对初始数据执行发送数据格式化操作,得到发送格式化数据;并根据初始参数对发送格式化数据执行数据分包操作,得到待发送数据;
90.具体地,发送数据处理单元获取数据发送模块的初始数据,将初始数据进行格式化处理,得到发送格式化数据;获取初始参数中是否分包参数,如果需要分包,则获取初始参数中的分包大小,并将发送格式化数据按照分包大小进行分包,得到待发送数据;如果不需要分包,则发送格式化数据即为发送数据。
91.为了更清楚地解释本发明,此处进行举例说明,假设发送数据为10m的数据包,并且初始参数中的是否分包的参数值为需要分包,分包发小为2m,那么需要将发送数据进行分包,并且分包大小为2m,即可以得到5个数据包,且每个数据包的大小为2m,并且按照原有发送数据的顺序,将5个数据包按顺序进行编号。
92.数据校验单元:
93.数据校验单元用于对完整接收数据和待发送数据执行数据校验操作,得到数据校验结果;并根据数据校验结果执行第一警告操作或者执行数据其他处理操作;
94.具体地,数据校验单元获取完整接收数据和待发送数据的校验值,并根据该校验值对完整接收数据和待发送数据进行校验:
95.当校验值正确时,得到第一校验结果,即完整接收数据或者待发送数据正确,则进行后续处理;
96.当校验值错误时,得到第二校验结果,即完整接收数据或者待发送数据出现错误,发出警告,提示数据错误。
97.数据筛选单元:
98.数据筛选单元用于获取数据筛选策略,并根据筛选策略对完整接收数据执行数据筛选操作,得到筛选数据;对筛选数据执行保存操作或者将筛选数据发送至第二系统消息队列;
99.具体地,数据筛选单元获取数据筛选策略,并根据筛选策略对完整接收数据进行筛选:
100.当完整接收数据为第一筛选数据时,即该数据为临时数据,那么将该第一筛选数据保存至第一系统消息队列或者第二系统消息队列中;
101.当完整接收数据为第二筛选数据时,即该数据为重要数据,那么将该第二筛选数据保存在数据存储组件中;此处的数据存储组件可以选择数据库。
102.数据发送单元:
103.数据发送单元用于对待发送数据执行数据发送操作;
104.具体地,数据发送单元将待发送数据发送至与数据发送模块连接的其他系统中。
105.日志输出模块:
106.日志输出模块用于获取初始化模块、数据发送模块、数据收取模块、数据处理模块和监控修复模块的日志信息,并对日志信息执行信息输出操作;
107.具体地,日志输出模块获取该系统中初始化模块、数据发送模块、数据收取模块、数据处理模块和监控修复模块的日志信息,并将这些日志信息输出到指定的位置,便于后续对日志进行查阅。
108.监控修复模块:
109.监控修复模块用于对数据发送模块、数据收取模块和数据处理模块执行监控修复操作;监控修复模块包括收取数据监控单元、发送数据监控单元、数据处理监控单元、日志输出监控单元、消息队列监控单元和异常修复单元;
110.收取数据监控单元:
111.收取数据监控单元用于对数据收取模块执行数据收取监控操作,得到数据收取监控结果;
112.具体地,收取数据监控单元对数据收取模块进行数据收取监控,当数据收取模块在接收数据出现异常时,记录异常信息,生成数据收取监控结果。
113.为了更清楚地解释本发明,此处进行举例说明,例如数据收取模块在收取数据时进程崩溃,那么需要记录进程崩溃信息,生成数据收取监控结果。
114.发送数据监控单元:
115.发送数据监控单元用于对数据发送模块执行数据发送监控操作,得到数据发送监控结果;
116.具体地,发送数据监控单元对数据发送模块进行数据发送监控,当数据发送模块在发送数据出现异常时,记录异常信息,生成数据发送监控结果。
117.数据处理监控单元:
118.数据处理监控单元用于对数据处理模块执行数据处理监控操作,得到数据处理监控结果;
119.具体地,数据处理监控单元对数据处理模块进行数据处理监控,当数据处理模块在处理数据出现异常时,记录异常信息,生成数据处理监控结果。
120.日志输出监控单元:
121.日志输出监控单元用于对日志输出模块执行日志输出监控操作,得到日志输出监控结果;
122.具体地,日志输出监控单元对日志输出模块进行日志输出监控,当日志输出模块在输出日志出现异常时,记录异常信息,生成日志输出监控结果。
123.消息队列监控单元:
124.消息队列监控单元用于对第一系统消息队列和第二系统消息队列执行消息队列监控操作,得到消息队列监控结果;
125.具体地,消息队列监控单元对第一系统消息队列和第二系统消息队列进行消息队列监控,当第一系统消息队列和或第二系统消息队列在传输数据时出现异常,记录异常信息,生成消息队列监控结果。
126.为了更清楚地解释本发明,此处进行举例说明,假设监控到第一系统消息队列在传输数据时出现进程瘫痪,那么需要记录第一系统消息队列进程瘫痪;假设监控到第二系统消息队列在传输数据时出现数据冗余,那么需要记录第二系统消息队列数据冗余。
127.异常修复单元:
128.异常修复单元用于根据数据收取监控结果和或数据发送监控结果和或数据处理监控结果和或日志输出监控结果和或消息队列监控结果执行异常检测修复操作;
129.具体地,异常修复单元根据获取到的监控结果,分别进行异常修复。
130.为了更清楚地解释本发明,此处进行举例说明,假设异常修复单元接收到监控结果为数据收取模块进程崩溃,那么异常修复单元对数据收取模块进行检测,诊断进程运行的具体情况,如果无法处理,则重启数据收取模块;假设异常修复单元接收到监控结果为日志输出模块容量报警,那么异常修复单元对日志输出模块输出的日志进行压缩备份转移处理。
131.需要说明的是,上述的各个模块或者各个单元中的举例仅仅是为了更清楚地解释本发明的执行过程,所以不能因为上述的举例而限制本发明的保护范围。
132.实施例2
133.本发明实施例还提供一种基于异步长连接技术的数据前置方法,请参阅图4,包括以下步骤:
134.s100、初始化:
135.在系统启动时,初始化系统环境,检测系统环境和内核版本号,检测所有相关依赖
包和异步长连接所需要的底层库,测试数据库版本,并连接数据库系统。
136.系统启动后,读取配置文件,得到初始参数,初始参数包括异步通讯端口、连接超时时间、消息队列编号、长连接心跳包数据、心跳包间隔时间、数据包是否分包以及分包数据大小等参数。
137.s200、开启监控:
138.开启监控子系统,对数据收取步骤进行数据收取监控,当接收数据出现异常时,记录异常信息,生成数据收取监控结果;
139.对数据发送步骤进行数据发送监控,当发送数据出现异常时,记录异常信息,生成数据发送监控结果;
140.对数据处理步骤进行数据处理监控,当处理数据出现异常时,记录异常信息,生成数据处理监控结果;
141.对该系统中日志输出子系统进行日志输出监控,当输出日志出现异常时,记录异常信息,生成日志输出监控结果;
142.对该系统中的第一系统消息队列和第二系统消息队列进行消息队列监控,当第一系统消息队列和或第二系统消息队列在传输数据时出现异常,记录异常信息,生成消息队列监控结果。
143.为了更清楚地解释本发明,此处进行举例说明,假设监控到第一系统消息队列在传输数据时出现进程瘫痪,那么需要记录第一系统消息队列进程瘫痪;假设监控到第二系统消息队列在传输数据时出现数据冗余,那么需要记录第二系统消息队列数据冗余。
144.s300、数据收取:
145.获取数据库中第二初始化白名单,并初始化相关参数,如异步长连接需要的对方的ip地址、端口号、心跳包内容以及检测网络是否连通和对方端口号是否可以使用等;
146.需要说明的是,本发明的系统只允许在第二初始化白名单列表中的ip地址和端口号进行通讯。
147.获取初始参数中的消息队列编号,并通过消息队列编号启动第二系统消息队列;根据第二初始化白名单和第二系统消息队列执行数据收取操作;
148.接收到其他系统连接请求时,根据初始参数建立第二异步长连接通讯链路;
149.当第二异步长连接通讯链路建立成功时,通过第二异步长连接通讯链路与其他系统之间建立连接,并获取其他系统发送过来的数据;需要说明的是,此处只是简单的收取数据,并不做数据处理;
150.当第二异步长连接通讯链路建立失败时,返回等待,等待其他系统发起连接请求,循环执行第二异步长连接通讯链路建立操作,直到第二异步长连接通讯链路建立成功。
151.s400、数据发送:
152.获取数据库中第一初始化白名单,并初始化相关参数,如异步长连接需要的我方监听端口号、心跳包内容、数据接收规则以及检测网络是否连通等;
153.需要说明的是,本发明的系统只允许在第一初始化白名单列表中的ip地址和端口号进行通讯。
154.获取初始参数中的消息队列编号,并通过消息队列编号启动第一系统消息队列;根据第一初始化白名单和第一系统消息队列执行数据发送操作;
155.根据初始参数建立第一异步长连接通讯链路;
156.当第一异步长连接通讯链路建立成功时,通过第一异步长连接通讯链路发送数据;
157.当第一异步长连接通讯链路建立失败时,循环执行异步长连接通讯链路建立操作,直到异步长连接通讯链路建立成功。
158.s500、数据处理:
159.获取接收的初始数据,将初始数据进行格式化处理,得到接收格式化数据;获取初始参数中的数据包是否分包参数,如果没有分包,则格式化后的数据即为完整接收数据;如果分包,则根据数据包的编号,将格式化后的数据进行重新排列并整合,得到完整接收数据。
160.为了更清楚地解释本发明,此处进行举例说明,假设接收到数据为多个数据包,数据包的编号为1,2,3,其中编号为3的数据包中的日期格式为20210102,那么需要将日期格式化为2021年1月2日,再按照数据包编号为1,2,3的顺序将数据包重新排列整合,得到了完整的接收数据。
161.获取发送的初始数据,将初始数据进行格式化处理,得到发送格式化数据;获取初始参数中是否分包参数,如果需要分包,则获取初始参数中的分包大小,并将发送格式化数据按照分包大小进行分包,得到待发送数据;如果不需要分包,则发送格式化数据即为发送数据。
162.为了更清楚地解释本发明,此处进行举例说明,假设发送数据为10m的数据包,并且初始参数中的是否分包的参数值为需要分包,分包发小为2m,那么需要将发送数据进行分包,并且分包大小为2m,即可以得到5个数据包,且每个数据包的大小为2m,并且按照原有发送数据的顺序,将5个数据包按顺序进行编号。
163.获取完整接收数据和待发送数据的校验值,并根据该校验值对完整接收数据和待发送数据进行校验:
164.当校验值正确时,得到第一校验结果,即完整接收数据或者待发送数据正确,则进行后续处理;
165.当校验值错误时,得到第二校验结果,即完整接收数据或者待发送数据出现错误,发出警告,提示数据错误。
166.获取数据筛选策略,并根据筛选策略对完整接收数据进行筛选:
167.当完整接收数据为第一筛选数据时,即该数据为临时数据,那么将该第一筛选数据保存至第一系统消息队列或者第二系统消息队列中;
168.当完整接收数据为第二筛选数据时,即该数据为重要数据,那么将该第二筛选数据保存在数据存储组件中;此处的数据存储组件可以选择数据库
169.s600、异常修复:
170.根据获取到的监控结果,分别进行异常修复。
171.为了更清楚地解释本发明,此处进行举例说明,假设接收到监控结果为接收数据的进程崩溃,那么对接收数据进行进行检测,诊断进程运行的具体情况,如果无法处理,则重启子系统;假设接收到监控结果为日志输出容量报警,那么对日志进行压缩备份转移处理。
172.需要说明的是,上述的各个步骤中的举例仅仅是为了更清楚地解释本发明的执行过程,所以不能因为上述的举例而限制本发明的保护范围。
173.实施例3
174.本实施例3具有一种计算机可读存储介质,所述存储介质用于储存将上述实施例2所述的基于异步长连接技术的数据前置方法实现所用的计算机软件指令,其包含用于基于异步长连接技术的数据前置方法所设置的程序;具体地,该可执行程序可以内置于实施例1所述的基于异步长连接技术的数据前置系统中,这样,基于异步长连接技术的数据前置系统就可以通过执行内置的可执行程序实现所述实施例2的基于异步长连接技术的数据前置方法。
175.上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
176.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
177.以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1