文件传输方法、装置、存储介质以及电子设备与流程

文档序号:35538835发布日期:2023-09-23 14:45阅读:21来源:国知局
文件传输方法、装置、存储介质以及电子设备与流程

本申请涉及大数据领域,具体而言,涉及一种文件传输方法、装置、存储介质以及电子设备。


背景技术:

1、随着金融机构的业务数据量逐步扩大,数据中心的体量也随之加大,对于数据中心大体量、集中部署的oracle数据库(一种数据库),在设计高可用方案时主要存在两种场景,一是近地(也称同城)机房高可用策略,主要用于本地站点数据库、操作系统、服务器出现故障时的应急切换和业务接管;二是远程(也称异地)机房灾备高可用策略,主要用于主站点园区城市级灾难性故障时,由远程异地城市站点接管。

2、由于异地灾备机房部署距主站点千公里距离之外,因此,当前在对异地灾备节点做数据同步的时候,一般采用oracle dg(是oracle数据库提供的一种容灾解决方案)同步技术。但是,由于异地灾备机房与主站点机房距离千公里以上,网络带宽存在资源上限,当多台套数据库集中部署灾备数据同步时,网络带宽存在性能瓶颈,不同灾备等级应用数据库同时使用网络带宽,如果低等级应用产生大量归档日志使用网络进行传出,会对高等级应用数据库数据同步产生干扰和堵塞,导致数据传输出现异常。

3、针对相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请提供一种文件传输方法、装置、存储介质以及电子设备,以解决相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。

2、根据本申请的一个方面,提供了一种文件传输方法。该方法包括:获取从不同服务器发送的m个待传输文件,并对每个待传输文件进行压缩,得到m个目标压缩文件,其中,m为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对m个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。

3、可选地,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端包括:在发送文件的过程中未接收到新增压缩文件的情况下,在检测到目标传输线路完成上一个文件的传输后,从目标序列中删除完成传输的文件,得到第一更新序列;将第一更新序列中的文件按照第一权值通过目标传输线路发送至接收端。

4、可选地,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端包括:在发送文件的过程中接收到新增压缩文件的情况下,将新增压缩文件添加至目标序列中;根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列,其中,等待时长为每个目标压缩文件等待传输的时长;将第二更新序列中的文件按照第一权值通过目标传输线路发送至接收端。

5、可选地,根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列包括:获取每个目标压缩文件在目标序列中的等待时长,得到m个等待时长;通过每个目标压缩文件的第一权值与等待时长计算每个目标压缩文件的第三权值;根据每个目标压缩文件的第三权值更新每个目标压缩文件的第一权值,得到m个更新后的第一权值;根据m个更新后的第一权值和第二权值对m个目标压缩文件和新增压缩文件进行排序,得到第二更新序列。

6、可选地,对每个待传输文件进行压缩,得到m个目标压缩文件包括:对于每个待传输文件,对所述待传输文件进行解析,得到待传输文件中的文本信息,并对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件;确定待传输文件所属的服务器,并在服务器中对候选压缩文件进行压缩,得到目标压缩文件。

7、可选地,文本信息中包括p个初始语句,对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件包括:获取文本信息中的每个初始语句的出现次数,得到p个第一次数信息,并按照第一次数信息由大到小的顺序获取q个初始语句,其中,p、q均为正整数;获取q个初始语句中的每个字符的出现次数,得到i个第二次数信息,并按照第二次数信息由大到小的顺序获取j个字符,其中,i、j均为正整数;为每个字符设置对应的压缩编码,得到j个压缩编码,并使用j个压缩编码替换待传输文件中的j个字符,得到候选压缩文件。

8、可选地,在将目标序列中的文件按照第一权值通过目标传输线路发送至接收端之前,该方法还包括:将j个字符以及每个字符对应的压缩编码发送至接收端,其中,接收端将目标压缩文件进行解压,得到候选压缩文件,并通过j个字符以及每个字符对应的压缩编码对候选压缩文件进行解压,得到待传输文件。

9、可选地,在将目标序列中的文件按照第一权值通过目标传输线路发送至接收端之后,该方法还包括:接收所述接收端发送的反馈信息,并根据反馈信息对目标序列中的压缩文件的第一权值进行变更;根据变更后的第一权值对目标序列进行变更,得到更新后的目标序列。

10、根据本申请的另一方面,提供了一种文件传输装置。该装置包括:第一获取单元,用于获取从不同服务器发送的m个待传输文件,并对每个待传输文件进行压缩,得到m个目标压缩文件,其中,m为正整数;第二获取单元,用于获取每个待传输文件所属的服务器的第一权值,并按照第一权值对m个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;传输单元,用于将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。

11、根据本发明的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种文件传输方法。

12、根据本发明的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种文件传输方法。

13、通过本申请,采用以下步骤:获取从不同服务器发送的m个待传输文件,并对每个待传输文件进行压缩,得到m个目标压缩文件,其中,m为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对m个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。通过对每个待传输文件进行压缩,并在压缩后根据文件的重要程度对文件的发送顺序进行确定,从而根据发送顺序进行文件的发送,进而达到了提高文件传输效率以及保证重要文件的正常传输的效果。



技术特征:

1.一种文件传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端包括:

3.根据权利要求1所述的方法,其特征在于,将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端包括:

4.根据权利要求3所述的方法,其特征在于,根据所述新增压缩文件的第二权值,以及所述目标序列中的每个目标压缩文件的等待时长,对所述目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列包括:

5.根据权利要求1所述的方法,其特征在于,对每个待传输文件进行压缩,得到m个目标压缩文件包括:

6.根据权利要求5所述的方法,其特征在于,所述文本信息中包括p个初始语句,对所述文本信息中的预设字符进行压缩,得到所述待传输文件的候选压缩文件包括:

7.根据权利要求6所述的方法,其特征在于,在将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端之前,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,在将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端之后,所述方法还包括:

9.一种文件传输装置,其特征在于,包括:

10.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至8中任意一项所述的文件传输方法。

11.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至8中任意一项所述的文件传输方法。


技术总结
本申请公开了一种文件传输方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括:获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。通过本申请,解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。

技术研发人员:邓强,张骞,杨光宇,迟爽
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1