技术特征:
1.一种数据归档方法,应用于ms-sql数据库,其特征于,包括:连接源服务器,并在所述源服务器中定义源数据库以及所述源数据库下的源数据表;连接目标服务器,并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表;对所述源数据表进行初始化,按照分区规则将所述源数据表转换为多个分区表,同时将所述源数据表的索引转换为分区表字段索引;其中,所述分区规则根据添加的不同的分区值所生成;通过客户端开始执行数据归档操作,将所述分区表中的分区数据转移到所述源数据库中临时的中间表中;通过调用ms-sql数据库的sql指令,结合ms-sql数据库的bcp特性,导出所述中间表中的数据并导入所述目标数据表中,并移除所述源数据库中的所述中间表。2.根据权利要求1所述的方法,其特征在于,通过所述客户端开始执行数据归档操作,将所述分区表中的分区数据转移到源数据库中临时的中间表中,具体包括:所述客户端接收数据归档操作请求,所述数据归档操作请求中包含其所请求归档操作的数据对应的关键字和分区表的表名;所述客户端对所述数据归档操作请求进行解析,获得所述表名;所述客户端根据所述表名,对所述数据归档操作请求进行参数化处理,获得所述关键字;所述客户端根据所述表名和所述关键字,获取与所述数据归档操作请求和所述分区表对应的分区规则;所述客户端根据所述分区规则和所述数据归档操作请求,将所述分区表中的分区数据转移到所述源数据库中临时的中间表中。3.根据权利要求2所述的方法,其特征在于,所述客户端根据所述分区规则和所述数据归档操作请求,将所述分区表中的分区数据转移到所述源数据库中临时的中间表中,包括:所述客户端根据所述分区规则以及所述关键字,确定所述数据归档操作请求所请求操作的数据所处分区的分区物理标记;根据所述分区物理标记,在保存的分区物理位置信息中确定所述分区物理标记对应的分区物理位置信息;根据所述分区物理标记对应的分区物理位置信息,确定所述源数据库中临时的中间表地址,并将所述数据发送给所述中间表。4.根据权利要求1所述的方法,其特征在于,所述通过所述客户端开始执行数据归档操作之前,包括:所述客户端执行如下检查:检查执行转换操作前是否已做了依次完整备份以及检查是否存在其他用户正在操作同一张数据表,如果两个检查都通过,则开始转换操作。5.根据权利要求1所述的方法,其特征在于,所述执行数据归档操作之前,还包括:所述客户端执行如下检查:所述源数据库在预设时间内是否有执行一次完整备份;是否存在其它用户正在操作同一张数据表;
检查所述源服务器环境配置是否满足预设的执行条件;所述分区表和所述目标数据表的表结构是否具有一致性;所述中间表是否存在,不存在则自动创建。6.根据权利要求1所述的方法,其特征在于,所述对所述源数据表进行初始化之前,包括:选择源数据表以及源数据表的分区字段;选择分区表的存放模式;其中,所述存放模式包括主文件组或单一文件组;选择目标数据库及目标数据表。7.一种数据归档装置,其特征在于,所述数据归档装置包括:第一连接模块,用于连接源服务器,并在所述源服务器中定义源数据库以及所述源数据库下的源数据表;第二连接模块,用于连接目标服务器,并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表;数据转换模块,用于对所述源数据表进行初始化,按照分区规则将所述源数据表转换为多个分区表,同时将所述源数据表的索引转换为分区表字段索引;其中,所述分区规则根据添加的不同的分区值所生成;第一数据转移模块,用于通过客户端开始执行数据归档操作,将所述分区表中的分区数据转移到所述源数据库中临时的中间表中;第二数据转移模块,用于通过调用ms-sql数据库的sql指令,结合ms-sql数据库的bcp特性,导出所述中间表中的数据并导入所述目标数据表中,并移除所述源数据库中的所述中间表。8.一种数据归档设备,其特征在于,所述数据归档设备包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述数据归档设备执行如权利要求1-6中任一项所述的数据归档方法。9.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-6中任一项所述的数据归档方法。
技术总结
本发明涉及数据库技术领域,公开了一种数据归档方法、装置、设备及存储介质。所述数据归档方法包括:连接源服务器,并在所述源服务器中定义源数据库以及所述源数据库下的源数据表;连接目标服务器,并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表;对所述源数据表进行初始化,按照分区规则将所述源数据表转换为多个分区表,同时将所述源数据表的索引转换为分区表字段索引;其中,所述分区规则根据添加的不同的分区值所生成。本发明实现大表分区数据快速迁移和归档,为生产数据库及数据表进行减负,避免因表数据不断增长而带来的系统性能瓶颈问题。不断增长而带来的系统性能瓶颈问题。不断增长而带来的系统性能瓶颈问题。
技术研发人员:黄少波 文建军
受保护的技术使用者:深圳市华磊迅拓科技有限公司
技术研发日:2023.05.06
技术公布日:2023/6/3