一种采用cmsp同步数据实现虚机内数据库备份的方法与流程

本发明涉及cmsp数据同步工具与数据库备份技术领域，具体提供一种采用cmsp同步数据实现虚机内数据库备份的方法。

背景技术：

随着数据时代的到来，数据量正呈爆发性的增长，数据容灾备份正面临严峻的挑战。一方面当遇到一些病毒、人为入侵、硬件故障及种种自然灾害导致用户数据丢失、业务中断，需要使用备份来执行数据恢复；另一方面数据量愈发巨大、数据种类愈发繁多、数据存放单一会带来各种各样的数据安全及不可靠的隐患，因此数据的同步与备份愈发重要。

技术实现要素：

本发明的技术任务是针对上述存在的问题，提供一种能够在备份时同步用户数据，不影响用户使用空间，并能保护用户的数据安全的采用cmsp同步数据实现虚机内数据库备份的方法。

为实现上述目的，本发明提供了如下技术方案：

一种采用cmsp同步数据实现虚机内数据库备份的方法，在需执行备份的数据库所在的虚机中执行cmsp安装命令，安装cmsp采集端agent，在备份服务器中执行cmsp安装命令，安装cmsp入库端agent，在cmsp中指定数据采集路径、要采集的数据库信息以及数据入库路径，执行数据同步操作将指定数据库中的执行日志同步到备份服务器，在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库，在后续执行增量备份时，将备份数据库中的pos_log中的信息解析，该日志位置作为起始位置进行增量，将要执行备份的数据库执行日志进行压缩加密，上传至存储后端。

作为优选，该采用cmsp同步数据实现虚机内数据库备份的方法具体包括以下步骤：

s1、在用户虚拟内执行cmsp指令，安装数据采集端agent；

s2、在备份服务器中执行cmsp指令，安装数据入库端agent；

s3、在cmsp上配置数据采集路径、需采集的数据库信息及数据入库路径；

s4、步骤s3中配置成功后，在cmsp上执行同步操作，从用户虚机中采集指定数据库执行日志至备份服务器；

s5、在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库；

s6、判断是否执行增量操作，若执行增量则从信息数据库中获取pos_log解析出备份的起始位置；

s7、执行备份，将数据传入存储后端，并将备份信息存入信息数据库。

作为优选，步骤s1中，在cmsp中根据虚拟ip测试调用采集端。

作为优选，步骤s2中，在cmsp中根据备份服务器ip测试调用入库端。

作为优选，步骤s3中，需指定数据采集路径为数据库日志存储路径，采集的数据库信息为要备份的数据库，并设置上数据库的用户名和密码，通过用户名和密码对数据库连接，若连接成功则执行备份操作。

作为优选，步骤s3中，指定数据入库路径，将用户执行历史同步至该指定路径。

作为优选，步骤s4中，执行同步操作后，需执行同步过来的操作历史日志，复原数据库。

由于存在多个采集端采集数据，复原的数据库中会出现重名的情况，故在复原数据库时对数据库名进行处理，生成数据库名_时间戳作为新数据库名保证数据库复原成功。通过同步的数据复原数据库，防止出现库重名情况在库名上增加时间戳作为区分。

作为优选，步骤s5中，根据数据库执行日志的每n条记录进行加密生成一个唯一的mess_log，将多条mess_log进行加密生成唯一的pos_log存入信息数据库。

作为优选，步骤s6中，判断备份类型为增量备份或全量备份，若需要执行增量备份，从信息数据库中获取pos_log，进行解析，获取到需要执行备份的起始日志位置。

作为优选，步骤s7中，将历史执行日志的起始位置至结束位置进行加密压缩处理，生成tar包及加密索引，将tar包执行上传操作上传至存储后端，若上传成功获取备份存储位置索引，创建加密索引和备份存储位置索引的二元组，存储记录备份对应的存储信息，将生成的二元组存入信息数据库，对备份信息进行记录。

与现有技术相比，本发明的采用cmsp同步数据实现虚机内数据库备份的方法具有以下突出的有益效果：所述采用cmsp同步数据实现虚机内数据库备份的方法原理可靠，实现简单，能够实现备份用户虚机中的数据库操作，极大的节省用户的存储空间，同时保证用户数据的安全，对于用户更为人性化与便捷，提高了用户体验，具有广泛的应用前景。

附图说明

图1是本发明所述采用cmsp同步数据实现虚机内数据库备份的方法的流程。

具体实施方式

下面将结合附图和实施例，对本发明的采用cmsp同步数据实现虚机内数据库备份的方法作进一步详细说明。

实施例

本发明的采用cmsp同步数据实现虚机内数据库备份的方法在需执行备份的数据库所在的虚机中执行cmsp安装命令，安装cmsp采集端agent，在备份服务器中执行cmsp安装命令，安装cmsp入库端agent，在cmsp中指定数据采集路径、要采集的数据库信息以及数据入库路径，执行数据同步操作将指定数据库中的执行日志同步到备份服务器，在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库，在后续执行增量备份时，将备份数据库中的pos_log中的信息解析，该日志位置作为起始位置进行增量，将要执行备份的数据库执行日志进行压缩加密，上传至存储后端。

该采用cmsp同步数据实现虚机内数据库备份的方法具体包括以下步骤：

s1、在用户虚拟内执行cmsp指令，安装数据采集端agent。

在cmsp中根据虚拟ip测试调用采集端，确保cmsp连接备份服务器成功。

s2、在备份服务器中执行cmsp指令，安装数据入库端agent。

在cmsp中根据备份服务器ip测试调用入库端，确保cmsp连接用户虚机成功。

s3、在cmsp上配置数据采集路径、需采集的数据库信息及数据入库路径。

需指定数据采集路径为数据库日志存储路径，采集的数据库信息为要备份的数据库，并设置上数据库的用户名和密码，通过用户名和密码对数据库连接，若连接成功则执行备份操作。指定数据入库路径，将用户执行历史同步至该指定路径。

s4、步骤s3中配置成功后，在cmsp上执行同步操作，从用户虚机中采集指定数据库执行日志至备份服务器。

执行同步操作后，需执行同步过来的操作历史日志，复原数据库。由于存在多个采集端采集数据，复原的数据库中会出现重名的情况，故在复原数据库时对数据库名进行处理，生成数据库名_时间戳作为新数据库名保证数据库复原成功。通过同步的数据复原数据库，防止出现库重名情况在库名上增加时间戳作为区分。

s5、在备份服务器中根据执行日志生成新的数据库，并将提交记录作为操作事件，生成唯一标识符pos_log存入信息数据库。

根据数据库执行日志的每n条记录进行加密生成一个唯一的mess_log，将多条mess_log进行加密生成唯一的pos_log存入信息数据库。

s6、判断是否执行增量操作，若执行增量则从信息数据库中获取pos_log解析出备份的起始位置。

判断备份类型为增量备份或全量备份，若需要执行增量备份，从信息数据库中获取pos_log，进行解析，获取到需要执行备份的起始日志位置。

s7、执行备份，将数据传入存储后端，并将备份信息存入信息数据库。

将历史执行日志的起始位置(全量为历史执行日志开头)至结束位置进行加密压缩处理，生成tar包及加密索引，将tar包执行上传操作上传至存储后端，若上传成功获取备份存储位置索引，创建加密索引和备份存储位置索引的二元组，存储记录备份对应的存储信息，将生成的二元组存入信息数据库，对备份信息进行记录。

如图1所示，该采用cmsp同步数据实现虚机内数据库备份的方法具体执行过程中，通过cmsp采集端agent采集数据库数据；通过cmsp同步数据到备份服务器；在备份服务器中生成新的临时数据库；利用备份xtrabackup执行备份，获取加密索引；将备份上传到底层存储，获取备份存储位置索引；生成加密索引和备份存储位置索引二元组并存入信息数据库。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。