基于心跳机制的数据同步核验方法、电子设备及存储介质与流程

本申请涉及互联网数据中心，尤其是涉及一种基于心跳机制的数据同步核验方法、电子设备及存储介质。

背景技术：

1、数据同步是在源数据中心与目标数据中心建立数据传输通道，最终实现数据从一端到另一端的迁移。而数据同步的准确性、及时性将直接影响到决策的准确性和时效性。在如今的数字化时代，海量的数据产生在不同数据中心，而决策数据又需要将各个数据中心的数据进行汇总聚合，从而产生有价值的分析结果。因此，数据的同步在当下互联网时代必不可少，而保证数据同步的准确性与及时性，对于企业来说也是至关重要的。

2、目前业内对于数据的同步都是在相对稳定的网络环境下，通过不同的同步策略保证数据的时效性。第一种方式，对同步后的数据与源数据进行比对，从而确定数据传输的准确性。但是此种方式有三方面问题：1、数据传输都是基于内网或是有一个相对稳定的网络环境，而对跨地域或跨国家之间网络传输，则会出现诸多问题；2、源表与目标表的数据校验方式，严重依赖网络情况；3、在网络出现问题时，无法衡量数据延迟及到达情况。第二种方式，通过监控目标数据库变更频次相对较高的数据表是否有新数据变更同步，若指定表固定时间内无数据变更，则认为数据同步出现问题。而此种方式的弊端在于：1、固定时间无数据变更则认为数据同步出现问题，该判断过于武断，不能排除其他异常情况如服务更新或业务低峰期带来的数据偏差；2、只能简单确认数据同步是否正常，无法有效确认数据同步的具体情况。

技术实现思路

1、为了有助于改善现有数据中心数据传输是否正常不便于核验的问题，本申请提供了一种基于心跳机制的数据同步核验方法、电子设备及存储介质。

2、第一方面，本申请提供一种基于心跳机制的数据同步核验方法，采用如下的技术方案，该方法包括：

3、第一数据中心定时生成固定结构的心跳数据，并发送至第二数据中心；

4、所述第二数据中心对每一所述心跳数据进行内容填充；

5、根据所述心跳数据计算数据的错误率；

6、当错误率超出阈值时，判定数据同步存在问题。

7、通过采用上述技术方案，跨地域或跨国家在网络不稳定的情况下的数据传输，也能很好的判断数据的准确性、及时性；在数据传输出现问题时，可相对准确的判断出数据传输的具体情况。

8、第二方面，本申请提供一种电子设备，采用如下的技术方案：

9、一种电子设备，该电子设备包括：

10、至少一个处理器；

11、存储器；

12、至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行基于心跳机制的数据同步核验方法。

13、第三方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

14、一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行第一方面提供的任一种基于心跳机制的数据同步核验方法。

15、综上所述，本发明技术方案在两个数据中心传输数据的同时，随之定期发送心跳数据，根据心跳数据进行核验计算，如心跳数据的时间、数量不对，则认为两个数据中心的数据传输出现了问题。其对于跨地域或跨国家在网络不稳定的情况下的数据传输，也能很好的判断数据的准确性、及时性。

技术特征：

1.一种基于心跳机制的数据同步核验方法，其特征在于，用于互联网数据中心，所述方法包括：

2.根据权利要求1所述的基于心跳机制的数据同步核验方法，其特征在于，所述心跳数据包括数据中心标签、发送时间标签及到达时间标签；其中所述数据中心标签、发送时间标签由所述第一数据中心填充，所述到达时间标签由所述第二数据中心填充。

3.根据权利要求2所述的基于心跳机制的数据同步核验方法，其特征在于，根据所述心跳数据计算数据的准确率和超时率，当准确率低于阈值或超时率超出阈值时，则判定数据同步存在问题。

4.根据权利要求3所述的基于心跳机制的数据同步核验方法，其特征在于，所述准确率a的计算包括：

5.根据权利要求3所述的基于心跳机制的数据同步核验方法，其特征在于，所述超时率d的计算包括：

6.根据权利要求3所述的基于心跳机制的数据同步核验方法，其特征在于，当最后一条心跳数据的到达时间与当前时间之间的间隔大于预设值时，也判定数据同步存在问题。

7.根据权利要求1所述的基于心跳机制的数据同步核验方法，其特征在于，所述心跳数据随第一数据中心的业务数据及日志数据一同发送至所述第二数据中心。

8.根据权利要求7所述的基于心跳机制的数据同步核验方法，其特征在于，第一数据中心的日志数据通过filebeat加logstash的方式传输到第二数据中心，第一数据中心的业务数据通过cdc实时数据同步的方式传输至第二数据中心的关系型数据库。

9.一种电子设备，其特征在于，该电子设备包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1至8任一项所述的基于心跳机制的数据同步核验方法。

技术总结
本申请涉及互联网数据中心领域，提供了一种基于心跳机制的数据同步核验方法、电子设备及存储介质，该方法包括：第一数据中心定时生成固定结构的心跳数据，并发送至第二数据中心；第二数据中心对每一心跳数据进行内容填充；根据心跳数据计算数据的错误率；当错误率超出阈值时，判定数据同步存在问题。本发明技术方案在两个数据中心传输数据的同时，随之定期发送心跳数据，根据心跳数据进行核验计算，如心跳数据的时间、数量不对，则认为两个数据中心的数据传输出现了问题。其对于跨地域或跨国家在网络不稳定的情况下的数据传输，也能很好的判断数据的准确性、及时性。

技术研发人员：汪晴,窦鹏志,林权
受保护的技术使用者：福州佳软软件技术有限公司
技术研发日：
技术公布日：2024/1/15