数据库量化比对方法、装置、计算机设备以及存储介质与流程

1.本发明涉及计算机技术的技术领域，尤其是涉及一种数据库量化比对方法、装置、计算机设备以及存储介质。


背景技术：

2.关于数据库的一个比较完整的定义为：数据库是存储在一起的相关数据的集合，这些数据是结构化的，用于为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据、修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个“数据库集合”，即由多个数据库组成。
3.在实际中，当数据处理涉及一个系统中的多个数据库，或者，多个系统的多个数据库时，存在同一个数据在不同的数据库中不一样的情况，即数据库之间的数据不一致。例如，对于两个存储有多个公司商标数量的数据库a和b，数据库a中存储的c公司的商标数量与数据库b中存储的c公司的商标数量不同。这种数据的不一致可能是由于系统性问题引起的，所述系统性问题包括网络堵塞、设备故障或者写入数据库的程序本身有问题等。
4.但是，现有的不一致检验工具检验到的不一致信息无法量化，因此，这些不一致信息并不能用来发现系统性问题。因此，如何对不一致信息进行量化从而能够发现系统性问题，是目前亟待解决的问题。


技术实现要素：

5.为了能够及时检测出系统性问题，本技术提供一种数据库量化比对方法、装置、计算机设备以及存储介质。
6.本技术的上述发明目的一是通过以下技术方案得以实现的：一种数据库量化比对方法，所述数据库量化比对方法包括：获取预设的待比对数据库集，其中，所述待比对数据库集中包括每个待比对数据库的数据库标签和每个所述数据库标签对应的数据库类型；根据每个所述数据库标签的所述数据库类型构建各个所述待比对数据库之间的数据库依赖关系；根据所述数据库标签获取对应的数据库中的存储数据类型，并根据所述数据库依赖关系获取各个所述待比对数据库之间每个相同的所述存储数据类型对应的主数据库和依赖数据库；获取所述主数据库触发的数据更新消息，比对每个所述依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令。
7.通过采用上述技术方案，在系统中的数据库更新数据时，存在有一个负责从数据源接收并存储的主数据库，以及基于该系统的数据处理逻辑，从该主数据库爬取数据的依赖数据库，因此，基于每一个数据库标签的数据库类型，构建出数据流向的数据库依赖关
系，从而能够在数据进行更新时，根据更新的数据，定位出与该更新的数据相关的数据库，进而能够精准定位出需要比对数据一致性的数据库，提升了校验数据库一致性的精度和效率，进而能够在数据不一致时，触发该系统检验指令。
8.本技术在一较佳示例中可以进一步配置为：所述根据每个所述数据库标签的所述数据库类型构建各个所述待比对数据库之间的数据库依赖关系，具体包括：获取每一个所述存储数据类型对应的数据源信息以及对应的数据流向信息；根据所述数据源信息和所述数据流向信息，获取每个所述存储数据类型对应的所述主数据库；根据所述数据流向信息获取每个所述主数据库对应的所述依赖数据库。
9.通过采用上述技术方案，通过每一个对应的存储数据类型，构建出对应的数据源和数据流向信息，从而能够根据数据源信息，寻找出用于接收该源数据的主数据库，以及与该主数据库想依赖的依赖数据库，即从该主数据库获取数据的数据库。
10.本技术在一较佳示例中可以进一步配置为：所述根据所述数据流向信息获取每个所述主数据库对应的所述依赖数据库，具体包括：根据所述数据流向信息从所述待比对数据库集中获取每一个待比对数据库的数据源数据库；当所述数据源数据库与所述主数据库一致时，将所有对应的所述数据源数据作为所述依赖数据库。
11.通过采用上述技术方案，由于在一个系统中，根据不同的数据，每一个数据库均可能同时是一个数据类型的主数据库和另一个数据类型的依赖数据库，因此，在获取对应的依赖数据库时，根据数据流向信息，获取该数据库每一个数据类型的来源，判断对于该数据来说，该数据库是主数据库还是依赖数据库，进而在该数据库为依赖数据库时，根据数据流向向上获取对应的数据库，从而能够获取每一个主数据库对应的依赖数据库。
12.本技术在一较佳示例中可以进一步配置为：所述获取所述主数据库触发的数据更新消息，比对每个所述依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令，具体包括：所述数据更新消息携带有接收响应数据，获取每个所述依赖数据库触发的所述接收响应数据对应的接收应答数据；根据所述数据流向消息，获取对应的依赖数据库数量，根据所述依赖数据库数量统计每个所述数据更新消息对应的所述接收应答数据的应答数量；根据所述应答数量和依赖数据库数量触发所述数据一致性的比对。
13.通过采用上述技术方案，在判断是否需要数据一致性的比对时，通过在数据更新消息中携带接收响应数据，从而能够在依赖数据库接收到该数据后，触发对应的接收应答数据，从而用于标示该依赖数据库以接收到该更新的数据，从而能够以数据更新为时机，统计出接收到该更新的数据的依赖数据库数量，进而能够及时判定是否需要进行一致性比对。
14.本技术在一较佳示例中可以进一步配置为：，在所述根据所述应答数量和依赖数据库数量触发所述数据一致性的比对之后，所述数据库量化比对方法还包括：统计依赖数据库数量和对应的所述应答数量一致对应的所述接收响应数据，作为
待删除数据；将所述待删除数据和对应的所述接收应答数据存储至待删除数据集，按照时间周期将所述待删除数据集中的数据删除。
15.通过采用上述技术方案，在判断出依赖数据库数量和对应的应答数量一致时，说明该更新的数据在系统中的所有数据库均更新完成，则定期删除对应的接收响应数据和接收应答数据，能够减轻系统存储的压力。
16.本技术的上述发明目的二是通过以下技术方案得以实现的：一种数据库量化比对装置，所述数据库量化比对装置包括：数据库定位模块，用于获取预设的待比对数据库集，其中，所述待比对数据库集中包括每个待比对数据库的数据库标签和每个所述数据库标签对应的数据库类型；依赖关系构建模块，用于根据每个所述数据库标签的所述数据库类型构建各个所述待比对数据库之间的数据库依赖关系；数据库属性获取模块，用于根据所述数据库标签获取对应的数据库中的存储数据类型，并根据所述数据库依赖关系获取各个所述待比对数据库之间每个相同的所述存储数据类型对应的主数据库和依赖数据库；量化比对模块，用于获取所述主数据库触发的数据更新消息，比对每个所述依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令。
17.通过采用上述技术方案，在系统中的数据库更新数据时，存在有一个负责从数据源接收并存储的主数据库，以及基于该系统的数据处理逻辑，从该主数据库爬取数据的依赖数据库，因此，基于每一个数据库标签的数据库类型，构建出数据流向的数据库依赖关系，从而能够在数据进行更新时，根据更新的数据，定位出与该更新的数据相关的数据库，进而能够精准定位出需要比对数据一致性的数据库，提升了校验数据库一致性的精度和效率，进而能够在数据不一致时，触发该系统检验指令。
18.本技术的上述目的三是通过以下技术方案得以实现的：一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据库量化比对方法的步骤。
19.本技术的上述目的四是通过以下技术方案得以实现的：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据库量化比对方法的步骤。
20.综上所述，本技术包括以下至少一种有益技术效果：1、在系统中的数据库更新数据时，存在有一个负责从数据源接收并存储的主数据库，以及基于该系统的数据处理逻辑，从该主数据库爬取数据的依赖数据库，因此，基于每一个数据库标签的数据库类型，构建出数据流向的数据库依赖关系，从而能够在数据进行更新时，根据更新的数据，定位出与该更新的数据相关的数据库，进而能够精准定位出需要比对数据一致性的数据库，提升了校验数据库一致性的精度和效率，进而能够在数据不一致时，触发该系统检验指令；2、由于在一个系统中，根据不同的数据，每一个数据库均可能同时是一个数据类型的主数据库和另一个数据类型的依赖数据库，因此，在获取对应的依赖数据库时，根据数
据流向信息，获取该数据库每一个数据类型的来源，判断对于该数据来说，该数据库是主数据库还是依赖数据库，进而在该数据库为依赖数据库时，根据数据流向向上获取对应的数据库，从而能够获取每一个主数据库对应的依赖数据库；3、在判断是否需要数据一致性的比对时，通过在数据更新消息中携带接收响应数据，从而能够在依赖数据库接收到该数据后，触发对应的接收应答数据，从而用于标示该依赖数据库以接收到该更新的数据，从而能够以数据更新为时机，统计出接收到该更新的数据的依赖数据库数量，进而能够及时判定是否需要进行一致性比对。
附图说明
21.图1是本技术一实施例中数据库量化比对方法的一流程图；图2是本技术一实施例中数据库量化比对方法中步骤s20的实现流程图；图3是本技术一实施例中数据库量化比对方法中步骤s30的实现流程图；图4是本技术一实施例中数据库量化比对方法中步骤s40的实现流程图；图5是本技术一实施例中数据库量化比对方法中另一实现流程图；图6是本技术一实施例中数据库量化比对装置的一原理框图；图7是本技术一实施例中的设备示意图。
具体实施方式
22.以下结合附图对本技术作进一步详细说明。
23.在一实施例中，如图1所示，本技术公开了一种数据库量化比对方法，具体包括如下步骤：s10：获取预设的待比对数据库集，其中，待比对数据库集中包括每个待比对数据库的数据库标签和每个数据库标签对应的数据库类型。
24.在本实施例中，待比对数据库集是指在一个系统平台中，所包含的所有数据库的集合。
25.具体地，在一个平台系统中，对于相同的数据，在不同的平台功能对应的数据库中，有不同的作用，例如，在该系统平台中，有用于展现一个企业的专利数量的功能，以及对应的数据库，作为待比对数据库，并将其对应的唯一标识作为数据库标签，并将数据库标签存在该待比对数据库集中。
26.s20：根据每个数据库标签的数据库类型构建各个待比对数据库之间的数据库依赖关系。
27.在本实施例中，数据库依赖关系是指用于表示在该系统中，每一个数据库之间数据交互的关系。
28.具体地，根据每一个数据库标签，获取预设的数据库功能，从每一个数据库中获取对应的数据类型以及以及每一个数据类型在该系统平台中的数据流向，从而获取对于各个数据库之间，每一类型的数据的来源，例如对于数据库a、数据库b以及数据库c，在数据库a中的数据a来自于数据库b，数据库b中的数据b来自于数据库c，数据库c中的数据c和数据d分别来自于数据库a和数据库b，从而形成各个待比对数据库之间的数据库依赖关系。
29.s30：根据数据库标签获取对应的数据库中的存储数据类型，并根据数据库依赖关
系获取各个待比对数据库之间每个相同的存储数据类型对应的主数据库和依赖数据库。
30.在本实施例中，存储数据类型是指在该系统平台中，每一个维度的数据的类型。
31.具体地，对于该系统平台中，每一个维度的数据类型，即每一个存储数据类型，都有对应的接口来源，例如，对于专利查询的功能，其专利的数据可以是从官方的数据库中，获取对应的接口，并通过该接口对接到对应的数据库中，该数据库相对于专利的情况来说，作为主数据库。
32.进一步地，根据该数据库依赖关系，获取需要使用到专利申请情况的数据库，例如存储有每一个企业自身的专利申请情况，以对企业进行相应的分析的数据库，其企业专利申请的情况的数据可以是从主数据库中进行获取以及分类，从而作为对应的依赖数据库。
33.s40：获取主数据库触发的数据更新消息，比对每个依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令。
34.具体地，当主数据库接收到了新的数据后，例如对于存储有专利数据的主数据库，每日更新公开的专利时，触发该数据更新消息。
35.进一步地，在获取到有主数据库触发了数据更新消息后，对其所属的依赖数据库进行数据一致性的比对，以比对每一个依赖数据库是否进行了相对应的数据更新。若出现数据不一致的情况，则可以及时筛选出数据同步异常的数据库，进而有助于及时触发对应的系统检验指令。
36.在本实施例中，在系统中的数据库更新数据时，存在有一个负责从数据源接收并存储的主数据库，以及基于该系统的数据处理逻辑，从该主数据库爬取数据的依赖数据库，因此，基于每一个数据库标签的数据库类型，构建出数据流向的数据库依赖关系，从而能够在数据进行更新时，根据更新的数据，定位出与该更新的数据相关的数据库，进而能够精准定位出需要比对数据一致性的数据库，提升了校验数据库一致性的精度和效率，进而能够在数据不一致时，触发该系统检验指令。
37.在一实施例中，如图2所示，在步骤s20中，即根据每个数据库标签的数据库类型构建各个待比对数据库之间的数据库依赖关系，具体包括：s21：获取每一个存储数据类型对应的数据源信息以及对应的数据流向信息。
38.在本实施例中，数据流向信息是指记录有每一个数据存储类型，在不同的数据库之间的流向的情况。
39.具体地，从该系统平台中，获取每一个对外获取数据的接口，即每一个存储数据类型对应数据，从数据源处获取数据的接口。进一步地，将与该接口对接的外部数据库作为数据源信息，例如官方的数据库。
40.在该系统平台中，由于涉及不同的功能，因此设置有对应的数据库，以存储对应功能所需要的数据以及产生的数据，以便对该系统进行维护和管理，因此，在该系统平台中获取对应的数据处理流程以及平台功能等数据，从而获取每一个数据存储类型对应的数据在不同的数据库之间的流向，从而得到该数据流向信息。
41.s22：根据数据源信息和数据流向信息，获取每个存储数据类型对应的主数据库。
42.具体地，根据数据流向信息，获取数据源信息对应的外部数据库与该系统平台的接口，从而获取该接口所属的数据库，作为该数据存储类型对应的主数据库。
43.s23：根据数据流向信息获取每个主数据库对应的依赖数据库。
44.具体地，获取需要应用该主数据库的其他数据库，作为该依赖数据库。
45.在一实施例中，如图3所示，在步骤s23中，即根据数据流向信息获取每个主数据库对应的依赖数据库，具体包括：s231：根据数据流向信息从待比对数据库集中获取每一个待比对数据库的数据源数据库。
46.具体地，以每一个数据存储类型为单位，从该系统平台中筛选出存储有该数据存储类型的数据库，作为类型数据库，并根据该数据流向信息从每一个类型数据库中获取该数据存储类型的来源，作为数据源数据库，并将类型数据库与对应的数据源数据库相关联，即存在有同一个数据库，即是类型数据库，也是其他类型数据库对应的数据源数据库。
47.s232：当数据源数据库与主数据库一致时，将所有对应的数据源数据作为依赖数据库。
48.具体地，当数据源数据库为该数据存储类型的主数据库，且每一个类型数据库均关联到对应的数据源数据库时，将所有对应的数据源数据作为依赖数据库。
49.在一实施例中，如图4所示，在步骤s40中，获取主数据库触发的数据更新消息，比对每个依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令，具体包括：s41：数据更新消息携带有接收响应数据，获取每个依赖数据库触发的接收响应数据对应的接收应答数据。
50.在本实施例中，接收响应数据是指用于请求每一个依赖数据库在接收到更新的数据后进行应答的数据包。接收应答数据是指在依赖数据库接收到更新的数据后响应的数据。
51.具体地，在主数据库接收到更新的数据后，根据其对应的依赖数据库标签，生成对应的接收响应数据，并与更新的数据组成该数据更新消息。
52.进一步地，根据该数据流向消息，各个依赖数据库从其对应的数据源数据获取该数据更新消息，在成功接收数据更新消息后，通过该依赖数据库的数据库标签对接收响应消息进行解析，并触发对应的数据应答数据，以表示该依赖数据库成功接收到更新的数据。
53.s42：根据数据流向消息，获取对应的依赖数据库数量，根据依赖数据库数量统计每个数据更新消息对应的接收应答数据的应答数量。
54.具体地，根据数据流向消息，获取每一个触发数据更新消息的主数据库对应的依赖数据库数量。并在触发数据更新消息后的预定的时间周期内，例如1天，统计该数据更新消息所对应的接收应答数据的应答数量。
55.s43：根据应答数量和依赖数据库数量触发数据一致性的比对。
56.具体地，若应答数量和依赖数据库数量不一致，即应答数量少于依赖数据库数量，则说明存在有依赖数据库未能成功接收更新的数据，则触发该数据一致性的比对，以统计出未接收更新的数据的具体数据库。
57.在一实施例中，如图5所示，在步骤s43之后，数据库量化比对方法还包括：s44：统计依赖数据库数量和对应的应答数量一致对应的接收响应数据，作为待删除数据。
58.具体地，在依赖数据库数量和对应的应答数量一致时，包括经过对系统的修复后，使得依赖数据库数量和对应的应答数量一致时，将响应的接收响应数据作为待删除数据。
59.s45：将待删除数据和对应的接收应答数据存储至待删除数据集，按照时间周期将待删除数据集中的数据删除。
60.具体地，将该待删除数据和对应的接收应答数据存储至预设的数据集，得到待删除数据集，在预定的时间周期内，定期将待删除数据集中的数据进行删除。
61.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
62.在一实施例中，提供一种数据库量化比对装置，该数据库量化比对装置与上述实施例中数据库量化比对方法一一对应。如图6所示，该数据库量化比对装置包括数据库定位模块、依赖关系构建模块、数据库属性获取模块和量化比对模块。各功能模块详细说明如下：数据库定位模块，用于获取预设的待比对数据库集，其中，待比对数据库集中包括每个待比对数据库的数据库标签和每个数据库标签对应的数据库类型；依赖关系构建模块，用于根据每个数据库标签的数据库类型构建各个待比对数据库之间的数据库依赖关系；数据库属性获取模块，用于根据数据库标签获取对应的数据库中的存储数据类型，并根据数据库依赖关系获取各个待比对数据库之间每个相同的存储数据类型对应的主数据库和依赖数据库；量化比对模块，用于获取主数据库触发的数据更新消息，比对每个依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令。
63.可选的，依赖关系构建模块包括：数据流向获取子模块，用于获取每一个存储数据类型对应的数据源信息以及对应的数据流向信息；主数据库获取子模块，用于根据数据源信息和数据流向信息，获取每个存储数据类型对应的主数据库；依赖数据库获取子模块，用于根据数据流向信息获取每个主数据库对应的依赖数据库。
64.可选的，，依赖数据库获取子模块，具体包括：数据源定位单元，用于根据数据流向信息从待比对数据库集中获取每一个待比对数据库的数据源数据库；依赖数据库定位单元，用于当数据源数据库与主数据库一致时，将所有对应的数据源数据作为依赖数据库。
65.可选的，量化比对模块包括：响应数据出发子模块，用于数据更新消息携带有接收响应数据，获取每个依赖数据库触发的接收响应数据对应的接收应答数据；应答统计子模块，用于根据数据流向消息，获取对应的依赖数据库数量，根据依赖数据库数量统计每个数据更新消息对应的接收应答数据的应答数量；量化比对子模块，用于根据应答数量和依赖数据库数量触发数据一致性的比对。
66.可选的，数据库量化比对装置还包括：
待删除定位子模块，用于统计依赖数据库数量和对应的应答数量一致对应的接收响应数据，作为待删除数据；数据清楚子模块，用于将待删除数据和对应的接收应答数据存储至待删除数据集，按照时间周期将待删除数据集中的数据删除。
67.关于数据库量化比对装置的具体限定可以参见上文中对于数据库量化比对方法的限定，在此不再赘述。上述数据库量化比对装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
68.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据库量化比对方法。
69.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取预设的待比对数据库集，其中，待比对数据库集中包括每个待比对数据库的数据库标签和每个数据库标签对应的数据库类型；根据每个数据库标签的数据库类型构建各个待比对数据库之间的数据库依赖关系；根据数据库标签获取对应的数据库中的存储数据类型，并根据数据库依赖关系获取各个待比对数据库之间每个相同的存储数据类型对应的主数据库和依赖数据库；获取主数据库触发的数据更新消息，比对每个依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令。
70.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取预设的待比对数据库集，其中，待比对数据库集中包括每个待比对数据库的数据库标签和每个数据库标签对应的数据库类型；根据每个数据库标签的数据库类型构建各个待比对数据库之间的数据库依赖关系；根据数据库标签获取对应的数据库中的存储数据类型，并根据数据库依赖关系获取各个待比对数据库之间每个相同的存储数据类型对应的主数据库和依赖数据库；获取主数据库触发的数据更新消息，比对每个依赖数据库中的数据一致性，并根据一致性比对结果生成系统检验指令。
71.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
72.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
73.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。