超期数据的确定方法及装置、存储介质及电子装置与流程

本技术涉及计算机领域，具体而言，涉及一种超期数据的确定方法及装置、存储介质及电子装置。

背景技术：

1、近年来，随着金融行业的快速发展，监管机构对银行数据治理的要求日益严格。相关部门明确提出了银行需要建立完善的数据治理体系，加强数据质量和数据安全的管理。这些政策为银行数据库数据治理提供了重要的指导和规范。随着银行业务的复杂化和多样化，银行需要处理的数据量急剧增加，数据类型也日益丰富。为了更好地支持业务发展，银行需要建立完善的数据治理体系，确保数据的准确性、一致性和完整性。现阶段商业银行在数据治理方面存在不足，缺乏有效的数据管理机制、数据清理策略未得到严格执行、数据监控和审计不够到位。具体来说主要存在以下问题：

2、(1)数据库表有复杂的存储周期，早期银行建设数据库时，主要是为了服务报表报送和监管要求，数据并未被充分设计以支持复杂的周期定义和数字化应用。近年来，随着监管力度的加强，相关监管机构开展了多次监管检查活动。由于不同监管部门有不同的监管口径，银行内部数据往往依部门和条线而割裂，导致数据库表有复杂的存储周期。其次商业银行的业务复杂多样，涉及众多不同的产品和服务，每种产品和服务都有其特定的数据保留周期。这些周期可能因业务规则、监管要求或客户需求的不同而有所差异。

3、(2)库表需求态和生产态难以精确匹配，需求态通常反映了业务部门或系统设计的理想状态，而生产态则是实际运行中的状态。由于系统变更、业务调整或人为因素等原因，需求态与生产态之间可能会出现偏差。这种偏差可能导致数据保留策略在实际执行中未能按预期执行。

4、由于缺乏统一的规范和治理体系，商业银行数据库表复杂的周期定义无法数字化，需求态与生产态之间存在不精确匹配的情况，这些问题导致了生产态数据库表中的部分数据存放时间远远超出了原本设定的存储期限，导致资源浪费。

5、针对相关技术，在大型的异构数据库环境中，由于业务需求的多样化和数据治理策略的复杂性，数据库表的数据存储生命周期常常难以精确管理和控制的问题，目前尚未提出有效的解决方案。

6、因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

技术实现思路

1、本技术实施例提供了一种超期数据的确定方法及装置、存储介质及电子装置，以至少解决现有技术中在大型的异构数据库环境中，由于业务需求的多样化和数据治理策略的复杂性，数据库表的数据存储生命周期常常难以精确管理和控制的问题。

2、根据本技术实施例的一方面，提供了一种超期数据的确定方法，包括：根据多个数据库表的业务需求为所述多个数据库表设定数据存储生命周期，其中，所述多个数据库表用于存储业务数据，所述数据存储生命周期用于指示所述业务数据的生命周期；根据生命周期编码规则对多个所述数据存储生命周期进行数字化编码，得到多个生命周期编码，其中，多个所述数据存储生命周期与所述多个生命周期编码一一对应；按照预设周期获取所述多个数据库表的实际存储周期，并根据多个所述实际存储周期和所述多个生命周期编码筛选出所述多个数据库表中的超期数据，其中，所述超期数据为超出数据存储生命周期的业务数据。

3、进一步地，根据生命周期编码规则对多个所述数据存储生命周期进行数字化编码，得到多个生命周期编码，包括：根据所述多个数据库表中的目标数据库表的数据保留策略确定所述目标数据库表是否需要永久保存，并根据确定结果确定所述目标数据库表对应的目标生命周期编码的永久保存标识位，其中，所述数据保留策略用于对所述目标数据库表进行数据保留；根据所述目标数据库表对应的目标数据存储生命周期确定所述目标生命周期编码的首位度量标识位、次位度量标识位和计量标识位，其中，所述目标数据存储生命周期根据所述数据保留策略确定，所述首位度量标识位用于指示所述数据保留策略的基本时间框架，所述次位度量标识位用于指示所述数据保留策略在所述目标数据存储生命周期内的时间点，所述计量标识位用于指示对所述目标数据库表进行数据保留的时间长度。

4、进一步地，按照预设周期获取所述多个数据库表的实际存储周期，包括：按照所述预设周期获取所述多个数据库表的元数据信息，其中，所述元数据信息包括数据库表对应的分区类型和数据库表中存储的元数据的数据保留状态；根据所述分区类型和所述数据保留状态确定分区子表的实际存储周期，其中，每个数据库表包括多个所述分区子表。

5、进一步地，根据所述分区类型和所述数据保留状态确定分区子表的实际存储周期，包括：根据所述分区类型匹配对应的分区规则，其中，所述分区类型包括：范围分区，列表分区，哈希分区，复合分区；根据所述数据保留状态确定所述分区子表中的元数据的实际存储时间；根据所述分区规则和所述实际存储时间确定所述实际存储周期。

6、进一步地，根据多个所述实际存储周期和所述多个生命周期编码筛选出所述多个数据库表中的超期数据，包括：对于多个所述实际存储周期中的目标实际存储周期，确定所述目标实际存储周期对应的目标分区子表所属的目标数据库表，其中，所述多个数据库表包括所述目标数据库表；根据所述目标实际存储周期和所述目标数据库表的目标生命周期编码确定所述目标实际存储周期对应的实际存储时间是否超出所述目标生命周期编码所指示的数据存储生命周期；将所述目标分区子表中实际存储时间超出所述数据存储生命周期的目标业务数据确定为所述超期数据。

7、进一步地，根据所述目标实际存储周期和所述目标数据库表的目标生命周期编码确定所述目标实际存储周期对应的实际存储时间是否超出所述目标生命周期编码所指示的数据存储生命周期，包括：确定所述目标实际存储周期对应的取数业务日期，以及确定目标分区子表的最新业务日期；根据所述取数业务日期和所述最新业务日期确定时间偏移量；根据所述时间偏移量、所述实际存储时间和所述数据存储生命周期确定所述实际存储时间是否超出所述数据存储生命周期。

8、根据本技术实施例的另一方面，还提供了一种超期数据的确定装置，包括：设定模块，用于根据多个数据库表的业务需求为所述多个数据库表设定数据存储生命周期，其中，所述多个数据库表用于存储业务数据，所述数据存储生命周期用于指示所述业务数据的生命周期；编码模块，用于根据生命周期编码规则对多个所述数据存储生命周期进行数字化编码，得到多个生命周期编码，其中，多个所述数据存储生命周期与所述多个生命周期编码一一对应；确定模块，用于按照预设周期获取所述多个数据库表的实际存储周期，并根据多个所述实际存储周期和所述多个生命周期编码筛选出所述多个数据库表中的超期数据，其中，所述超期数据为超出数据存储生命周期的业务数据。

9、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述超期数据的确定方法。

10、根据本技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述超期数据的确定方法。

11、根据本技术实施例的又一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本技术各个实施例中所述方法的步骤。

12、通过本技术，预先根据多个数据库表的业务需求为这多个数据库表设定数据存储生命周期，其中，这些数据库表用于存储业务数据，数据存储生命周期用于指示业务数据的生命周期；根据设定好的生命周期编码规则对这些数据存储生命周期进行数字化编码，得到多个生命周期编码，其中，多个数据存储生命周期器与多个生命周期编码一一对应；最后按照预设周期获取这些数据库表的实际存储周期，并根据实际存储周期和这些生命周期编码筛选出这些数据库表中的超期数据，其中，超期数据为超出数据存储生命周期的业务数据；采用上述方案，通过生命周期编码规则将数据存储生命周期数字化，使得存储周期的定义更加灵活和精确，从而可以应对业务需求的快速变化和监管要求的多样化；另一方面定期获取数据库表的实际存储周期，利用数字化后的数据存储生命周期进行超期数据精确对比筛选，有效识别出超期数据，完成数据精确管理和控制；进而解决了相关技术中，在大型的异构数据库环境中，由于业务需求的多样化和数据治理策略的复杂性，数据库表的数据存储生命周期常常难以精确管理和控制的问题。