数据处理方法及相关装置与流程

本申请涉及计算机，特别是涉及一种数据处理方法及相关装置，所述相关装置包括数据处理装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、在计算机领域，通常会涉及需要定期或长期从数据源调取数据的情形，基于从数据源调取的数据，可以对调取的数据进行分析，并基于分析结果进行后续的相关处理，例如进行风险管控。已有方式中，通常都是按照固定的监测周期，定期从相关数据源调取数据，以结合调取的数据进行处理。然而，这种处理方式，从数据源调取数据的监测周期是固定设置的，若监测周期设置过长，则无法及时发现外部数据源的数据的变化，若监测周期设置过短，则从外部数据源调取数据过于频繁，会影响数据处理性能。

技术实现思路

1、本申请提供一种数据处理方法及相关装置，其中，相关装置包括数据处理装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种数据处理方法，其中，所述方法包括：

3、获取从数据源调取的历史存量数据，所述历史存量数据携带数据生成时间；

4、根据所述历史存量数据确定多个数据特征，所述数据特征与多个待监测周期一一对应，所述多个待监测周期互不相同，所述数据特征用于表征所述历史存量数据包括的第一数据与第二数据之间的差异程度，所述第一数据与所述第二数据的数据生成时间间隔为所述数据特征对应的待监测周期的时长；

5、获取每个所述待监测周期的性能参数，所述性能参数用于表征在所述待监测周期下，从所述数据源调取数据的调用性能；

6、基于每个所述待监测周期的性能参数和所述多个数据特征，从所述多个待监测周期中确定目标监测周期，所述目标监测周期用于从所述数据源调取数据。

7、第二方面，本申请还提供了一种数据处理装置，所述装置包括：

8、存量数据获取模块，用于获取从数据源调取的历史存量数据，所述历史存量数据携带数据生成时间；

9、数据特征确定模块，用于根据所述历史存量数据确定多个数据特征，所述数据特征与多个待监测周期一一对应，所述多个待监测周期互不相同，所述数据特征用于表征所述历史存量数据包括的第一数据与第二数据之间的差异程度，所述第一数据与所述第二数据的数据生成时间间隔为所述数据特征对应的待监测周期的时长；

10、性能参数获取模块，用于获取每个所述待监测周期的性能参数，所述性能参数用于表征在所述待监测周期下，从所述数据源调取数据的调用性能；

11、目标周期确定模块，用于基于每个所述待监测周期的性能参数和所述多个数据特征，从所述多个待监测周期中确定目标监测周期，所述目标监测周期用于从所述数据源调取数据。

12、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的任一实施例中的方法所述的步骤。

13、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一实施例中的方法所述的步骤。

14、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的任一实施例中的方法所述的步骤。

15、可以看出，在本申请实施例中，由于数据特征反应了历史存量数据间隔待监测周期的时长的第一数据与第二数据之间的差异程度，以及性能参数反应了在待监测周期下从数据源调取数据的调用性能，因而据此确定的目标监控周期既考虑了数据的差异情况，也考虑了从数据源调取数据的调用性能，因此，基于目标监测周期从数据源调取数据，既能及时发现数据源的数据的变化，又能满足数据处理性能的需求，提高了数据处理的性能。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述历史存量数据确定多个数据特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述数据特征包括基于所述第四数据与所述第五数据确定的第一子特征，以及基于所述第四数据与所述第三数据确定的第二子特征。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述性能参数基于目标数值确定，所述目标数值为在所述性能参数对应的待监测周期下，在目标时间范围内的所述数据源的数据调取次数；所述目标时间范围的时长大于或等于所述多个待监测周期中的最大待监测周期的时长。

5.根据权利要求1-3任一项所述的方法，其特征在于，每个所述待监测周期对应一个分类模型，所述基于每个所述待监测周期的性能参数和所述多个数据特征，从所述多个待监测周期中确定目标监测周期，包括：

6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

7.一种数据处理装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法的步骤。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请提供一种数据处理方法及相关装置，涉及计算机技术领域，一个实施例的方法包括：获取从数据源调取的历史存量数据，历史存量数据携带数据生成时间；根据历史存量数据确定多个数据特征，数据特征与多个待监测周期一一对应，数据特征用于表征历史存量数据包括的第一数据与第二数据之间的差异程度；获取每个待监测周期的性能参数，性能参数用于表征在待监测周期下从数据源调取数据的调用性能；基于每个待监测周期的性能参数和多个数据特征，从多个待监测周期中确定目标监测周期，目标监测周期用于从数据源调取数据。基于本实施例的方案确定的目标监测数据调取数据，既能及时发现数据源的数据的变化，又能满足数据处理性能的需求。

技术研发人员：黄芸
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/9/19