文件数据入库的处理方法、装置、电子设备和存储介质与流程

本发明涉及数据库领域，尤其涉及文件数据入库的处理方法、装置、电子设备和存储介质。

背景技术：

1、在5g专网领域，依托于网络数字孪生增强能力，可以对5g专网进行有效的运营、网络优化保障和故障的解决。网络数字孪生增强能力主要是实现省份网络数据的可视化展示，实现这一能力目标包括网络数据的采集存储和数据展示两部分，网络数据的采集主要是通过文件的形式来完成，涉及的数据文件包括csv文件、txls文件等，数据文件入库是较为重要的环节，是实现网络数据可视化展示的前提。

2、现有技术中，为了提升兼顾数据文件入库效率和资源占用，由人工根据经验判断文件数据入库的扩缩容数量，利用人工判断的扩缩容数据执行扩缩容操作，其不足在于，由人工根据经验判断文件数据入库的扩缩容数量容易导致判断的扩缩容数量过多或过少，难以兼顾文件数据入库效率和文件数据入库资源占用。

技术实现思路

1、为了解决现有技术中的至少一个技术问题，本公开提供了一种文件数据入库的处理方法、装置、电子设备和存储介质。

2、本公开的第一方面，提供了一种文件数据入库的处理方法，包括：

3、获取各个入库实例的性能指标，所述性能指标包括当前cpu利用率、当前内存利用率、当前缓存列表长度以及当前读取行数；

4、根据所述入库实例的性能指标，计算相应所述入库实例的融合指标；

5、在第一目标实例的数量大于第一预设阈值的情况下，根据各个所述入库实例的融合指标和预设的期望系统融合指标确定扩容实例数量，根据所述扩容实例数量执行扩容操作，其中，所述第一目标实例为融合指标大于预设的最大系统融合指标的所述入库实例；

6、和/或，

7、在第二目标实例的数量大于第二预设阈值的情况下，根据各个所述入库实例的融合指标和预先设置的期望融合指标确定缩容实例数量，根据所述缩容实例数量执行缩容操作，其中，所述第二目标实例为所述入库实例的融合指标小于预设的最小系统融合指标的所述入库实例。

8、可选的，所述根据所述入库实例的性能指标，计算相应所述入库实例的融合指标，包括：

9、根据所述当前cpu利用率、所述当前内存利用率、所述当前缓存列表长度以及所述当前读取行数的加权计算得到所述融合指标。

10、可选的，所述根据各个所述入库实例的融合指标和预先设置的期望融合指标确定扩容实例数量，包括：

11、根据所有所述实例的数量与第一目标比值之间的差值，确定扩容实例数量，其中，第一目标比值为所有所述入库实例的融合指标之和与所述期望融合指标的比值。

12、可选的，所述最大系统融合指标根据预设的最大cpu利用率、最大内存利用率、最大缓存列表长度以及最大读取行数计算得到；

13、所述方法，还包括：

14、在第一目标实例的数量大于第一预设阈值的情况下，若已无法扩容，则判断当前读取行数是否已达最小读取行数；

15、若未达最小读取行数，则调小所述当前读取行数；

16、若已达到最小读取行数，则调小所述最小读取行数。

17、可选的，所述根据各个所述入库实例的融合指标和预先设置的期望融合指标确定缩容实例数量，包括：

18、根据第一目标比值与所有所述实例的数量之间的差值，确定扩容实例数量，其中，第一目标比值为所有所述入库实例的融合指标之和与所述期望融合指标的比值。

19、可选的，所述最小系统融合指标根据预设的最小cpu利用率、最小内存利用率、最小缓存列表长度以及最小读取行数计算得到；

20、所述方法还包括：在所有所述入库实例中的第二目标实例的数量大于第二预设阈值的情况下，若已无法缩容，则判断当前读取行数是否已达预设的最大读取行数，如果未达到最大读取行数则调大当前读取行数，否则调大所述最大读取行数。

21、可选的，所述方法还包括：

22、步骤s1，按文件大小将各个文件分成多个队列；

23、步骤s2，按预设的各个队列的文件数比值，从各个队列中获取相应数量的文件；

24、步骤s3，根据预设的各个队列的权重分值以及所述文件的数量，计算总分值；

25、步骤s4，在所述总分值达到预设阈值时，将提取的文件作为待解析文件提交至线程池，若所述总分值小于预设阈值，则根据所述文件数比值提取各个队列余下的文件，并执行步骤s3；

26、重复步骤s2～s4直至队列的文件提取完毕。

27、本公开的第一方面，提供了一种文件数据入库的处理装置，包括：

28、获取模块，用于获取各个入库实例的性能指标，所述性能指标包括当前cpu利用率、当前内存利用率、当前缓存列表长度以及当前读取行数；

29、计算模块，用于根据所述入库实例的性能指标，计算相应所述入库实例的融合指标；

30、执行模块，用于在第一目标实例的数量大于第一预设阈值的情况下，根据各个所述入库实例的融合指标和预设的期望系统融合指标确定扩容实例数量，根据所述扩容实例数量执行扩容操作，其中，所述第一目标实例为融合指标大于预设的最大系统融合指标的所述入库实例；和/或，在第二目标实例的数量大于第二预设阈值的情况下，根据各个所述入库实例的融合指标和预先设置的期望融合指标确定缩容实例数量，根据所述缩容实例数量执行缩容操作，其中，所述第二目标实例为所述入库实例的融合指标小于预设的最小系统融合指标的所述入库实例。

31、本公开的第三方面，提供了一种电子设备，包括：

32、处理器；以及

33、存储程序的存储器，

34、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述任一项所述的方法。

35、本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据上述中任一项所述的方法。

36、本申请实施例中提供的一个或多个技术方案，可以利用根据性能指标计算相应实例的融合指标，利用融合指标和预设的期望系统融合指标确定缩扩容实例数量，根据缩扩容实例数量执行缩扩容操作，其中，性能指标包含了当前缓存列表长度以及当前读取行数，使得缩扩容实例数量更与实际情况所需的相匹配，根据该缩扩容实例数量执行扩缩容之后，可以兼顾文件数据入库效率和文件数据入库资源占用。

技术特征：

1.一种文件数据入库的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述入库实例的性能指标，计算相应所述入库实例的融合指标，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据各个所述入库实例的融合指标和预先设置的期望融合指标确定扩容实例数量，包括：

4.根据权利要求1所述的方法，其特征在于，所述最大系统融合指标根据预设的最大cpu利用率、最大内存利用率、最大缓存列表长度以及最大读取行数计算得到；

5.根据权利要求1所述的方法，其特征在于，所述根据各个所述入库实例的融合指标和预先设置的期望融合指标确定缩容实例数量，包括：

6.根据权利要求1所述的方法，其特征在于，所述最小系统融合指标根据预设的最小cpu利用率、最小内存利用率、最小缓存列表长度以及最小读取行数计算得到；

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种文件数据入库的处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种文件数据入库的处理方法、装置、电子设备和存储介质，属于数据库领域。方法包括：获取各个入库实例的性能指标，性能指标包括当前CPU利用率、当前内存利用率、当前缓存列表长度以及当前读取行数；根据入库实例的性能指标，计算相应入库实例的融合指标；在第一目标实例的数量大于第一预设阈值的情况下，根据各个入库实例的融合指标和预设的期望系统融合指标确定扩容实例数量，在第二目标实例的数量大于第二预设阈值的情况下，根据各个入库实例的融合指标和预先设置的期望融合指标确定缩容实例数量，根据扩缩容实例数量执行扩缩容操作。实施本公开的技术方案可以提升扩缩容效率，兼顾文件数据入库效率和文件数据入库资源占用。

技术研发人员：欧阳真,康雷,郭沛,刘炀,黄洪浩
受保护的技术使用者：中移物联网有限公司
技术研发日：
技术公布日：2024/10/21