一种大量数据上传调用的处理方法、设备及存储介质与流程

本申请涉及数据存储，尤其涉及一种大量数据上传调用的处理方法、设备及存储介质。

背景技术：

1、在大数据时代，随着数据量的飞速增长，许多应用需要处理大量数据的存储和查询。在大量数据存储时，因请求数据量巨大造成系统压力的同时容易出现重复数据。现有的异常数据处理方式中，在大量数据处理完成过后，在缓存系统中存储了大量冗余的数据，占用了额外的存储资源，并导致缓存系统的性能下降。此外，现有的异常数据处理的方式容错率低，如出现误删等情况，也会造成数据丢失，进而导致系统异常。

技术实现思路

1、本申请实施例提供了一种大量数据上传调用的处理方法、设备及存储介质，解决了大量数据存储时数据丢失和缓存冗余的技术问题。

2、第一方面，本申请实施例提供了一种大量数据上传调用的处理方法，方法包括：根据预设的数据字段模型，对数据中的空数据进行过滤，得到非空数据；其中，空数据为数据中存在数据字段模型的空数据字段；将非空数据输入预设的数据重复模型，判断非空数据中是否存在重复数据，并根据判断结果得到待存入数据；将待存入数据输入数据缓存中，并根据预设的定时任务进行数据缓存清理；其中，定时任务为在预设周期下清理数据缓存；基于数据，更新数据字段模型和数据重复模型。

3、在本申请的一种实现方式中，根据预设的数据字段模型，对数据中的空数据进行过滤，得到非空数据，具体包括：基于数据字段模型，确定空数据字段；根据空数据字段，在数据中筛选对应的数据，得到空数据集；将空数据集删除，并保留剩余数据得到非空数据。

4、在本申请的一种实现方式中，根据判断结果得到待存入数据，具体包括：在非空数据中存在重复数据的情况下，通过选取重复数据集中的一个数据为保留数据，删除其余数据；基于保留数据，得到待存入数据；在非空数据中不存在重复数据的情况下，确定非空数据为待存入数据。

5、在本申请的一种实现方式中，将待存入数据输入数据缓存中，并根据预设的定时任务进行数据缓存清理，具体包括：将待存入数据输入redis缓存中，得到缓存数据；根据redis缓存的性能，确定定时任务；基于定时任务，对redis缓存中的数据进行数据缓存清理。

6、在本申请的一种实现方式中，根据redis缓存的性能，确定定时任务，具体包括：基于redis缓存的工作状态，确定redis缓存的当前性能；根据预设的性能要求，确定redis缓存的工作性能；在redis缓存的当前性能不小于redis缓存的工作性能的条件下，不进行数据缓存清理；在redis缓存的当前性能小于redis缓存的工作性能的条件下，确定上一次数据缓存清理到redis缓存的当前性能的清理时间；基于清理时间，以确定定时任务。

7、在本申请的一种实现方式中，在将非空数据输入预设的数据重复模型，判断非空数据中是否存在重复数据之前，方法还包括：将非空数据输入备用表中；其中，备用表用于存储并备份所有非空数据；基于备用表，判断待存入数据中是否存在误判；在待存入数据中存在误判的条件下，将误判的数据输入redis缓存，并标记该数据为误判时间的对应数据批次；基于数据批次，将误判的数据恢复至对应的数据批次数据中；在待存入数据中不存在误判的条件下，存储并备份非空数据。

8、在本申请的一种实现方式中，在根据判断结果得到待存入数据之后，方法还包括：将待存入数据输入数据表中，并按时间顺序进行排列，得到调用数据表；基于调用数据表，渲染待存入数据，得到调用数据界面。

9、在本申请的一种实现方式中，基于数据，更新数据字段模型和数据重复模型，具体包括：基于数据中的空数据对应的字段，更新数据字段模型的空数据字段储备；基于非空数据中的重复数据，更新数据重复模型的判断逻辑；其中，判断逻辑为基于非空数据，确定重复数据是否存在。

10、第二方面，本申请实施例还提供了一种大量数据上传调用的处理设备，其特征在于，设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：根据预设的数据字段模型，对数据中的空数据进行过滤，得到非空数据；其中，空数据为数据中存在数据字段模型的空数据字段；将非空数据输入预设的数据重复模型，判断非空数据中是否存在重复数据，并根据判断结果得到待存入数据；将待存入数据输入数据缓存中，并根据预设的定时任务进行数据缓存清理；其中，定时任务为在预设周期下清理数据缓存；基于数据，更新数据字段模型和数据重复模型。

11、第三方面，本申请实施例还提供了一种大量数据上传调用处理方法的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，计算机可执行指令设置为：根据预设的数据字段模型，对数据中的空数据进行过滤，得到非空数据；其中，空数据为数据中存在数据字段模型的空数据字段；将非空数据输入预设的数据重复模型，判断非空数据中是否存在重复数据，并根据判断结果得到待存入数据；将待存入数据输入数据缓存中，并根据预设的定时任务进行数据缓存清理；其中，定时任务为在预设周期下清理数据缓存；基于数据，更新数据字段模型和数据重复模型。

12、本申请实施例提供了一种大量数据上传调用的处理方法、设备及存储介质，通过缓存定时清理、数据备份和数据判断模型解决了大量数据存储时数据丢失和缓存冗余的技术问题；具有泛用性强、数据可视化和强稳定性的技术效果。

技术特征：

1.一种大量数据上传调用的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种大量数据上传调用的处理方法，其特征在于，根据预设的数据字段模型，对数据中的空数据进行过滤，得到非空数据，具体包括：

3.根据权利要求1所述的一种大量数据上传调用的处理方法，其特征在于，根据判断结果得到待存入数据，具体包括：

4.根据权利要求1所述的一种大量数据上传调用的处理方法，其特征在于，将所述待存入数据输入数据缓存中，并根据预设的定时任务进行数据缓存清理，具体包括：

5.根据权利要求4所述的一种大量数据上传调用的处理方法，其特征在于，根据所述redis缓存的性能，确定所述定时任务，具体包括：

6.根据权利要求1所述的一种大量数据上传调用的处理方法，其特征在于，在将所述非空数据输入预设的数据重复模型，判断所述非空数据中是否存在重复数据之前，所述方法还包括：

7.根据权利要求1所述的一种大量数据上传调用的处理方法，其特征在于，在根据判断结果得到待存入数据之后，所述方法还包括：

8.根据权利要求1所述的一种大量数据上传调用的处理方法，其特征在于，基于所述数据，更新所述数据字段模型和所述数据重复模型，具体包括：

9.一种大量数据上传调用的处理设备，其特征在于，所述设备包括：

10.一种大量数据上传调用处理方法的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

技术总结
本申请公开了一种大量数据上传调用的处理方法、设备及存储介质，方法包括：根据预设的数据字段模型，对数据中的空数据进行过滤，得到非空数据；其中，空数据为数据中存在数据字段模型的空数据字段；将非空数据输入预设的数据重复模型，判断非空数据中是否存在重复数据，并根据判断结果得到待存入数据；将待存入数据输入数据缓存中，并根据预设的定时任务进行数据缓存清理；其中，定时任务为在预设周期下清理数据缓存；基于数据，更新数据字段模型和数据重复模型；通过缓存定时清理、数据备份和数据判断模型解决了大量数据存储时数据丢失和缓存冗余的技术问题；具有泛用性强、数据可视化和强稳定性的技术效果。

技术研发人员：陈云志,肖雪,商广勇,罗涛,刘大庆
受保护的技术使用者：浪潮云洲工业互联网有限公司
技术研发日：
技术公布日：2024/2/25