对高频率数据的处理方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，具体而言，涉及一种对高频率数据的处理方法、装置、电子设备及存储介质。

背景技术：

1、目前的背景技术，高频率采集，对应的是高频率的数据转储，短时间内大量的数据，传统的方法是数据存储到文件中，包括数据库和文件系统中，由于频率过高，数据量大，造成的磁盘io过高，系统性能下降，最终导致采集系统不稳定或者精度下降，无法满足实际生产工艺的要求。

技术实现思路

1、本申请实施例的目的在于提供一种对高频率数据的处理方法、装置、电子设备及存储介质，解决了高频率数据产生的磁盘io过大，延迟过高的问题，为决策机构提供支撑。

2、第一方面，提供了一种对高频率数据的处理方法，该方法可以包括：

3、获取采集设备采集的生产车间中各生产设备执行生产任务产生的高频率的至少一个生产数据；

4、将所述至少一个生产数据存储在预先配置的高速缓存空间中，并对存储的生产数据分配相应索引和访问api权项；所述高速缓存空间是基于内存虚拟磁盘技术在内存中配置的；

5、将分配完索引和访问api权项的生产数据，通过vhd文件形式传输至物理机的大文件中；

6、在接收到针对所述大文件的数据访问请求后，在所述高速缓存空间中查找所述数据访问请求中待访问索引对应的待访问数据；若在所述高速缓存空间中未查找到所述待访问数据，则在所述大文件中查找所述待访问数据。

7、在一个可能的实现中，在接收到针对所述大文件的数据访问请求之前，所述方法还包括：

8、获取所述高速缓存空间中存储的生产数据的数据类型；

9、基于不同数据类型的历史生产数据的被访问记录，确定不同数据类型对应的被访问频率；

10、基于不同数据类型对应的被访问频率，对所述高速缓存空间中存储的生产数据进行冷热数据管理和老化管理。

11、在一个可能的实现中，所述高速缓存空间的虚拟内存大于32g。

12、在一个可能的实现中，将分配完索引和访问api权项的生产数据，通过vhd文件形式传输至物理机的大文件中，包括：

13、基于分配完索引和访问api权项的生产数据，生成vhd文件；

14、将所述vhd文件，按照预设时间间隔，通过vhd文件形式传输至物理机的大文件中。

15、在一个可能的实现中，所述vhd文件包括生产数据、生产数据的上传时间、数据上传状态和文件生成时间，其中，数据上传状态包括上传成功和上传失败；

16、将所述vhd文件，按照预设时间间隔，通过vhd文件形式传输至物理机的大文件中之后，所述方法包括：

17、重传第一类型的vhd文件中所述数据上传状态为上传失败的生产数据，所述第一类型的vhd文件的生成时间在第一时间段内；

18、将所述第一类型的vhd文件中重传成功的生产数据的数据上传状态修改为上传成功。

19、在一个可能的实现中，在获取采集设备发送的生产车间中各生产设备执行生产任务产生的高频率的至少一个生产数据时，所述方法还包括：

20、获取所述采集设备发送的至少一个生产数据中最后一个生产数据的当前发送带宽的初始传输速率；

21、根据所述当前发送带宽的对应的当前误码率，对所述至少一个生产数据的初始传输速率进行调整，得到发送所述至少一个生产数据的当前传输速率；

22、基于所述当前传输速率，向所述预先配置的高速缓存空间发送所述至少一个生产数据。

23、第二方面，提供了一种对高频率数据的处理装置，该装置可以包括：

24、获取单元，用于获取采集设备采集的生产车间中各生产设备执行生产任务产生的高频率的至少一个生产数据；

25、存储单元，用于将所述至少一个生产数据存储在预先配置的高速缓存空间中；所述高速缓存空间是基于内存虚拟磁盘技术在内存中配置的；

26、分配单元，用于对存储的生产数据分配相应索引和访问api权项；

27、传输单元，用于将分配完索引和访问api权项的生产数据，通过vhd文件形式传输至物理机的大文件中；

28、查找单元，用于在接收到针对所述大文件的数据访问请求后，在所述高速缓存空间中查找所述数据访问请求中待访问索引对应的待访问数据；若在所述高速缓存空间中未查找到所述待访问数据，则在所述大文件中查找所述待访问数据。

29、第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

30、存储器，用于存放计算机程序；

31、处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的方法步骤。

32、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。

33、本申请实施例提供的对高频率数据的处理方法可以获取采集设备采集的生产车间中各生产设备执行生产任务产生的高频率的至少一个生产数据；将至少一个生产数据存储在预先配置的高速缓存空间中，并对存储的生产数据分配相应索引和访问api权项；高速缓存空间是基于内存虚拟磁盘技术在内存中配置的；将分配完索引和访问api权项的生产数据，通过vhd文件形式传输至物理机的大文件中；在接收到针对大文件的数据访问请求后，在高速缓存空间中查找数据访问请求中待访问索引对应的待访问数据；若在高速缓存空间中未查找到待访问数据，则在大文件中查找待访问数据。该方法解决了高频率数据产生的磁盘io过大，延迟过高的问题，为决策机构提供支撑。

技术特征：

1.一种对高频率数据的处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，在接收到针对所述大文件的数据访问请求之前，所述方法还包括：

3.如权利要求2所述的方法，其特征在于，所述高速缓存空间的虚拟内存大于32g。

4.如权利要求1所述的方法，其特征在于，将分配完索引和访问api权项的生产数据，通过vhd文件形式传输至物理机的大文件中，包括：

5.如权利要求1所述的方法，其特征在于，所述vhd文件包括生产数据、生产数据的上传时间、数据上传状态和文件生成时间，其中，数据上传状态包括上传成功和上传失败；

6.如权利要求1所述的方法，其特征在于，在获取采集设备发送的生产车间中各生产设备执行生产任务产生的高频率的至少一个生产数据时，所述方法还包括：

7.一种对高频率数据的处理装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法。

技术总结
本申请提供一种对高频率数据的处理方法、装置、电子设备及存储介质。该方法可以获取采集设备采集的生产车间中各生产设备执行生产任务产生的高频率的至少一个生产数据；将至少一个生产数据存储在预先配置的高速缓存空间中，并对存储的生产数据分配相应索引和访问API权项；将分配完索引和访问API权项的生产数据，通过VHD文件形式传输至物理机的大文件中；在接收到针对大文件的数据访问请求后，在高速缓存空间中查找数据访问请求中待访问索引对应的待访问数据；若在高速缓存空间中未查找到待访问数据，则在大文件中查找待访问数据。该方法解决了高频率数据产生的磁盘IO过大，延迟过高的问题，为决策机构提供支撑。

技术研发人员：江厚明,郭立焜,罗勍,彭建林
受保护的技术使用者：深圳市曼恩斯特科技股份有限公司
技术研发日：
技术公布日：2024/7/18