一种高并发时序数据处理方法与流程

本发明属于火灾监测领域，涉及高并发数据处理技术，具体是一种高并发时序数据处理方法。

背景技术：

1、在火灾监测领域中，火灾监测需要实时、准确地处理大量来自不同监测点的时序数据，以便及时发现火情并做出预警。高并发的处理能力能够确保系统在高负载情况下依然能够稳定运行，不遗漏任何一条重要的火灾监测信息。这对于提高火灾防控的效率，减少火灾带来的损失具有至关重要的作用。因此，在火灾监测领域，采用高效的高并发时序数据处理方法，是确保系统稳定性和检测结果可靠性的关键。

2、现有数据处理方法大多依赖于单线程处理，在面对大规模并发场景时，处理能力会受到严重限制，导致数据处理速度无法满足需求。为了提高处理能力，一些系统采用了多线程处理方法。然而在高并发的环境下，大量的数据源源不断地涌入系统，各个线程同时对这些数据进行处理，由于线程的执行是并发进行的，它们之间缺乏有效的协调机制来确保数据按照严格的时间顺序进行处理，因此会导致数据处理顺序性难以保证。例如，不同线程可能会同时处理具有相近时间戳的数据，但由于操作系统的调度策略和线程执行的不确定性，这些数据在处理完成后的输出顺序可能与它们的原始时间顺序不一致。这对于那些对时序性要求严格的应用场景，如火灾实时监控系统等，会带来严重的影响。

3、其次，虽然多线程处理旨在提高整体的处理能力，但在实际运行中，可能会出现负载不均衡的情况。一些线程可能会因为分配到了大量复杂的任务或者频繁访问共享资源而导致负载过重，而其他线程则可能处于相对空闲的状态。这种负载不均衡不仅会降低系统的整体处理效率，还可能导致部分线程因长时间高负载运行而出现性能下降甚至崩溃的情况。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种高并发时序数据处理方法，用于解决火灾监测领域中，高并发时序数据处理的顺序性难以保证以及负载不均衡的问题。

2、为实现上述目的，本发明提供了一种高并发时序数据处理方法，包括：

3、s1，为若干tpc终端分配唯一标识符，得到若干通信标识；

4、s2，在云端部署若干边缘计算节点，根据tpc终端的数量设置若干初始计算组，并在若干边缘计算节点上开启若干线程，基于若干线程构建线程池，得到若干初始计算组的线程池；

5、s3，遍历若干初始计算组，获取每个初始计算组的线程id，基于线程id和若干通信标识构建哈希表，得到线程池、哈希表与计算组一一对应的若干计算组；

6、s4，确定当前计算组，并对若干tpc终端的高并发时序数据进行加密后，传输至当前计算组中进行解密，得到解密数据；

7、s5，利用当前计算组的线程池接收解密数据，并根据当前计算组的哈希表，将解密数据传输至对应线程中进行处理，得到若干线程处理后的数据；

8、s6，判断当前计算组中若干边缘计算节点的cpu使用率是否等于预设阈值；是，则遍历下一个计算组，并标记为当前计算组，并重复s4-s6；否，则将若干线程处理后的数据加密传输至对应用户端。

9、基于以上技术流程，通过为tpc终端分配唯一标识符并在云端部署边缘计算节点形成若干初始计算组，同时在每个计算组内开启线程构建线程池，并通过哈希函数将线程池和通信标识进行一一对应，得到了能够保证数据处理顺序和处理效率的高并发时序处理方法；此外，该方法还采用数据加密技术确保数据传输的安全性，并根据边缘计算节点的cpu的使用率动态调整计算组的处理任务，以实现负载均衡，增加了高并发时序数据处理方法的高效性、安全性和可靠性，并提高了资源的利用率和数据处理的连续性。

10、进一步地，所述为若干tpc终端分配唯一标识符，包括：

11、s11，通过网络管理协议获取若干tpc终端的mac地址，得到若干mac地址；

12、s12，提取若干mac地址的预设个数的十六进制数并进行拼接，得到若干唯一标识符。

13、进一步地，所述根据tpc终端的数量设置若干初始计算组，包括：

14、s2-11，初始化一个初始计算组，标记为当前初始计算组；

15、s2-12，遍历若干边缘计算节点，计算当前节点的cpu核数与预设单位线程数的乘积，得到支持线程数；

16、s2-13，将当前计算节点归入当前初始计算组中，根据支持线程数累计当前初始计算组中的线程数；

17、s2-14，判断当前初始计算组中的线程数是否大于或等于所需线程数；是，则得到一个初始计算组，并跳转至s2-16；否，则跳转至s2-15；

18、s2-15，判断是否存在下一个计算节点；是，则将下一个计算节点标记为当前节点，跳转至s2-12；否，则关闭当前计算组，得到若干初始计算组；

19、s2-16，判断是否存在下一个计算节点；是，则将下一个计算节点标记为当前节点，并跳转至s2-11；否，则得到若干初始计算组。

20、进一步地，所述基于若干线程构建若干线程池，包括：

21、s2-21，遍历若干计算组，在当前计算组内开启与所需线程数相同的若干线程，得到当前计算组的若干线程；

22、s2-22，利用线程池框架构建线程池，并将当前计算组的若干线程放入线程池中，得到一个线程池；

23、s2-23，将下一计算组标记为当前计算组，重复s2-21至s2-23，直至完成遍历，得到若干线程池。

24、初始计算组的设置为实现负载均衡提供了重要的基础。通过根据tpc终端的数量和边缘计算节点的能力进行分组，可以确保每个计算组都拥有足够的处理能力来应对分配给它的数据处理任务，避免了资源的浪费和过载，提高了整体的处理效率。

25、进一步地，所述基于线程id和若干通信标识构建哈希表，包括：

26、s3-1，初始化一个哈希表；其中哈希表中的值为线程id，范围在[0,n-1]，n表示tpc终端的数量；

27、s3-2，将若干通信标识进行哈希运算，得到若干初始哈希值；

28、s3-3，将若干初始哈希值进行与运算和取模运算，得到映射范围为[0,n-1]的若干哈希值；

29、s3-4，将若干哈希值标记为键，存入哈希表中，得到通信标识与线程一一对应的哈希表。

30、利用与运算和取模运算构建哈希表，将通信标识与线程一一对应起来，是因为在高并发情况下，不同tpc终端的数据会以极快的速度涌入系统，通过哈希表，能够根据通信标识快速确定数据应该分配到哪个线程进行处理，保证了每个终端的数据都能准确地找到对应的处理路径。

31、进一步地，所述对若干tpc终端的高并发时序数据进行加密，包括：

32、s4-11，遍历若干tpc终端，将当前tpc终端的数据按照预设字符数进行分割，得到带有时间戳的若干分包；

33、s4-12，根据当前tpc终端的通信标识符、若干分包的时间戳以及若干分包在当前tpc终端的数据中位置生成包id，得到若干分包的包id；

34、s4-13，将当前tpc终端的若干分包进行乱序排列，并利用aes算法对乱序排列后的若干分包进行加密，得到当前tpc终端加密后的高并发时序数据；

35、s4-14，将下一tpc终端标记为当前tpc终端，重复s4-1至s4-4，直至完成遍历，得到若干加密后的高并发时序数据。

36、遍历tpc终端，按预设字符数分割数据得带时间戳的分包；根据终端通信标识符、分包时间戳及位置生成包id；乱序分包并用aes算法加密，得到当前终端加密数据；标记下一个终端重复操作，直至遍历完所有终端得到若干加密后的高并发时序数据。

37、进一步地，所述传输至当前计算组中进行解密，包括：

38、s4-21，利用aes算法对加密后的若干数据进行解密，得到若干分包；

39、s4-22，获取若干分包的包id，根据包id对若干分包进行重新排序，得到若干tpc终端的高并发时序数据。

40、在高并发环境下，大量的数据在网络中传输，这些数据可能包含敏感信息。因此根据预设字符数对高并发时序数据进行分割处理，得到若干数据包，再对若干数据包进行aes加密后再乱序传输至云端，增加了数据传输的安全性和随机性，确保了时序数据的完整性。

41、进一步地，所述将解密数据传输至对应线程中进行处理，包括：

42、s5-11，为当前计算组中的每个边缘计算节点上各部署一个火灾监测模型，得到若干边缘计算节点的共享模型；其中，火灾监测模型基于机器学习算法构建；

43、s5-12，获取当前线程接收到的高并发时序数据，包括tpc终端的通信标识符、时间戳、烟雾浓度、温度、火焰探测情况以及气体浓度；其中火焰探测情况用(0，1)表示，0表示未探测到火焰，1表示存在火焰；

44、s5-13，将同一时间戳的烟雾浓度、温度、火焰探测情况以及气体浓度输入至当前边缘计算节点的共享模型，得到火灾预测等级；

45、s5-14，将当前线程接收到的高并发时序数据以及火灾预测等级共同输出，得到当前线程处理后的数据。

46、进一步地，所述火灾监测模型基于机器学习算法构建，包括：

47、s5-111，根据若干次火灾记录数据，获得若干烟雾浓度、温度、火焰探测情况、气体浓度以及火灾等级数据，并整理为数据集；

48、s5-112，利用机器学习算法构建神经网络模型，将数据集输入至神经网络模型中进行训练与验证，根据验证结果进行迭代优化；

49、s5-113，保存验证精度最高的神经网络模型，得到输入为烟雾浓度、温度、火焰探测情况、气体浓度，输出为火灾预测等级的火灾监测模型。

50、进一步地，所述将若干线程处理后的数据加密传输至对应用户端，包括：

51、s5-21，获取与当前线程对应的tpc终端的通信标识符，得到当前通信标识符；

52、s5-22，从用户数据库中筛选得到与当前通信标识符匹配的用户id；其中用户数据库部署在云端，包含用户id、用户端地址以及通信标识符；

53、s5-23，根据用户id将当前线程处理后的数据加密后传输至对应用户端。

54、与现有技术相比，本发明的有益效果是：

55、通过为tpc终端分配唯一通信标识符，并利用自定义哈希函数将通信标识符映射为与线程一一对应的唯一数字，确保每个终端的数据都能够被正确追踪，并按照时间顺序进行处理和传输，保证了数据处理的顺序性和时序性；

56、通过在云端部署边缘计算节点，并划分为若干计算组，以计算组为单位处理高并发数据，有效防止某个计算节点因负载过重导致的任务终止和处理效率降低的问题，确保了数据处理的连续性和稳定性；

57、通过对高并发时序数据进行分包处理，采用aes加密算法和数据包的乱序传输，实现双重加密保障，提高了数据在网络传输过程中的安全性。