一种基于5G通信的智能化数据管理系统及方法与流程

本发明涉及人工智能，具体为一种基于5g通信的智能化数据管理系统及方法。

背景技术：

1、随着科技的不断发展和5g通信技术的普及，企业越来越依赖于电子设备来提升生产效率。电子设备的广泛应用带来了大量的运行数据，这些数据包括设备状态、性能指标和使用情况等。通过对这些数据进行分析和管理，可以有效提升设备的运行效率和安全性。然而，传统的数据管理方法存在诸多不足，难以满足现代企业对数据高效的需求。

2、传统的数据收集方法往往依赖于有线网络或低速无线网络，数据传输延迟较大，无法实现实时数据收集。现有的数据处理系统通常采用单一的数据处理算法，处理效率较低，难以应对大规模数据处理的需求。传统的关联分析方法简单，无法准确捕捉设备之间复杂的关联关系，导致关联分析结果不准确。现有系统缺乏智能化的数据管理手段，无法根据设备的重要程度进行优先级和安全级别的智能设定。

技术实现思路

1、本发明的目的在于提供一种基于5g通信的智能化数据管理系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种基于5g通信的智能化数据管理方法，所述方法包括的步骤如下：

4、s100、通过5g网络实时收集公司所有电子设备的运行数据，所述运行数据包括设备状态、性能指标和使用情况，对运行数据进行预处理，将预处理后的运行数据整合为电子设备数据集；

5、s200、根据电子设备数据集，基于数据通信频率和数据内容的相似性，使用k-means算法和apriori算法分析公司各电子设备之间的关联情况；将电子设备及其关联关系表示为图结构，得到设备之间的关联参数；

6、s300、根据关联参数按照关联性的广度和强度降序排列，形成电子设备的重要程度序列，使用lasso回归算法去除电子设备中的冗余参数，保留关键参数；根据电子设备的重要程度序列，为每个设备设置数据管理优先级和安全级别，使重要设备得到更高优先级的管理和更高等级的安全保护；

7、s400、使用孤立森林算法实时监测电子设备数据，检测数据中的异常情况，当某个电子设备数据出现错误时，按照电子设备的重要程度序列的优先级，检查与之关联的其他设备的该数据是否存在错误；如果关联设备的该数据无错误，则用正确的数据覆盖错误数据；如果所有关联设备的该数据都存在错误，则利用含有该错误数据的电子设备的其余正确数据，通过卷积神经网络进行推导，进行数据修复。

8、根据步骤s100，所述电子设备集成5g通信模块，在传输前使用ssl/tls加密协议对数据进行加密，使用mqtt协议作为数据传输协议进行传输；使用阿里云作为数据接收和存储中心，部署负载均衡器；设计数据接收api接口，实现数据写入操作，使用kafka作为消息队列缓冲和分发实时数据；在数据接收和存储中心对接收到的数据进行清洗，去除无效数据和重复数据，将数据转换为统一的格式；将预处理后的数据存储到postgresql数据库中，对数据进行分类和标签化处理，将预处理后的运行数据整合为电子设备数据集。

9、根据步骤s200，计算每对电子设备之间的数据通信频率，通信频率越高，表示两设备之间的关联性越高，通过统计一段时间内每对设备之间的通信次数和通信数据量，加权计算得到数据通信频率；分析设备状态、性能指标和使用情况的数据内容，计算其相似性；比较不同设备的状态变化模式得到状态相似性，比较不同设备的性能指标得到性能指标相似性，比较设备的使用模式得到使用情况相似性；

10、使用k-means算法，将设备根据其特征分组，得到具有相似通信频率和内容特征的设备集群；使用apriori算法，挖掘设备之间的关联模式，找到设备组合和关联规则；结合通信频率特征和内容相似性特征，构建综合特征向量，每个设备用一个特征向量表示；

11、使用k-means算法对特征向量进行聚类分析时，随机初始化若干个聚类中心，计算每个设备到聚类中心的距离，将设备分配到最近的聚类中心，更新聚类中心的位置，直到聚类结果收敛；聚类结果反映了设备之间的相似性和关联性，相同聚类中的设备之间具有较高的关联性；

12、使用apriori算法迭代地生成频繁项目集，计算每对设备出现的频率，生成关联规则，评估规则的支持度和置信度；筛选出具有最高支持度和置信度的关联规则。

13、根据步骤s200，每个电子设备被表示为一个节点，每个节点包含设备的基本信息和特征；边表示设备之间的关联关系，边的权重表示设备之间关联的强度；边的方向允许是有向边和无向边，其中有向边表示单向关联，无向边表示双向关联；创建一个包含所有电子设备节点的列表，初始化一个空的边列表，用于存储设备之间的关联关系；统计每对设备之间的数据通信频率，频率越高，关联越强；比较设备状态、性能指标和使用情况的数据内容，计算其相似性，相似度越高，关联越强；根据计算的关联性，决定是否在节点之间添加边以及边的权重，如果两设备之间的关联性超过某个阈值，则在两设备之间添加一条边，并赋予权重；

14、计算设备之间的关联参数，使用gephi将图结构进行可视化，展示电子设备及其关联关系；定期重新计算设备之间的关联参数，使得图结构反映最新的设备关联情况；添加新设备或移除故障设备时，更新图结构中的节点和边。

15、所述设备之间的关联参数包括节点度数、边权重、邻接矩阵、节点的聚类系数、最短路径和节点中心性；其中，节点度数是与该节点直接相连的边的数量，反映了设备的直接关联数量，节点度数越高，设备的关联性越广；边权重表示设备之间关联的强度，边权重越大，表示设备之间的关联越强，边权重基于通信频率和内容相似性进行综合计算；邻接矩阵是一个方阵，矩阵的元素表示节点之间的关联关系，元素值可以是0或权重值，0表示无关联，有权重值表示有关联，邻接矩阵用于查询设备之间的直接关联情况；节点的聚类系数表示一个节点及其邻居节点之间实际存在的边的数量与可能存在边的数量之比，聚类系数反映了设备在局部网络中的密集程度，系数越高，表示设备所在局部网络的关联性越强；最短路径是连接两个节点的路径中权重最小的路径，最短路径用于衡量设备之间的间接关联，路径越短，设备之间的间接关联越强；节点中心性是衡量节点在整个网络中的重要性，通过度中心性、接近中心性和介数中心性计算。

16、根据步骤s300，对每个电子设备，根据其关联参数的广度和强度计算综合重要性评分，将每个参数的重要程度加权求和，得到每个设备的综合重要性评分；将所有电子设备按综合重要性评分进行降序排列，形成电子设备的重要程度序列；

17、将设备的重要性评分作为自变量，将其他业务相关的目标变量作为因变量，构建数据集；对数据进行标准化处理，确保所有参数的数值范围一致，将数据集划分为训练集和测试集；使用lasso回归算法进行模型训练，通过在损失函数中加入绝对值正则项，使某些参数的系数趋向于零，从而实现参数选择和降维；训练过程中，lasso回归会逐步减少不重要参数的系数值，将其降为零，以去除冗余参数；训练完成后，查看模型中各参数的系数值，保留系数值不为零的参数，作为对目标变量影响较大的关键参数；被降为零的参数即为冗余参数，进行去除；使用测试集评估模型性能，根据模型评估结果，调整和优化参数选择。

18、根据步骤s300，数据管理优先级分为高、中和低三个级别，其中，高优先级需要最实时和最频繁的数据采集和处理，中优先级需要定期的数据采集和处理，低优先级进行批量数据采集和处理；安全级别分为高、中和低三个级别，高安全级别需要最高级别的安全保护，包括加密传输、存储加密、访问控制、实时监控和异常检测，中安全级别需要中级别的安全保护，包括加密传输、存储加密、定期安全审计和异常检测，低安全级别需要基本的安全保护，包括加密传输、访问控制和异常检测；

19、加密传输是指在数据传输过程中使用加密技术保护数据的机密性和完整性，通过使用tls传输层安全或ssl安全套接字层协议对数据进行加密，确保在传输过程中数据不会被未经授权的第三方窃取或篡改。存储加密是指对存储在硬盘、数据库等存储介质上的数据进行加密保护，使用aes加密算法对数据进行加密存储，确保即使存储介质被盗或被非法访问，数据仍然是不可读的。访问控制是指通过权限管理控制用户和系统对数据和资源的访问，设置角色和权限，确保只有经过授权的用户和系统才能访问特定数据和资源，防止未经授权的访问。实时监控是指对系统和数据进行持续、实时的监控，以及时发现和响应异常情况，部署监控系统，实时采集和分析系统日志、性能指标和其他数据，及时发现和报警异常情况。异常检测是指通过算法和规则识别系统和数据中的异常情况，在本发明中使用孤独森林算法。定期安全审计是指定期检查和评估系统和数据的安全状况，确保符合安全要求，定期执行安全扫描、漏洞评估、权限审计和合规检查，生成安全报告，并根据发现的问题采取相应的补救措施。

20、按照电子设备的重要程度序列，将设备划分为不同的数据管理优先级和安全级别，将前a%的设备分配为高优先级，将中间b%的设备分配为中优先级，将后c%的设备分配为低优先级，其中a、b和c都是用户定义的正整数。

21、根据步骤s400，使用历史数据训练孤立森林模型，学习正常数据的模式和特征；训练数据包括电子设备的运行状态、性能指标和使用情况的数据；将训练好的孤立森林模型部署到实时监控系统中，通过5g网络实时收集电子设备的数据，并输入到孤立森林模型中进行分析；实时监控系统持续分析电子设备的数据，孤立森林模型将每个数据点进行评分，当某个设备的数据分数超过预设阈值时，系统判定该设备数据存在异常，并触发异常处理流程；

22、根据关键电子设备的重要程度序列，将设备按照重要性优先级进行排序；当某个电子设备的数据被检测为异常时，系统首先记录该设备的异常情况，系统根据电子设备的重要程度序列，优先检查与该异常设备直接关联的其他关键设备的数据；系统检查与异常设备直接关联的高优先级设备的数据，确定是否存在类似的异常情况，如果高优先级设备数据正常，则将其数据用于修复异常设备的数据；如果高优先级关联设备的数据也存在异常，系统继续检查与异常设备关联的中优先级设备的数据，如果中优先级设备数据正常，则将其数据用于修复异常设备的数据；如果中优先级关联设备的数据也存在异常，系统最后检查与异常设备关联的低优先级设备的数据，如果低优先级设备数据正常，则将其数据用于修复异常设备的数据。

23、根据步骤s400，将收集到的电子设备的其余正确数据分为训练数据和验证数据，训练数据用于训练卷积神经网络，验证数据用于评估模型的准确性；设计卷积神经网络结构，网络结构包括输入层、若干卷积层、池化层、全连接层和输出层；使用准备好的训练数据训练卷积神经网络，通过不断调整网络参数和结构，优化模型的准确性和泛化能力；在训练过程中，使用验证数据评估模型性能，防止过拟合；训练完成后，将异常设备的数据输入训练好的卷积神经网络模型，模型根据其余正常数据推导出正确的数据，将推导出的正确数据用于覆盖和修复异常设备的数据；

24、修复完成后，系统重新评估修复后的数据，若发现修复后的数据仍有问题，需要调整模型重新训练。

25、一种基于5g通信的智能化数据管理系统，包括：

26、数据收集与预处理模块：包括：数据收集单元、数据预处理单元和数据集成单元；其中，数据收集单元负责通过5g网络实时收集公司所有电子设备的运行数据，所述运行数据包括设备状态、性能指标和使用情况，数据预处理单元负责对运行数据进行预处理，数据集成单元负责将预处理后的运行数据整合为电子设备数据集；

27、设备关联分析模块：包括：关联分析单元和图结构构建单元；其中，关联分析单元负责根据电子设备数据集，基于数据通信频率和数据内容的相似性，使用k-means算法和apriori算法分析公司各电子设备之间的关联情况，图结构构建单元负责将电子设备及其关联关系表示为图结构，得到设备之间的关联参数；

28、级别设定模块：包括：关联参数排序单元、冗余参数去除单元和优先级与安全级别设定单元；其中，关联参数排序单元根据关联参数按照关联性的广度和强度降序排列，形成电子设备的重要程度序列，冗余参数去除单元使用lasso回归算法去除电子设备中的冗余参数，保留关键参数，优先级与安全级别设定单元根据电子设备的重要程度序列，为每个设备设置数据管理优先级和安全级别，使重要设备得到更高优先级的管理和更高等级的安全保护；

29、异常检测与数据修复模块：包括：异常检测单元、关联设备检查单元和数据覆盖与修复单元；其中，异常检测单元使用孤立森林算法实时监测电子设备数据，检测数据中的异常情况，当某个电子设备数据出现错误时，按照电子设备的重要程度序列的优先级，关联设备检查单元负责检查与之关联的其他设备的该数据是否存在错误，数据覆盖与修复单元负责数据的覆盖与修复，如果关联设备的该数据无错误，则用正确的数据覆盖错误数据，如果所有关联设备的该数据都存在错误，则利用含有该错误数据的电子设备的其余正确数据，通过卷积神经网络进行推导，进行数据修复。

30、与现有技术相比，本发明所达到的有益效果是：

31、本发明结合k-means算法和apriori算法，对电子设备之间的关联情况进行精确分析，构建设备之间的图结构，全面捕捉设备之间的复杂关联关系。

32、本发明根据关联参数的重要程度，使用lasso回归算法去除冗余参数，保留关键参数，智能设定设备的数据管理优先级和安全级别，确保重要设备得到更高优先级的管理和保护。

33、本发明使用孤立森林算法实时监测电子设备数据，检测数据中的异常情况。当发现异常时，优先检查关联设备的数据，通过关联设备的正确数据进行覆盖；若所有关联设备的数据都存在错误，利用卷积神经网络推导并修复数据，确保数据的完整性和可靠性。