一种基于人工智能的公共数据资源整合方法及系统与流程

本发明涉及数据资源整合，具体为一种基于人工智能的公共数据资源整合方法及系统。

背景技术：

1、公共数据资源整合是指将来自不同渠道和来源的分散数据进行收集、筛选、分类和存储的过程，目的是为了统一管理和高效利用这些数据。这些数据通常来自政府、公共机构、社交媒体、开放数据库等，可能包含文本、图片、音频、视频等多种格式。

2、但是公共数据量庞大、数据分散，现有的整合技术难以对这种数据量庞大、数据分散的数据资源进行有效的管理。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于人工智能的公共数据资源整合方法及系统，解决了公共数据量庞大、数据分散且难以管理的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于人工智能的公共数据资源整合方法，包括以下步骤：获取公共资源数据，所述公共资源数据包括文本数据和图片数据；对公共资源数据进行筛选，获取待分类文本数据和待分类图片数据；基于数据库中存储的整合分类模型对公共资源数据进行整合分类后存储，所述整合分类模型包括文本数据整合分类模型和图片数据整合分类模型。

3、进一步地，获取待分类数据文本和待分类图片数据，包括以下步骤：判断获取的公共资源数据是否可保留，若不可保留则删除；对可保留的公共资源数据进行筛分，获得待分类文本数据和待分类图片数据。

4、进一步地，判断公共资源数据中的文本数据是否可保留，包括以下步骤：获取文本数据的字符长度；判断文本数据的字符长度是否大于数据库中存储的字符长度阈值：若文本数据的字符长度不大于数据库中存储的字符长度阈值，则该文本数据不可保留；若文本数据的字符长度大于数据库中存储的字符长度阈值，则获取该文本数据的特征数据，所述特征数据包括文本错误率和文本敏感词指数；基于特征数据判断文本数据是否可保留。

5、进一步地，所述基于特征数据判断文本数据是否可保留，包括以下步骤：获取数据库中存储的参定特征数据，所述参定特征数据包括参定文本错误率和参定文本敏感词指数；将特征数据和参定特征数据进行综合处理，获得文本符合度判断系数；判断文本符合度判断系数是否大于数据库中存储的文本符合度判断阈值：若文本符合度判断系数大于数据库中存储的文本符合度判断阈值，则该文本数据不可保留；若文本符合度判断系数不大于数据库中存储的文本符合度判断阈值，则该文本数据可保留。

6、进一步地，获得待分类文本数据，包括以下步骤：对可保留的文本数据进行相似度筛分，将可保留的文本数据划分为相似文本数据集和不相似文本数据集；对相似文本数据集进行二次筛选，保留每个相似文本数据集中的最优文本数据；将各个最优文本数据和不相似文本数据集组合构成待分类文本数据。

7、进一步地，保留每个相似文本数据集中的最优文本数据，包括以下步骤：获取文本评估参数，所述文本评估参数包括文本完整度、文本内容重复率和文本信息熵；获取数据库中存储的文本参定评估参数，所述文本参定评估参数包括文本参定完整度、文本参定内容重复率和文本参定信息熵；基于文本评估参数和文本参定评估参数获取相似文本数据集中的每个文本数据的最优评估指数；将最小的最优评估指数对应的文本数据输出为该相似文本数据集的最优文本数据。

8、进一步地，获取待分类图片数据，包括以下步骤：判断图片质量是否合格，若不合格则删除；对图片质量合格的图片数据进行筛选，获取待分类图片数据。

9、进一步地，所述判断图片质量是否合格，包括以下步骤：获取图片质量数据，所述图片质量数据包括清晰度、饱和度和失真率；获取数据库中存储的图片质量参定数据，所述图片质量参定数据包括参定清晰度、参定饱和度和参定失真率；将图片质量数据与图片质量参定数据进行融合，获得图片质量评估指数；若图片质量评估指数大于数据库中存储的图片质量评估阈值，则图片质量不合格；若图片质量评估指数不大于数据库中存储的图片质量评估阈值，则图片质量合格。

10、进一步地，所述对图片质量合格的图片数据进行筛选，获取待分类图片数据，包括以下步骤：对图片质量合格的图片数据进行相似度检测，判断是否存在相同图片；若不存在相同图片，则将所有图片质量合格的图片数据输出为待分类图片数据；若存在相同图片，则将相同图片中图片质量评估阈值最小的图片保留，删除其余相同图片后，输出保留的图片为待分类图片数据。

11、一种基于人工智能的公共数据资源整合系统，包括资源获取模块、筛选模块和整合分类模块，其中：所述资源获取模块用于获取公共资源数据，所述公共资源数据包括文本数据和图片数据；所述筛选模块用于对公共资源数据进行筛选，获取待分类数据文本和待分类图片数据；所述整合分类模块用于基于数据库中存储的整合分类模型对公共资源数据进行整合分类后存储，所述整合分类模型包括文本数据整合分类模型和图片数据整合分类模型。

12、本发明具有以下有益效果：

13、（1）、该基于人工智能的公共数据资源整合方法，面对海量的文本和图片数据，手动筛选和分类不仅费时费力，还容易出现人为错误。而通过ai自动化处理，大幅度提高了数据处理效率，确保高质量的数据被筛选、分类和存储，可以有效解决公共数据量庞大、数据分散且难以管理的问题。

14、（2）、该基于人工智能的公共数据资源整合方法，极大减少了人工干预，节省了时间和成本，通过智能化的分类模型，显著提高了数据分类的准确性，降低了错误率，能够确保数据合规性，自动过滤敏感信息，避免法律风险。最终，用户可以快速、精准地访问所需信息，提升决策和分析的效率。

15、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种基于人工智能的公共数据资源整合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于人工智能的公共数据资源整合方法，其特征在于，获取待分类数据文本和待分类图片数据，包括以下步骤：

3.根据权利要求2所述的一种基于人工智能的公共数据资源整合方法，其特征在于，判断公共资源数据中的文本数据是否可保留，包括以下步骤：

4.根据权利要求3所述的一种基于人工智能的公共数据资源整合方法，其特征在于，所述基于特征数据判断文本数据是否可保留，包括以下步骤：

5.根据权利要求4所述的一种基于人工智能的公共数据资源整合方法，其特征在于，获得待分类文本数据，包括以下步骤：

6.根据权利要求5所述的一种基于人工智能的公共数据资源整合方法，其特征在于，保留每个相似文本数据集中的最优文本数据，包括以下步骤：

7.根据权利要求2所述的一种基于人工智能的公共数据资源整合方法，其特征在于，获取待分类图片数据，包括以下步骤：

8.根据权利要求7所述的一种基于人工智能的公共数据资源整合方法，其特征在于，所述判断图片质量是否合格，包括以下步骤：

9.根据权利要求8所述的一种基于人工智能的公共数据资源整合方法，其特征在于，所述对图片质量合格的图片数据进行筛选，获取待分类图片数据，包括以下步骤：

10.一种基于人工智能的公共数据资源整合系统，其特征在于，包括资源获取模块、筛选模块和整合分类模块，其中：

技术总结
本发明公开了一种基于人工智能的公共数据资源整合方法及系统，涉及数据资源整合技术领域。该基于人工智能的公共数据资源整合方法，获取公共资源数据，所述公共资源数据包括文本数据和图片数据；对公共资源数据进行筛选，获取待分类文本数据和待分类图片数据；基于数据库中存储的整合分类模型对公共资源数据进行整合分类后存储，所述整合分类模型包括文本数据整合分类模型和图片数据整合分类模型，解决了公共数据量庞大、数据分散且难以管理的问题。

技术研发人员：张毅,陈明山,柯俊辉,陈炳钰,陈铭龙
受保护的技术使用者：福建省大数据集团泉州有限公司
技术研发日：
技术公布日：2024/12/10