一种基于大模型实现智能问数的方法及系统与流程

本发明涉及自然语言处理，具体为一种基于大模型实现智能问数的方法及系统。

背景技术：

1、随着大数据时代的到来以及人工智能技术的飞速进步，企业内部积累了大量的数据资源，但如何有效地提取、分析这些数据并将其转换为有价值的商业洞察成为了一个挑战。

2、传统的商业智能bi工具虽然可以提供数据可视化和基本的数据分析功能，但在处理非专业人员提出的复杂、多变的自然语言查询需求时存在局限性，用户往往需要具备一定的数据分析技能才能充分利用。

技术实现思路

1、本发明的目的在于提供一种基于大模型实现智能问数的方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于大模型实现智能问数的方法，所述方法包括以下步骤：

3、从多种数据源，包括数据库、数据仓库、web服务及excel文件，集成数据；

4、通过数据治理中心对数据进行清洗、转换、标准化和归一化处理，确保数据质量，为后续的智能问数分析提供基础数据支持。

5、优选的，还包括基于大模型的语义建模与知识图谱构建：

6、针对特定主题域，进行维度建模，构建汇总模型，并设置维度、指标、日期字段；

7、利用图数据库和向量数据库存储数据，通过构造<实体，关系，实体>形式的三元组集合，增强系统的语义理解能力，构建主题域下的知识图谱。

8、优选的，还包括基于大模型的智能问数规则解析与sql生成：

9、采用一套丰富的规则体系，对用户提问进行解析，提取关键元素如指标、维度、时间条件，并计算意图得分；

10、若意图得分高于预设阈值，则通过规则解析直接生成sql查询语句；否则，调用嵌入的基于transformer架构的大模型进行进一步处理，生成sql查询语句。

11、优选的，还包括基于大模型的智能问答引擎与数据处理：

12、部署一个或多个基于大模型的智能问答引擎，接收用户输入的自然语言问题；

13、通过智能问答引擎中的大模型理解和推理用户问题的查询意图，生成通用的逻辑sql；

14、根据底层数据库的类型，将通用的逻辑sql转换为相应的物理sql，并调用数据接口执行查询操作；

15、建立高效的数据索引体系，利用向量检索技术提高大规模数据集上的查询效率；

16、将查询结果转化为可视化图表和文本总结，通过动态可视化组件反馈给用户。

17、优选的，还包括：动态反馈与学习机制，通过收集用户的使用反馈，不断优化大模型的性能和准确性，以适应不同用户习惯和业务场景；

18、在处理敏感数据时，采用加密技术对数据进行脱敏处理，并实施严格的访问控制策略，确保数据安全和用户隐私在智能问答服务中的有效保护；

19、提供灵活的配置选项，允许管理员根据实际需求调整系统的安全策略和隐私保护设置。

20、一种基于大模型实现智能问数系统，所述系统包括：

21、数据集成模块，用于引入外部数据源，从多种数据源如数据库、数据仓库、web服务、excel集成数据；

22、数据治理中心，用于对集成后的数据进行清洗、转换、标准化和归一化处理，以确保数据质量，为后续的智能问数分析提供可靠的数据基础。

23、优选的，还包括：

24、语义建模模块，用于对特定主题域下的数据表进行维度建模，构建汇总模型，并设置维度、指标、日期字段；

25、知识图谱构建模块，用于构造模型与模型之间的关联关系，采用图数据库和向量数据库存储数据，通过构造<实体，关系，实体>形式的三元组集合，增强系统的语义理解能力，从而构建主题域下的知识图谱。

26、优选的，还包括：

27、规则解析模块，采用一套丰富的规则实现用户问题的关键元素提取和意图解析，提取的关键元素包括指标、维度、时间条件、维度值、聚合条件、排序条件；

28、sql生成模块，根据规则解析结果计算意图得分，若得分高于预设阈值，则通过规则解析生成sql查询语句；否则，调用嵌入的大模型生成查询sql，该大模型基于transformer架构，针对特定政务数据查询语境进行微调。

29、优选的，还包括：

30、自然语言理解模块，采用先进且经过大规模训练的语言模型，通过fine-tuning技术适应智能问数场景，使用nlu技术准确理解用户输入的自然语言问题，并抽取关键词和实体；

31、数据处理与索引模块，建立高效的数据索引体系，对原始数据进行预处理和组织，以提高查询效率；

32、智能问答引擎，内含一个或多个大模型，用于接收用户问题，通过理解和推理识别查询意图，生成逻辑sql，并根据数据库类型转换为物理sql执行查询，最后将查询结果转化为可视化图表和文本总结反馈给用户。

33、优选的，还包括：

34、动态反馈与学习机制，通过用户的使用反馈不断优化大模型的性能和准确性，以提高问答准确率和用户体验；

35、安全性与隐私保护机制，在处理敏感数据时采用加密技术进行脱敏处理，并实施严格的访问控制策略，以确保数据安全和用户隐私得到有效保护。

36、与现有技术相比，本发明的有益效果是：

37、本发明提出的基于大模型实现智能问数的方法及系统具备以下效果：

38、(1)提高工作效率：用户无需掌握复杂的查询语法，只需通过自然语言提出问题即可获取所需数据，极大降低了数据查询门槛，提高了各层级员工的工作效率；

39、(2)数据驱动决策加速：实时响应复杂多变的数据需求，帮助企业快速做出基于数据的决策，减少等待it部门或数据分析团队协助的时间成本；

40、(3)数据资源利用率提升：通过对海量数据资源的有效整合和智能搜索，使得企业内的各类数据得以充分挖掘和利用，避免了数据资源的闲置和浪费；

41、(4)准确性和一致性增强：通过大模型的理解能力和精准查询技术，可以提高数据检索的准确性，并确保跨部门、跨业务场景下的数据解读一致性；

42、(5)自适应学习与优化：系统具备自学习能力，随着用户的使用和反馈，大模型能够持续优化自身的理解和生成能力，不断提升服务质量；

43、(6)降低数据分析门槛：新入职员工或者不熟悉数据系统的人员也能迅速上手查询工作，减少了专门针对数据查询系统的培训时间和成本。

技术特征：

1.一种基于大模型实现智能问数的方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种基于大模型实现智能问数的方法，其特征在于：还包括基于大模型的语义建模与知识图谱构建：

3.根据权利要求1所述的一种基于大模型实现智能问数的方法，其特征在于：还包括基于大模型的智能问数规则解析与sql生成：

4.根据权利要求1所述的一种基于大模型实现智能问数的方法，其特征在于：还包括基于大模型的智能问答引擎与数据处理：

5.根据权利要求1所述的一种基于大模型实现智能问数的方法，其特征在于：还包括：动态反馈与学习机制，通过收集用户的使用反馈，不断优化大模型的性能和准确性，以适应不同用户习惯和业务场景；

6.一种根据权利要求1-5任意一项所述的基于大模型实现智能问数的方法的基于大模型实现智能问数系统，其特征在于：所述系统包括：

7.根据权利要求6所述的一种基于大模型实现智能问数系统，其特征在于：还包括：

8.根据权利要求6所述的一种基于大模型实现智能问数系统，其特征在于：还包括：

9.根据权利要求6所述的一种基于大模型实现智能问数系统，其特征在于：还包括：

10.根据权利要求6所述的一种基于大模型实现智能问数系统，其特征在于：还包括：

技术总结
本发明涉及自然语言处理技术领域，具体为一种基于大模型实现智能问数的方法及系统，包括以下步骤：从多种数据源，包括数据库、数据仓库、WEB服务及Excel文件，集成数据；通过数据治理中心对数据进行清洗、转换、标准化和归一化处理，确保数据质量，为后续的智能问数分析提供基础数据支持；有益效果为：本发明提出的基于大模型实现智能问数的方法，实时响应复杂多变的数据需求，帮助企业快速做出基于数据的决策，减少等待IT部门或数据分析团队协助的时间成本；通过对海量数据资源的有效整合和智能搜索，使得企业内的各类数据得以充分挖掘和利用，避免了数据资源的闲置和浪费。

技术研发人员：率为朋,张滨,周庆勇,李英豪,朱亚静,王东伟
受保护的技术使用者：浪潮云信息技术股份公司
技术研发日：
技术公布日：2025/2/13