一种基于大语言模型的数据分类预测方法和装置与流程

文档序号:37966809发布日期:2024-05-13 12:13阅读:11来源:国知局
一种基于大语言模型的数据分类预测方法和装置与流程

本技术涉及人工智能,具体涉及一种基于大语言模型的数据分类预测方法和装置。本技术同时涉及一种计算机存储介质和电子设备。


背景技术:

1、数据类目通常指在管理和组织数据时使用的类别标识符或分类名称,常见的数据类目包括产品类目、地理位置类目、时间类目、行业类目等等。数据类目能够使数据更加有条理、易于管理和使用,因此是数据管理和分析过程中非常重要的一部分。

2、数据类目的设定可以帮助用户更好地理解数据的含义和关系,同时也方便数据的整合和分析。通过对数据进行分类和归类,可以更加高效地进行数据搜索、召回、筛选和汇总等,从而提升数据处理的效率和准确性。在数据分析和报告生成过程中,合理的数据类目能够帮助用户更快速地找到需要的信息,支持数据驱动的决策和服务发展。因此,数据类目是数据管理和分析工作中至关重要的一环。

3、数据类目预测是通过对数据分类和归类的准确性和高效性提升。例如:通过数据类目预测,可以更好地理解数据的特征和规律,从而优化数据分类、归类和索引,提高数据管理的效率和质量。又例如:基于数据类目预测的结果,可以更快速地定位和检索需要的数据,在海量数据中快速准确地找到目标数据,节省时间和精力。又例如:通过数据类目的预测,可以为数据分析和挖掘提供更加清晰的数据标识和准确的数据类别,帮助分析师更深入地理解数据并进行有效的分析。又例如:数据类目预测可以为企业提供更可靠的数据基础,为决策者提供有力的数据支持。又例如:通过数据类目预测,可以加强数据治理和合规性管理,确保数据的准确性、完整性和安全性,符合相关法规和政策的要求。


技术实现思路

1、本技术提供一种基于大语言模型分类预测方法,以解决现有技术中预测难度较大,计算成本较高的问题。

2、本技术提供一种基于大语言模型的数据分类预测方法,包括:

3、大语言模型根据获取的用于描述待预测数据类目任务的数据内容,对所述待预测数据类目任务进行预测任务拆解,确定所述待预测数据类目任务的多层级预测任务;

4、根据所述多层级预测任务的类目层级顺序,构建所述多层级预测任务在大语言模型中输入的多轮交互请求提示信息;

5、将所述多轮交互请求提示信息中每轮交互请求提示信息对应的预测类目结果,确定为预测类目路径并输出。

6、在一些实施例中,所述根据所述多层级预测任务的层级顺序,构建所述多层级预测任务在大语言模型中输入的多轮交互请求提示信息,包括:

7、根据所述数据内容、所述多层级预测任务中每个层级预测任务对应的类目列表,以及与所述每个层级预测任务相邻上一层级预测任务的类目预测结果,生成所述每个层级预测任务在所述大语言模型中输入的交互请求提示信息;其中,所述类目列表包括候选类目数据;

8、将所述每个层级预测任务对应的交互请求提示信息,确定为所述待预测数据类目任务的所述多轮交互请求提示信息。

9、在一些实施例中,所述根据所述数据内容、所述多层级预测任务中每个层级预测任务对应的类目列表,以及与所述每个层级预测任务相邻上一轮层级预测任务的类目预测结果,生成所述每个层级预测任务在所述大语言模型中输入的交互请求提示信息,包括:

10、当所述大语言模型的当前层级预测任务为第一层级预测任务时,根据预先构建的层级类目体系,获取所述第一层级预测任务对应的一级类目列表;

11、根据所述数据内容和所述一级类目列表中的一级候选类目数据,生成所述第一层级预测任务在所述大语言模型中输入的第一轮交互请求提示信息;

12、根据获取的所述大语言模型针对所述第一轮交互请求提示信息输出的一级类目预测结果、所述数据内容,以及与所述第一层级预测任务相邻第二层级预测任务的二级类目列表中的二级候选类目数据,生成所述第二层级预测任务在所述大语言模型中输入的第二轮交互请求提示信息;

13、确定所述第二层级预测任务是否为叶子节点层级任务;

14、若否,则根据获取的所述大语言模型针对所述第二轮交互请求提示信息输出的二级类目预测结果,所述数据内容,以及与所述第二层级预测任务相邻第三层级预测任务的三级类目列表中的三级候选类目数据,生成所述第三层级预测任务在所述大语言模型中输入的第三轮交互请求提示信息。

15、在一些实施例中,所述将所述每个层级预测任务对应的交互请求提示信息,确定为所述待预测数据类目任务的所述多轮交互请求提示信息,包括:

16、若所述第三层级预测任务为所述叶子节点层级任务,则将所述第一轮交互请求提示信息、所述第二轮交互请求提示信息和所述第三轮交互请求提示信息,确定为所述待预测数据类目任务的所述多轮交互请求提示信息。

17、在一些实施例中,若所述第二层级预测任务为叶子节点层级任务,则所述将所述每个层级预测任务对应的交互请求提示信息,确定为所述待预测数据类目任务的所述多轮交互请求提示信息,包括:

18、将所述第一轮交互请求提示信息和所述第二轮交互请求提示信息,确定为所述待预测数据类目的所述多轮交互请求提示信息。

19、在一些实施例中,所述根据所述数据内容、所述多层级预测任务中每个层级预测任务对应的类目列表,以及与所述每个层级预测任务相邻的上一轮层级预测任务的类目预测结果,生成所述每个层级预测任务在所述大语言模型中输入的交互请求提示信息,包括:

20、当所述大语言模型的当前层级预测任务为第二层级预测任务时,根据预先构建的层级类目体系,获取所述第二层级预测任务对应的二级类目列表;

21、根据所述数据内容、所述二级类目列表中的二级候选类目数据和所述第二层级预测任务相邻上一层级对应的上一层级类目数据,或者,根据所述数据内容和所述二级类目列表中的二级候选类目数据,生成所述第二层级预测任务在所述大语言模型中输入的第一轮交互请求提示信息;

22、确定所述第二层级预测任务是否为叶子节点层级任务;

23、若否,则根据获取的所述大语言模型针对所述第二轮交互请求提示信息输出的二级类目预测结果、所述数据内容,以及与所述第二层级预测任务相邻第三层级预测任务的三级类目列表中的三级候选类目数据,生成所述第三层级预测任务在所述大语言模型中输入的第二轮交互请求提示信息。

24、在一些实施例中,所述将所述每个层级预测任务对应的交互请求提示信息,确定为所述待预测数据类目任务的所述多轮交互请求提示信息,包括:

25、若所述第三层级预测任务为所述叶子节点层级任务,则将所述第二轮交互请求提示信息和所述第三轮交互请求提示信息,确定为所述待预测数据类目任务的所述多轮交互请求提示信息。

26、在一些实施例中,所述大语言模型根据用于描述待预测数据类目任务的数据内容对所述待预测数据类目任务进行预测任务拆解,确定所述待预测数据类目任务的多层级预测任务,包括:

27、对所述大语言模型进行调整训练;

28、获取用于描述所述待预测数据类目任务的多模态数据内容;

29、通过所述调整训练后的大语言模型对所述多模态数据内容的语义分析,将所述待预测数据类目任务的预测任务拆解为多层级预测任务。

30、在一些实施例中,所述对所述大语言模型进行调整训练,包括:

31、对类目列表样本数据集中每层类目列表样本数据集的类目样本数据排列顺序进行随机打乱,或者,对所述类目列表样本数据集中处于当前训练层级对应的类目样本数据排列顺序进行随机打乱;

32、将类目预测样本数据拆分成多层级样本数据;

33、根据每个层级样本数据、所述每个层级样本数据对应的所述类目样本数据,以及每个层级相邻上一层级预测类目结果样本数据,分别按照层级对大语言模型进行训练;

34、根据每个层级的类目预测结果对应的损失函数对所述大语言模型的参数进行调整。

35、在一些实施例中,所述对所述大语言模型进行调整训练,包括:

36、对类目列表样本数据集中每层类目列表样本数据集的类目样本数据排列顺序进行随机打乱,或者,对所述类目列表样本数据集中处于当前训练层级对应的类目样本数据排列顺序进行随机打乱;

37、将类目预测样本数据拆分成多层级样本数据;

38、将每个层级样本数据、所述每个层级样本数据对应的所述类目样本数据,以及每个层级相邻上一层级预测类目结果样本数据拼接为一条样本数据,对所述大语言模型进行训练;

39、根据所述一条样本数据中每个类目预测结果对应的损失函数的并行计算结果,对所述大语言模型的参数进行调整。

40、在一些实施例中,所述将所述多轮交互请求提示信息中每轮交互请求提示信息对应的预测类目结果,确定为预测类目路径并输出,包括:

41、根据预先构建的层级类目体系,对所述预测类目路径进行真实性校验;

42、若所述校验结果为真实存在,则基于所述大语言模型输出所述预测类目路径。

43、本技术还提供一种基于大语言模型的数据分类预测装置,包括:

44、拆解单元,用于大语言模型根据用于描述待预测数据类目任务的数据内容,对所述待预测数据类目任务进行预测任务拆解,确定所述待预测数据类目任务的多层级预测任务;

45、构建单元,用于根据所述多层级预测任务的类目层级顺序,构建所述多层级预测任务在大语言模型中输入的多轮交互请求提示信息;

46、确定单元,用于将所述多轮交互请求提示信息中每轮交互请求提示信息对应的预测类目结果,确定为预测类目路径并输出。

47、本技术还提供一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;

48、所述程序在被处理器读取执行时,执行如上述一种基于大语言模型的数据分类预测方法。

49、本技术还提供一种电子设备,包括:

50、处理器;

51、存储器,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如上述一种基于大语言模型的数据分类预测方法。

52、本技术还提供一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现如上述一种基于大语言模型的数据分类预测方法。

53、与现有技术相比,本技术具有以下优点:

54、本技术提供的一种基于大语言模型的数据分类预测方法,通过利用大语言模型将类目预测任务拆分为多个层级的预测任务,生成每层预测任务在大语言模型中输入的交互提示(prompt),即多轮交互请求提示信息,进而逐层对每个层级预测任务进行预测并得到对应的类目预测结果,再将类目预测结果根据各个类目之间的关联关系,串联为预测类目路径在大语言模型的交互界面输出。因为任务拆分所以使得交互提示(prompt)避免输入窗口长度的限制,根据层级之间的关联关系逐层级预测关注纵向节点之间的层级相关类目,不会受到横向节点较多(比如叶子节点较多或者子节点较多)导致的预测难度增大问题,并且每轮预测会结合上一轮预测结果进而能够提高预测分类的准确率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1