一种结合用户反馈与上下文学习的知识处理方法和装置与流程

本发明涉及数据处理，特别涉及一种结合用户反馈与上下文学习的知识处理方法和装置。

背景技术：

1、大语言模型(large language models，llms)被广泛应用于多种自然语言处理(natural language processing,nlp)任务中，诸如翻译任务、问答任务等。为提高大语言模型的预测准确度，往往都要为其配置一个能进行知识查询的知识库。目前对这类知识库的知识编辑(添加、修改等)方式大多都采用定期批量更新的处理机制实现，对这类知识库的知识检索方式大多都基于知识-查询文本的最大相似度进行检索。通过实际应用我们发现：1)常规的批量更新机制会导致知识的时效性减弱；2)常规的最大相似度检索机制会导致知识范围不够、泛化性不足。

技术实现思路

1、本发明的目的，就是针对现有技术的缺陷，提供一种结合用户反馈与上下文学习的知识处理方法、装置、电子设备及计算机可读存储介质。本发明将任一类在知识推理过程中使用了知识库并已完成模型预训练和定向领域微调的大语言模型记为第一模型；并基于持续采集的知识信息构建对应的采集知识集合，并定期根据采集知识集合对知识库进行批量知识添加和更新处理；并在收到用户输入的第一指令文本(翻译或问答指令文本)之后，先根据第一指令文本和知识库进行上下文知识学习得到知识序列，再将知识序列作为指令提示文本信息与第一指令文本一起输入第一模型进行对应的翻译或问答任务处理得到对应的第一生成文本向当前用户反馈，再在收到用户对第一生成文本的满意度反馈时对其进行识别，若满意则将第一指令文本和第一生成文本输入知识提取指令模板进行知识提取指令组装得到第二指令文本、再将第二指令文本输入第一模型进行知识提取处理得到提取知识，再对知识库中与提取知识匹配的旧知识记录进行查询，若与之匹配的旧知识记录存在则基于提取知识对旧知识记录进行知识更新，若与之匹配的旧知识记录不存在则基于提取知识对知识库进行知识添加。通过本发明既可以提高知识的时效性、又可以扩大知识范围、提高知识的泛化性。

2、为实现上述目的，本发明实施例第一方面提供了一种结合用户反馈与上下文学习的知识处理方法，所述方法包括：

3、将任一类在知识推理过程中使用了知识库并已完成模型预训练和定向领域微调的大语言模型记为对应的第一模型；并将所述第一模型使用的知识库记为对应的第一知识库；

4、接收用户输入的翻译或问答指令文本作为对应的第一指令文本；并根据所述第一指令文本和所述第一知识库进行上下文知识学习处理得到对应的第一知识序列；并将所述第一知识序列作为指令提示文本信息与所述第一指令文本一起输入所述第一模型进行对应的翻译或问答任务处理并将模型生成的翻译或答案文本作为对应的第一生成文本向当前用户反馈；

5、接收当前用户对所述第一生成文本的满意度反馈作为对应的第一满意度；并在所述第一满意度为满意时，将所述第一指令文本和所述第一生成文本输入预设的知识提取指令模板进行对应的知识提取指令组装得到对应的第二指令文本；并将所述第二指令文本输入所述第一模型进行对应的知识提取处理得到对应的第一提取知识；所述第一满意度包括满意和不满意；

6、基于所述第一提取知识对所述第一知识库进行旧知识记录查询得到对应的第一查询记录；并对所述第一查询记录是否为空进行识别；若是，则基于所述第一提取知识对所述第一知识库进行知识添加处理；若否，则基于所述第一提取知识对所述第一查询记录进行知识更新处理。

7、优选的，所述第一知识库由多个第一知识记录组成；每个所述第一知识记录包括第一知识用途、第一知识主题、第一知识内容、第一编码向量、第二编码向量和第一更新时间；所述第一知识用途至少包括翻译和问答；所述第一、第二编码向量分别为对应的所述第一知识主题和所述第一知识内容的嵌入编码向量，所述第一、第二编码向量对应的嵌入编码规则均为预设的第一嵌入编码规则；所述第一嵌入编码规则至少包括n-gram编码规则和word2vec编码规则；

8、所述知识提取指令模板为一个格式化模板；所述知识提取指令模板用于将输入的指令文本和生成文本记为对应的当前指令文本和当前生成文本，并对所述当前指令文本和所述当前生成文本进行顺次拼接得到对应的当前拼接文本，并通过一段叙述性的自然语言文本告知所述第一模型按知识主题-知识内容的格式化提取方式对所述当前拼接文本进行知识提取处理并由提取出的主题文本和内容文本组成对应的当次提取知识并将所述当次提取知作为对应的模型生成文本输出；

9、所述第一提取知识包括第一主题文本和第一内容文本。

10、优选的，所述根据所述第一指令文本和所述第一知识库进行上下文知识学习处理得到对应的第一知识序列，具体包括：

11、步骤31，将所述第一指令文本对应的翻译或问答任务类型作为对应的当前知识用途；

12、其中，所述当前知识用途包括翻译和问答；

13、步骤32，基于所述第一嵌入编码规则对所述第一指令文本进行嵌入编码处理得到对应的当前编码向量；并将所述第一知识库中所述第一或第二编码向量与所述当前编码向量的向量相似度超过预设的第一相似度阈值的所述第一知识记录提取出来组成对应的第一记录集合；并对所述第一记录集合的记录总数进行统计得到对应的第一总数n；并将所述第一记录集合中各个所述第一知识记录对应的向量相似度记为对应的第一相似度di，1≤i≤n；

14、步骤33，将所述第一记录集合中各个所述第一知识用途与所述当前知识用途匹配的所述第一知识记录对应的第一任务权重wai设为预设的相关任务权重系数wahigh；并将所述第一记录集合中各个所述第一知识用途与所述当前知识用途不匹配的所述第一知识记录对应的所述第一任务权重wai设为预设的无关任务权重系数walow；

15、其中，无关任务权重系数walow<相关任务权重系数wahigh；

16、步骤34，将所述第一记录集合中最早、最晚的所述第一更新时间提取出来组成对应的第一时段；并对所述第一时段的时段长度进行识别得到对应的第一时段长度l；并对各个所述第一知识记录的所述第一更新时间与所述第一时段的起始时间的时间差进行计算得到对应的第一时间差△ti，并基于各个所述第一时间差△ti和所述第一时段长度l计算对应的第一时间权重wbi＝△ti/l；

17、步骤35，并由所述第一记录集合中各个所述第一知识记录对应的所述第一相似度di、所述第一任务权重wai和所述第一时间权重wbi计算对应的第一知识权重

18、步骤36，将所述第一记录集合的各个所述第一知识记录的所述第一知识主题和所述第一知识内容提取出来组成对应的第一学习知识ci；并按所述第一知识权重kwi从低到高的顺序对n个所述第一学习知识ci进行排序得到对应的所述第一知识序列。

19、优选的，所述基于所述第一提取知识对所述第一知识库进行旧知识记录查询得到对应的第一查询记录，具体包括：

20、步骤41，将所述第一提取知识对应的所述第一指令文本对应的翻译或问答任务类型作为对应的当前知识用途；

21、步骤42，基于所述第一嵌入编码规则对所述第一提取知识的所述第一知识主题进行嵌入编码处理得到对应的当前编码向量；

22、步骤43，将所述第一知识库中所述第一知识用途与所述当前知识用途匹配且所述第一编码向量与所述当前编码向量的向量相似度超过预设的第二相似度阈值的所述第一知识记录提取出来组成对应的第二记录集合；

23、其中，第一相似度阈值<第二相似度阈值；

24、步骤44，对所述第二记录集合是否为空进行识别；若是，则设置对应的所述第一查询记录为空；若否，则将所述第二记录集合中相似度最大的所述第一知识记录提取出来作为对应的所述第一查询记录。

25、优选的，所述基于所述第一提取知识对所述第一知识库进行知识添加处理，具体包括：

26、将所述第一提取知识对应的所述第一指令文本对应的翻译或问答任务类型作为对应的所述第一知识用途；并将所述第一提取知识的所述第一主题文本和所述第一内容文本作为对应的所述第一知识主题和所述第一知识内容；并基于所述第一嵌入编码规则对本次得到的所述第一知识主题和所述第一知识内容分别进行嵌入编码处理得到对应的所述第一编码向量和所述第二编码向量；并将当前时间作为一个对应的所述第一更新时间；并由本次得到的所述第一知识用途、所述第一知识主题、所述第一知识内容、所述第一编码向量、所述第二编码向量和所述第一更新时间组成一个对应的所述第一知识记录向所述第一知识库中添加。

27、优选的，所述基于所述第一提取知识对所述第一查询记录进行知识更新处理，具体包括：

28、将所述第一提取知识的所述第一内容文本作为对应的本次更新内容；并基于所述第一嵌入编码规则对所述本次更新内容进行嵌入编码处理得到对应的本次更新向量；并将当前时间作为一个对应的本次更新时间；并将所述第一查询记录的所述第一知识内容、所述第二编码向量和所述第一更新时间更新为对应的所述本次更新内容、所述本次更新向量和所述本次更新时间。

29、优选的，所述方法还包括：

30、持续进行知识信息采集并基于采集信息构建对应的第一采集知识集合；并定期根据所述第一采集知识集合对所述第一知识库进行批量知识添加和更新处理。

31、本发明实施例第二方面提供了一种用于实现上述第一方面所述的结合用户反馈与上下文学习的知识处理方法的装置，所述装置包括：知识库选择模块、知识检索模块、知识提取模块和知识库更新模块；

32、所述知识库选择模块用于将任一类在知识推理过程中使用了知识库并已完成模型预训练和定向领域微调的大语言模型记为对应的第一模型；并将所述第一模型使用的知识库记为对应的第一知识库；

33、所述知识检索模块用于接收用户输入的翻译或问答指令文本作为对应的第一指令文本；并根据所述第一指令文本和所述第一知识库进行上下文知识学习处理得到对应的第一知识序列；并将所述第一知识序列作为指令提示文本信息与所述第一指令文本一起输入所述第一模型进行对应的翻译或问答任务处理并将模型生成的翻译或答案文本作为对应的第一生成文本向当前用户反馈；

34、所述知识提取模块用于接收当前用户对所述第一生成文本的满意度反馈作为对应的第一满意度；并在所述第一满意度为满意时，将所述第一指令文本和所述第一生成文本输入预设的知识提取指令模板进行对应的知识提取指令组装得到对应的第二指令文本；并将所述第二指令文本输入所述第一模型进行对应的知识提取处理得到对应的第一提取知识；所述第一满意度包括满意和不满意；

35、所述知识库更新模块用于基于所述第一提取知识对所述第一知识库进行旧知识记录查询得到对应的第一查询记录；并对所述第一查询记录是否为空进行识别；若是，则基于所述第一提取知识对所述第一知识库进行知识添加处理；若否，则基于所述第一提取知识对所述第一查询记录进行知识更新处理。

36、本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；

37、所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；

38、所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

39、本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。

40、本发明实施例提供了一种结合用户反馈与上下文学习的知识处理方法、装置、电子设备及计算机可读存储介质。由上述内容可知，本发明实施例将任一类在知识推理过程中使用了知识库并已完成模型预训练和定向领域微调的大语言模型记为第一模型；并基于持续采集的知识信息构建对应的采集知识集合，并定期根据采集知识集合对知识库进行批量知识添加和更新处理；并在收到用户输入的第一指令文本(翻译或问答指令文本)之后，先根据第一指令文本和知识库进行上下文知识学习得到知识序列，再将知识序列作为指令提示文本信息与第一指令文本一起输入第一模型进行对应的翻译或问答任务处理得到对应的第一生成文本向当前用户反馈，再在收到用户对第一生成文本的满意度反馈时对其进行识别，若满意则将第一指令文本和第一生成文本输入知识提取指令模板进行知识提取指令组装得到第二指令文本、再将第二指令文本输入第一模型进行知识提取处理得到提取知识，再对知识库中与提取知识匹配的旧知识记录进行查询，若与之匹配的旧知识记录存在则基于提取知识对旧知识记录进行知识更新，若与之匹配的旧知识记录不存在则基于提取知识对知识库进行知识添加。通过本发明实施例既提高了知识的时效性，又扩大了知识范围、提高了知识的泛化性。