问答模型训练方法、装置、设备及存储介质与流程

本技术涉及大数据，尤其涉及一种问答模型训练方法、装置、设备及存储介质。

背景技术：

1、传统的客户服务和运营工作中，员工需要面对大量枯燥且重复的工作，如制作客户转递工单等。不仅消耗员工大量的时间和精力，还极易导致产生疲劳感，进而影响到工作效率与客户满意度。生成式ai大模型具备很好的意图理解和内容生成的能力，大模型的引入提高了客服场景的智能化水平，推动金融服务效率大幅提升，加速企业的数字化转型。

2、在利用大型预训练语言模型来构建应用的过程。通常不会对模型本身进行大量修改，而是通过prompt engineering、数据工程和业务逻辑分解等手段来发挥模型的潜力，以适应特定的应用任务。实践中发现，直接采用大模型时，存在缺乏专业知识、模型幻觉及风控等问题，采用模型微调时，在数据方面，有数据多样性、噪声和异常值、分布不均衡、标注质量、隐私安全性等问题，并且很难深入理解业务规则，并且微调可能会过度拟合新任务的数据，导致模型泛化能力下降，输出的质量在很大程度上取决于检索到的信息的相关性和准确性，这可能导致对特定数据的高度依赖，降低了模型的应答准确性。

技术实现思路

1、本技术实施例提供问答模型训练方法、装置、设备及存储介质，用以解决传统技术中模型输出的质量在很大程度上取决于检索到的信息的相关性和准确性，这可能导致对特定数据的高度依赖，降低了模型的应答准确性的问题。

2、第一方面，本技术实施例提供一种问答模型训练方法，包括：

3、获取历史客服信息；

4、根据所述历史客服信息，构建客服处理过程中的思维链；

5、基于所述思维链，从数据集中选择多个客服数据进行标注，得到标注数据；

6、根据所述标注数据，对初始模型进行训练，得到训练好的问答模型。

7、在一种可能的实施方式中，所述根据所述历史客服信息，构建处理过程中的思维链，包括：

8、获取所述历史客服信息中的客户输入信息和所述客户输入信息对应的上下文信息；

9、采用预训练的思维链生成模型，对所述客户输入信息和所述上下文信息进行解析，得到处理过程中的思维链。

10、在一种可能的实施方式中，所述采用预训练的思维链生成模型，对所述客户输入信息和所述上下文信息进行解析，得到处理过程中的思维链，包括：

11、所述预训练的思维链生成模型识别所述客户输入信息和所述上下文信息的语义依赖关系，根据所述语义依赖关系预测客户问题类型，并根据所述客户问题类型生成最优处理方案，得到处理过程中的思维链。

12、在一种可能的实施方式中，所述预训练的思维链生成模型识别所述客户输入信息和所述上下文信息的语义依赖关系，包括：

13、所述预训练的思维链生成模型对所述客户输入信息和所述上下文信息中进行分词处理，得到多个词组；

14、对各词组进行编码，得到每个词组对应的语义向量表示；

15、基于所述语义向量表示，获取每个词组与其它词组之间的语义依赖关系；

16、各词组对应的语义依赖关系构成所述客户输入信息和所述上下文信息的语义依赖关系。

17、在一种可能的实施方式中，所述根据所述语义依赖关系预测客户问题类型，包括：

18、所述预训练的思维链生成模型将所述语义依赖关系和预定义的语义特征进行匹配，根据匹配结果计算不同的问题类型的概率分布，并选择符合预设要求的概率分布所对应的类型作为预测的客户问题类型。

19、在一种可能的实施方式中，所述根据所述客户问题类型生成最优处理方案，包括：

20、所述预训练的思维链生成模型根据预定义的映射规则，从预设的方案库中查找客户问题类型对应的解决方案；

21、若解决方案的数量为多个，按照预设规则对各解决方案按照从前到后的顺序进行排序，选择排序第一的解决方案作为最优处理方案。

22、在一种可能的实施方式中，所述采用预训练的思维链生成模型，对所述客户输入信息和所述上下文信息进行解析，得到处理过程中的思维链，还包括：

23、所述预训练的思维链生成模型对所述客户输入信息进行解析，得到客户的情绪状态；

24、根据所述客户问题类型和所述情绪状态，生成最优处理方案。

25、在一种可能的实施方式中，所述根据所述客户问题类型和所述情绪状态，生成最优处理方案，包括：

26、根据所述情绪状态确定问题优先级；

27、根据所述客户问题类型和所述问题优先级，生成最优处理方案。

28、在一种可能的实施方式中，生成最优处理方案之后，还包括：

29、根据预设的模板创建工单，并将关键信息填入创建的工单中；其中，所述关键信息包括客户输入信息、客户问题类型和最优处理方案。

30、在一种可能的实施方式中，所述根据所述标注数据，对初始模型进行训练，得到训练好的问答模型，包括：

31、将客服数据输入初始模型中，得到识别结果；

32、将识别结果与该客服数据对应的标注数据进行比较；

33、根据比较结果逐步调整初始模型的网络参数，直至初始模型的识别结果满足训练要求，得到训练好的问答模型。

34、在一种可能的实施方式中，所述方法还包括：

35、在训练过程中，实时获取客户的反馈数据，将所述反馈数据加入数据集中，形成新的数据集；

36、从新的数据集中选择多个客服数据进行标注，得到新的标注数据；

37、根据新的标注数据，对问答模型进行训练。

38、第二方面，本技术实施例提供一种问答模型训练装置，包括：

39、获取模块，用于获取历史客服信息；

40、思维链构建模块，用于根据所述历史客服信息，构建客服处理过程中的思维链；

41、标注模块，用于基于所述思维链，从数据集中选择多个客服数据进行标注，得到标注数据；

42、训练模块，用于根据所述标注数据，对初始模型进行训练，得到训练好的问答模型。

43、第三方面，本技术实施例提供一种计算机设备，包括：存储器，处理器；

44、所述存储器存储计算机执行指令；

45、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面和/或第一方面各种可能的实施方式。

46、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

47、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

48、本技术实施例提供的问答模型训练方法、装置、设备及存储介质，根据获取的历史客服信息，构建客服处理过程中的思维链；再基于思维链，从数据集中选择多个客服数据进行标注，得到标注数据；最后根据标注数据，对初始模型进行训练，得到训练好的问答模型。本技术从历史客服信息中提取关键信息，并基于这些关键信息构建客服处理过程中的思维链，将思维链整合到模型的训练数据中，确保了训练数据与思维链的逻辑结构相匹配，可有效地指导模型的学习过程，深入理解客服处理业务规则，提高了模型的应答准确性；此外，将思维链整合到模型的训练数据中还使得本技术可以不依赖于特定的知识库，简化了模型的部署维护成本。