基于大语言模型的问答方法、装置、设备及存储介质与流程

本发明涉及计算机，尤其涉及一种基于大语言模型的问答方法、装置、设备及存储介质。

背景技术：

1、目前，大语言模型在自然语言处理任务中表现出色，而如何在保持大语言模型质量和上下文学习能力的同时，降低大语言模型在推理过程的计算复杂度和内存成本，保证大语言模型在边缘设备上的应用，成了业界共同的关注。

技术实现思路

1、本发明提供了一种基于大语言模型的问答方法、装置、设备及存储介质，在确保大语言模型推理质量的同时，提高大语言模型的推理效率。

2、根据本发明的一方面，提供了一种基于大语言模型的问答方法，该方法包括：

3、采用所述客户端设备获取待回答问题，并对所述待回答问题的问题类型进行识别；其中，所述问题类型包括端云协同问题；

4、采用所述客户端设备调用所述第一大语言模型，基于待回答问题的问题类型对所述待回答问题进行识别，生成至少两个候选回答，并将所述候选回答发送给所述云端设备；其中，所述第一大语言模型用于以字符递进的方式预测待回答问题的候选回答，所述候选回答是指未经过准确性校验的回答；

5、采用所述云端设备调用所述第二大语言模型模型，基于所述待回答问题的语义，对所述至少两个候选回答进行准确性校验，确定出目标回答，并将所述目标回答返回给所述客户端设备。

6、根据本发明的另一方面，提供了一种基于大语言模型的问答装置，该装置包括：

7、类型识别模块，用于采用所述客户端设备获取待回答问题，并对所述待回答问题的问题类型进行识别；其中，所述问题类型包括端云协同问题；

8、候选回答生成模块，用于采用所述客户端设备调用所述第一大语言模型，基于待回答问题的问题类型对所述待回答问题进行识别，生成至少两个候选回答，并将所述候选回答发送给所述云端设备；其中，所述第一大语言模型用于以字符递进的方式预测待回答问题的候选回答，所述候选回答是指未经过准确性校验的回答；

9、目标回答生成模块，用于采用所述云端设备调用所述第二大语言模型模型，基于所述待回答问题的语义，对所述至少两个候选回答进行准确性校验，确定出目标回答，并将所述目标回答返回给所述客户端设备。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于大语言模型的问答方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于大语言模型的问答方法。

15、根据本发明的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的基于大语言模型的问答方法。

16、本发明实施例的技术方案，通过在客户端设备以及云端设备设置模型结构以及算力不同的大语言模型，使客户端设备与云端设备中所设置的大语言模型分工协作，各自负责不同自然语言处理过程，在保证大语言模型推理质量的同时，确保了大语言模型在客户端设备的应用，降低了云端设备的运行压力以及大语言模型的运行成本。

17、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于大语言模型的问答方法，其特征在于，应用于端云协作系统，所述端云协作系统包括客户端设备和云端设备，所述客户端设备设置有第一大语言模型，所述云端设备设置有第二大语言模型，且所述第二大语言模型的模型结构的复杂度以及算力大于所述第一大语言模型；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，采用所述云端设备调用所述第二大语言模型模型，基于所述待回答问题的语义，对所述至少两个候选回答进行准确性校验，包括：

3.根据权利要求2所述的方法，其特征在于，在向所述客户端反馈校验结果之后，还包括：

4.根据权利要求1所述的方法，其特征在于，采用所述客户端设备调用所述第一大语言模型，基于待回答问题的问题类型对所述待回答问题进行识别，生成至少两个候选回答，包括：

5.根据权利要求1所述的方法，其特征在于，采用所述客户端设备获取用户的待回答问题，并对所述待回答问题的问题类型进行识别，包括：

6.根据权利要求1所述的方法，其特征在于，所述第一大语言模型根据所述客户端设备的算力确定，所述第二大语言模型根据所述云端设备的算力确定。

7.一种基于大语言模型的问答装置，其特征在于，应用于端云协作系统，所述端云协作系统包括客户端设备和云端设备，所述客户端设备设置有第一大语言大模型，所述云端设备设置有第二大语言模型，且所述第二大语言模型的模型结构的复杂度以及算力大于所述第一大语言模型；所述装置包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的基于大语言模型的问答方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-6任一项所述的基于大语言模型的问答方法。

技术总结
本发明公开了一种基于大语言模型的问答方法、装置、设备及存储介质，该基于大语言模型的问答方法包括：采用所述客户端设备获取待回答问题，并对所述待回答问题的问题类型进行识别；采用所述客户端设备调用所述第一大语言模型，基于待回答问题的问题类型对所述待回答问题进行识别，生成至少两个候选回答，并将所述候选回答发送给所述云端设备；采用所述云端设备调用所述第二大语言模型模型，基于所述待回答问题的语义，对所述至少两个候选回答进行准确性校验，确定出目标回答，并将所述目标回答返回给所述客户端设备。通过上述技术方案，降低了云端设备的运行压力以及大语言模型的运行成本。

技术研发人员：吴桐,邹振盛
受保护的技术使用者：北京面壁智能科技有限责任公司
技术研发日：
技术公布日：2024/11/26