一种问答方法、装置及电子设备与流程

本申请涉及数据处理，尤其涉及一种问答方法、装置及电子设备。

背景技术：

1、随着大语言模型(large language model，llm)性能的不断提升，其可以帮助用户解决越来越多的问题，以提高用户学习或者工作效率。

2、目前大语言模型性能与模型大小是成正相关的，越大的模型能力也就越强。用户在使用大语言模型进行问答时，常会担心自己的隐私数据泄漏出去。针对此问题，解决方案是可以将大模型部署到端侧或者个人电脑上。但由于端侧计算资源受限，需要使用模型小型化技术压缩大模型，比如裁剪和量化等。而对于需要进行推理、归纳的复杂问题，小型化后的大模型难以较好地回答这些复杂问题，影响用户的使用体验。

技术实现思路

1、针对上述技术问题，本申请实施例提供一种问答方法、装置及电子设备。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种问答方法，包括：

4、利用本地模型对待回答问题进行推理，获得所述本地模型的任意一个第一中间层输出的第一问题特征向量；

5、利用至少一个云端大模型对所述第一问题特征向量进行推理，获得所述至少一个云端大模型的第二中间层分别输出的第二问题特征向量；

6、基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案。

7、在一些实施例中，所述基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案，包括：

8、基于所述本地模型，对所述至少一个所述第二问题特征向量分别进行解析，获得与所述至少一个所述第二问题特征向量分别相对应的提示信息；

9、将至少一个所述提示信息作为所述待回答问题的先验知识，利用所述本地模型确定所述待回答问题的答案。

10、在一些实施例中，所述基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案，包括：

11、确定所述待回答问题的类型；

12、确定与所述待回答问题的类型相对应的lora模型；

13、融合所述lora模型与所述本地模型，获得本地融合模型；

14、基于至少一个所述第二问题特征向量，利用所述本地融合模型确定所述待回答问题的答案。

15、在一些实施例中，所述基于至少一个所述第二问题特征向量，利用所述本地融合模型确定所述待回答问题的答案，包括：

16、基于所述本地模型，对所述至少一个所述第二问题特征向量分别进行解析，获得与所述至少一个所述第二问题特征向量分别相对应的提示信息；

17、将至少一个所述提示信息作为所述待回答问题的先验知识，利用所述本地融合模型确定所述待回答问题的答案。

18、在一些实施例中，所述将至少一个所述提示信息作为所述待回答问题的先验知识，利用所述本地融合模型确定所述待回答问题的答案，包括：

19、将所述先验知识和所述待回答问题拼接之后输入所述本地融合模型，获得所述本地融合模型输出的所述待回答问题的答案。

20、在一些实施例中，所述方法还包括：

21、确定所述待回答问题的难度系数；

22、在确定所述难度系数大于特定阈值的情况下，执行利用本地模型对待回答问题进行推理，获得所述本地模型的任意一个第一中间层输出的第一问题特征向量的步骤。

23、在一些实施例中，所述方法还包括：

24、在确定所述难度系数小于或等于所述特定阈值的情况下，利用所述本地模型对所述待回答问题进行推理，获得所述本地模型输出的所述待回答问题的答案。

25、在一些实施例中，所述第二中间层输出的所述第二问题特征向量与所述第一中间层输出的所述第一问题特征向量的特征相互对齐，所述方法还包括：

26、在对所述本地模型和所述云端大模型进行调参的过程中，对所述本地模型的任意一个所述第一中间层输出的特征向量和所述云端大模型的所述第二中间层输出的特征向量进行特征对齐。

27、第二方面，本申请实施例提供一种问答装置，包括：

28、第一推理模块，用于利用本地模型对待回答问题进行推理，获得所述本地模型的任意一个第一中间层输出的第一问题特征向量；

29、第二推理模块，用于利用至少一个云端大模型对所述第一问题特征向量进行推理，获得所述至少一个云端大模型的第二中间层分别输出的第二问题特征向量；

30、确定模块，用于基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案。

31、第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储可执行数据指令；所述处理器用于执行所述存储器中存储的可执行数据指令时，实现如第一方面所述的问答方法。

技术特征：

1.一种问答方法，包括：

2.根据权利要求1所述的问答方法，所述基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案，包括：

3.根据权利要求1所述的问答方法，所述基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案，包括：

4.根据权利要求3所述的问答方法，所述基于至少一个所述第二问题特征向量，利用所述本地融合模型确定所述待回答问题的答案，包括：

5.根据权利要求4所述的问答方法，所述将至少一个所述提示信息作为所述待回答问题的先验知识，利用所述本地融合模型确定所述待回答问题的答案，包括：

6.根据权利要求1所述的问答方法，所述方法还包括：

7.根据权利要求6所述的问答方法，所述方法还包括：

8.根据权利要求1至7任一项所述的问答方法，所述第二中间层输出的所述第二问题特征向量与所述第一中间层输出的所述第一问题特征向量的特征相互对齐，所述方法还包括：

9.一种问答装置，包括：

10.一种电子设备，包括：

技术总结
本申请公开了一种问答方法、装置及电子设备，涉及数据处理技术领域。所述方法包括：利用本地模型对待回答问题进行推理，获得所述本地模型的任意一个第一中间层输出的第一问题特征向量；利用至少一个云端大模型对所述第一问题特征向量进行推理，获得所述至少一个云端大模型的第二中间层分别输出的第二问题特征向量；基于至少一个所述第二问题特征向量，利用所述本地模型确定所述待回答问题的答案。

技术研发人员：张翱翔,刘文瑞
受保护的技术使用者：联想（北京）有限公司
技术研发日：
技术公布日：2024/6/23