基于数据混合器和模型适配器的垂直领域大模型协同系统的制作方法

本发明涉及基于数据混合器和模型适配器的垂直领域大模型协同系统。

背景技术：

1、在为垂直行业客户提供大模型解决方案时，现行方法主要依赖于垂直行业的数据(例如文档、问答、百科和知识图谱)，通过构建基于检索增强文本生成(rag)系统，将垂直专业知识整合至大模型中。这种做法通过特定提示(prompt)引导模型生成响应。

2、然而，这一方法面临着一个核心挑战：传统的大型模型在预训练过程中并未融合特定垂直行业的知识，因此它们往往依赖已有的广泛训练数据来解读问题，有时会陷入“知识幻觉”现象。传统的解决方案，如基于垂直领域的数据微调，虽然能提升特定领域的效果，但这往往牺牲了模型的广泛适用性。

3、因此，提供一种基于数据混合器和模型适配器的垂直领域大模型协同系统。

技术实现思路

1、本发明的目的在于克服现有的缺陷而提供的基于数据混合器和模型适配器的垂直领域大模型协同系统，提升了模型对特定垂直行业的理解和响应能力，同时还保留了大型模型的广泛适应性。

2、实现上述目的的技术方案是：

3、基于数据混合器和模型适配器的垂直领域大模型协同系统，包括：

4、数据资源库，用于存储有关垂直领域的专有数据、通用的预处理数据和客户数据；

5、训练模块，用于通过专有数据和通用的预处理数据对基础大模型进行训练，以得到垂直领域大模型，并通过客户数据训练客户模型；

6、输入模块，用于接收用户或系统的输入；

7、协同处理模块，用于通过垂直领域大模型和客户模型进行协同，以获得与输入内容相匹配的内容；

8、输出生成模块，用于将输出的广泛的知识基础结果和针对特定垂直领域定制化的结果进行整合，生成并输出综合结果；

9、结果呈现模块，用于将综合结果以适合用户或应用场景的形式进行呈现。

10、优选的，所述训练模块包括：

11、融合单元，用于数据混合器将专有数据和通用的预处理数据进行混合；

12、微调单元，用于使用模型适配器通过peft(peft：parameter-efficient fine-tuning，轻量化微调)技术对预训练的大模型进行定制，以获得垂直领域大模型。

13、优选的，所述训练模块还包括：

14、预训练单元，用于通过模型适配器在预训练阶段将客户数据通过multiplexer(多路复用器)训练至客户模型中。

15、优选的，所述输入模块中，输入的内容包括但不限于查询、指令或其他形式的数据输入。

16、优选的，所述协同处理模块中，通过垂直领域大模型提供广泛的知识基础结果，通过客户模型提供针对特定垂直领域定制化的结果。

17、优选的，所述结果呈现模块中，呈现形式包括但不限于文本回答、生成的报告和执行的动作。

18、本发明的有益效果是：本发明通过数据混合器将专有数据和通用的预处理数据进行混合和压缩，从而在垂直领域中获取相应的推理、逻辑、规划能力，在预训练阶段整合垂直行业数据，不仅能够将垂直场景数据转化为客户定制化的模型权重，而且还能与大模型协同工作，从而提高在特定领域的推理能力，具有高度的数据安全性，能够在文档级别上保证预训练数据和客户数据安全；本发明通过使用垂直领域大模型系统，可以获得既具垂直领域深度也有广泛泛化能力的大模型，这对于企业来说意味着能够以更快的速度、更低的成本和更高的准确性解决行业特定的问题。

技术特征：

1.基于数据混合器和模型适配器的垂直领域大模型协同系统，其特征在于，包括：

2.根据权利要求1所述的一种基于数据混合器和模型适配器的垂直领域大模型协同系统，其特征在于，所述训练模块包括：

3.根据权利要求2所述的一种基于数据混合器和模型适配器的垂直领域大模型协同系统，其特征在于，所述训练模块还包括：

4.根据权利要求1所述的一种基于数据混合器和模型适配器的垂直领域大模型协同系统，其特征在于，所述输入模块中，输入的内容包括但不限于查询、指令或其他形式的数据输入。

5.根据权利要求3所述的一种基于数据混合器和模型适配器的垂直领域大模型协同系统，其特征在于，所述协同处理模块中，通过垂直领域大模型提供广泛的知识基础结果，通过客户模型提供针对特定垂直领域定制化的结果。

6.根据权利要求1所述的一种基于数据混合器和模型适配器的垂直领域大模型协同系统，其特征在于，所述结果呈现模块中，呈现形式包括但不限于文本回答、生成的报告和执行的动作。

技术总结
本发明公开了基于数据混合器和模型适配器的垂直领域大模型协同系统，包括：数据资源库，用于存储垂直领域的专有数据、通用的预处理数据和客户数据；训练模块，用于通过专有数据和通用的预处理数据对基础大模型进行训练，以得到垂直领域大模型，通过客户数据训练客户模型；输入模块，用于接收用户或系统的输入；协同处理模块，用于通过垂直领域大模型和客户模型进行协同，以获得与输入内容相匹配的内容；输出生成模块，用于将输出的广泛的知识基础结果和针对特定垂直领域定制化的结果进行整合，生成并输出综合结果；结果呈现模块，用于将综合结果以适合用户或应用场景的形式进行呈现。提升了模型对特定垂直行业的理解和响应能力。

技术研发人员：周亮,张璐,刘军
受保护的技术使用者：瑞因凡（上海）智能科技有限公司
技术研发日：
技术公布日：2024/10/31