本技术属于任务处理,具体涉及一种任务处理方法、装置、设备和计算机存储介质。
背景技术:
1、预训练语言模型,因其强大的语言理解和生成能力,为人们展示了人工智能产业的未来前景。在工业领域,工业大脑(一种人工智能技术)是实现工厂网络化、数字化、智能化,走向智能制造的关键核心,预训练模型如何更好的赋能智能制造,使工业大脑变的智能化,是业内研究的一个热点。
2、目前,基于知识注入的预训练模型适配器方案,仅在目标任务和训练适配器的数据相关性较高时,才能给目标任务带来增益,若相关性不高时,则无法对目标任务带来增益,且多个知识的注入,会产生多个适配器,使得特征拼接的维度非常高,给目标任务的训练带来困难,且适配器未根据特定任务调整,将适配器提取特征与预训练语言模型特征进行拼接也不灵活,使得知识注入的性能低。
3、因此,如何提高工业大脑的性能,是目前所要解决的问题。
技术实现思路
1、针对上述问题,本技术提供一种任务处理方法、装置、设备和计算机存储介质。
2、一方面,本技术提供一种任务处理方法,包括:
3、获取用户输入的任务请求,所述任务请求包括:下游任务的任务类型以及所述下游任务的输入信息;
4、将所述输入信息输入至工业适配器网络模型和预训练语言模型中,分别得到第一输出结果和第二输出结果,所述工业适配器网络模型是根据从工业知识库中获取到的工业知识训练得到的;
5、根据所述第一输出结果、所述第二输出结果和所述任务类型,确定目标任务结果。
6、可选的,所述根据所述第一输出结果、所述第二输出结果和所述任务类型,确定目标任务结果,包括:
7、根据所述任务类型,确定所述第一输出结果和所述第二输出结果之间的拼接方式;
8、根据所述第一输出结果、所述第二输出结果和所述拼接方式,确定所述目标任务结果。
9、可选的,所述任务类型为:匹配任务或分类任务,所述拼接方式包括:拼接和叠加;
10、所述根据所述第一输出结果、所述第二输出结果和所述拼接方式,确定所述目标任务结果,包括:
11、对所述第一输出结果和所述第二输出结果分别进行拼接处理和叠加处理,得到第一任务结果和第二任务结果;
12、将所述第一任务结果和所述第二任务结果中满足第一预设条件的任务结果作为目标任务结果。
13、可选的,所述获取用户输入的任务请求之前,所述方法还包括:
14、从工业知识库中获取初始工业知识;
15、对所述初始工业知识进行格式转换,得到与预设模板对应的目标语料,所述目标语料的形式是根据所述初始工业知识的语义和所述预设模板的标签确定的;
16、根据所述目标语料,对适配器网络模型进行训练,得到所述工业适配器网络模型。
17、可选的,所述根据所述目标语料,对适配器网络模型进行训练,得到所述工业适配器网络模型之后,所述方法还包括:
18、获取任务样本数据,所述任务样本数据包括多种任务类型的样本数据;
19、将所述多种任务类型的样本数据分别输入至所述工业适配器网络模型和所述预训练语言模型,得到每种任务类型下所述工业适配器网络模型输出的第一特征和所述预训练语言模型输出的第二特征;
20、根据所述第一特征、所述第二特征和预设拼接方式,确定每种任务类型与所述预设拼接方式之间的对应关系,所述预设拼接方式包括:拼接、叠加、融合分类和经典注意力机制。
21、可选的,所述根据所述第一特征、所述第二特征和预设拼接方式,确定每种任务类型与所述预设拼接方式之间的对应关系,包括:
22、对所述第一特征和所述第二特征分别进行拼接处理、叠加处理、融合分类处理以及经典注意力机制处理,得到第一训练结果、第二训练结果、第三训练结果和第四训练结果;
23、根据所述第一训练结果、所述第二训练结果、所述第三训练结果和所述第四训练结果,确定所述任务类型与所述拼接处理、叠加处理、融合分类处理以及经典注意力机制处理之间的对应关系。
24、可选的,所述将所述多种任务类型的样本数据分别输入至所述工业适配器网络模型和所述预训练语言模型之前,所述方法还包括:
25、采用网络搜索的方式遍历所述工业适配器网络模型和所述预训练语言模型的连接点;
26、将满足第二预设条件的目标连接点作为所述工业适配器网络模型和所述预训练语言模型的目标连接点,所述目标连接点与所述任务类型存在关联关系。
27、第二方面,本技术提供一种任务处理装置,该装置包括:
28、获取模块,用于获取用户输入的任务请求,所述任务请求包括:下游任务的任务类型以及所述下游任务的输入信息;
29、处理模块,用于将所述输入信息输入至工业适配器网络模型和预训练语言模型中,分别得到第一输出结果和第二输出结果,所述工业适配器网络模型是根据从工业知识库中获取到的工业知识训练得到的;
30、确定模块,用于根据所述第一输出结果、所述第二输出结果和所述任务类型,确定目标任务结果。
31、可选的,所述确定模块,具体用下根据所述任务类型,确定所述第一输出结果和所述第二输出结果之间的拼接方式;根据所述第一输出结果、所述第二输出结果和所述拼接方式,确定所述目标任务结果。
32、可选的,所述任务类型为:匹配任务或分类任务,所述拼接方式包括:拼接和叠加;
33、所述处理模块,还用于对所述第一输出结果和所述第二输出结果分别进行拼接处理和叠加处理,得到第一任务结果和第二任务结果;
34、所述确定模块,具体用于将所述第一任务结果和所述第二任务结果中满足第一预设条件的任务结果作为目标任务结果。
35、可选的,所述获取模块,还用于从工业知识库中获取初始工业知识;
36、所述处理模块,还用于对所述初始工业知识进行格式转换,得到与预设模板对应的目标语料,所述目标语料的形式是根据所述初始工业知识的语义和所述预设模板的标签确定的;
37、所述处理模块,还用于根据所述目标语料,对适配器网络模型进行训练,得到所述工业适配器网络模型;
38、可选的,所述获取模块,还用于获取任务样本数据,所述任务样本数据包括多种任务类型的样本数据;
39、所述处理模块,还用于将所述多种任务类型的样本数据分别输入至所述工业适配器网络模型和所述预训练语言模型,得到每种任务类型下所述工业适配器网络模型输出的第一特征和所述预训练语言模型输出的第二特征;
40、所述确定模块,还用于根据所述第一特征、所述第二特征和预设拼接方式,确定每种任务类型与所述预设拼接方式之间的对应关系,所述预设拼接方式包括:拼接、叠加、融合分类和经典注意力机制;
41、可选的,所述处理模块,还用于对所述第一特征和所述第二特征分别进行拼接处理、叠加处理、融合分类处理以及经典注意力机制处理,得到第一训练结果、第二训练结果、第三训练结果和第四训练结果;
42、所述确定模块,具体用于根据所述第一训练结果、所述第二训练结果、所述第三训练结果和所述第四训练结果,确定所述任务类型与所述拼接处理、叠加处理、融合分类处理以及经典注意力机制处理之间的对应关系;
43、可选的,所述处理模块,还用于采用网络搜索的方式遍历所述工业适配器网络模型和所述预训练语言模型的连接点;
44、所述处理模块,还用于将满足第二预设条件的目标连接点作为所述工业适配器网络模型和所述预训练语言模型的目标连接点,所述目标连接点与所述任务类型存在关联关系。
45、第三方面,本技术提供一种任务处理设备,包括:
46、存储器;
47、处理器;
48、其中,所述存储器存储计算机执行指令;
49、所述处理器执行所述存储器存储的计算机执行指令,以实现如上述第一方面及第一方面各种可能的实现方式所述的任务处理方法。
50、第四方面,本技术提供一种计算机存储介质,其上存储有计算机执行指令,所述计算机执行指令被处理器执行以实现如上述第一方面及第一方面各种可能的实现方式所述的任务处理方法。
51、本技术提供的任务处理方法,通过获取用户输入的任务请求,所述任务请求包括:下游任务的任务类型以及所述下游任务的输入信息;将所述输入信息输入至工业适配器网络模型和预训练语言模型中,分别得到第一输出结果和第二输出结果,所述工业适配器网络模型是根据从工业知识库中获取到的工业知识训练得到的;根据所述第一输出结果、所述第二输出结果和所述任务类型,确定目标任务结果;该方法采用两个模型输出任务结果,从而使得任务结果更加准确,且针对不同类型的下游任务,采用不同的处理方式,提高了下游任务处理的多样性,扩大了下游任务输出结果的范围,同时提高了下游任务输出结果的准确率。