自然语言理解方法及装置、服务器及存储介质与流程

本公开涉及人工智能，尤其涉及一种自然语言理解方法及装置、服务器及存储介质。

背景技术：

1、随着人工智能技术的发展，自然语言理解(natural language understanding，nlu)是对话系统中的重要组成部分，旨在让机器具备正常人的语言理解能力，从而正确理解人的需求。在对话系统中，自然语言理解通常包含两个子任务：意图识别和槽位填充。至今，自然语言理解的实现方式经历了基于规则的方法、基于统计的方法和基于深度学习的方法三个阶段。

2、目前，自然语言理解为基于深度学习实现的，可以包括基于单一模型的方法和基于联合模型的方法。其中，基于联合模型的方法是将两个子任务视为一个任务，从意图和槽位的紧密性出发，建立一个联合模型进行训练。

3、然而，基于联合模型的方法严重依赖于自回归方式建模，使得模型输出结果的过程必须沿单一方向传递，无法实现并行化，导致模型推理速度较慢；同时，在基于联合模型的方法中，意图和槽位之间只考虑单向交互作用，即只使用意图来引导槽位预测，导致模型的语言理解准确率较低。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种自然语言理解方法及装置、服务器及存储介质。

2、根据本公开实施例的第一方面，提供一种自然语言理解方法，至少包括：

3、获取待理解语句的字符向量；

4、基于预训练的自然语言理解模型，对所述待理解语句的字符向量进行语义处理，得到与所述字符向量对应的目标语义向量；其中，所述自然语言理解模型包括用于针对所述字符向量在意图和槽位之间建立关联关系的目标槽位解码器；

5、基于所述目标语义向量，确定与所述待理解语句对应的目标语义数据。

6、在一些实施例中，所述自然语言理解模型还包括：共享编码器、初始槽位解码器以及意图解码器；所述基于预训练的自然语言理解模型，对所述待理解语句的字符向量进行语义处理，得到与所述字符向量对应的目标语义向量，包括：

7、基于所述共享编码器，对所述字符向量进行编码处理，得到所述待理解语句的编码向量；

8、基于所述初始槽位解码器，对所述编码向量进行解码处理，得到与所述待理解语句对应的初始槽位向量；

9、基于所述意图解码器，对由所述编码向量和所述初始槽位向量连接形成的槽位强化向量进行解码处理，得到所述意图解码器的第一隐层状态向量以及所述待理解语句的意图向量；

10、基于所述目标槽位解码器，对由所述编码向量和所述第一隐层状态向量连接形成的连接向量以及所述意图向量分别进行解码处理，得到所述目标语义向量。

11、在一些实施例中，基于所述目标槽位解码器，对由所述编码向量和所述第一隐层状态向量连接形成的连接向量以及所述意图向量分别进行解码处理，得到所述目标语义向量，包括：

12、基于所述目标槽位解码器中的指定槽位解码器，对所述连接向量进行解码处理，得到所述指定槽位解码器的第二隐层状态向量；

13、基于所述目标槽位解码器中的层级交互网络，对所述第二隐层状态向量和所述意图向量进行融合处理，得到所述目标语义向量；

14、其中，所述层级交互网络在所述意图和所述槽位之间建立有关联关系。

15、在一些实施例中，所述层级交互网络包括槽位和槽位交互层以及意图和槽位交互层；所述基于所述目标槽位解码器中的层级交互网络，对所述第二隐层状态向量和所述意图向量进行融合处理，得到所述目标语义向量，包括：

16、基于所述槽位和槽位交互层，对所述第二隐层状态向量进行信息融合，得到槽位特征向量；

17、基于所述意图和槽位交互层，对与所述意图向量对应的意图特征向量以及所述槽位特征向量进行信息融合，得到意图槽位融合向量；

18、基于第一归一化指数函数，对所述意图槽位融合向量进行归一化处理，得到所述目标语义向量。

19、在一些实施例中，所述意图和槽位交互层包括意图和意图的关联关系；所述方法还包括：

20、基于所述意图和意图的关联关系以及所述意图向量，得到与所述意图向量对应的所述意图特征向量。

21、在一些实施例中，所述意图和槽位交互层还包括意图和槽位的关联关系；

22、所述基于所述意图和槽位交互层，对与所述意图向量对应的意图特征向量以及所述槽位特征向量进行信息融合，得到意图槽位融合向量，包括：

23、基于所述意图和槽位的关联关系，对所述意图特征向量以及所述槽位特征向量进行信息融合，得到所述意图槽位融合向量。

24、在一些实施例中，所述基于所述意图解码器，对由所述编码向量和所述初始槽位向量连接形成的槽位强化向量进行解码处理，得到所述意图解码器的第一隐层状态向量以及所述待理解语句的意图向量，包括：

25、基于所述意图解码器中的字符解码器，对所述槽位强化向量进行解码处理，得到所述第一隐层状态向量；

26、基于所述意图解码器中的聚合层，对所述第一隐层状态向量进行加权处理，得到所述第一隐层状态向量的加权和；

27、基于非线性激活函数，对所述第一隐层状态向量的加权和进行归一化处理，得到与所述待理解语句对应的意图分布结果；

28、将所述意图分布结果中大于预设意图阈值的向量作为所述意图向量。

29、在一些实施例中，所述基于所述初始槽位解码器，对所述编码向量进行解码处理，得到与所述待理解语句对应的初始槽位向量，包括：

30、基于所述初始槽位解码器，对所述编码向量进行解码处理，得到所述初始槽位解码器的第三隐层状态向量；

31、基于第二归一化指数函数，对所述第三隐层状态向量进行归一化处理，得到所述初始槽位向量。

32、在一些实施例中，所述基于所述共享编码器，对所述字符向量进行编码处理，得到所述待理解语句的编码向量，包括：

33、基于所述共享编码器中的双向长短期记忆网络，获取所述字符向量的上下文信息；

34、基于所述共享编码器中的自注意力机制，获取所述字符向量的时序；

35、基于所述字符向量的上下文信息和所述字符向量的时序，确定所述编码向量。

36、在一些实施例中，所述方法还包括：

37、对所述目标语义向量和所述初始槽位向量进行损失计算，得到损失结果；

38、基于所述损失结果，对所述自然语言理解模型中的所述初始槽位解码器、所述意图解码器以及所述目标槽位解码器进行优化训练。

39、根据本公开实施例的第二方面，提供一种自然语言理解装置，至少包括：

40、获取模块，用于获取待理解语句的字符向量；

41、语义处理模块，用于基于预训练的自然语言理解模型，对所述待理解语句的字符向量进行语义处理，得到与所述字符向量对应的目标语义向量；其中，所述自然语言理解模型包括用于针对所述字符向量在意图和槽位之间建立关联关系的目标槽位解码器；

42、语义确定模块，用于基于所述目标语义向量，确定与所述待理解语句对应的目标语义数据。

43、根据本公开实施例的第三方面，提供一种服务器，包括：处理器、存储器及存储在所述存储器上并在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实施如第一方面所述的自然语言理解方法的步骤。

44、根据本公开实施例的第四方面，提供一种存储介质，所述存储介质上存储程序或指令，所述程序或指令被执行时实施根据第一方面所述的自然语言理解方法的步骤。

45、本公开的实施例提供的技术方案可以包括以下有益效果：

46、在本公开实施例中，自然语言理解方法包括：获取待理解语句的字符向量；基于预训练的自然语言理解模型，对所述待理解语句的字符向量进行语义处理，得到与所述字符向量对应的目标语义向量；其中，所述自然语言理解模型包括用于针对所述字符向量在意图和槽位之间建立关联关系的目标槽位解码器；基于所述目标语义向量，确定与所述待理解语句对应的目标语义数据。如此，可以通过预训练的自然语言理解模型中的目标槽位解码器，针对待理解语句的字符向量在意图和槽位之间建立的关联关系，以对字符向量进行语义处理得到目标语义向量，使得目标语义向量可以更好地表征待理解语句中的意图和槽位信息，从而不同于现有技术的自然语言理解模型中的意图和槽位只能单向交互，进而能够提高自然语言理解模型的语言理解准确率，以及提高自然语言理解模型的推理速度。

47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。