命名实体识别方法和装置、电子设备及存储介质与流程

本技术涉及人工智能，尤其涉及一种命名实体识别方法和装置、电子设备及存储介质。

背景技术：

1、命名实体识别(named entity recognition，ner)是指识别文本中具有特定意义的实体，如日期、地名等。根据实体对应的文本片段在文本中的位置，实体类别包括扁平类、嵌套类、非连续类。相关技术中，只能对文本中任一种或两种实体类别进行识别，从而影响了命名实体识别的准确性。因此，如何提高命名实体识别的准确性成了亟待解决的技术问题。

技术实现思路

1、本技术实施例的主要目的在于提出一种命名实体识别方法和装置、电子设备及存储介质，旨在命名实体识别的准确性。

2、为实现上述目的，本技术实施例的第一方面提出了一种命名实体识别方法，所述方法包括：

3、获取具有字符标签和样本类别标签的样本文本；其中，所述样本文本包括样本字符和样本实体，所述字符标签用于表示所述样本字符的字符类别，所述字符类别包括以下至少一种：首字符类、尾字符类、中间字符类、过渡字符类、非实体类；所述样本类别标签用于表示所述样本实体的实体类别，所述实体类别包括以下任一种：扁平类、嵌套类、非连续类；

4、将所述样本文本输入至预设的原始实体识别模型；其中，所述原始实体识别模型包括初始编码层、初始位置识别层、初始实体识别层；

5、根据所述初始编码层对所述样本字符进行编码，得到字符向量；

6、根据所述初始位置识别层对所述字符向量进行位置识别，得到初始位置标签；其中，所述初始位置标签用于表示所述样本字符的字符类别；

7、根据所述初始实体识别层对所述样本文本进行命名实体识别，得到识别实体和所述识别实体的初始识别类别标签；其中，所述初始识别类别标签用于表示所述识别实体的实体类别；

8、根据所述初始识别类别标签、所述初始位置标签、所述字符标签、所述样本类别标签对所述原始实体识别模型进行参数调整，得到目标实体识别模型；

9、根据所述目标实体识别模型对获取的待识别文本进行命名实体识别。

10、在一些实施例，所述样本文本还包括样本非实体；

11、所述根据所述初始识别类别标签、所述初始位置标签、所述字符标签、所述样本类别标签对所述原始实体识别模型进行参数调整，得到目标实体识别模型，包括：

12、根据所述样本实体和所述样本非实体得到对比损失数据；

13、根据所述初始位置标签和所述字符标签得到位置损失数据；

14、根据所述初始识别类别标签和所述样本类别标签得到类别损失数据；

15、根据所述对比损失数据、所述位置损失数据、所述类别损失数据对所述原始实体识别模型进行参数调整，得到所述目标实体识别模型。

16、在一些实施例，所述初始位置识别层包括第一分类器、第二分类器、第三分类器、第四分类器和第五分类器；

17、所述根据所述初始位置识别层对所述字符向量进行位置识别，得到初始位置标签，包括：

18、根据所述第一分类器对所述字符向量进行首字符位置识别，得到第一识别结果；

19、根据所述第二分类器对所述字符向量进行尾字符位置识别，得到第二识别结果；

20、根据所述第三分类器对所述字符向量进行中间字符位置识别，得到第三识别结果；

21、根据所述第四分类器对所述字符向量进行过渡字符位置识别，得到第四识别结果；

22、根据所述第五分类器对所述字符向量进行非实体位置识别，得到第五识别结果；

23、根据所述第一识别结果、所述第二识别结果、所述第三识别结果、所述第四识别结果、所述第五识别结果得到所述初始位置标签。

24、在一些实施例，所述根据所述初始实体识别层对所述样本文本进行命名实体识别，得到识别实体和所述识别实体的初始识别类别标签，包括：

25、根据所述初始实体识别层对所述样本文本进行命名实体识别，得到所述识别实体；

26、根据所述识别实体对所述样本字符进行筛选，得到目标字符；

27、将所述目标字符对应的字符向量作为目标向量，对所述目标向量进行均值处理，得到平均数据；

28、对所述平均数据进行归一化处理，得到所述初始识别类别标签。

29、在一些实施例，所述根据所述初始实体识别层对所述样本文本进行命名实体识别，得到识别实体和所述识别实体的初始识别类别标签，包括：

30、根据所述初始实体识别层对所述样本文本进行命名实体识别，得到所述识别实体；

31、根据所述识别实体构建实体索引集合，从所述实体索引集合中得到目标向量；

32、对所述目标向量进行均值处理，得到平均数据；

33、对所述平均数据进行归一化处理，得到所述初始识别类别标签。

34、在一些实施例，所述根据所述样本实体和所述样本非实体得到对比损失数据，包括：

35、对所述样本实体进行组合，得到实体对数据；

36、根据所述实体对数据得到第一向量数据；

37、根据所述样本非实体得到第二向量数据；

38、根据所述第一向量数据和所述第二向量数据得到对比损失数据。

39、在一些实施例，所述目标实体识别模型包括目标编码层、目标位置识别层、目标实体识别层；

40、所述根据所述目标实体识别模型对获取的待识别文本进行命名实体识别，包括：

41、获取所述待识别文本；其中，所述待识别文本包括待识别字符；

42、根据所述目标编码层对所述待识别字符进行编码，得到目标向量；

43、根据所述目标位置识别层对所述目标向量进行位置识别，得到目标位置标签；

44、将所述目标位置标签、所述目标向量输入至所述目标实体识别层进行命名实体识别，得到目标实体和目标识别类别标签。其中，所述目标识别类别标签用于表示所述目标实体的实体类别。

45、为实现上述目的，本技术实施例的第二方面提出了一种命名实体识别装置，所述装置包括：

46、文本获取模块，用于获取具有字符标签和样本类别标签的样本文本；其中，所述样本文本包括样本字符和样本实体，所述字符标签用于表示所述样本字符的字符类别，所述字符类别包括以下至少一种：首字符类、尾字符类、中间字符类、过渡字符类、非实体类；所述样本类别标签用于表示所述样本实体的实体类别，所述实体类别包括以下任一种：扁平类、嵌套类、非连续类；

47、输入模块，用于将所述样本文本输入至预设的原始实体识别模型；其中，所述原始实体识别模型包括初始编码层、初始位置识别层、初始实体识别层；

48、编码模块，用于根据所述初始编码层对所述样本字符进行编码，得到字符向量；

49、位置识别模块，用于根据所述初始位置识别层对所述字符向量进行位置识别，得到初始位置标签；其中，所述初始位置标签用于表示所述样本字符的字符类别；

50、第一命名实体识别模块，用于根据所述初始实体识别层对所述样本文本进行命名实体识别，得到识别实体和所述识别实体的初始识别类别标签；其中，所述初始识别类别标签用于表示所述识别实体的实体类别；

51、参数调整模块，用于根据所述初始识别类别标签、所述初始位置标签、所述字符标签、所述样本类别标签对所述原始实体识别模型进行参数调整，得到目标实体识别模型；

52、第二命名实体识别模块，用于根据所述目标实体识别模型对获取的待识别文本进行命名实体识别。

53、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

54、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

55、本技术提出的命名实体识别方法和装置、电子设备及存储介质,其通过将样本类别标签和初始位置标签设置为集合了首字符类、尾字符类、中间字符类、过渡字符类的标签，使得目标实体识别模型能够准确定位每个字符在具有不同实体类别的实体中的位置，从而实现同时对文本中扁平类、嵌套类、非连续类三种实体类别进行识别，进而能够提高命名实体识别的识别准确性和识别效率。