一种实体识别方法、模型训练方法及装置与流程

1.本发明涉及信息处理技术领域，尤其涉及一种实体识别方法、模型训练方法及装置。


背景技术：

2.实体识别(也可称为命名实体识别(named entity recognition，简称ner))，是指别文本中具有特定意义的实体，例如，人名、地名、机构名、专有名词等。随着问答系统(如客服问答系统)等智能系统的应用越来越广泛，实体识别作为自然语言处理的一部分，也变得越来越重要。
3.然而，在现有技术中，通常是基于采集到的所有的训练样本训练一实体识别模型，对于用户输入的全部的文本，均采用该单一的实体识别模型进行实体识别，实体识别的准确性较低。


技术实现要素：

4.本发明实施例提供一种实体识别方法、模型训练方法及装置，以解决现有技术中实体识别准确率较低的问题。
5.为了解决上述技术问题，本发明是这样实现的：
6.第一方面，本发明实施例提供了一种实体识别方法。该方法包括：
7.获取待识别的目标文本；
8.确定所述目标文本对应的第一场景；
9.从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的；
10.将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。
11.第二方面，本发明实施例提供了一种模型训练方法。该方法包括：
12.对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景；
13.分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息；
14.分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。
15.第三方面，本发明实施例还提供一种实体识别装置。该装置包括：
16.第一获取模块，用于获取待识别的目标文本；
17.确定模块，用于确定所述目标文本对应的第一场景；
18.第二获取模块，用于从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不
同场景的语料训练得到的；
19.输入模块，用于将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。
20.第四方面，本发明实施例还提供一种模型训练装置。该包括：
21.聚类模块，用于所述从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型之前，对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景；
22.获取模块，用于分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息；
23.训练模块，用于分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。
24.第五方面，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的实体识别方法的步骤，或者实现上述的模型训练方法的步骤。
25.第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的实体识别方法的步骤，或者实现上述的模型训练方法的步骤。
26.本发明实施例中，通过获取待识别的目标文本；确定所述目标文本对应的第一场景；从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的；将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。由于不同场景的文本通过由不同场景的语料训练得到的实体识别模型进行实体识别，从而可以提高实体识别的准确率。
附图说明
27.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1是本发明实施例提供的实体识别方法的流程图；
29.图2是本发明实施例提供的客服应答方法的流程图；
30.图3是本发明实施例提供的模型训练方法的流程图；
31.图4是本发明实施例提供的实体识别装置的结构图；
32.图5是本发明实施例提供的模型训练装置的结构图；
33.图6是本发明又一实施例提供的实体识别装置的结构图；
34.图7是本发明又一实施例提供的模型训练装置的结构图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明实施例提供一种实体识别方法。参见图1，图1是本发明实施例提供的实体识别方法的流程图，如图1所示，包括以下步骤：
37.步骤101、获取待识别的目标文本。
38.本实施例中，上述目标文本可以是用户输入的文本，也可以是基于用户输入的语音转换得到的文本。
39.步骤102、确定所述目标文本对应的第一场景。
40.本实施例中，可以通过对目标文本进行识别，以得到目标文本对应的场景，也即第一场景。例如，若识别到目标文本包括地址信息和安装费用信息，可以确定为配送安装场景；若识别到目标文本包括商品型号信息和价钱信息，可以确定为商品咨询场景。
41.步骤103、从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的。
42.本实施例中，上述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的。例如，对应于商品咨询场景的实体识别模型可以是基于商品咨询相关的语料训练得到的，对应于配送安装场景的实体识别模型可以是基于配送安装相关的语料训练得到的。
43.需要说明的是，上述不同场景对应的实体识别模型还可以包括某一范围较大的场景细分得到的多个场景对应的实体识别模型。例如，对于配送安装场景对应的实体识别模型，还可以细分为第一安装配送场景(如对应于省市区的安装配送场景)对应的实体识别模型和第二安装配送场景(也即对应于详细地址的安装配送场景)对应的实体识别模型。
44.此外，上述实体识别模型可以是基于卷积神经网络、长短期记忆网络(long short-term memory，lstm)、条件随机场(conditional random field，crf)等中的一个或多个训练得到的模型，本实施例对此不做限定。
45.需要说明的是，若至少两个实体识别模型中存在与第一场景对应的实体识别模型，则可以从至少两个实体识别模型获取与第一场景对应的实体识别模型；若不存在，则可以结束流程，也可以采用其他方式进行实体识别，例如，采用人工的方式进行实体识别。
46.可选的，本实施例还可以预先存储基于多个场景的语料训练得到的目标实体识别模型，这样在上述至少两个实体识别模型中不存在与第一场景对应的实体识别模型的情况下，可以基于目标实体识别模型对目标文本进行实体识别。
47.步骤104、将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。
48.本实施例中，将待识别的目标文本输入至与其场景对应的实体识别模型中进行实体识别，得到目标文本的实体识别结果。
49.由于基于特定场景的训练语料训练得到的实体识别模型对该特定场景的文本进行实体识别的准确率往往高于基于所有场景的训练语料训练的实体识别模型对特定场景的文本的实体识别的准确率。因此，本实施例中对于不同场景的文本通过由不同场景的语
料训练得到的实体识别模型进行实体识别，可以提高实体识别的准确性。
50.可选的，上述步骤102，也即所述确定所述目标文本对应的第一场景，可以包括：
51.对所述目标文本进行意图识别，得到至少两个意图；
52.将所述至少两个意图中概率值满足预设条件的意图作为所述目标文本对应的第一场景。
53.本实施例中，对目标文本进行意图识别，可以得到至少两个意图和每个意图的概率值，并可以从至少两个意图中选择概率值满足预设条件的意图作为所述目标文本对应的场景(也即第一场景)。例如，可以从至少两个意图中选择概率值大于或等于预设概率值的意图作为目标文本对应的场景，其中，预设概率值可以根据实际需求进行合理设置，例如，20％、25％等；也可以从至少两个意图中选择概率值按照从大到小排序时位于前k的意图作为目标文本对应的场景，其中，k可以根据实际需求进行合理设置，例如，2、3等。
54.可选的，可以利用预先训练的意图识别模型对目标文本进行意图识别。
55.本实施例中，若目标文本对应的场景(即第一场景)的数量为一个，则可以直接基于该第一场景对应的实体识别模型对目标文本进行识别，得到目标文本的实体识别结果；若目标文本对应的场景(即第一场景)的数量为多个，则可以综合多个场景对应的实体识别模型对目标文本的实体识别结果确定目标文本的实体识别结果，也可以从多个场景对应的实体识别模型对目标文本的实体识别结果中选择一实体识别模型对目标文本的实体识别结果作为目标文本的实体识别结果。
56.本实施例通过对目标文本进行意图识别以确定目标文本对应的场景，可以提高目标文本对应的场景确定的准确性。
57.可选的，所述从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，包括：
58.若所述第一场景的数量为至少两个，则从所述至少两个实体识别模型中分别获取每个所述第一场景对应的实体识别模型；
59.所述将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果，包括：
60.分别将所述目标文本输入每个所述第一场景对应的实体识别模型中，得到每个目标实体识别模型对应的实体识别结果，其中，所述目标实体识别模型为所述第一场景对应的实体识别模型；
61.根据每个所述目标实体识别模型对应的实体识别结果，确定所述目标文本的实体识别结果。
62.本实施例中，可以在识别到目标文本对应至少两个场景的情况下，可以分别基于该目标文本对应的每个场景对应的实体识别模型(也即目标实体识别模型)对目标文本进行实体识别，得到该目标文本对应的每个场景对应的实体识别模型对应的实体识别结果，进而可以基于该目标文本对应的每个场景对应的实体识别模型对应的实体识别结果确定目标文本的实体识别结果，例如，可以将该目标文本对应的每个场景对应的实体识别模型对应的实体识别结果的并集作为目标文本对应的实体识别结果。
63.实际应用中，若某一文本的实体特征较多，则可以通过某一范围较大的场景细分的多个场景对应的实体识别模型分别对该文本进行实体识别，得到多个实体识别结果，并
可以基于多个实体识别结果确定目标文本对应的实体识别结果，可以提高实体识别的准确率。
64.例如，若目标文本为：xx省xx市xx区xx街道xx小区xx栋xx号，则可以确定该目标文本对应于第一安装配送场景(如对应于省市区的安装配送场景)和第二安装配送场景(如对应于详细地址的安装配送场景)，此时可以利用上述第一安装配送场景对应的实体识别模型对上述目标文本进行实体识别，并利用上述第二安装配送场景对应的实体识别模型对上述标文本进行实体识别，并可以将上述第一安装配送场景对应的实体识别模型的实体识别结果和上述第二安装配送场景对应的实体识别模型的实体识别结果的并集作为该目标文本的实体识别结果。
65.本实施例可以分别基于不同场景对应的实体识别模型对同一文本进行实体识别，并综合不同场景对应的实体识别模型的实体识别结果确定该文本的实体识别结果，可以提高实体识别的准确率。
66.可选的，在本发明实施例的实体识别方法应用于客服问答系统的情况下，所述方法还可以包括：在所述至少两个实体识别模型中不存在与所述第一场景对应的实体识别模型的情况下，可以切换至人工客服模式，也即通过人工对用户输入的问题进行回复。
67.可选的，本实施例还可以预先为不同场景配置对应的问答话术，这样在得到目标文本的实体识别结果之后，可以基于目标文本对应的场景对应的问答话术向用户提问以获取查询目标文本对应答案的条件，例如，对于尺码场景，若用户输入的问题为174推荐什么尺码，则可以输出提问信息：请问你多重；对于安装配送场景，若用户输入的问题携带有地址信息，则可以输出提问信息：请补充完整地址信息。这样可以较为准确的回复用户的问题，还可以改善问答过程中用户的体验。
68.以下以客服问答系统应用为例进行说明：
69.参见图2，本实施例提供的客服问答方法包括如下步骤：
70.步骤201、接收用户输入的文本。
71.步骤202、对用户输入的文本进行意图识别。
72.步骤203、若存在与意图识别确定的场景对应的实体识别模型，则利用该实体识别模型对用户输入的文本进行实体识别，否则进入人工客服模式。
73.该步骤中，在利用该实体识别模型对用户输入的文本进行实体识别之后，可以基于实体识别结果执行后续的问答流程。
74.本实施例还可以预先为不同场景配置对应的问答话术，这样在问答过程中，在利用实体识别模型对用户输入问题(也即用户输入的文本)进行实体识别之后，可以通过向用户提问的方式获取查询用户输入问题的答案所需条件。例如，对于尺码场景，若用户输入的问题为174推荐什么尺码，此时可以输出提问信息：请问你多重。若接收到用户回复的体重，则可以根据身高和体重来进行尺码推荐，完成流程；若未接收到用户回复的体重，则可以提醒人工客服协助解决用户的问题，而用户输入问题的实体信息可以展示在人工客服的聊天界面的面板上，帮助人工客服完成流程。
75.可选的，所述实体识别模型可以为基于lstm和crf训练得到的模型。
76.本实施例基于lstm和crf训练实体识别模型，可以提高实体识别模型的实体识别的准确率。
77.可选的，所述方法还可以包括：
78.训练所述至少两个实体识别模型。
79.例如，可以对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景；分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息；分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。
80.本发明实施例还提供一种模型训练方法，上述的至少两个实体识别模型可以是基于本发明实施例提供的模型训练方法训练得到的。参见图3，图3是本发明实施例提供的模型训练方法的流程图，如图3所示，包括以下步骤：
81.步骤301、对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景。
82.步骤302、分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息。
83.步骤303、分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。
84.本实施例中，可以对采集的n个语料进行聚类，以得到对应于不同的场景的聚类簇。以本实施例提供的实体识别方法应用于客服机器人为例，上述n个语料可以是收集的具体行业(比如家电行业、服装行业等)中客服与顾客的对话数据。
85.可选的，可以采用k-means、高斯混合模型、层次聚类或均值漂移聚类等聚类算法对采集的n个语料进行聚类。以k-means聚类为例，可以根据用于训练的语料的数量(即n)来设置k-means聚类簇值，可选的，用于训练的语料的数量越大，聚类簇值可以设置的越大。
86.例如，当用于训练的语料的数量较大时，可以设置较大的聚类簇值，当用于训练的语料较少时，可以设置较小的聚类簇值，在聚类后，当聚类簇值较大时可以选取前10的聚类文本，当聚类簇值较小时可以选取前5的聚类文本，并可对每个聚类簇(也即类别)的文本进行分析，以确定各个聚类族对应的场景。例如，家电行业就会聚类出：xx省xx市xx区xx街道送货不，安装费多少，可以确定为配送安装场景；xx电视xx尺寸xx型号，多少钱，可以确定为货物咨询场景，等等。
87.在得到至少两个聚类族之后，可以获取每个聚类族中的每条语料的目标标注信息，进而可以分别根据每个聚类族的语料和其目标标注信息训练实体识别模型，得到每个聚类簇对应的实体识别模型，也即每个场景对应的实体识别模型。
88.其中，上述每条语料的目标标注信息可以是接收的用户针对该语料的标注信息，也可以是根据该语料的内容自动生成的标注信息。其中，每条语料的目标标注信息的标注格式可以根据实际情况进行合理设置，例如，对于安装配送场景的地址相关语料，其标注格式可以为：省、市、区；对于商品咨询场景的型号相关语料，其标注格式可以为：商品名称、品牌、型号；等等。
89.本实施例通过对获取的n个语料进行聚类，得到至少两个聚类簇，并分别根据至少两个聚类簇中每个聚类簇的语料及其目标标注信息训练得到该聚类簇对应的实体识别模型，不仅可以降低模型训练的复杂度，还可以提高训练得到的实体识别模型对其对应场景的文本实体识别的准确率。
90.可选的，所述分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信
息，包括：
91.通过预设的正则表达式分别匹配出第一聚类簇中每条语料的实体，其中，所述第一聚类簇为所述至少两个聚类簇中任一聚类簇；
92.分别根据所述第一聚类簇中每条语料的实体生成所述第一聚类簇中每条语料的初始标注信息；
93.分别对所述第一聚类簇中每条语料的初始标注信息进行校验，得到所述第一聚类簇中每条语料的目标标注信息，其中，所述语料的目标标注信息为所述语料的初始标注信息校验后的标注信息。
94.本实施例中，可以通过预设的正则表达式匹配出每个聚类簇中每条语料的实体。可选的，不同场景的聚类簇的语料可以设置不同的正则表达式，以提高正则匹配的准确性。
95.例如，以python格式的正则表达式为例，对于配送安装场景相关的训练预料，可以通过如下正则表达式提取地址实体：r'([\u4e00-\u9fa5]{2,5}？(？:省|自治区|市)){0,1}([\u4e00-\u9fa5]{2,7}？(？:区|县|州)){0,1}([\u4e00-\u9fa5]{2,7}？(？:村|镇|街道)){1}'，若训练预料为湖南省长沙市岳麓区，则可以提取出如下实体：湖南，长沙，岳麓；对于商品咨询场景相关的训练预料，可以通过如下正则表达式提取身高和体重实体：r'([1-9]\d{0,3}？(？:kg|cm)){0,1}'，若训练预料为身高180cm体重80kg，则可以提取出如下实体：180，80。
[0096]
具体的，在匹配得到每条语料的实体之后，可以基于每条语料的实体按照预设的标注格式生成该语料的初始标注信息。实际情况中，由于自动生成的每条语料的初始标注信息容易发生错误，因此，可以对每条语料的初始标注信息进行校验，例如，可以结合用户操作对每条语料的初始标注信息进行校验，若某条语料的初始标注信息不合格，则可以接收用户对该语料的初始标注信息的修改操作，并基于该修改操作修改该语料的初始标注信息，得到该语料的目标标注信息；若是某条语料的初始标注信息合格，则可以直接将该语料的初始标注信息作为该语料的目标标注信息。
[0097]
本实施例通过自动生成每条语料的初始标注信息，并对每条语料的初始标注信息进行校验，得到每条语料的目标标注信息，这样不仅可以在保证语料标注的准确性的同时提高语料标注的效率，并节省人工成本。
[0098]
可选的，所述分别根据所述第一聚类簇中每条语料的实体生成所述第一聚类簇中每条语料的初始标注信息，可以包括：
[0099]
若第一语料的实体的数量m超过预设值，则按照预设分组规则将所述第一语料的m个实体分成至少两个实体组，其中，所述第一语料为所述第一聚类簇中的任一语料，所述至少两个实体组中每个实体组的实体数量小于或等于r；
[0100]
分别根据所述至少两个实体组中每个实体组的实体生成初始标注信息，得到所述第一语料的至少两个初始标注信息。
[0101]
本实施例中，上述预设值可以根据实际需求进行合理设置，例如，预设值可以为5、6等。
[0102]
上述预设分组规则也可以根据实际需求进行合理设置，可选的，不同场景的语料可以对应不同的预设分组规则。例如，对于地址相关的语料，可以按照地址的层级进行分组，如对于地址信息如下的语料：xx省xx市xx区xx街道xx小区xx栋xx号，则可以按照省市区
(即xx省xx市xx区)和详细地址(即xx街道xx小区xx栋xx号)两个层级来进行标注，得到该语料的两条初始标注信息。
[0103]
可选的，对于每条语料的多条标注信息，可以分别用于训练该语料对应的场景所细分的不同场景的实体识别模型。例如，对于配送安装场景，可以通过语料按照省市区的标注信息训练第一安装配送场景(如对应于省市区的安装配送场景)对应的实体识别模型，可以通过语料按照详细地址的标注信息训练第二安装配送场景(也即对应于详细地址的安装配送场景)对应的实体识别模型。
[0104]
实际应用中，实体特征越多，标注效率越低。此外，实体特征越多，实体识别模型训练所需要的训练语料数量也越多，实体识别模型预测的准确性也会相应下降。本实施例通过对实体特征较多的语料进行进一步的场景细分，也即在第一语料的实体的数量m超过预设值的情况下，按照预设分组规则将所述第一语料的m个实体进行分组，以保证每个语料标注的实体数量不超过预设值，这样不仅可以提高语料标注的效率，还可以降低实体识别模型训练的复杂度和提高训练得到的实体识别模型进行实体识别的准确率。
[0105]
可选的，所述分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型，可以包括：
[0106]
分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息，对长短期记忆网络lstm和条件随机场crf进行训练，得到至少两个实体识别模型。
[0107]
本实施例基于lstm和crf训练实体识别模型，可以提高实体识别模型的实体识别的准确率。
[0108]
参见图4，图4是本发明实施例提供的实体识别装置的结构图。如图4所示，实体识别装置400包括：
[0109]
第一获取模块401，用于获取待识别的目标文本；
[0110]
确定模块402，用于确定所述目标文本对应的第一场景；
[0111]
第二获取模块403，用于从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的；
[0112]
输入模块404，用于将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。
[0113]
可选的，所述确定模块具体用于：
[0114]
对所述目标文本进行意图识别，得到至少两个意图；
[0115]
将所述至少两个意图中概率值满足预设条件的意图作为所述目标文本对应的第一场景。
[0116]
可选的，所述第二获取模块具体用于：
[0117]
若所述第一场景的数量为至少两个，则从所述至少两个实体识别模型中分别获取每个所述第一场景对应的实体识别模型；
[0118]
所述输入模块具体用于：
[0119]
分别将所述目标文本输入每个所述第一场景对应的实体识别模型中，得到每个目标实体识别模型对应的实体识别结果，其中，所述目标实体识别模型为所述第一场景对应的实体识别模型；
[0120]
根据每个所述目标实体识别模型对应的实体识别结果，确定所述目标文本的实体识别结果。
[0121]
可选的，所述实体识别模型为基于长短期记忆网络lstm和条件随机场crf训练得到的模型。
[0122]
可选的，所述装置还包括：
[0123]
训练模块，用于训练所述至少两个实体识别模型。
[0124]
本发明实施例提供的实体识别装置400能够实现上述实体识别方法实施例中的各个过程，为避免重复，这里不再赘述。
[0125]
本发明实施例的实体识别装置400，第一获取模块401，用于获取待识别的目标文本；确定模块402，用于确定所述目标文本对应的第一场景；第二获取模块403，用于从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的；输入模块404，用于将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。由于不同场景的文本通过由不同场景的语料训练得到的实体识别模型进行实体识别，从而可以提高实体识别的准确性。
[0126]
参见图5，图5是本发明实施例提供的模型训练装置的结构图。如图5所示，模型训练装置500包括：
[0127]
聚类模块501，用于所述从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型之前，对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景；
[0128]
获取模块502，用于分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息；
[0129]
训练模块503，用于分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。
[0130]
可选的，所述获取模块，包括：
[0131]
匹配单元，用于通过预设的正则表达式分别匹配出第一聚类簇中每条语料的实体，其中，所述第一聚类簇为所述至少两个聚类簇中任一聚类簇；
[0132]
生成单元，用于分别根据所述第一聚类簇中每条语料的实体生成所述第一聚类簇中每条语料的初始标注信息；
[0133]
校验单元，用于分别对所述第一聚类簇中每条语料的初始标注信息进行校验，得到所述第一聚类簇中每条语料的目标标注信息，其中，所述语料的目标标注信息为所述语料的初始标注信息校验后的标注信息。
[0134]
可选的，所述生成单元具体用于：
[0135]
若第一语料的实体的数量m超过预设值，则按照预设分组规则将所述第一语料的m个实体分成至少两个实体组，其中，所述第一语料为所述第一聚类簇中的任一语料，所述至少两个实体组中每个实体组的实体数量小于或等于r；
[0136]
分别根据所述至少两个实体组中每个实体组的实体生成初始标注信息，得到所述第一语料的至少两个初始标注信息。
[0137]
可选的，所述训练模块具体用于：
[0138]
分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息，对长短期记忆网络lstm和条件随机场crf进行训练，得到至少两个实体识别模型。
[0139]
本发明实施例提供的模型训练装置500能够实现上述模型训练方法实施例中的各个过程，为避免重复，这里不再赘述。
[0140]
本发明实施例的模型训练装置500，聚类模块501，用于所述从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型之前，对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景；获取模块502，用于分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息；训练模块503，用于分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。不仅可以降低模型训练的复杂度，还可以提高训练得到的实体识别模型对其对应场景的文本实体识别的准确率。
[0141]
参见图6，图6是本发明又一实施提供的实体识别装置的结构图，如图6所示，实体识别装置600包括：处理器601、存储器602及存储在所述存储器602上并可在所述处理器上运行的计算机程序，实体识别装置600中的各个组件通过总线接口603耦合在一起，所述计算机程序被所述处理器601执行时实现如下步骤：
[0142]
获取待识别的目标文本；
[0143]
确定所述目标文本对应的第一场景；
[0144]
从预先训练的至少两个实体识别模型中获取与所述第一场景对应的实体识别模型，其中，所述至少两个实体识别模型中不同的实体识别模型为基于不同场景的语料训练得到的；
[0145]
将所述目标文本输入与所述第一场景对应的实体识别模型中，得到所述目标文本的实体识别结果。
[0146]
可选的，所述计算机程序被所述处理器601执行时还用于：
[0147]
对所述目标文本进行意图识别，得到至少两个意图；
[0148]
将所述至少两个意图中概率值满足预设条件的意图作为所述目标文本对应的第一场景。
[0149]
可选的，所述计算机程序被所述处理器601执行时还用于：
[0150]
若所述第一场景的数量为至少两个，则从所述至少两个实体识别模型中分别获取每个所述第一场景对应的实体识别模型；
[0151]
分别将所述目标文本输入每个所述第一场景对应的实体识别模型中，得到每个目标实体识别模型对应的实体识别结果，其中，所述目标实体识别模型为所述第一场景对应的实体识别模型；
[0152]
根据每个所述目标实体识别模型对应的实体识别结果，确定所述目标文本的实体识别结果。
[0153]
可选的，所述实体识别模型为基于长短期记忆网络lstm和条件随机场crf训练得到的模型。
[0154]
参见图7，图7是本发明又一实施提供的模型训练装置的结构图，如图7所示，模型训练装置700包括：处理器701、存储器702及存储在所述存储器702上并可在所述处理器上运行的计算机程序，模型训练装置700中的各个组件通过总线接口703耦合在一起，所述计
算机程序被所述处理器701执行时实现如下步骤：
[0155]
对获取的n个语料进行聚类，得到至少两个聚类簇，其中，n为大于1的整数，所述至少两个聚类簇中不同的聚类簇对应不同的场景；
[0156]
分别获取所述至少两个聚类簇中每个聚类簇的语料的目标标注信息；
[0157]
分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息进行模型训练，得到至少两个实体识别模型。
[0158]
可选的，所述计算机程序被所述处理器701执行时还用于：
[0159]
通过预设的正则表达式分别匹配出第一聚类簇中每条语料的实体，其中，所述第一聚类簇为所述至少两个聚类簇中任一聚类簇；
[0160]
分别根据所述第一聚类簇中每条语料的实体生成所述第一聚类簇中每条语料的初始标注信息；
[0161]
分别对所述第一聚类簇中每条语料的初始标注信息进行校验，得到所述第一聚类簇中每条语料的目标标注信息，其中，所述语料的目标标注信息为所述语料的初始标注信息校验后的标注信息。
[0162]
可选的，所述计算机程序被所述处理器701执行时还用于：
[0163]
若第一语料的实体的数量m超过预设值，则按照预设分组规则将所述第一语料的m个实体分成至少两个实体组，其中，所述第一语料为所述第一聚类簇中的任一语料，所述至少两个实体组中每个实体组的实体数量小于或等于r；
[0164]
分别根据所述至少两个实体组中每个实体组的实体生成初始标注信息，得到所述第一语料的至少两个初始标注信息。
[0165]
可选的，所述计算机程序被所述处理器701执行时还用于：
[0166]
分别根据所述至少两个聚类簇中每个聚类簇的语料及其目标标注信息，对长短期记忆网络lstm和条件随机场crf进行训练，得到至少两个实体识别模型。
[0167]
本发明实施例还提供一种电子设备装置，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述实体识别方法实施例的各个过程，或者实现上述模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0168]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实体识别方法实施例的各个过程，或者实现上述模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0169]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0170]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0171]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。