基于Ernie模型的案件线索要素抽取方法及系统

本发明涉及计算机技术领域，具体地，涉及一种基于ernie模型的案件线索要素抽取方法及系统。

背景技术：

随着公益诉讼案件量大幅提升，公益诉讼线索的体量也有了巨大的增长，因此仅仅依靠检察官人工对线索分析很难满足办案的需要。一方面，公益诉讼案件类型繁多，人工分析线索的效率较低，导致检察机关无法及时介入，造成损害时间的延长。另一方面，人工分析线索的准确度不够，容易造成误判。因此有必要引入人工智能、自然语言处理等信息技术手段辅助检察机关分析公益诉讼线索。

目前抽取公益诉讼线索要素的主要方法还集中于关键词等非智能手段。现有公开号为cn112270633a的中国发明专利公开了“一种基于大数据驱动的公益诉讼线索研判系统和方法”，包括：针对不同的来源渠道及数据特点，制定相应的数据采集方案，并自动从多个渠道动态获取公益诉讼相关的案源信息，并对案源信息进行整合、清洗、转换，形成公益诉讼案源库；基于大数据、自然语言处理等技术，构建公益诉讼线索研判模型，自动对获取的案源信息进行精准分类、分析研判，计算出线索研判指数，并对大于预设阈值的线索主动推送给检察官进行办理。该发明实现了海量案源数据的采集、治理、分析、研判、预警，有效拓展了公益诉讼案源渠道，提升了从海量案源数据中筛查公益诉讼线索的质效，增强了公益诉讼线索发现的及时性、准确性。

该方法以关键词匹配作为获取公益诉讼线索类型、主体、违法后果等要素的手段，无法挖掘出线索文本的深层语义特征，因此无法适应复杂的自然语言文本语料，线索要素抽取的精度较低，容易遗漏线索中的要素或错误抽取要素。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种基于ernie模型的案件线索要素抽取方法及系统。

根据本发明提供的一种基于ernie模型的案件线索要素抽取方法及系统，所述方案如下：

第一方面，提供了一种基于ernie模型的案件线索要素抽取方法，所述方法包括：

步骤1：将线索文本输入到线索分类单元，获取线索文本的线索类型；线索分类单元由ernie模型和关键词匹配构成，根据线索文本中匹配到关键词的次数调整ernie模型输出的权重，并根据所述权重进行分类；

步骤2：将所述线索文本划分为单句集合s1；

步骤3：将单句集合s1中的元素依次输入命名实体识别单元，识别出线索文本中的实体；

步骤4：将所述单句集合s1中的元素依次输入违法行为与违法后果抽取单元，获取线索文本中的违法行为要素和违法后果要素；

步骤5：根据要素组织整合信息，将所述线索类型、实体、违法行为要素和违法后果要素组织整合，获取要素抽取结果。

优选的，所述步骤1中线索类型的类别包括生态环境、国资保护、国土保护、食品安全以及药品安全。

优选的，所述步骤3中的实体为人名、地址、公司名以及组织名。

优选的，所述步骤4中ernie模型的输入包括单句的位置特征。

优选的，所述步骤4中ernie模型的损失函数为多分类focal-loss，所述多分类focal-loss能够让ernie模型更加关注难分类的样本。

第二方面，提供了一种基于ernie模型的案件线索要素抽取系统，所述系统包括：

模块1：将线索文本输入到线索分类单元，获取线索文本的线索类型；线索分类单元由ernie模型和关键词匹配构成，根据线索文本中匹配到关键词的次数调整ernie模型输出的权重，并根据所述权重进行分类；

模块2：将所述线索文本划分为单句集合s1；

模块3：将单句集合s1中的元素依次输入命名实体识别单元，识别出线索文本中的实体；

模块4：将所述单句集合s1中的元素依次输入违法行为与违法后果抽取单元，获取线索文本中的违法行为要素和违法后果要素；

模块5：根据要素组织整合信息，将所述线索类型、实体、违法行为要素和违法后果要素组织整合，获取要素抽取结果。

优选的，所述模块1中线索类型的类别包括生态环境、国资保护、国土保护、食品安全以及药品安全。

优选的，所述模块3中的实体为人名、地址、公司名以及组织名。

优选的，所述模块4中ernie模型的输入包括单句的位置特征。

优选的，所述模块4中ernie模型的损失函数为多分类focal-loss，所述多分类focal-loss能够让ernie模型更加关注难分类的样本。

与现有技术相比，本发明具有如下的有益效果：

1、对经过预训练的ernie模型采用公益诉讼线索领域内文本进行微调，使模型能够挖掘出线索文本的深层语义特征，在复杂的公益诉讼线索文本语料中可以更加精确地抽取出线索要素，克服了现有技术抽取精度低、容易遗漏线索要素或错误抽取线索要素的缺点；

2、采取多种手段优化模型，在进行文本分类时，结合关键词匹配提高对难分类的样本分类效果；在进行命名实体识别时，在ernie模型后接条件随机场，提高命名实体识别的精度；在进行违法行为和违法后果抽取时，修改ernie模型的输入层，使ernie模型能够获得语句的位置特征向量，并使用多分类focal-loss为损失函数，提高违法行为和违法后果要素的抽取效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中要素抽取的流程图；

图2为本申请实施例中线索分类单元示意图；

图3为本申请实施例中命名实体识别单元示意图；

图4为本申请实施例中违法行为和违法后果抽取单元示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种基于ernie模型的案件线索要素抽取方法，参照图1和图2所示，具体步骤如下：

首先，将线索文本输入到线索分类单元，获取线索文本的线索类型；线索分类单元由ernie模型和关键词匹配构成，根据线索文本中匹配到关键词的次数调整ernie模型输出的权重，并根据所述权重进行分类；再将线索文本划分为单句集合s1；其中，本实施例中线索类型分为生态环境、国资保护、国土保护、食品安全、药品安全等五个类别。

其次，参照图3和图4所示，将单句集合s1中的元素依次输入命名实体识别单元，识别出线索文本中的实体；命名实体识别单元由ernie模型和条件随机场构成，条件随机场根据词性规律从ernie模型的输出结果中找到最合适的标注；本实施例中的实体为人名、地址、公司名以及组织名。

随后，将单句集合s1中的元素依次输入违法行为与违法后果抽取单元，获取线索文本中的违法行为要素和违法后果要素；违法行为与违法后果抽取单元由ernie模型和全连接层构成。其中，ernie模型的输入包括单句的位置特征；ernie模型的损失函数为多分类focal-loss，多分类focal-loss能够让ernie模型更加关注难分类的样本。

最后，根据要素组织整合信息，将所述线索类型、实体、违法行为要素和违法后果要素组织整合，获取要素抽取结果。

本发明还提供了一种基于ernie模型的案件线索要素抽取系统，该系统具体包括以下模块：

模块1：将线索文本输入到线索分类单元，获取线索文本的线索类型；线索分类单元由ernie模型和关键词匹配构成，根据线索文本中匹配到关键词的次数调整ernie模型输出的权重，并根据所述权重进行分类。

模块2：将线索文本划分为单句集合s1；

模块3：将单句集合s1中的元素依次输入命名实体识别单元，识别出线索文本中的实体；命名实体识别单元由ernie模型和条件随机场构成，条件随机场根据词性规律从ernie模型的输出结果中找到最合适的标注。

模块4：将单句集合s1中的元素依次输入违法行为与违法后果抽取单元，获取线索文本中的违法行为要素和违法后果要素；违法行为与违法后果抽取单元由ernie模型和全连接层构成。

模块5：根据要素组织整合信息，将所述线索类型、实体、违法行为要素和违法后果要素组织整合，获取要素抽取结果。

进一步的，在模块1中，线索类型分为生态环境、国资保护、国土保护、食品安全以及药品安全等五个类别。在模块3中讲述的实体为人名、地址、公司名以及组织名。

模块4中ernie模型的输入包括单句的位置特征，且ernie模型的损失函数为多分类focal-loss，多分类focal-loss能够让ernie模型更加关注难分类的样本。

本发明实施例提供了一种基于ernie模型的案件线索要素抽取方法及系统，对经过预训练的ernie模型采用公益诉讼线索领域内文本进行微调，使模型能够挖掘出线索文本的深层语义特征，在复杂的公益诉讼线索文本语料中可以更加精确地抽取出线索要素，克服了现有技术抽取精度低、容易遗漏线索要素或错误抽取线索要素的缺点；同时采取多种手段优化模型，在进行文本分类时，结合关键词匹配提高对难分类的样本分类效果；在进行命名实体识别时，在ernie模型后接条件随机场，提高命名实体识别的精度。在进行违法行为和违法后果抽取时，修改ernie模型的输入层，使ernie模型能够获得语句的位置特征向量，并使用多分类focal-loss为损失函数，提高违法行为和违法后果要素的抽取效果。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。