一种基于Bert-Crf的装配质量知识实体识别方法

本发明涉及一种复杂产品装配质量控制技术，尤其是一种复杂产品装配质量知识实体识别技术，它一种针对提高复杂产品装配质量实体识别效果的命名实体识别方法，具体地说是一种以命名实体识别作为主任务和句子分类作为辅助任务的基于bert-crf的装配质量知识实体识别方法。

背景技术：

1、目前，复杂产品装配企业仍大多采用质量文件来表达装配质量知识，然而以文字为主要形式的质量文件的指导性不强，无法清晰表达装配质量的耦合关系和质量管理特点；文档资料又往往需要借助大量的文字表达质量信息，在质量管理人员阅读装配质量文件时，需要人为地从大段文字中找到自己关注的质量知识，导致质量管理效率低下。基于此，考虑构建复杂产品装配质量知识体系，然后从企业现有的文档资料中抽取已经定义好的装配质量知识实体，以图谱的方式直观简洁地展示装配质量知识，以此来更好地指导复杂产品装配质量管理。

2、命名实体识别的主要任务是从大量的自然语言文本中识别出不同类型的实体，并标注其类型，它的目标是高效且准确地识别文本中知识实体的类型，该任务属于自然语言处理中的一项基础任务，为后续句法分析、构建领域知识库、知识问答等自然语言处理中的下游任务做准备。随着时间的推移，命名实体识别任务采用的研究方法不断演变，最初人们普遍采用基于规则的方法，该方法有一定的局限性；随着机器学习的发展，基于统计学的方法逐渐受到广泛关注；近年来，深度学习的应用使得这一任务迈入了一个全新的发展阶段。最近ner任务又展现出新的发展趋势，包括将注意力机制、迁移学习等等应用到命名实体识别任务中。本发明基于装配工艺语句的特点，提出一种以命名实体识别作为主任务和句子分类作为辅助任务的基于bert-crf的复杂产品装配质量知识实体识别方法。

技术实现思路

1、本发明的目的是针对目前复杂产品装配企业仍采用纸质的装配质量文件来存储装配质量知识，其中蕴含的复杂的装配质量语义知识都是用自然语言描述，没有标准或者规范约束，使得其指导性较差及不能满足机器学习需求的问题，提出了一种以命名实体识别作为主任务和句子分类作为辅助任务的基于bert-crf的装配质量知识实体识别方法，自动抽取文本中的装配质量知识实体，更好地管理复杂产品装配质量知识。

2、本发明的技术方案是：

3、一种基于bert-crf的装配质量知识实体识别方法，其特征是：首先，建立复杂产品装配质量知识体系；然后建立基于bert-crf的装配质量知识实体识别模型；最后采用测试集对模型进行性能评估，对模型进行合理调参来提升模型性能，实现装配质量知识实体识别。具体包括以下步骤：

4、步骤1：建立复杂产品装配质量知识体系；

5、步骤2：从企业提供的质量跟踪卡、质量分析报告、质量履历书等装配质量相关文档中获取复杂产品装配质量知识相关数据，对复杂产品装配相关实体进行标注，制作复杂产品装配质量知识数据集；

6、步骤3：使用复杂产品装配质量知识数据集训练bert-crf模型；

7、步骤4：采用测试集对模型进行性能评估，对模型进行合理调参来提升模型性能，实现装配质量知识实体识别。

8、进一步，所述步骤(1)中，为了避免复杂产品装配质量信息的交叉和冗余，便于企业管理，可以采用线分类法按照质量信息的时序将其划分为六类：质量文档、配套件质量、装配过程质量、售后质量、工艺和设计。

9、另外，客户要求在复杂产品交付验收时企业必须将产品连同产品质量履历书一起交付客户。为此企业需要耗费大量的人力和时间将散布在产品装配各个环节中的质量信息收集整理，根据行业标准qj2999-97的要求，企业从复杂产品的质量文档中抽取出规定的内容编写成产品质量履历书。

10、进一步，所述步骤(3)中，bert是谷歌提出的基于transformer的深度学习模型，bert模型的训练过程分为两个阶段：预训练和微调。在预训练阶段，使用大规模的无标签文本数据对bert进行训练。通过mlm(masked language model)和nsp(next sentenceprediction)这两个任务，模型学到了深层次的双向语义表示。在训练期间，bert的模型参数被不断调整以最小化任务的损失函数。在微调阶段，bert模型可以根据具体任务(如文本分类、命名实体识别等)使用标记的有监督数据进行微调，微调可以使模型适应特定任务的语境和特征。

11、bert生成词向量的步骤如下：1)输入预处理：将输入句子进行标记化和分段处理，并添加特殊的开始和结束标记；2)生成位置嵌入：bert使用位置嵌入向量来表示每个单词在句子中的位置，以便模型可以了解每个单词的上下文环境；3)生成类型嵌入：bert使用类型嵌入向量来表示输入的文本是原始文本还是下一句话，用于训练next sentenceprediction任务；4)多层transformer编码器：bert使用多层transformer编码器来学习单词之间的交互作用，并生成每个单词的向量表示；5)池化：通过对所有单词的向量表示进行平均池化或最大池化，生成整个句子的向量表示；6)全连接层：使用一个或多个全连接层来进一步处理池化向量，并生成最终的输出向量表示；7)输出：输出语义特征丰富的词向量。

12、在ner任务中，一个标签的出现通常受到相邻标签的影响。例如，在一个命名实体之后，很可能出现一个标记为“o”(非实体)的标签。crf模块有助于建模这种标签之间的条件依赖关系，确保模型输出的标签序列是合理的，符合实际语法结构,所以将crf融合到bert模块的最后一层中，即相当于对bert层的信息进行再利用，进而获得全局最优的标记序列。

13、进一步，所述步骤(4)中，采用测试集对模型进行性能评估，对模型进行合理调参来提升模型性能，实现装配质量实体识别,最终选定面向中文的预训练模型bert_wwm，其含有12个transformer层，768维隐藏层和12头多头注意力机制。学习率设置为1e-4，优化器选择adam，迭代次数为100。

14、本发明的有益效果是：

15、1.本发明结合复杂产品装配生产的特点，研究装配生产三大重要环节的质量管理流程，初步建立了复杂产品装配质量知识体系。

16、2.本发明针对装配质量文本特点，设计了基于bert-crf的装配质量知识实体识别方法，实现自然语言文本中的装配质量实体自动抽取和分类，提高装配质量知识实体识别的精确度。

技术特征：

1.一种基于bert-crf的装配质量知识实体识别方法，其特征是：首先，建立复杂产品装配质量知识体系；然后,建立基于bert-crf的装配质量知识实体识别模型；最后,采用测试集对模型进行性能评估，对模型进行合理调参来提升模型性能，实现复杂产品装配质量知识实体识别。

2.根据权利要求1所述的方法，其特征是，包括如下步骤：

3.根据权利要求2所述的方法，其特征在于，所述步骤1中：

4.根据权利要求2所述的方法，其特征在于，所述步骤3中：

5.根据权利要求2所述的方法，其特征在于，所述步骤4中：

6.根据权利要求2所述的方法，其特征在于，所述的装配质量相关文档包括：质量跟踪卡、质量分析报告和质量履历书。

7.根据权利要求2所述的方法，其特征在于，在微调阶段，bert模型的具体任务包括文本分类、命名实体识别。

8.根据权利要求2所述的方法，其特征在于，在ner任务中，一个标签的出现通常受到相邻标签的影响是指在一个命名实体之后，会出现一个标记为“o”的非实体的标签。

技术总结
一种基于Bert‑Crf的装配质量知识实体识别方法，以提高复杂产品装配质量知识的命名实体识别效果，其特征是它包括以下步骤：(1)建立复杂产品装配质量知识体系；(2)建立基于Bert‑Crf的装配质量知识实体识别模型；(3)采用测试集对模型进行性能评估，对模型进行合理调参来提升模型性能，实现复杂产品装配质量实体识别。本发明基于Bert‑Crf模型对复杂产品装配质量实体进行识别，实现自然语言文本中的复杂产品装配质量实体自动抽取和分类，提高复杂产品装配质量实体识别的精确度。

技术研发人员：方丹枫,薛善良,周东萍,项禹东
受保护的技术使用者：南京航空航天大学
技术研发日：
技术公布日：2024/8/13