基于知识图谱的SMT产线工艺缺陷分析系统及分析方法

基于知识图谱的smt产线工艺缺陷分析系统及分析方法
技术领域
1.本发明涉及smt制造技术领域，具体是一种基于知识图谱的smt产线工艺缺陷分析系统及分析方法。


背景技术：

2.smt生产作为电子制造过程的关键环节，制造流程繁琐、工艺控制复杂、工艺参数设定严格，生产环节中每一个细微的纰漏都可能对电子产品可靠性造成严重影响，目前表面组装生产企业迫切需要一套准确、有效的工艺缺陷分析方法，包括电子制造在内的制造业中的缺陷问题千奇百怪，缺陷数据冗多繁杂、多以非结构化数据的形式存在于各类缺陷报告文本中，工艺缺陷数据没有有机的联系，因此，通过从已有工艺缺陷数据报告文本中抽取缺陷实体信息构建缺陷知识图谱，实现缺陷报告文本中隐含缺陷信息的有机联系，从而在生产过程中实现基于知识图谱的缺陷诊断与维护，是提高企业制造工艺水平的有效途径。
3.基于以上现状，smt生产企业迫切需要一种高效的smt产线缺陷工艺分析系统及方法，以提高企业的制造工艺水平，进而提高企业的产品质量和企业核心竞争力。


技术实现要素：

4.本发明的目的是针对现有技术的不足，而提供一种基于知识图谱的smt产线工艺缺陷分析系统及分析方法。这种系统搭建容易，组网快捷，这种方法能在smt生产企业解决生产工艺缺陷能力的同时提高企业的smt制造工艺水平。
5.实现本发明目的的技术方案是：一种基于知识图谱的smt产线工艺缺陷分析系统，系统采用自然语言处理和知识图谱技术，包括顺序连接形成闭环的smt工艺缺陷实体抽取模块、知识图谱构建模块、smt工艺缺陷知识谱图单元、smt工艺缺陷分析模块、人机交互模块、语义分析模块和查询语句重构模块和smt工艺缺陷分析模块，操作者与人机交互模块连通，其中，smt工艺缺陷实体抽取模块采用基于bert-bilstm-crf拼接模型的语言实体识别模型，语言实体识别模型设有bert（bidirectional encoder representation from transformers）（bi-directional long short-term memory）和crf（conditional random field）和工艺缺陷实体输出层4部分， bert是bert-bilstm-crf拼接模型的输入接口，用于输入工艺缺陷分析文本内容，工艺缺陷实体输出层是语言实体识别模型的输出接口，用于输出模型从工艺缺陷分析文本内容抽取的工艺实体内容，bert、bilstm顺序连接，crf、工艺缺陷实体输出层顺序连接，crf的输入是bert输出向量与bilstm输出向量的拼接向量；知识图谱构建模块采用python语言根据实体类别、实体类别关系设计的知识图谱结构编写的知识图谱构建算法，该模块采用smt工艺缺陷实体抽取模块抽取的工艺缺陷实体构建smt工艺缺陷知识图谱；smt工艺缺陷知识谱图单元采用neo4j建立的“图”结构数据库，smt工艺缺陷知识
谱图单元是实现smt产线工艺缺陷分析的理论指导体系，是实现工艺缺陷分析的关键，知识图谱单元通过“图”数据结构将工艺缺陷分析文本内容中的的工艺缺陷实体连接成类似“网”一样的“图”，挖掘出了隐含在工艺缺陷分析报告文本中的隐含关系，是工艺缺陷分析的理论基础；人机交互模块是采用python语言编写人机交互界面，一方面用于操作者向系统中输入描述工艺缺陷的文本内容，另一方面用于将系统得到的工艺缺陷分析结果展示给操作者；语义分析模块采用基于bert、bilstm、crf、前馈神经网络和softmax的文本关键字抽取模型和文本语义分析模型，包括并联的工艺问题描述关键字提取、工艺问题描述语义提取两部分，所述工艺问题描述关键字提取采用bert-bilstm-crf拼接模型的语言实体识别模型，设有bert、bilstm、crf和工艺问题描述关键字输出层4部分，bert为工艺问题描述关键字提取的输入接口，用于输入操作通过人机交互模块输入的描述工艺缺陷问题的文本内容，工艺问题描述关键字输出层是工艺问题描述关键字提取的输出接口，用于输出工艺问题描述关键字提取过程从描述工艺缺陷问题的文本内容中提取的工艺描述关键字，bert、bilstm顺序连接，crf、艺问题描述关键字输出层顺序连接，crf的输入为bert输出向量与bilstm输出向量的拼接向量，所述工艺问题描述语义提取采用基于bert的语义分析算法，设有顺序连接的bert、全连接层、softmax3部分，bert为工艺问题描述语义提取的输入接口，用于输入操作通过人机交互模块输入的描述工艺缺陷问题的文本内容，softmax是工艺问题描述语义提取算法的输出接口，用于输出工艺问题描述语义提取算法从描述工艺缺陷问题的文本内容中提取的工艺问题描述语义类别；查询语句重构模块采用python语言根据neo4j图数据库查询语句特点编写的查询语句生成算法，该模块会根据语义分析模块得到的工艺问题关键字构建知识库查询语句；smt工艺缺陷分析模块采用python语言编写的neo4j图数据库查询查询算法和查询结果处理算法，该模块会根据查询语句重构模块输出的知识库查询语句对操作者输入的工艺工艺缺陷问题进行分析，并将得到的分析结果通过人机交互模块反馈给操作者，过程为：smt工艺缺陷分析模块首先利用查询语句重构模块输出的知识库查询语句通过smt工艺缺陷知识图谱单元进行查询，smt工艺缺陷分析模块得到查询结果后，会将得到的分析结果传输给人机交互模块以展示给操作者。
6.本技术方案中：bert首先对输入的smt产线工艺缺陷文本序列进行数值化和向量化处理得到一个高维的稠密向量，再利用自注意力机制从向量化得到高维稠密向量中抽取smt产线工艺缺陷文本句子中每个文字与句子中所有文字间的自注意力值，从而得到包含文字之间相互关系的bert输出向量；bilstm从bert层输出的高维稠密向量中提取序列中的顺序关系和逆序关系，把包含顺序关系的输出序列和包含逆序关系的输出序列相加后得到bilstm输出向量；crf的输入是bilstm输出向量和bert输出向量拼接后的拼接向量；crf根据工艺缺陷实体标签间的转移关系得到一个概率转移矩阵，从而得到一个全局的最优标签序列，通过在bilstm的输出后加上一个概率转移矩阵，保证输出序列更加符合实际情况，可提高smt工艺缺陷实体识别的准确率；
工艺缺陷实体输出层根据crf输出的bio标签序列对输入的smt产线工艺缺陷文本序列进行工艺缺陷实体划分得到各类工艺缺陷实体的文字内容，从而实现smt工艺缺陷实体的抽取操作；bert首先对输入的smt工艺问题描述文本序列进行数值化和向量化处理得到一个高维的稠密向量，再利用自注意力机制从向量化得到高维稠密向量中抽取smt工艺问题描述文本句子中每个文字与句子中所有文字间的自注意力值，从而得到包含文字之间相互关系的bert输出向量；全连接层将bert提取到的包含文字间语义信息的高维向量转换为表征语义类别的one-hot编码；softmax层会对全连接层输出的one-hot编码做一个最大概率分析，得出输入工艺问题描述文本所属概率最大的语义类别；将工艺问题描述关键字提取算法抽取的工艺问题描述关键字和工艺问题描述语义提取算法抽取的工艺问题描述语义类别拼接在一起得到工艺问题描述文本的工艺问题关键字。
7.一种基于知识图谱的smt产线工艺缺陷分析方法，包括上述基于知识图谱的smt产线工艺缺陷分析系统，所述方法包括如下步骤：1）构建smt工艺缺陷知识图谱：包括：1-1）收集smt企业生产过程产生的工艺缺陷报告分析文本，并将文本进行处理加工转换成为满足smt工艺缺陷实体抽取模块处理文本要求的形式即预处理；1-2）分析smt工艺缺陷文本报告的文字实体特点，确定需要抽取的实体类别包括缺陷位置、缺陷类别、缺陷现象、缺陷原因、缺陷解决方案；1-3）根据选定的缺陷实体类别确定smt工艺缺陷知识图谱的实体类别和实体关系，构建知识谱图的结构，知识谱图的结构中包括顺序连接的缺陷位置、缺陷类型和缺陷原因，缺陷类型与缺陷现象、缺陷原因、缺陷解决方案顺序连接形成闭环；1-4）smt工艺缺陷实体抽取模块对经过预处理的smt缺陷工艺分析报告文本进行工艺实体抽取，并保存抽取的工艺缺陷实体；1-5）知识图谱构建模块采用smt工艺缺陷实体抽取模块抽取的工艺缺陷实体根据步骤1-3）中构建的知识图谱结构构建smt工艺缺陷知识图谱；2）smt工艺缺陷分析：采用构建好知识图谱进行smt工艺缺陷分析，包括：2-1）操作者采用基于知识图谱的smt产线工艺缺陷分析系统的人机交互模块输入描述smt工艺缺陷的文字内容；2-2）人机交互模块将操作输入的smt工艺缺陷描述文字以文档的形式发送给语义分析模块；2-3）语义分析模块抽取出操作者输入的smt工艺缺陷描述文本内容中的工艺问题关键字，并将获得的关键字发送到查询语句重构模块；2-4）查询语句重构模块依据收到的关键字构建出对应的知识库查询语句；2-5）smt工艺缺陷分析模块进行工艺缺陷分析，过程为：2-5-1）smt工艺缺陷分析模块依据知识库查询语句，结合smt工艺缺陷知识谱图中的工艺缺陷关系进行工艺缺陷分析；
2-5-2）smt工艺缺陷分析模块将得到的工艺缺陷分析结果反馈给人机交互模块；2-6）人机交互模块将得到的工艺缺陷分析结果展示给操作者，从而实现基于smt工艺缺陷知识图谱的smt产线工艺缺陷分析。
8.本技术方案采用图数据库构建知识图谱，依据“图”这种数据结构实现smt工艺缺陷报告文本中的隐含关系的挖掘，系统语义分析模块和smt工艺缺陷实体抽取模块采用基于bert-bilstm-crf拼接模型的语言实体识别算法较常见的bilstm-crf模型和bert-bilstm-crf串接模型具有更好的泛化能力，模型实体识别准确率更高；依据挖掘出smt产线工艺缺陷分析报告文本中的隐含关系，并建立smt工艺缺陷知识图谱，既可以提高smt生产企业解决工艺缺陷问题的能力，也可以提高smt生产企业的制造工艺水平。
9.这种系统搭建容易，组网快捷，这种方法能在smt生产企业解决生产工艺缺陷能力的同时提高企业的smt制造工艺水平。
附图说明
10.图1为实施例中系统的整体结构示意图；图2为实施例中smt工艺缺陷实体抽取模块的算法示意图；图3实施例中知识图谱结构示意图；图4实施例中语义分析模块的算法示意图；图5为实施例中方法的流程示意图。
具体实施方式
11.下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。
12.实施例：参照图1，一种基于知识图谱的smt产线工艺缺陷分析系统，系统采用自然语言处理和知识图谱技术，包括顺序连接形成闭环的smt工艺缺陷实体抽取模块、知识图谱构建模块、smt工艺缺陷知识谱图单元、smt工艺缺陷分析模块、人机交互模块、语义分析模块和查询语句重构模块和smt工艺缺陷分析模块，操作者与人机交互模块连通，其中，smt工艺缺陷实体抽取模块采用基于bert-bilstm-crf拼接模型的语言实体识别模型，语言实体识别模型设有bert（bidirectional encoder representation from transformers）（bi-directional long short-term memory）和crf（conditional random field）和工艺缺陷实体输出层4部分， bert是bert-bilstm-crf拼接模型的输入接口，用于输入工艺缺陷分析文本内容，工艺缺陷实体输出层是语言实体识别模型的输出接口，用于输出模型从工艺缺陷分析文本内容抽取的工艺实体内容，bert、bilstm顺序连接，crf、工艺缺陷实体输出层顺序连接，crf的输入是bert输出向量与bilstm输出向量的拼接向量；知识图谱构建模块采用python语言根据实体类别、实体类别关系设计的知识图谱结构编写的知识图谱构建算法，该模块采用smt工艺缺陷实体抽取模块抽取的工艺缺陷实体构建smt工艺缺陷知识图谱；smt工艺缺陷知识谱图单元采用neo4j建立的“图”结构数据库，smt工艺缺陷知识谱图单元是实现smt产线工艺缺陷分析的理论指导体系，是实现工艺缺陷分析的关键，知识图谱单元通过“图”数据结构将工艺缺陷分析文本内容中的的工艺缺陷实体连接成类似“网”一样的“图”，挖掘出了隐含在工艺缺陷分析报告文本中的隐含关系，是工艺缺陷分析的理论基础；人机交互模块是采用python语言编写人机交互界面，一方面用于操作者向系统中输入描述工艺缺陷的文本内容，另一方面用于将系统得到的工艺缺陷分析结果展示给操作者；语义分析模块采用基于bert、bilstm、crf、前馈神经网络和softmax的文本关键字抽取模型和文本语义分析模型，包括并联的工艺问题描述关键字提取、工艺问题描述语义提取两部分，所述工艺问题描述关键字提取采用bert-bilstm-crf拼接模型的语言实体识别模型，设有bert、bilstm、crf和工艺问题描述关键字输出层4部分，bert为工艺问题描述关键字提取的输入接口，用于输入操作通过人机交互模块输入的描述工艺缺陷问题的文本内容，工艺问题描述关键字输出层是工艺问题描述关键字提取的输出接口，用于输出工艺问题描述关键字提取过程从描述工艺缺陷问题的文本内容中提取的工艺描述关键字，bert、bilstm顺序连接，crf、艺问题描述关键字输出层顺序连接，crf的输入为bert输出向量与bilstm输出向量的拼接向量，所述工艺问题描述语义提取采用基于bert的语义分析算法，设有顺序连接的bert、全连接层、softmax3部分，bert为工艺问题描述语义提取的输入接口，用于输入操作通过人机交互模块输入的描述工艺缺陷问题的文本内容，softmax是工艺问题描述语义提取算法的输出接口，用于输出工艺问题描述语义提取算法从描述工艺缺陷问题的文本内容中提取的工艺问题描述语义类别；查询语句重构模块采用python语言根据neo4j图数据库查询语句特点编写的查询语句生成算法，该模块会根据语义分析模块得到的工艺问题关键字构建知识库查询语句；smt工艺缺陷分析模块采用python语言编写的neo4j图数据库查询查询算法和查询结果处理算法，该模块会根据查询语句重构模块输出的知识库查询语句对操作者输入的工艺工艺缺陷问题进行分析，并将得到的分析结果通过人机交互模块反馈给操作者，过程为：smt工艺缺陷分析模块首先利用查询语句重构模块输出的知识库查询语句通过smt工艺缺陷知识图谱单元进行查询，smt工艺缺陷分析模块得到查询结果后，会将得到的分析结果传输给人机交互模块以展示给操作者。
13.本例中：bert首先对输入的smt产线工艺缺陷文本序列进行数值化和向量化处理得到一个高维的稠密向量，再利用自注意力机制从向量化得到高维稠密向量中抽取smt产线工艺缺陷文本句子中每个文字与句子中所有文字间的自注意力值，从而得到包含文字之间相互关系的bert输出向量；bilstm从bert层输出的高维稠密向量中提取序列中的顺序关系和逆序关系，把包含顺序关系的输出序列和包含逆序关系的输出序列相加后得到bilstm输出向量；crf的输入是bilstm输出向量和bert输出向量拼接后的拼接向量；crf根据工艺缺陷实体标签间的转移关系得到一个概率转移矩阵，从而得到一个全局的最优标签序列，通过在bilstm的输出后加上一个概率转移矩阵，保证输出序列更加符合实际情况，可提高smt工艺缺陷实体识别的准确率；工艺缺陷实体输出层根据crf输出的bio标签序列对输入的smt产线工艺缺陷文本序列进行工艺缺陷实体划分得到各类工艺缺陷实体的文字内容，从而实现smt工艺缺陷实
体的抽取操作；bert首先对输入的smt工艺问题描述文本序列进行数值化和向量化处理得到一个高维的稠密向量，再利用自注意力机制从向量化得到高维稠密向量中抽取smt工艺问题描述文本句子中每个文字与句子中所有文字间的自注意力值，从而得到包含文字之间相互关系的bert输出向量；全连接层将bert提取到的包含文字间语义信息的高维向量转换为表征语义类别的one-hot编码；softmax层会对全连接层输出的one-hot编码做一个最大概率分析，得出输入工艺问题描述文本所属概率最大的语义类别；将工艺问题描述关键字提取算法抽取的工艺问题描述关键字和工艺问题描述语义提取算法抽取的工艺问题描述语义类别拼接在一起得到工艺问题描述文本的工艺问题关键字。
14.如图5所示，一种基于知识图谱的smt产线工艺缺陷分析方法，包括上述基于知识图谱的smt产线工艺缺陷分析系统，所述方法包括如下步骤：1）构建smt工艺缺陷知识图谱：包括：1-1）收集smt企业生产过程产生的工艺缺陷报告分析文本，并将文本进行处理加工转换成为满足smt工艺缺陷实体抽取模块处理文本要求的形式即预处理；1-2）分析smt工艺缺陷文本报告的文字实体特点，确定需要抽取的实体类别包括缺陷位置、缺陷类别、缺陷现象、缺陷原因、缺陷解决方案；1-3）根据选定的缺陷实体类别确定smt工艺缺陷知识图谱的实体类别和实体关系，构建知识谱图的结构，如图3所示，知识谱图的结构中包括顺序连接的缺陷位置、缺陷类型和缺陷原因，缺陷类型与缺陷现象、缺陷原因、缺陷解决方案顺序连接形成闭环；1-4）搭建并训练smt工艺缺陷实体抽取模块；1-4-1）采用bio序列标注法对处理后的工艺缺陷文本报告进行工艺实体缺陷标注，制作smt工艺缺陷实体抽取模块的实体抽取模型的训练数据集和测试数据集；1-4-1-1）根据工艺缺陷报告文本选定工艺缺陷实体类别包括缺陷位置faultpos、缺陷类型faultcat、缺陷原因fautcau、缺陷现象faultphn、缺陷解决方案faultsol；1-4-1-2）根据选定的工艺缺陷实体类别器确定工艺缺陷实体标注的bio标签类别包括b-faultpos、i-faultpos、b-faultcos、i-faultcos、b-fautcau、i-fautcau、b-faultphn、i-faultphn、b-faultsol、i-faultsol和o标签，其中b类标签代表一个工艺实体的开始，i类标签代表在一个工艺实体内，o类标签代表不在任意一个工艺实体内；1-4-1-3）根据选定的bio标签类别对工艺缺陷报告文本进行标签标注，完成smt工艺缺陷实体抽取模块的工艺缺陷实体抽取模型的训练数据集和测试数据集的制作；1-4-2）利用制作好的训练数据集训练smt工艺缺陷实体抽取模块的实体抽取模型；1-5）利用训练好的如图2所示的smt工艺缺陷实体抽取模块对smt产线工艺缺陷报告文本进行工艺缺陷实体抽取，获得smt产线工艺缺陷报告文本包含的工艺缺陷实体；1-6）根据步骤1-3）中设计的知识图谱结构设计、编写知识图谱构建模块的知识图谱算法，并利用设计好的知识图谱构建模块利用步骤1-5）的工艺缺陷实体根据步骤1-3）中
设计的知识图谱的结构搭建smt工艺缺陷知识图谱；2）smt工艺缺陷分析：采用构建好知识图谱进行smt工艺缺陷分析，包括：2-1）搭建并训练语义分析模块；2-1-1）根据人们常见的提问方式，制作描述工艺缺陷问题的文本数据集；2-1-2）对制作的描述工艺缺陷问题的文本数据集进行清洗和规范化处理；2-1-3）利用步骤1-4-1-2）中的bio标签对描述工艺缺陷问题的文本进行关键值标注，并利用语义类型标签原因cau、现象phn、解决方案sol对描述工艺缺陷问题的文本进行语义类别标注，完成语义分析模块的的训练数据集和测试数据集制作；2-1-4）利用制作的训练数据集训练语义分析模块的语义分析算法模型，其中工艺问题描述语义分析模块的语义分析如图4所示；2-2）操作者通过人机交互模块向系统中输入描述工艺缺陷的文本内容；2-3）步骤2-1-4）中的语义分析模块对操作者输入的描述工艺缺陷的文本内容进行工艺问题关键字提取；2-4）设计并编写查询语句重构模块的算法，并利用查询语句重构模块根据语义分析模块提取的工艺问题关键字构建知识库查询语；2-5）设计并编写smt工艺缺陷分析模块的算法，smt工艺缺陷分析模块对操作者输入的工艺缺陷进行分析后，将分析后得到的结果传输给人机交互模块；2-6）人机交互模块以图像或文字的形式将基于知识图谱的smt产线工艺缺陷分析系统的分析结果展示给操作者。