基于SSD网络模型的工件表面缺陷检测方法及系统与流程

本公开涉及工件表面缺陷检测技术领域，特别一种基于ssd网络模型的工件表面缺陷检测方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

机械加工过程中,由于刀具种类或者操作的影响,在加工工件表面会形成各种不同的纹理，实际生产中将这些纹理统称为工件表面缺陷。随着现代工业的迅速发展，在机械制造业中，对工件质量的要求也逐渐提高，工件表面的缺陷大小以及类型都会直接关系到机械设备的成本、工作性能以及使用寿命等问题。因此，有效地检测出工件表面缺陷对于提高工件利用率、保证机械设备的正常运行具有重要意义。

本公开发明人发现，传统的人工检测方法效率较低，易受主观判断的影响，传统的人工检测和基于传统机器视觉的检测方法虽然在许多案例中取得了可靠的结果，但是均需要特定的预处理方法来利用专业知识提取具有代表性的特征，检测效率较低。

技术实现要素：

为了解决现有技术的不足，本公开提供了基于ssd网络模型的工件表面缺陷检测方法及系统，可以处理大规模的图像数据，能够减少人工设计特征的巨大工作量，可以同时处理多种不同的缺陷类别以及能获得像素级的缺陷区域信息。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于ssd网络模型的工件表面缺陷检测方法。

一种基于ssd网络模型的工件表面缺陷检测方法，包括以下步骤：

获取工件表面图像数据；

将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

本公开第二方面提供了一种基于ssd网络模型的工件表面缺陷检测系统。

一种基于ssd网络模型的工件表面缺陷检测系统，包括：

数据获取模块，被配置为：获取工件表面图像数据；

缺陷识别模块，被配置为：将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

本公开第三方面提供了一种基于ssd网络模型的工件表面缺陷检测系统。

一种基于ssd网络模型的工件表面缺陷检测系统包括：扫描电子显微镜、服务器和控制终端；

扫描电子显微镜，被配置为：采集工件表面图像并发送给服务器；

服务器，被配置为执行如下步骤：

获取工件表面图像数据；

将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

控制终端，被配置为：获取并存储服务器传来的识别结果，对识别结果进行进一步的处理。

本公开第四方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于ssd网络模型的工件表面缺陷检测方法中的步骤。

本公开第五方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于ssd网络模型的工件表面缺陷检测方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质及电子设备，以卷积神经网络中的ssd网络模型为基础，在ssd网络模型上进行改进，该模型的输入为通过扫描电子显微镜测得并经过预处理的工件原图，经检测模型之后输出大小与原图相等缺陷标记图，通过对缺陷标记图的分析可以很好的获取缺陷区域的位置、大小以及种类等重要信息。

2、本公开所述的方法、系统、介质及电子设备，对比传统的缺陷检测方法，可以处理大规模的图像数据，能够减少手工设计特征的巨大工作量，可以同时处理多种不同的缺陷类别以及能获得像素级的缺陷区域信息。

3、本公开所述的方法、系统、介质及电子设备，采用空洞卷积(dilatedconvolution)，可以在不损失图像信息的同时增大输入图像的感受野。

4、本公开所述的方法、系统、介质及电子设备，通过层级特征融合(hierarchicalfeaturefusion)对空洞卷积层的每一个卷积单元的输出进行依次求和，并将每个求和后的结果运用连接操作求得最后的输出，可以在不增加网络复杂度的同时扩张学习参数，加强网络连续性。

5、本公开所述的方法、系统、介质及电子设备，将空洞卷积操作引入到mobilenet网络中，不仅保证了图像信息的完整性，还可以增大卷积层的感受野范围，从而保证了检测精度。

6、本公开所述的方法、系统、介质及电子设备，引入反向残差结构，可以减少学习过程中非线性变换在低纬度下造成的信息损失。

7、本公开所述的方法、系统、介质及电子设备，利用空洞卷积取代反向残差结构中的下采样操作，并将激活函数relu替换为性能更好的relu6，采用批规范化算法进行规范化，避免了下采样过程中出现特征信息丢失的情况。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于ssd网络模型的工件表面缺陷检测方法的流程示意图。

图2为本公开实施例1提供的dh-mobilenet网络的示意图。

图3为本公开实施例1提供的反向残差结构的示意图。

图4为本公开实施例1提供的ssd网络模型的结构框图。

图5为本公开实施例1提供的检测流程示意图。

图6为本公开实施例3提供的检测系统的连接示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种基于ssd网络模型的工件表面缺陷检测方法，包括以下步骤：

获取工件表面图像数据；

将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

详细的，包括以下内容：

s1：图像采集，利用扫描电子显微镜获取不同位置的工件表面缺陷图像，然后传送到图片分析阶段。

扫描电子显微镜采集图片包括以下步骤：

s1.1：对样品交换室放氮气，直至灯亮；

s1.2：打开样品交换室，将已固定好样品的样品台，放到送样杆末端的卡抓内；

s1.3：操作键盘上按“lowmag”、“quickview”，将放大倍率调至最低，点击“stagemap”，对样品进行标记，按顺序对样品进行观察；

s1.4：取消“lowmag”，看图像是否清楚，不清楚则调节聚焦旋钮，直至图像清楚，再旋转放大倍率旋钮，聚焦图像，直至图像清楚，再放大···，直到放大到所需要的图；

s1.5：扫描完图像后，打开软件上的“save”窗口，按“save”键，填好图像名称，选择图像保存格式，然后确定，保存图像；

s1.6：按“freeze”解除锁定后，继续进行样品下一个部位或者下一个样品的观察。

s2：图像处理，将s1中图像采集传来的图像按缺陷种类进行分类并分为两个部分。第一部分用于制作数据集进行系统训练，第二部分用于系统测试。并将第二部分图片传送至图像检测步骤。

s2.1：图像的着色。利用sem扫描得到的图片为灰度图像，首先需要把图像调整为三通道图像。

s2.2：图像的剪裁。对(2.1)的图片进行目标区域切割(找出缺陷所在位置)、图像剪裁(剪裁成尺寸为300×300的图片)，使其符合模型的输入大小。将处理好的图片分为两部分，第一部分用于制作数据集进行系统训练，第二部分用于系统测试。并将第二部分图片用于检测系统。

s3：图像检测，将图像处理传送来的图像应用于系统检测，并得出检测结果。

检测系统是以ssd300网络模型为基础，ssd300网络模型由两部分组成，第一部分通过在服务器使用大量缺陷图片进行训练，得到可以检测出缺陷位置的网络，第二部分是将识别出的缺陷进行分类。

s3.1：构建用于缺陷检测的卷积神经网络结构。网络模型的设计是在ssd300网络模型基础上的目标检测网络，ssd300网络模型利用不同的卷积层进行边界和分类回归，达到较好的检测效果和速度，其结构分为两部分，第一部分是具有很高分类精度且删除其分类层的vgg16网络结构；第二部分是使用卷积层取代两个全连接层并增加四个卷积层来构建的网络结构，加入了特征金字塔的检测方式，从而实现多尺度目标检测。

为了进一步提高检测速度，首先将ssd网络模型进行改进：

s3.1.1：mobilenet是一种轻量级卷积神经网络，基本单元为深度可分离卷积，训练时所需参数较少，能够节省时间并且可以实现移动设备的部署。模型训练过程中，会通过池化操作增大感受野从而提高检测精确度，但是池化操作会造成图像信息部分缺失的问题。

空洞卷积(dilatedconvolution)可以在不损失图像信息的同时增大输入图像的感受野。层级特征融合(hierarchicalfeaturefusion)是对空洞卷积层的每一个卷积单元的输出进行依次求和，并将每个求和后的结果运用连接操作求得最后的输出，可以在不增加网络复杂度的同时扩张学习参数，加强网络连续性。

因此，本实施例将将空洞卷积和层级特征融合操作引入到mobilenet网络中，不仅保证了图像信息的完整性，还可以增大卷积层的感受野范围，从而保证检测精度。结合空洞卷积和层级特征融合提出dh-mobilenet网络并用来代替ssd300网络模型中的vgg16网络层，dh-mobilenet网络结构如图2所示.

s3.1.2：利用反向残差结构对ssd网络模型的后续卷积层进行改进。由于ssd网络模型中后续的卷积层忽视了层与层之间的连接关系，从而导致对小目标的检测较差。

因此本实施例中引入反向残差结构，如图3所示，可以减少学习过程中非线性变换在低纬度下造成的信息损失。为了避免下采样过程中出现特征信息丢失的情况，本实施例利用空洞卷积取代反向残差结构中的下采样操作，并将激活函数relu替换为性能更好的relu6，采用批规范化算法进行规范化。

改进后的ssd网络模型的结构如图4所示。

s3.2：将s2中得到的图片一部分制作成数据集并应用在搭建好的网络结构中进行训练，卷积神经网络的训练方法，利用bp算法更新卷积神经网络参数，训练的具体步骤如下：

s3.2.1：初始化权重：卷积神经网络的权重初始化采用xavier方法，该方法使参数以均匀分布的方式在(a，b)的范围内被初始化，其中a为参数所在层的输入维度，b为参数所在层的输出维度；

s3.2.2：确定学习率以及训练次数；

s3.2.3：输入样本到卷积神经网络中，计算每一层以及输出层的输出；

s3.2.4：计算输出与标签的代价函数；

s3.2.5：利用代价函数计算出每一层的残差，并求出该层的参数的梯度；

s3.2.6：根据学习率更新每一层的权重设置迭代次数。

s3.3：利用s2.2的第二部分图片用于s3.2训练好的网络模型，对其进行检测，得到检测结果。

s4：图像分类

如图5所示，为具体的检测流程图，利用系统随机检测图片，根据检测结果挑选出有缺陷的图片并删除，从而达到图片的分类，同时还可识别出是否存在缺陷、缺陷区域的位置、大小等重要信息，并总结检测精度。

实施例2：

本公开实施例2提供了一种基于ssd网络模型的工件表面缺陷检测系统，包括：

数据获取模块，被配置为：获取工件表面图像数据；

缺陷识别模块，被配置为：将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

所述系统的工作方法与实施例1提供的基于ssd网络模型的工件表面缺陷检测方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种基于ssd网络模型的工件表面缺陷检测系统，包括扫描电子显微镜、高性能服务器和控制终端；

所述扫描电子显微镜被配置为采集工件表面图像数据；

所述高性能服务器被配置为执行如下方法：

获取工件表面图像数据；

将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

详细步骤与实施例1提供的基于ssd网络模型的工件表面缺陷检测方法相同，这里不再赘述。

所述控制终端包括键盘和鼠标等输入设备、图像输入/输出控制端口以及显示模块，所述显示模块包括用于显示图像的显示屏、用于显示正确率的显示屏和指示灯。

实施例4：

本公开实施例4提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于ssd网络模型的工件表面缺陷检测方法中的步骤，所述步骤为：

获取工件表面图像数据；

将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

详细步骤与实施例1提供的基于ssd网络模型的工件表面缺陷检测方法相同，这里不再赘述。

实施例5：

本公开实施例5提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于ssd网络模型的工件表面缺陷检测方法中的步骤，所述步骤为：

获取工件表面图像数据；

将获取的图像数据输入到预设ssd网络模型中，得到工件表面缺陷的识别结果；

其中，ssd网络模型的主干网络采用结合空洞卷积和层级特征融合的mobilenet网络。

详细步骤与实施例1提供的基于ssd网络模型的工件表面缺陷检测方法相同，这里不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。