法兰表面缺陷检测方法及系统和设备与流程

本发明属于工业化产品外观检测技术领域，特别涉及一种法兰表面缺陷检测方法及系统和设备。

背景技术：

目前，法兰因其具有连接方便，可承受压力大等特点，在机械领域有着广泛应用。特别在各种工业管道中，法兰连接使用非常广泛，对法兰盘的需求量特别大，由此对法兰质量也提出了更高的要求。

然而，由于法兰在生产过程中，由于铸造材料、温度、设备挤压、摩擦和传输过程中的物理划伤、磕碰等因素，导致法兰表面会出现砂眼、未磨出、划伤，碰伤等各种缺陷。这些缺陷不仅会影响产品的外观，还可能会影响产品的实际使用寿命，甚至对法兰产品生产商的声誉也会遭受不良影响。因此，如何快速准确检出法兰表面的各种缺陷成为了亟待解决的问题。表面缺陷检测以往通常采用人工目视方式检测，它存在一些弊端：如，检测精度低且易疲劳；在高温、噪声、粉尘和震动的环境下工作，对身体及心理健康会产生不良影响。近年来，大量学者开始对表面缺陷检测算法开展研究，大多先使用边缘检测技术或小波分解或局部二值化分析等技术分割缺陷，而后通过形态学等方法对分割后的图像进行连通域分析，最后根据缺陷特征信息，采用传统机器学习方式对最终分割结构进行缺陷类别判断。但是，由于产品种类繁多、背景复杂性等因素，导致缺陷形态各异，且传统机器学习表征学习能力有限，难以达到较高的准确性和鲁棒性。

技术实现要素：

为此，本发明提供一种法兰表面缺陷检测方法及系统和设备，可提升自动化程度，提高法兰产品表面缺陷检测的准确率，降低劳动强度。

按照本发明所提供的设计方案，一种法兰表面缺陷检测方法，包含如下内容：

获取待检测法兰图像并定位目标区域，该目标区域至少包含：法兰端面、中心螺栓孔和法兰背面；并对目标区域进行语义分割，确定待检测区域；

利用像素邻域块灰度阶差异获取待检测区域具有缺陷特征的候选像素点；并通过对候选像素点进行形态学操作与连通域分析，得到候选缺陷位置图像；

利用已训练优化的图像识别网络模型对候选缺陷位置图像进行分类识别，去除法兰表面伪缺陷和统计缺陷特征信息。

作为本发明法兰表面缺陷检测方法，进一步的，利用已训练的目标区域检测模型来获取输入图像的目标区域；该目标区域检测模型为yolov4网络模型。

作为本发明法兰表面缺陷检测方法，进一步地，目标区域的语义分割至少包含定位销区域、中心螺栓孔区域和排气孔区域语义分割；将定位销区域、中心螺栓孔区域和排气孔区域作为待检测区域。

作为本发明法兰表面缺陷检测方法，进一步地，对法兰图像通过图像增强和边缘分割方式来获取区域轮廓信息，确定待检测区域；将待检测区域外的非检测区域进行定位填充，获取掩膜图。

作为本发明法兰表面缺陷检测方法，进一步地，利用huber加权方法与迭代最小二乘法相结合方式获取待检测区域，其中，huber加权公式表示为：

其中，wi表示各像素点距离权重系数，c表示离群点阈值，disi表示点到圆心的距离。

作为本发明法兰表面缺陷检测方法，进一步地，将图像划为成互不重合的网格区域，通过卷积操作进行特征提取得到特征映射图；针对特征映射图，通过类别预测和边界框回归得到检测目标类别和位置信息，进而确定目标中心点所在方向；将中心点所在方向通过扩大处理来获取搜索目标区域角度范围，得到目标区域图像的二值图像；将二值图像通过领域像素灰度差值确定候选像素点位置，依据在同一方向达到预设满足条件像素数获取目标区域候选边界；将候选边界进行非极大值抑制，得到目标区域两个边界，将两个边界所在像素点进行最小二乘法直线拟合，确定待检测区域与所在内外圆交点，填充直线与圆弧所组成的不规则区域，获取掩膜图。

作为本发明法兰表面缺陷检测方法，进一步地，候选像素点获取中，计算待检测区域积分图像，将积分图像划分为多个图像块，统计各图像块区域均值，标准方差和阈值等纹理信息。

作为本发明法兰表面缺陷检测方法，进一步地，图像识别网络模型采用卷积神经网络模型结构来对输入图像进行分类识别，获取输入图像的缺陷类别，对缺陷连通区域进行特征分析和统计。

进一步地，本发明还提供一种法兰表面缺陷检测系统，包含：目标区域定位模块、候选区域生成模块和缺陷分类识别模块，其中，

目标区域定位模块，用于获取待检测法兰图像并定位目标区域，该目标区域至少包含：法兰端面、中心螺栓孔和法兰背面；并对目标区域进行语义分割，确定待检测区域；

候选区域生成模块，用于利用像素邻域块灰度阶差异获取待检测区域具有缺陷特征的候选像素点；通过对候选像素点进行形态学操作与连通域分析，得到候选缺陷位置图像；

缺陷分类识别模块，用于利用已训练优化的图像识别网络模型对候选缺陷位置图像进行分类识别，去除法兰表面伪缺陷和统计缺陷特征信息。

进一步地，本发明还提供一种法兰表面缺陷检测设备，包含上下料系统、清洗系统、翻转系统、运转系统、检测系统，与上下料系统、清洗系统、翻转系统、运转系统及检测系统信号连接的电控系统，法兰产品随上料系统流水线输送至清洗系统进行表面清洗，通过流水线移送至翻转系统位置，通过翻转系统并利用环形输送线分别对法兰产品表面各端面进行视觉采集，将视觉采集图像输送至检测系统，所述检测系统采用上述的法兰表面缺陷检测系统，将检测完毕的法兰产品移动至下料系统后，通过转运系统进行分拣。

本发明的有益效果：

本发明采用传统图像处理算法与深度学习技术相结合方式，来提高法兰产品表面缺陷的检测准确率和效率，提高整个表面缺陷检测系统的鲁棒性。其中，上述缺陷检测可利用多种深度神经网络模型与传统算法相结合，例如目标检测与纹理分析结合，缺陷特征信息与对象分类模型结合；也可根据业务需求训练不同的网络模型，在检测流程中，将待检测对象通过上述已训练网络模型进行推理预测，得到最终的检测结果。不仅利用传统算法可解释性强和精度高等特点，还利用深度学习技术学习能力和泛化能力强等特点，可达到缺陷检出率高、误检率低的效果，提高整个表面缺陷检测系统的鲁棒性，具有较好的应用前景。

附图说明：

图1为实施例中法兰表面检测方法流程示意；

图2为实施例中法兰表面检测部位示意图；

图3为实施例中法兰表面缺陷检测方法流程示意图；

图4为实施例中法兰排气孔区域对象检测示意图；

图5为实施例中法兰排气孔掩膜示意图；

图6为实施例中法兰语义分割前示意图；

图7为实施例中法兰表面非检测区域掩膜示意图；

图8为实施例中法兰语义分割后的二值化示意图；

图9为实施例中法兰表面缺陷检测区域缺陷示意图；

图10为实施例中法兰表面缺陷检测装置示意图；

图11为实施例中缺陷识别流程示意图；

图12为实施例中设备结构示意图。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，参见图1所示，提供一种法兰表面缺陷检测方法，包含如下内容：

s101、获取待检测法兰图像并定位目标区域，该目标区域至少包含：法兰端面、中心螺栓孔和法兰背面；并对目标区域进行语义分割，确定待检测区域；

s102、利用邻域像素灰度阶差异获取待检测区域具有缺陷特征的候选像素点；通过对候选像素点进行形态学操作与连通域分析，得到候选缺陷位置图像；

s103、利用已训练优化的图像识别网络模型对候选缺陷位置图像进行分类识别，去除法兰表面伪缺陷和统计缺陷特征信息。

实施例中，通过对采集法兰图像处理来获取待检测对象的目标图像和定位目标区域；对目标区域进行语义分割，以确定待检测区域与非检测区域；利用像素邻域块灰度阶的差异性，确定具有缺陷特征的候选像素点；对上述候选像素点进行形态学操作与连通域分析，得到候选缺陷位置；利用深度卷积神经网络具有的强大表征学习能力，学习各种缺陷的特征信息，采用上述网络模型，对候选缺陷图像进行类别识别，去除伪缺陷和统计缺陷特征信息。通过采用传统图像处理算法与深度学习技术相结合方式，提高法兰产品表面缺陷的检测准确率和效率，增加检测系统鲁棒性。待检测对象分别是法兰端面，螺栓孔与法兰背面。在工业生产中并不仅限于上述检测对象，也可以是塑料薄膜表面、玻璃表面，纺织品表面等，本申请对此不做限制。

作为本发明实施例中的法兰表面缺陷检测方法，进一步的，利用已训练的目标区域检测模型来获取输入图像的目标区域；该目标区域检测模型为yolov4网络模型。

作为本发明实施例中的法兰表面缺陷检测方法，进一步地，目标区域的语义分割至少包含定位销区域、中心螺栓孔区域和排气孔区域语义分割；将定位销区域、中心螺栓孔区域和排气孔区域作为待检测区域。

参见图2所示，①②③④箭头所指区域为检测区域，其他区域为非检测区域。

作为本发明实施例中法兰表面缺陷检测方法，进一步地，对法兰图像通过图像增强和边缘分割方式来获取区域轮廓信息，确定待检测区域；将待检测区域外的非检测区域进行定位填充，获取掩膜图。将所述法兰区域图像作为输入图像，进行图像增强和边缘分割，通过形态学操作与连通域分析，可得到定位销和中心螺栓孔等待检测区域。进一步地，利用huber加权方法与迭代最小二乘法相结合方式获取待检测区域，其中，huber加权公式表示为：

其中，wi表示各像素点距离权重系数，c表示离群点阈值，disi表示点到圆心的距离。

利用huber加权方法与迭代最小二乘法相结合方式，得到上述区域位置，将这些区域填充为黑色。

作为本发明法兰表面缺陷检测方法，进一步地，将图像划分成互不重合的网格区域，通过卷积操作进行特征提取得到特征映射图；针对特征映射图，通过类别预测和边界框回归得到检测目标类别和位置信息，进而确定目标中心点所在方向；将中心点所在方向通过扩大处理来获取搜索目标区域角度范围，并得到目标区域图像的二值图像；将二值图像通过领域像素灰度差值确定候选像素点，依据在同一方向达到预设满足条件像素数获取目标区域候选边界；将候选边界进行非极大值抑制，得到目标区域两个边界，将两个边界所在像素点进行最小二乘法直线拟合，确定待检测区域与所在内外圆交点，填充直线与圆弧所组成的不规则区域，获取掩膜图。

参见图3～8所示，非检测区域中排气孔不规则区域位置定位与填充，包括以下步骤：

将图像分割成互不重合的网格区域，然后通过卷积操作进行特征提取，得到特征映射图；将上述的特征图，通过类别预测和边界框回归，得出检测目标的类别和位置信息；由所述目标位置信息，得出目标中心点所在方向；将上述中心点所在方向，扩大一定角度，作为搜索目标区域角度范围；将上述目标区域图像，经过最大最小值处理、图像增强处理，二值化处理等操作得到二值图像；将上述二值图像，通过灰度插值方式确定每个像素的灰阶，在同一方向达到满足条件的像素数，则作为目标区域的候选边界；将上述候选边界进行非极大值抑制，得到目标区域的两个边界；将上述两个边界所在像素点，进行最小二乘法直线拟合，确定与中心螺栓孔所在内外圆的交点；填充上述直线与圆弧所组成的不规则区域，作为掩膜区域。

作为本发明实施例中的法兰表面缺陷检测方法，进一步地，候选像素点获取中，计算待检测区域积分图像，将积分图像划分为多个图像块，统计各个图像块均值，标准方差和阈值等纹理信息。

根据像素空间邻域纹理信息，确定上述具有缺陷的候选图像中，将目标图像作为输入图像，计算积分图像；基于指定尺寸的滑动窗口将所述积分图像划分为多个图像块，统计各个图像块的均值和标准方差；利用局部二值化sauvola方法，统计到各图像块的阈值信息。公式如下：

其中，threshold表示区域图像阈值，mean表示区域图像均值，std表示区域图像标准差，k表示预先设定的修正系数，r表示灰度最大标准差，若是灰度图像，通常取128。

可利用提前收集到的缺陷图像作为样本输入图像，训练卷积神经网络，经过若干次训练后，得到训练优化后的网络模型；将候选缺陷图像作为输入图像，利用优化后的网络模型进行识别，去除伪缺陷图像，统计真正缺陷特征信息。

作为本发明实施例中法兰表面缺陷检测方法，进一步地，图像识别网络模型采用卷积神经网络模型结构来对输入图像进行分类识别，获取输入图像的缺陷类别，以通过对缺陷连通区域的特征分析和统计。

进一步地，基于上述的方法，本发明实施例还提供一种法兰表面缺陷检测系统，包含：目标区域定位模块、候选区域生成模块和缺陷分类识别模块，其中，

目标区域定位模块，用于获取待检测法兰图像并定位目标区域，该目标区域至少包含：法兰端面、中心螺栓孔和法兰背面；并对目标区域进行语义分割，确定待检测区域；

候选区域生成模块，用于利用像素邻域块灰度阶差异获取待检测区域具有缺陷特征的候选像素点；并通过对候选像素点进行形态学操作与连通域分析，得到候选缺陷位置图像；

缺陷分类识别模块，用于利用已训练优化的图像识别网络模型对候选缺陷位置图像进行分类识别，去除法兰表面伪缺陷和统计缺陷特征信息。

参见图10所示，目标定位单元901，用于定位待检测对象的位置；语义分割单元902，用于对所述检测对象进行语义分割，以确定待检测区域与非检测区域；首先粗略定位非检测区域所在位置，然后在通过图像纹理信息精确定位非检测区域，最后对非检测区域进行填充，设置为掩膜区域。

连通区域分析单元903用于对具有缺陷特征的像素点进行区域分析，得到候选缺陷区域；利用像素空间邻域灰度差信息，确定候选缺陷图像。缺陷识别单元904，用于辨别上述候选缺陷图像是否含有真正的缺陷；利用已生成的网络模型，对候选缺陷图像进行识别，去除伪缺陷图像，统计缺陷的类别、位置，面积等特征信息。

参见图11所示，在步骤s1001，深度卷积神经网络训练模块。在本申请实施例，使用resnet作为对象识别模型。该网络使用残差模块，使用1×1卷积降维，最后再通过1×1卷积升维，与前面卷积得到特征图连接，在解决随着网络深度增加产生参数退化问题，同时也减少了计算量和增加网络的学习表征能力。本申请实施时，预先采集不同类别对象的缺陷图像作为训练数据，训练resnet网络模型，当loss值或迭代次数满足要求时，停止训练。在步骤s1002，将所述候选缺陷图像作为输入图像，利用所述已生成对象识别模型，对缺陷图像进行分类识别，去除伪缺陷图像。在步骤s1003，利用所述网络识别模型预测结果，统计缺陷特征信息，标记缺陷位置，保存缺陷小图。

进一步地，基于上述方法和系统，本发明实施例还提供一种法兰表面缺陷检测设备，包含上下料系统、清洗系统、翻转系统、运转系统、检测系统，与上下料系统、清洗系统、翻转系统、运转系统及检测系统信号连接的电控系统，法兰产品随上料系统流水线输送至清洗系统进行表面清洗，通过流水线移送至翻转系统位置，通过翻转系统并利用环形输送线分别对法兰产品表面各端面进行视觉采集，将视觉采集图像输送至检测系统，所述检测系统采用上述的法兰表面缺陷检测系统，将检测完毕的法兰产品移动至下料系统后，通过转运系统进行分拣。

参见图12所示，上下料系统，用于法兰产品上料与分拣；清洗系统，用于清洗法兰产品表面脏污、异物等；翻转系统，用于视觉采集法兰不同表面图像；检测系统，用于检测法兰内孔、背面及平面的表面缺陷检测；电控系统，用于控制产品上下料、清洗，翻转等。法兰经产线输送至抓取工位后，机械手将其抓取到上料位置；产品随上料流水线，输送至清洗系统对产品表面进行清洗，清洗完毕后移动至翻转位置；翻转机构夹取法兰进行翻转，然后经环形输送线，输送至背面与内孔检测位置进行视觉检测，判断产品表面品质；检测完毕后，再由环形输送线输送至翻转位置，将其翻转到平面；翻转完毕后，通过环形输送线输送至平面检测位置进行视觉检测，判断产品表面品质；检测完毕后，法兰移动至下料位置，根据上述视觉检测结果，对产品进行分拣。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。