基于深度学习的钢材检测方法及系统与流程

本发明属于金属制造工艺质量检测，特别涉及一种基于深度学习的钢材检测方法及系统。

背景技术：

1、钢材在现代工业制造领域占据着不可或缺的地位，被广泛应用于机械、化工、航空航天、汽车、船舶、建筑等行业。但在生产过程中由于设备、生产工艺和冶炼方法等因素的影响，钢材表面极易出现各种复杂的缺陷。这些缺陷不仅会对产品的耐腐蚀、抗磨损，抗形变等能力产生严重影响，还可能会对企业与社会造成不可预估的经济损失。因此，如何快速准确检出钢材表面的各种缺陷，提高钢材的表面质量，成为了目前亟待解决的问题。

2、钢材表面缺陷检测以往通常采用人工目视与其他技术(如荧光磁粉探伤技术)相结合方式检测，但它存在一些弊端：如，工作效率不高、劳动强度大、缺陷信息无法保存等缺点；操作检测人员长期在高温、噪声、粉尘、辐射和震动的环境下工作，对身体及心理健康会产生不良影响。近年来，大量学者开始对钢材检测算法开展研究，大多采用如下技术路线：首先使用边缘检测或直方图或阈值等技术对前景与背景进行语义分割与连通域标记，而后通过小波分析或局部二值化或形态学分析等方法提取候选缺陷目标，最后利用特定特征提取算法与传统机器学习相结合方式对候选缺陷目标进行缺陷类别判断。但是，由于产品种类繁多、生产环境复杂等因素，导致产品与缺陷成像形态各异，且传统机器学习表征学习能力有限，难以达到较高的准确性和鲁棒性。

技术实现思路

1、为此，本发明提供一种基于深度学习的钢材检测方法及系统，提高钢材缺陷检测准确率，利于提升钢材制品工艺中的质量监控自动化程度，提高效率。

2、按照本发明所提供的设计方案，提供一种基于深度学习的钢材检测方法，包含如下内容：

3、采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；

4、将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；

5、利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。

6、作为本发明中基于深度学习的钢材检测方法，进一步地，采集流水线作业中钢材表面清理工序后的图像数据中，在表面清理工序和缺陷标记工序之间的钢材输送流水线上设置视觉拍照系统，利用该视觉拍照系统来收集钢材不同方向角度的表面纹理图像数据。

7、作为本发明中基于深度学习的钢材检测方法，进一步，所述视觉拍照系统利用4个同一竖直垂面上的工业相机从四个方向来分别收集钢材四个不同方向角度的表面纹理图像数据。

8、作为本发明中基于深度学习的钢材检测方法，进一步，对图像数据进行预处理，分离出图像数据中钢材区域图像，包含如下内容：首先，对图像数据进行灰度化处理并选取钢材所在区域为感兴趣区域，对感兴趣区域图像进行平滑处理，获取竖直投影图像数据组；然后，对竖直投影图像数据组进行归一化处理，通过合并查找来分离出钢材区域图像。

9、作为本发明基于深度学习的钢材检测方法，进一步地，获取竖直投影图像数据组中，依据感兴趣区域左上角位置和感兴趣宽高来标记感兴趣区域，并对平滑处理的感兴趣区域图像进行竖直方向投影，逐列统计灰度信息之和，将统计之后的灰度信息作为竖直方向投影数组，并依据感兴趣区域最低灰度值和感兴趣区域高度来滤除采集到钢材两端位置图像。

10、作为本发明基于深度学习的钢材检测方法，进一步地，对竖直投影图像数据组进行归一化处理，通过合并查找来分离出钢材区域图像，包含：首先，将竖直方向投影数组线性归一化到[0,1]区间，并对归一化后的数据进行一维高斯平滑处理；接着，从左到右遍历高斯平滑处理后的数据，依据图像像素起止位置将起止位置大于投影宽度预设值的图像像素数据以数组形式进行记录和保存，其中，记录保存的图像像素数据至少包含：图像像素起止位置和对应宽度数据；然后，依据相邻图像像素之间的距离来合并更新数组数据及当前图像像素宽度，并通过查看当前图像像素宽度是否与钢材宽度预设值匹配，通过匹配结果来分离出钢材区域图像。

11、作为本发明基于深度学习的钢材检测方法，进一步地，依据相邻图像像素之间的距离来合并更新数组数据，包含：将数组中相邻图像像素之间距离与预设值进行比对，若距离小于预设值且相邻图像像素中前一个图像像素终点位置到后一个图像像素起始位置间的灰度值大于预设的感兴趣区域最低灰度值，则合并该相邻图像像素，并将后一个图像像素起始位置更新为前一个图像像素的起始位置。

12、作为本发明基于深度学习的钢材检测方法，进一步地，所述缺陷检测模型采用darknet-53作为骨干网络来提取输入图像数据的缺陷特征，并利用spp网络来融合不同尺寸大小的缺陷特征数据，通过分类和回归预测来进行解耦；模型训练过程中，将已标注的钢材缺陷样本数据集作为训练数据集和验证数据集，并利用训练数据集和验证数据集来训练和验证缺陷检测模型。

13、作为本发明基于深度学习的钢材检测方法，进一步地，所述缺陷分类模型采用resnet网络结构，利用残差模块对不同卷积层的特征图进行连接，通过分类器来获取输入图像的缺陷类别；并利用缺陷分类数据集对缺陷分类模型进行预训练。

14、进一步地，本发明还提供一种基于深度学习的钢材检测系统，包含：图像采集模块、缺陷检测模块和缺陷分类模块，其中，

15、图像采集模块，用于采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；

16、缺陷检测模块，用于将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；

17、缺陷分类模块，用于利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。

18、本发明的有益效果：

19、1、本发明利用传统算法和深度学习算法相结合，不仅具有可解释性强和精度高等特点，还具有特征表达能力和泛化能力强等特点，可使钢材缺陷检测方案具有检出率高、误检率低、适应性强的优点，提高整个钢材表面缺陷检测系统的鲁棒性，具有较好的应用前景。

20、2、本发明中，首先对视觉模块采集到的灰度图像进行预处理，然后对灰度图竖直投影后的图像进行归一化后，记录满足条件的水平方向起止位置，最后筛选出方刚所在位置，获得钢材所在区域图像。前景钢材提取效果好，抗干扰能力强。与传统的阈值分割或霍夫变换提取感兴趣区域相比，通过采用的灰度图竖直投影与归一化相结合的思想，能稳定提取到感兴趣区域，不易受钢材表面成像和外界生产环境的干扰，极大程度上提高了检测系统的稳定性。

21、3、本案方案中利用深度学习强大的特征学习表达能力和泛化能力强的特点，可有效检出缺陷的位置与种类信息，剔除伪缺陷，缺陷检出率高、误检率低，适应性强。与传统的特征提取与机器学习相结合的方法相比，本案方案能够应对不同的钢材检测场景，具有准确度高、定位精度高、适应性强等特点。