一种基于FPGA与MnasNet的钢材表面缺陷识别方法与流程

本发明涉及钢材表面缺陷检测，具体为一种基于fpga与mnasnet的钢材表面缺陷识别方法。

背景技术：

1、随着现代工业技术的飞速发展，钢材作为基础设施建设和工业制造的重要材料，其表面质量对产品的整体性能和可靠性具有至关重要的影响。钢材表面缺陷，如裂纹、结疤、划痕、锈蚀等，不仅影响产品的美观，还可能显著降低其强度、耐腐蚀性和疲劳寿命，从而对使用安全构成潜在威胁。因此，如何高效、准确地识别钢材表面的缺陷，成为了钢铁企业和科研机构关注的焦点。

2、传统的钢材表面缺陷检测方法主要包括人工目视检测和基于机器视觉的无损检测技术。人工目视检测虽然灵活，但存在效率低、易疲劳、主观性强等缺点，难以适应现代工业生产的快速节奏和高精度要求。而传统的机器视觉技术，如激光扫描和ccd检测法，虽然在一定程度上提高了检测效率和准确性，但其设备复杂、成本高、易受环境干扰等问题限制了其广泛应用。

3、近年来，随着深度学习技术的飞速发展，特别是mnasnet在图像识别领域的成功应用，为钢材表面缺陷识别提供了全新的解决方案。mnasnet凭借其强大的特征提取和模式识别能力，能够在复杂背景下准确识别出钢材表面的微小缺陷，具有检测速度快、准确率高、自动化程度高等优点。然而，基于cpu或gpu的cnn模型在处理大规模数据时，往往面临计算资源消耗大、实时性差等问题。

4、针对上述挑战，结合现场可编程门阵列(fpga)技术的优势，提出了一种基于fpga与mnasnet的钢材表面缺陷识别方法。fpga作为一种高性能的可编程逻辑器件，具有并行处理能力强、功耗低、实时性好等优点，能够显著加速mnasnet模型的计算过程。通过将mnasnet模型部署到fpga上，可以实现钢材表面缺陷的实时、高效、准确识别。

5、基于fpga与mnasnet的钢材表面缺陷识别方法，首先利用mnasnet模型对大量钢材表面缺陷图像进行训练，提取出缺陷的特征表示。然后，将训练好的mnasnet模型转换为fpga可执行的硬件描述语言(hdl)代码，并通过fpga实现模型的并行计算。在实际应用中，通过摄像头或图像采集卡实时采集钢材表面的图像，并将其输入到fpga中的mnasnet模型中进行处理。fpga利用其并行计算能力，快速完成图像的预处理、特征提取和缺陷识别等任务，并将识别结果实时反馈给控制系统或操作人员。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于fpga与mnasnet的钢材表面缺陷识别方法，旨在提高工业检测的精度和效率。该方法结合fpga的并行计算能力和mnasnet的深度学习特征提取能力，实现了钢材表面缺陷的实时自动识别和分类。通过fpga硬件加速，可以处理大规模的钢材表面图像数据流，快速而精确地分析各种缺陷类型，包括裂纹、凹坑、气泡等。这种集成了深度学习与硬件加速的方法，不仅提高了检测的速度和准确性，还增强了系统的可靠性和应用范围，适用于工业生产线上的实时质量控制和缺陷分析任务的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于fpga与mnasnet的钢材表面缺陷识别方法，包括以下步骤：

3、步骤一、使用工业摄像头实时捕获钢材表面的图像；

4、步骤二、将彩色图像转换为灰度图像，以减少计算量和存储需求；

5、步骤三、利用中值滤波去除图像中噪声；

6、步骤四、在图像处理中通过边缘检测识别图像中亮度变化，并计算图像亮度的梯度近似值来工作；

7、步骤五、在图像处理中，通过用户选择图像中的一个特定区域进行进一步的处理或分析；

8、步骤六、将图像像素值归一化到特定范围，以适应mnasnet模型的输入要求；

9、步骤七、用mnasnet对处理后的图像进行检测并识别，并通过fpga进行加速。

10、优选的，所述步骤二中灰度化公式：

11、lgray＝0.299·r+0.587·g+0.114·b

12、其中，r、g、b分别代表图像中每个像素的红、绿、蓝分量，lgray是转换后的灰度值。

13、优选的，所述步骤三中的中值滤波原理公式：

14、y[n]＝median(x[n-k],...,x[n+k])

15、其中，x[n]是原始信号，y[n]是滤波后的信号，n是当前位置，k是窗口大小的一半，median(.)函数表示取中值操作。

16、优选的，所述步骤四中边缘检测的具体方式为：

17、水平方向：

18、垂直方向：

19、优选的，所述步骤六中将图像像素值归一化公式：

20、

21、其中，lnom是归一化后的像素值，i是原始像素值，lmin和lmax分别是图像中的最小和最大像素值。

22、优选的，所述步骤七中mnasnet对处理后的图像进行检测并识别的步骤：

23、在前向传播过程中，预处理后的图像数据首先进入mnasnet的输入层，随后通过卷积层利用深度可分离卷积技术来减少参数数量和计算量，同时保持对图像特征的提取能力，提取出图像的高级语义特征，并通过全连接层(在分类任务中常转换为全局平均池化层以减少参数)映射到预定的类别空间，输出每个类别的置信度分数，卷积层之后，通常会跟随池化层，用于降低特征图的空间维度，进一步减少计算量并引入一定的平移不变性，在卷积和池化层之间，还可能插入非线性激活函数以增强网络的非线性表达能力。

24、优选的，所述卷积层是cnn中的核心组件，通过卷积运算对输入数据进行特征提取。卷积运算的目的是提取输入数据的局部特征，卷积操作的基本公式可以表示为：

25、

26、其中，output(i,j)是输出特征图上位置(i,j)的值，input(i+m,j+n)是输入特征图上对应位置的值，kernel(m,n)是卷积核上位置(m,n)的权重。

27、优选的，所述池化层主要用于减少特征图的维度，同时保留重要的特征信息，通过设定窗口在特征图滑动，对窗口内的数据进行聚合操作，从而减小特征图的尺寸，对于池化窗口内的每个子区域，取该区域内的最大值作为输出。

28、优选的，所述全连接层将前一层的所有神经元与当前层的每个神经元相连，实现特征的综合和分类，公式：

29、yi＝f(∑j wijxj+bi)

30、其中，yi是当前层第i个神经元的输出，xj是前一层第j个神经元的输出，wij是两层之间第i个和第j个神经元之间的权重，bi是偏置项，f是激活函数。

31、本发明提供了一种基于fpga与mnasnet的钢材表面缺陷识别方法。具备以下有益效果：

32、1、本发明创造性地将高效的深度学习模型mnasnet与fpga硬件平台相结合，实现了钢材表面缺陷识别的高精度与实时性。这种结合不仅发挥了mnasnet在复杂特征提取上的优势，还充分利用了fpga的高并行处理能力和低延迟特性，为实时质量控制提供了新的解决方案。

33、2、本发明通过将训练好的mnasnet模型转换为fpga可执行的hdl代码，本发明实现了深度学习模型从软件到硬件的无缝转换。这一过程不仅保留了模型的高精度，还显著提升了处理速度和效率，使得模型能够在实际生产环境中实现即时响应。

34、3、本发明通过集成摄像头或图像采集卡等硬件设备，本发明能够实时捕获钢材表面的高清图像，并直接在fpga中进行图像的预处理、特征提取和缺陷识别。这种端到端的实时处理流程极大地缩短了缺陷识别的响应时间，为生产线的快速响应和及时调整提供了可能。

35、4、本发明基于fpga的mnasnet模型在钢材表面缺陷识别中的应用，显著提高了生产线的自动化程度和质量控制水平。通过即时反馈缺陷信息给控制系统或操作人员，可以迅速采取相应措施，减少不良品的产生，提高产品质量和生产效率。

36、5、本发明fpga的可重配置性使得本发明的系统具有良好的灵活性和可扩展性。随着钢材表面缺陷识别需求的不断变化和深度学习模型的不断优化，可以通过重新配置fpga来适应新的模型和算法，无需更换硬件设备，降低了升级成本和维护难度。

37、6、本发明将深度学习技术与fpga硬件平台相结合，实现了钢材表面缺陷识别的高效、精准和实时处理，为钢材生产过程中的质量控制提供了新的思路和方法。