基于多源域深度迁移多光源集成的轴承表面缺陷检测方法

本发明涉及零件缺陷检测与机器视觉的技术领域，尤其是涉及一种基于多源域深度迁移多光源集成的轴承表面缺陷检测方法。

背景技术：

轴承，是当代机械设备中一种常见的重要零部件，其主要功能是支承旋转体、减少摩擦并保证回转精度。作为机械设备中的重要零件，轴承的运行状态直接影响到整台机器的精度、可靠性、安全性及寿命。如果在设备运行期间，轴承发生故障，可能会导致设备产生振动、噪声等一系列负面现象，从而导致设备的工作效率下降、宕机、机器报废甚至人员伤亡。

目前，在轴承生产加工的过程中，轴承的外观检测主要是通过人工完成的，这对检测人员来说是一项枯燥且易出错的工作，尤其对于微型轴承、微小缺陷的轴承，其几何缺陷更加不易被发现。人工检测不仅工人劳动强度大，而且受工人的精神状态、熟练水平等主观因素的影响。缺陷产品流入市场会给消费者的使用带来安全隐患。

传统的基于机器视觉的轴承缺陷检测方法，虽然能够检测一些简单、明确的缺陷类型，并用于指导和改进轴承的生产环节。但是，由于这类检测技术的关键在于：获取图像中与缺陷种类相关的特征表示，而特征的质量很大程度取决于工程师的经验和能力，存在难以寻找准确的特征导致误检率或误报率高的问题。由于针对一种或几种轴承缺陷设计的专门的算法存在通用性和灵活性差的缺点，一旦流程或者产品型号变换，之前精心设计的算法可能不再适用。这样就限制了机器视觉应用的普及速度，难以大规模应用。

技术实现要素：

本发明的目的在于提供一种基于多源域深度迁移多光源集成的轴承表面缺陷检测方法，以解决传统的基于机器视觉的轴承缺陷检测方法灵活性差问题，加快机器视觉应用的普及速度。

本发明提供的一种基于多源域深度迁移多光源集成的轴承表面缺陷检测方法，包括如下步骤：

s1，采集多种光源下的正常轴承图像和缺陷轴承图像，并标记其类型；

s2，对采集的图像进行预处理；

先对不同光源下的轴承图像对应储存，然后对数据进行清洗，剔除错误分类的数据，提升数据集的质量；对数据采用一系列适用于轴承侧面的图像预处理方法扩充数据集大小；

s3，基于mobilenet网络构造轴承缺陷检测模型；

s4，使用多种光源下轴承图像构成的多源域训练数据集，对轴承缺陷检测模型进行深度迁移；

即：基于领域适应的集成迁移方法训练模型；

s5，将模型对多源域待测图像预测的结果集成，确定其缺陷类型，获得最终检测结果。

进一步的，在步骤s1中，轴承图像包括单光源光照下的轴承图像和多种光源组合光照条件下的轴承图像。

进一步的，在步骤s1中，轴承图像包括外圈外倒角缺陷、外圈黑斑缺陷、轴承盖黑斑缺陷、内圈黑斑缺陷、内圈内倒角缺陷及合格产品的图像。

进一步的，在步骤s2中，清洗包括如下步骤：

①工作人员依据生产现场的评判标准，对轴承表面图像进行分类；

②对于缺陷样本，工作人员细分缺陷的种类。

进一步的，在步骤s2中，图像预处理包括如下方法：随机水平翻转、随机仿射变换、随机色彩抖动、随机剪裁为不同大小和宽高比，上述随机概率为0.5～0.8。

进一步的，在步骤s3中，轴承缺陷检测模型对mobilenet模型进行如下改造：

①将其最后一层卷积层替换为两层全连接层；

②两层全连接层之间添加batchnorm、relu、dropout环节，作为分类器层。

进一步的，在步骤s4中，迁移的目标域数据集的选择方式，具体为通过比较待选目标域数据集与其他数据集的差异和，取差异和最小的为最终目标域。

进一步的，域差异方法包括：基于最大平均差异(mmd,maximummeandiscrepancy)度量域差异方法、基于多核最大平均差异(mk-mmd，multi-kernelmmd)度量域差异方法和基于生成对抗度量域差异方法。

进一步的，集成迁移方法训练模型的损失函数计算公式为：

其中，ly为目标域的分类损失函数，其计算公式为：

其中，λ为折衷值，其计算公式为：

i为迭代次数，n为总迭代次数；

其中，lda为域差异方法计算的域损失。

进一步的，将模型对多源域待测图像预测的结果集成的计算公式为；

class＝max(∑predi(x))；

其中，predi为第i个域的预测结果，class为最终的预测类。

本发明提供的一种基于多源域深度迁移多光源集成的轴承表面缺陷检测方法，在大型数据集预训练模型的基础上，以多光源轴承图像为多个源域数据，模型采用基于域差异的迁移方法，在多源域数据集上进行多源域迁移，提高了轴承缺陷的检测精度。本发明充分利用同一轴承在多个光源下的图像信息，提高了故障检测模型的泛化能力，降低了漏检率和误检率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于多源域深度迁移多光源集成的轴承表面缺陷检测方法流程图；

图2为本发明实施例提供的基于多源域深度迁移多光源集成的轴承表面缺陷检测方法的训练模型流程图；

图3为本发明实施例提供的基于多源域深度迁移多光源集成的轴承表面缺陷检测方法的多源域预测结果集成流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1～3所示，本发明提供的一种基于多源域深度迁移多光源集成的轴承表面缺陷检测方法，包括如下步骤：

s1，采集多种光源下的正常轴承图像和缺陷轴承图像，并标记其类型；

具体地，首先，进行打光实验，使光照条件充分突显轴承合格或缺陷的特征，获得高质量的图像，通过ccd工业相机采集在不同光源下的轴承图像。

进一步的，在上述步骤s1中，轴承图像包括单光源光照下的轴承图像和多种光源组合光照条件下的轴承图像。

进一步的，在上述步骤s1中，轴承图像包括外圈外倒角缺陷、外圈黑斑缺陷、轴承盖黑斑缺陷、内圈黑斑缺陷、内圈内倒角缺陷及合格产品的图像。

s2，对采集的图像进行预处理；

先对不同光源下的轴承图像对应储存，然后对数据进行清洗，剔除错误分类的数据，提升数据集的质量；对数据采用一系列适用于轴承侧面的图像预处理方法扩充数据集大小；

进一步的，在上述步骤s2中，清洗包括如下步骤：

①工作人员依据生产现场的评判标准，对轴承表面图像进行分类；

②对于缺陷样本，工作人员细分缺陷的种类。

对于测试集中的样本，确保不出现在训练集中。

进一步的，在上述步骤s2中，图像预处理包括如下方法：随机水平翻转、随机仿射变换、随机色彩抖动、随机剪裁为不同大小和宽高比。

具体地，对获得的原始图像，统一尺寸，再依次采用随机水平翻转、随机仿射变换、随机色彩抖动、随机剪裁为不同大小和宽高比等，最后进行归一化处理，使图像保持在相同的尺度上。

上述随机概率为0.6。

s3，基于mobilenet网络构造轴承缺陷检测模型；

进一步的，在上述步骤s3中，轴承缺陷检测模型对mobilenet模型进行如下改造：

①将其最后一层卷积层替换为两层全连接层；

②两层全连接层之间添加batchnorm、relu、dropout等环节，作为分类器层，以增强模型的稳定性、泛化能力，加速模型收敛。

在上述实施例中，全连接层大小分别为(1280，1024)、(1024，k)，k为缺陷种类总数和合格种类数之和。

s4，使用多种光源下轴承图像构成的多源域训练数据集，对轴承缺陷检测模型进行深度迁移；

即：基于领域适应的集成迁移方法训练模型；

进一步的，在上述步骤s4中，迁移的目标域数据集的选择方式，具体为通过比较待选目标域数据集与其他数据集的差异和，取差异和最小的为最终目标域。

具体的，将同一轴承在不同光源下的图像在同一批次输入模型，计算各自域损失lda，进行指数平均获得迁移损失。使用分类损失与迁移损失之和对模型进行优化，获得收敛的缺陷检测模型。

固定全部卷积层的权重，重新训练全连接层。设置批处理大小为32，优化器为adam，学习率为0.0004，再固定前n层，微调之后的卷积层和全连接层的参数，优化方法采用sgd，学习率为0.0001。

优选的，将缺陷检测模型的前n层冻结，如图1所示，以充分利用预训练模型的低层次特征提取能力，并加快模型收敛。n的选取方法：通过依次冻结前i层(i<t，t为卷积层个数)，选取模型最佳性能时的i值作为n值。

优选的，模型反向传播更新权重时，对适应层和分类器层采取不同的学习率，本实施例对适应层的学习率为分类器层的1/5。

进一步的，域差异方法包括：基于最大平均差异(mmd,maximummeandiscrepancy)度量域差异方法、基于多核最大平均差异(mk-mmd，multi-kernelmmd)度量域差异方法和基于生成对抗度量域差异方法。

优选的，域损失采用的域差异度量方法为基于mmd的域差异方法。

s5，将模型对多源域待测图像预测的结果集成，确定其缺陷类型，获得最终检测结果。

进一步的，上述集成迁移方法训练模型的损失函数计算公式为：

其中，ly为目标域的分类损失函数，其计算公式为：

其中，λ为折衷值，其计算公式为：

i为迭代次数，n为总迭代次数；

其中，lda为域差异方法计算的域损失。

进一步的，将模型对多源域待测图像预测的结果集成的计算公式为；

class＝max(∑predi(x))；

其中，predi为第i个域的预测结果，class为最终的预测类。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过程序来指令相关硬件来完成，该程序可以储存于一计算机可读储存接种中，存储介质包括：rom、ram、磁盘、光盘等。

本发明的上述技术通过工业相机采集轴承图像，然后将图像通过缺陷检测模型进行实时检测，从而判断轴承是否存在缺陷以及缺陷的种类。本发明作为一种以机器视觉为基础的轴承表面缺陷检测技术，具有检测效率高、检测精度高、检测质量高的特点。

本发明提供的具有高检测精度和鲁棒性的检测方法，因其灵活性和通用性高、无需专业知识等特性，一方面为轴承缺陷检测提供了新的思路，另一方面，在公开的大型数据集(如imagenet)预训练的卷积神经网络，具有很强的特征提取能力，一些底层的特征提取层对于轴承图像同样有效。有效的解决了现有技术中，盲目地将大型数据集预训练模型直接用于轴承缺陷检测，导致负迁移，不能充分利用已训练模型和现有的数据资源的问题。

本发明从多个光源下的轴承图像数据集上获得更多有效的特征提取层，使得轴承缺陷检测模型具有更高精度和鲁棒性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。