技术特征：
1.一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，其特征在于，所述方法包括：获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。2.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵样本特征包括四个不同尺寸的特征图，分别为所述瑕疵样本特征提取子网络中第二个特征提取层到第五个特征提取层输出的特征图；所述正常样本特征包括所述正常样本特征提取子网络中第四个特征提取层与第五个特征提取层输出的特征图f4′
、f5′
；所述利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图，包括：将所述瑕疵样本特征提取子网络中第四、五个特征提取层输出的特征图f4、f5，分别与所述特征图f4′
、f5′
按元素相减，得到差异特征图f4″
、f5″
；将所述瑕疵特征提取子网络中第二、三特征提取层输出的特征图f2、f3与所述差异特征f4″
、f5″
输入所述特征金字塔子网络，所述特征金字塔子网络对f2、f3、f4″
、f5″
进行特征融合，输出多张不同尺度的特征图，作为融合特征图；其中，所述特征金字塔子网络包括多个上采样操作层。3.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层；所述利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合，包括：将所述融合特征图依次输入所述预处理层，所述预处理层根据所述融合特征图的尺寸相应地生成不同尺寸的先验框，用于粗略检测瑕疵目标的位置；其中，所述融合特征图包括多张特征图；将所述先验框输入所述先验框二分类层，生成先验框的置信度；将所述先验框输入所述先验框位置调整层，生成先验框的偏移量；根据所述置信度，挑选出置信度较高的先验框；根据所述偏移量对置信度较高的先验框进行位置偏差调整，输出瑕疵目标候选框集合。4.根据权利要求3所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵分类子网络包括
瑕疵特征处理模块、瑕疵分类模块和候选框调整模块；所述利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果，包括：将所述瑕疵目标候选框集合中任一瑕疵目标候选框对应到所述特征金字塔子网络输出的融合特征图上，将对应的融合特征图和所述瑕疵目标候选框经过roi pooling操作后，得到瑕疵特征图；将所述瑕疵特征图输入所述瑕疵特征处理模块；将所述瑕疵特征处理模块的输出特征输入所述瑕疵分类模块，用于对所述瑕疵目标候选框进行分类，得到瑕疵的类别；将所述瑕疵特征处理模块的输出特征输入所述候选框调整模块，生成瑕疵目标候选框的偏移量，用于对所述瑕疵目标候选框的位置进行调整，得到优化后的瑕疵位置。5.根据权利要求4所述的注塑件瑕疵检测方法，其特征在于，所述根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型，包括：利用所述正常样本训练集与瑕疵样本训练集对所述正常样本特征提取子网络进行训练，得到训练好的正常样本特征提取子网络；其中，损失函数为交叉熵损失函数，所述正常样本特征提取子网络包括分类层；将所述训练好的正常样本特征提取子网络导入至所述网络模型中，利用所述正常样本训练集与瑕疵样本训练集对所述网络模型进行训练，根据所述预测结果和所述瑕疵信息，通过优化所述区域生成子网络的损失函数和所述瑕疵分类子网络的损失函数，从而实现网络模型的收敛，得到训练好的网络模型。6.根据权利要求5所述的注塑件瑕疵检测方法，其特征在于，所述预测结果包括瑕疵的类别和位置；所述区域生成子网络的损失函数为：其中，p
i
为先验框i的置信度，为先验框i的标签，其值为1或0，是通过计算先验框i与所述瑕疵信息中的瑕疵位置的交并比得出；若为1，则t
i
为先验框i的偏移量，为先验框i与所述瑕疵信息中的瑕疵位置的偏移量；n
rpn_cls
为先验框中被标记为1和0的先验框的总数，n
rpn_reg
为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失l
rpn_cls
使用交叉熵损失函数，回归损失l
rpn_reg
使用smooth l1 loss，即：所述瑕疵分类子网络的损失函数为：其中，p
k
为网络预测的瑕疵目标候选框k的类别，为该瑕疵目标候选框对应的瑕疵类
别标签，t
k
为网络预测的瑕疵目标候选框k的偏移量，为该瑕疵目标候选框与所述瑕疵信息中的瑕疵位置的真实偏移量；n为瑕疵目标候选框总数；分类损失l
ide_cls
使用交叉熵损失函数，回归损失l
ide_reg
使用smooth l1 loss。7.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵样本特征提取子网络包括5个特征提取层，采用resnet101网络结构，每个特征提取层的结构不同并依次连接；所述利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征，包括：将所述瑕疵样本数据集中的有瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；将第二个特征提取层到第五个特征提取层输出的包含瑕疵特征与背景特征的不同尺寸的特征图作为瑕疵样本特征。8.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述正常样本特征提取子网络包括5个特征提取层，采用resnet101网络结构，每个特征提取层的结构不同并依次连接；所述利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征，包括：将所述正常样本数据集中的无瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；将第四个特征提取层与第五个特征提取层输出的包含背景信息的不同尺寸的特征图作为正常样本特征。9.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类，包括：将待测的注塑件图像输入所述训练好的网络模型中的正常样本特征提取子网络，根据输出结果判断是否存在瑕疵；若存在，则将待测的注塑件图像输入所述训练好的网络模型中的瑕疵特征提取子网络，并在正常样本特征提取子网络输入预存的无瑕疵样本图像；根据所述训练好的网络模型输出的预测结果，完成瑕疵图像中瑕疵的检测与分类。10.根据权利要求1～9任一项所述的注塑件瑕疵检测方法，其特征在于，所述获取训练数据集，包括：在同一光照、同一背景下拍摄具有明显瑕疵特征的注塑件图像俯视图以及无瑕疵特征的注塑件图像俯视图；对每一张具有明显瑕疵特征的注塑件图像俯视图，人工标注瑕疵信息，将所述具有明显瑕疵特征的注塑件图像俯视图作为有瑕疵图像，所有有瑕疵图像构成瑕疵样本数据集；其中，所述瑕疵信息包括瑕疵位置与类别；将所述无瑕疵特征的注塑件图像俯视图作为无瑕疵图像，所有无瑕疵图像构成正常样本数据集；所述瑕疵样本数据集和所述正常样本数据集构成训练数据集。
技术总结
本发明公开了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备和存储介质，该方法包括：获取训练数据集，构建网络模型；利用网络模型对训练数据集中有瑕疵图像和无瑕疵图像进行特征提取，得到瑕疵样本特征和正常样本特征；进而对两者进行特征融合，得到不同尺度的融合特征图；然后对融合特征图进行处理，生成瑕疵候选框；最后对瑕疵候选框进行瑕疵特征识别，得到预测结果；根据预测结果和训练数据集中人工标注的瑕疵信息，训练网络模型；将待测的注塑件图像输入训练好的网络模型，完成瑕疵的检测与分类。本发明能够提取注塑件图像中精确的瑕疵区域特征，获得准确的瑕疵类型识别与目标位置，为注塑机制备工艺提供指导性意见。艺提供指导性意见。艺提供指导性意见。
技术研发人员：谢巍 陈健锐 余孝源
受保护的技术使用者：华南理工大学
技术研发日：2022.06.07
技术公布日：2022/9/19