筒子纱的缺陷检测方法及其系统与流程

本技术涉及智能检测领域，且更为具体地，涉及一种筒子纱的缺陷检测方法及其系统。

背景技术：

1、筒子纱是纺纱厂络筒工序的产出品，其质量直接影响后道工序的生产，并最终影响纺织品的质量。受生产工艺的设定、设备清洁维护不到位、原材料质量等因素限制，筒子纱可能会存在缺陷，针对筒子纱各种缺陷，传统的生产线上，针对筒子纱的各种缺陷，主要采用人工检测的方法来进行筛选，但由于人工检测准确率低、检测速度慢。

2、因此，期待一种优化的筒子纱的缺陷检测方案，通过对筒子纱检测图像进行纹理和颜色上的提取进行深层隐含特征挖掘，得到分类结果，所述分类结果用于表示待检测筒子纱是否有缺陷。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种筒子纱的缺陷检测方法及其系统，其通过采用基于深度学习的人工智能算法来对待检测筒子纱的检测图像中关于筒子纱的纹理特征和颜色特征进行提取，并采用卷积神经网络模型提取特征并融合这两者的特征信息来综合进行判断所述待检测筒子纱是否有缺陷。这样，能够准确地进行筒子纱的智能化检测，以提高筒子纱缺陷检测的准确率进而提高生产质量。

2、根据本技术的一方面，提供了一种筒子纱的缺陷检测方法，其包括：

3、获取待检测筒子纱的检测图像；

4、将所述检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图以得到多通道lbp纹理特征直方图；

5、将所述多通道lbp纹理特征直方图通过包含多个混合卷积层的第一卷积神经网络模型以得到纹理特征图；

6、将所述检测图像通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；

7、对所述颜色特征图和所述纹理特征图进行按位置联合相关以得到所述分类特征图；以及

8、将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测筒子纱是否有缺陷。

9、在上述筒子纱的缺陷检测方法中，将所述多通道lbp纹理特征直方图通过包含多个混合卷积层的第一卷积神经网络模型以得到纹理特征图，包括：使用所述包含多个混合卷积层的第一卷积神经网络模型的各个混合卷积层在层的正向传递中分别进行：对输入数据进行多尺度卷积编码以得到多尺度卷积特征图；对所述多尺度卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活处理以得到激活特征图；其中，所述包含多个混合卷积层的第一卷积神经网络模型的最后一个混合卷积层的输出为所述纹理特征图；所述包含多个混合卷积层的第一卷积神经网络模型的层数小于等于5。

10、在上述筒子纱的缺陷检测方法中，对输入数据进行多尺度卷积编码以得到多尺度卷积特征图，包括：将所述多通道lbp纹理特征直方图输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度卷积特征图，其中，所述第一卷积层具有第一长度的第一二维卷积核；将所述多通道lbp纹理特征直方图输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度卷积特征图，其中，所述第二卷积层具有第二长度的第二二维卷积核，所述第一长度不同于所述第二长度；以及，将所述第一尺度卷积特征图和所述第二尺度卷积特征图进行级联以得到所述多尺度卷积特征图。

11、在上述筒子纱的缺陷检测方法中，将所述多通道lbp纹理特征直方图输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度卷积特征图，包括：使用所述多尺度邻域特征提取模块的第一卷积层对所述多通道lbp纹理特征直方图进行：对所述多通道lbp纹理特征直方图进行卷积处理以得到卷积特征图；对所述卷积特征图的通道维度的各个特征矩阵进行全局均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到所述第一尺度卷积特征图。

12、在上述筒子纱的缺陷检测方法中，将所述多通道lbp纹理特征直方图输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度卷积特征图，包括：使用所述多尺度邻域特征提取模块的第二卷积层对所述多通道lbp纹理特征直方图进行：对所述多通道lbp纹理特征直方图进行卷积处理以得到卷积特征图；对所述卷积特征图的通道维度的各个特征矩阵进行全局均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到所述第二尺度卷积特征图。

13、在上述筒子纱的缺陷检测方法中，将所述检测图像通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述颜色特征图，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述检测图像，所述特征提取器的第二卷积神经网络模型的层数小于等于5。

14、在上述筒子纱的缺陷检测方法中，对所述颜色特征图和所述纹理特征图进行按位置联合相关以得到所述分类特征图，包括：将所述颜色特征图和所述纹理特征图分别展开为颜色特征向量和纹理特征向量；将所述颜色特征向量和所述纹理特征向量排列为二维联合矩阵；对所述二维联合矩阵进行中心化处理(即，各个元素减去所述二维联合矩阵的均值)以得到去中心化二维联合矩阵；计算所述去中心化二维联合矩阵的协方差矩阵；对所述协方差矩阵进行基于特征值的矩阵分解以得到多个特征值以及对应于所述多个特征值的多个特征值向量；以及，将所述多个特征值向量进行维度重构以得到所述分类特征图。

15、在上述筒子纱的缺陷检测方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测筒子纱是否有缺陷，用于：使用所述分类器以如下分类公式对所述分类特征图进行处理以获得分类结果，其中，所述分类公式为：o＝softmax{(mc,bc)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，其中mc为全连接层的权重矩阵，bc表示全连接层的偏置向量，softmax表示归一化指数函数。

16、根据本技术的另一方面，提供了一种筒子纱的缺陷检测系统，其包括：

17、图像获取模块，用于获取待检测筒子纱的检测图像；

18、转化模块，用于将所述检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图以得到多通道lbp纹理特征直方图；

19、纹理特征提取模块，用于将所述多通道lbp纹理特征直方图通过包含多个混合卷积层的第一卷积神经网络模型以得到纹理特征图；

20、颜色特征提取模块，用于将所述检测图像通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；

21、融合模块，用于对所述颜色特征图和所述纹理特征图进行按位置联合相关以得到所述分类特征图；以及

22、分类结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测筒子纱是否有缺陷。

23、在上述筒子纱的缺陷检测系统中，所述纹理特征提取模块，包括：使用所述包含多个混合卷积层的第一卷积神经网络模型的各个混合卷积层在层的正向传递中分别进行：对输入数据进行多尺度卷积编码以得到多尺度卷积特征图；对所述多尺度卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活处理以得到激活特征图；其中，所述包含多个混合卷积层的第一卷积神经网络模型的最后一个混合卷积层的输出为所述纹理特征图；所述包含多个混合卷积层的第一卷积神经网络模型的层数小于等于5。

24、在上述筒子纱的缺陷检测系统中，所述对输入数据进行多尺度卷积编码以得到多尺度卷积特征图，包括：第一尺度提取单元，用于将所述多通道lbp纹理特征直方图输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度卷积特征图，其中，所述第一卷积层具有第一长度的第一二维卷积核；第二尺度提取单元，用于将所述多通道lbp纹理特征直方图输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度卷积特征图，其中，所述第二卷积层具有第二长度的第二二维卷积核，所述第一长度不同于所述第二长度；以及，多尺度提取单元，用于将所述第一尺度卷积特征图和所述第二尺度卷积特征图进行级联以得到所述多尺度卷积特征图。

25、在上述筒子纱的缺陷检测系统中，所述颜色特征提取模块，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述颜色特征图，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述检测图像，所述特征提取器的第二卷积神经网络模型的层数小于等于5。

26、在上述筒子纱的缺陷检测系统中，所述融合模块，包括：展开单元，用于将所述颜色特征图和所述纹理特征图分别展开为颜色特征向量和纹理特征向量；排列单元，用于将所述颜色特征向量和所述纹理特征向量排列为二维联合矩阵；中心化处理单元，用于对所述二维联合矩阵进行中心化处理(即，各个元素减去所述二维联合矩阵的均值)以得到去中心化二维联合矩阵；协方差单元，用于计算所述去中心化二维联合矩阵的协方差矩阵；分解单元，用于对所述协方差矩阵进行基于特征值的矩阵分解以得到多个特征值以及对应于所述多个特征值的多个特征值向量；以及，维度重构单元，用于将所述多个特征值向量进行维度重构以得到所述分类特征图。

27、在上述筒子纱的缺陷检测系统中，所述分类结果生成模块，用于：使用所述分类器以如下分类公式对所述分类特征图进行处理以获得分类结果，其中，所述分类公式为：o＝softmax{(mc,bc)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，其中mc为全连接层的权重矩阵，bc表示全连接层的偏置向量，softmax表示归一化指数函数。

28、根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的筒子纱的缺陷检测方法。

29、根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的筒子纱的缺陷检测方法。

30、与现有技术相比，本技术提供的一种筒子纱的缺陷检测方法及其系统，其通过采用基于深度学习的人工智能算法来对待检测筒子纱的检测图像中关于筒子纱的纹理特征和颜色特征进行提取，并采用卷积神经网络模型提取特征并融合这两者的特征信息来综合进行判断所述待检测筒子纱是否有缺陷。这样，能够准确地进行筒子纱的智能化检测，以提高筒子纱缺陷检测的准确率进而提高生产质量。