尼龙帘布外观缺陷检测模型及其构建方法、装置及应用与流程

本申请涉及计算机视觉领域，特别是涉及一种尼龙帘布外观缺陷检测模型及其构建方法、装置及应用。

背景技术：

1、尼龙浸胶窗帘布是一种使用尼龙材料制成的窗帘，尼龙是一种合成纤维，具有许多优点，如耐磨性、耐用性和强度。它也具有较高的弹性和柔软度，使其成为制作窗帘的理想选择之一。尼龙窗帘布通常具有较光滑的表面和丰富的色彩选择，可以适应各种室内装饰风格。它还具有较好的遮光性能，可以有效地阻挡阳光和保护室内隐私。尼龙窗帘布易于清洁和维护，一般情况下可以用清水擦拭或者机洗。此外，尼龙材料具有较低的收缩率，不容易起皱或变形。选择尼龙窗帘布时，可以根据个人喜好和需求考虑不同的款式、颜色和纹理。此外，还可以关注窗帘的透光性能和阻隔阳光的能力，以及是否需要额外的隐私保护功能。总的来说，尼龙浸胶窗帘布是一种功能多样且易于维护的窗帘选择，适合用于家庭、办公室和商业场所等各种环境。

2、但是在尼龙浸胶窗帘布的生产加工过程中，经常会出现断经、断纬、粗节、粗经等等常见的多种缺陷，这些缺陷主要表现为尼龙浸胶窗帘布的表面纹理在小范围内发生变化，尼龙浸胶窗帘布的瑕疵直接影响成品质量，影响产品合格率以及用户体验，作为纺织品生产加工最后一道工序，纺织品的瑕疵检测是至关重要的环节，传统的检测方法需要凭借工人的经验进行人工检测，主观性强、漏检率高，而现有的基于计算机视觉的智能检测方法通常只能检测特定针织材料的缺陷，适应性较差，目前，尼龙浸胶窗帘布的缺陷检测仍然依赖于人工视觉检查，这种方法费时费力，并且容易受主观因素的影响，存在一定的误判和漏检的风险。

3、因此，亟需一种可以高效、准确的自动化检测尼龙材质外观缺陷的系统来提高生产效率。

技术实现思路

1、本申请实施例提供了一种尼龙帘布外观缺陷检测模型及其构建方法、装置及应用，通过获取尼龙帘布图像并对其进行处理识别尼龙帘布图像中存在缺陷的特征位置，在对其进行分类得到尼龙帘布图像存在的各种类型的缺陷。

2、第一方面，本申请实施例提供了一种尼龙帘布外观缺陷检测模型的构建方法，所述方法包括：

3、获取尼龙帘布图像，对所述尼龙帘布图像的缺陷进行标注后作为训练样本，对每一训练样本进行预处理得到与每一训练样本对应的帘布rgb图像，根据所述帘布rgb图像获取频率特征图像以及边缘特征图像；

4、构建尼龙帘布外观缺陷检测模型，所述尼龙帘布外观缺陷检测模型包括外观特征提取层、缺陷特征提取层以及缺陷分类层；

5、所述外观特征提取层包含帘布外观语义特征提取模块和帘布外观特征学习模块，所述帘布外观语义特征提取模块分别对帘布rgb图像、频率特征图像以及边缘特征图像进行语义特征提取后合并得到帘布外观语义特征，将所述帘布外观语义特征输入到帘布外观特征学习模块中得到帘布外观特征；

6、所述缺陷特征提取层包括特征空间增强模块和transformer编码模块，所述特征空间增强模块对所述帘布外观特征进行平移操作后再与所述帘布外观特征合并得到帘布外观增强特征，所述transformer编码模块对所述帘布外观增强特征进行编码得到帘布外观缺陷特征；

7、从所述帘布外观缺陷特征中获取分类标识位作为所述缺陷分类层的输入，所述分类标识位为帘布外观缺陷特征中的关键特征，所述缺陷分类层通过全连接层对所述分类标识位进行分类得到分类标签，使用所述分类标签与对应训练样本的标注进行比对计算损失函数，对损失函数进行优化得到训练好的尼龙帘布外观缺陷检测模型。

8、第二方面，本申请实施例提供了一种尼龙帘布外观缺陷检测方法，包括：

9、获取待检测图像，对待检测图像进行预处理得到帘布rgb图像，根据所述帘布rgb图像获取频率特征图像以及边缘特征图像，将帘布rgb图像、频率特征图像以及边缘特征图像输入到训练好的尼龙帘布外观缺陷检测模型中输出待检测图像存在每种缺陷的概率，根据待检测图像中存在每种缺陷的概率输出检测结果。

10、第三方面，本申请实施例提供了一种尼龙帘布外观缺陷检测模型的构建装置，包括：

11、获取模块：获取尼龙帘布图像，对所述尼龙帘布图像的缺陷进行标注后作为训练样本；

12、获取模块：获取尼龙帘布图像，对所述尼龙帘布图像的缺陷进行标注后作为训练样本，对每一训练样本进行预处理得到与每一训练样本对应的帘布rgb图像，根据所述帘布rgb图像获取频率特征图像以及边缘特征图像；

13、构建模块：构建尼龙帘布外观缺陷检测模型，所述尼龙帘布外观缺陷检测模型包括外观特征提取层、缺陷特征提取层以及缺陷分类层；

14、外观特征提取模块：所述外观特征提取层包含帘布外观语义特征提取模块和帘布外观特征学习模块，所述帘布外观语义特征提取模块分别对帘布rgb图像、频率特征图像以及边缘特征图像进行语义特征提取后合并得到帘布外观语义特征，将所述帘布外观语义特征输入到帘布外观特征学习模块中得到帘布外观特征；

15、缺陷特征提取模块：所述缺陷特征提取层包括特征空间增强模块和transformer编码模块，所述特征空间增强模块对所述帘布外观特征进行平移操作后再与所述帘布外观特征合并得到帘布外观增强特征，所述transformer编码模块对所述帘布外观增强特征进行编码得到帘布外观缺陷特征；

16、缺陷分类模块：从所述帘布外观缺陷特征中获取分类标识位作为所述缺陷分类层的输入，所述分类标识位为帘布外观缺陷特征中的关键特征，所述缺陷分类层通过全连接层对所述分类标识位进行分类得到分类标签，使用所述分类标签与对应训练样本的标注进行比对计算损失函数，对损失函数进行优化得到训练好的尼龙帘布外观缺陷检测模型。

17、第四方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种尼龙帘布外观缺陷检测模型的构建方法或一种尼龙帘布外观缺陷检测方法。

18、第五方面，本申请实施例提供了一种一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种尼龙帘布外观缺陷检测模型的构建方法或一种尼龙帘布外观缺陷检测方法

19、本发明的主要贡献和创新点如下：

20、本申请实施例通过帘布rbg图像获取频率特征图像和边缘特征图像，频率特征图像和边缘特征图像可以有效体现出尼龙帘布出现的各种缺陷；本方案通过特征平移的方法对帘布外观特征进行四个方向的平移进行特征增强，并在transformer编码模块中通过随机位置编码以及添加分类标识位的方式有效避免原始序列节点的影响，使用多头自注意力机制来获取整体序列的信息特征，从而为后续的分类提供更有效的依据。

21、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种尼龙帘布外观缺陷检测模型的构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种尼龙帘布外观缺陷检测模型的构建方法，其特征在于，在“对每一训练样本进行预处理得到与每一训练样本对应的帘布rgb图像”步骤中，先采用快速中值滤波算法对训练样本进行预处理得到与每一训练样本对应的滤波图像，再使用图像缩放算法对所述滤波图像进行处理得到帘布rgb图像。

3.根据权利要求1所述的一种尼龙帘布外观缺陷检测模型的构建方法，其特征在于，在“根据所述帘布rgb图像获取频率特征图像以及边缘特征图像”步骤中，对所述帘布rgb图像进行拆分得到红通道图像、蓝通道图像、绿通道图像，分别对红通道图像、蓝通道图像、绿通道图像进行图像dct变换得到红通道频率特征图像、蓝通道频率特征图像、绿通道频率特征图像，将红通道频率特征图像、蓝通道频率特征图像、绿通道频率特征图像合并得到频率特征图像。

4.根据权利要求1所述的一种尼龙帘布外观缺陷检测模型的构建方法，其特征在于，在“根据所述帘布rgb图像获取频率特征图像以及边缘特征图像”步骤中，对所述帘布rgb图像进行拆分得到红通道图像、蓝通道图像、绿通道图像，分别对红通道图像、蓝通道图像、绿通道图像进行边缘特征提取得到红通道边缘特征图像、蓝通道边缘特征图像、绿通道边缘特征图像，将红通道边缘特征图像、蓝通道边缘特征图像、绿通道边缘特征图像合并得到边缘特征图像。

5.根据权利要求1所述的一种尼龙帘布外观缺陷检测模型的构建方法，其特征在于，在“所述特征空间增强模块对所述帘布外观特征进行平移操作后再与所述帘布外观特征合并得到帘布外观增强特征”步骤中，所述特征空间增强模块包括特征空间增强平移层、特征空间增强归一化层以及特征空间增强全连接层组成，在所述特征空间增强平移层中定义平移元组，所述平移元组中的元素决定所述帘布外观特征的平移距离以及平移方向，所述平移元组中的元素数量决定平移次数，根据所述平移元组来对所述帘布外观特征进行平移操作得到至少一帘布外观平移特征，将所述帘布外观特征与所有的帘布外观平移特征进行合并后通过特征空间增强归一化层以及特征空间增强全连接层进行输出得到帘布外观增强特征。

6.根据权利要求1所述的一种尼龙帘布外观缺陷检测模型的构建方法，其特征在于，所述transformer编码模块由一个随机位置编码层以及至少一个注意力层组成，其中，每个注意力层中由一个多头自注意力机制层和一个前馈神经网络顺序串联，在所述帘布外观增强特征中加入随机初始化的分类标识位后输入到所述随机位置编码层进行随机位置编码得到随机位置编码结果，将随机位置编码结果输入到所述注意力层中，在所述注意力层中通过多头自注意力机制层对输入特征进行处理得到多头自注意力机制特征，所述多头自注意力机制特征与自注意力层的输入特征进行残差标准化后得到第一残差标准化特征，所述第一残差标准化特征输入到前馈神经网络中得到前馈特征，所述前馈特征再与所述第一残差标准化特征进行残差标准化后通过一个归一层输出，最后一个注意力层的输出结果为帘布外观缺陷特征。

7.一种尼龙帘布外观缺陷检测方法，其特征在于，包括以下步骤：

8.一种尼龙帘布外观缺陷检测模型的构建装置，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-6任一所述的一种尼龙帘布外观缺陷检测模型的构建方法或权利要求7所述的一种尼龙帘布外观缺陷检测方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-6任一所述的一种尼龙帘布外观缺陷检测模型的构建方法或权利要求7所述的一种尼龙帘布外观缺陷检测方法。

技术总结
本申请提出了一种尼龙帘布外观缺陷检测模型及其构建方法、装置及应用，包括以下步骤：获取尼龙帘布图像并对其进行缺陷标注作为训练样本；构建尼龙帘布外观缺陷检测模型，将训练样本预处理后输入到外观缺陷检测模型中；外观缺陷检测模型中对预处理后的训练样本提取帘布外观特征，再根据帘布外观特征提取帘布外观缺陷特征；对帘布外观缺陷特征进行分类输出分类结果。本方案通过构建多标签分类模型来自动化检测尼龙帘布的外观缺陷。

技术研发人员：董丽琴,董卓妮,李明
受保护的技术使用者：杭州帝凯工业布有限公司
技术研发日：
技术公布日：2024/3/27