基于多光谱成像的产品缺陷智能检测系统及其方法与流程

1.本发明涉及缺陷检测技术领域，特别是基于多光谱成像的产品缺陷智能检测系统及其方法。


背景技术：

2.随着计算机技术以及人工智能特别是深度学习的发展，目前在食品加工中为了保证产品的质量，通常需要对产品进行品质检测，目前常见的品质检测方法主要包括机器视觉、热成像技术、核磁共振技术以及多光谱图像检测方法等。
3.多光谱图像技术作为一种新型的分析检测技术，在生物医学、食品检测等多个研究领域有了一定的应用。目前，多光谱图像技术已经突破地质遥感领域，逐步应用于食品质量的评价和检验。发展趋势主要分为：(1)蔬菜类食品，因保质期短不宜存放，且营养物质变化过快，急需对蔬菜的营养品质进行快速无损检测。可溶性固形物含量是指包括可溶性糖、酸、维生素、矿物质和纤维素等成分的综合性指标，是评价蔬菜营养价值的重要参数，现常用折射仪法，耗时长且需破坏样品，因此，利用多光谱图像系统快速无损地检测蔬菜是研究者们关注的重点；(2)粮油作物种植领域，多光谱图像技术结合无人机航拍可实现大面积、快速、准确的病虫灾害防治；(3)中药材质量控制领域，近红外漫反射光谱具有分析速度快、成本低、无损、前处理简单等优点，可对易混药材之间进行准确的分类识别。
4.现有技术会采用机器视觉系统和多光谱成像来对产品进行识别和分类，并进行该产品的缺陷检测，但是现有技术中的检测系统，缺少边缘计算功能，且生产端检测的智能化程度较低，局限性大，没有自主学习功能，所以对于现有的多光谱成像的产品缺陷智能检测系统的智能化程度还有待发展，难以获取不同缺陷深度下的丰富信息，难以适应于多光谱成像产品缺陷检测的发展，为此我们提出一种基于多光谱成像的产品缺陷智能检测系统及其方法。


技术实现要素：

5.鉴于上述现有的产品在生产制造的质量检测中所存在的问题，提出了本发明。
6.因此，本发明提供基于多光谱成像的产品缺陷智能检测系统及其方法，其利用多光谱筛选、机器学习和边缘计算，能够自动识别待检测加工产品的缺陷，同时边缘计算后通过云端进行优化后的专项检测，使得自主学习、训练的数据得到了进一步优化和反馈，以提高产品缺陷检测的准确性和其他关联数据应用的全面性，提高了产品缺陷的智能化发展。
7.为解决上述技术问题，本发明提供如下技术方案：包括用于产品缺陷智能检测和边缘计算的生产检测端，以及云端处理平台；所述生产检测端包括用于使待检测产品发生位移的生产检测线、用于拍摄待检测产品的多光谱相机、用于控制所述多光谱相机所在空间位置的机器人、用于根据所述多光谱相机拍摄后形成多光谱图像数据的产品缺陷检测深度学习系统；所述云端处理平台包括缺陷问题分析模块和缺陷问题关联模块，用于调用所述生产检测端边缘计算生成边缘计算数据后进行缺陷问题分析，同时进行关联自主学习后
生成反馈数据传输至所述生产检测端，用于所述生产检测端进行相应的产品缺陷智能检测设备的控制以及产品缺陷检测深度学习系统的分析优化；
8.所述产品缺陷检测深度学习系统包括数据获取模块、数据处理模块、模型训练模块、图像识别模块；所述数据获取模块用于基于多光谱图像数据筛选特征波段；所述数据处理模块用于将所述多光谱图像数据进行预处理得到训练数据，所述预处理包括样本标注、主成分分析和数据增广处理；所述模型训练模块用于构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；所述图像识别模块用于基于已训练的分级分割模型对待检测产品的预设区域进行图像分割后，完成图像识别，输出待检测产品的缺陷检测结果。
9.作为本发明的一种优选方案，其中：所述缺陷问题分析模块调用所述生产检测端边缘计算生成数据后进行缺陷问题分析，包括：
10.用于分析计算平方误差代价函数的误差计算单元；
11.用于分析计算卷积层输出的卷积层计算单元；
12.用于分析计算灵敏度的灵敏度计算单元；
13.用于分析计算平方误差代价函数对偏置的偏导，以及计算平方误差代价函数对卷积层的偏导的偏导计算单元；
14.用于更新卷积网络中采样层的权值的权值更新单元。
15.作为本发明的一种优选方案，其中：所述缺陷问题关联模块包括分类排序单元、判定单元、关联优化单元、检索匹配单元和输出反馈单元；
16.所述分类排序单元将边缘计算数据进行分词得到关键字或关键词，通过字段控制器去将对应的语句拆解分词后按权重评分排序；
17.所述判定单元判定生产检测端数量，对单个生产检测端和多个生产检测端进行判断，通过判断得到相应的缺陷判定生产检测端体系，所述缺陷判定生产检测端体系对应缺陷检测问题库表；
18.所述关联优化单元按边缘计算数据关键字或关键词，优化对比检索对应缺陷检测问题库表或者预设的缺陷检测问题系统库表；
19.所述检索匹配单元根据生产检测端体系和生产检测端系统中的历史数据和现场情况缺陷，输出生产检测端的缺陷检测边缘计算数据，或者/和相互关联的生产检测端对应的缺陷检测边缘计算数据，形成结果数据；
20.所述输出反馈单元向对应的生产检测端输出关联优化后结果数据。
21.作为本发明的一种优选方案，其中：所述生产检测端还包括安装在所述机器人上的照明光源。
22.作为本发明的一种优选方案，其中：所述生产检测端还包括连接所述生产检测线、多光谱相机、机器人以及照明光源的上位机，所述上位机中设有所述生产检测线、多光谱相机、机器人以及照明光源的控制系统；
23.所述产品缺陷检测深度学习系统设于上位机中，连接所述生产检测线、多光谱相机、机器人以及照明光源的控制系统。
24.作为本发明的一种优选方案，其中：所述机器人采用三轴或五轴机器人；所述生产检测线采用皮带传输机构或圆辊传输机构；所述照明光源至少两个，环绕式的设置在所述
多光谱相机周围。
25.作为本发明的一种优选方案，其中：所述生产检测线还包括用于控制待检测产品在所述皮带传输机构或圆辊传输机构上进行翻转的翻转机构。
26.作为本发明的一种优选方案，基于多光谱成像的产品缺陷智能检测系统的方法，包括以下步骤：
27.待检测产品设于生产检测线上，生产检测线用于空间移动待检测产品至检测工位并进行相应的调整，通过机器人控制多光谱相机对所述生产检测线上的待检测产品进行多角度拍摄，形成多光谱图像数据后传输至产品缺陷检测深度学习系统中，进行边缘计算，即基于多光谱图像数据筛选特征波段；将所述多光谱图像数据进行预处理得到训练数据；构建语义分割模型，将所述训练数据输入到所述语义分割模型进行训练，并调节所述语义分割模型的分割参数；基于已训练的分级分割模型对待检测产品的预设区域进行图像分割后，完成图像识别输出待检测产品的缺陷检测结果；
28.同时云端处理平台包括缺陷问题分析模块和缺陷问题关联模块，用于调用所述生产检测端边缘计算生成边缘计算数据后进行缺陷问题分析，同时进行关联自主学习后生成反馈数据传输至所述生产检测端，用于所述生产检测端进行相应的产品缺陷智能检测设备的控制以及产品缺陷检测深度学习系统的分析优化。
29.所述缺陷问题分析模块调用所述生产检测端边缘计算生成数据后进行缺陷问题分析，具体如下：
30.步骤一，通过式(1)分析计算平方误差代价函数e，如下：
[0031][0032]
其中，n表示样本个数；c表示标签的维度，即样本被分为c类；表示第n个样本tn标签的第k维；表示第n个样本网络输出的第k维；
[0033]
步骤二，通过式(2)分析计算卷积层的第k层的输出如下：
[0034][0035]
其中，i表示第i种特征值，f为激活函数，mj表示选择的输入特征值组合，表示第k层的上一层输出，为输入的第i种特征值和输出的第j种特征值之间用于连接的卷积核，bj为第j种特征值对应的偏置；
[0036]
步骤三，通过式(3)分析计算灵敏度如下：
[0037][0038]
其中，uk为偏导权重更新系数；
[0039]
步骤四，通过式(4)计算平方误差代价函数e对偏置bj的偏导，以及求和计算平方误差代价函数e对卷积层的偏导，如下：
[0040]
[0041]
其中，(u,v)为灵敏矩阵中元素的位置；
[0042]
步骤五，通过式(5)更新卷积网络中采样层的权值如下：
[0043][0044]
其中，down表示下采样层，表示上一采样层的权值，af1为激活函数，为加性偏置。
[0045]
本发明的有益效果：基于上述可知，本发明利用生产检测端的边缘计算与深度学习结合，使深度学习在无网络环境下能够直接在边缘设备进行计算，给实时收集的各类数据在边缘设备进行计算、分析及存储带来便利，其中直接在生产检测端进行的嵌入式设备计算，可避免网络传输带来的时延问题，并能实时将产品缺陷检测结果打包发送至云端处理平台对应的生产检测线中，并结合单个生产检测线数据树形和多个系统生产检测线数据树形，相互关联结合后数据进行自学习的训练，分层次定性产品缺陷，定性当前生产检测线中被检测产品可能存在的问题，实现单个生产检测线及多个生产检测线之间产品缺陷的快速定位、标准化分析结果模型，后续进行缺陷检测输出时更加的迅速、快捷且准确，同时将反馈发送至对应的生产检测端，再结合生产检测端上的生产检测线、多光谱相机、机器人等其他设备进行优化后的专项检测，使得自主学习、训练的数据得到了进一步优化和反馈，进而提醒质检人员做出相应的措施。
[0046]
综上所述，本发明通过多光谱筛选、机器学习和边缘计算，能够自动识别待检测加工产品的缺陷，同时边缘计算后通过云端进行优化后的专项检测，使得自主学习、训练的数据得到了进一步优化和反馈，以提高产品缺陷检测的准确性和其他关联数据应用的全面性，提高了产品缺陷的智能化发展。
附图说明
[0047]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0048]
图1为本发明实施例中基于多光谱成像的产品缺陷智能检测系统的模块化结构示意图；
[0049]
图2为本发明实施例中缺陷问题分析模块的模块化结构示意图；
[0050]
图3为本发明实施例中缺陷问题关联模块的模块化结构示意图。
[0051]
其中，10、生产检测端；20、云端处理平台；101、多光谱相机；102、机器人；103、生产检测线；104、产品缺陷检测深度学习系统；201、误差计算单元；202、卷积层计算单元；203、灵敏度计算单元；204、偏导计算单元；205、权值更新单元；210、分类排序单元；220、判定单元；230、关联优化单元；240、检索匹配单元；250、输出反馈单元。
具体实施方式
[0052]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
参照图1、图2和图3，为本发明的一个实施例，该实施例提供了基于多光谱成像的产品缺陷智能检测系统。包括用于产品缺陷智能检测和边缘计算的生产检测端10，以及云端处理平台20；
[0054]
生产检测端10包括用于使待检测产品发生位移的生产检测线103、用于拍摄待检测产品的多光谱相机101、用于控制多光谱相机101所在空间位置的机器人102、用于根据多光谱相机101拍摄后形成多光谱图像数据的产品缺陷检测深度学习系统104；
[0055]
云端处理平台20包括缺陷问题分析模块和缺陷问题关联模块，用于调用生产检测端10边缘计算生成边缘计算数据后进行缺陷问题分析，同时进行关联自主学习后生成反馈数据传输至生产检测端10，用于生产检测端10进行相应的产品缺陷智能检测设备的控制以及产品缺陷检测深度学习系统104的分析优化；
[0056]
产品缺陷检测深度学习系统104包括数据获取模块、数据处理模块、模型训练模块、图像识别模块；数据获取模块用于基于多光谱图像数据筛选特征波段；数据处理模块用于将多光谱图像数据进行预处理得到训练数据，预处理包括样本标注、主成分分析和数据增广处理；模型训练模块用于构建语义分割模型，将训练数据输入到语义分割模型进行训练，并调节语义分割模型的分割参数；图像识别模块用于基于已训练的分级分割模型对待检测产品的预设区域进行图像分割后，完成图像识别，输出待检测产品的缺陷检测结果。
[0057]
基于上述可知，本发明利用生产检测端10的边缘计算与深度学习结合，使深度学习在无网络环境下能够直接在边缘设备进行计算，给实时收集的各类数据在边缘设备进行计算、分析及存储带来便利，其中直接在生产检测端10进行的嵌入式设备计算，可避免网络传输带来的时延问题，并能实时将产品缺陷检测结果打包发送至云端处理平台20对应的生产检测线103中，并结合单个生产检测线103数据树形和多个系统生产检测线103数据树形，相互关联结合后数据进行自学习的训练，分层次定性产品缺陷，定性当前生产检测线103中被检测产品可能存在的问题，实现单个生产检测线103及多个生产检测线103之间产品缺陷的快速定位、标准化分析结果模型，后续进行缺陷检测输出时更加的迅速、快捷且准确，同时反馈发送至对应的生产检测端10，再结合生产检测端上10的生产检测线103、多光谱相机101、机器人102等其他设备进行优化后的专项检测，使得自主学习、训练的数据得到了进一步优化和反馈，进而提醒质检人员做出相应的措施。
[0058]
本实施例进一步说明地，缺陷问题分析模块调用生产检测端10边缘计算生成数据后进行缺陷问题分析，包括：用于分析计算平方误差代价函数的误差计算单元201；用于分析计算卷积层输出的卷积层计算单元202；用于分析计算灵敏度的灵敏度计算单元203；用于分析计算平方误差代价函数对偏置的偏导，以及计算平方误差代价函数对卷积层的偏导的偏导计算单元204；用于更新卷积网络中采样层的权值的权值更新单元205。
[0059]
本实施例缺陷问题关联模块包括分类排序单元210、判定单元220、关联优化单元230、检索匹配单元240和输出反馈单元250；分类排序单元210将边缘计算数据进行分词得到关键字或关键词，通过字段控制器去将对应的语句拆解分词后按权重评分排序；判定单元220判定生产检测端10数量，对单个生产检测端10和多个生产检测端10进行判断，通过判
断得到相应的缺陷判定生产检测端体系，缺陷判定生产检测端体系对应缺陷检测问题库表；关联优化单元230按边缘计算数据关键字或关键词，优化对比检索对应缺陷检测问题库表或者预设的缺陷检测问题系统库表；检索匹配单元240根据生产检测端体系和生产检测端系统中的历史数据和现场情况缺陷，输出生产检测端10的缺陷检测边缘计算数据，或者/和相互关联的生产检测端10对应的缺陷检测边缘计算数据，形成结果数据；输出反馈单元250向对应的生产检测端10输出关联优化后结果数据。
[0060]
本实施例优选地，生产检测端10还包括安装在机器人102上的照明光源。此外生产检测端10还包括连接生产检测线103、多光谱相机101、机器人102以及照明光源的上位机，上位机中设有生产检测线103、多光谱相机101、机器人102以及照明光源的控制系统；产品缺陷检测深度学习系统104设于上位机中，连接生产检测线103、多光谱相机101、机器人102以及照明光源的控制系统。
[0061]
本实施例中的机器人102采用三轴或五轴机器人；生产检测线103采用皮带传输机构或圆辊传输机构；照明光源至少两个，环绕式的设置在多光谱相机101周围。此外生产检测线103还包括用于控制待检测产品在皮带传输机构或圆辊传输机构上进行翻转的翻转机构。
[0062]
基于上述，本实施例还提出一种基于多光谱成像的产品缺陷智能检测系统的方法，包括以下步骤：
[0063]
待检测产品设于生产检测线103上，生产检测线103用于空间移动待检测产品至检测工位并进行相应的调整，通过机器人102控制多光谱相机101对生产检测线103上的待检测产品进行多角度拍摄，形成多光谱图像数据后传输至产品缺陷检测深度学习系统104中，进行边缘计算，即基于多光谱图像数据筛选特征波段；将多光谱图像数据进行预处理得到训练数据；构建语义分割模型，将训练数据输入到语义分割模型进行训练，并调节语义分割模型的分割参数；基于已训练的分级分割模型对待检测产品的预设区域进行图像分割后，完成图像识别，输出待检测产品的缺陷检测结果；同时云端处理平台20包括缺陷问题分析模块和缺陷问题关联模块，用于调用生产检测端10边缘计算生成边缘计算数据后进行缺陷问题分析，同时进行关联自主学习后生成反馈数据传输至生产检测端10，用于生产检测端10进行相应的产品缺陷智能检测设备的控制以及产品缺陷检测深度学习系统104的分析优化。
[0064]
其中，缺陷问题分析模块调用生产检测端10边缘计算生成数据后进行缺陷问题分析，具体如下：
[0065]
步骤一，通过式(1)分析计算平方误差代价函数e，如下：
[0066][0067]
其中，n表示样本个数；c表示标签的维度，即样本被分为c类；表示第n个样本tn标签的第k维；表示第n个样本网络输出的第k维；
[0068]
步骤二，通过式(2)分析计算卷积层的第k层的输出如下：
[0069]
[0070]
其中，i表示第i种特征值，f为激活函数，mj表示选择的输入特征值组合，表示第k层的上一层输出，为输入的第i种特征值和输出的第j种特征值之间用于连接的卷积核，bj为第j种特征值对应的偏置；
[0071]
步骤三，通过式(3)分析计算灵敏度如下：
[0072][0073]
其中，uk为偏导权重更新系数；
[0074]
步骤四，通过式(4)计算平方误差代价函数e对偏置bj的偏导，以及求和计算平方误差代价函数e对卷积层的偏导，如下：
[0075][0076]
其中，(u,v)为灵敏矩阵中元素的位置；
[0077]
步骤五，通过式(5)更新卷积网络中采样层的权值如下：
[0078][0079]
其中，down表示下采样层，表示上一采样层的权值，af1为激活函数，为加性偏置。
[0080]
基于上述可知本发明，与传统的机器学习模型相比不同的是，本发明的多光谱检测技术方案采用的卷积神经网络模型使用了多层架构，即从不同的角度多维自主捕捉特征，形成多层次的抽象，然后将得到的新变量输入卷积层、采样层进行训练，再根据全连接层输出的判别值，得到模拟预测产品缺陷的效果。
[0081]
综上，本发明通过多光谱筛选、机器学习和边缘计算，能够自动识别待检测加工产品的缺陷，同时边缘计算后通过云端进行优化后的专项检测，使得自主学习、训练的数据得到了进一步优化和反馈，以提高产品缺陷检测的准确性和其他关联数据应用的全面性，提高了产品缺陷的智能化发展。
[0082]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。