基于单目视觉的蒜米表面缺陷尺寸检测装置及其方法

1.本发明属于在农产品的自动化品质检测技术领域，具体涉及一种基于单目视觉的蒜米表面缺陷尺寸检测装置及其方法。


背景技术：

2.农产品蒜米的年产量巨大，社会需求也较高，但蒜米作为农产品的一种，品质受其外观影响大，因此对其外观品质的检测非常重要，腐坏，不合格的蒜米会对整个产品产生较大的负面影响。但传统的检测方式是人工检测为主，安排大量的人力从蒜米中挑选出不合格的蒜米产品加以剔除，费力、费时，且准确度不高，容易有漏检、误检的情况发生。


技术实现要素：

3.本发明的目的在于提供一种基于单目视觉的蒜米表面缺陷尺寸检测方法，以解决背景技术中存在的问题。
4.为实现上述目的，本发明提供如下技术方案：
5.一种基于单目视觉的蒜米表面缺陷尺寸检测装置，包括机架、相机、条形光源、背景板和两块反射棱镜，所述条形光源和相机固定在所述机架的一侧，背景板固定在所述机架的另一侧，两块反射棱镜分别固定在所述背景板的两侧，相机照向两块反射棱镜之间。
6.一种基于单目视觉的蒜米表面缺陷尺寸检测方法，包括以下步骤：步骤一、采集蒜米表面图像；
7.步骤二、对图像中的蒜米做图像预处理，去除图像中的噪点；
8.步骤三、对图像按照固定的蒜米位置坐标进行图像分割，使左镜、实际位置、右镜分割成三幅图像，分别包含各自位置的单粒蒜米图像；
9.步骤四、对分割出来的图像中的蒜米做最小外接矩形运算，通过判断该矩形是否与图像上下边缘相交，若相交即不是一粒完整的单粒蒜米，获取下一帧图像中该矩形位置的蒜米图像，若不相交即可将蒜米送入模型推理；
10.步骤四、模型推理采用deep l abv3+语义分割模型，使用训练的结果即有效特征层，对上一步获取到的最小外接矩形进行推理，获取图像中不同像素的种类，从而根据标定的结果，即可确定蒜米腐坏和蒜梗过大缺陷的尺寸。
11.优选地，步骤一中、采集蒜米表面图像的方法为：检测开始时，蒜米呈竖直状做自由落体运动，经过拍摄位置，通过呈120度夹角的反射棱镜，相机即可以拍摄蒜米的全面图像；
12.优选地，步骤一中，在检测开始之前，首先对左镜平面，实际物平面，右镜平面分别进行标定工作，获取三平面分别的像平面坐标和物坐标之间的变换矩阵m
13.优选地，在模型推理开始之前，需要对一定数量的蒜米图像样本进行训练，从而获取预测所需要的有效特征层做推理。
14.本发明的有益效果是：采用本方法对蒜米腐坏及蒜梗过大的缺陷进行剔除，可以
有效提高工作效率，及筛选的准确性，并且对缺陷检测的准确率可达99.4％，避免由于人工出现疲乏导致的错检漏检。
附图说明
15.图1为本发明的立体图。
具体实施方式
16.下面结合附图及较佳实施例详细说明本发明的具体实施方式。
17.如图1所示，一种基于单目视觉的蒜米表面缺陷尺寸检测装置，包括机架1、相机2、条形光源3、背景板4和两块反射棱镜5，所述条形光源和相机固定在所述机架的一侧，背景板固定在所述机架的另一侧，两块反射棱镜分别固定在所述背景板的两侧，相机照向两块反射棱镜之间。机架上设有对射式光电开关。本装置是由线阵ccd图像采集系统构成，图像采集环境越好，采集的图像越好，图像处理的工作也就越少，系统的运行也就愈加稳定，为了达到图像采集的最优效果；光源的设计是为了获得合格且无阴影的图像；背景板是为了拍摄蒜米时能获得干净的背景；对射式光电开关的目的是为了能在蒜米下落开始后，触发相机采集，使得系统自动化程度更高；由于对蒜米检测需要全方位检测，使用反射棱镜，从而可使拍摄时，单目相机即可拍摄蒜米的全面图像。
18.通过该装置，蒜米将竖直状掉落至图像采集区域。此时，下落蒜米通过光电开关触发相机采集蒜米的全面图像，使用夹角为120度的反射棱镜，通过安装在蒜米的后方采集下落蒜米的反面图像进行检测。本装置通过采用工业相机完成对反射棱镜及实际物体平面图像的采集，对反射棱镜及实际物体平面分别进行标定，建立三平面各自物像坐标系间的变换矩阵m，从而得到像坐标到实际坐标间的转换，完成标定。
19.1、在检测开始之前，首先对左镜平面，实际物平面，右镜平面分别进行标定工作，获取三平面分别的像平面坐标和物坐标之间的变换矩阵m。在模型推理开始之前，需要对一定数量的蒜米图像样本进行训练，从而获取预测所需要的有效特征层做推理。
20.2、检测开始时，蒜米呈竖直状做自由落体运动，经过拍摄位置，通过呈120度夹角的反射棱镜，相机即可以拍摄蒜米的全面图像。图像采集时，当蒜米下落至图像采集区时，由于蒜米呈瀑布式下落，采集到的图像也无法保证只含有完整的蒜米。因此，通过程序处理，当拍摄到不完整的蒜米图像时，其蒜米边缘会与预先设置的图像上下边缘接触，采集到的蒜米图像被边缘切割，进而导致蒜米图像的不完整，由此使系统放弃该帧图像，采用下一帧图像进行处理，保证每张图像中只保留下单粒完整蒜米。当采集到完整图像后，需对其进行预处理，以减少后期图像处理难度。由于一般相机在进行图像获取、图像传输和存贮图像的过程中，都会受到外界噪声的干扰从而影响采集到的图片质量，因此为了获得高质量的数字图像，需要对图像进行预处理，这也直接影响后续的蒜米图像的处理效果。
21.3、程序第一步对图像中的蒜米做图像预处理，去除图像中的噪点。第二步对图像按照固定的蒜米位置坐标进行图像分割，使左镜、实际位置、右镜分割成三幅图像，分别包含各自位置的单粒蒜米图像。第三步对分割出来的图像中的蒜米做最小外接矩形运算，通过判断该矩形是否与图像上下边缘相交，相交即不是一粒完整的单粒蒜米，不相交即可将蒜米送入模型推理。
22.4、采用deep l abv3+语义分割模型，使用训练的结果即有效特征层，对上一步获取到的最小外接矩形进行推理，获取图像中不同像素的种类，从而根据标定的结果，即可确定蒜米腐坏和蒜梗过大缺陷的尺寸。采用语义分割模型识别蒜米的缺陷，在encoder中，我们会对压缩四次的初步有效特征层利用并行的atrous convo l ut ion，分别用不同rate的atrous convo l ut ion进行特征提取，再进行合并，再进行1x1卷积压缩特征。在decoder中，我们会对压缩两次的初步有效特征层利用1x1卷积调整通道数，再和空洞卷积后的有效特征层上采样的结果进行堆叠，在完成堆叠后，进行两次深度可分离卷积块。这个时候，我们就获得了一个最终的有效特征层，它是整张图片的特征浓缩。我们需要利用特征获得预测结果。利用一个1x1卷积进行通道调整。利用res i ze进行上采样使得最终输出层，宽高和输入图片一样。deep l abv3模型检测的效果：结合传统的图像分割与目标识别与一体，许多视觉任务的应用场景都需要语义分割对目标进行精准的预测，可以精确的找到蒜米的腐坏区域。
23.应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。


技术特征：
1.一种基于单目视觉的蒜米表面缺陷尺寸检测装置，其特征在于：包括机架、相机、条形光源、背景板和两块反射棱镜，所述条形光源和相机固定在所述机架的一侧，背景板固定在所述机架的另一侧，两块反射棱镜分别固定在所述背景板的两侧，相机照向两块反射棱镜之间。2.一种利用权利要求1所述的基于单目视觉的蒜米表面缺陷尺寸检测装置的检测方法，其特征在于:包括以下步骤：步骤一、采集蒜米表面图像；步骤二、对图像中的蒜米做图像预处理，去除图像中的噪点；步骤三、对图像按照固定的蒜米位置坐标进行图像分割，使左镜、实际位置、右镜分割成三幅图像，分别包含各自位置的单粒蒜米图像；步骤四、对分割出来的图像中的蒜米做最小外接矩形运算，通过判断该矩形是否与图像上下边缘相交，若相交即不是一粒完整的单粒蒜米，获取下一帧图像中该矩形位置的蒜米图像，若不相交即可将蒜米送入模型推理；步骤四、模型推理采用deeplabv3+语义分割模型，使用训练的结果即有效特征层，对上一步获取到的最小外接矩形进行推理，获取图像中不同像素的种类，从而根据标定的结果，即可确定蒜米腐坏和蒜梗过大缺陷的尺寸。3.根据权利要求2所述的基于单目视觉的蒜米表面缺陷尺寸检测方法，其特征在于:步骤一中、采集蒜米表面图像的方法为：检测开始时，蒜米呈竖直状做自由落体运动，经过拍摄位置，通过呈120度夹角的反射棱镜，相机即可以拍摄蒜米的全面图像。4.根据权利要求2所述的基于单目视觉的蒜米表面缺陷尺寸检测方法，其特征在于:步骤一中，在检测开始之前，首先对左镜平面，实际物平面，右镜平面分别进行标定工作，获取三平面分别的像平面坐标和物坐标之间的变换矩阵m 。5.根据权利要求4所述的基于单目视觉的蒜米表面缺陷尺寸检测方法，其特征在于:在模型推理开始之前，需要对一定数量的蒜米图像样本进行训练，从而获取预测所需要的有效特征层做推理。

技术总结
本发明属于在农产品的自动化品质检测技术领域，具体涉及一种基于单目视觉的蒜米表面缺陷尺寸检测装置及其方法，包括机架、相机、条形光源、背景板和两块反射棱镜，所述条形光源和相机固定在所述机架的一侧，背景板固定在所述机架的另一侧，两块反射棱镜分别固定在所述背景板的两侧，相机照向两块反射棱镜之间。采用本方法对蒜米腐坏及蒜梗过大的缺陷进行剔除，可以有效提高工作效率，及筛选的准确性，并且对缺陷检测的准确率可达99.4％，避免由于人工出现疲乏导致的错检漏检。工出现疲乏导致的错检漏检。工出现疲乏导致的错检漏检。


技术研发人员：李小鹏 王永强 周聪玲 张宝胜 鲁晓康 王亚博 袁天浩
受保护的技术使用者：天津科技大学
技术研发日：2022.07.18
技术公布日：2022/11/25