适用于移动生产线上的坚果智能检测方法及系统

本发明涉及不规则物体的计量和图像识别领域，尤其涉及适用于移动生产线上的坚果智能检测方法及系统。

背景技术：

1、在我国坚果生产加工产业快速发展的过程中，面临着各种各样的问题。主要有我国的坚果产后附加值相对不高，坚果采摘后的后续处理技术采用率相对低，商品化处理方式相对落后。这些问题不仅严重影响坚果的品质，更是制约了坚果的价格。随着国民经济的持续健康发展，人民群众收入稳步提高，消费结构也在不断优化升级。具体到坚果的消费层面上来说，消费者必然会对坚果的外观、齐整度及其内在品质提出更高的期望。在这样的形势下，对坚果的商品化处理自然也就会提出更高的要求。而坚果商品化处理的首要步骤就是要进行坚果的分选分级，按照质量检验的标准对坚果进行分级并及时地将残次品剔除；在坚果的动态品质筛选过程中，能够自动识别出坚果坏果并获取坚果缺陷位置。虽然现在的机器视觉技术正在快速发展，但是在到坚果的生产加工过程中实际应用，还存在许多不足。例如在坚果尺寸、体积方面还是主要以人工和机械设备相结合为主，在坚果的坏果识别方面还是需要依靠果农经验，以人工判别为主。但在如今自动化的时代人工分拣成本较高，时间较长且准确率低，且容易存在经验差异导致的误差，不能对分拣后坚果质量问题进行保证。

2、近年来，随着机器视觉技术，计算机硬件技术、图像处理技术、模式识别和人工智能的技术的发展，以及坚果分级标准及体系的完善，越来越多的现代科技与传统坚果分级技术相结合，为坚果的计数、智能测量和品质检测提供了新的途径。

3、图像测量法：2010年，周平等在《基于机器视觉的鸡蛋体积与表面积计算方法》一文中利用机器视觉技术测量鸡蛋的体积和表面积，假设鸡蛋图像关于纵轴对称，提出利用图像像素测量鸡蛋的体积vp和表面积sp，并应用排水法和陀螺仪测鸡蛋的体积v和表面积s，建立体积vp与v和表面积sp与s之间的关系模型，相关系数r分别为0.965和0.971，鸡蛋体积与实测体积相比准确率达到92％，鸡蛋表面积与实测体积相比准确率达到88％，为在线测量鸡蛋的几何特征参数提供了新的参考方法，具有一定的实用价值。该类图像测量方法优点在于方法简单、成本低，缺点在于精度不高、对环境光的要求高。

4、ct成像法：2015年，rogge等在《a3d contour based geometrical modelgenerator for complex-shaped horticultural products》一文中提出一种新的农产品几何模型建立的新方法，采用x射线获取水果的ct图像，水果的3d轮廓由2d图像轮廓信号经坐标变换构成，3d轮廓模型直接导入cad软件对模型进行网格划分生成几何模型，测量几何模型的体积和表面积。该类ct成像方法优点在于精度高，缺点在于操作复杂、设备价格昂贵、数据处理繁琐。

5、双目成像法：2010年，m.omid等在《estimating volume and mass of citrusfruits by image processing technique》一文中使用两个摄像头来重建水果的三维模型。水果体积是通过将水果图像分割成若干基本的椭圆形平截头体来计算的。使用vb程序将体积计算为各个平截头体的体积之和。计算的体积与排水法测定的实际体积吻合良好。该类双目成像方法优点在于成本低、算法较成熟，缺点在于对环境光和物理表面纹理有一定依赖。

6、深度相机测量法：2017年，qinghuasu等在《potato feature prediction basedon machine vision and 3d model rebuilding》一文中利用primesense carmine深度相机搭建图像采集系统，采集110个马铃薯深度图像，并对图像进行处理，提取图像长度，宽度，厚度和体积等特征参数，计算图像测量值和手工测量值之间的误差。结果表明，长度，宽度和厚度之间的平均误差分别为2.5％，3.5％和4.4％，另外3d体积模型能够准确区分正常马铃薯和非正常马铃薯，其中体积正确分级率为93％，表面积的正确分率为73％。primesense carmine深度相机可实现农产品尺寸，形状，体积和表面积等特征参数测量和分级。该类深度相机测量方法优点在于精度高、成本低，缺点目前的算法还不成熟。

7、三维点云测量法：《果树单树产量测量的方法和系统》通过获取果树的三维点云数据，并进行预处理得到果树三维点云数据集；对果树三维点云数据集进行分割得到只包含果实信息的果实三维点云数据集；对果实三维点云数据集进行统计，得到n个果实三维点云数据子集和果实个数n；根据果实三维点云数据子集计算出相对应的每个果实的果实半径，得到果实半径数组；根据果实半径与果实质量的关系模型中的基础参数一一计算出果实半径数组中的每个果实半径对应的果实质量，累加计算出整株果树的产量。该方法对于点云数据的处理繁琐，更多依赖于现有的方法和软件，没有做到技术和算法上的创新，且由于不同果树之间和器官间的遮挡，以及其他外部条件(如风吹)的影响，导致对表型参数的测量精度不够高。

8、机器视觉技术：伴随着人工智能的发展，很多学者研究视角转向深度学习。baigvand.m设计了一种基于计算机视觉的无花果分级系统，首先采用ccd相机完成对无花果的品质检测，然后通过输送机构，将无花果划分为5个等级；arakeri.m.p在《computervision based fruit grading system for quality evaluation of tomato inagriculture industry》研发设计了一款基于机器视觉的西红柿分级系统，提升了分级系统的自动化程度和分级效率。但这两个研究都没有做到对西红柿的动态品质检测，导致不能够让品质检测更加智能化和精细化。

9、综上所述，国内外对果实表型研究已经有一定的理论和技术，但现有的测量方法需要先进的设备仪器并且研究人员需要掌握一定的操作技术，成本和门槛较高，目前市面上坚果分拣机器均价达到五万左右，且结果容易存在经验差异导致的误差。因此成本低、准确度高、自动化和智能化的表型参数动态测量方法是未来分选分级、表型参数测量发展的方向。本发明只需一台约2000元深度相机、一台约2000元微型计算机和一台800元热红外相机及一条传送带即可正常运行工作。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供适用于移动生产线上的坚果智能检测方法及系统，不仅能够精确、快速、无损地对坚果个数进行统计且测量出每个坚果的大小(包括体积、长和宽)，还可以针对传送带上的坚果进行动态品质检测，定位缺陷坚果位置。

2、本发明所采用的第一技术方案是：适用于移动生产线上的坚果智能检测方法，包括以下步骤：

3、使用azure kinect相机采集坚果点云数据并进行降噪、点云裁剪预处理；

4、基于点云颜色阈值将背景点云和坚果点云进行分割；

5、对背景点云进行平面拟合，再将背景点云和坚果点云旋转至基准面；

6、基于k最近邻点搜索方法，搜素局部点云最高点为单个坚果顶点；

7、利用不同帧单个坚果点云最高点基于horn’s method算法进行配准；

8、提出pnn算法将多个坚果点云分割为单个坚果点云；

9、基于改进的sbf算法对单个坚果点云边缘噪声进行去除；

10、基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积、长宽表型参数；

11、结合光学图像和热红外图像基于faster r-cnn网络对传送带上的坚果进行动态品质检测，定位坚果缺陷位置。

12、进一步，所述采集坚果点云数据并进行降噪、点云裁剪预处理具体包括：

13、azure kinect相机中心垂直正对被测物体并在离被测物体特定高度0.4m采集数据；

14、基于统计滤波算法和高斯滤波算法对原始点云数据进行降噪处理；

15、对坚果点云数据的中心区域进行提取，去除冗余点。

16、进一步，所述基于点云颜色阈值将背景点云和坚果点云进行分割这一步骤，其具体包括：

17、根据背景颜色设置r、g、b相应的阈值；

18、判断超过该阈值则为坚果点云；

19、判断不超过该阈值则为背景点云。

20、进一步，所述对背景进行平面拟合，再将背景点云和坚果点云旋转至基准面，也就是xoy平面这一步骤，其具体包括：

21、对背景点云运用rasanc平面拟合算法进行拟合求得平面方程参数；

22、根据平面方程将背景点云旋转至xoy平面并得到旋转矩阵；

23、基于旋转矩阵将坚果点云进行旋转。

24、进一步，所述基于k最近邻点搜索方法，搜素局部最高点为单个坚果顶点这一步骤，其具体包括：

25、基于k最近邻点搜索方法对每个坚果点云基于指定半径范围内搜索最高点，局部最高点即为单个坚果的最高点同时进行坚果计数。

26、进一步，所述利用不同帧单个坚果点云最高点基于horn’s method算法进行配准，其具体包括：

27、提取单个坚果点云最高点三维坐标，利用不同帧之间多个坚果点云最高点坐标基于horn’s method算法将相邻两帧坚果点云配准。

28、进一步，所述提出pnn算法将多个坚果点云分割为单个坚果点云这一步骤，其具体包括：

29、对所有坚果点云按高度降序排列，依次判断每个点离单个坚果点云最高点的平面距离；

30、若某点离坚果最高点的平面距离最小，则判断该点为平面距离最近的坚果点云。

31、进一步，所述基于改进的sbf算法对单个坚果点云边缘噪声进行去除这一步骤，其具体包括：

32、基于pca算法投影判断单个坚果点云边缘是否为噪点，基于角度阈值将边缘噪声去除；

33、进一步，所述基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积这一步骤，所述最小二乘椭球拟合公式的公式表示如下：

34、

35、其中，x、y、z为单个坚果点云坐标，φ、ψ、ω是关于x、y和z轴的旋转角度，a、b、c为椭球的半轴参数，xc、yc、zc为椭球的中心，u、v是角度参数；

36、基于faster r-cnn网络对传送带上的坚果进行动态品质检测，定位坚果缺陷位置。

37、进一步，所述结合光学图像和热红外图像基于faster r-cnn网络对传送带上的坚果进行动态缺陷检测，定位坚果缺陷位置具体包括：

38、利用azure kinect相机采集到坚果光学图片和热红外图片，基于faster r-cnn网络对破损、黑斑坚果进行图像检测，并定位缺陷坚果。

39、本发明所采用的第二技术方案是：适用于移动生产线上的坚果智能检测系统，包括：

40、点云数据采集模块，使用azure kinect采集原始点云数据；

41、点云预处理模块，对原始点云进行去噪、点云裁剪预处理；

42、坚果点云与背景点云分割模块，基于点云颜色阈值分割背景点云数据和坚果数据；

43、不同帧坚果点云配准模块，不同帧单个坚果点云最高点基于horn’s method算法进行配准；

44、单个坚果点云分割模块，提出pnn算法分割单个坚果点云，同时计算坚果个数；

45、单个坚果点云去噪模块，基于改进的sbf算法去除单个坚果点云边缘噪声；

46、坚果表型参数计算模块，基于最小二乘椭球拟合求出拟合后参数并根据参数求得坚果体积、长和宽；

47、基于深度学习缺陷坚果检测模块，结合光学图像和热红外图像基于faster r-cnn网络对传送带上的坚果进行动态品质检测，获取坚果缺陷位置。

48、本发明方法及系统的有益效果是：本发明利用azure kinect深度相机采集坚果的图像数据和深度信息；通过图像处理技术中的阈值分割方法及形态学处理方法，对点云颜色设置阈值分割背景点云数据和坚果数据，保证坚果测量的效率和准确性；在点云分割模块首次提出pnn算法来分割单个坚果点云，同时计算坚果个数；运用优化的点云去噪算法以及精度更高的拟合模型，得到每个坚果的表型特征参数；结合光学图像和热红外图像利用faster r-cnn卷积神经网络对在传送带上的坚果进行动态品质检测，识别出坏果。对坚果的表型参数进行系统性地测量，为我国坚果培育提供技术支持，并为其他作物表型参数的测量方法提供参考思路。在坚果品质检测中，使用深度学习对果农经验进行迁移学习，减少因为经验差异导致的误差。整个应用的技术流程、工作效率和质量都体现了传统手段无法比拟的优越性和独特性，能够精确、快速、无损地对坚果进行计数和表型特征参数测量，且使用成本低，可以有效助力农业自动化、智能化以及精细化管理，满足产业高速发展和食品质量安全的市场需求，有着广阔的市场前景。