一种基于机器视觉的球状水果在线分级装置和方法

本发明涉及水果质量检测及分级领域，尤其涉及一种基于机器视觉的球状水果在线智能检测分级装置及方法。

背景技术：

0、技术背景

1、水果产业是我国种植业中的第三大产业，近十年以来，我国的水果产量逐年提升，而且呈现一个快速的发展趋势，已经成为世界上水果生产和消费最多的国家，2021年我国水果总产量已达到2.9亿吨。球状水果是指外形类似于球体类的水果，比如传统三大果(苹果、梨、柑橘)、桃等，这类水果是我国主要种植和出口对象，在我国农村经济中占有重要地位，对我国经济发展、改善民生具有重大意义。

2、虽然我国的水果总产量很高，培育水果的技术也在不断地提高，但我国水果的整体竞争力却比较低，主要以国内消费为主，年总出口量还不到国际水果贸易的5％。出现这一现象的主要原因在于水果采摘后的处理能力比较低，销售加工迟缓，水果外观品质不高，导致在国际市场上缺乏竞争力。根据水果生产和销售数据可知，水果生产的大部分价值是由产后处理和生产加工创造的。产后水果的商业处理主要有清洗、打蜡、分类和包装等。分类处理是水果销售中一个非常重要的环节，一般通过人工按大小、形状、颜色、成熟度等分为不同的等级，并根据等级的不同运输至远近不同的地方。但我国存在水果等级分拣能力不足、人工分拣占比大、成本高、精度及效率低等问题；此外，通过人工分拣的方式费时、费力，且存在不同人判断标准不一致和不准确的问题。因此，需要有一个客观的判断标准，能够自动对水果的品质进行分级，研制适用于水果分级的系统势在必行。

3、近些年来，虽然出现了一些通过某些特定的机械设备利用不同的传感器等方式来完成水果自动分拣，但是这种设备只能针对单一的水果种类，且存在擦伤水果表皮、果肉的风险，也只能根据水果尺寸、重量等物理指标进行分级，对于各种表皮缺陷、果实形状、颜色，成熟度等分级指标无法进行检测，不能实现水果外观质量的综合检测。

技术实现思路

1、基于上述问题，本发明提出了一种基于机器视觉的球状水果在线分级装置和方法，相比于人工和机械分级，具有非接触、无损伤、高精度、速度快、稳定性高、能长时间工作等优点，能够识别水果表皮缺陷、颜色等多种分级标准，能大大提高水果分拣的效率和自动化程度。

2、所采用的技术方案是：一种基于机器视觉的球状水果在线分级装置，包括传送装置、导向杆、光电传感器、图像采集装置、hmi单元、上位机和分级装置；

3、传送装置包括凸台和传送带，传送带安装在凸台之间；一侧的凸台上安装有滚轮，滚轮安装传送带的上方且压在传送带上；在滚轮一侧安装有编码器；通过plc接收编码器信号，通过控制传送装置上的电机调节传送带的速度；传送装置的一端放置有接收箱；

4、导向杆安装在传送装置上；导向杆有两根，呈八字形，导向杆的一端通过槽形孔和螺栓安装在凸台上的挡板支架上，另一端悬置在传送带上；

5、光电传感器相对应的安装在凸台上，且位于所述的图像采集装置前方；通过接入plc向上位机传输感应信号，触发图像采集装置，得到的拍摄图像进行特征参数提取和分类，自动检测水果特征并输出质量判断结果；

6、图像采集装置安装在所述的传送装置的上方，包括支架和3d视觉装置；支架包括第一支架和第二支架，第一支架固定在所述的凸台上；第二支架与第一支架相垂直，且第二支架位于所述的传送带的上方；3d视觉装置通过滑块安装在第二支架上，3d视觉装置通过滑块能在第二支架上水平滑动；

7、分级装置包括四轴scara机器人和水果收集箱，scara机器人根据上位机对水果的质量判断结果，通过气动夹具抓取水果至相应的水果收集箱中；

8、上位机内预设球状水果分级检测算法。

9、进一步的，3d视觉装置为3d工业相机，位于传送带的正上方。

10、进一步的，第二支架通过螺丝固定在第一支架上；根据实际所需调整在第一支架上的位置，来调整3d视觉装置与所述的传送带之间的距离。

11、一种基于机器视觉的球状水果在线分级方法，球状水果在传送带上经过导向杆，利用传送带上的电机调节传送带的速度，球状水果逐个进入图像采集装置的采集区域；光电传感器感应到球状水果后上报控制器，控制器控制3d视觉装置进行拍照；通过实验获取最佳的3d视觉装置的位置坐标，当球状水果到达3d视觉装置的正下方时，判别待测水果是否进入视场正中央，拍摄水果图像，3d视觉装置分别将拍摄的二维图片和3d点云图片发送给工控机，工控机运行部署的球状水果分级检测算法，并通过对图像进行处理与模板匹配获取位姿信息，工控机控制scara机器人带动气动夹具夹取水果，放到相应的水果收集箱中，完成水果的在线智能分级。

12、进一步的，球状水果分级检测算法，先采用离线方式训练和测试水果外观检测的深度学习模型，再整合水果果形参数和体积检测等评价指标共同部署至工控机，实现球状水果的在线智能分级，步骤如下：

13、步骤一：建立水果图像数据库；运用网络爬虫技术，人工在果园现场采集相关的图片及公开数据集中的水果图像，包括但不限于优等品、一等品、二等品、次品多个样本，标记样本标签，建立水果图像数据库；

14、步骤二：图像预处理；将3d视觉装置获得的二维图像采用高斯滤波对图像进行处理，接着采用对比度受限自适应直方图均衡法即clahe，对高斯滤波后的图像进行直方图均衡化，最后对图片像素值进行归一化和图像尺寸统一化；

15、步骤三：获取水果品质识别的中底层映射特征；采用efficientnet-b2骨干网络在开源数据集fruit recongintion上训练，从构建的模型中截取中底层可迁移的通用特征，获取水果品质识别的中底层映射特征；

16、步骤四：将步骤一得到的水果图像数据库在网络高层卷积层上进行参数微调，获取描述基于水果相似数据集的特征迁移模式下的泛化网络权重参数，获取水果品质分级的一般泛化特征；然后基于最小化类内离散度矩阵和最大化类间离散度矩阵方法对原始efficientnet-b2网络结构进行改进，对该cnn分类模型的高层卷积层和全连接层之间构建一个网络层，用于缩小同一等级中水果外观的细微特征差异与扩大不同等级水果外观上存在微小差异的不同水果的特征，表征最紧凑同级水果的映射特征和最分散的不同级水果映射特征的构造准则函数用公式(1)表示，获取可使得该准则函数最大时对应最优的高层卷积映射特征；

17、

18、其中j(w)是准则函数，w为cnn学习到的权重向量，sw和sb分别表示类内和类间离散度矩阵，可分别用公式(2)和(3)表示：

19、

20、

21、式中i为特征的下标索引，m为类别数，d表示向量特征维数，ni为每类的样本数，f为当前卷积层输出的高层映射特征，fmi为同一类别样本对应的高层映射特征，fa为不同类别水果的高层平均映射特征；

22、采用实验对比方式对cnn的超参数进行优选，如批次大小、学习率、dropoutratio、感受野尺寸参数，参数优化后可通过卷积和池化操作后获取每一层的特征映射(feature map)及尺寸大小，特征映射的尺寸可由公式(4)和(5)计算获取，最终获取模型的识别精度，在此基础上结合更多不同种植园的水果数据集，提高水果分级精度；

23、

24、

25、其中输入图像的长和宽为hin×win，padding为卷积操作对超出图像部分的像素填充值，卷积核尺寸为hk×wk，stride为卷积步长。

26、步骤五：重建水果3d模型：通过3d工业相机采集水果的点云信息后，首先通过定义一个可以覆盖整个点云区域的矩形来生成初始网络，根据对角线将矩形划分为两个初始三角形；基于delaunay分割原理，将边界点逐个添加到初始三角形中建立扩展网格，从建立的扩展网格中移除计算区域外的三角形；然后使用逐点插入法将新节点插入初始网格，并找到其外圈包含新添加节点的所有三角形，并将其移除后形成一个空腔，将其节点与新添加的节点保持连接，创建新的delaunay三角形网格；接着采用局部优化算法即localoptimization procedure,lop对新产生的三角形网格布局进行优化，使用新生成的三角形替换删除的三角形，有效避免腔体的交叉现象。最后，通过重复上述步骤，直到所有节点都连接到新的三角形网格中，完成水果果形表面重建；

27、步骤六：水果3d模型的体积的计算：基于步骤五重建的水果3d模型，沿水果高度水平分层，并通过k均值聚类算法即k-means clustering algorithm建立水果分层模型；然后采用迭代渐进凸包算法即convex hull algorithm提取水果分层模型的外轮廓点构建不规则多边形轮廓，再通过轮廓平滑法建立三角形网格来逼近真实水果的边缘轮廓；使用各个三角形网格构成一个封闭的不规则平台，并通过叠加的方法计算水果3d模型的体积；球状水果模型的上下端都有凹陷区域，切片层的平面形状自上而下设为环-盘-环的形状；修补切片层后，中间的切片层为准圆形，切片层的上下两端的上部和下部形状为类似于圆环，中间切片和两端切片的截面积可以分别由公式(6)和(7)计算；

28、

29、

30、式中s1是模型中的中间切片层的圆截面面积；s2是模型两端切片层的圆环截面面积；m是单个水果模型的内环凸包点总数；n是单个水果模型的外环凸包点总数；xi和yi是外圈位置第i个点的x和y坐标，xi+1和yi+1是第i+1点的x和y坐标；xk和yk是内圈位置第k点的x和y坐标，xk+1和yk+1是内圈位置的第k+1点的x坐标和y坐标；

31、通过累加每个不规则水果模型的体积，从而获得水果3d模型的体积，水果模型的体积计算方式如公式(8)所示：

32、

33、式中，v为水果模型的体积，z为切片层数；sm表示第m层的切片面积；sm+1表示第m+1层的切片面积，hm为第m层的高度；

34、步骤七：判断水果的质量等级：通过公式(6)和(7)找到具有最大横截面积和最小横截面积的切片，并进行边缘检测、轮廓查找、尺寸测量，计算出水果的最大直径d和最小直径d；水果模型的高度通过沿最大直径纵向切片的层数乘以每层的高度获得，从而计算出的水果果形相关参数并结合卷积神经网络模型综合判断水果的质量等级。

35、本发明的有益效果为：

36、1、在水果图像处理方面，具有深度学习的特点，根据不同种植园水果外观图像差异发现了传统cnn网络在构造高层特征映射的方法上存在缺陷，通过不同种植园水果图像数据采集以及通过网络爬虫采集图像数据，建立不同品质等级的数据样本集，然后采用网络高层特征的微调方式改善网络泛化性能，并基于最小化同类离散度矩阵和最大化不同类离散度矩阵方法，对传统cnn网络结构进行了改进，提出了水果品质分级的深度迁移学习模型。输入一张水果图像，经过已经训练好的隐含层的算法处理，直接可以得到水果质量的判断结果；

37、2、比传统的水果质量检测的特征参数更加丰富，从而使质量检测更加准确。本检测系统从水果的颜色，纹理，大小，形状来进行综合的质量判断，且通过3d结构光相机快速获取水果的三维点云信息，能够真实、准确测量出水果的果形参数和体积，并融合深度学习方法对水果外观品质检测结果对水果品质进行多级分类，提高了水果的分级品质。避免了因为单一检测参数检测失误而造成水果质量的错误分级，提高了水果检测的质量要求。