基于机器视觉和X射线的水果品质综合分级方法和装置

基于机器视觉和x射线的水果品质综合分级方法和装置
技术领域
1.本发明涉及水果外观和内部的综合品质分级技术领域，具体是一种基于机器视觉和x射线的水果品质综合分级方法和装置。


背景技术：

2.目前对于水果外观的分级主要依靠人工进行，对于水果外观分级存在主观性强、效率低等缺点，而人工无法进行水果内部缺陷的分级。无损检测已经成功应用于柑橘等水果的内部缺陷检测中，为水果品质的智能化分级提供了手段。
3.申请号为202011437542.7公开了一种基于神经网络的水果缺陷无损检测方法及水果分级方法，该方法获取了梨外观图像、x射线图像、切片图像以及切片化学检测数据集，基于神经网络搭建了水果品质分级模型，将带有标签的梨x射线数据集输入到神经网络进行训练，训练完成后的模型用于对待检测的梨数据集进行检测，梨品质分级包括了外观特征以及内部特征。但是此方法只针对梨的缺陷进行无损检测与分级，提取的特征较少，不能全面反映水果的综合品质。
4.申请号201810695675.0公开了一种水果品质视觉检测分级装置与分级方法，该分级装置包括传送带、视觉检测系统、水果抓放机械手、果箱系统、外壳和控制系统。该装置采用双锥滚子水果输送翻转装置，可以对水果外观进行全方位拍摄，利用机械手对水果进行抓取分级的准确度较高，整个装置较为稳定可靠。该方法只关注外观品质，无法识别是否存在内部缺陷。


技术实现要素：

5.针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于机器视觉和x射线的水果品质综合分级方法和装置。
6.本发明解决所述技术问题所采用的技术方案是：提供一种基于机器视觉和x射线的水果品质综合分级方法，其特征在于，该方法包括以下步骤：
7.第一步、通过ccd图像采集模块获取待分级水果的外观图像，对外观图像进行预处理，大量的外观图像构成外观图像数据库；提取预处理后的外观图像的缺陷区域，得到外观缺陷图像数据库；
8.第二步、计算果面缺陷、果形大小和色泽三种特征的特征值，果面缺陷包含的特征有：缺陷总面积、缺陷个数、缺陷总面积与缺陷个数之比；果形大小包含的特征有：椭圆度、周长、投影面积、高度、宽度、长宽比以及矩形度；色泽包含的特征有：r通道均值与方差、g通道均值与方差、r通道均值与g通道均值之比；
9.针对外观缺陷图像数据库中的外观缺陷图像，提取各个果面缺陷特征的特征值；针对外观图像数据库中的外观图像，提取果形大小特征和色泽特征的特征值，得到果面缺陷、果形大小和色泽这三个特征的特征值数据表；利用因子分析法对外观图像进行标注，包括使用主成分分析法提取特征值数据表中各个特征的主成分，并计算各个主成分的方差贡
献率，计算各个外观图像的综合得分，综合得分为各个主成分与其相应方差贡献率的线性组合，然后将各个外观图像的综合得分由高到低进行排序，并依据专家经验将待分级水果的外观品质分为优等、一等、二等共三个等级，根据此分级结果对外观图像进行标注并生成标签；
10.第三步、搭建外观分级网络，将训练后的外观分级网络作为第一初级分类器；
11.第四步、通过x射线图像采集模块获取待分级水果的x射线图像，建立x射线图像数据库；对x射线图像进行预处理，得到预处理后的x射线图像；对经过x射线成像的水果样本进行切片处理，依据切片反应的缺陷信息对预处理后的x射线图像进行标注，标注信息为是否存在缺陷，得到标注后的x射线图像；
12.第五步、提取预处理后的x射线图像的hog特征和lbp特征，利用svm模型对这两个特征分别构建分类器；针对预处理后的x射线图像，基于神经网络构建cnn分类器；将三个分类器的分类结果进行决策级融合得到第二初级分类器，对待分级水果内部缺陷进行分类；
13.第六步、制定水果品质综合分级规则，基于集成学习策略，建立次级分类器；将第一初级分类器和第二初级分类器的输出作为次级分类器的输入，次级分类器根据水果品质综合分级规则输出分级结果，至此完成整个分级过程。
14.本发明还提供一种基于机器视觉和x射线的水果品质综合分级装置，包括支架、传送机构、ccd图像采集模块、x射线图像采集模块和分级机构；其特征在于，所述传送机构包括托盘、主动链轮、被动链轮、传送电机、传送轴、一号链条、二号链条、三号链条和四号链条；
15.其中，传送电机安装在支架的一侧，传送电机的输出轴与传送轴的一端连接，传送轴的另一端与支架的另一侧转动连接，传送轴上安装有四个主动链轮，四个主动链轮分别与一号链条、二号链条、三号链条和四号链条啮合；一号链条和二号链条分别通过多个被动链轮安装在支架的一侧，一号链条和二号链条不干涉；三号链条和四号链条分别通过多个被动链轮安装在支架的另一侧，三号链条和四号链条不干涉，支架同一侧的两个链条在水平方向上形成一段用于托盘通过的错位距离；多个托盘间隔分布在链条上，每个托盘的四个端角分别与一号链条、二号链条、三号链条和四号链条连接；在传送电机作用下，四个链条在支架上做同步的环绕运动，实现托盘的升降和水平运动；
16.所述ccd图像采集模块包括一号ccd相机和二号ccd相机，两个ccd相机位于支架的上部，且位于支架的两侧；两个ccd相机分别采用网线接口与pc端相连；
17.所述x射线图像采集模块包括x射线机和成像板；成像板位于支架上部，成像板的两侧与支架连接；x射线机位于支架中部，x射线机的发射端正对成像板，x射线机和成像板分别通过usb接口、网口与pc端相连。
18.与现有技术相比，本发明的有益效果在于：
19.1.为避免水果分级时人工标记标签造成分级精度低的缺陷，本发明选取果面缺陷、果形大小和色泽三个特征作为水果外观品质的分级指标，计算各个分级指标下的特征值之后，利用因子分析法计算外观图像的综合得分，再结合专家经验对待分级水果的外观品质进行综合评价，根据此评价结果对外观图像进行标注，在模型训练层面为保证分级准确度奠定了基础。
20.2.将cnn和svm相结合搭建外观分级网络，对外观品质进行分级；cnn具有较强的图
像特征提取能力，svm对于小样本数据分类具有较强的泛化能力，提升了外观品质分类的准确率。
21.3.由于水果的x射线图像中果核、果柄、花萼等部分的灰度变化和果内缺陷的灰度变化类似，会影响内部缺陷识别，采用多通道融合理论将深度卷积神经网络和传统人工特征结合，用于内部缺陷有、无的分类预测，提高内部缺陷的分级精度。
22.4.将外观分级网络作为第一初级分类器，将进行决策级融合后的hog特征、lbp特征和cnn特征分类器作为第二初级分类器，制定水果品质综合分级规则，据此建立次级分类器，将外观品质和内部缺陷信息相结合，完成了水果品质的综合分级，分级指标更加全面，满足了对高品质水果的分级需求。
23.5.该装置结合上述分级方法，能够以较高的准确度完成水果品质分级，适用于果园采摘场、批发市场、大型超市等场合对水果品质的分级。
附图说明
24.图1为vgg-16网络结构示意图；
25.图2为本发明装置的整体结构示意图；
26.图3为本发明装置的主视图；
27.图4为本发明装置的左视图；
28.图5为本发明装置的俯视图；
29.图6为本发明装置的控制示意图；
30.图中，1、支架；2、一号链条；3、链轮支架；4、x射线成像板；5、链轮；6、一号ccd相机；7、二号链条；8、传送轴；9、分级箱；10、托盘；11、三号链条；12、x射线机；13、四号链条；14、分拣舵机；15、分拣拨片；16、传送电机；17、二号ccd相机；18、主动链轮。
具体实施方式
31.下文给出本发明的具体实施例，所举实施例仅对本发明起解释作用，并非用于限定本发明申请的保护范围。
32.本发明为一种基于机器视觉和x射线的水果品质综合分级方法(简称方法)，该方法包括以下步骤：
33.第一步、通过ccd图像采集模块获取待分级水果的外观图像，对外观图像进行预处理，大量的外观图像构成外观图像数据库，外观图像数据库中的外观图像数量大于1000；提取预处理后的外观图像的缺陷区域，得到外观缺陷图像数据库；
34.预处理：对外观图像进行灰度变换，对灰度图像进行二值化处理并采用otsu算法选择阈值，将灰度值小于阈值的像素点置为0，灰度值高于阈值的像素点置为255，因此二值化处理后的图像前景值为255，背景值为0，得到外观掩膜；对外观掩膜进行形态学处理，处理后的外观掩膜与原外观图像相乘，对水果外观进行分割，得到分割图像，建立外观图像数据库；
35.提取缺陷区域：将分割图像灰度化，将灰度图像进行二值化处理，利用otsu算法选择合适的阈值，将灰度值小于阈值的像素点置为0，灰度值高于阈值的像素点置为255，得到缺陷掩膜；对缺陷掩膜进行形态学处理，处理后的缺陷掩膜与原分割图像相乘，提取缺陷区
域，得到外观缺陷图像，建立外观缺陷图像数据库。
36.第二步、计算果面缺陷、果形大小和色泽三种特征的特征值，依据专家经验将水果外观划分为优等、一等、二等共三个等级，对水果外观图像进行标注并生成标签；
37.根据国家标准，水果外观品质主要涉及果面缺陷、果形大小和色泽三个特征；针对果面缺陷指标选择的特征有：缺陷总面积、缺陷个数、缺陷总面积与缺陷个数之比；
38.缺陷总面积s的计算公式如下：
[0039][0040]
其中，f(x,y)为外观缺陷图像的二值像素，mf、nf表示外观缺陷图像在x轴和y轴的像素点总数，s同时表示了实际缺陷区域内所有像素点的个数；
[0041]
针对果形大小指标选择的特征有：椭圆度、周长、投影面积、高度、宽度、长宽比以及矩形度；
[0042]
投影面积a的计算公式如下：
[0043][0044]
其中，g(x,y)为外观图像的二值像素，mg、ng表示外观图像在x轴和y轴的像素点总数；
[0045]
椭圆度衡量了水果外观形状的复杂性，计算公式如下：
[0046][0047]
l为外观图像的边界周长；
[0048]
周长为外观图像的轮廓长，计算公式如下：
[0049][0050]nx
表示水平方向上轮廓像素点的个数，ny表示竖直方向上轮廓像素点的个数，nd为非水平或竖直方向上轮廓像素点的个数；
[0051]
高度h是指外观图像竖直方向上的最大值，即外观图像最小外接矩形的高；宽度w是指外观图像水平方向上的最大值，即外观图像最小外接矩形的宽；长宽比b是指外观图像的外接矩形长与宽的比值，计算公式如下：
[0052][0053]
矩形度c反映了水果外形轮廓对于其最小外接矩形的充满程度，计算公式如下：
[0054][0055]
针对色泽指标选择的特征有：r通道均值nr与方差sr、g通道均值ng与方差sg、r通道均值与g通道均值之比nr/ng，相应的计算公式如下：
[0056][0057][0058]
[0059][0060]
其中，n为每个通道的像素点总数，r、g分别为对应通道上的像素点的像素值；
[0061]
针对外观缺陷图像数据库中的外观缺陷图像，提取各个果面缺陷特征的特征值；针对外观图像数据库中的外观图像，提取果形大小特征和色泽特征的特征值，进而得到果面缺陷、果形大小和色泽这三个特征的特征值数据表；将特征值数据表中的各个数据进行标准化处理，将标准化之后的数据进行kmo检验和bartlett检验，当kmo检验系数》0.5，bartlett检验的p值《0.05时，满足因子分析的前提条件；
[0062]
利用主成分分析法提取特征值数据表中各个特征的主成分，并计算各个主成分的方差贡献率；计算各个外观图像的综合得分，综合得分为各个主成分与其相应方差贡献率的线性组合，然后将各个外观图像的综合得分由高到低进行排序，并依据专家经验将待分级水果的外观品质分为优等、一等、二等共三个等级，根据此分级结果对外观图像进行标注并生成标签。
[0063]
第三步、搭建外观分级网络，将训练后的外观分级网络作为第一初级分类器；
[0064]
卷积神经网络(convolutional neural networks，cnn)对于图像特征具有优秀的学习能力，为进一步提高卷积神经网络(cnn)对水果外观品质分级的准确率，结合支持向量机(support voctor machine，svm)能够处理小样本、泛化能力强的优点；将cnn模型的softmax层替换为svm模型，得到外观分级网络，以进一步提高分级的准确率；
[0065]
cnn模型包括输入层、卷积层、池化层、全连接层以及softmax层，输入层用于输入数据集，卷积层用于特征提取，池化层用于降低图像维度，扩大感受野；全连接层用于整合类别区分性的局部信息，softmax层用于输出图像在每个分级的预测概率；svm模型的核心是寻找最优超平面使所有样本点与超平面的距离大于一定数值；本实施例中，cnn模型以vgg16作为骨干网络，其结构如图1所示；将标注后的外观图像作为训练样本图像，对外观分级网络进行训练，得到训练后的外观分级网络。
[0066]
第四步、通过x射线图像采集模块获取待分级水果的x射线图像，建立x射线图像数据库；对x射线图像进行包含高斯滤波和自适应直方图均衡化在内的预处理，得到预处理后的x射线图像；对经过x射线成像的水果样本进行切片处理，观察待分级水果的内部缺陷，依据切片反应的缺陷信息对预处理后的x射线图像进行标注，标注信息为是否存在缺陷，得到标注后的x射线图像；将标注后的x射线图像分为训练集、验证集和测试集；
[0067]
第五步、提取预处理后的x射线图像的hog特征和lbp特征，利用svm模型对这两个人工特征分别构建分类器；针对预处理后的x射线图像，基于vgg16网络构建cnn分类器；分别从hog、lbp和cnn三个通道上对缺陷进行预测，并采用决策级融合方式对三个分类器的分类结果进行融合，建立第二初级分类器，对水果内部缺陷进行分类；
[0068]
利用训练集对上述三个分类器进行训练，将测试集输入到三个训练后的分类器进行预测，得到各个分类器的分类性能评价指标和预测概率pq，q＝1,2,
…
,q，q为分类器个数，即通道数；预测概率包括内部有缺陷和无缺陷的概率；分类性能评价指标包括准确率、召回率、f1分数和精确率；
[0069]
根据分类器个数、各个分类性能评价指标及分类性能评价指标总个数k，构建多通道评价矩阵d
q,k
＝(d
q,k
)q×k；根据式(11)计算各个分类性能评价指标的权重：
[0070][0071]
其中，αk表示第k个分类性能评价指标的权重，表示第k个分类性能评价指标在决策过程中的相对重要性，表示第k个分类性能评价指标在所有分类器中的标准差，d
q,k
表示第q个分类器中第k个分类性能评价指标，即多通道评价矩阵第q行第k列对应的分类性能评价指标；r
kg
为相关系数矩阵r＝(r
kg
)k×k中的项，计算公式如式(12)；为第k个分类性能评价指标在所有分类器中的平均值，计算公式如式(13)；
[0072][0073][0074]
其中，d
q,g
表示第q个分类器中第g个分类性能评价指标，g＝1,
…
,k；
[0075]
根据式(14)和(15)对多通道评价矩阵进行归一化和加权，得到第k个分类性能评价指标在各个分类器中的权重；
[0076][0077][0078]
利用式(16)计算各个分类器在进行多通道融合时的权重：
[0079][0080]
其中dis
q,min
和dis
q,max
的计算公式如下：
[0081][0082][0083]
可见dis
q,min
和dis
q,max
分别是向量与向量与向量和的欧氏距离，和分别为k个分类性能评价指标在每个分类器中的最小值和最大值；
[0084][0085][0086][0087]
利用式(21)计算待分级水果内部缺陷的融合分数p，将最大融合分数对应的类别作为内部缺陷分类结果，此处的类别为水果内部有缺陷或无缺陷。
[0088]
第六步、制定水果品质综合分级规则：外观品质分为优等、一等、二等，内部品质分为有缺陷和无缺陷，将外观优等内部无缺陷的等级定为高等品质，外观一等内部无缺陷的等级定为中等品质，外观优等内部有缺陷、外观一等内部有缺陷、外观二等的等级定为低等品质；基于集成学习策略，将第一初级分类器和第二初级分类器的输出作为次级分类器的输入，次级分类器根据水果品质综合分级规则输出分级结果，至此完成整个分级过程。
[0089]
如图2～6所示，本发明还提供一种基于机器视觉和x射线的水果品质综合分级装置(简称装置)，包括支架1、传送机构、ccd图像采集模块、x射线图像采集模块和分级机构；
[0090]
所述支架1采用铝型材搭建而成，支架1外侧设有黑色亚克力板制成的封闭外壳(图中未画出)，排除外部环境对于ccd成像的干扰，保证ccd图像采集模块采集环境的统一性；封闭外壳内侧设有led灯带，作为ccd图像采集模块的光源；
[0091]
所述传送机构包括托盘10、主动链轮18、被动链轮5、传送电机16、传送轴8、一号链条2、二号链条7、三号链条11和四号链条13；
[0092]
其中，传送电机16安装在支架1的一侧，传送电机16的输出轴通过联轴器与传送轴8的一端连接，传送轴8的另一端与支架1的另一侧转动连接，传送轴8上固定有四个主动链轮18，四个主动链轮18分别与一号链条2、二号链条7、三号链条11和四号链条13啮合；一号链条2和二号链条7分别通过多个被动链轮5安装在支架1的一侧，一号链条2和二号链条7不干涉，被动链轮5通过链轮支架3与支架1连接；三号链条11和四号链条13分别通过多个被动链轮5安装在支架1的另一侧，三号链条11和四号链条13不干涉，支架1同一侧的两个链条在水平方向上形成一段错位距离，用于托盘10通过；一号链条2和二号链条7为一组，靠近支架1的内侧；三号链条11和四号链条13为一组，靠近支架1的外侧；多个托盘10间隔分布在链条上，每个托盘10的四个端角分别与一号链条2、二号链条7、三号链条11和四号链条13固连，托盘10的长度与错位距离相当，二号链条7和三号链条11的厚度大于一号链条2和四号链条13的厚度，使托盘10与二号链条7以及与三号链条11的连接件分别位于一号链条2和四号链条13的下方，保证四个链条能够实现托盘10的水平运动；传送电机16带动主动链轮18转动，使四个链条在支架1上做同步的环绕运动，在四个链条的环绕运动下，使托盘10能够以保持水平姿态进行竖直升降和水平移动；托盘10沿长度方向上设有多组放置待分级水果的凹槽，每组包含两个分布在托盘10两侧的凹槽；
[0093]
所述ccd图像采集模块包括一号ccd相机6和二号ccd相机17，两个ccd相机位于支架1的上部，且位于支架1的两侧，用于采集待分级水果的外观图像；两个ccd相机分别采用网线rj45接口与具有千兆网口的pc端相连，将采集的外观图像传输至pc端；
[0094]
所述x射线图像采集模块用于采集待分级水果的x射线图像，包括x射线机12和成像板4；成像板4位于支架1的上部，成像板4的两侧与支架1连接；x射线机12位于支架1的中部，x射线机12的发射端正对成像板4，x射线机12发射的x射线照射在成像板4上，成像板4采
集待分级水果的x射线图像；x射线机12和成像板4分别通过usb接口、千兆网口与pc端相连，通过pc端实现图像传输、x射线触发等控制功能，x射线图像采集模块采集的x射线图像传输至pc端；
[0095]
所述分级机构包括分级舵机14、分级拨片15和分级箱9；分级箱9位于支架1的下部，分级箱9沿长度方向设有三组分级格，分别用于分拣高等品质、中等品质以及低等品质的水果，每组包含两个分布在分级箱9两侧的分级格，托盘10能够从两个分级格中间通过，并在每组分级格的位置停留；三组分级舵机14位于分级箱9的上方，每组分级舵机14位于对应的同组分级格的两个分级格中间，每组包含多个与托盘10上凹槽组数相同的分级舵机14，每个分级舵机14的输出轴上均安装有分级拨片15，在分级舵机14的作用下，分级拨片15能够向分级箱9的两侧转动，将相应位置的待分级水果分拨到对应的分级格中，实现水果的综合分级。
[0096]
分级箱9上每组分级格的位置以及支架1安装ccd图像采集模块的位置和x射线图像采集模块的位置分别安装有对射式光电开关，用于检测托盘10的位置，以精准控制传送机构的启停，也为了实现托盘10在图像采集位置、分级机构处的准确定位；对射式光电开关与plc控制器连接，对射式光电开关的型号为e3f-d5n3-5l，采用npn型，包含发射端与接收端两部分，在接收端有信号接线端子，当对射开关的发射端和接收端之间存在障碍物遮挡的情况下，接收端向plc控制器发送信号，表明此时托盘10已经准确到达预定位置。
[0097]
该装置采用西门子s7-200 smart家族的plc控制器，抗环境干扰能力强，该plc控制器具有的资源有：以太网通信接口、rs-485通信接口、数字量输入接口
×
24、数字量输出接口
×
16、扩展模块接口、存储卡接口等；plc控制器通过rs-485接口与pc端的串口相连，plc控制器分别控制x射线机12、分级舵机14和传送电机16。分级舵机14型号为42bygh24，力矩为0.13n，步距角1.8
°
，分级舵机的驱动器型号为tb6600。
[0098]
一号ccd相机6和二号ccd相机17的型号均为microvision品牌的mv-hs2000gm/c，像素尺寸为2.4*2.4μm，镜头接口类型为c口，选用的镜头型号为bt-11c0618mp10；x射线机12的型号为sf100by，成像板4的型号为venu1717x，用于接收穿透水果的x射线，并成像。x射线图像采集模块为医用小剂量辐射成像，对人体辐射影响可忽略不计，因此未对x射线图像采集模块进行屏蔽辐射处理。
[0099]
该装置的工作原理和工作流程为：
[0100]
以其中一个托盘10的运动过程为例进行说明，该托盘10的初始位置位于装置下部的右端，将待分级水果放置在托盘10的凹槽上，启动装置，传送电机16带动主动链轮18转动，使四个链条在支架1上做逆时针(从装置的主视图方向看)的同步环绕运动，使托盘10由装置下部上升，上升到最大高度之后开始向左水平运动，当托盘10运动至ccd图像采集模块处时，托盘10遮挡对射式光电开关，对射式光电开关的接收端向plc控制器发送信号，传送电机16停止转动，使四个链条停止环绕运动，托盘10在ccd图像采集模块处停止，然后ccd图像采集模块采集待分级水果的外观图像并上传至pc端；外观图像采集完毕后，plc控制器发送控制信号使传送电机6继续转动，四个链条继续做逆时针的环绕运动，托盘10继续向左水平运动，当运动到x射线图像采集模块处，托盘10遮挡对射式光电开关，对射式光电开关的接收端向plc控制器发送信号，传送电机16停止转动，使四个链条停止环绕运动，托盘10在x射线图像采集模块处停止，x射线图像采集模块采集待分级水果的x射线图像并传输至pc
端，pc端根据上述方法对托盘10上所有的待分级水果进行综合分级；与此同时，x射线图像采集完毕后，传送电机16继续转动，使托盘10竖直下降至装置的下部，然后托盘10在水平方向向右运动，当运动至分级箱9的第一组分级格的位置时，传送电机16停止转动，托盘10停止运动，pc端将分级结果传输至plc控制器，plc控制器根据分级结果控制相应位置的分级舵机14转动，通过分级拨片15将待分级水果分拨至相应的分级格中，托盘10在分级箱9上每组分级格的位置都会停留，直到托盘10上的所有水果都完成分级，即可进入下一个循环周期。
[0101]
本发明未述及之处适用于现有技术。