一种基于图像的糖晶体分类识别及结晶质量控制方法与流程

本发明涉及图像识别分类技术和工业控制系统，特别涉及糖晶体图像多分类器、利用多分类器对糖晶体图像进行分类的方法和装置，以及利用识别分类结果进行糖结晶质量控制的控制方法。

背景技术：

工业上，煮糖结晶过程需要操作人员不断地观察罐内晶粒状况，以便采取相应的操作。目前多数糖厂都是抽样探棒取出糖膏样品在灯下观察或手捻凭感觉来判断，不能直接观察到罐内晶粒变化情况，给操作的准确性带来了一定困难。为解决这一问题，人们开发、研制了基于视频技术的煮糖显微观察镜，通过装在罐壁上的显微镜，可以清晰地观察罐内晶体的变化情况，及时发现不正常晶粒生长，以便采取相应的操作。实际上，这还是依赖于人眼工作，只是把劳动力从直接辨别探棒取样的晶体质量状况，转移到人眼观察煮糖显微镜采集的图像上，并未改变人工的传统工作方式。为了实现煮糖过程的自动化，对煮糖显微观察镜采集出来的糖晶体图像自动识别分类具有很重要的意义。

然而，一方面由于糖晶体表面较光滑，整体透明，当采集图像时，光线从晶体背部射入，穿过晶体，在晶体较平滑的平面透射出的亮度就很高，其它部分则较暗，采集出来的图像是一个存在严重噪声的图像；另一方面，符合质量要求的晶体中混杂着各种晶体，如聚晶、粘晶、伪晶等，使得样本的种类大大增加。因此，国内外目前对糖晶体的识别分类仍没有行之有效的方法。

糖晶体的自动识别分类是煮糖过程的自动化的重要的一环，它所获得的结果是后续控制系统的决策依据，得不到准确的识别分类结果，就无法实现煮糖过程的自动化。

技术实现要素：

本发明的目的在于解决现有技术中存在的问题，并提供一种基于图像的糖晶体分类识别及结晶质量控制方法。

基于图像的糖晶体分类识别及结晶质量控制方法，由以下步骤组成：

1)在给光装置的协同下，从显微摄像装置中获取糖晶体的原始样本图像，利用图像预处理技术对原始样本图像进行预处理，并对预处理后的图像进行分割，获得糖晶体样本图像的感兴趣区；

2)针对感兴趣区，根据给定的识别特征从中提取每幅样本图像的特征参数并利用其对并联多分类器进行训练；

3)设定控制周期，以一个控制周期为单位，在周期内获取待分类图像，预处理后利用训练好的并联多分类器进行分类，根据分类结果计算出糖晶体的结晶状态信息；

4)根据结晶状态信息控制执行装置动作，进行加水或加蜜。

上述技术方案中，各步骤可采用如下实现方式：

步骤2)中并联多分类器的训练由以下步骤组成：

2.1)针对糖晶体的特性选择糖晶体图像识别特征并在拟合过程中取舍校正，识别特征包括：单个晶体颗粒面积大小、晶体颗粒数目、晶体面积与图像面积比、透明度和形状；

2.2)规定识别分类的结果只有两类，一类是符合质量要求的糖晶体图像，定义为clear，另一类是不符合质量要求的糖晶体图像，定义为unclear；

2.3)针对感兴趣区，根据设定的糖晶体识别特征，特征提取出每个样本图像的各种定量描述参数，作为训练决策树分类器使用的样本数据集1；通过随机采样对样本数据集1进行二次采样生成不同的数据样本集合，作为训练SVM分类器使用的样本数据集2；两种分类器基于同一数据的不同视图进行独立训练和测试，将两组不同的样本数据各自分为训练数据和测试数据，训练数据用于训练出分类器，测试数据用于对训练出的模型进行分类器评估即性能检验；

2.4)单一循环遍历整个训练数据集，对已知类别的糖晶体数据集进行分类：对决策树分类器而言，在进行最后一个特征的识别分类之前，根据识别特征，不满足当前识别特征时的糖晶体数据被打上unclear的标签，退出本轮的训练过程；否则进入下一轮的分类训练，一直进行到最后一个特征；经过最后一轮的训练，可得最终的结果，所有的糖晶体图像数据都被分配到两个类别，一类是可以判断质量合格的clear类别，一类是可以判断质量不合格的unclear类别；

2.5)基于上述两种单一分类器所获得的识别分类结果，通过组合方法整合两种分类结果，获取一个最终分类器；所述的组合方法采用如下算法：

定义错误率如下：

其中，xj为训练数据集中的第j个样本，Ci(xj)为第i个分类器对样本xj的分类结果，i＝1或2；I为指示器，如果参数A为true，则I(A)＝1，否则为0；wj为训练数据集中的第j个样本的权重；yj为目标分类结果；

计算决策树分类器的重要性为SVM分类器的重要性为

将参数α1,α2用于更新训练样本权重，权重更新机制为：

其中Zj为规范化因子，用于确保w1^(j+1)+w2^(j+1)＝1；

将w1^(j+1)和w2^(j+1)分别作为下一次分类时决策树分类器和SVM分类器的权重，用于计算当前样本的最终分类结果。

步骤3)中计算糖晶体的结晶状态信息由以下步骤组成：

3.1)设定控制周期，以一个控制周期为单位，在控制周期内在给光装置的协同下，从显微摄像装置中获取指定数量的原始待分类图像；

3.2)对每幅原始待分类图像，进行预处理以及图像分割，根据给定的识别特征从中提取每幅图像的特征参数，输入到已经训练好的并联多分类器进行分类，质量合格的图像打上clear标签，质量不合格图像打上unclear标签；

3.3)对已经打上标签的识别分类结果，利用IDL程序自动转换成糖晶体图像文件，该文件是已被识别的图像分类文件；

3.4)对图像分类文件进行批处理，分别获取打上clear/unclear标签的糖晶体图像的数量，根据数量得出当前糖晶体所处的结晶状态信息。

上述批处理流程为：

3.4.1)将分类完毕的图像文件按类别分配在以分类命名即分别名为clear、unclear的文件夹中；

3.4.2)统计各文件夹中图像文件的数量；

3.4.3)删除本控制周期内的clear、unclear的文件夹中的所有图像文件，以便下一个控制周期的使用；

3.4.4)周期性执行该批处理文件，即控制周期长度的定时时间到后，执行一次批处理文件，把统计结果作为本次控制决策的信息来源。

步骤4)中根据糖晶体结晶状态信息控制执行装置动作步骤如下：

4.1)PLC上位机中的数据块DATA BLOCK手动读入此控制周期内的各分类数量，作为后续控制动作的依据，分类数量作为模拟量输入数据；

4.2)将PLC定时器清零；

4.3)在PLC上位机中将模拟量输入数据与设定阈值进行比较，获得相应的开关信号：如果unclear类别的数量大于某一阈值N1，PLC进料电机得到启动信号，电机带动进料泵开启，物料入罐，用比值控制方法控制煮罐进料，同时开环控制煮罐内物位；如果clear类别的糖晶体图像数量大于某一阈值N2，PLC出料电机启动信号，电机带动出料泵开启，物料出罐，同时开环控制煮罐内物位并使煮罐停止结晶；

4.4)PLC等待下一次定时时间到，重复上述4.1)-4.3)步骤。

本发明有如下的优点：

1、对由样本集训练出决策树分类器和SVM支持向量机分类器进行有效的组合，得到识别分类效果更好的并联多分类器，对由煮糖显微观察镜采集到的糖晶体图像进行自动分析和分类。

2、基于PLC控制器的控制系统及装置利用分类结果作为结晶质量控制系统的工作依据，从整体上实现煮糖结晶工序的自动化。

附图说明

图1为糖晶体图像识别分类系统及结晶质量控制方法工作流程图；

图2为决策树和SVM分类器的训练流程图；

图3为决策树分类器在糖晶体单一特征数据下的分类结果图；

图4为决策树和SVM并联多分类器组合示意图；

图5为利用并联多分类器对待识别糖晶体图像进行分类工作流程图；

图6为基于PLC控制器的控制系统工作流程图；

具体实施方式

下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员可以更好地理解本发明的实质。

由于图像的严重噪声和各种混合晶体的干扰，发现利用基于决策树模型的单一分类器，难以进行准确地识别分类。本发明的目的是研究一种更加准确的糖晶体图像识别分类系统及结晶质量控制方法。利用决策树和SVM支持向量机并联多分类器，对此控制周期内采集的糖晶体图像进行自动分析和识别分类，以一个控制周期为单位，定量计算出我们所需要的糖晶体质量信息，并利用这些信息作为后续结晶质量控制系统的工作依据，继而实现煮糖结晶工序的自动化。此外，此糖图像分析和自动识别系统提高了糖结晶质量判断的客观性，同时也减轻了煮糖操作工人的工作负担，提高了分析的准确性。

本实施例中，规定以20min为一个控制周期，即把每20min的识别分类结果进行汇总，作为每次控制决策的信息来源。

如图1所示，本发明提出的糖晶体图像识别分类及结晶质量控制方法，由显微摄像装置1、给光装置2、图像识别多分类器3、PLC上位机软件4、基于PLC控制器的控制系统及装置5、PLC定时器6和计算机7组成。其中，图像识别多分类器3、PLC上位机软件4、基于PLC控制器的控制系统及装置5和PLC定时器6等部分的通信和信息处理依赖与计算机7来完成。

本发明提出的多种糖晶体图像识别特征，它们包括：单个晶体颗粒面积大小、晶体颗粒数目、晶体面积与图像面积比、透明度和形状。

如图2所示，从糖晶体原始图像出发11，利用图像预处理技术对样本图像进行预处理12，包括灰度调整、中值滤波、图像增强等，并对预处理后的图像进行分割13，获得糖晶体图像的感兴趣区。

针对感兴趣区，根据之前步骤中设定的糖晶体识别特征，特征提取14出每个样本图像的各种定量描述参数，作为训练决策树分类器使用的样本数据集1 15。

借助随机采样技术对上一步得到的数据通过随机采样技术16二次采样生成不同的数据样本集合，作为训练SVM分类器使用的样本数据集2 17。

两种分类器基于同一数据的不同视图进行独立训练和测试。将两组不同的样本数据各自分为训练数据19和测试数据18，前者用于训练出分类器21，后者用于对训练出的模型进行分类器评估20即性能检验。

规定识别分类的结果只有两类，一类是符合质量要求的图像，定义为clear，另一类是不符合质量要求的图像，定义为unclear。

分类器1基于决策树模型，可用于处理连续特征数据作为预测变量和目标变量下的分类，得到回归树。利用带有树可视化工具的机器学习软件进行单一特征下的分类可以得到如图3所示的结构。

如图3所示，左边的结点31表示非质量合格的数据即unclear类别，纯粹只有一种类别，但右边的结点32还是混合了clear和unclear两个分类，需要进一步进行训练。此时继续添加特征以增加上图中的树结点，直到得到满意的结果，也就是说，直到叶子结点是只有一种分类的纯结点为止，这种分类要么是可以判断质量合格clear类别，要么是可以判断质量不合格的unclear类别。

单一循环遍历整个训练数据集1，对已知类别的糖晶体数据集1进行分类。对决策树分类器而言，在进行最后一个特征的识别分类之前，根据识别特征，每一张糖晶体数据(图像)要么被打上unclear的标签，退出本轮的训练过程，要么进入下一轮的分类训练，一直进行到最后一个特征。经过最后一轮的训练，可得最终的结果，所有的糖晶体图像数据都被分配到两个类别，一类是可以判断质量合格的clear类别，一类是可以判断质量不合格的unclear类别。

决策时的训练过程就是增加结点形成树的过程，训练结束后得到类似于二叉树的结构模型，这也是决策树分类器训练的目的。对训练出的决策树分类器用测试集测试分类性能，确保分类效果。

分类器2基于SVM支持向量机。所述的SVM在统计学概念上一个有监督的学习方法，用来进行分类和回归分析。同时SVM是一种有坚实理论的基础的、新颖的小样本学习方法。SVM的理论基础是结构风险最小化原理和基础统计学习理论的VC维理论。

SVM的原理是将低维空间中的点映射到高维空间中，使它们成为线性可分的。再使用线性划分的原理来判断分类边界，而这一原理可通过核函数来实现。所述的核函数有4种：

⑴线性核函数

⑵多项式核函数

⑶径向基核函数

⑷Sigmoid核函数

核函数的选择对于分类精度有明显的影响，不同的核函数具有不同的适应性，如何选择合适的核函数是进行SVM分类时一个重要的问题。首先需要确定核函数，然后选择合适的参数，采用核函数将实际问题转换到高维空间。例如，当选择径向基核函数时，C和γ这两个参数，其取值关系到分类精度的高低。一般情况下，C和γ取值常用方法是交叉验证的网格搜索法。本文采用径向基核函数作为SVM核函数。

单一循环遍历整个训练数据集2，对已知类别的数据集2进行识别分类。对SVM分类器而言，训练的过程就是根据这些已知类别的糖晶体训练数据得出规律，建立分类模型的过程。最终所有的糖晶体训练数据要么分类到质量合格clear类别，要么分类到质量不合格的unclear类别。

对训练出的SVM分类器用测试集测试分类性能，确保分类效果。

选择一种具有代表性的结果组合方法作为决策器43最终的决策依据，对分类器1决策树分类器41和分类器2SVM分类器42识别分类结果进行合并和重组得到一种并联多分类器44，如图4所示。

多分类器的综合性能是建立在多个分类器之间的差异基础上的，分类器差异性可以通过设置不同的参数来产生。在本文中，对于决策树可以采用不同的节点分类特征选择；而SVM则可以选择不同的核函数或核函数的参数等。

基于上述两种单一分类器所获得的识别分类结果，因图像干扰因素多且混杂着各种非正常晶体，故得到的分类正确率达不到要求，因此采用一种组合方法以整合两种分类结果，获取一个有更好分类能力的最终分类器，即得到对于clear和unclear分类更为准确的分类器。这种决策方法直接干预分类结果。

所述的组合方法采用如下算法。在该算法中，两个分类器分类结果的重要性依赖于它的分类错误率。错误率的定义是

其中，xj为训练数据集中的第j个样本，Ci(xj)为第i个分类器对样本xj的分类结果，i＝1或2；I为指示器，如果参数A为true，则I(A)＝1，否则为0；wj为训练数据集中的第j个样本的权重；yj为目标分类结果。基于错误率的概念，则决策树分类器的重要性为SVM分类器的重要性为

很显然，错误率越高则重要性越低，则此分类器对最终分类结果的“发言权”就越低。

参数α1,α2用于更新训练样本权重，该算法的权重更新机制由下式决定

其中Zj为规范化因子，用于确保w1^(j+1)+w2^(j+1)＝1。

将w1^(j+1)和w2^(j+1)分别作为下一次分类时决策树分类器和SVM分类器的权重，用于计算当前样本的最终分类结果。也就是说，单一分类器的训练结果对最终决策结果的重要程度受权重影响，对某一样本数据，如果其识别分类结果与已知类别相符合，在最终的决策中的权重就高，即影响组合分类器模型结果的可能性就大；反之，就要受到惩罚，降低此分类器在权重，并直接影响对下一个样本数据的“发言权”，通过这种权重提升和惩罚的措施，可以有效综合决策树分类器和SVM分类器的分类优势，提升分类器模型精度，使得获得的组合并联分类器对未分类图像数据的分类准确率显著提高。

如图5所示，类似于模型训练过程，对每幅待识别分类的图像51，也要进行预处理以及分割，根据给定的识别特征从中提取每幅图像的特征参数，输入到本系统的决策树和SVM并联多分类器52进行分类，结果是要么打上象征质量合格的clear标签，要么打上象征质量不合格的unclear标签。

对已经打上标签的识别分类结果53，利用IDL程序自动转换成糖晶体图像文件54。此时的图像文件区别于原始的图像文件，它是由已经打过标签的数据文件转换而来，因此是已被识别的图像分类文件55。

在Windows操作系统下编写的批处理文件.bat 56，其功能如下：

将分类完毕的图像文件按类别分配57在以分类命名即分别名为clear、unclear的文件夹中。

统计58各文件夹中图像文件的数量。

删除59本控制周期内的clear、unclear的文件夹中的所有图像文件，以便下一个控制周期的使用。

如图6所示，每PLC 20min定时时间到61后，执行一次批处理文件，把统计结果作为本次控制决策的信息来源。PLC循环步骤：

上位机软件中的数据块DATA BLOCK手动读入此控制周期内的各分类数量62，作为后续控制动作的依据，值得注意的是，分类数量是模拟量数据。

PLC定时器重新开始计时。

在PLC上位机中将模拟量输入数据与设定阈值进行比较，获得相应的开关信号。

如果unclear类别的数量大于某一阈值N1 63，PLC进料电机得到启动信号64，电机带动进料泵65开启，物料入罐。为保证结晶质量，必须保证各进料(原蜜、甲烯和水)之间的比例关系，可以用比值控制方法控制煮罐进料66，同时开环控制煮罐内物位67。否则比较clear类别的糖晶体图像数量。

如果clear类别的糖晶体图像数量大于某一阈值N2 69，PLC出料电机启动信号70，电机带动出料泵开启71，物料出罐，同时开环控制煮罐内物位72。同时务必使煮罐停止结晶73。

在煮糖结晶的工艺流程中，要么只有进料，要么只有出料，这两个操作不会同时存在，这样就必须保证进料和出料不可无休无止地进行，物位高度到达上限值68和下限值74时都能够使得电机自动停止运转，以确保设备安全。至于上限值或下限值的赋值问题，根据具体的煮罐情况和工业要求，把限值数据和当前物位数据，写入DB块，便于PLC上位机监控、赋值。

PLC等待下一次定时时间到，重复PLC循环步骤。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。