一种沙粒显微图像的多目标自动鉴别方法与流程

本发明涉及显微图像识别技术，具体是一种对沙粒显微图像中多目标的自动鉴别技术，该技术运用图像处理技术和机器学习方法，通过对多目标单元(对应不同的沙粒)的分割、提取以及分类处理，实现对沙粒显微图像中多目标单元的自动鉴别。

背景技术：

河流砂是物源矿物和岩石等地质信息的忠实记录载体。通过河流砂分析，可以直接获得河流源区的矿物和岩石信息，对于高山峡谷、人迹罕至地区是一种快速获取地质信息的有效办法。通过河流砂研究，可以获得不同地质体、不同气候带风化、搬运、侵蚀、构造等基本信息，是理解现代构造和地貌演化的重要途径和有效手段。通过河流砂研究，可以研究大江大河水系的演化，同时也对于理解地质历史中砂岩和沉积盆地演化具有重要研究意义。自然重砂分析一直是国内外找矿行之有效的方法之一。对水系河流砂样进行分析，可以快速、系统地获得水系内岩石和矿产的分布情况，为金属矿产找矿提供重要线索。

自然沙粒分析面临的一个主要问题是缺乏高效、定量、自动化分析，这与现代分析技术不配备，主要依靠人工辨别实现对沙粒显微图像中多目标单元的鉴别，这种方法不但要求掌握较多的专业领域知识，而且人力成本高，可重复性差，不能准确高效地鉴别沙粒单元。

技术实现要素：

本发明所要解决的技术问题是提供一种沙粒显微图像的多目标自动鉴别方法，该方法运用图像处理技术和机器学习方法，自动提取并识别沙粒显微图像中的多目标单元，能够解决图像中杂质较多从而影响多目标单元提取的问题。

为此，本发明提供了一种沙粒显微图像的多目标自动鉴别方法，包括以下步骤：

1)制备沙粒显微图像，对其进行中值滤波预处理；给沙粒样本图像添加对应的类别标签，制备沙粒单元库；

2)使用区域生长算法分割沙粒显微图像，去除杂质并提取多目标单元，作为待识别的沙粒单元；

3)计算沙粒单元的纹理特征和形状特征，作为沙粒单元的分类特征向量；

4)基于沙粒单元库，训练RBF神经网络分类器；

5)预测每个沙粒单元的类别，计算并输出沙粒显微图像的成分组成。

上述步骤1)的具体步骤是：选择样品沙粒，把样品沙粒一排排均匀洒在双面胶上，灌胶制成靶；用砂纸磨平、抛光；显微镜对沙粒靶样品进行拍照，获取沙粒样品的显微光学图像；根据沙粒大小和研究需要，放大并照相，获得沙粒样本图像；给沙粒样本图像添加对应的类别标签，制备沙粒单元库。

上述步骤2)的具体步骤是：

2.1)首先，使用超像素分割方法将沙粒显微图像划分为超像素集合；然后，对于给定超像素，针对其中包含的每个像素，抽取灰度，HSV，Lbp特征值，作为像素的特征向量，计算该超像素中所有像素特征向量的平均值，作为超像素的特征向量，其中，HSV是包含色调(H)，饱和度(S)，明度(V)的三通道颜色模型；Lbp是局部二值模式，用来描述像素的纹理特征；

2.2)使用OTSU算法确定沙粒显微图像中分割前景和背景的阈值，从平均灰度小于阈值的超像素集合中随机选择一个超像素作为初始种子点；接着，使用随机游走算法选择其它种子点；设定种子总数seeds，seeds值小于40，建议值32；设初始超像素种子点为出发点，等概率随机选择相邻超像素中的一个作为游走方向，游走到该相邻超像素，并计为一个步长；以随机步长step游走结束时，若当前超像素为非种子点，且当前超像素平均灰度和初始种子灰度差值的绝对值小于阈值δ1取值范围0～20，建议值8，则把此超像素作为种子点，并设为新的出发点；否则退回到出发点，重新以随机步长step游走；重复以上过程直到种子点数等于seeds，这样就得到用来区域生长的种子点集合；

2.3)对每个种子点，利用区域生长算法合并种子点的相邻超像素，直到合并区域停止生长；在区域生长过程中，使用欧式距离作为超像素之间的相似性度量，只有相似性小于预设参数threshold的相邻超像素被归入合并区域；最终得到的图像包括一个合并区域和多个相互分离的单元；

2.4)最后，对于合并区域外的多个相互分离的单元，若单元面积较小，少于35个像素，则把该单元归入合并区域，其它单元列为待合并单元；对每个待合并单元，计算其包含超像素的平均灰度，寻找合并区域中与其相邻的超像素集合，计算该超像素集合的灰度平均值，作为超像素集合的平均灰度；如果该单元平均灰度和超像素集合平均灰度差值的绝对值小于δ2，δ2取值范围0～20，建议值13；则把该单元归入合并区域；最终得到沙粒显微图像的分割结果，删除合并区域，提取相互分离的单元作为多目标单元，每个单元即待识别的沙粒单元。

上述步骤2.4)中，使用欧式距离作为超像素之间的相似性度量的过程中，给定两个特征向量f1＝<f11,f12,…,f1n>和f2＝<f21,f22,…,f2n>，其欧式距离的公式如下：

其中f1i和f2i是特征向量f1和f2的第i个分量，n是特征向量f1和f2的维数。

上述步骤3)中计算沙粒单元纹理特征和形状特征的过程是：

3.1)首先，把沙粒单元图像转换为灰度图像，像素对间距D，D取值范围1～6，建议值2,，分别以0°，45°，90°，135°的方向，得到4个归一化的灰度共生矩阵；每个矩阵是一个256×256的方阵，第i行第j列元素g[i,j](0≤i,j≤255，对应灰度值)等于灰度值分别为i和j的像素对个数除以图像的总像素数量；对于每个灰度共生矩阵G，计算对比度Contrast、角二阶矩ASM、熵Entropy、逆差矩IDM指标，计算公式如下：

其中，g[i,j](0≤i,j≤255)是矩阵G中元素，i是像素对(i,j)中第一个像素的灰度值，j是像素对(i,j)中第二个像素的灰度值；基于4个灰度共生矩阵，每个沙粒单元图像可以得到16个纹理特征；

3.2)然后，使用Hu不变矩计算沙粒单元的形状特征；设f(x,y)是关于沙粒单元位置(x,y)处像素的灰度值，图像p+q阶几何矩mpq和p+q阶中心矩μpq分别为(p，q为非负整数，表示待设置的阶数)：

其中，M是沙粒单元图像的宽度，N是沙粒单元图像的高度，是图像的重心。

因此，归一化的中心距ηpq计算公式如下：

3.3)最终，使用二阶和三阶归一化中心矩构造7个不变矩，描述沙粒单元图像的形状特征：

M1＝η20+η02 (9)

M2＝(η20-η02)²+4η11² (10)

M3＝(η30-3η12)²+(3η21-η03)² (11)

M4＝(η30+η12)²+(η21+η03)² (12)

通过上面计算，最终得到沙粒单元图像23维的特征向量，包括16个纹理特征和7个形状特征。

上述步骤4)中基于沙粒单元库训练RBF神经网络分类器的过程是：

4.1)首先，对单元库中每个包含单个沙粒单元的沙粒样本图像，按照步骤3)得到23维的特征向量，因此RBF神经网络输入层节点数是23个；分类器的输出层节点数是k个，等于待识别的沙粒类别数量；使用K-means聚类算法得到聚类中心，分别作为隐藏层径向基函数的h个中心，h取值范围64～90，建议值72，并采用“反常S型”径向基函数作为隐藏层神经元的传递函数，公式如下：

其中，X是样本点，C是径向基函数的中心，都是23维的向量；σ是径向基函数的扩展常数；

每个径向基函数的扩展常数σ由该函数的中心和其它函数中心欧式距离的最小值确定，计算公式如下：

其中，C是该径向基函数中心，Ci是其它径向基函数中心，λ是重叠系数，λ取值范围0.5～2，建议值1；

4.2)最后，基于隐藏层输出矩阵Φ(m×h)和样本标签矩阵Y(m×k)，可计算隐藏层和输出层连接权重W(h×k)：

W＝Φ⁺Y (18)

其中，Φ矩阵的每行是一个训练集样本，列是该样本对应的隐藏层输出；Y矩阵的每行是一个训练集样本，列是该样本对应的标签；Φ⁺是Φ的伪逆；

最终，基于沙粒单元库训练得到结构为23-h-k的RBF神经网络分类器，其中，h是隐藏径向基函数的中心数，即隐藏层节点数，k是分类器识别的沙粒类别数，即输出层节点数。

上述步骤5)中预测并输出沙粒单元分类组成的过程是：把步骤3)得到的多目标沙粒单元的特征向量分别输入RBF神经网络分类器，取分类器输出的k维向量中最大值对应的沙粒类别作为该沙粒单元的类别；重复以上过程，直到所有沙粒单元的类别都被确定，计算并输出图像的成分组成，最终实现对沙粒显微图像的多目标自动鉴别。

本发明利用区域生长算法分割并提取沙粒显微图像中的多目标单元，抽取沙粒单元的纹理和形状特征，应用机器学习方法，实现对沙粒单元的自动识别；针对沙粒显微图像中杂质较多，可能影响沙粒多目标单元提取的问题，本发明通过把图像划分为超像素集合，并抽取超像素的颜色和纹理特征，使用随机游走算法选择若干超像素构建种子点集合，然后基于欧式距离进行区域生长，最后通过对待合并单元的处理获得合并区域，删除合并区域后即可准确提取多目标单元。基于实地采集的沙粒单元库，采用本发明方法进行实验，结果表明本方法不但可以较好地提取沙粒显微图像中的多目标单元，而且对沙粒单元的鉴别有较高的准确性。另外，本发明方法可以通过调整RBF神经网络的输出层节点数，识别更多的沙粒种类，具有较好的扩展性，有效降低沙粒单元识别的成本和时间；在矿物鉴别中具有应用价值。

附图说明

图1是沙粒显微图像多目标自动鉴别的技术框架；

图2是沙粒显微图像分割前的示意图；

图3是使用随机游走算法构建种子点集合的示意图；

图4是沙粒显微图像分割后的示意图。

具体实施方式

图1所示为沙粒显微图像多目标自动鉴别的技术框架。方法的输入是沙粒显微图像，方法的输出是图像中沙粒单元的分类组成(磷灰石、锆石、电气石、石榴石和其它沙粒)。为了保证方法的正确应用，需要预先制备标注为磷灰石、锆石、电气石、石榴石和其它包含单个沙粒的沙粒样本图像，作为沙粒单元库。技术框架分为5个步骤：整理沙粒显微图像和沙粒单元库；利用区域生长算法分割沙粒显微图像，提取多目标单元；计算沙粒单元的纹理和形状特征；基于沙粒单元库，训练RBF神经网络分类器；预测沙粒单元的类别，输出沙粒显微图像的成分组成。

图2所示为沙粒显微图像分割前的示意图，从图2中可以看出，沙粒显微图像中包含多个沙粒单元，纹理和形状各不相同；在沙粒单元外的背景区域中，存在较多大小不一、分布不均的细小杂质，可能会影响沙粒多目标单元的提取。

本发明的主要目的是基于沙粒显微图像，应用区域生长图像分割技术，提取其中的沙粒单元，计算沙粒特征向量；基于已标注的沙粒单元库，训练RBF神经网络分类器；预测沙粒单元类型并输出沙粒显微图像的成分组成。本方明采用的步骤如下：

1)制备沙粒显微图像，对其进行中值滤波预处理；给沙粒样本图像添加对应的类别标签，制备沙粒单元库；

2)使用区域生长算法分割沙粒显微图像，去除杂质并提取多目标单元，作为待识别的沙粒单元；

3)计算沙粒单元的纹理特征和形状特征，作为沙粒单元的分类特征向量；

4)基于沙粒单元库，训练RBF神经网络分类器；

5)预测每个沙粒单元的类别，计算并输出沙粒显微图像的成分组成；

在上述步骤1)把沙粒一排排均匀洒在双面胶上，灌胶制成靶；用砂纸磨平、抛光；显微镜对沙粒靶样品进行拍照，获取沙粒样品的显微光学图像。根据沙粒大小和研究需要，放大25倍和50倍照相，获得沙粒样本图像；给沙粒样本图像添加对应的类别标签，制备沙粒单元库。

在上述步骤2)中对沙粒显微图像进行分割和多目标单元提取的过程是：首先，使用超像素分割方法(推荐SLIC)将沙粒显微图像划分为超像素集合；为了保证提取的沙粒单元拥有较好的完整性，SLIC算法中超像素的种子点初始数量设为较大的正整数Num(取值范围3500～5000，建议值4000)，图像越大Num值越大。

然后，对于给定超像素，针对其中包含的每个像素，抽取灰度，HSV，Lbp特征值，作为像素的特征向量，计算该超像素中所有像素特征向量的平均值，作为超像素的特征向量；

其中，HSV是包含色调(H)，饱和度(S)，明度(V)的三通道颜色模型；Lbp是局部二值模式，用来描述像素的纹理特征。

然后使用OTSU算法确定沙粒显微图像中分割前景和背景的阈值，从平均灰度小于阈值的超像素集合中随机选择一个超像素作为初始种子点；接着，使用随机游走算法选择其它种子点，过程如图3所示。设定种子总数seeds(seeds值小于40，建议值32)。设初始超像素种子点为出发点，等概率随机选择当前超像素相邻超像素中的一个作为游走方向，游走到该相邻超像素，并计为一个步长；以随机步长step游走结束时(step为整数，范围6～20，按等概率随机取值)，若当前超像素非种子点，且当前超像素平均灰度和初始种子灰度差值的绝对值小于阈值δ1(δ1取值范围0～20，建议值8)，则把此超像素作为种子点，并设为新的出发点；否则退回到出发点，重新以随机步长step游走；重复以上过程直到种子点数等于seeds，这样就得到用来区域生长的种子点集合。

对每个种子点，利用区域生长算法合并种子点的相邻超像素，直到合并区域停止生长；在区域生长过程中，使用欧式距离作为超像素之间的相似性度量，只有相似性小于预设参数threshold(threshold取值范围4～10，建议值5.5)的相邻超像素被归入合并区域；最终得到的图像包括一个合并区域和多个相互分离的单元。

在上述过程中，给定两个特征向量f1＝<f11,f12,…,f1n>和f2＝<f21,f22,…,f2n>，其欧式距离的公式如下：

其中f1i和f2i是特征向量f1和f2的第i个分量，n是特征向量f1和f2的维数。

最后，对于合并区域外的单元，若单元面积较小(少于35个像素)，则把该单元归入合并区域，其它单元列为待合并单元；对每个待合并单元，计算其包含超像素的平均灰度，寻找合并区域中与其相邻的超像素集合，计算该超像素集合的灰度平均值，作为超像素集合的平均灰度；如果该单元平均灰度和超像素集合平均灰度差值的绝对值小于δ2(δ2取值范围0～20，建议值13)，则把该单元归入合并区域；最终得到沙粒显微图像的分割结果，删除合并区域，提取相互分离的单元作为多目标单元，每个单元即待识别的沙粒单元。

图4表示沙粒显微图像使用区域生长算法后的分割效果，从图4中可以看出，该算法能较好地保持沙粒单元的完整性，去除背景区域中的杂质，分割和提取多目标单元。

在上述步骤3)中计算沙粒单元纹理特征和形状特征的过程是：首先，把沙粒单元图像转换为灰度图像，像素对间距D(D取值范围1～6，建议值2)，分别以0°，45°，90°，135°的方向，得到4个归一化的灰度共生矩阵；每个矩阵是一个256×256的方阵，第i行第j列元素g[i,j](0≤i,j≤255，对应灰度值)等于灰度值分别为i和j的像素对个数除以图像的总像素数量；对于每个灰度共生矩阵G，计算对比度Contrast、角二阶矩ASM、熵Entropy、逆差矩IDM指标，计算公式如下：

其中，g[i,j](0≤i,j≤255)是矩阵G中元素，i是像素对(i,j)中第一个像素的灰度值，j是像素对(i,j)中第二个像素的灰度值；基于4个灰度共生矩阵，每个沙粒单元图像可以得到16个纹理特征；

然后，使用Hu不变矩计算沙粒单元的形状特征；设f(x,y)是关于沙粒单元位置(x,y)处像素的灰度值，图像p+q阶几何矩mpq和p+q阶中心矩μpq分别为(p，q为非负整数，表示待设置的阶数)：

其中，M是沙粒单元图像的宽度，N是沙粒单元图像的高度，是图像的重心。

因此，归一化的中心距ηpq计算公式如下：

最终，使用二阶和三阶归一化中心矩构造7个不变矩，描述沙粒单元图像的形状特征：

M1＝η20+η02 (9)

M2＝(η20-η02)²+4η11² (10)

M3＝(η30-3η12)²+(3η21-η03)² (11)

M4＝(η30+η12)²+(η21+η03)² (12)

通过上面计算，最终得到沙粒单元图像23维的特征向量，包括16个纹理特征和7个形状特征。

上述步骤4)中基于沙粒单元库训练RBF神经网络分类器的过程是：首先，对单元库中每个包含单个沙粒单元的沙粒样本图像，按照步骤3)得到23维的特征向量，因此RBF神经网络输入层节点数是23个；分类器的输出层节点数是k个，等于待识别的沙粒类别数量；例如k＝5，对应磷灰石、锆石、电气石、石榴石和其它沙粒单元。使用K-means聚类算法得到聚类中心，分别作为隐藏层径向基函数的h个中心(h取值范围64～90，建议值72)，并采用“反常S型”径向基函数作为隐藏层神经元的传递函数，公式如下：

其中，X是样本点，C是径向基函数的中心，都是23维的向量；σ是径向基函数的扩展常数。

每个径向基函数的扩展常数σ由该函数的中心和其它函数中心欧式距离的最小值确定，计算公式如下：

其中，C是该径向基函数中心，Ci是其它径向基函数中心，λ是重叠系数(λ取值范围0.5～2，建议值1)。

最后，基于隐藏层输出矩阵Φ(m×h)和样本标签矩阵Y(m×k)，可计算隐藏层和输出层连接权重W(h×k)：

W＝Φ⁺Y (18)

其中，Φ矩阵的每行是一个训练集样本，列是该样本对应的隐藏层输出；Y矩阵的每行是一个训练集样本，列是该样本对应的标签；Φ⁺是Φ的伪逆。

最终，基于沙粒单元库训练得到结构为23-h-k的RBF神经网络分类器，其中，h是隐藏径向基函数的中心数(隐藏层节点数)，k是分类器识别的沙粒类别数(输出层节点数)。

上述步骤5)中预测并输出沙粒单元分类组成的过程是：把步骤3)得到的多目标沙粒单元的特征向量分别输入RBF神经网络分类器，取分类器输出的k维向量中最大值对应的沙粒类别作为该沙粒单元的类别；重复以上过程，直到所有沙粒单元的类别都被确定，计算并输出图像的成分组成，最终实现对沙粒显微图像的多目标自动鉴别。

本发明通过运用图像分割技术提取沙粒显微图像的多目标单元，基于机器学习方法，完成多目标单元的自动鉴别。其中，中值滤波用来平滑沙粒显微图像中的噪声，保护边缘信息；OTSU算法通过求解最佳阈值把图像分割为前景和背景两个部分；K-means算法可以把样本数据分为若干个簇，簇内相似度较高，簇间相似度较低；神经网络通过对训练集样本数据的学习，预测新样本的类别。

本发明方法的具体应用途径很多，以上所述仅是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。