基于广义局部二值模式的纹理描述方法及图像分类方法与流程

本发明属于图像处理技术领域，具体涉及一种基于广义局部二值模式的纹理描述方法及图像分类方法。

背景技术：

如何高效提取低维、稀疏、噪声鲁棒、适应变化光照的纹理特征，实现高性能的目标识别或图像分类，一直是图像处理领域中的热点问题。局部二值模式(localbinarypatterns，lbp)是一种像素层的局部特征，编码了中心像素与邻域像素之间的灰度相对值。由于其理论简单、计算高效，具有较强的特征辨别力和较低的计算复杂度，因此被广泛应用于纹理分类、人脸识别、图像检索、人脸检测和人脸表情分析等领域中。基于lbp的纹理分析方法凭借其直观的理论推导、精简的计算开销和优越的分类效果成为先进的纹理分析方法之一，具有广阔的应用前景。

然后，利用传统局部二值模式(lbp)进行图像纹理描述时，传统局部二值模式认定非等价模式对应图像的噪声、伪像等干扰信息，因此仅依赖等价模式进行纹理分析描述以及图像分类等。但是传统lbp忽略了非等价模式中的纹理描述信息，导致局部图像细节信息丢失，降低了图像识别和分类的准确率。其中，有关刻画纹理信息的模式的概率分布问题，刻画纹理信息的模式多数集中等价模式中，少部分集中在非等价模式中，但这种趋势会随着p(lbp算法内中心像素点的领域采样点个数)、r(领域半径)增大或者纹理趋于杂乱或者受噪声干扰时，刻画纹理信息的模式的概率分布朝着非等价模式中纹理描述信息变多发展，因此在p和r配置较高或图像质量出现退化时，传统的局部二值模式(lbp)会导致诸多局部图像细节信息丢失，纹理描述效果不佳，图像分类精度不高。

技术实现要素：

本发明的目的是提供一种基于广义局部二值模式的纹理描述方法及图像分类方法，克服传统lbp忽略非等价模式后纹理分析能力和边缘刻画能力下降的问题，创造性挖掘非等价模式中的纹理描述信息，构建纹理描述信息更加丰富的混合模式。

本发明提供的一种基于广义局部二值模式纹理描述方法，包括如下步骤：

s1：利用lbp系列算子遍历原始图像中的每个像素点，并计算出每个像素点作为中心像素时的模式并赋予模式标号；

所述模式标号作为像素点对应模式的标记符号；

s2：计算每个像素点对应模式的等价性，并判断是否大于2；

其中，若小于或等于2，像素点对应的模式为等价模式；若大于2，像素点对应的模式为非等价模式；

s3：基于原始图像中的每类非等价模式的出现频次，从非等价模式中提取显性非等价模式；

其中，依据每类非等价模式的出现频次对非等价模式进行降序排列，并按照从前往后的顺序选取部分非等价模式作为显性非等价模式；

s4：将原始图像中每类等价模式、每类显性非等价模式进行组合得到混合模式，并对所述混合模式以及剩余非等价模式进行混合编码得到编码混合模式及编码；

其中，将剩余非等价模式统一为一种模式，根据编码混合模式的模式种类进行编码，每个编码对应一种模式；所述编码混合模式中等价模式以及显性非等价模式对应的模式为原始图像的纹理描述信息，统计所述编码混合模式中每类模式的出现频次得到的编码混合模式直方图为所述原始图像的纹理特征。

本发明发现并验证了非等价模式中存在有用的纹理描述信息，因此本发明创造性地挖掘了非等价模式中的纹理描述信息(显性非等价模式)，进而构造纹理描述信息更为丰富的混合模式，本发明提供广义局部二值模式同时考虑了图像的lbp模式分布信息和lbp概率统计信息，即从非等价模式中取出出现概率排名靠前的部分非等价模式作为显性非等价模式，与等价模式一起构建混合模式并作为纹理描述信息。克服了传统lbp丢失局部图像细节信息的问题，纹理描述效果更加，尤其是针对p、r配置较高或图像质量退化的情况，效果更加突出。

进一步优选，步骤s3中从非等价模式中提取显性非等价模式的过程如下：

首先，统计原始图像的非等价模式的模式标号集合得到原始图像的所有非等价模式；

其次，基于原始图片中每类非等价模式的出现频次构建非等价模式直方图，并对所述非等价模式直方图中的直方柱进行降序排列；

所述非等价模式直方图中直方柱表示一类非等价模式的出现频次；

然后，基于介入比例σ并按照所述非等价模式直方图中直方柱从前往后的顺序选取部分非等价模式作为显性非等价模式，其中，按照如下公式获取显性非等价模式：

式中，表示降序排列后的非等价直方图中前kσ个直方柱累加之和，表示非等价直方图中所有直方柱累加之和；当与的比值大于或等于介入比例σ时，返回kσ，则降序排列后的非等价直方图中前kσ个直方柱对应的非等价模式为显性非等价模式。

进一步优选，所述介入比例σ的取值要求如下：

式中，pnups表示原始图像中非等价模式在总模式中所占比例，所述总模式包括等价模式和非等价模式，τ表示等价模式与显性非等价模式之和占总模式的目标比例。

其中，τ通常取90％。

进一步优选，所述介入比例σ的取值范围为：[20％，60％]。

进一步优选，步骤s2中每个像素点对应模式的等价性的计算公式如下：

式中，u(lbpp,r)表示一个像素点对应模式的等价性，所述等价性表示模式对应二值模式0、1之间的跳变次数，uh2t(lbpp,r)表示二值模式中第一位和最后一位0、1之间的跳变次数，uintrm(lbpp,r)表示二值模式中第二位至倒数第二位0、1之间的跳变次数，p为像素点作为中心像素时邻域采样点个数，r为邻域半径，gc表示中心像素点的灰度值，gp表示邻域像素点的灰度值，g0表示邻域中第一个邻域像素的灰度值，t表示邻域像素与中心像素的灰度值之差的记号。

进一步优选，lbp系列算子包括clbp子算子、ltp算子、mlbp算子，所述clbp子算子的类型包括clbp符号子算子(clbp_s)、clbp幅值子算子(clbp_m)、clbp中心子算子(clbp_c)、clbp幅值/中心子算子(clbp_m/c)、clbp符号/中心子算子(clbp_s/c)、clbp符号/幅值子算子(clbp_s/m)、clbp符号_幅值/中心子算子(clbp_s_m/c)、clbp符号/幅值/中心子算子(clbp_s/m/c)。

本发明选用其中任一种算子均可以实现本方案，上述clbp子算子的组合子算子均通过clbp_s、clbp_m和clbp_c直方图的2d扩展、3d扩展或2d-3d组合扩展融合而得，融合得到的子算子以及融合过程均为现有技术，因此本发明对此不进行过多赘述，但应当理解，本发明可以使用上述任意算子来实现，因此本发明该方案具有良好的扩展性。

进一步优选，利用clbp符号子算子计算中心像素点的模式时，计算公式如下：

式中，clbp_sp,r表示一个中心像素在clbp符号子算子下的模式，p为像素点作为中心像素时邻域采样点个数，r为邻域半径，gp表示邻域像素点的灰度值，gc表示中心像素点的灰度值，t表示邻域像素与中心像素的灰度值之差的记号。

另一方面，本发明还提供一种基于上述纹理描述方法的图像分类方法，包括如下步骤：

步骤1：获取图像训练集，所述训练集中每一类图像包括同一拍摄条件下拍摄的若干同一类别图像；

步骤2：按照所述纹理描述方法中步骤s1-s4获取所述图像训练集中每幅图像的编码混合模式直方图以及待分类图像的混合编码模式直方图；

步骤3：将训练集中每幅图像的编码混合模式直方图以及每幅图像所属图像类别作为分类特征，利用分类器对待分类图像的混合编码模式直方图与分类特征进行特征匹配得出待分类图像的图像类别。

本发明利用纹理描述方法处理训练集中的图像进而实现图像的分类识别。每一类图像中设定同一拍摄条件下的多幅图片的原因是一幅图像的模式信息是不稳定，对于一类图像也不具有代表性，所以训练时取每个类的多幅图，目的是得到模式规律。

进一步优选，所述分类器的类型包括支持向量机(svm)、k近邻、最近邻法、决策树、贝叶斯。

本发明是将训练集中每幅图像的编码混合模式直方图以及所属的图像类别作为分类特征训练分类器，由于所选用的分类器以及训练过程均为现有技术实现过程，因此本发明对训练过程不进行过多赘述。

进一步优选，所述分类器为k近邻分类器时，步骤3的实现过程如下：

依次计算待分类图像的混合编码模式直方图与训练集中每幅图像的编码混合模式直方图的卡方距离；

选取卡方距离最小时对应训练图像所属的图像类别作为所述待分类图像的图像类别；

其中，卡方距离公式如下：

式中，χ²(t,m)为待分类图像的混合编码模式直方图与一幅训练图像的编码混合模式直方图的卡方距离，t、m分别表示待分类图像和一幅训练图像的混合编码模式直方图，ti、mi表示待分类图像、一幅训练图像的混合编码模式直方图中第i个混合编码模式的出现频次。

有益效果

1、本发明的一种基于广义局部二值模式的纹理描述方法创造性挖掘非等价模式中的纹理描述信息，其通过考虑lbp概率统计信息，从非等价模式中取出出现概率排名靠前的部分非等价模式作为显性非等价模式，与等价模式一起构建混合模式，得到了更加丰富的纹理描述信息。本发明不仅仅考虑到模式分布信息，即选取了所有等价模式，同时还考虑模式概率分布，即基于概率分布从非等价模式中选取概率靠前部分作为显性非等价模式，有利于提升纹理刻画能力。

2、本发明基于纹理描述方法提供了图像分类方法，正是基于纹理描述方法得到了更加丰富的纹理描述信息，克服了传统lbp忽略非等价模式后纹理分析能力和边缘刻画能力下降的问题，因此本发明提供的图像分类方法的分类结果的可靠性更高。

3、本发明具有良好的推广特性，一方面，本发明提供的纹理描述方法是得到了描述图像纹理信息的特征，而基于该方法进行图像分类识别、纹理分析、纹理表示等应用，应用空间大，推广空间大；另一方面，本发明提供的纹理描述方法中可以使用不同类型的lbp算子及其任何其他未考虑非等价模式描述性信息的lbp改进算子来实现，局限较小。如：仅选用clbp系列算子就可在本发明实施框架得到8种广义局部二值模式子算子。

附图说明

图1是本发明提供的基于广义局部二值模式的纹理描述方法的流程图；

图2是本发明一个实施例提供的基于广义局部二值模式的纹理描述方法的流程图；

图3是本发明提供的基于纹理描述方法的图像分类方法的流程图。

具体实施方式

下面将结合实施例对本发明做进一步的说明。

本发明提供的广义局部二值模式的纹理描述系统包括等价模式提取单元、显性非等价模式提取单元以及混合模式计算单元。其中，等价模式提取单元完整地继承了传统lbp提取等价模式的方法，用于提取原始图像(ris)所有等价模式(uniformpatterns，ups)；显性非等价模式提取单元用于提取原始图像所有非等价模式(non-uniformpatterns，nups)中的显性非等价模式(dominatenon-uniformpatterns，dnups)；混合模式计算单元用于组合原始图像的等价模式(ups)和显性非等价模式(dnups)，并进行编码，得到编码混合模式(encodedhybridpatterns，ehps)。

如图1所示，本发明实施例提供的一种基于广义局部二值模式的纹理描述方法，包括如下步骤：

u101：利用lbp系列算子遍历原始图像中的每个像素点，并计算出每个像素点作为中心像素时的模式并赋予模式标号。

其中，lbp系列算子是使用不同类型的lbp算子及其任何其他未考虑非等价模式描述性信息的lbp改进算子。如lbp系列算子包括clbp子算子、ltp算子(局部三值模式)、mlbp算子(多尺度局部二值模式)，且clbp子算子类型包括clbp符号子算子(clbp_s)、clbp幅值子算子(clbp_m)、clbp中心子算子(clbp_c)、clbp幅值/中心子算子(clbp_m/c)、clbp符号/中心子算子(clbp_s/c)、clbp符号/幅值子算子(clbp_s/m)、clbp符号_幅值/中心子算子(clbp_s_m/c)、clbp符号/幅值/中心子算子(clbp_s/m/c)。如图2所示的一个实施例的流程中，该实施例选用clbp符号子算子(clbp_s)计算中心像素的模式时，计算公式如下：

式中，clbp_sp,r表示一个中心像素在clbp符号子算子下的模式，gc表示中心像素点的灰度值，gp表示邻域像素点的灰度值，p为像素点作为中心像素时邻域采样点个数，t表示邻域像素与中心像素的灰度值之差的记号。根据上述公式可知，最终得到0-255之间的一个十进制数。

u102：计算每个像素点对应模式的等价性，并判断是否大于2；其中，若小于或等于2，像素点对应的模式为等价模式；若大于2，像素点对应的模式为非等价模式。

其中，根据下述公式计算出模式的等价性：

式中，u(lbpp,r)表示一个像素点对应模式的等价性，所述等价性表示模式对应二值模式0、1之间的跳变次数，uh2t(lbpp,r)表示二值模式中第一位和最后一位0、1之间的跳变次数，uintrm(lbpp,r)表示二值模式中第二位至倒数第二位0、1之间的跳变次数，p为像素点作为中心像素时邻域采样点个数，gc表示中心像素点的灰度值，gp表示邻域像素点的灰度值，g0表示邻域中第一个邻域像素的灰度值，t表示邻域像素与中心像素的灰度值之差的记号。

因此通过上述计算等价性并进行判决后，u103中得到了原始图像中所有等价模式，u104中得到了原始图像中所有非等价模式。

u105：基于原始图像中的每类非等价模式的出现频次构建非等价模式直方图，并对非等价模式直方图中的直方柱进行降序排列，即由于每个直方柱对应一类非等价模式，因此也可以理解为对每类非等价模式进行降序排列。

其中，非等价模式直方图中每个直方柱对应一类非等价模式，直方柱纵轴对应为该一类非等价模式的出现频次。

u106：基于介入比例σ并按照所述非等价模式直方图中直方柱从前往后的顺序选取部分非等价模式作为显性非等价模式。

其中，按照如下公式获取显性非等价模式：

式中，表示降序排列后的非等价直方图中前kσ个直方柱累加之和，表示非等价直方图中所有直方柱累加之和；当与的比值大于或等于介入比例σ时，返回kσ，则降序排列后的非等价直方图中前kσ个直方柱对应的非等价模式为显性非等价模式。其中，介入比例σ可以是通过大量实验得出的经验值，如其取值范围选为[20％，60％]，也可以是根据如下公式来确定的：

式中，pnups表示原始图像中非等价模式在总模式中所占比例，所述总模式包括等价模式和非等价模式，τ表示等价模式与显性非等价模式之和占总模式的目标比例，τ目标比例一般取值为90％。

u107：将原始图像中每类等价模式、每类显性非等价模式进行组合得到混合模式。

u108：对所述混合模式进行二进制编码以及对剩余非等价模式进行统一的编码得到编码混合模式。本实施例中编码混合模式最终是十进制，剩余非等价模式统一为一种模式，混合模式可以不进行变化，也可以进行变化，这取决于采用什么编码器，最终编码混合模式是最终的各类等价模式、显性非等价模式以及统一模式的剩余非等价模式。该编码混合模式(ehps)可用于纹理表示、纹理分析和图像分类任务。

本发明不限定使用哪类编码器对等价模式、显性非等价模式以及剩余非等价模式进行编码，譬如，根据等价模式得到p+1种旋转不变等价模式，重新编码为0～p，又根据显性分等价模式得到k种显性非等价模式，编码为p+1～p+k，剩余非等价模式统一编码为p+k+1。所以最后得到的混合模式的编码是0～p+k+1。

本发明基于该纹理描述方法，提供了一种基于纹理描述方法的图像分类方法，包括如下步骤：

步骤1：获取图像训练集，所述训练集中每一类图像包括同一拍摄条件下拍摄的若干同一类别图像。

其中，图像训练集是基于应用需求来设定的，譬如，设定多类不同材质的纹理图像，训练集中每一类图像对应一类材质下物体图片，同一类下的图像为同一拍摄条件下拍摄的同一材质的照片，该拍摄条件可以理解为同一光照强度同一拍摄角度，进而图像识别的目的是识别目标图像中物体材质。

如本实施例中以公开纹理数据库outex_tc_00012(tc12)作为训练集进行测试。

步骤2：按照所述纹理描述方法中步骤s1-s4获取所述图像训练集中每幅图像的编码混合模式直方图以及待分类图像的混合编码模式直方图；

步骤3：将训练集中每幅图像的编码混合模式直方图以及每幅图像所属图像类别作为分类特征，利用分类器对待分类图像的混合编码模式直方图与分类特征进行特征匹配得出待分类图像的图像类别。

本发明使用的分类器的类型包括但是不限制于支持向量机(svm)、k近邻、最近邻法、决策树、贝叶斯。本实施例中选用k近邻分类器，其步骤3的实现过程如下：

依次计算待分类图像的混合编码模式直方图与训练集中每幅图像的编码混合模式直方图的卡方距离；

选取卡方距离最小时对应训练图像所属的图像类别作为所述待分类图像的图像类别；

其中，卡方距离公式如下：

式中，χ²(t,m)为待分类图像的混合编码模式直方图与一幅训练图像的编码混合模式直方图的卡方距离，t、m分别表示待分类图像和一幅训练图像的混合编码模式直方图，ti、mi表示待分类图像、一幅训练图像的混合编码模式直方图中第i个混合编码模式的出现频次。

本发明之用于纹理分析的广义局部二值模式，创新性地挖掘了隐含在非等价模式中的有用纹理描述信息，提高了纹理分类准确率。不失一般性地，在公开纹理数据库outex_tc_00012(tc12)上进行性能对比试验，参与对比的算子如下：本案所述的广义局部二值模式符号子算子(算子a)和广义局部二值模式符号/中心子算子(算子b)、clbp符号子算子、clbp符号/中心子算子。以上算子中心像素的邻域采样点个数p和邻域半径r分别设置为：单分辨率(p,r)＝(8,3)，多分辨率(p,r)＝(8,1)+(8,3)+(16,4)。本实施例的性能对比结果见表1：

表1

从试验结果可知：应用本发明的算子a和算子b所获得的识别率显著优于传统的clbp子算子。特别地，算子a在单分辨率前提下将分类准确率从clbp符号子算子的85.51％提升至93.60％，在多分辨率前提下将分类准确率从clbp符号子算子的92.05％提升至96.05％；算子b在单分辨率前提下将分类准确率从clbp符号/中心子算子的94.07％提升至98.42％，在多分辨率前提下将分类准确率从clbp符号/中心子算子的95.24％提升至99.38％。

需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。