一种列车车牌二值化图像融合方法与流程

本发明属于计算机视觉技术领域，具体涉及一种针对我国列车车牌的二值化图像融合方法。

背景技术：

以往记录列车(火车、动车、高铁等)车牌主要是依靠人为观察，而人为观察记录容易因为操作员的疲劳等因素造成失误，采用列车车牌号自动识别系统可以有效的替换原先人为操作过程。

列车车牌号自动识别是我国智慧交通建设中的重要一环，在我国列车轨道附近安装相应的识别系统，实时采集通过的列车图片，然后将自动识别出来的车牌号发送到相应的站点，各站点利用实时获取的列车信息进行有效的调度各自的列车班次。不仅促进列车有效的行驶，也为旅客，列车站提供了有效的实时信息。

二值化作为列车车牌号识别系统里面一个关键的图像处理操作，它的好坏程度直接影响到后面的字符分割提取，从而影响到最终的识别准确率。目前对汽车车牌的识别技术已经很成熟了，但是对于列车车牌的识别技术还未达到成熟阶段，与汽车车牌号相比，如图1所示，我国列车车牌号因为没有统一的标准导致样式多样。

目前，存在两类基于阈值的二值化方法，分别为全局二值化例如Otsu和局部二值化例如Niblack。其中，全局二值化方法适用于前后背景存在明显差值的图，但是，当图像光照不均时，全局二值化会造成二值化后，图像信息丢失。局部二值化因为是将图像分块进行二值化，因此对于退化的图片和光照不均的图片，局部二值化可以获得相对较好的结果，但是因为局部二值化对杂质敏感，导致最后的二值化图像噪声偏多。

目前已经有人提出了通过多种二值化图像融合的方法来实现各种二值化方法优势互补，人们主要是基于不同的阈值或者不同的方法获得多个二值图，对于如何将多个二值图融合，目前有两种使用较为广泛的方法，一种是基于投票机制法，一种是基于像素分类法。但是这两种方法均不能有效实现列车车牌二值化的识别。投票机制是对多个二值图的同一个像素点进行取值判断，当有一半以上的值为前景像素(1)则融合后为前景像素(1)，反之为背景像素(0)。这种方法没有考虑不同二值图之间的的关系，而是直接统计个数。例如当进行融合的多个二值图中，基于全局二值化思想的方法多些，则这样直接统计个数，对数目偏少的局部二值化方法则不合理。因此该方法没有分析各个二值图直接的优缺点和方法，而是直接统计个数，实验证明对列车车牌二值化效果不好。基于像素分类法是采用两种二值化方法获得两个二值图，当这两个二值图对应的像素值都为前景像素(1)则为前景，都为背景像素则都为背景像素(0)，当两个二值图对应的像素值一个为前景一个为后景则为不确定像素点，因此分为(前景像素，后景像素，不确定像素)，然后对不确定像素进行分类。以不确定像素为中心，向周围局部范围进行迭代，当局部范围内前景像素总和大于背景像素总和则其判别为前景像素，反之为后景像素，当总和相同，则扩大局部范围进行判断，这个方法是基于一种聚类的假设，认为相同类别的像素之间应该更加接近，但是这只是一种先前对汽车车牌二值化或者文档二值化的假设，实验证明对列车车牌二值化效果不好。

归其原因是由于列车车牌虽然经过归一化后也能达到相同大小，但是此时里面的字符则不一样，无法达到一致的标准，因此不能简单用上面的二值化方法进行二值化。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种列车车牌二值化图像融合方法。

为了实现本发明的上述目的，本发明提供了一种列车车牌二值化图像融合方法，其包括如下步骤：

S1，获取通道数据，所述通道数据包括列车车牌彩色图像的R、G、B三个通道图以及列车车牌彩色图像的灰度图；计算四个通道图的对比度值，选择对比度值最大的作为最佳单通道图，并且对该最佳单通道图进行像素归一化；

S2，获取归一化后的最佳单通道图的多个二值图，所述二值图包括用最大类间方差法获得的二值图，用自适应加权高斯阈值方法获得的二值图，基于边缘的二值图以及基于自适应分块最大类间方差法的二值图；

S3，将用最大类间方差法获得的二值图，将获得的基于边缘的二值图以及获得的基于自适应分块最大类间方差法二值图进行逻辑‘或’操作；

将得到的‘或’操作结果与获得的基于自适应加权高斯阈值方法的二值图进行逻辑‘与’操作，最后的结果即为最终理想二值图。

本发明通过对多样化的列车车牌进行有效的二值化，并对二值化后的车牌之间进行逻辑操作，确保列车车牌号识别系统的较高准确率，为铁路交通提供了更为准确实时的交通信息。

在本发明的一种优选实施方式中，步骤S1具体包括如下步骤：

S11，通道数据获取：将列车车牌原彩色图转换为灰度图，其转换公式见如下公式：

Gray＝R×0.3+G×0.59+B×0.11

其中，R，G，B分别代表RGB空间中的三个通道，

灰度图与列车车牌原彩色图的R，G，B三个通道图构成四个不同的单通道图；

S12，边缘增强：依次对S11获得四个单通道图的水平扫描和/或竖直扫描进行卷积操作，获取四个相应的边缘增强的单通道图，具体的卷积算子为：

竖直扫描卷积算子：

水平扫描卷积算子：

S13，降噪：对S12获得的4个单通道图进行滤波降噪；

S14，对比度计算：利用对比度计算公式求解S13获得的图像的对比度值，选择对比度值最大的作为最佳单通道图，对比度计算公式如下：

其中，σ为标准差，n根据实验设置的常数，优选为0.25，g为整个图像的像素值，q为灰度级，本文为0到255，Pr(q|g)表示灰度级为q的像素总数占整幅图像素个数总数的百分比，m为图像像素均值。

S15，对最佳单通道图进行归一化。

在本发明的一种优选实施方式中，最佳单通道图进行归一化的方法为：用最大类间方差法对最佳单通道图进行二值化，获得最大类间方差法二值图，然后统计二值图里面像素值为1的个数M和像素值为0的个数N，当M小于N时，则需要将该单通道图取反，反之，单通道图不取反。

在选择好最佳单通道图后，需要对单通道图进行像素归一化，该优选实施方式中在归一化的时候用到了基于最大类间方差法的二值图而已，这部分的操作的目的是归一化。

本发明通过获取四个通道图以及最佳单通道图，对单通道图进行二值化时，单通道图的对比度越大，二值化效果越好，但是不同图像他们对比度最好的单通道图不一样，有的是G通道，有的是R通道等，因此需要进行自动选择，保证了计算的准确性。

在本发明的另一种优选实施方式中，用最大类间方差法获得的二值图的方法为：利用最大类间方差法对最佳单通道图进行二值化，获得最大类间方差法二值图，然后统计二值图里面像素值为1的个数M和像素值为0的个数N，当M大于N时，该二值图进行取反，反之，该二值图不用取反。

在本发明的另一种优选实施方式中，用自适应加权高斯阈值方法获得的二值图的方法为：

取模板大小为w*w，用该模板对步骤S15归一化后获得的单通道图进行卷积操作，模板中心点对应到图像的像素点P(x,y)，以此点为中心，计算其局部高斯加权均值EG(x,y),然后用高斯加权均值减去一个常量B，所得结果则为当前点P(x,y)的二值化阈值，

T(x,y)＝EG(x,y)-B

σ＝(μ-1)×k+b

其中，T(x,y)表示像素点(x,y)的二值化阈值，B表示一个常量，p(x+m,y+n)表示坐标点(x+m,y+n)处的像素值，EG(x,y)表示基于高卷积模板对像素点(x,y)求出的一个阈值；G(x₀,y₀)表示卷积模板中(x₀,y₀)对应的系数值，该模板系数为二维高斯分布，G(x₀,y₀)的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，因此k取值0.3，b取值0.8；w表示模板宽度，k为系数常量，b为常量，高斯核里面的均值μ为模板宽度的一半，模板宽度w取值为图片的高度的四分之一。

在本发明的另一种优选实施方式中，用基于边缘的二值图方法获得的二值图的方法为：

利用步骤S12中的边缘增强算法对步骤S15归一化后获得的单通道图做卷积操作，获得边缘梯度图，利用最大类间方差方法对该边缘增强图进行二值化，获得基于边缘的二值图。

在本发明的另一种优选实施方式中，用基于自适应分块最大类间方差法获得二值图的方法为：

将S15归一化后获得的单通道图进行水平分割，分割成两个子图，然后用再最大类间方差法对每个子图进行二值化操作，最后将两个子二值图合并为一个二值图，其分割点选择通过如下步骤完成：

将原RGB空间的彩色图转换为HSV空间；

在HSV空间下获取原彩色图的V分量对应的单通道图，对V分量通道图进行垂直投影，将获得的投影直方图在水平方向进行四等份划分，存在包含水平方向左右起始点在内的四个预选分割点，选择中间两个预选分割点中灰度值较小的点作为最终的分割点。

最大类间方差法是典型的全局二值化，稳定性最好。自适应加权高斯阈值方法是典型的局部二值化方法。选择以上两种二值化方法是因为他们稳定性好，具有很强的代表性，分别代表全局二值化和局部二值化。基于边缘的二值化方法通过增强边缘，然后二值化，可以确保更多字符信息保留。基于自适应分块最大类间方差法用于在夜晚列车行驶时准确获取列车车牌的信息。这四种二值化方法不是随机选的，需要考虑他们直接的优缺点从而进行融合，本文正是通过分析他们之间的关系才确定了这四种二值化方法。通过对列车车牌的四种二值化图像之间进行逻辑操作，确保列车车牌号识别系统的较高准确率，为铁路交通提供了更为准确实时的交通信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是现有样式多样的我国列车车牌号图像；

图2本发明列车车牌二值化图像融合方法的流程图；

图3是三个车牌图片以及其对应的四个单通道图；

图4是三个车牌图片以及其对应的四个单通道图的边缘图；

图5是分别用最大类间方差法和基于自适应加权高斯阈值方法对未进行归一化的图像进行二值化的效果；

图6是分别采用最大类间方差法、基于自适应加权高斯阈值、基于边缘法获得的三个示意二值图；

图7是对原图像的V分量通道进行垂直投影获得的投影折线图；

图8是部分二值图像效果对比，他们分别采用不同的二值化方法；

图9是最大类间方差方法获得的二值图与基于自适应加权高斯阈值方法获得的二值图的“与”操作前后的图片；

图10是基于自适应加权高斯阈值方法获得的二值图与基于自适应分块最大类间方差法获得二值图“与”操作前后的图片；

图11是基于自适应加权高斯阈值方法获得的二值图与基于自适应分块最大类间方差法获得二值图“与”操作前后的图片。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种列车车牌二值化图像融合方法，如图2所示，其包括如下步骤：

S1，获取通道数据，所述通道数据包括列车车牌彩色图像的R、G、B三个通道图以及列车车牌彩色图像的灰度图；计算四个通道图的对比度值，选择对比度值最大的作为最佳单通道图,并且对该最佳单通道图进行像素归一化。

在实施方式中，步骤S1具体包括如下步骤：

S11，通道数据获取：将列车车牌原彩色图转换为灰度图，其转换公式见如下公式：

Gray＝R×0.3+G×0.59+B×0.11

其中，R，G，B分别代表RGB空间中的三个通道，

灰度图与列车车牌原彩色图的R，G，B三个通道图构成四个不同的单通道图。

如图3所示，图中(a)列为三个列车车牌的原图，大小为408*104，获取其对应的4个通道图，(b)，(c)，(d)，(e)依次为每行的列车车牌图像对应的灰度图，R通道图，G通道图，B通道图。

S12，边缘增强：依次对S11获得四个单通道图的水平扫描和/或竖直扫描进行卷积操作，获取四个相应的边缘增强的单通道图，具体的卷积算子为：

竖直扫描卷积算子：

水平扫描卷积算子：

具体边缘增强前后的图形如图4所示，在本实施方式中，图4(a)为原图，分别对其对应的4个单通道进行卷积操作，优选为Sobel算子操作，获得对应的边缘图。(b)，(c)，(d)，(e)依次为每行对应相关的灰度图的边缘图，R通道图的边缘图，G通道图的边缘图，B通道图的边缘图。

S13，降噪：对S12获得的4个单通道图进行滤波降噪。优选利用大小为3*3的均值滤波器对所有的边缘图进行滤波。

S14，对比度计算：利用对比度计算公式求解S13获得的图像的对比度值，选择对比度值最大的作为最佳单通道图，对比度计算公式如下：

其中，σ为标准差，n根据实验设置为0.25，g为整个图像的像素值，q为灰度级，本文为0到255，Pr(q|g)表示灰度级为q的像素总数占整幅图像素个数总数的百分比，m为图像像素均值。

S15对最佳单通道图归一化。在本实施方式中，用最大类间方差法对最佳单通道图进行二值化，获得最大类间方差法二值图，然后统计二值图里面像素值为1的个数M和像素值为0的个数N，当M小于N时，则需要将该单通道图取反，反之，单通道图不取反。

S2，获取归一化后最佳单通道数据的多个二值图，所述二值图包括用最大类间方差法获得的二值图，用自适应加权高斯阈值方法获得的二值图，基于边缘的二值图以及基于自适应分块最大类间方差法的二值图。

在本实施方式中，通过多种方法获得列车车牌的二值化图像，在多个二值化图像之间进行逻辑运算。

由图5可知，当图像的前后景不一致时，采用基于自适应加权高斯阈值二值化方法会得到较差的效果，所以首先用最大类间方差方法对最佳单通道图进行处理，获得最大类间方差二值图，然后统计二值图里面像素值为1的个数M和像素值为0的个数N，当M大于N时，则需要将该单通道图取反，反之，对最大类间方差二值图进行取反，单通道图不变。在本实施方式中，利用最大类间方差方法获取二值图与步骤S15同时进行，只是目的不同，此处的目的是对最大类间方差法获得的二值图进行操作。

在本发明的另一种优选实施方式中，用自适应加权高斯阈值方法获得的二值图的方法为：

取模板大小为w*w，用该模板对最大类间方差法获得的单通道图进行卷积操作，模板中心点对应到图像的像素点P(x,y)，以此点为中心，计算其局部高斯加权均值EG(x,y),然后用高斯加权均值减去一个常量B，所得结果则为当前点P(x,y)的二值化阈值，

T(x,y)＝EG(x,y)-B

σ＝(μ-1)×k+b

其中，T(x,y)表示像素点(x,y)的二值化阈值，p(x+m,y+n)表示坐标点(x+m,y+n)处的像素值，B表示一个常量，EG(x,y)表示基于高卷积核对像素点(x,y)利用求出的一个阈值；G(x₀,y₀)表示卷积模板中(x₀,y₀)对应的权值，该模板所有的权值呈二维高斯分布，G(x₀,y₀)的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％，因此k取值0.3，b取值0.8；w表示模板宽度，k为系数常量，b为常量，高斯核里面的均值μ为模板宽度的一半，模板宽度w取值为图片的高度的四分之一。获取的基于自适应加权高斯阈值方法的二值图如图6(b)所示。

在本发明的另一种优选实施方式中，用基于边缘的二值图方法获得的二值图的方法为：

利用步骤S12中的边缘增强算法对归一化后的单通道图做卷积操作，获得边缘梯度图，利用最大类间方差方法对该边缘增强图进行二值化，获得基于边缘的二值图。在本实施方式中，优选采用Sobel算子的水平方向和垂直方向的对最大类间方差法获得的单通道图做卷积操作，获得边缘增强度图，如图6(c)。

在本发明的另一种优选实施方式中，用基于自适应分块最大类间方差法获得二值图的方法为：

将最大类间方差法获得的单通道图进行水平分割，分割成两个子图，然后用再最大类间方差法对每个子图进行二值化操作，最后将两个子二值图合并为一个二值图，其分割点选择通过如下步骤完成：

将原RGB空间的彩色图转换为HSV空间；

在HSV空间下获取原彩色图的V分量对应的单通道图，对V分量通道图进行垂直投影，将获得的投影直方图在水平方向进行四等份划分，存在包含水平方向左右起始点在内的四个预选分割点，选择中间两个预选分割点中灰度值较小的点作为最终的分割点，具体获得的图像如图7所示。

S3，将用最大类间方差法获得的二值图，将获得的基于边缘的二值图以及获得的基于自适应分块最大类间方差法二值图进行逻辑‘或’操作；

将得到的‘或’操作结果与获得的基于自适应加权高斯阈值方法的二值图进行逻辑‘与’操作，最后的结果即为最终理想二值图，如图7所示，其中(a)为对应的原图，(b)为基于最大类间方差方法的二值图，(c)为基于基于自适应加权高斯阈值方法的二值图，(d)为基于边缘的二值图，(e)为基于自适应分块最大类间方差方法的二值图，(f)为本发明提出的二值化方法对应的二值图。

最大类间方差法是典型的全局二值化，稳定性最好。自适应加权高斯阈值方法是典型的局部二值化方法。选择以上两种二值化方法是因为他们稳定性好，具有很强的代表性，分别代表全局二值化和局部二值化。基于边缘的二值化方法通过增强边缘，然后二值化，可以确保更多字符信息保留。基于自适应分块最大类间方差法用于在夜晚列车行驶时准确获取列车车牌的信息。这四种二值化方法不是随机选的，需要考虑他们直接的优缺点从而进行融合，本文正是通过分析他们之间的关系才确定了这四种二值化方法，其他二值化方法如果性质类似，可以替换。通过对列车车牌的四种二值化图像之间进行逻辑操作，确保列车车牌号识别系统的较高准确率，为铁路交通提供了更为准确实时的交通信息。

局部二值化和全局二值化各自都有优缺点，那么如何有效的让他们互补，这正是这篇文章的创新点，本发明没有从二值化后的像素值来分析，而是独辟蹊径。

1)最大类间方差方法获得的二值图与基于自适应加权高斯阈值方法获得的二值图取‘与’，

观察图9的image1和image2：对于image1，用最大类间方差方法可以很好的实现二值化且杂质较少，而基于自适应加权高斯阈值作为局部二值化因为对噪声敏感导致杂质较多，因此采用‘与’操作后可以得到真正的字符二值化信息。因此用最大类间方差的优点弥补了基于自适应加权高斯阈值的缺点；对于image2，因为光照不均，此时最大类间方差二值化后图像出现信息丢失，局部整块的出现错误的二值化，而基于自适应加权高斯阈值则可以解决这种问题，取‘与’操作后效果提升，此时用基于自适应加权高斯阈值的优点弥补了最大类间方差的缺点。

那么观察image3：当车牌出现污损或者没有光照，此时到时最大类间方差二值化后同样出现信息损失，而基于自适应加权高斯阈值则可以解决这种问题，但是此时用‘与’操作却不行，如果用‘或’操作，又会与上面那种情况矛盾，因此本文最大类间方差与基于自适应加权高斯阈值只采用‘与’。如何解决image3的问题，我们通过下面的一个融合。

2)基于自适应加权高斯阈值与基于自适应分块最大类间方差法获得二值图的“与”操作，

先通过Sobel算子增强边缘，这种增强边缘对任何类型的图像都有效，当然同时也对杂质起到增强的作用，经过Sobel算子操作后，在进行最大类间方差操作，此时二值化后的图像将会保留更多信息，见图10的image1，它对应着图9的image3。这是让基于自适应加权高斯阈值和基于自适应分块最大类间方差法获得二值图取‘与‘操作。尽管会带来一定的杂质，但是对二值化的最终效果影响不大。因为我们的目的是尽量保留字符的信息。观察图10的image2，当图像不仅处于阴影部分而且自身字符边缘模糊，这时采用Sobel算子来增强边缘，效果不好，所有只能采用类似局部二值化的方法，将图像阴影部分与光亮部分分开。分别进行二值化，此时提出了基于自适应分块最大类间方差法与基于自适应加权高斯阈值的‘与’操作。

3)基于自适应加权高斯阈值与基于自适应分块最大类间方差法获得二值图

因为基于自适应分块最大类间方差法获得二值图和最大类间方差法都无法对字符边缘模糊且处在光照不均的图像进行有效的二值化，因此采用分块的二值化，其思想类似于基于自适应加权高斯阈值局部二值化，因为避免基于自适应加权高斯阈值与基于自适应分块最大类间方差法获得二值图一样，我们只将图像垂直的分为两块，每块再进行全局二值化，这样既保留的全局二值化的优点，有具有一定的局部二值化的效果，见图11。此时将基于自适应加权高斯阈值与基于自适应分块最大类间方差法获得二值图取‘与’操作则可以解决图10image2里面不能解决的问题。

因为整个车牌二值化时，碰到的困难就是光照不均，车牌受损，字符发生模糊。因此本文主要基于这几个问题进行分析并设计了该种融合方法。经过试验对比，总体效果优于其他二值化方法。

由于只有基于自适应加权高斯阈值是真正的局部二值化方法，最大类间方差法和基于自适应分块最大类间方差法获得二值图以及基于边缘的最大类间方差法三种二值化属于全局二值化，而全局二值化的缺点就是容易丢失信息，因此先将这三个“全局二值化”方法取“或”操作，这样可以尽量的保留字符信息。基于自适应加权高斯阈值作为局部二值化，其不易丢失信息，但是正因为如此导致局部二值化后的图像包含杂质较多(因为局部二值化对噪声敏感)，因此最终通过‘与’操作实现真正的字符信息保留下来。

本发明的有益结果是：通过对多样化的列车车牌进行有效的二值化，从而确保列车车牌号识别系统的较高准确率，为铁路交通提供了更为准确实时的交通信息。

本发明通过对多样化的列车车牌进行有效的二值化，并对二值化后的车牌之间进行逻辑操作，确保列车车牌号识别系统的较高准确率，为铁路交通提供了更为准确实时的交通信息。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。