一种基于空洞卷积扩大感受野的车牌图像去模糊方法与流程

1.本发明属于图像处理技术领域，涉及一种基于空洞卷积扩大感受野的车牌图像去模糊方法。


背景技术：

2.图像去模糊是通过深度学习算法将车牌图像中存在的模糊区域消除，该任务属于图像修复任务中的一种。图像修复技术是计算机视觉的底层任务，是图像，视频识别等任务的基础，在计算机视觉领域具有很重要的地位，被广泛应用于交通监控、医学检测和雷达遥感等场景之中。
3.在对模糊的车牌图像进行修复的过程中，现有的基于卷积神经网络的深度学习方法要点主要如下：（1）通过加深网络层次或者多个网络堆叠，逐步恢复清晰图像；（2）使用特征提取模块提取图像特征，使用同样的卷积核不能很好的处理不同分辨率大小的车牌图像，不能充分提取图像特征信息；（3）网络加深，车牌图像特征在传输的过程中，将会丢失许多信息，不利于恢复清晰的图像，上述方法存在的问题导致其在实际应用场景中无法取得满意的效果，急需更加高效方法进行车牌图像去模糊。


技术实现要素：

4.本发明的目的在于克服现有技术存在的缺点，设计提供了一种基于空洞卷积扩大感受野的车牌图像去模糊方法，用于解决实际应用场景中拍摄的车牌图像存在模糊导致后续无法识别的情况。
5.为实现上述目的，本发明先将原始视频抽取图像序列，将图像序列分成多个间隔，再将从个间隔抽取一张图像组成图像子序列，然后将图像子序列中的图像输入训练好的模型，得到恢复的清晰图像，具体步骤如下：（1）从原始视频中抽取原始图像序列；（2）将原始图像分成多个间隔，每个间隔抽取一张图像组成子序列，对图像子序列模糊处理生成车牌模糊图像子序列；对车牌模糊图像子序列进行特征提取，得到的特征维度，其中b是批次维度，表示训练时的批次大小；t为时间维度，表示每个视频选取的序列间隔的数量；c为特征通道数量；w为特征在空间上的宽度；h为特征在空间上的高度；（3）设计并建立基于空洞卷积扩大感受野的车牌图像去模糊网络，车牌图像去模糊网络分为两部分逐步恢复清晰的车牌图像，相邻部分间采用多尺度注意力模块连接，将步骤（2）得到的图片子序列的特征维度分别作为车牌图像去模糊网络两部分的输入，采用加入多尺度空洞卷积特征提取模块的多阶段卷积神经网络模型作为学习器，学习用于图像去模糊的模糊核；（4）训练基于空洞卷积扩大感受野的车牌图像去模糊网络，得到训练好的网络模型；
（5）将模糊车牌图像输入到训练好的网络模型中，输出恢复的清晰图像，实现基于空洞卷积扩大感受野的车牌图像去模糊。
6.作为本发明的进一步技术方案，步骤（3）的具体过程为：（31）将特征维度f重新排列为；（32）将重新排列后的特征维度输入采用包含不同膨胀系数空洞卷积的多尺度空洞卷积特征提取模块，利用不同的感受野充分提取图像的空间特征；（33）将步骤（32）输出的特征输入多尺度注意力模块，提取车牌图像的注意力特征图。
7.作为本发明的进一步技术方案，步骤（33）所述多尺度空洞卷积特征提取模块由四个多尺度空洞卷积残差块构成，每个多尺度空洞卷积残差块对于输入的图像特征，先经过膨胀系数分别为1、2、3的空洞卷积对图像特征进行处理，再将得到的三个特征图进行拼接操作得到拼接后的特征图，将拼接后的特征图输入由relu、3
×
3卷积和relu构成的残差块中对特征进一步处理得到处理后的特征；将输入的图像特征与处理后的特征相加后输入由3
×
3卷积和relu组成的模块进行特征细化得到细化后的特征，最后将第四个多尺度空洞卷积残差块输出的特征与输入的图像特征相加，得到多尺度空洞卷积特征提取模块的输出特征。
8.作为本发明的进一步技术方案，步骤（32）所述多尺度注意力模块的工作过程为：将来自两个不同多尺度空洞卷积特征提取模块、大小不同的特征图像输入多尺度注意力模块时，先经过卷积层使两个特征图像的大小一致，再依次经过3
×
3卷积、leakyrelu、3
×
3卷积全局平均池化、3
×
3卷积、leakyrelu和3
×
3卷积处理，最后通过sigmoid激活函数对特征图分配权重生成注意力特征图，使得两个不同尺度之间的特征图融合生成注意力热度图。
9.作为本发明的进一步技术方案，步骤（4）的具体过程如下：（41）数据增广：将车牌图像随机裁剪为256
×
256大小，然后采取90
°
，180
°
，270
°
旋转图像以及对图像进行翻转增广训练数据，得到一对256
×
256大小、新的清晰车牌图像和模糊车牌图像组成的图像对；（42）使用恢复的清晰图像与所有阶段生成的真实的清晰图像的均方误差作为损失函数：；其中i
b，i
为输入的第i个模糊图像，i
g，i
为第i个模糊图像真实的清晰图像，θ为卷积神经网络中学习的权重参数，为第i个模糊图像恢复的清晰图像，n为图像样本总数，为第j阶段的损失占比，训练中设置λ1为0.3，λ2为0.7；（43）经过设定次数迭代训练后，保存结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的网络模型。
10.本发明设计了多尺度空洞卷积特征提取模块，该模块通过使用不同膨胀系数的空洞卷积扩大感受野，这样能够使用比正常卷积更少的参数达到更大的感受野，通过使用多个不同膨胀系数的空洞卷积，能够充分的处理输入网络中不同分辨率的车牌图像，能够很好的提取图像特征信息；同时在两个阶段之间设计了多尺度注意力模块，将来自相邻两个
不同尺度的特征图进行融合，能够弥补特征在传输时的损失，同时生成的注意力热度图能够放大更有价值的图像特征，使网络在训练过程中逐渐关注有利于去模糊的特征信息。
11.与现有技术相比，本发明所采用的多尺度空洞卷积特征提取模块充分提取不同大小分辨率图像所包含的特征信息，同时多尺度注意力模块对来自不同尺度大小的特征图进行融合过滤，减少图像特征的损失，放大重要的特征信息，同时改进了能量损失函数，提升网络模型的整体训练效果，该方法可以但不限于应用在车牌图像去模糊任务中，能够有效的实现车牌图像的去模糊。
附图说明
12.图1为本发明所述基于空洞卷积扩大感受野的车牌图像去模糊网络的结构框架示意图。
13.图2为本发明所述多尺度空洞卷积特征提取模块的结构图。
14.图3为本发明所述多尺度注意力模块的结构图。
15.图4为本发明所述车牌图像去模糊的流程框图。
具体实施方式
16.下面结合附图并通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
17.实施例：本实施例采用如图4所示的车牌图像去模糊流程，具体实施包括如下步骤：（1）从视频抽取原始图像序列：通过对原始车辆视频抽取出图像序列，作为初始车牌数据形式，抽取时保持原视频图像长宽以及视频帧数不变，根据视频原本的每秒帧数和图像大小，抽取出每个视频的图像序列；（2）生成车牌图像数据根据步骤（1）中抽取出的图像序列，将每个不同时间长短的视频分成相同大小的t个时间序列间隔（segments），t可以是任意合适的大小，通常取8至32，从这些序列间隔中抽取包含车牌的图像组成图像子序列，对图像子序列模糊处理后进行特征提取，得到的特征维度，其中b是批次维度，表示训练时的批次大小；t为时间维度，表示每个视频选取的序列间隔的数量；c为特征通道数量；w为特征在空间上的宽度；h为特征在空间上的高度；（3）设计并建立去模糊网络：将步骤（2）得到的特征维度作为网络模型的输入，采用加入多尺度空洞卷积特征提取模块的多阶段卷积神经网络模型作为学习器，学习用于图像去模糊的模糊核，具体包括如下操作：（31）将特征维度f重新排列为；（32）对于输入特征，采用包含不同膨胀系数空洞卷积的多尺度空洞卷积特征提取模块，利用不同的感受野充分提取图像的空间特征，所述多尺度空洞卷积特征提取模块依次由四个多尺度空洞卷积残差块构成，输入的图像特征f
in
分别经过膨胀系数分别为1、2、3
的空洞卷积对特征图像进行处理，再将得到的三个特征图进行拼接操作得到特征f
dc
，拼接后的特征图f
dc
输入由relu、3
×
3卷积和relu构成的残差块中对进一步处理得到f
dc1
；然后将输入的图像特征f
in
与f
dc1
相加后输入由3
×
3卷积和relu组成的部分进行特征细化得到输出特征f
dc1
，最后将第四个多尺度空洞卷积残差块的最终输出与输入特征f
in
相加，得到多尺度空洞卷积特征提取模块的输出特征；（33）将输入多尺度注意力模块，提取车牌图像的注意力特征图，为提高恢复效果，整个模型分为两个部分逐步恢复清晰的车牌图像，相邻部分间采用多尺度注意力模块连接，具体过程为：来自两个不同模块的、大小不同的特征图像fa，fb在输入到注意力模块时，先经过卷积层使fa，fb的大小一致，方便后续操作进行，再依次经过3
×
3卷积、leakyrelu、3
×
3卷积全局平均池化、3
×
3卷积、leakyrelu和3
×
3卷积处理，最后通过sigmoid激活函数对特征图分配权重生成注意力特征图，通过上述操作，可以使得两个不同尺度之间的特征图融合生成注意力热度图，相比于来自相同尺度特征图生成的注意力热度图而言，该方法可以在获得更多不同尺度特征信息的同时生成注意力热度图，兼顾了特征融合和注意力机制两种功能；（4）训练去模糊网络：（41）先将图片随机裁剪为256
×
256大小，然后采取90
°
，180
°
，270
°
旋转图像，以及对图像进行翻转等方式增广训练数据，最终得到一对256
×
256大小的，新的清晰车牌图像和模糊车牌图像组成的图像对；（42）使用恢复的清晰图像与所有阶段生成的真实的清晰图像的均方误差作为损失函数：；其中i
b，i
为输入的第i个模糊图像，i
g，i
为第i个模糊图像真实的清晰图像，θ为卷积神经网络中学习的权重参数，为第i个模糊图像恢复的清晰图像，n为图像样本总数，为第j阶段的损失占比，训练中设置λ1为0.3，λ2为0.7；（43）训练时输入图像批处理大小为 8，使用 adam 优化器，其参数设置分别为β1=0.9 和β2=0.999，训练共 1.5
×
105次迭代，初始学习率为 1
×
10-4
，每经过 2.5
×
104次迭代学习率衰减为原来的一半，得到训练好的网络模型；（5）测试车牌图像去模糊网络：将分辨率大小为1280
×
720的模糊车牌图像输入到训练好的网络模型中，模型输出即为恢复的清晰图像。
18.本文中未详细说明的网络结构和算法均为本领域通用技术。
19.需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。