一种基于多尺度残差的交通标识去模糊检测识别算法的制作方法

本发明涉及图像去模糊，具体涉及一种基于多尺度残差的交通标识去模糊检测识别算法。

背景技术：

摄像机在成像时会受到光学系统的电噪声、传感器的误差或抖动引起的模糊效应，严重影响成像质量。图像在获取的过程中，总是会受到外界条件和周围环境的影响，导致图像质量下降。随着数字图像处理技术在军事、工业、医学界的广泛应用，图像模糊恢复的问题成为一个研究热点。

针对图像的模糊恢复问题，人们开展了大量研究。图像去模糊中最经典的方法是基于正则化的方法，该方法虽然可以有效抑制噪声，但是对于模糊核的估计会有不准确性。为了克服这些固有缺陷，xul提出了基于卷积神经网络的图像去模糊方法，该方法利用卷积操作强大的特征提取能力，通过非线性的映射函数将图像的模糊像素映射为清晰的细节纹理信息，克服了传统正则方法的阶梯效应。但是该网络的层次较浅，难以有效去除模糊。当前大多数基于深度学习的方法会在图像模糊去除的过程中丢失图像的细节信息，容易给图像带来振铃效应。

去模糊的方法可以分为两类：非盲去模糊和盲去模糊。非盲去模糊是在模糊核已知的情况下进行图像恢复的过程；而盲去模糊是在模糊核未知的情况下进行图像恢复的过程。

近年来随着深度学习的发展，非盲去模糊算法和盲去模糊算法都得到了很好的发展，而绝大多数盲去模糊算法都是依据图像的先验分布信息，再对单一的清晰图像或者模糊核进行估计。《高速运动目标的运动模糊图像复原研究》中利用图像先验分布的信息来描述清晰图像和模糊核，但是无法对清晰图像获得极小值。《运动模糊图像检测分割盲复原》中提出了基于map的方法来估计非参数模糊核，利用模糊核和清晰图像的稀疏特性来盲复原，但是这种方法容易产生不准确的结果。

图像的去模糊过程在数学上可以看成清晰的图像与模糊核卷积，加上噪声，模型可以表示为

式中b为模糊图像，l为要复原的目标清晰图像，k为模糊核，为二维卷积算子，n为引入的随机噪声。

xul等提出基于l0范数的盲去模糊算法，该算法在保证精度和运算速度的同时，能够较好的恢复图像，但是需要设置更多的参数，使得整个过程显得更为复杂。

另一类是通过获得的先验信息来恢复图像。xul等利用两个子网络，中间没有非线性激活函数，来进行图像去卷积。但该算法复杂程度较高。nahs等提出了一种用于动态场景的多尺度卷积神经网络去模糊算法，利用多尺度方式由粗到细训练网络架构，极大提高了网络的收敛性。但是，网络模型过大，加大了训练难度，难以达到实时性要求。

综上，统计先验模型的方法对图像的精度估计不足，图像细节恢复也很有限，而目前大多数基于先验学习的方法仅适用于特定参数。基于此，提出一种基于多尺度残差的交通标识去模糊检测识别算法。

技术实现要素：

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于多尺度残差的交通标识去模糊检测识别算法，能够有效克服现有技术所存在的图像去模糊效果较差的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于多尺度残差的交通标识去模糊检测识别算法，包括以下步骤：

s1、将待识别图像输入多尺度特征提取单元，由多尺度特征提取单元对待识别图像提取多尺度特征；

s2、将多尺度特征进行拼接，并通过卷积核进行特征融合，在单一层次上提取多尺度特征；

s3、配置残差单元消除增加网络深度带来的梯度弥散问题。

优选地，所述多尺度特征提取单元包括1×1卷积核、3×3卷积核、5×5卷积核。

优选地，所述1×1卷积核、3×3卷积核、5×5卷积核的卷积核数量均为64个，并统一配置relu激活函数。

优选地，所述特征融合在1×1卷积核上完成。

优选地，所述残差单元包括第一权重层、第二权重层、relu激活函数、shortcut连接，所述第一权重层的输出函数通过所述relu激活函数后输入所述第二权重层，所述第二权重层的输出函数经过所述shortcut连接后，再通过所述relu激活函数得到输出结果。

优选地，若所述第一权重层的输入为x，则所述第二权重层的输入函数为σ(f(w1,x))，所述第二权重层的输出函数为f(w2,σ(f(w1,x)))，所述残差单元的输出结果为σ(f(w2,σ(f(w1,x)))+x)；

其中，w1、w2分别为所述第一权重层、第二权重层的权重，σ表示所述relu激活函数。

(三)有益效果

与现有技术相比，本发明所提供的一种基于多尺度残差的交通标识去模糊检测识别算法分别使用多尺度特征提取单元中1×1、3×3、5×5三种尺度的卷积核进行特征提取，并将提取出的多尺度特征进行拼接，然后使用1×1卷积核进行特征融合，使得在单一层次上可以提取多尺度特征，增加了网络的表达能力，调高了网络的去模糊性能，在另一方面也增加了网络对不同尺度图像的适应性，同时引入残差单元消除增加网络深度带来的梯度弥散问题，来提高网络性能；多尺度特征提取单元与残差单元相结合，并将网络模型优化和网络加深同时考虑进去，进一步进行图像的模糊去除，有效提高了图像去模糊效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多尺度特征提取单元示意图；

图2为本发明残差单元运行流程示意图；

图3为在大小为3×3，方差为10高斯模糊的情况下对比实验效果图；

图4为在大小为5×5，方差为15的高斯模糊的情况下对比实验效果图；

图5为在大小为7×7，方差为20的高斯模糊的情况下对比实验效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于多尺度残差的交通标识去模糊检测识别算法，如图1和图2所示，包括以下步骤：

s1、将待识别图像输入多尺度特征提取单元，由多尺度特征提取单元对待识别图像提取多尺度特征；

s2、将多尺度特征进行拼接，并通过卷积核进行特征融合，在单一层次上提取多尺度特征；

s3、配置残差单元消除增加网络深度带来的梯度弥散问题。

多尺度特征提取单元包括1×1卷积核、3×3卷积核、5×5卷积核。

1×1卷积核、3×3卷积核、5×5卷积核的卷积核数量均为64个，并统一配置relu激活函数。

特征融合在1×1卷积核上完成。

残差单元包括第一权重层、第二权重层、relu激活函数、shortcut连接，第一权重层的输出函数通过relu激活函数后输入第二权重层，第二权重层的输出函数经过shortcut连接后，再通过relu激活函数得到输出结果。

若第一权重层的输入为x，则第二权重层的输入函数为σ(f(w1,x))，第二权重层的输出函数为f(w2,σ(f(w1,x)))，残差单元的输出结果为σ(f(w2,σ(f(w1,x)))+x)；

其中，w1、w2分别为第一权重层、第二权重层的权重，σ表示relu激活函数。

分别使用多尺度特征提取单元中1×1、3×3、5×5三种尺度的卷积核进行特征提取，并将提取出的多尺度特征进行拼接，然后使用1×1卷积核进行特征融合，使得在单一层次上可以提取多尺度特征，增加了网络的表达能力，调高了网络的去模糊性能，在另一方面也增加了网络对不同尺度图像的适应性，同时引入残差单元消除增加网络深度带来的梯度弥散问题，来提高网络性能。多尺度特征提取单元与残差单元相结合，并将网络模型优化和网络加深同时考虑进去，进一步进行图像的模糊去除，有效提高了图像去模糊效果。

多尺度特征提取单元的网络配置如表1所示：

表1多尺度特征提取单元的网络配置

采用不同大小的卷积核意味着不同大小的感受视野，多尺度的卷积相融合有利于网络在捕捉局部信息的同时考虑到更多的全局信息，从而恢复图像中更多的细节信息。

为了验证本申请算法的去模糊效果，与目前的主流算法进行对比实验。对比算法包括：基于l1正则化算法的图像去模糊，基于维纳滤波的图像去模糊和卷积神经网络(cnn)图像去模糊，并利用psnr和ssim对本申请算法进行综合全面的评价。

从set5数据集中选取了starfish、butterfly、parrot三张测试图，并加入了大小为3×3、5×5、7×7，方差为10、15、20的高斯模糊，四种不同方法对模糊图像的去模糊效果如图3至图5所示。

可以看到，基于l1正则化的算法难以移除强度较大的模糊；基于维纳滤波的算法去模糊效果与实际图像对比相差较大；cnn方法在一定程度上抑制了大多数模糊效果，但部分细节模糊的去除不明显；而本申请算法在噪声大小为7×7，方差为20高斯模糊的情况下，对图像的去模糊效果更明显。

图3为噪声强度1(大小为3×3，方差为10的高斯模糊)的去模糊效果；图4为噪声强度2(大小为5×5，方差为15的高斯模糊)的去模糊效果；图5为噪声强度3(大小为7×7，方差为20的高斯模糊)的去模糊效果。

对比实验的客观指标如表2和表3所示，可以看到相较于其他三种方法，本申请算法取得了最高的psnr和ssim，取得了优秀的去模糊效果。

表2各算法的psnr对比

表3各算法的ssim对比

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。