违法行为的图像智能复原方法及装置与流程

1.本发明涉及图像复原技术领域，尤其涉及一种违法行为的图像智能复原方法及装置。


背景技术：

2.随着智慧交通的推进，交通监管部门开始着力加强对交通违法行为的监控力度，遍布于大街小巷的监控探头开始成为拍摄交通违法视频的主要手段。
3.当前，主要采用将监控设备大量布置于城市的各个区域的方式来对交通状况进行监控记录，然而为了节约监控成本，监控设备的图像采集分辨率一般较低，因此导致监控视频中车辆车牌难以分辨的现象。


技术实现要素：

4.本发明提供一种违法行为的图像智能复原方法、装置及计算机可读存储介质，其主要目的在于解决监控视频中车辆车牌难以分辨的问题。
5.为实现上述目的，本发明提供的一种违法行为的图像智能复原方法，包括：获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法视频帧中的车牌区域图像，得到车牌区域图像集；利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集；接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集；利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值，其中所述散焦参数函数为：其中，表示散焦参数函数，表示所述目标车牌图像集中目标车牌图像的位置坐标处的灰度值，表示所述车牌模板图像中位置坐标处的灰度值，表示散焦参数；对所述车牌模板图像及所述目标车牌图像集中每一张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集；利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，完成所述违法行为的图像智能复原。
6.可选地，所述利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集，包括：根据预设的放大倍数，扩增所述车牌区域图像中的像素数，得到放大待填充像素网点；在所述放大待填充像素网点中依次提取每一个像素点，得到待计算像素点；根据所述放大倍数，计算所述待计算像素点在所述车牌区域图像中的像素对应位置；识别所述车牌区域图像中与所述像素对应位置最近的16个像素点；计算所述16个像素点中每一个像素点与所述像素对应位置的横向距离和纵向距离，将所述横向距离作为横向权重，将所述纵向距离作为纵向权重；利用预构建的像素值计算公式，根据所述横向权重、纵向权重及所述16个像素点的像素值，计算出所述待计算像素点的像素值；汇合所述放大待填充像素网点中每一个待计算像素点的像素值，得到初始车牌图像，整合所述车牌区域图像集中每一张车牌区域图像对应的初始车牌图像，得到所述初始车牌图像集。
7.可选地，所述像素值计算公式为：其中，表示所述待计算像素点 的像素值，表示所述16个像素点中横向序列值为，纵向序列值为的像素点的像素值，表示所述像素点的横向权重，表示所述像素点的的纵向权重。
8.可选地，所述利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集，包括：计算所述车牌模板图像中像素点的平均灰度值，得到模板灰度均值；提取所述车牌模板图像中每一个像素点的灰度值，得到模板像素点灰度值；计算所述初始车牌图像集中除所述车牌模板图像外的所有图像的平均灰度值，得到图像灰度均值；提取所述初始车牌图像集中除所述车牌模板图像外的所有图像的每一个像素点的灰度值，得到图像像素点灰度值；利用所述协方差函数，根据所述模板灰度均值、模板像素点灰度值、图像灰度均值及所述图像像素点灰度值，计算所述初始车牌图像集中除所述车牌模板图像外的所有图像与所述车牌模板图像的相关性，得到相关序列图像；根据所述预定数目在相关序列图像中提取相应数目的初始车牌图像，得到所述目标车牌图像集。
9.可选地，所述协方差函数为：
其中，表示相关系数，表示车牌模板图像中像素点的模板像素点灰度值，表示模板灰度均值，表示像素点的图像像素点灰度值，表示图像灰度均值，表示像素点的横向序列值，表示像素点的纵向序列值。
10.可选地，所述根据所述散焦参数函数，计算出散焦参数值，包括：根据所述散焦参数函数，绘制散焦函数曲线；求解所述散焦函数曲线的曲线导数，根据所述曲线导数确定所述散焦函数曲线的变化率最小点；根据所述变化率最小点确定所述散焦参数值。
11.可选地，所述利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集，包括：依次提取所述降噪模板图像中每一像素点的灰度值，根据预构建的散焦复原公式及所述散焦参数值，对所述降噪模板图像中每一像素点的灰度值进行散焦复原，得到所述标准模板图像；依次提取所述降噪车牌图像集中每一张车牌图像中每一个像素点的灰度值，根据所述散焦复原公式及所述散焦参数值，对所述降噪车牌图像集中每一张车牌图像中每一个像素点的灰度值进行散焦复原，得到所述标准车牌图像集。
12.可选地，所述散焦复原公式如下所示：其中，表示像素点处复原后的灰度值，表示散焦参数值，表示所述降噪模板图像或降噪车牌图像集中车牌图像的像素点的灰度值。
13.可选地，所述利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，包括：根据所述标准模板图像的像素点排布，构建待复原像素网点；依次提取所述待复原像素网点中的每一个像素点，得到待复原像素点；根据所述待复原像素点的位置，在所述标准模板图像及标准车牌图像集中识别待选像素点集；根据预构建的邻域尺度及所述待选像素点集，在所述标准模板图像及标准车牌图像集中提取邻域灰度值集；利用预构建的像素选取公式，根据所述邻域灰度值集及待选像素点集的灰度值，计算出所述待复原像素点的灰度值；汇合所述待复原像素点的灰度值，得到所述车牌复原图像。
14.为了解决上述问题，本发明还提供一种违法行为的图像智能复原装置，所述装置包括：
车牌区域图像提取模块，用于获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法视频帧中的车牌区域图像，得到车牌区域图像集；车牌图像像素补充模块，用于利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集；车牌模板图像及目标车牌图像提取模块，用于接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集；标准模板图像及标准车牌图像集获取模块，用于利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值；对所述车牌模板图像及所述目标车牌图像集中每一张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集；图像融合像素融合模块，用于利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像。
15.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现上述所述的违法行为的图像智能复原方法。
16.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的违法行为的图像智能复原方法。
17.相比于背景技术所述：监控视频中车辆车牌难以分辨的问题。本发明实施例为解决背景技术所述问题，通过提取所述待修复违法视频帧中的车牌区域图像，得到车牌区域图像集，由于所述车牌区域图像可能太小，因此可以利用所述图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集，由于所述初始车牌图像集中的图像质量良莠不齐，因此可以先接收用户根据主观判断，在所述车牌模板图像中挑选车牌模板图像，再利用所述协方差函数，在所述初始车牌图像集中提取与所述车牌模板图像清晰度近似的车牌图像，得到目标车牌图像集，在得到所述目标车牌图像集需要进行降噪处理，降噪之后需要根据所述散焦参数函数计算出散焦参数值，进而可以利用所述散焦参数值，对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集，得到所述标准模板图像及标准车牌图像集后，再利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像。因此本发明提出的违法行为的图像智能复原方法、装置、电子设备及计算机可读存储介质，可以解决监控视频中车辆车牌难以分辨的问题。
附图说明
18.图1为本发明一实施例提供的违法行为的图像智能复原方法的流程示意图；图2为图1中其中一个步骤的详细实施流程示意图；
图3为图1中另一个步骤的详细实施流程示意图；图4为本发明一实施例提供的违法行为的图像智能复原装置的功能模块图；图5为本发明一实施例提供的实现所述违法行为的图像智能复原方法的电子设备的结构示意图。
19.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
20.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
21.本技术实施例提供一种违法行为的图像智能复原方法。所述违法行为的图像智能复原方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述违法行为的图像智能复原方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
22.参照图1所示，为本发明一实施例提供的违法行为的图像智能复原方法的流程示意图。在本实施例中，所述违法行为的图像智能复原方法包括：s1、获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法视频帧中的车牌区域图像，得到车牌区域图像集。
23.本发明实施例中，所述待修复违法视频帧集可以为道路监控拍摄的交通违法视频帧集，由于考虑监控成本因素，道路监控拍摄的视频帧集可能存在像素低等模糊情况。
24.进一步的，由于交通违法视频帧集主要是为了提取违法车辆的信息，因此需要提取所述违法车辆在所述待修复违法视频帧中的车牌区域图像。
25.s2、利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集。
26.可选择的，所述图像插值算法可以为双三次插值算法。
27.本发明实施例中，所述利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集，包括：根据预设的放大倍数，扩增所述车牌区域图像中的像素数，得到放大待填充像素网点；在所述放大待填充像素网点中依次提取每一个像素点，得到待计算像素点；根据所述放大倍数，计算所述待计算像素点在所述车牌区域图像中的像素对应位置；识别所述车牌区域图像中与所述像素对应位置最近的16个像素点；计算所述16个像素点中每一个像素点与所述像素对应位置的横向距离和纵向距离，将所述横向距离作为横向权重，将所述纵向距离作为纵向权重；利用预构建的像素值计算公式，根据所述横向权重、纵向权重及所述16个像素点的像素值，计算出所述待计算像素点的像素值；汇合所述放大待填充像素网点中每一个待计算像素点的像素值，得到初始车牌图像，整合所述车牌区域图像集中每一张车牌区域图像对应的初始车牌图像，得到所述初始车牌图像集。
28.应明白的，所述预设的放大倍数可以根据需要进行选取，例如将放大倍数设置为2倍。
29.进一步的，为了方便后续图片的融合，需要将所述车牌区域图像集中每一张车牌区域图像的像素规格扩增为统一的规格，例如：所述车牌区域图像可能由于拍摄角度的不同，导致车牌区域图像的大小不同，通过扩增将所述车牌区域图像集中每一张车牌区域图像扩增为一致大小的尺寸。
30.本发明实施例中，所述像素值计算公式为：其中，表示所述待计算像素点的像素值，表示所述16个像素点中横向序列值为，纵向序列值为的像素点的像素值，表示所述像素点的横向权重，表示所述像素点的的纵向权重。
31.s3、接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集。
32.可解释的，所述车牌模板图像可以为用户根据视觉感受在所述初始车牌图像集中挑选的相对清晰的初始车牌图像。
33.可理解的，所述预定数目的车牌图像可以根据所述待修复违法视频帧集中图像帧的数量进行设定，例如：可以为10张。
34.本发明实施例中，所述利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集，包括：计算所述车牌模板图像中像素点的平均灰度值，得到模板灰度均值；提取所述车牌模板图像中每一个像素点的灰度值，得到模板像素点灰度值；计算所述初始车牌图像集中除所述车牌模板图像外的所有图像的平均灰度值，得到图像灰度均值；提取所述初始车牌图像集中除所述车牌模板图像外的所有图像的每一个像素点的灰度值，得到图像像素点灰度值；利用所述协方差函数，根据所述模板灰度均值、模板像素点灰度值、图像灰度均值及所述图像像素点灰度值，计算所述初始车牌图像集中除所述车牌模板图像外的所有图像与所述车牌模板图像的相关性，得到相关序列图像；根据所述预定数目在相关序列图像中提取相应数目的初始车牌图像，得到所述目标车牌图像集。
35.可解释的，可以根据所述协方差函数在所述初始车牌图像集中挑选与所述车牌模板图像相关性较大的目标车牌图像集，由于所述车牌模板图像为用户在所述初始车牌图像集中挑选的清晰度最好的初始车牌图像，因此与所述车牌模板图像的相关性越大，表示该车牌图像的图像质量越好，也即表示所述目标车牌图像集为所述初始车牌图像集中图像质量最好的车牌图像集合。
36.本发明实施例中，所述协方差函数为：其中，表示相关系数，表示车牌模板图像中像素点的模板像素点灰度值，表示模板灰度均值，表示像素点的图像像素点灰度值，表示图像灰度均值，表示像素点的横向序列值，表示像素点的纵向序列值。
37.s4、利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值。
38.可理解的，由于散焦是导致图像模糊的主要原因，因此需要对所述车牌模板图像及所述目标车牌图像集进行散焦复原处理，而计算出散焦参数值时散焦复原的关键。
39.应明白的,所述散焦降晰函数为：其中，表示散焦降晰函数，表示散焦参数。
40.可解释的，所述散焦参数函数为：其中，表示散焦参数函数，表示所述目标车牌图像集中目标车牌图像的位置坐标处的灰度值，表示所述车牌模板图像中位置坐标处的灰度值，表示散焦参数。
41.详细地，参阅图2所示，所述根据所述散焦参数函数，计算出散焦参数值，包括：s41、根据所述散焦参数函数，绘制散焦函数曲线；s42、求解所述散焦函数曲线的曲线导数，根据所述曲线导数确定所述散焦函数曲线的变化率最小点；s43、根据所述变化率最小点确定所述散焦参数值。
42.进一步地，所述散焦函数曲线的自变量为散焦参数，所述散焦函数曲线的应变量为散焦参数函数值。由于所述散焦函数曲线在所述变化率最小点出的变化率将减小，表示所述变化率最小点对应的自变量值为散焦参数值。
43.s5、对所述车牌模板图像及所述目标车牌图像集中每一张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集。
44.可理解的，所述车牌模板图像及所述目标车牌图像集可能存在图像噪声，因此需要进行降噪处理，可以利用基于空间域的中值滤波及基于小波域的小波阈值去噪等图像去
噪方法。
45.详细地，参阅图3所示，所述利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集，包括：s51、依次提取所述降噪模板图像中每一像素点的灰度值，根据预构建的散焦复原公式及所述散焦参数值，对所述降噪模板图像中每一像素点的灰度值进行散焦复原，得到所述标准模板图像；s52、依次提取所述降噪车牌图像集中每一张车牌图像中每一个像素点的灰度值，根据所述散焦复原公式及所述散焦参数值，对所述降噪车牌图像集中每一张车牌图像中每一个像素点的灰度值进行散焦复原，得到所述标准车牌图像集。
46.本发明实施例中，所述散焦复原公式如下所示：其中，表示像素点处复原后的灰度值，表示散焦参数值，表示所述降噪模板图像或降噪车牌图像集中车牌图像的像素点的灰度值。
47.s6、利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，完成所述违法行为的图像智能复原。
48.本发明实施例中，所述利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，包括：根据所述标准模板图像的像素点排布，构建待复原像素网点；依次提取所述待复原像素网点中的每一个像素点，得到待复原像素点；根据所述待复原像素点的位置，在所述标准模板图像及标准车牌图像集中识别待选像素点集；根据预构建的邻域尺度及所述待选像素点集，在所述标准模板图像及标准车牌图像集中提取邻域灰度值集；利用预构建的像素选取公式，根据所述邻域灰度值集及待选像素点集的灰度值，计算出所述待复原像素点的灰度值；汇合所述待复原像素点的灰度值，得到所述车牌复原图像。
49.可选择的，所述邻域尺度可以为以所述待复原像素点为中心，邻域大小为3*3的图像域范围。
50.详细地，所述梯度计算公式如下所示：其中，表示点的梯度，表示以点为中心的邻域尺度内第个像素点的灰度值，表示点的灰度值，表示邻域尺度的范围，表示邻域尺度内的像素点数。
51.可解释的，所述标准模板图像及标准车牌图像集中梯度越大的像素点，表示该像
素点出的图像变化越明显，也即表示该像素点处的图像越清晰，因此，需要在所述标准模板图像及标准车牌图像集中提取最清晰的像素点，再将所述最清晰的像素点的具体数值填充至所述待复原像素点处，得到所述车牌复原图像，最大限度的提高所述车牌复原图像的清晰度。
52.本发明实施例通过提取所述待修复违法视频帧中的车牌区域图像，得到车牌区域图像集，由于所述车牌区域图像可能太小，因此可以利用所述图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集，由于所述初始车牌图像集中的图像质量良莠不齐，因此可以先接收用户根据主观判断，在所述车牌模板图像中挑选车牌模板图像，再利用所述协方差函数，在所述初始车牌图像集中提取与所述车牌模板图像清晰度近似的车牌图像，得到目标车牌图像集，在得到所述目标车牌图像集需要进行降噪处理，降噪之后需要根据所述散焦参数函数计算出散焦参数值，进而可以利用所述散焦参数值，对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集，得到所述标准模板图像及标准车牌图像集后，再利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像。因此本发明提出的违法行为的图像智能复原方法、装置、电子设备及计算机可读存储介质，可以解决监控视频中车辆车牌难以分辨的问题。
53.如图4所示，是本发明一实施例提供的违法行为的图像智能复原装置的功能模块图。
54.本发明所述违法行为的图像智能复原装置100可以安装于电子设备中。根据实现的功能，所述违法行为的图像智能复原装置100可以包括车牌区域图像提取模块101、车牌图像像素补充模块102、车牌模板图像及目标车牌图像提取模块103、标准模板图像及标准车牌图像集获取模块104及图像融合像素融合模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
55.所述车牌区域图像提取模块101，用于获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法视频帧中的车牌区域图像，得到车牌区域图像集；所述车牌图像像素补充模块102，用于利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集；所述车牌模板图像及目标车牌图像提取模块103，用于接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集；所述标准模板图像及标准车牌图像集获取模块104，用于利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值；对所述车牌模板图像及所述目标车牌图像集中每一张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集；所述图像融合像素融合模块105，用于利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像。
56.详细地，本发明实施例中所述违法行为的图像智能复原装置100中的所述各模块的使用具体实施方式：车牌区域图像提取模块101、获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法视频帧中的车牌区域图像，得到车牌区域图像集。
57.本发明实施例中，所述待修复违法视频帧集可以为道路监控拍摄的交通违法视频帧集，由于考虑监控成本因素，道路监控拍摄的视频帧集可能存在像素低等模糊情况。
58.进一步的，由于交通违法视频帧集主要是为了提取违法车辆的信息，因此需要提取所述违法车辆在所述待修复违法视频帧中的车牌区域图像。
59.车牌图像像素补充模块102、利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集。
60.可选择的，所述图像插值算法可以为双三次插值算法。
61.本发明实施例中，所述利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集，包括：根据预设的放大倍数，扩增所述车牌区域图像中的像素数，得到放大待填充像素网点；在所述放大待填充像素网点中依次提取每一个像素点，得到待计算像素点；根据所述放大倍数，计算所述待计算像素点在所述车牌区域图像中的像素对应位置；识别所述车牌区域图像中与所述像素对应位置最近的16个像素点；计算所述16个像素点中每一个像素点与所述像素对应位置的横向距离和纵向距离，将所述横向距离作为横向权重，将所述纵向距离作为纵向权重；利用预构建的像素值计算公式，根据所述横向权重、纵向权重及所述16个像素点的像素值，计算出所述待计算像素点的像素值；汇合所述放大待填充像素网点中每一个待计算像素点的像素值，得到初始车牌图像，整合所述车牌区域图像集中每一张车牌区域图像对应的初始车牌图像，得到所述初始车牌图像集。
62.应明白的，所述预设的放大倍数可以根据需要进行选取，例如将放大倍数设置为2倍。
63.进一步的，为了方便后续图片的融合，需要将所述车牌区域图像集中每一张车牌区域图像的像素规格扩增为统一的规格，例如：所述车牌区域图像可能由于拍摄角度的不同，导致车牌区域图像的大小不同，通过扩增将所述车牌区域图像集中每一张车牌区域图像扩增为一致大小的尺寸。
64.本发明实施例中，所述像素值计算公式为：其中，表示所述待计算像素点的像素值，表示所述16个像素点中横向序列值为，纵向序列值为的像素点的像素值，表示所述像素点的横向权重，
表示所述像素点的的纵向权重。
65.车牌模板图像及目标车牌图像提取模块103、接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集。
66.可解释的，所述车牌模板图像可以为用户根据视觉感受在所述初始车牌图像集中挑选的相对清晰的初始车牌图像。
67.可理解的，所述预定数目的车牌图像可以根据所述待修复违法视频帧集中图像帧的数量进行设定，例如：可以为10张。
68.本发明实施例中，所述利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集，包括：计算所述车牌模板图像中像素点的平均灰度值，得到模板灰度均值；提取所述车牌模板图像中每一个像素点的灰度值，得到模板像素点灰度值；计算所述初始车牌图像集中除所述车牌模板图像外的所有图像的平均灰度值，得到图像灰度均值；提取所述初始车牌图像集中除所述车牌模板图像外的所有图像的每一个像素点的灰度值，得到图像像素点灰度值；利用所述协方差函数，根据所述模板灰度均值、模板像素点灰度值、图像灰度均值及所述图像像素点灰度值，计算所述初始车牌图像集中除所述车牌模板图像外的所有图像与所述车牌模板图像的相关性，得到相关序列图像；根据所述预定数目在相关序列图像中提取相应数目的初始车牌图像，得到所述目标车牌图像集。
69.可解释的，可以根据所述协方差函数在所述初始车牌图像集中挑选与所述车牌模板图像相关性较大的目标车牌图像集，由于所述车牌模板图像为用户在所述初始车牌图像集中挑选的清晰度最好的初始车牌图像，因此与所述车牌模板图像的相关性越大，表示该车牌图像的图像质量越好，也即表示所述目标车牌图像集为所述初始车牌图像集中图像质量最好的车牌图像集合。
70.本发明实施例中，所述协方差函数为：其中，表示相关系数，表示车牌模板图像中像素点的模板像素点灰度值，表示模板灰度均值，表示像素点的图像像素点灰度值，表示图像灰度均值，表示像素点的横向序列值，表示像素点的纵向序列值。
71.标准模板图像及标准车牌图像集获取模块104、利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值；对所述车牌模板图像及所述目标车牌图像集中每一
张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集。
72.可理解的，由于散焦是导致图像模糊的主要原因，因此需要对所述车牌模板图像及所述目标车牌图像集进行散焦复原处理，而计算出散焦参数值时散焦复原的关键。
73.应明白的,所述散焦降晰函数为：其中，表示散焦降晰函数，表示散焦参数。
74.可解释的，所述散焦参数函数为：其中，表示散焦参数函数，表示所述目标车牌图像集中目标车牌图像的位置坐标 处的灰度值，表示所述车牌模板图像中位置坐标处的灰度值，表示散焦参数。
75.本发明实施例中，所述根据所述散焦参数函数，计算出散焦参数值，包括：根据所述散焦参数函数，绘制散焦函数曲线；求解所述散焦函数曲线的曲线导数，根据所述曲线导数确定所述散焦函数曲线的变化率最小点；根据所述变化率最小点确定所述散焦参数值。
76.进一步地，所述散焦函数曲线的自变量为散焦参数，所述散焦函数曲线的应变量为散焦参数函数值。由于所述散焦函数曲线在所述变化率最小点出的变化率将减小，表示所述变化率最小点对应的自变量值为散焦参数值。
77.可理解的，所述车牌模板图像及所述目标车牌图像集可能存在图像噪声，因此需要进行降噪处理，可以利用基于空间域的中值滤波及基于小波域的小波阈值去噪等图像去噪方法。
78.本发明实施例中，所述利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集，包括：依次提取所述降噪模板图像中每一像素点的灰度值，根据预构建的散焦复原公式及所述散焦参数值，对所述降噪模板图像中每一像素点的灰度值进行散焦复原，得到所述标准模板图像；依次提取所述降噪车牌图像集中每一张车牌图像中每一个像素点的灰度值，根据所述散焦复原公式及所述散焦参数值，对所述降噪车牌图像集中每一张车牌图像中每一个像素点的灰度值进行散焦复原，得到所述标准车牌图像集。
79.本发明实施例中，所述散焦复原公式如下所示：
其中，表示像素点处复原后的灰度值，表示散焦参数值，表示所述降噪模板图像或降噪车牌图像集中车牌图像的像素点的灰度值。
80.图像融合像素融合模块105、利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像。
81.本发明实施例中，所述利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，包括：根据所述标准模板图像的像素点排布，构建待复原像素网点；依次提取所述待复原像素网点中的每一个像素点，得到待复原像素点；根据所述待复原像素点的位置，在所述标准模板图像及标准车牌图像集中识别待选像素点集；根据预构建的邻域尺度及所述待选像素点集，在所述标准模板图像及标准车牌图像集中提取邻域灰度值集；利用预构建的像素选取公式，根据所述邻域灰度值集及待选像素点集的灰度值，计算出所述待复原像素点的灰度值；汇合所述待复原像素点的灰度值，得到所述车牌复原图像。
82.可选择的，所述邻域尺度可以为以所述待复原像素点为中心，邻域大小为3*3的图像域范围。
83.详细地，所述梯度计算公式如下所示：其中，表示点的梯度，表示以点为中心的邻域尺度内第个像素点的灰度值，表示点的灰度值，表示邻域尺度的范围，表示邻域尺度内的像素点数。
84.可解释的，所述标准模板图像及标准车牌图像集中梯度越大的像素点，表示该像素点出的图像变化越明显，也即表示该像素点处的图像越清晰，因此，需要在所述标准模板图像及标准车牌图像集中提取最清晰的像素点，再将所述最清晰的像素点的具体数值填充至所述待复原像素点处，得到所述车牌复原图像，最大限度的提高所述车牌复原图像的清晰度。
85.如图5所示，是本发明一实施例提供的实现违法行为的图像智能复原方法的电子设备的结构示意图。
86.所述电子设备1可以包括处理器10、存储器11和总线12，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如违法行为的图像智能复原方法程序。
87.其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：sd或dx存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的
移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（smart media card， smc）、安全数字（secure digital， sd）卡、闪存卡（flash card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如违法行为的图像智能复原方法程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
88.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（central processing unit，cpu）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（control unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如违法行为的图像智能复原方法程序等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
89.所述总线12可以是外设部件互连标准（peripheral component interconnect，简称pci）总线或扩展工业标准结构（extended industry standard architecture，简称eisa）总线等。该总线12可以分为地址总线、数据总线、控制总线等。所述总线12被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
90.图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
91.例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
92.进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如wi-fi接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。
93.可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（display）、输入单元（比如键盘（keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
94.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
95.所述电子设备1中的所述存储器11存储的违法行为的图像智能复原方法程序是多个指令的组合，在所述处理器10中运行时，可以实现：获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法
视频帧中的车牌区域图像，得到车牌区域图像集；利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集；接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集；利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值，其中所述散焦参数函数为：其中，表示散焦参数函数，表示所述目标车牌图像集中目标车牌图像的位置坐标处的灰度值，表示所述车牌模板图像中位置坐标处的灰度值，表示散焦参数；对所述车牌模板图像及所述目标车牌图像集中每一张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集；利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，完成所述违法行为的图像智能复原。
96.具体地，所述处理器10对上述指令的具体实现方法可参考图1至图4对应实施例中相关步骤的描述，在此不赘述。
97.进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）。
98.本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：获取待修复违法视频帧集，在所述待修复违法视频帧集中提取每一个待修复违法视频帧中的车牌区域图像，得到车牌区域图像集；利用预构建的图像插值算法补充所述车牌区域图像集中每一张车牌区域图像的像素数目，得到初始车牌图像集；接收用户在所述初始车牌图像集中挑选的车牌模板图像，利用预构建的协方差函数，根据所述车牌模板图像，在所述初始车牌图像集中提取预定数目的车牌图像，得到目标车牌图像集；利用预构建的散焦降晰函数，根据所述车牌模板图像及所述目标车牌图像集中像素点的灰度值，构建散焦参数函数，根据所述散焦参数函数，计算出散焦参数值，其中所述散焦参数函数为：
其中，表示散焦参数函数，表示所述目标车牌图像集中目标车牌图像的位置坐标处的灰度值，表示所述车牌模板图像中位置坐标处的灰度值，表示散焦参数；对所述车牌模板图像及所述目标车牌图像集中每一张车牌图像进行降噪处理，得到降噪模板图像及降噪车牌图像集，利用所述散焦参数值对所述降噪模板图像及所述降噪车牌图像集中的每一张车牌图像进行散焦复原，得到标准模板图像及标准车牌图像集；利用预构建的图像融合算法对所述标准模板图像及标准车牌图像集进行图像融合，得到车牌复原图像，完成所述违法行为的图像智能复原。
99.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
100.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
101.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
102.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
103.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
104.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
105.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。