多帧图像清晰化处理方法和装置与流程

本发明涉及到多帧图像处理领域，特别是涉及到一种多帧图像清晰化处理方法和装置。

背景技术：

目前，视频监控应用中，常常因为视频中出现的对象距离摄像头比较远以及监控设备本身成像质量的问题，视频中成像单帧图像的像素总量少(俗称分辨率低)，无法在通过视频及其中包含的图像有效识别出需要的信息。而在正常的刑侦活动中，需要经常调用监控视频或图像进行分析，获取监控视频或图像内需要的信息，如车辆牌照、特定的文字信息或特定人的容貌信息。

现有的图像清晰化处理方法中，有直接通过成倍放大原图片的像素数量，来增高图像的分辨率大小的，从而达到放大原图像像素边界的目的，但是通过这种方法无法使得图像更加清晰。

技术实现要素：

本发明的主要目的为提供一种多帧图像清晰化处理方法和装置，可有效提高已成像视频图像的像素总量，并对视频图像做清晰化处理。

本发明提出一种多帧图像清晰化处理方法，包括以下步骤：

将待处理图像进行像素复制性放大，得到放大后的高分辨率图像；

选取高分辨率图像中的目标特征，确定目标特征在高分辨率图像中的位置变化，并根据位置变化还原目标特征位置，使目标特征处于高分辨率图像中相同位置；

将所有高分辨率图像叠加融合。

进一步地，所述将待处理图像进行像素复制性放大，得到放大后的高分辨率图像步骤之前，包括，

将视频文件按照其本身的帧数分解成多张图像，并按照图像帧顺序依次排列。

进一步地，所述选取高分辨率图像中的目标特征，确定目标特征在高分辨率图像中的位置变化，并根据位置变化还原目标特征位置，使目标特征处于高分辨率图像中相同位置步骤，包括，

将放大后的高分辨率图像进行复制，得到对应的高分辨率样本图像，对高分辨率图像样本进行高斯模糊运算或去高斯模糊运算；

参照前一帧图像移动后一帧图像，当图像上的目标特征中心或边缘轮廓重叠时，记录每一张高分辨率样本图像的位置变化数据，并将位置变化数据移植到原高分辨率图像。

进一步地，所述将所有所述边缘图像融合叠加步骤，包括，

根据高分辨率图像中的位置移动数据，将所有图像融合叠加。

本发明还提出了一种多帧图像清晰化处理装置，包括：

放大单元，用于将待处理图像进行像素复制性放大，得到放大后的高分辨率图像；

位置还原单元，用于选取高分辨率图像中的目标特征，确定目标特征在高分辨率图像中的位置变化，并根据位置变化还原目标特征位置，使目标特征处于高分辨率图像中相同位置；

叠加融合单元，用于将所有高分辨率图像叠加融合。

进一步地，还包括，前处理单元，用于将视频文件按照其本身的帧数分解成多张图像，并按照图像帧顺序依次排列。

进一步地，所述位置还原单元，包括，

边缘处理模块，用于将放大后的高分辨率图像进行复制，得到对应的高分辨率样本图像，对高分辨率图像样本进行高斯模糊运算或去高斯模糊运算；

位移获取模块，用于参照前一帧图像移动后一帧图像，当图像上的目标特征中心或边缘轮廓重叠时，记录每一张高分辨率样本图像的位置变化数据，并将位置变化数据移植到原高分辨率图像。

进一步地，所述叠加融合单元，包括叠加融合模块，用于根据高分辨率图像中的位置移动数据，将所有图像融合叠加。

本发明的有益效果是：通过复制性放大原图像，增加基础像素的像素单位，缩小每个像素的占用尺寸，测算出实际目标特征的移动数据，得到图像中被测算目标特征小于1像素位置实际移动的距离，得到更加清晰的目标特征边界，最后叠加融合得到目标特征清晰的图像，过程简单有效，得到可以用于刑侦场景的足够清晰的图像。

附图说明

图1是本发明一实施例一种多帧图像清晰化处理方法的流程框图；

图2是本发明一实施例一种多帧图像清晰化处理方法一步骤的具体流程图；

图3是本发明一实施例一种多帧图像清晰化处理装置的结构框图；

图4是本发明一实施例一种多帧图像清晰化处理装置的位置还原单元的结构框图；

图5是本发明一实施例一种多帧图像清晰化处理装置的叠加融合单元的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

参照图1-2，提出本发明一实施例一种多帧图像清晰化处理方法，包括以下步骤：

S1、将视频文件按照其本身的帧数分解成多张图像，并按照图像帧顺序依次排列。

S2、将待处理图像进行像素复制性放大，得到放大后的高分辨率图。

S3、选取高分辨率图像中的目标特征，确定目标特征在高分辨率图像中的位置变化，并根据位置变化还原目标特征位置，使目标特征处于高分辨率图像中相同位置。

S4、将所有高分辨率图像叠加融合。

如上述步骤S1所述，其中，视频文件每一秒的帧数是一定的，也就是一段时间长度的视频文件中包含的静态图片数量是固定的，而且一般为很多帧，每帧图像之间的先后顺序是固定的，我们可以将视频文件分解为若干张有先后顺序的图像，并根据各帧图像在视频文件中出现的时间先后来依次编号排序，以用于了解前后图像之间的关系，方便后续比较并得到前后帧的图像中目标特征的位置变化。

上述的视频文件，包含有我们想要清晰化的目标特征，其进一步地可以为监控录像文件，实际应用时，根据目标特征在视频文件中出现的时间和消失的时间截取监控录像文件，以进行后续的操作。实际的，目标特征，可以是视频文件中出现的车牌信息、人脸信息或其他需要准确了解的可视化信息。

如上述步骤S2所述，物体在视频或者图像中发生位移时，物体像素成像会随着物体的移动产生不同的成像，简化至单个像素(白底黑物)，初始状态为a像素位置为100％黑，b像素位置100％白，将黑像素从a像素位置完全移动到相邻的b像素位置内，此时b像素位置为100％黑，a像素位置100％白，这是像素的完整迁移；当像素发生移动后百分之70％留在a像素位置，而30％移动到了b像素位置，根据木桶理论，a像素位置为70％黑，而b像素位置为30％黑，也就是原来的像素无法独立存在于a像素位置和b像素位置之间，这样即使对图像进行叠加融合，也无法得到含有清晰的目标特征图像。步骤S2中对进行像素复制性放大，是指将原先像素分解成占用尺寸更小的像素单位，例如将原先a像素，分为4*4个a₁像素，分解后的a₁像素占用尺寸大小为原先的a像素的十六分之一，这样当像素发生位移时，我们可以获取像素小于1像素单位的小幅度位移，对应的可以得到更加精确的目标特征边缘信息。

如上述步骤S3，包括以下步骤，

S31、将放大后的高分辨率图像进行复制，得到对应的高分辨率样本图像，对高分辨率图像样本进行高斯模糊运算或去高斯模糊运算。

S32、参照前一帧图像移动后一帧图像，当图像上的目标特征中心或边缘轮廓重叠时，记录每一张高分辨率样本图像的位置变化数据，并将位置变化数据移植到原高分辨率图像。

如上步骤S31所述，在对高分辨率图像进行模糊变化时，相邻近像素会发生像素交融，从而使整体色域产生边界虚化现象，此时图像整体色域的位置变化清晰可见，并将位置变化数据反馈给原始的高分辨率图像。

在本发明另一实施例中，可以使用去模糊算法，在对高分辨率图像进行去模糊变化时，相邻近像素会发生像素交融的同时，计算出二次边缘，此时图像整体边缘清晰可见，位置变化也可见，并从根据变化图像估算移动距离，将位置变化数据反馈给原始的高分辨率图像。

如上步骤S32所述，参照前一帧图像移动后一帧图像，可以通过肉眼观察或电脑自动运算，当目标特征的中心或边缘轮廓重叠时，记录下图像之间的位置变化数据，并将位置变化数据移植到原高分辨率图像。

其中，如通过肉眼观察来判断出位置变化数据，则需记录图像在x,y坐标系中的移动距离，完成叠加后，将位置变化数据移植到原高分辨率图像。

如上步骤S4所述，通过上述步骤可得到前后两帧图像中目标特征的位置变化数据，通过位置变化数据可以得到用于叠加的图像，所有图像中目标特征的位置保持一致，最后将所有图像融合叠加，得到清晰的目标特征图像。

本发明的有益效果是：通过复制性放大原图像，增加基础像素的像素单位，缩小每个像素的占用尺寸，测算出实际目标特征的移动数据，得到图像中被测算目标特征小于1像素位置实际移动的距离，得到更加清晰的目标特征边界，最后叠加融合得到目标特征清晰的图像，过程简单有效，得到可以用于刑侦场景的足够清晰的图像。

参照图3-5，本发明还提出了一种多帧图像清晰化处理装置，包括：

前处理单元1，用于将视频文件按照其本身的帧数分解成多张图像，并按照图像帧顺序依次排列。

放大单元2，用于将待处理图像进行像素复制性放大，得到放大后的高分辨率图像；

位置还原单元3，用于选取高分辨率图像中的目标特征，确定目标特征在高分辨率图像中的位置变化，并根据位置变化还原目标特征位置，使目标特征处于高分辨率图像中相同位置；

叠加融合单元4，用于将所有高分辨率图像叠加融合。

对于前处理单元1，其中，视频文件每一秒的帧数是一定的，也就是一段时间长度的视频文件中包含的静态图片数量是固定的，而且一般为很多帧，每帧图像之间的先后顺序是固定的，我们可以将视频文件分解为若干张有先后顺序的图像，并根据各帧图像在视频文件中出现的时间先后来依次编号排序，以用于了解前后图像之间的关系，方便后续比较并得到前后帧的图像中目标特征的位置变化。

上述的视频文件，包含有我们想要清晰化的目标特征，其进一步地可以为监控录像文件，实际应用时，根据目标特征在视频文件中出现的时间和消失的时间截取监控录像文件，以进行后续的操作。实际的，目标特征，可以是视频文件中出现的车牌信息、人脸信息或其他需要准确了解的可视化信息。

放大单元2工作时，物体在视频或者图像中发生位移时，物体像素成像会随着物体的移动产生不同的成像，简化至单个像素(白底黑物)，初始状态为a像素位置为100％黑，b像素位置100％白，将黑像素从a像素位置完全移动到相邻的b像素位置内，此时b像素位置为100％黑，a像素位置100％白，这是像素的完整迁移；当像素发生移动后百分之70％留在a像素位置，而30％移动到了b像素位置，根据木桶理论，a像素位置为70％黑，而b像素位置为30％黑，也就是原来的像素无法独立存在于a像素位置和b像素位置之间，这样即使对图像进行叠加融合，也无法得到含有清晰的目标特征图像。步骤S2中对进行像素复制性放大，是指将原先像素分解成占用尺寸更小的像素单位，例如将原先a像素，分为4*4个a₁像素，分解后的a₁像素占用尺寸大小为原先的a像素的十六分之一，这样当像素发生位移时，我们可以获取像素小于1像素单位的小幅度位移，对应的可以得到更加精确的目标特征边缘信息。

如图4所示，位置还原单元3，包括，边缘处理模块301和位移获取模块302。边缘处理模块301，用于将放大后的高分辨率图像进行复制，得到对应的高分辨率样本图像，对高分辨率图像样本进行高斯模糊运算或去高斯模糊运算。

位移获取模块302，用于参照前一帧图像移动后一帧图像，当图像上的目标特征中心或边缘轮廓重叠时，记录每一张高分辨率样本图像的位置变化数据，并将位置变化数据移植到原高分辨率图像。

边缘处理模块301，用于对高分辨率图像进行模糊变化，进行模糊变化时相邻近像素会发生像素交融，从而使整体色域产生边界虚化现象，此时图像整体色域的位置变化清晰可见，并将位置变化数据反馈给原始的高分辨率图像。

在本发明另一实施例中，边缘处理模块301通过使用去模糊算法，在对高分辨率图像进行去模糊变化时，相邻近像素会发生像素交融的同时，计算出二次边缘，此时图像整体边缘清晰可见，位置变化也可见，并从根据变化图像估算移动距离，将位置变化数据反馈给原始的高分辨率图像。

其中，如通过肉眼观察来判断出位置变化数据，则需记录图像在x,y坐标系中的移动距离，完成叠加后，将位置变化数据移植到原高分辨率图像。

叠加融合单元4，包括叠加融合模块401，用于根据高分辨率图像中的位置移动数据，将所有图像融合叠加。得到前后两帧图像中目标特征的位置变化数据，通过位置变化数据可以得到用于叠加的图像，所有图像中目标特征的位置保持一致，最后将所有图像融合叠加，得到清晰的目标特征图像。

本发明的有益效果是：通过复制性放大原图像，增加基础像素的像素单位，缩小每个像素的占用尺寸，测算出实际目标特征的移动数据，得到图像中被测算目标特征小于1像素位置实际移动的距离，得到更加清晰的目标特征边界，最后叠加融合得到目标特征清晰的图像，过程简单有效，得到可以用于刑侦场景的足够清晰的图像。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。