一种基于超分辨率的人脸摄像系统及其控制方法与流程

本发明涉及图像处理技术，尤其是一种基于超分辨率的人脸摄像系统及其控制方法。

背景技术：

目前在城市中，遍布大街小巷的摄像头，这些摄像头可以帮助公安部门追踪和识别嫌疑人。当然，公安专用的手持机的摄像头也可以起到相同的作用。

随着技术的发展，人脸识别技术和超分辨率(super-resolution)技术在图像处理领域已经非常成熟，其中人脸识别技术可以从图片中提取人脸的特征，并通过数据库进行查找锁定被识别的人脸的身份。而超分辨率技术，可以通过将多张模糊的照片，进行叠加处理，得到一张更加清晰的图像。

目前通过摄像头去进行人脸识别或者超分辨率处理的系统，均将人脸识别或者超分辨率处理的部分放置在后台服务器，摄像头所起到的作用就是采集图像。这样的技术方案存在不少问题，首先这样的技术方案需要将摄像头所采集的全部图像实时地上传到服务器，这对带宽的要求极高，并且大量的数据传输会导致较长的传输时间，减低了识别的及时性；同时，这样的技术方案将所有的运算量都集中在后台服务器，后台服务器的性能要求非常高，如果服务器性能不足，会导致识别缓慢。

技术实现要素：

为解决上述技术问题，本发明的目的在于：提供一种处理效率高的基于超分辨率的人脸摄像系统及其控制方法。

本发明所采取的第一种技术方案是：

一种基于超分辨率的人脸摄像系统，包括：

采集模块，用于以设定时间间隔连续采集至少两个第一图像；

第一处理模块，用于从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；

第二处理模块，用于对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；

第三处理模块，用于从第三图像中提取人脸特征；

通信模块，用于将人脸特征上传至后台服务器；

所述第一处理模块分别与采集模块和第二处理模块连接，所述第三处理模块分别与第二处理模块和通信模块连接。

进一步，所述第一处理模块包括：

划分单元，用于将第一图像划分为若干个子图；

粗识别单元，用于从若干个子图中识别出可能包含人脸的子图；

定位单元，用于确定所述子图在第一图像中的位置；

裁剪单元，用于根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。

进一步，还包括存储模块，所述存储模块用于存储采集模块采集的所有第一图像以及所有第三处理模块提取的人脸特征。

进一步，所述通信模块包括：

压缩单元，用于将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；

加密单元，用于对压缩数据进行加密，得到加密数据；

封装单元，用于将加密数据封装为通信数据包；

发送单元，用于将通信数据包上传至后台服务器。

进一步，所述第一处理模块、第二处理模块和第三处理模块均集成在一个fpga中。

进一步，所述通信模块为4g模块。

本发明所采取的第二种技术方案是：

一种基于超分辨率的人脸摄像系统的控制方法，包括以下步骤：

获取采集模块以设定时间间隔连续采集的至少两个第一图像；

从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；

对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；

从第三图像中提取人脸特征；

将人脸特征上传至后台服务器。

进一步，所述从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像，其具体包括：

将其中一个第一图像划分为若干个子图；

从若干个子图中识别出可能包含人脸的子图；

确定所述子图在第一图像中的位置；

根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。

进一步，还包括以下步骤：

将所述至少两个第一图像和人脸特征存储在存储模块中。

进一步，所述将人脸特征上传至后台服务器，其具体包括：

将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；

对压缩数据进行加密，得到加密数据；

将加密数据封装为通信数据包；

将通信数据包上传至后台服务器。

本发明的有益效果是：本发明将超分辨率处理和人脸识别放在摄像头端进行处理，在回传识别结果时，可以仅将人脸特征回传到后台服务器，减少了对带宽资源的占用，减少网络传输时间，使得公安系统可以更及时地进行特征匹配；同时，本发明也将大大降低对后台服务器和网络带宽的性能要求，后台服务器仅需完成特征匹配即可，不容易因运算量过大导致处理不及时或者宕机等问题，进一步提升了识别效率。

附图说明

图1为本发明一种具体实施例的基于超分辨率的人脸摄像系统的模块框图；

图2为本发明一种具体实施例的基于超分辨率的人脸摄像系统的控制方法的流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1，一种基于超分辨率的人脸摄像系统，所述系统可以是监控摄像头或者手持机，所述系统包括：

采集模块，用于以设定时间间隔连续采集至少两个第一图像。所述采集模块可以是普通的摄像头或者相机等等。

第一处理模块，用于从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像。假定采集模块所采集的第一图像中包含人脸，那么我们可以对第一图像进行粗识别，大致判断出人脸的位置，然后根据人脸的位置，对所有的第一图像进行裁剪。裁剪后得到的第二图像的大小会小于第一图像，那么在后续的超分辨率处理和人脸特征的提取会降低大部分的运算量。本处理模块可以采用多种处理逻辑。第一种处理逻辑效率优先，在这种处理逻辑中可以先将第一图像按照固定的方式划分出若干个子图，例如划分为3*3张子图，从每张子图中进行粗识别，发现子图中的人脸。然后将存在人脸的子图裁剪出来进行后续的处理，这种方法由于划分方式固定，所以效率高，但是这样可能会丢失位于划分边界的人脸。不过摄像机的拍摄是连续的，如果该人脸在一定时间内还停留在拍摄范围内，仍然可以通过多次采集来捕抓到该人脸。第二种处理逻辑是性能优先，在这种处理逻辑中可以先直接从第一图像中识别出所有可能为人脸的区域，并按照该区域的位置和大小进行裁剪，采用这样的方式，不会漏检，但是处理效率相对于第一种处理逻辑要低。

第二处理模块，用于对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；所述超分辨率处理，可以采用现有的超分辨率处理技术实现。超分辨率(super-resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像)序列换取空间分辨率，实现时间分辨率向空间分辨率的转换。

第三处理模块，用于从第三图像中提取人脸特征。经过第二处理模块处理后得到的第三图像，已经是一张较为清晰的图像，此时我们可以从中提取出人脸特征。提取人脸特征的可以采用现有的方法实现。

通信模块，用于将人脸特征上传至后台服务器。所述通信模块可以是wifi模块、4g模块和物联网通信模块等。

所述第一处理模块分别与采集模块和第二处理模块连接，所述第三处理模块分别与第二处理模块和通信模块连接。目前随着芯片技术的发展，如fpga等类型的芯片已经基本可以满足图像处理的需要。本实施例采用一片fpga实现第一处理模块、第二处理模块和第三处理模块所要完成的全部功能。

作为优选的实施例，为了提升处理效率，所述第一处理模块包括：

划分单元，用于将第一图像划分为若干个子图；

粗识别单元，用于从若干个子图中识别出可能包含人脸的子图；

定位单元，用于确定所述子图在第一图像中的位置；

裁剪单元，用于根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。

本实施例首先将第一图像按照设定的规则划分为若干个子图，然后针对每个子图进行粗识别，识别出是否存在人脸。所述若干个子图可以是4*4、3*3或者5*5等等，可以根据实际需要调整。

作为优选的实施例，为了实现冗余备份以及方便调看第一图像，还包括存储模块，所述存储模块用于存储采集模块采集的所有第一图像以及所有第三处理模块提取的人脸特征。在本实施例中，后台服务器可以根据实际需要调取所述第一图像。当然，多个连续第一图像可以组成视频。

作为优选的实施例，为了进一步提升传输效率，降低占据的带宽资源，同时提升传输的安全性，所述通信模块包括：

压缩单元，用于将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；

加密单元，用于对压缩数据进行加密，得到加密数据；

封装单元，用于将加密数据封装为通信数据包；

发送单元，用于将通信数据包上传至后台服务器。

作为优选的实施例，为了保证传输速度和便捷性，所述通信模块为4g模块。

参照图2，一种基于超分辨率的人脸摄像系统的控制方法，包括以下步骤：

s1、获取采集模块以设定时间间隔连续采集的至少两个第一图像；

s2、从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；

s3、对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；

s4、从第三图像中提取人脸特征；

s5、将人脸特征上传至后台服务器。

作为优选的实施例，所述步骤s2具体包括：

s21、将其中一个第一图像划分为若干个子图；

s22、从若干个子图中识别出可能包含人脸的子图；

s23、确定所述子图在第一图像中的位置；

s24、根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。

作为优选的实施例，还包括以下步骤：

s6、将所述至少两个第一图像和人脸特征存储在存储模块中。

作为优选的实施例，所述步骤s5具体包括：

s51、将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；

s52、对压缩数据进行加密，得到加密数据；

s53、将加密数据封装为通信数据包；

s54、将通信数据包上传至后台服务器。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。