一种基于超分辨率技术的目标检测系统

1.本发明涉及目标检测技术领域，尤其涉及到一种基于超分辨率技术的目标检测系统。


背景技术：

2.随着监控技术的日益成熟，目标检测系统被广泛应用在各行各业，例如，安全监测、交通违规检测等等。小目标由于分辨率低而缺乏辨别性的细节特征，容易和背景混淆，因而难以被正确检测，目前的目标检测系统，多对待检测的目标图像直接进行特征提取和检测识别，虽然这些算法对一般的目标检测具有优秀的检测识别能力，但对低清目标、小目标检测等特殊情况下的的检测能力依然略显不足，但若将超分辨率算法与目标检测算法结合，则可较好地改善特殊应用场景下的检测能力，超分辨率技术是指利用算法将图像从低分辨率恢复到高分辨率的过程，其可以增强图像的细节和局部特征，使得识别更加精准。
3.综上所述，提供一种可对小目标和低分辨率目标进行精确检测，检测模式多样，且用户可进行远程智能管理的基于超分辨率技术的目标检测系统，是本领域技术人员急需解决的问题。


技术实现要素：

4.本方案针对上文提到的问题和需求，提出一种基于超分辨率技术的目标检测系统，其由于采取了如下技术方案而能够解决上述技术问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于超分辨率技术的目标检测系统，包括：目标图像获取单元、超分辨率重建单元、目标检测单元和信息监管平台；
6.所述目标图像获取单元用于采集待检测目标的图像信息，进行缓存和预处理，并将预处理后的图像信息发送至所述超分辨率重建单元；
7.所述超分辨率重建单元用于对输入的图像进行超分辨率重建，并将超分辨率重建结果输出至所述目标检测单元；
8.所述目标检测单元通过超分目标检测模型对待测目标进行检测，并通过绊线检测方法判断是否有越界或入侵行为，并在有越界或入侵行为时进行报警提示；
9.所述信息监管平台用于接收所述目标检测单元发送的目标检测信息和报警信息，并对检测目标及报警信息进行可视化显示，及向所述目标图像获取单元发送图像采集控制信息。
10.进一步地，所述目标图像获取单元包括视觉获取装置、电控模块和图像预处理模块；
11.所述视觉获取装置包括接收模块、摄像机模块和图像数据存储模块，所述接收模块用于通过图像传输接口接收外部待检测目标图像，所述摄像机模块用于按照所述电控模块的控制指令进行图像采集，所述图像数据存储模块用于对接收的外部待检测目标图像和采集的图像进行分类存储；
12.所述电控模块包括变焦驱动电机、补光灯组、电子继电器、光线传感器和智能云台，所述变焦驱动电机、所述补光灯组、所述电子继电器和所述光线传感器均与所述智能云台电连接，所述智能云台用于接收所述信息监管平台发送的图像采集控制信息，基于所述图像采集控制信息解析得到参数信息，根据所述参数信息控制所述摄像机模块工作，所述变焦驱动电机用于驱动所述摄像机模块进行变焦，所述光线传感器用于检测环境光线信息，所述补光灯组用于在所述光线信息低于设定阈值时进行自动补光，所述电子继电器用于控制所述摄像机模块的工作开关；
13.所述图像预处理模块包括待测图像处理模块，所述待测图像处理模块用于对待检测图像进行尺寸标准化、滤波处理和通过平滑操作去除图像噪声。
14.更进一步地，所述图像预处理模块还包括训练数据处理模块，所述训练数据处理模块用于将数据集按照一定比例划分为训练集、测试集和验证集，并对所述训练集进行随机角度旋转和镜像处理，然后将训练集中的所有图像进行下采样，缩小至原图像的四分之一倍，并将下采样后的图像通过插值算法恢复到原图像尺寸，至此可得到训练集中所有原图像的低清版本，经过预处理后的训练数据，每一幅图像都将有低清和原图两个图像，并对图像进行标注，标注图像内目标物体的类别和坐标。
15.更进一步地，所述超分辨率重建单元包括输入模块、超分辨率重建模块，所述输入模块获取低分辨率的待检测目标图像传输至所述超分辨率重建模块，所述超分辨率重建模块包括三层的卷积神经网络，第一层卷积通过9*9*64的卷积核对输入的图像进行特征提取，第二层卷积对第一层卷积生成的特征图通过1*1*32的卷积核进行非线性映射，第三层卷积对映射后的特征图通过5*5*1的卷积核进行重建，得到重建后的高分辨率图像。
16.更进一步地，通过第一损失函数和所述训练集对超分辨率重建网络进行训练优化，所述第一损失函数为均方差函数化，所述第一损失函数为均方差函数其中，n表示像素点个数，a
i
表示预测得到的高分辨率图像的第i个像素点，b
i
表示标准高分辨率图像的第i个像素点。
17.更进一步地，所述超分目标检测模型包括图像输入层和目标检测子网络层，将所述超分辨率重建单元输出的重建图像输入所述图像输入层，所述目标检测子网络层采用基于fssd的目标检测网络进行目标检测分类和目标定位，所述目标检测子网络层包括去掉后面三个卷积层的ssd网络，利用所述去掉后面三个卷积层的ssd网络进行特征提取，将提取的不同尺寸特征图通过特征融合模块进行特征融合得到同尺寸的特征图，然后将各个特征图进行合并，并将合并后的特征图输入一个倒金字塔网络得到特征金字塔，再通过倒金字塔模块生成不同尺寸特征图进行目标检测，利用多个特征图可同时进行softmax分类和位置回归，采用非极大值抑制算法获取最佳的目标检测框。
18.更进一步地,所述特征融合模块采用亚像素重排列方法将小尺寸特征图转换为大尺寸特征图，所述亚像素重排列方法包括将一张尺寸为p*q的图像输入到卷积网络中，进行多层卷积操作，得到n*n张尺寸为p*q的特征图，将所述特征图通过像素重排列，将其合成一张尺寸为np*nq的特征图。
19.更进一步地，通过第二损失函数和所述训练集对目标检测子网络进行训练优化，所述第二损失函数为其中，k为匹配到真实框的默认框个数，l
x
为
ssd网络的分类损失，l
y
为ssd网络的定位损失，α为用于调整分类损失和定位损失的比例系数。
20.进一步地，所述信息监管平台包括信息存储模块、可视化显示模块和交互模块，所述信息存储模块用于接收所述目标检测单元发送的目标检测信息和报警信息，并对信息按照存储列表进行分类存储，所述信息存储模块包括存储列表和报警数据管理模块，所述报警数据管理模块用于对报警事件的历史数据进行记录和周期统计，所述交互模块用于输入远程信息图像采集控制指令、参数或外部待检测目标图像数据；所述可视化显示模块用于对目标检测地点、时间、目标名称、坐标位置信息进行显示，所述可视化显示模块包括信息处理服务器和智能显示屏，所述交互模块和所述智能显示屏均与所述信息处理服务器相连接。
21.从上述的技术方案可以看出，本发明的有益效果是：本发明可对小目标和低分辨率目标进行精确检测，检测速率快，且检测模式多样，用户可进行实时目标检测或远程的图像数据传输检测，并且用户可对该系统进行远程智能管理。
22.除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
24.图1为本发明一种基于超分辨率技术的目标检测系统的组成结构示意图。
25.图2为本发明中目标图像获取单元的组成结构示意图。
26.图3为本发明中信息监管平台的组成结构示意图。
27.图4为本实施例中目标检测过程的流程示意图。
具体实施方式
28.为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.本发明提供了一种可对小目标和低分辨率目标进行精确检测，检测速率高，检测模式多样，且用户可进行远程智能管理的基于超分辨率技术的目标检测系统。如图1至图4所示，该系统包括：目标图像获取单元、超分辨率重建单元、目标检测单元和信息监管平台。
30.所述目标图像获取单元用于采集待检测目标的图像信息，进行缓存和预处理，并将预处理后的图像信息发送至所述超分辨率重建单元。
31.所述目标图像获取单元包括视觉获取装置、电控模块和图像预处理模块；所述视觉获取装置包括接收模块、摄像机模块和图像数据存储模块，所述接收模块用于通过图像传输接口接收外部待检测目标图像，所述摄像机模块用于按照所述电控模块的控制指令进
行图像采集，所述图像数据存储模块用于对接收的外部待检测目标图像和采集的图像进行分类存储；所述电控模块包括变焦驱动电机、补光灯组、电子继电器、光线传感器和智能云台，所述变焦驱动电机、所述补光灯组、所述电子继电器和所述光线传感器均与所述智能云台电连接，所述智能云台用于接收所述信息监管平台发送的图像采集控制信息，基于所述图像采集控制信息解析得到参数信息，根据所述参数信息控制所述摄像机模块工作，所述变焦驱动电机用于驱动所述摄像机模块进行变焦，所述光线传感器用于检测环境光线信息，所述补光灯组用于在所述光线信息低于设定阈值时进行自动补光，所述电子继电器用于控制所述摄像机模块的工作开关；所述图像预处理模块包括待测图像处理模块，所述待测图像处理模块用于对待检测图像进行尺寸标准化、滤波处理和通过平滑操作去除图像噪声。
32.具体地，所述图像预处理模块还包括训练数据处理模块，所述训练数据处理模块用于将数据集按照一定比例划分为训练集、测试集和验证集，并对所述训练集进行随机角度旋转和镜像处理，然后将训练集中的所有图像进行下采样，缩小至原图像的四分之一倍，并将下采样后的图像通过插值算法恢复到原图像尺寸，至此可得到训练集中所有原图像的低清版本，经过预处理后的训练数据，每一幅图像都将有低清和原图两个图像，并对图像进行标注，标注图像内目标物体的类别和坐标。所述数据集采用pascal voc数据集。
33.对小目标或者低分辨率的目标图像直接进行特征提取和检测识别，会造成误识别和降低检测的准确率，本技术在输入图像进入到目标检测网络前，先将输入图像通过一个超分辨率子网络，对输入图像的局部细节和清晰度进行增强后，再将特征增强后的图像输入目标检测子网络进行目标检测。在本系统中，所述超分辨率重建单元用于对输入的图像进行超分辨率重建，并将超分辨率重建结果输出至所述目标检测单元。
34.所述超分辨率重建单元包括输入模块、超分辨率重建模块，所述输入模块获取低分辨率的待检测目标图像传输至所述超分辨率重建模块，所述超分辨率重建模块包括三层的卷积神经网络，第一层卷积通过9*9*64的卷积核对输入的图像进行特征提取，第二层卷积对第一层卷积生成的特征图通过1*1*32的卷积核进行非线性映射，第三层卷积对映射后的特征图通过5*5*1的卷积核进行重建，得到重建后的高分辨率图像。
35.在本实施例中，通过第一损失函数和所述训练集对超分辨率重建网络进行训练优化，所述第一损失函数为均方差函数化，所述第一损失函数为均方差函数其中，n表示像素点个数，a
i
表示预测得到的高分辨率图像的第i个像素点，b
i
表示标准高分辨率图像的第i个像素点。
36.所述目标检测单元通过超分目标检测模型对待测目标进行检测，并通过绊线检测方法判断是否有越界或入侵行为，并在有越界或入侵行为时进行报警提示。当检测到目标后，对目标进行识别跟踪，在特定的监控区域设置警戒线，判断目标是否存在越界行为，当存在越界行为时，通过语音提醒或声光报警器报警的方式提醒管理人员。
37.具体地，所述超分目标检测模型包括图像输入层和目标检测子网络层，将所述超分辨率重建单元输出的重建图像输入所述图像输入层，所述目标检测子网络层采用基于fssd的目标检测网络进行目标检测分类和目标定位，所述目标检测子网络层包括去掉后面三个卷积层的ssd网络，利用所述去掉后面三个卷积层的ssd网络进行特征提取，将提取的不同尺寸特征图通过特征融合模块进行特征融合得到同尺寸的特征图，然后将各个特征图
进行合并，并将合并后的特征图输入一个倒金字塔网络得到特征金字塔，再通过倒金字塔模块生成不同尺寸特征图进行目标检测，利用多个特征图可同时进行softmax分类和位置回归，采用非极大值抑制算法获取最佳的目标检测框。其中，所述特征融合模块采用亚像素重排列方法将小尺寸特征图转换为大尺寸特征图，所述亚像素重排列方法包括将一张尺寸为p*q的图像输入到卷积网络中，进行多层卷积操作，得到n*n张尺寸为p*q的特征图，将所述特征图通过像素重排列，将其合成一张尺寸为np*nq的特征图，亚像素为相机无法拍摄出来的信息部分，理论上像素之间应该是连续的，但由于传感器精度的限制，相机能够拍摄到的像素会有一个最小尺寸，而小于这个尺寸的部分无法被拍摄出来。在本实施例中，采用亚像素重排列方案去优化上采样操作，对fssd网络的特征融合模块进行设计，使得模型能够更加充分的学习各个尺寸特征图和不同输入图像的特征信息。
38.在本实施例中，通过第二损失函数和所述训练集对目标检测子网络进行训练优化，所述第二损失函数为其中，k为匹配到真实框的默认框个数，l
x
为ssd网络的分类损失，l
y
为ssd网络的定位损失，α为用于调整分类损失和定位损失的比例系数。
39.所述信息监管平台用于接收所述目标检测单元发送的目标检测信息和报警信息，并对检测目标及报警信息进行可视化显示，及向所述目标图像获取单元发送图像采集控制信息，其中，所述信息监管平台包括信息存储模块、可视化显示模块和交互模块，所述信息存储模块用于接收所述目标检测单元发送的目标检测信息和报警信息，并对信息按照存储列表进行分类存储，所述信息存储模块包括存储列表和报警数据管理模块，所述报警数据管理模块用于对报警事件的历史数据进行记录和周期统计，所述交互模块用于输入远程信息图像采集控制指令、参数或外部待检测目标图像数据；所述可视化显示模块用于对目标检测地点、时间、目标名称、坐标位置信息进行显示，所述可视化显示模块包括信息处理服务器和智能显示屏，所述交互模块和所述智能显示屏均与所述信息处理服务器相连接。
40.在本实施例中，用户可通过远程管理方式对目标检测系统的目标检测过程进行控制，既可以实现现场目标实时检测，也可以通过远程采集图像数据再将图像数据发送至目标检测系统进行目标检测，更好的实现多场景目标识别。
41.应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。