基于全景相机和振镜相机的多目标监测方法和系统

1.本发明属于安全监控技术领域，具体涉及了一种基于全景相机和振镜相机的多目标监测方法和系统。


背景技术：

2.在拍摄远距离物体的过程中，全景相机由于较短的焦距，可以获得更大范围的视野，通常视角范围在60度以上，甚至可以达到360度全景。将全景相机进行固定，可以获得待观测区域的整体图像，但是对待观测区域中的感兴趣对象，无法获得细节信息。
3.长焦相机在拍摄远距离物体时更为清晰，保留更多的细节，但是视野较窄，通常视角范围在15度以内，只能进行小范围场景观测。扫描振镜是一种由驱动控制板和高速伺服电机组成的高精度、高速度伺服控制系统，主要用于激光打标，激光内雕等行业，具有体积小、精度高等特点。长焦相机通过扫描振镜的反射光路，可以实现对目标对象的高清晰度拍摄，该方法成本低，计算简单，成像速度快，但是无法在短时间内捕捉所有的目标对象。


技术实现要素：

4.为了解决现有技术中的上述问题，即现有的成像技术无法实现在远距离区域观测中短时间内捕捉所有的目标对象的问题，本发明提供了一种基于全景相机和振镜相机的多目标监测方法，所述方法包括：步骤s100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；步骤s200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过hog特征提取和svm分类器获得全景图像目标中心位置和目标类别；步骤s300，基于所述全景图像目标中心位置转换为振镜控制电压序列；步骤s400，基于所述振镜控制电压序列，计算每个控制周期振镜控制电压；步骤s500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；步骤s600，重复步骤s300-步骤s500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；步骤s700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
5.在一些优选的实施方式中，所述将全景相机、振镜单元和高速相机进行坐标校准具体包括：初始化振镜的x轴电压和y轴电压，使振镜处于初始位置；调整高速相机位置，使高速相机中心通过振镜单元的光路中心，并使高速相机画面在振镜系统的正前方；调整全景相机位置，使高速相机画面处于全景相机画面中心。
6.在一些优选的实施方式中，所述参数标定，为建立振镜单元画面中心与全景相机
的映射关系。
7.在一些优选的实施方式中，所述参数标定，具体为：选定全景相机图像中的像素点和振镜的控制电压；设定全景相机图像与控制电压的映射关系方程为：其中，、、、、和表示待求解的映射系数；求解所述映射系数，完成参数标定。
8.在一些优选的实施方式中，所述求解所述映射系数，具体为：在全景相机图像中随机选取n个像素点，作为第一标定点集，；控制振镜控制电压，使所述第一标定点集正好在振镜相机的画面中心成像，记录此时的标定电压集合；将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，获得标定好的映射关系方程。
9.在一些优选的实施方式中，所述将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，通过最小二乘法的方式求解。
10.在一些优选的实施方式中，所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
11.在一些优选的实施方式中，所述步骤s400，设相机的帧率为 fps，将振镜单元的控制周期设置为秒，在每个控制周期内，通过计算机调整振镜的控制电压，使高速相机在每个目标位置曝光的时长，获取多个目标的高速相机图像，其中表示目标中心位置的数量。
12.在一些优选的实施方式中，所述特征提取可采用ssd卷积神经网络实时提取目标的位置信息。
13.本发明的另一方面，提出了一种基于全景相机和振镜相机的多目标监测系统，所述系统包括：校准标定模块、目标提取模块、振镜电压序列转换模块、振镜电压计算模块、高速相机拍摄模块、多区域监测模块和图像组合模块；所述校准标定模块，配置为将全景相机、振镜单元和高速相机进行坐标校准和参数标定；所述目标提取模块，配置为通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过hog特征提取和svm分类器获得全景图像目标中心位置和目标类别；其中目标定义为所有可通过分类器分类的对象；所述振镜电压序列转换模块，配置为基于所述全景图像目标中心位置转换为振镜控制电压序列；
所述振镜电压计算模块，配置为基于所述振镜控制电压序列，计算振镜控制电压；所述高速相机拍摄模块，配置为基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；所述多区域监测模块，配置为重复振镜电压序列转换模块、振镜电压计算模块和高速相机拍摄模块的功能，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；所述图像组合模块，配置为将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
14.本发明的有益效果：（1）本发明通过结合固定全景相机和振镜相机的特性实现同时对多个目标进行监控，进行多路虚拟相机的显示，可以进行实时的远距离区域观测和多目标对象高清拍摄。
附图说明
15.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：图1是本发明实施例中基于全景相机和振镜相机的多目标监测方法的流程示意图；图2是本发明实施例中构建的多通道虚拟相机系统和设备原理示意图；图3是本发明振镜相机原理示意图；图4是本发明实施例中全景相机视野图；图5是本发明实施例中振镜高速相机出示位置视野图。
具体实施方式
16.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
17.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
18.本发明提供一种基于全景相机和振镜相机的多目标监测方法，本方法可以进行实时的远距离区域观测和多目标对象高清拍摄。
19.本发明的一种基于全景相机和振镜相机的多目标监测方法，所述方法包括：步骤s100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；步骤s200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过hog特征提取和svm分类器获得全景图像目标中心位置和目标类别；在本实施例中，所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
20.步骤s300，基于所述全景图像目标中心位置转换为振镜控制电压序列；步骤s400，基于所述振镜控制电压序列，计算振镜控制电压；步骤s500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍
历所有全景图像目标中心位置，拍摄高速相机图像；步骤s600，重复步骤s300-步骤s500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；步骤s700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
21.为了更清晰地对本发明基于全景相机和振镜相机的多目标监测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
22.本发明第一实施例的基于全景相机和振镜相机的多目标监测方法，包括步骤s100-步骤s700，各步骤详细描述如下：本实施例目的是构建一种能够进行实时远距离区域观测和多目标对象高清拍摄的多路虚拟相机系统和设备，对多处运动目标进行拍摄。所述虚拟相机设备如图2所示包括高性能计算机1、d/a信号转换器2、振镜控制卡3、振镜单元4、高速相机5和全景相机8。其中，振镜相机的示意如图3所示，图3中，9为y轴伺服电机与旋转镜片，10为x轴伺服电机与旋转镜片，11为高速相机，12为全景相机。
23.本实施例采用帧率30fps的全景相机，分辨率选取为1680*1200，镜头焦距为8mm；选用120fps的高速相机，分辨率为720*540，镜头焦距为35mm，将标定平面设置为针对墙面，距离多路虚拟相机系统的垂直距离为7.25米，由于景深原因，目标可在墙面距离墙面2米的范围内进行运动。全景相机以流模式获取图像，高速相机采用触发模式获取图像。
24.步骤s100，将全景相机、振镜单元和高速相机进行参数标定和坐标校准；在本实施例中，所述将全景相机、振镜单元和高速相机进行坐标校准具体包括：假设标定平面近似垂直于全景相机光路和初始电压的振镜光路。设置以像素中心为圆心，x轴水平向右，y轴竖直向下，建立图像坐标系xoy。
25.初始化振镜的x轴电压和y轴电压，使振镜单元处于初始位置；本实施例选去控制电压均为0v时设置振镜单元处于初始位置；调整高速相机位置，使高速相机中心通过振镜单元的光路中心，并使高速相机画面在振镜系统的正前方；调整全景相机位置，使高速相机画面处于全景相机画面中心。
26.在本实施例中，所述参数标定，为建立振镜单元画面中心与全景相机的映射关系。具体为：忽略全景相机的镜头产生的畸变以及振镜单元的非线性控制误差；选定全景相机图像中的像素点和振镜的控制电压；设定全景相机图像与控制电压的映射关系方程为：其中，、、、、和表示待求解的映射系数；求解所述映射系数，完成参数标定。
27.在本实施例中，所述求解所述映射系数，具体为：
在全景相机图像中随机选取n个像素点，作为第一标定点集，；本实施例中随机选取了作为第一标定点集；控制振镜控制电压，使所述第一标定点集正好在振镜相机的画面中心成像，记录此时的标定电压集合；对应的标定电压为；解得：将所述第一标定点集和标定电压集合代入所述映射关系方程求解映射系数，通过最小二乘法的方式求解，获得标定好的映射关系方程。
28.在校准过程中，全景相机的视野如图4所示，而最初的振镜相机初始位置视野如图5所示。
29.步骤s200，通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过hog特征提取和svm分类器获得全景图像目标中心位置和目标类别；所述目标类别为可由分类器分类的对象，可根据需要，只对特定类别的目标进行观测。
30.在本实施例中，所述特征提取可采用ssd卷积神经网络实时提取目标的位置信息。设定人脸为识别目标，则可获得人脸的位置信息p。
31.步骤s300，基于所述全景图像目标中心位置转换为振镜控制电压序列；将p点的坐标转换为振镜控制电压序列u。
32.步骤s400，基于所述振镜控制电压序列，计算振镜控制电压；在本实施例中，所述步骤s400，全景相机的帧率为fps，将振镜单元的控制周期设置为秒，在每个控制周期内，通过计算机调整振镜的控制电压，使高速相机在每个目标位置曝光的时长，获取多个目标的高速相机图像，其中k表示全景相机中检测到的目标数量。本实施例中由于全景相机的帧率为30fps,所以振镜的控制周期是秒，在每个控制周期内，计算机需调整振镜的控制电压，是高速相机遍历所有的目标位置，高速相机在每个位置的曝光时间，其中k为图像中检测到的人脸数量。
33.步骤s500，基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；步骤s600，重复步骤s300-步骤s500的方法，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；步骤s700，将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。持续通过本发明的方法可实现对检测区域的多个运动目标进行高清拍摄，通过将反传回计算机的图像有序排列，即可同时高清监测多个位置，实现多路虚拟相机的功能。
34.本发明第二实施例的基于全景相机和振镜相机的多目标监测系统，所述系统包括：校准标定模块、目标提取模块、振镜电压序列转换模块、振镜电压计算模块、高速相机拍摄模块、多区域监测模块和图像组合模块；所述校准标定模块，配置为将全景相机、振镜单元和高速相机进行坐标校准和参数标定；所述目标提取模块，配置为通过所述全景相机采用流模式对检测区域进行实时录制，获得全景图像数据，并通过hog特征提取和svm分类器获得全景图像目标中心位置和目标类别；其中目标定义为所有可通过分类器分类的对象；所述振镜电压序列转换模块，配置为基于所述全景图像目标中心位置转换为振镜控制电压序列；所述振镜电压计算模块，配置为基于所述振镜控制电压序列，计算振镜控制电压；所述高速相机拍摄模块，配置为基于所述振镜控制电压控制振镜单元，并使高速相机跟随振镜光路遍历所有全景图像目标中心位置，拍摄高速相机图像；所述多区域监测模块，配置为重复振镜电压序列转换模块、振镜电压计算模块和高速相机拍摄模块的功能，对检测区域进行实时拍摄和目标检测，获取全景图像数据和高速相机图像；所述图像组合模块，配置为将所述全景图像数据与高速相机图像组合，获得多通道多目标高清监测图像。
35.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
36.需要说明的是，上述实施例提供的基于全景相机和振镜相机的多目标监测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
37.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
38.术语“第一”、
ꢀ“
第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
39.术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系
列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
40.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。