一种基于双光谱光电搜索的无人机目标定位方法与流程
本发明涉及无人机目标定位方法，具体来说是一种利用红外和可见光双光谱光电搜索的无人机目标定位方法。
背景技术：
如今无人机(低小慢目标)在各领域应用广泛，与无人机相关的安全问题也逐渐为人们所重视。目前，较为通用的低小慢目标探测手段主要有两种：采用雷达或无线电探测系统。
第一种是采用雷达探测系统进行低小慢目标的探测。采用雷达进行探测识别时，存在探测盲区，雷达不能对高楼周围的无人机进行识别，采用雷达探测难以实现大多数应用环境的要求、系统难以避免外部各种干扰环境的影响。同时雷达探测需要主动发生射频功率，对外界有微波污染，同时对贴近地面建筑物的目标难以检测。
第二种是采用无线电侦测进行低小慢目标的探测。这种方法虚警概率较大，且虚警难以区分。
上述两种手段都难以直接识别目标类别，需要采用图像处理的方式进行甄别。基于红外光电的探测可以实现全天候工作，在夜晚、多云、雾、霾等恶劣天气具有良好适应性。相对于雷达、激光成像技术而言热红外成像的成本更低、监控可靠性更高，而且光电探测本身不发射信号，具有很强的隐蔽性。同时红外热成像可以清晰显示目标形状，因此可以利用图像识别技术发现伪装、虚假目标等干扰，同时也能适应复杂的环境。
现有的无人机监测系统均采用雷达或无线电侦测作为目标探测的主要手段，光电探测系统作为辅助判别系统。其中，雷达多采用脉冲多普勒雷达，只能侦测和定位运动中的目标，对于具有悬停能力的多旋翼无人机无能为力。而无线电侦测和常规的独立红外探测系统本身均不具备独立的精确定位能力。
技术实现要素：
本发明目的是旨在提供了一种基于红外+可见光双光谱光电搜索的无人机(低小慢目标)探测、精准定位和运动状态分析的方法，克服了传统基于雷达、无线电或“雷达+热红外”反无人机系统的缺陷。
为实现上述技术目的，本发明采用的技术方案如下：
一种基于双光谱光电搜索的无人机目标定位方法，包括如下步骤：
一、相机标定，利用红外-可见光相机进行联合标定，得到红外相机坐标系与可见光相机坐标系之间的外参数矩阵，记作[rt]；
二、设定光电搜索的范围，搜索的范围包括方位角和俯仰角，所述方位角为水平方向的转角幅度，所述俯仰角为垂直方向上的转角幅度，所述方位角和所述俯仰角的区间大于红外热成像系统的视场角；
三、光电搜索，按照步骤二中设置的搜索范围，根据方位角和俯仰角以回扫方式开始搜索；
四、进行快速红外+可见光无人机目标检测，若在红外图像和可见光图像中同时检测到无人机目标，则确定为真目标，进入步骤五；否则认定未搜索到目标，云台从一个搜索角度变换到下一个搜索角度重新搜索，即返回步骤三；
五、红外+可见光图像均检测到无人机目标后，转动云台，使无人机目标位于红外图像的中心，并记录此时的红外图像及可见光图像；
六、无人机定位，根据红外-可见光相机间的外参数矩阵、相机内参数、图像分辨率、视场角信息计算无人机目标的精确空间位置；
七、运动状态分析，按照固定时间间隔进行采样，重复步骤四-六操作，得到采样位置的空间位置信息，进一步地预估出无人机的运动方向和速度。
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的一种优选，步骤三中，在进行光电搜索时，当方位角达到最大角度后提升俯仰角，使得光电搜索跟踪系统从最大方位角到最小方位角的路径进行搜索。
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的另一种优选，步骤四中所述的进行快速红外+可见光无人机目标检测的具体方法包括如下步骤：
step1对大量包含无人机、不含无人机的红外图像进行标注，训练基于深度学习的红外全卷积网络fcn模型；对大量包含无人机、不含无人机的可见光图像进行标注，训练基于深度学习的可见光全卷积网络fcn模型；
step2采集当前搜索角度位置的红外图像及可见光图像；
step3采用训练得到的红外全卷积网络fcn模型对得到的红外图像进行检测，若检测到无人机目标，则确定为疑似目标，否则未检测到疑似目标；
step4转动云台，使疑似目标平移至红外图像中心，根据红外图像与可见光图像的映射关系，在可见光图像的对应区域进行可见光全卷积网络fcn模型检测，若检测到无人机目标，则确定为合理性目标，否则为伪目标；
step5若连续n帧均能检测到合理性目标，则为真目标，否则为伪目标，其中，n代表光电搜索跟踪系统每停留一次进行拍摄的图像帧数，大于1。
step6若为真目标，则进入定时采样模式，进一步分析目标的运动状态；若未检测到目标，则云台转到下一个搜索角度，进行下一次检测过程。
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的又一种优选，n取值范围为3-5。
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的再一种优选，步骤一对红外-可见光相机系统进行标定，还获得红外相机的内参、可见光相机的内参。
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的又一种优选，步骤一中红外相机坐标系与可见光相机坐标系之间的外参数矩阵为：
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的再一种优选，步骤六中种的无人机定位的具体方法包括如下步骤：
(1)假设以红外相机光心为原点o、光轴为z轴的红外相机坐标系为o-xyz，以可见光相机光心为原点o'、光轴为z'轴的可见光相机坐标系为o'-x'y'z'，以红外相机坐标系为参考坐标系，则红外相机光轴的直线方程为
lir:x＝y＝0公式2
根据相机标定，红外相机坐标系变换到可见光相机坐标系的转换矩阵为[rt]，则红外相机光轴直线变换为可见光相机光轴的转换矩阵也为[rt]，故可见光相机光轴的直线方程为
(2)当搜索到无人机时，转动云台使无人机处于红外图像的正中心p，此时求取与红外相机光轴直线op及直线o'p距离之和最小的点，作为无人机目标的空间位置；
(3)根据无人机目标在上述红外相机参考坐标系中的坐标，计算目标的相对位置，再结合红外相机gps坐标及高程信息，将其转换成目标的gps和高程信息，并将其传送给地理信息系统(gis)；
(4)在固定间隔时间采集图像，重复(1)-(3)的步骤，得到每个采样时间点无人机目标的位置信息，从而估算出目标的运动方向及速度。
作为本发明一种基于双光谱光电搜索的无人机目标定位方法的又一种优选，步骤(2)中，求取与红外相机光轴直线op及直线o'p距离之和最小的点的方法具体如下：
当转动云台使无人机处于红外图像的正中心时，记录对应的红外图像及可见光图像，根据可见光图像，无人机目标在可见光图像上偏离中心为列方向nx像素和行方向ny像素可知，对应实际距离分别为δx和δy，假设可见光相机ccd机芯的宽度为高度为w，分辨率为h，则
无人机目标在红外图像的中心p，故而红外相机的光轴直线lir＝op；在可见光图像中，根据相机的成像原理有：
其中α、β是o'p以o'为中心分别绕y轴、x轴旋转的角度，在三维空间中，根据可见光相机成像关系，旋转α、β角度后，即可得到可见光光轴lvl；
假设在红外相机参考坐标系下，o'p直线上的某点坐标为(x,y,z)，旋转至可见光相机坐标系z轴的点(x1,y1,z1)，再经过变换矩阵[rt]后得到红外相机坐标系z轴上的点(0,0,z0)，则有：
绕x轴旋转β角度，得到
绕y轴旋转α角度，得到
即：
同时，根据公式4，有：
即：
得到直线o'p的一般方程为：
带入公式5和公式6，并将其转化为点向式方程：
求取与红外相机光轴直线op及直线o'p距离之和最小的点，作为无人机目标的位置：
假设无人机目标的坐标为(x,y,z)，则其到红外相机光轴直线op的距离
假设无人机目标(x,y,z)到直线o'p的垂点坐标为(xc,yc,zc)，因为垂点在直线上，故而
且有垂线方向向量(x-xc,y-yc,z-zc)和直线方向向量(m,n,l)的数量积等于0，即
m*(x-xc)+n*(y-yc)+l*(z-zc)＝0公式9
将公式8带入公式9，消去未知数xc,yc,zc，得到参数c的表达式：
点到直线o'p的距离就是该点和垂点(xc,yc,zc)的距离：
其中xc,yc,zc可以带入公式8和公式10消去，
因此，求取与红外相机光轴直线op及直线o'p距离之和最小的点，即求取极小值
有益效果：
1、光电搜索检测方式不需要传统光电检测或者雷达探测所必需的目标运动特征；目标检测结果能及时反馈给系统使转台进行继续搜索或转入运动分析模式，这样云台快速启停与目标图像检测结合在一起，不仅能直接以图像处理的方式识别出目标类型、克服了雷达及无线电检测方式的缺陷，而且避免了“雷达+热成像”方式在搜索角度变化的过程中热红外成像会模糊、效果难以满足需要的问题。
2、在目标图像检测过程中，采用基于深度学习全卷积网络(fcn)模型算法对目标真伪目标进行了判别，具有很高的可靠性。
3、相较于传统方式，对远距离红外小目标可实现快速、精确的检测及定位，且抗噪能力强，对环境的容忍度高，可在较为恶劣的条件下正常工作，且部署灵活、安装方便、抗干扰隐蔽性强。
4、进一步判断无人机目标的运动状态，对指导反无人机任务更具有参考意义。
附图说明
本发明可以通过附图给出的非限定性实施例进一步说明；
图1为本发明的系统工作流程图；
图2为本发明的目标检测算法流程图；
图3为无人机目标、红外相机与可见光相机的位置关系图；
图4为无人机目标红外及可见光图像示意图；
图5为相机二维成像原理图；
图6为可见光相机三维成像示意图；
具体实施方式
为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。
本发明实施例提供一种反无人机系统的工作方法，即一种对无人机目标进行快速搜索、定位及运动状态检测的方法，其工作流程图见图1所示，具体工作步骤如下：
一、相机标定，利用红外-可见光相机进行联合标定，得到红外相机坐标系与可见光相机坐标系之间的外参数矩阵，记作[rt]；
二、系统进入光电搜索模式，设定搜索的范围，搜索的范围，指的是搜索的方位角和俯仰角区间，所述方位角为水平方向的转角幅度，所述俯仰角为垂直方向上的转角幅度，所述方位角和所述俯仰角的区间大于红外热成像系统的视场角；
三、光电搜索，按照步骤二中设置的搜索范围，根据方位向(俯仰向)回扫方式开始搜索；当方位角达到最大角度后提升俯仰角，使得光电搜索跟踪系统从最大方位角到最小方位角的路径进行搜索；
四、进行快速红外+可见光无人机目标检测，若在红外图像和可见光图像中同时检测到无人机目标，则确定为真目标，进入步骤五；否则认定未搜索到目标，云台从一个搜索角度变换到下一个搜索角度重新搜索，即返回步骤三；
五、红外+可见光图像均检测到无人机目标后，转动云台，使无人机目标位于红外图像的中心，并记录此时的红外图像及可见光图像；
六、无人机定位，根据红外-可见光相机间的外参数矩阵、相机内参数、图像分辨率、视场角信息计算无人机目标的精确空间位置；
七、运动状态分析，按照固定时间间隔(如100ms)进行采样，重复步骤四-六操作，得到采样位置的空间位置信息，进一步地预估出无人机的运动方向和速度。
具体的,本发明还提供了一种对无人机目标实现快速检测的方法，其流程如图2所示,具体步骤如下:
step1对大量包含无人机、不含无人机的红外图像进行标注，训练基于深度学习的红外全卷积网络fcn模型；对大量包含无人机、不含无人机的可见光图像进行标注，训练基于深度学习的可见光全卷积网络fcn模型；
step2采集当前搜索角度位置的红外图像及可见光图像；
step3采用训练得到的红外全卷积网络fcn模型对得到的红外图像进行检测，若检测到无人机目标，则确定为疑似目标，否则未检测到疑似目标；
step4转动云台，使疑似目标平移至红外图像中心，根据红外图像与可见光图像的映射关系，在可见光图像的对应区域进行可见光全卷积网络fcn模型检测，若检测到无人机目标，则确定为合理性目标，否则为伪目标；
step5若连续n帧均能检测到合理性目标，则为真目标，否则为伪目标，其中，n代表光电搜索跟踪系统每停留一次进行拍摄的图像帧数，取值范围为3-5。
step6若为真目标，则进入定时采样模式，进一步分析目标的运动状态；若未检测到目标，则云台转到下一个搜索角度，进行下一次检测过程。
本实施例还提供了一种无人机定位方法,其步骤及原理如下:
(1)对红外-可见光相机系统进行标定，获得红外相机的内参、可见光相机的内参和红外-可见光相机的外部参数。外部参数矩阵记为：
(2)假设以红外相机光心为原点o、光轴为z轴的红外相机坐标系为o-xyz，以可见光相机光心为原点o'、光轴为z'轴的可见光相机坐标系为o'-x'y'z'，以红外相机坐标系为参考坐标系，则红外相机光轴的直线方程为
lir:x＝y＝0公式2
根据相机标定，红外相机坐标系变换到可见光相机坐标系的转换矩阵为[rt]，则红外相机光轴直线变换为可见光相机光轴的转换矩阵也为[rt]，设红外相机光轴上的点(0,0,z0)经过该变换后坐标变为(x1,y1,z1)，则有
即
消去z0，得到
故可见光相机光轴的直线方程(点向式方程)为
(3)当搜索到无人机时，转动云台使无人机处于红外图像的正中心p，无人机目标、红外相机与可见光相机的位置关系如图3所示，不考虑设备误差和计算误差，理论上只需求得红外相机的光轴直线与o'p直线的交点，即可求得无人机的坐标、实现定位；但实际中由于相机标定、云台旋转等操作及计算过程存在误差，使得两条空间直线不一定相交。此时求取与红外相机光轴直线op及直线o'p距离之和最小的点，作为无人机目标的空间位置。
具体计算过程如下：
当转动云台使无人机处于红外图像的正中心时，记录对应的红外图像及可见光图像，如图4所示，根据可见光图像，无人机目标在可见光图像上偏离中心为列方向nx像素和行方向ny像素可知，对应实际距离分别为δx和δy，假设可见光相机ccd机芯的宽度为高度为w，分辨率为h，则
无人机目标在红外图像的中心p，故而红外相机的光轴直线lir＝op；在可见光图像中，根据相机的成像原理(x方向的二维成像原理示意图见图5)，有：
在三维空间中，可见光相机成像关系如图6所示，可以看到：由o'p以可见光相机光心o'为中心绕x轴旋转β角度、再绕y轴旋转α角度，即可得到可见光光轴lvl；
假设在红外相机参考坐标系下，o'p直线上的某点坐标为(x,y,z)，旋转至可见光相机坐标系z轴的点(x1,y1,z1)，再经过变换矩阵[rt]后得到红外相机坐标系z轴上的点(0,0,z0)，则有：
绕x轴旋转β角度，得到
绕y轴旋转α角度，得到
即：
同时，根据公式4，有：
即：
得到直线o'p的一般方程为：
带入公式5和公式6，并将其转化为点向式方程：
理论上，求取红外相机光轴直线op与直线o'p的交点，就是当前无人机目标的位置。但是由于相机标定、云台旋转等操作及上述各计算步骤中存在误差，此处，求取与红外相机光轴直线op及直线o'p距离之和最小的点，作为无人机目标的位置：
假设无人机目标的坐标为(x,y,z)，则其到红外相机光轴直线op的距离
假设无人机目标(x,y,z)到直线o'p的垂点坐标为(xc,yc,zc)，因为垂点在直线上，故而
且有垂线方向向量(x-xc,y-yc,z-zc)和直线方向向量(m,n,l)的数量积等于0，即
m*(x-xc)+n*(y-yc)+l*(z-zc)＝0公式9
将公式8带入公式9，消去未知数xc,yc,zc，得到参数c的表达式：
点到直线o'p的距离就是该点和垂点(xc,yc,zc)的距离：
其中xc,yc,zc可以带入公式8和公式10消去，
因此，求取与红外相机光轴直线op及直线o'p距离之和最小的点，即求取极小值
(4)根据无人机目标在上述红外相机参考坐标系中的坐标，计算目标的相对位置，再结合红外相机gps坐标及高程信息，将其转换成目标的gps和高程信息，并将其传送给地理信息系统(gis)；
(5)在固定间隔时间采集图像，重复(2)-(4)的步骤，得到每个采样时间点无人机目标的位置信息，从而估算出目标的运动方向及速度。
以步骤(3)中红外相机参考坐标系为例，若采样时间点t1无人机目标的位置为
以上对本发明提供的一种基于双光谱光电搜索的无人机目标定位方法进行了详细介绍。具体实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！