技术特征：
1.一种多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，在跟随无人机上，根据单目视觉信息，并利用基于darknet的卷积神经网络在线检测识别视野中的领航无人机，利用识别结果计算出跟随无人机自身相对领航机的相对位置，利用控制算法实现跟随无人机对领航机跟踪。2.如权利要求1所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，采用的卷积神经网络为具有24层网络的yolov3-tiny，该网络架构采用全卷积的方式，无全连接层，最后输出的特征图送入yolo层，yolo层采用基于anchor的预测方法来取代全连接层。3.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，采用的卷积神经网络具体结构如下：(1)卷积层a.卷积计算卷积的主要功能是指卷积核即滤波器通过在输入图片上滑动，通过卷积操作从而得到一组新的图像特征；b.批归一化输入为一个小批量样本：i＝{λ1,...,λ
n
}；输出：{y
i
＝bn
λ,β
(λ
i
)}，其具体展开如(1)所示.其中，ε为大于0的常数，作用为防止分母等于0，γ,β为需要学习的模型参数，采用滚动平均值式(2)的方法来替代式(1)中平均值μ
i
的计算；c.激活函数yolo层前的卷积层输出经过的激活函数为线性激活函数linear(f(x)＝x)，其余卷积层都经过非线性激活函数leakyrelu处理后输出；(2)最大值池化层maxpool池化层pooling layer通常在卷积层之后使用，用于进行降采样，网络池化层均采用最大值池化方式；(3)上采样层upsample与特征融合层route采样层使用了最近邻差值方法，该差值方法无需计算，通过将与待求像素距离最近的邻像素的像素值赋值给待求像素值来实现；特征融合层的作用是将浅层卷积网络与深层卷积网的输出特征图在深度方向上进行拼接，特征融合的作用是保留浅层特征图的信息，为之后yolo层的预测保留更多的特征；
(4)yolo层yolo层对全连接层进行了取代，作用是在全卷积神经网络输出的特征图上进行分类和定位回归，共采用两个yolo层，分别负责不同尺度特征图的预测，实现多尺度预测，即大网格预测大物体，小网格预测小物体，每个网格会由三个先验框即anchor进行预测。4.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，预测流程设计；输入图片通过卷积神经网络提取特征，得到n
×
n大小的特征图，然后再将输入图像平均分成n
×
n个网格,根据训练集中提供的bbox真值，目标的中心坐标落在哪个网格中，就由该网格来预测该目标m每个网格会有固定数量的边界框参与预测，预测使用的先验边界框是预先通过k-means聚类得到的固定大小的锚框anchor，此外，预测得到的特征图除上述n
×
n的两个特征维度外，还有纵向的深度维度，大小为b*(5+c)，其中b表示每个网格所需要预测的边界框数量，c表示边界框的类别，5表示bbox的四个坐标信息和目标置信度；卷积神经网络需要为每个bbox预测四个坐标值，网络输出t
x
,t
y
,t
w
,t
h
为相对目标中心网格左上角坐标的偏移值，其中t
x
表示目标中心网格左上角坐标x方向的偏移值，t
y
表示目标中心网格左上角坐标y方向的偏移值,t
w
为矩形框宽度方向上的偏移量，t
h
为矩形框高度方向上的偏移量；进而通过式(4)计算得出预测的bbox坐标值，其中c
x
,c
y
为目标中心网格距图像坐标系原点的偏移量，l
w
,l
h
表示为锚框的宽和高，σ(
·
)为sigmoid函数，其值域为(0,1)起归一化作用，计算结果b
x
,b
y
,b
w
,b
h
表示预测得到的bbox坐标，以网格为单位：卷积神经网络除了需要预测bbox坐标外，还需要预测出类别置信度得分其计算公式如式(5)，其中pr(class
i
)表示目标属于类别i的概率，指预测框和真值框之间的交叠比iou(intersection over union)，pr(class
i
|object)指条件类别概率，表示在目标已经存在的前提下目标属于类别i的概率，pr(object
i
)表示bbox框是否包含目标的概率：得到上述预测值即实现了对领航无人机的识别。5.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，损失函数设计；损失函数loss分为三个部分，定位损失、目标置信度损失和分类损失；(1)定位损失使用最小平方误差mse损失函数，其表达式为式(6)，其中，s表示网格共有s*s个，每个网格有b个候选锚框，t
xi
,t
yi
,t
wi
,t
hi
表示网络输出值即预测值，表示真值，以上数据表示预测/真值坐标相对网格左上角坐标的偏移量，系数目的是提升对小物体的检测效果，以及表示第i个网格的第j个锚框anchor是否负责预测该目
标，若负责预测为1，否则为0，该定位损失函数是通过计算定位框的坐标预测值与真值之间的差值平方的和得到：使用基于giou的定位损失函数替代mse来作为网络的定位损失函数项，iou即交并比，计算的是预测边框面积和真实边框面积的交集和并集的比值，计算公式为式(7)，进行优化后计算公式为式(8)，引入最小包围区域c，进而定位损失函数表示为式(9)：后计算公式为式(8)，引入最小包围区域c，进而定位损失函数表示为式(9)：后计算公式为式(8)，引入最小包围区域c，进而定位损失函数表示为式(9)：(2)目标置信度损失目标置信度损失函数如式(10)所示，其中co表示物体的置信度，为真值，与含义相反：(3)分类损失对于检测物体的分类问题使用二元交叉熵bce(binary cross entropy)函数，如式(11)所示，其中ρ(c)表示类别c的分类概率，以及表示真值：最终的损失函数即为上述三部分相加，loss＝l
giou
+l
conf
+l
cla
。6.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，相对定位解算；单目相机的成像过程可用针孔相机模型来描述，相机坐标系原点设置于摄像机的光心o即针孔模型中的针孔处，习惯上z轴指向相机正前方，根据右手坐标系，x轴和y轴分别指向相机右侧和下侧，从而构成相机坐标系o-x-y-z，设p点为现实世界的空间点，经过光心o投影后，落在物理成像平面坐标系o
′‑
x
′‑
y
′‑
z
′
上，成像点为p
′
，设p的坐标为[x y z]
t
,p
′
的坐标为[x
′ꢀ
y
′ꢀ
z
′
]
t
,焦距f大小为像素平面到小孔的距离，从而，根据相似三角形关系，得式(12)：
相机的最终输出为由像素点组成的图片，需要建立像素坐标系o-μ-ν，通常定义方式为：图片左上角第一个像素点位置为原点o，μ轴向右和x正半轴平行，ν轴向下和y轴负半轴平行，从物理成像平面坐标系转换至像素坐标系，经过了缩放与平移，设在μ轴和ν轴分别缩放了p和q倍，原点平移坐标为则物理成像平面p
′
到像素平面的转换关系如式(13)所示：代入式(12)，得到其中f
x
＝pf,f
y
＝qf，像素f单位为米，p、q单位为像素/米，故f
x
、f
y
的单位为像素，进一步将式(14)写为矩阵形式得：式(15)中，由元素f
x
,f
y
,组成的r
3*3
矩阵即为相机的内参数矩阵k，采用张氏标定法进行相机标定；[x y z]
t
为图片中像素坐标系[μ ν]
t
所对应的相机坐标系下的三维坐标，也是相对定位算法最终要求得的坐标，根据相似三角形原理，可以计算得出深度信息z如式(16)所示，其中w
uav
为由无人机轴距计算出的无人机水平宽度，μ
uav
为无人机在图片中的像素宽度：无人机控制算法设计；根据计算出的无人机相对位置关系，以无人机的速度为控制输入，对跟随无人机位置进行控制，其中采用pid控制器，控制输入u如式(17)所示：其中p
d
∈r3为期望相对位置输入，p
b
＝[x y z]
t
∈r3为机体坐标系下的无人机位置，k
p
,k
i
,k
d
分别为控制器的p、i、d项控制参数。
技术总结
本发明属于无人机编队感知研究领域，针对GPS拒止环境下无人机编队的定位问题，为提出一种新型多无人机基于单目视觉的智能识别及相对定位算法，并进行微型无人机编队实时飞行实验。本发明采用的技术方案是，多无人机基于单目视觉的智能识别及编队相对定位方法，在跟随无人机上，根据单目视觉信息，并利用基于Darknet的卷积神经网络在线检测识别视野中的领航无人机，利用识别结果计算出跟随无人机自身相对领航机的相对位置，利用控制算法实现跟随无人机对领航机跟踪。本发明主要应用于无人机编队控制场合。机编队控制场合。机编队控制场合。
技术研发人员：鲜斌 费思远
受保护的技术使用者：天津大学
技术研发日：2022.01.30
技术公布日：2022/6/4