一种基于视觉的巡线位置偏移识别系统、方法及无人机与流程

文档序号:19285721发布日期:2019-11-29 23:31阅读:来源:国知局

技术特征:

1.一种基于视觉的巡线位置偏移识别系统,其特征在于,包括特征提取网络、电力线识别模块以及电力塔架及部件识别模块;其中:

所述特征提取网络,输入无人机巡线时采集的图像,提取图像的各级特征信息,用于电力线识别模块和电力塔架及部件识别模块的识别工作;

所述电力线识别模块,根据特征提取网络提取的各级特征信息,对输入图像中的电力线进行识别;当电力线不存在或电力线出现中断时,切换至电力塔架及部件识别模块;

所述电力塔架及部件识别模块,根据非电力线部件识别框的大小及位置确定无人机当前位置是否偏移。

2.根据权利要求1所述的基于视觉的巡线位置偏移识别系统,其特征在于,所述特征提取网络采用卷积神经网络。

3.根据权利要求1所述的基于视觉的巡线位置偏移识别系统,其特征在于,所述电力线识别模块采用弱监督学习的方式,通过是否含有电力线这一类别标签对模块进行训练。

4.根据权利要求1所述的基于视觉的巡线位置偏移识别系统,其特征在于,所述电力线识别模块进行电力线识别的过程为:

s1,采用滑动窗口的方式对输入图像的每一个子区域进行分类,若分类为无电力线区域,该区域置零,若分类为存在电力线区域,则执行s2计算该区域特征图;

s2,综合特征提取网络提取的各级特征信息,将综合后的结果与固定尺寸的高斯核相乘得到最终的特征图;

按照s1和s2的过程遍历整张输入图像,即可识别出输入图像中电力线的位置;

其中:

所述滑动窗口、高斯核以及特征图尺寸均相同。

5.根据权利要求4所述的基于视觉的巡线位置偏移识别系统,其特征在于,所述s2具体为:

设f1至f5为特征提取网络提取的各级特征信息,将f5做双线性插值升采样后与f4结合,得到中间值m4;将m4与f3结合,得到中间值m3;将m3与f2结合,得到中间值m2;将m2与f1结合,得到中间值m1;将m1与高斯核相乘,得到最终的特征图m0;

其中,所述结合是指两图作矩阵乘法。

6.根据权利要求1所述的基于视觉的巡线位置偏移识别系统,其特征在于,所述电力塔架及部件识别模块基于深度学习,采用目标检测算法,在检测到非电力线部件之后,识别该部件种类及位置,得到识别框的大小及位置,对比事先设定的阈值,确定无人机当前位置是否合理,并在位置偏移时发出信号。

7.一种基于视觉的巡线位置偏移识别方法,其特征在于,包括如下步骤:

特征提取:根据无人机巡线时采集的图像,提取图像的各级特征信息,用于电力线识别和电力塔架及部件识别;

电力线识别:根据提取的各级特征信息,对输入图像中的电力线进行识别;当电力线不存在或电力线出现中断时,切换至电力塔架及部件识别;

电力塔架及部件识别:根据非电力线部件识别框的大小及位置确定无人机当前位置是否偏移。

8.根据权利要求7所述的基于视觉的巡线位置偏移识别方法,其特征在于,所述电力线识别的过程为:

s1,采用滑动窗口的方式对输入图像的每一个子区域进行分类,若分类为无电力线区域,该区域置零,若分类为存在电力线区域,则执行s2计算该区域特征图;

s2,综合特征提取网络提取的各级特征信息,将综合后的结果与固定尺寸的高斯核相乘得到最终的特征图:设f1至f5为特征提取网络提取的各级特征信息,将f5做双线性插值升采样后与f4结合,得到中间值m4;将m4与f3结合,得到中间值m3;将m3与f2结合,得到中间值m2;将m2与f1结合,得到中间值m1;将m1与高斯核相乘,得到最终的特征图m0;所述结合是指两图作矩阵乘法;

按照s1和s2的过程遍历整张输入图像,即可识别出输入图像中电力线的位置;

其中:

所述滑动窗口、高斯核以及特征图尺寸均相同。

9.根据权利要求7所述的基于视觉的巡线位置偏移识别方法,其特征在于,所述电力塔架及部件识别的过程为:在检测到非电力线部件之后,识别该部件种类及位置,得到识别框的大小及位置,对比事先设定的阈值,确定无人机当前位置是否合理,并在位置偏移时发出信号。

10.一种无人机,其特征在于,所述无人机安装有权利要求1至6中任一项所述的基于视觉的巡线位置偏移识别系统。


技术总结
本发明提供了一种基于视觉的巡线位置偏移识别系统,包括:特征提取网络、电力线识别模块、电力塔架及部件识别模块;各个部分相互配合,在无人机巡线时实时执行当前位置识别,并在无人机偏离巡线目标时发出信号。特征提取网络负责提取图像的各级特征,用于后续的识别工作。电力线识别模块在训练时仅需类别标签,大大降低了样本标注的工作量。电力塔架及部件识别模块基于目标检测算法,在电力线识别模块识别到电力线形状变化时开始识别此处的部件类型,根据识别框的大小及位置确定无人机当前位置是否偏移。同时提供了一种识别方法和无人机。本发明实现了对巡线无人机的位置识别,并在位置偏移时发出信号,可用于辅助操控或无人机自动巡线等工作。

技术研发人员:李喆;史晋涛;盛戈皞;江秀臣
受保护的技术使用者:上海交通大学烟台信息技术研究院;上海交通大学
技术研发日:2019.07.29
技术公布日:2019.11.29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1