无人机系统对运动物体的识别追踪方法与流程

本发明涉及一种目标识别跟踪方法，具体而言，涉及一种无人机系统对运动物体的识别追踪方法，属于模式识别和图像处理技术领域。

背景技术：

物体的检测与识别是计算机视觉中的一项重要技术，目前已经在多个领域得到了广泛地运用，如车牌识别、人脸识别、人流量检测、图像搜索等。在机器人领域中，物体识别是机器视觉的重要任务，它使机器人对外界物体的感知更加智能化，能够使其对所处的环境更好地“理解”，因此，可以说，物体识别的研究能够为机器人创造更加丰富的功能。

近年来，无人机系统在农业监控、濒危动物保护、物流运输、抢险救援、疾病监控、地质勘测、电力巡查、采访报道、影视作品拍摄等等方面都有应用，也正是由于其具有适用范围广、使用方式多样等优点，世界各国、尤其是发达国家目前都在积极扩展其应用范围与技术水平。

对于无人机平台而言，物体的检测与识别起到了十分重要的作用。现阶段的无人机还不能够完全脱离手动控制进行飞行，它们除了依据事先设置的模式和路线飞行外，还必须人为地进行远程操作，需要通过操控者直接观察其飞行状态或采用无线设备传送图像进行实时监控。所以，视野受阻挡或无线信号中断可能会在飞行的过程中极大地影响人的判断和实时监控的准确率，从而造成无人机的安全性的下降和应用范围的缩小。如果必须要对无人机操控者进行专门的训练才能够使用无人机，当今社会人力成本的日益提高必定使得其的使用成本有所增加，也必定会增加其向多个使用领域进行拓宽的难度。

综上所述，如何在现有技术的基础上提出一种具备有效的物体检测、识别功能的无人机视觉系统，实现对现有无人机技术的进一步发展与完善，使其能够在更多的领域内充分发挥作用，也就成为了本领域内技术人员亟待解决的问题。

技术实现要素：

鉴于现有技术存在上述缺陷，本发明的目的是提出一种无人机系统对运动物体的识别追踪方法，无人机系统包括运动控制模块、通信模块及无人机视觉模块，包括如下步骤：

s1、系统初始化，无人机视觉模块采集图像信息，检测定位圆盘的颜色及位置，随后完成对运动物体的识别检测；

s2、运动控制模块依据识别检测的结果选择相应的识别模式，计算无人机运动所需的运动控制信息；

s3、运动控制模块借助通信模块与无人机视觉模块进行控制指令通信，实时提供运动控制信息。

优选地，所述无人机视觉模块包括无人机、openmv组件以及pixhawk飞控板，所述openmv组件及pixhawk飞控板二者均设置于所述无人机上且二者均借助通信模块与运动控制模块通信连接。

优选地，s1具体包括如下步骤：

s11、对无人机系统进行初始化处理；

s12、使用openmv组件上所搭载的摄像头、以图像形式对无人机所处的外界环境信息进行采集；

s13、使用阈值化图像分析的方法对定位圆盘的颜色和位置进行检测处理，得到所需色块的位置信息；

s14、采用逐帧最邻近目标跟踪的方法对运动物体进行识别，通过比较相邻两帧的物体图像信息，找到两帧中颜色相同且位置最近的色块、将二者作为同一个物体在不同帧中的图像，通过比较它们的大小来判断物体是否运动。

优选地，s13具体包括如下步骤：

s131、根据颜色阈值检测出目标物体颜色和黑色的像素，对颜色进行标记；

s132、依据标记结果分别对图像进行阈值化，即基于颜色空间设置相应的阈值范围，将图像进行阈值化处理；

s133、对阈值化后的图像进行连通区域提取，滤除不符合要求的色块，最终得到所需色块的位置信息。

优选地，s13还包括如下步骤：

s134、依据检测过程中的图像信息设置多个标志位，各个标志位以区域颜色、像素值、中心点坐标信息为基础进行变化；

所述标志位共包括六种，分别为黑色块是否检测到、黑色块是否在中心、物体是否下落运动、是否开始识别物体、物体是否过大、目标颜色的物体是否检测到。

优选地，s13中所述对定位圆盘的颜色和位置进行检测，包括以下情况：

当无人机系统在识别运动物体时，关闭对定位圆盘的检测；

当物体像素值较高时，认为物体已非常接近摄像头，结束对运动物体的识别，重新开始对定位圆盘的检测。

优选地，s2中所述运动控制模块依据识别检测的结果选择相应的识别模式，具体包括如下步骤：运动控制模块依据标志位选择相应的识别模式，标记不同模式与各个标志位的对应关系，当标志位的值符合表中某一个模式的要求时，所述运动控制模块执行该模式下的相应操作。

优选地，s2中所述识别模式主要包括三种类型，分别为追踪黑色块模式、迎击或躲避物体模式、识别任务完成模式。

优选地，s2中所述计算无人机运动所需的运动控制信息，具体包括如下步骤：选取物体相对无人机的偏移量作为运动控制参数，以（0,0）为原点建立坐标系，在坐标系中的x轴和y轴两个方向上计算出目标中心点坐标与视野中心坐标的差值，并保存计算结果，随后在每一组数据的开头和末尾增加相应的标记符号，将整体数据整合成一个完整的字符串，向无人机发送；

所述运动控制参数在每次循环迭代后都会重新置0。

优选地，所述通信模块选用uart串口，采用自定义帧的格式；在对所述uart串口进行通信行初始化时，设置串口id为3，波特率为9600，数据位、奇偶校验位、停止位均选取默认参数。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明提出的无人机系统对运动物体的识别追踪方法，通过图像阈值化、连通区域检测和过滤等图像识别算法，实现了对多个不同颜色物体在多种模式下的识别与追踪。

同时，本发明根据不同的物体追踪情况，通过通信接口实时地向无人机传输迎击、躲避等运动策略信息，不仅避免了实际环境中光线变化对识别的干扰，而且确保了运动策略的准确性和信息传输的实时性。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他目标跟踪方法的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明的方法流程图；

图2为无人机系统中无人机视觉模块的内部组成关系图；

图3为无人机系统的软件主要功能设计图；

图4为运动物体检测的流程图。

具体实施方式

在本发明的应用步骤前，首先需要搭建无人机系统的硬件和外接设备，无人机系统包括运动控制模块、通信模块及无人机视觉模块。运动控制模块主要完成无人机姿态、速度、高度等飞行状态的控制；无人机视觉模块负责采集外界物体的信息，实现目标检测、目标识别、目标追踪、避障等功能；通信模块负责信息的发送和接收，实现上述两者之间的信息传递，使无人机视觉模块中采集到的相关信息被运动控制模块加以运用，让无人机实现符合期望的动作。

为了实现图像采集、目标检测、目标识别、目标追踪、避障和通信等功能，本发明中的无人机系统的算法主要包含了摄像头采集初始化、目标检测（中心定位圆盘检测和运动物体检测）、识别模式判断与控制参数计算、openmv与无人机的通信四个部分。

在无人机视觉模块进行物体识别任务的过程中，目标检测主要完成判断图像中是否存在物体或标记圆盘，并得到它们的大小和位置等信息；目标识别则根据上述识别目标的特征对其进行区分；目标追踪主要实现在不同的模式下根据实时相对位置计算无人机控制信息，使无人机对需要迎击的运动物体或静止的标记圆盘进行追踪；避障则计算对需要躲避的物体实现避开的信息。上述功能共同实现了视觉系统的整体功能。

所述无人机视觉模块内部各部分及其之间的关系如图2所示。无人机所处的外界环境信息由openmv上搭载的摄像头以图像的形式进行采集，openmv再对图像中的信息进行检测、识别和处理，从而得到运动控制信息。通信系统选取uart串口，将实时的运动控制信息发送出去。无人机采用pixhawk飞控板实时对信息进行接收和处理，进而改变无人机的飞行状态。uart串口起到了将openmv与pixhawk，即视觉系统与运动控制系统相联系的作用。当无人机飞行状态改变后，外界环境信息相应改变，摄像头采集到图像也产生变化，openmv重新对信息进行一系列处理，运动控制信息得以更新，无人机重新改变飞行状态。如此循环，无人机得以进行有目的的连续运动，实现要求的功能。

如图3所示，无人机系统的软件部分主要功能包括：检测物体和定位圆盘的颜色和位置、识别运动物体、判断识别模式、计算控制信息、控制指令通信。

其中，颜色和位置的检测选取基于lab颜色空间的阈值分割方法。首先，根据颜色阈值检测出红色、黄色和黑色的像素，根据颜色进行标记。然后，据此分别对图像进行阈值化，再对阈值化后的图像进行连通区域提取，滤除不符合要求的色块。最后得到所需色块的位置信息。

识别运动物体采用逐帧最邻近目标跟踪方法，通过比较两帧之间的物体图像信息，找到两帧中颜色相同且位置最近的色块，将两者作为同一个物体在不同帧中的图像，通过比较它们的大小来判断物体是否存在下降运动。识别模式的判断则依据检测过程中的图像信息设置多个标志位，多个标志位有多种不同的取值组合，可以完整地描述并精细地划分不同的识别模式。

所述标志位，在识别模式判断模块中，设置对应的条件语句，在不同情况下，实现在追踪中心定位圆盘模式、迎击或躲避物体模式、识别任务完成模式之间的转换。

运动物体检测部分的流程图如图4所示。运动物体检测涉及物体是否下落运动、目标颜色物体是否检测到两个标志位。主要通过对比上一帧和当前帧中的色块信息，找到当前帧在上一帧中对应的色块，比较两者的像素个数值大小来判断是否存在色块面积的增大，以此来判断运动物体是否存在下降。

识别模式判断模块主要实现根据图像信息判断出不同的识别模式，主要包含以下几种模式：追踪黑色块模式、迎击或躲避物体模式、识别任务完成模式。不同模式与各个标志位的对应关系如表1所示。

表1

与上述硬件和算法、软件部分相对应的，本发明所提出的无人机系统对运动物体的识别追踪方法，如图1所示，在经过摄像头采集初始化操作和初始值设置后，摄像头在一定时间间隔内不断地采集图像，对图像中的物体进行检测，识别出中心定位圆盘和下落物体，再根据检测和识别的结果选择识别模式，计算出运动控制信息，最后将相关的信息传输给无人机，无人机执行对目标物体的追踪或者避障等运动。

总体而言，本发明的方法包括如下步骤：

s1、系统初始化，无人机视觉模块采集图像信息，检测定位圆盘的颜色及位置，随后完成对运动物体的识别检测。

s2、运动控制模块依据识别检测的结果选择相应的识别模式，计算无人机运动所需的运动控制信息。

s3、运动控制模块借助通信模块与无人机视觉模块进行控制指令通信，实时提供运动控制信息。

具体而言，s1包括如下步骤：

s11、对无人机系统进行初始化处理；

s12、使用openmv组件上所搭载的摄像头、以图像形式对无人机所处的外界环境信息进行采集；随后，openmv再对图像中的信息进行检测、识别和处理，从而得到运动控制信息。

s13、使用阈值化图像分析的方法对定位圆盘的颜色和位置进行检测处理，得到所需色块的位置信息；此处对于颜色和位置的检测选取基于lab颜色空间的阈值分割方法。

s13具体包括如下步骤：

s131、根据颜色阈值检测出目标物体颜色和黑色的像素，对颜色进行标记；

s132、依据标记结果分别对图像进行阈值化，即基于颜色空间设置相应的阈值范围，将图像进行阈值化处理；所述阈值化又称为二值化，经过处理之后的图像将会只存在两个亮度值状态，即黑（值为0）和白（值为255）。

s133、对阈值化后的图像进行连通区域提取，滤除不符合要求的色块，最终得到所需色块的位置信息。需要说明的是，阈值化图像分析中最为关键的方法就是连通区域检测。在将图像阈值化后，需要提取阈值图像中的连通区域。连通区域指的是图像中同时满足像素值相同、位置相邻的一系列像素点组成的图像区域。连通区域检测通过标记阈值化图像中白色像素，使得每一个单独的连通区域形成整体的目标区域，接下来便可以从目标区域中获取色块的形状、中心、像素个数等参数。

s13还包括如下步骤：

s134、依据检测过程中的图像信息设置多个标志位，各个标志位以区域颜色、像素值、中心点坐标信息为基础进行变化；

所述标志位共包括六种，分别为黑色块是否检测到（is_black_det）、黑色块是否在中心（is_black_center）、物体是否下落运动（is_object_drop）、是否开始识别物体（start_chase_object）、物体是否过大（object_oversize）、目标颜色的物体是否检测到（is_target_color_det）。

多个标志位有多种不同的取值组合，可以完整地描述并精细地划分不同的识别模式，可以避免循环嵌套可能造成的复杂与混乱。

s13中所述对定位圆盘的颜色和位置进行检测，包括以下情况：

当无人机系统在识别运动物体时，关闭对定位圆盘的检测；

当物体像素值较高时，认为物体已非常接近摄像头，结束对运动物体的识别，重新开始对定位圆盘的检测。

s14、采用逐帧最邻近目标跟踪的方法对运动物体进行识别，通过比较相邻两帧的物体图像信息，找到两帧中颜色相同且位置最近的色块、将二者作为同一个物体在不同帧中的图像，通过比较它们的大小来判断物体是否运动。

s2中所述运动控制模块依据识别检测的结果选择相应的识别模式，具体包括如下步骤：运动控制模块依据标志位选择相应的识别模式，标记不同模式与各个标志位的对应关系，当标志位的值符合表中某一个模式的要求时，所述运动控制模块执行该模式下的相应操作。

s2中所述识别模式主要包括三种类型，分别为追踪黑色块模式、迎击或躲避物体模式、识别任务完成模式。

s2中所述计算无人机运动所需的运动控制信息，具体包括如下步骤：选取物体相对无人机的偏移量作为运动控制参数，以（0，0）为原点建立坐标系，在坐标系中的x轴和y轴两个方向上计算出目标中心点坐标与视野中心坐标的差值（带有正负号），并保存计算结果，随后在每一组数据的开头和末尾增加相应的标记符号，将整体数据整合成一个完整的字符串，向无人机发送，以方便无人机的数据接收、提高数据传输的准确率。所述运动控制参数在每次循环迭代后都会重新置0。

以下结合一具体实施例，对本发明的技术方案进行进一步说明。

本实验例中，无人机飞行区域占地5×5米，高度2.5米，气球分布圆直径1米，释放点距离地面高度2.3米。场地地面红色区域为缓冲区，可放置必要的器材，黄色区域为起飞降落区域，蓝色区域为飞行区域，可放置必要的标识图形。3个红气球、1个黄气球共4个气球均匀分布在直径1米的圆上，顶部中央有一个直径0.5米的黑色色块，供无人机进行对准和标定。检测目标物体在无人机上方，呈正方形分部。飞行器水平高度约25厘米，悬停高度距离地面约25厘米。openmv固定于无人机上方，距离地面约50厘米，距离识别目标约2米。

根据算法程序设置，在气球降落到地面之前，无人机必须及时改变自身的位置，尽可能多地迎击红色气球，并躲避黄色气球。无人机到达识别目标正下方时，根据openmv传输的信息，无人机将会及时对上方掉落的不同颜色的气球做出反应，黄色进行规避，红色进行迎击。当气球掉落完毕后，无人机将会结束识别任务进行返回操作。其中黑色标记色块只起到识别中的辅助作用。

openmv采集到的实验图像中，主要有如下几种情况（a-e）：黄色球下降、红色球下降、视野中无物体、物体未下降。需要分别向无人机发送信息：（a）躲避黄色球，即无人机朝右后方飞行；（b）迎击红色球，即无人机朝右前方飞行；（c）向黑色块正中心下方飞行，即左前方；（d）在无气球下降的情况下向黑色块正中心下方飞行，与前一种情况相同；（e）结束识别任务。

每次随机截取50条连续有效的实验数据，分别比对openmv发送出的和pixhawk飞控板接收到的数据，找出出错的数据，得出当前部分数据的准确率。反复测试10次，得到通信数据传输准确率如表2所示，整体准确率达到了96%以上，准确率较高。

表2

当视觉系统放置在无人机上开始执行识别任务时，影响识别准确率的因素主要是环境光线变化和气球掉落的间隔。针对气球掉落间隔因素，保持光照情况基本不变，分别测试了1分钟内、2分钟内、3分钟内三种情况，不同时间间隔内掉落的识别准确率，每种情况测试20次，结果如表3所示。

表3

针对环境光线变化，根据一天中不同时刻光线强度不同，分别在7个时间点进行测试，每个时间点测试20次，使气球在2分钟内随机掉落，结果如表4所示。

表4

无人机系统运动物体的识别追踪方法，通过图像阈值化、连通区域检测等图像识别算法，实现了对多个不同颜色物体在多种模式下的识别与追踪，并成功通过通信接口实时地向无人机传输迎击、躲避等运动策略信息。避免环境光线变化干扰识别，确保运动策略的准确性和信息传输的实时性。

综上所述，本发明提出的无人机系统对运动物体的识别追踪方法，通过图像阈值化、连通区域检测和过滤等图像识别算法，实现了对多个不同颜色物体在多种模式下的识别与追踪。

同时，本发明根据不同的物体追踪情况，通过通信接口实时地向无人机传输迎击、躲避等运动策略信息，不仅避免了实际环境中光线变化对识别的干扰，而且确保了运动策略的准确性和信息传输的实时性。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他目标跟踪方法的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。