一种无人机全景视觉跟踪方法、无人机以及控制终端与流程

本发明实施方式涉及无人机领域，特别是涉及一种无人机全景视觉跟踪方法、使用该方法的无人机以及控制终端。

背景技术：

目前，随着无线互联和图像处理技术的发展，现有的传输技术和图像融合处理技术已经可以支持无人机实现高分辨率图像的拍摄并结合控制器或者移动终端应用实现视觉跟踪。

如中国专利申请第201511026140.7号所披露的无人机跟踪方法，该申请披露了一种多旋翼无人机跟拍路径规划与跟踪方法，设定无人机与跟拍目标之间的相对位置参数，获得跟拍目标当前制导周期的位置，获得跟拍目标当前制导周期的速度矢量；根据无人机与跟拍目标之间的相对位置参数、跟拍目标当前制导周期的位置与速度矢量，获得无人机当前制导周期的期望位置；根据上一个制导周期计算所得目标航路点与当前制导周期内的目标航路点对当前制导周期内的目标航路点进行跟踪；相机云台根据相机云台的期望俯仰角和相机云台的期望视线偏角进行实时跟拍。本发明能够锁定无人机的拍摄视角，并能够根据需要实时改变视角；航线跟踪环节采用了航向角的比例控制，所得的无人机轨迹更为平滑。

现有的无人机跟踪，一般基于无人机的单相机拍摄图像识别目标来实现视觉跟踪的技术方案。但是基于单相机的无人机跟踪，单相机的视野有限，一般FOV(Field of View)在100度左右，视野窄，造成无人机一般采用低于大于180度视场的跟踪方案。对于单相机没有覆盖到的视角，图像不可见，使得很多无人机应用受到限制。

因此，现有无人机跟踪技术还有待于改进和发展。

技术实现要素：

本发明实施方式主要解决的技术问题是提供一种无人机全景视觉跟踪方法、使用该跟踪方法的无人机以及控制终端，解决小FOV相机只能拍摄跟踪部分视角的技术问题，从而获得360度球体全景图像，实现多相机全景成像和图像数据融合。

为解决上述技术问题，本发明实施方式采用的一个技术方案是：

提供一种无人机全景视觉跟踪方法，包括：

获取多个相机在同一时间点拍摄的图像；

拼接该多个相机在同一时间点拍摄的图像形成全景图像；

将每次拼接的该全景图像传送至与无人机无线连接的控制终端。

优选的，该无人机全景视觉跟踪方法还包括：

获取用户选择的跟踪目标对象；

根据跟踪目标对象的图像信息，推算出该跟踪目标对象的移动轨迹信息；

根据获取的该移动轨迹信息对该跟踪目标对象进行定位和航迹追踪。

其中，在无人机视觉跟踪异常时，该控制终端在显示界面展示异常提示信息。

作为本申请的另一种实施例，该无人机的控制终端连接VR设备，用于将收到的图像或者影像输出至VR设备显示。

其中，该全景图像基于球面坐标，由多个特定视场的相机拍摄图像并拼接而成；在球面坐标下拼接该多个相机图像时，重叠部分的图像采用对每个像素取均值的方式融合，从而得到该全景图像。

作为图像采集的一种实施方式，该全景图像基于球面坐标，由两个大于180度视场的相机拍摄图像并拼接而成；在球面坐标下拼接该两个个相机图像时，重叠部分的图像采用对每个像素取均值的方式融合，从而得到该全景图像。

为解决上述技术问题，本发明实施方式采用的另一个技术方案是：

提供一种全景视觉跟踪无人机，包括机身、安装在机身的多个相机以及飞行控制器，该多个相机用于在同一时间点拍摄图像；该飞行控制器设置拼接模块，用于拼接该多个相机在同一时间点拍摄的图像形成全景图像；该飞行控制器还包括发送模块，用于将每次拼接的该全景图像传送至与无人机无线连接的控制终端。

其中，该无人机还包括视觉跟踪模组，该视觉跟踪模组包括跟踪信息获取模块以及定位跟踪模块，该跟踪信息获取模块，用于根据跟踪目标对象的图像信息，推算出该跟踪目标对象的移动轨迹信息，该定位跟踪模块用于根据该移动轨迹信息对该跟踪目标对象进行定位和航迹追踪。

该控制终端还包括：接收模块，该接收模块用于接收从无人机发送过来的全景图像；显示模块，用于在控制终端显示该全景图像；交互模块，用于获取用户选择的跟踪目标对象；发送模块，用于将用户选择的跟踪目标对象发送至无人机完成对该跟踪目标对象的定位和航迹追踪。

优选的，该控制终端还包括异常提示模块，用于在无人机视觉跟踪出现异常时，展示异常提示信息。

作为本申请的一种实施例，该无人机的控制终端连接VR设备，用于将收到的图像或者影像输出至VR设备显示。

该全景图像基于球面坐标，由多个特定视场的相机拍摄图像并拼接而成，其中，在球面坐标下拼接该多个相机图像时，重叠部分的图像采用对每个像素取均值的方式完成融合。

优选的，该无人机设置云台模块对多个相机进行增稳。

为解决上述技术问题，本发明实施方式采用的再一个技术方案是：

提供一种用于无人机全景视觉跟踪的控制终端，包括：

接收模块，该接收模块用于接收从无人机发送过来的全景图像，其中，该无人机的多个相机用于获取多个相机在同一时间点拍摄的图像，该无人机还用于拼接该多个相机在同一时间点拍摄的图像形成全景图像；

显示模块，用于显示该全景图像；

交互模块，用于获取用户选择的跟踪目标对象；

发送模块，用于将用户选择的跟踪目标对象发送至无人机，其中，该无人机根据该跟踪目标对象的图像信息，推算出该跟踪目标对象的移动轨迹信息，完成进行定位和航迹追踪。

其中，该控制终端还包括异常提示模块，用于在无人机视觉跟踪出现异常时，展示异常提示信息。

作为本申请的一种实施例，该控制终端连接VR设备，用于将收到的图像或者影像输出至VR设备显示。

优选的，该全景图像基于球面坐标，由多个特定视场的相机拍摄图像并拼接而成，其中，在球面坐标下拼接该多个相机图像时，重叠部分的图像采用对每个像素取均值的方式完成融合。

本发明实施方式的有益效果是：本实施例中提供的无人机全景视觉跟踪方法、使用该跟踪方法的无人机以及控制终端，采用多个相机获取多个相机图像然后拼接形成全景图像并传给跟踪终端使用，不仅可以获得360度球体全景图像，实现多相机的全景成像以及多相机图像数据的融合，而且基于该全景图像可以实现无人机全视角目标跟踪。

附图说明

图1是本发明实施方式的无人机的结构示意图；

图2是本发明实施方式的无人机全景视觉跟踪方法的工作原理图；

图3是本发明实施方式的无人机全景视觉跟踪方法的控制终端流程图；

图4是本发明实施方式的无人机全景视觉跟踪方法的一种实施例工作原理图；以及

图5是本发明实施方式的无人机全景视觉跟踪法的模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本申请实施例提供的无人机全景视觉跟踪方法、使用该跟踪方法的无人机以及控制终端，解决小FOV相机只能拍摄跟踪部分视角的技术问题，并可拼接获得360度球体全景图像，实现多相机全景成像和图像数据融合。

请参考图1，所示为本申请实施例无人机的结构示意图。

本实施例中的无人飞行器采用四旋翼无人机。无人飞行器采用四个小巧的螺旋桨，具有飞行安全控制灵活等特点，能够实现六个自由度的飞行。

本申请实施例中的全景视觉跟踪无人机20与控制终端10无线连接，该控制终端可以是遥控中心也可以是手机应用，该无线连接可以是无线电遥控，或者wifi连接或者通过无线网络3G/4G连接。作为一种实施方式，该无人机20的控制终端10可连接VR设备60用于将收到的全景图像或者影像输出至VR设备显示。

该无人机20包括机身22、安装在机身的多个相机以及飞行控制器40。

该多个相机的数量由相机的视场(FOV)属性决定。如果相机的视场为120度，为了拼接全景图像，需要3个拍摄相机。如图4所示，如果相机采用视场为180度的鱼眼相机，则只需要2个相机即可拼接全景图像。

为了便于说明本申请技术方案，以下无人机方案中以设置两个视场为180度的鱼眼相机为例加以阐述。该多个相机52、54可以单次拍摄图片或者以一定频率连拍录像。该多个相机52、54同一时间点各自获取多个相机图像，本实施例采用视场为180度的鱼眼相机，每次获取两个相机图像。

请一并参考图5，该飞行控制器40设置拼接模块42，该拼接模块42拼接该多个相机同一时间点拍摄的多个相机图像形成全景图像。在采用视场为180度鱼眼相机的实施例中，两个相机52、54每次获取两个相机图像，该拼接模块42拼接该两个鱼眼相机的图像形成全景图像。

该无人机的飞行控制器40还包括视觉跟踪模组，作为一种预先识别目标对象的实施例，该视觉跟踪模组包括识别模块48、跟踪信息获取模块49以及定位跟踪模块46。该识别模块48从该全景图像中获取可识别的目标对象及其所在区域的图像信息。该跟踪信息获取模块49根据该跟踪目标对象的图像信息，推算出该跟踪目标对象的移动轨迹信息。该定位跟踪模块46根据该移动轨迹信息对该跟踪目标对象进行定位和航迹追踪。在其它实施方式中，可以不设置该识别模块48，目标对象的识别设置在用户交互选择跟踪目标对象完成后再对跟踪目标对象进行识别，简化运算量。

该飞行控制器40还包括发送模块44，用于将每次拼接的全景图像传送至与无人机20无线连接的控制终端10。

为了保证无飞机20安装的多个相机可以拍摄出清晰度更高的图像，降低图像模糊的概率，该无人机20设置云台模块，该多个相机安装在可实现三维微调的云台模块上用于对该多个实现全景拍摄的相机进行增稳。

用户通过控制终端10操控无人机20，根据各方向障碍物距离情况，进行无人机的飞行控制。包括无人机的直线飞行、转向飞行，加速飞行，减速飞行，绕行飞行，刹车飞行等。

请参考图5，所示实施例的无人机20在获取了全景图像或者全景影像后，为了建立与用户的交互达到全景跟踪的目的，该无人机的飞行控制器40还包括视觉跟踪模组，该视觉跟踪模组包括识别模块48、跟踪信息获取模块49以及定位跟踪模块46。对应的该控制终端10还包括接收模块11、显示模块12、交互模块14、异常提示模块18以及发送模块19。本实施例中，目标对象的识别设置交互完成之前，针对全景图像预先提取可识别目标对象并发送给控制终端10显示给用户，以方便用户确定哪些目标对象可以作为可以跟踪的目标对象，为达到该技术效果本实施例中设置该识别模块48。

该无人机20的该识别模块48从该全景图像中获取可识别的目标对象及可识别的目标对象所在区域的图像信息。该跟踪信息获取模块49根据用户选择的跟踪目标对象的图像信息，推算出该跟踪目标对象的移动轨迹信息。该移动轨迹信息包括跟踪目标对象与无人机的距离，方向等。该定位跟踪模块46根据该移动轨迹信息对该跟踪目标对象进行定位和航迹追踪。该无人机20将获取的全景图像和可识别的目标对象发送至控制终端10。

该控制终端10包括接收模块11、显示模块12、交互模块14、发送模块19。

该接收模块11接收从无人机20发送过来的全景图像和可识别的目标对象。其中，该无人机20的多个相机用于以一定时间间隔单次或者多次拍照，每次获取多个相机图像，该无人机还用于拼接每次拍摄的该多个相机图像形成该全景图像。

该显示模块12显示收到的该全景图像和可识别的目标对象。

该交互模块14获取用户在显示模块12上选择的跟踪目标对象。该控制终端10的交互模块14建立用户与控制终端10的交互，用于获取用户选择的跟踪目标对象。

该发送模块19将用户选择的跟踪目标对象发送至无人机20。其中，该无人机20根据该跟踪目标对象的图像信息，推算出该跟踪目标对象的移动轨迹信息，完成进行定位和航迹追踪。

具体来讲，得到该移动轨迹信息的无人机20为了完成目标追踪还包括定位跟踪模块46。该定位跟踪模块46根据收到的该移动轨迹信息对该跟踪目标对象进行定位和航迹追踪。具体来讲，用户通过控制终端10操控无人机20，根据跟踪目标对象的移动轨迹信息(该移动轨迹信息包括跟踪目标对象与无人机的距离，方向等)以及各方向障碍物距离情况，进行无人机的飞行控制。包括无人机的直线飞行、转向飞行，加速飞行，减速飞行，绕行飞行，刹车飞行等。

该跟踪信息获取模块16获取该移动轨迹信息的方法有多种。比如对于运动的无人机20跟踪应用，如跟踪拍摄。采用传统的haar角点检测，并使用传统的LK光流算法对角点进行跟踪，得到跟踪目标对象在图像的位置。或者轨迹生成算法：根据视觉跟踪算法获取目标对象的移动轨迹信息，所述移动轨迹信息至少包括目标对象相对于无人机的距离信息，方向信息。

为了保证用户获取追踪过程的全部信息，以及时调整修正追踪，该控制终端10还包括异常提示模块18。该异常提示模块18在无人机视觉跟踪出现异常时，为用户展示异常提示信息。具体为在该控制终端10的显示界面上显示与出现的追踪异常对应的异常提示信息。

该跟踪异常处理情况和异常处理方式包括但不限于：

丢失跟踪目标对象时，显示与跟踪目标对象相应的异常提示信息。在无法获取到图像信息且超时，控制终端10无法进行对该跟踪目标对象的视觉跟踪，显示与无法获取图像信息相对应的异常提示信息。在该无人机20的电量过低时，中断对该跟踪目标对象的视觉跟踪，并在控制终端10显示与电量过低相对应的异常提示信息。在信号丢失时，退出视觉跟踪模式，其中，该信号至少包括遥控信号，应用通信信号，飞控信号。在光照强度低于预设阈值时，中断对该跟踪目标对象的视觉跟踪，并显示与光照强度低于预设阈值相对应的异常提示信息。检测到飞行前面有障碍物，显示障碍物异常提示信息。

为了拓展全景图像的应用范围。作为本申请的一种实施例，该无人机20的控制终端10连接VR设备60的VR输入模块62，用于将收到的全景图像或者影像输出至VR设备显示。

该全景图像的拼接是基于球面坐标完成的。该全景图像由多个特定视场的相机拍摄图像并拼接而成，在鱼眼相机实施方式中，该全景图像由两个大于180度视场的相机拍摄图像并拼接而成。其中，在球面坐标下拼接该多个相机图像时，重叠部分的图像采用对每个像素取均值的方式完成融合。

在鱼眼相机实施方式中，该全景图像基于球面坐标，由两个大于180度视场的相机拍摄图像并拼接而成；在球面坐标下拼接该两个个相机图像时，重叠部分的图像采用对每个像素取均值的方式融合，从而得到该全景图像。

请参考图4，在鱼眼相机实施方式中，全景图像获取方法如下：

步骤402：该无人机20设置的云台模块对鱼眼相机进行增稳；

步骤404：1)采集2个鱼眼相机的图像，获取左鱼眼相机图像；获取右鱼眼相机图像。2)球面坐标下拼接图像，利用标定好的相机参数，对图像空间变换，将多个相机图像变换到球面坐标下，得到球面坐标系下的图像。

步骤406：根据控制终端10指令进行录像或者拍照后，针对每次拍摄的多个相机图像进行图像拼接融合成全景图像，在球面坐标下，将两幅相机图像进行融合，对重叠部分的图像进行融合，对重叠部分的每个像素取均值。得到全景图像。

步骤408：图像传输到控制终端10。

请参考图2和图3，本申请实施例还提供一种无人机全景视觉跟踪方法，包括无人机获取全景图像，识别全景图像中可识别的目标对象及其所在区域的图像信息；控制终端基于回传的全景图像和可识别的目标对象与用户交互，无人机根据用户的交互选择结果进行追踪，以及控制终端在虚拟现实场景利用全景图像。本实施例中，目标对象的识别设置交互完成之前，针对全景图像预先提取可识别目标对象并发送给控制终端10显示给用户，以方便用户确定哪些目标对象可以作为可以跟踪的目标对象。

请参考图2，无人机获取全景图像的过程如下：

步骤202：该无人机20设置的云台模块对完成全景图像拍摄的多个相机进行增稳；

步骤204：1)采集多个相机的图像，本实施例基于不同视场的相机，为拼接全景图像设置N个相机，获取第一相机图像；…获取第N相机图像。2)球面坐标下拼接相机图像，利用标定好的相机参数，对图像空间变换，将多个相机图像变换到球面坐标下，得到球面坐标系下的图像。

步骤206：根据控制终端10指令进行录像或者拍照后，针对每次拍摄的多个相机图像进行图像拼接融合成全景图像，在球面坐标下，将多幅相机图像进行融合，对重叠部分的图像进行融合，对重叠部分的每个像素取均值。得到全景图像。

步骤208：图像传输到控制终端10。

该无人机20获取全景图像后，识别提取图像中的可识别目标对象。该无人机20将该全景图像和可识别目标对象发送至控制终端10。控制终端10对可识别的目标对象进行特殊标示后在显示界面显示给用户，用作交互选择。

请参考图3，所示为控制终端完成交互以及无人机完成追踪的过程。

步骤302：无人机20从全景图像中获取可识别的目标对象及该可识别的目标对象所在区域的图像信息，无人机20将该全景图像和可识别的目标对象发送至控制终端10；

步骤304：该步骤完成用户与控制终端的交互，用户可在控制终端选择跟踪目标对象，在交互时，用户在控制终端的显示界面上选择突出标示的目标对象，具体实施上，在显示界面的全景图像，交互应用将可识别的目标对象通过矩形，圆，三角型等标示软件工具圈出突出显示，以方便用户在全景图像上进行目标对象的选择；用户完成选择交互以后，控制终端的发送模块19将用户选择的跟踪目标对象发送至无人机20。

步骤306：识别置信度判断步骤，其中，该步骤中预先设置可靠度阈值T，如果无人机识别的目标对象识别结果大于一定阈值T，则认为用户选择的跟踪目标对象识别可靠；否则，用户需在控制终端重新选择跟踪目标对象；如果目标识别可靠，用户还需通过控制终端对跟踪目标对象进行确认，在无法确认的情况下还需在控制终端重新选择跟踪目标对象。控制终端的应用根据可靠和不可靠判断结果在显示界面给用户作出提示。如果目标识别可靠，需要用户确认是否进行跟踪，用户确认跟踪后，控制终端的发送模块19将通知无人机20的全景跟踪系统进入自动跟踪状态。

步骤308：无人机开始目标跟踪的步骤；无人机的飞行控制器根据跟踪目标对象的图像信息，推算出该跟踪对象的移动轨迹信息，亦即距离、方向的轨迹；无人机根据移动轨迹信息以及各方向障碍物距离情况，进行无人机的飞行控制。

步骤310：追踪异常处理步骤，该步骤由控制终端完成，控制终端汇集各种飞行和跟踪参数，并判断是否退出全景视觉跟踪；比如：丢失跟踪目标对象时，显示与跟踪目标对象相应的异常提示信息。在无法获取到图像信息且超时，控制终端10无法进行对该跟踪目标对象的视觉跟踪，显示与无法获取图像信息相对应的异常提示信息。在该无人机20的电量过低时，中断对该跟踪目标对象的视觉跟踪，并在控制终端10显示与电量过低相对应的异常提示信息。在信号丢失时，退出视觉跟踪模式，其中，该信号至少包括遥控信好，应用通信信号，飞控信号。在光照强度低于预设阈值时，中断对该跟踪目标对象的视觉跟踪，并显示与光照强度低于预设阈值相对应的异常提示信息。检测到飞行前面有障碍物，显示障碍物异常提示信息。

步骤312：在没有出现跟踪异常的时候，无人机的飞行控制器控制飞机飞行，对跟踪目标对象进行定位和航迹追踪。

在鱼眼相机实施方式中，该全景图像基于球面坐标，由两个大于180度视场的相机拍摄图像并拼接而成；在球面坐标下拼接该两个个相机图像时，重叠部分的图像采用对每个像素取均值的方式融合，从而得到该全景图像。

将全景图像和无人机的目标对象识别结果传送给控制终端，如无人机遥控中心或者手机移动终端。

控制终端接收无人机发送的全景图像和可识别目标对象，并在显示模块12显示全景图像以及将可识别目标对象突出显示给用户。亦即在全景图像中，对识别成功的目标对象进行突出标示。

用户在控制终端选择需要跟踪的跟踪目标对象完成交互。

该控制终端再将用户的选择发送无人机。该无人机获取目标对象的区域图像信息，找到跟踪目标对象的图像信息，根据视觉跟踪算法获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪。

其中，所述移动轨迹信息至少包括跟踪目标对象相对于无人机的距离信息，方向信息。飞行控制系统根据目标对象的移动轨迹信息控制无人机进行目标跟踪跟随。同时，设置的多个相机进行全景拍照或者录像。

本技术方案中：采用多个相机获取多个相机图像然后拼接形成全景图像并传给跟踪终端使用，不仅可以获得360度球体全景图像，实现多相机的全景成像以及多相机图像数据的融合，而且基于该全景图像可以实现无人机全视角目标跟踪；同时，本申请技术方案不仅可以用于无人机全景跟踪拍摄，而且拍摄的全景图像或者视频，通过控制终端传送至连接VR设备，使得用户可以在VR设备在线或者离线观看跟踪图像或者影像。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。