无人机控制方法及音视频数据传输方法与流程

本发明涉及通信技术领域，具体涉及一种无人机控制方法及音视频数据传输方法。

背景技术：

无人驾驶飞机可以简称为无人机(unmannedaerialvehicle，uav)，是一种利用控制设备来控制的不载人飞机。无人机的用途非常广泛，经常被应用于城市管理、农业、勘探、气象、电力、抢险救灾、视频拍摄等行业。通过无人机采集到的大量音视频数据可以帮助人们更好的进行城市管理、农业管理及抢险救灾等。在实际应用中，无人机可能无法直接与用户终端交互，例如，无人机与遥控器交互，然后遥控器再与用户终端交互，数据传输过程复杂，且用户使用也不够方便。另外，根据无人机采集的图像对无人机进行控制对音视频数据传输的实时性要求也较高，因此有必要提供一种更加方便的、实时性强的无人机控制方法及音视频数据传输方法。

技术实现要素：

鉴于以上问题，本发明提出一种无人机控制方法、数据传输方法及设备，用户终端实时接收及播放无人机采集的周围环境的音视频信息，并依据所述音视频信息发出无人机控制指令，控制无人机的运动状态，更加方便的实现无人机的控制及音视频的数据传输。

本申请第一方面提供一种无人机控制方法，应用于无人机，所述方法包括：

接收到启动指令后，控制所述无人机的音视频采集单元采集周围环境中的音视频数据；

将采集到的音视频数据进行编码、封装处理后，通过实时音视频数据传输网络将所述音视频数据发送至音视频数据传输系统，并通过所述音视频数据传输系统将所述音视频数据发送至用户终端；

通过信令传输网络接收所述用户终端发送的无人机控制指令根据所述无人机控制指令控制所述无人机执行相应的操作，其中所述无人机控制指令是根据用户终端接收到的所述无人机发送的音视频数据确定的。

优选地，控制所述无人机的音视频采集单元采集周围环境中的音视频数据还包括：当无人机与音视频数据传输系统之间的数据传输速率大于预设值时，以预设帧速率和/或像素进行图像采集；当无人机与音视频数据传输系统之间的数据传输速率低于预设值时，控制所述音视频采集单元降低采集图像的帧速率和/或降低采集图像的像素值。

优选地，所述方法还包括：通过判断所述无人机中本地视频缓冲区中缓存数据量是否超过缓冲阈值来确定无人机与音视频数据传输系统之间的数据传输速率是否大于预设值；若确定本地视频缓冲区中缓存的数据量小于所述缓冲阈值，则控制所述音视频采集单元以所述预设帧速率和/或像素进行图像采集；若确定本地视频缓冲区中缓存的数据量大于等于所述缓冲阈值，则控制所述音视频采集单元降低采集图像的帧速率和/或降低采集图像的像素值，同时降低每秒向所述音视频数据传输系统发送图像数据的帧率；继续监测所述本地视频缓冲区中缓存的数据量是否小于所述缓冲阈值，若是则控制所述音视频采集单元恢复至所述预设帧速率和/或像素进行图像采集，同时恢复向所述音视频数据传输系统发送图像数据的帧率。

优选地，通过实时音视频数据传输网络将所述音视频数据发送至音视频数据传输系统包括：向所述音视频数据传输系统发送数据传输请求，所述数据传输请求中包括所述无人机对应的ip地址；获取所述音视频数据传输系统为所述无人机分配的距离所述无人机最近的可用服务节点的ip地址；根据所述获取到的服务节点的ip地址将所述音视频数据上传到所述服务节点。

优选地，在音视频数据传输过程还包括前向纠错及自动重传请求。

本发明第二方面提供一种无人机控制方法，应用在用户终端，所述方法包括：

通过实时音视频传输网络向音视频数据传输系统发送请求获取无人机采集的音视频数据的请求信息，所述音视频数据请求信息中包括所述用户终端的ip地址，使得音视频数据传输系统根据所述用户终端的ip地址确定距离所述用户终端最近的可用服务节点，并通过所述服务节点将所述用户终端请求获取的音视频数据发送至所述用户终端；

通过所述实时音视频传输网络获取所述服务节点发送的音视频数据并在上述用户终端进行播放；

接收用户根据所述播放的音视频输入的无人机控制指令，并通过所述信令传输网络将所述无人机控制指令发送至所述无人机，控制所述无人机执行所述控制指令对应的操作。

优选地，通过所述实时音视频传输网络获取所述服务节点发送的音视频数据并在上述用户终端进行播放包括：侦测从所述服务节点获取音视频数据的速率是否小于预设值；当确定从所述服务节点获取音视频数据的速率小于预设值，则增加音视频的播放速度至预设速度；当确定从所述服务节点获取音视频数据的速率大于所述预设值，则将视频的播放速度恢复至预设的原始播放速度。

本发明第三方便提供一种音视频数据传输方法，应用于音视频数据传输系统中，所述音视频传输系统通过实时音视频传输网络与无人机和用户终端交互通信，其中所述音视频数据传输系统包括调度服务器和若干服务节点，所述方法包括：

调度服务器接收无人机发送的数据传输请求，识别所述数据传输请求中的无人机对应的ip地址；

调度服务器根据所述无人机对应的ip地址根据负载均衡状况在所述若干服务节点中确定距离所述无人机最近的可用服务节点，并将所述最近的可用服务节点的ip地址并发送至所述无人机，使得所述无人机根据接收到的所述服务节点的ip地址上传音视频数据；

所述最近的可用服务节点接收所述无人机上传的音视频数据，并将所述接收到的音视频数据在服务节点中进行分发；

所述调度服务器接收用户终端发送的音视频数据请求信息，并识别所述请求信息中的用户终端对应的ip地址；

所述调度服务器根据所述用户终端对应的ip地址确定距离所述用户终端最近的可用服务节点；

所述距离用户终端最近的可用服务节点将所述用户终端请求的音视频数据发送至所述用户终端。

本发明中直接通过用户终端与无人机建立交互通信，无需遥控手柄操作无人机，使用方便。进一步的，用户终端实时接收及播放无人机采集的周围环境的音视频信息，并依据所述音视频信息发出无人机控制指令，控制无人机的运动状态，这样用户可以远程实时观看无人机拍摄的场景并实时下达控制指令控制无人机执行相应的操作，给用户带来便利。更进一步的，在音视频数据传输过程中通过前向纠错及丢包重传、自适应调整帧速率和码率、抖动缓冲、网络智能调度等手段实现低延迟与画面流畅度的平衡，实现无人机远端视频与运动控制的一致性。

附图说明

图1是本发明一个实施方式中无人机控制系统的环境架构示意图。

图2是本发明一个实施方式中无人机的硬件模块示意图。

图3是本发明一个实施方式中用户终端的硬件模块示意图。

图4是本发明一个实施方式中音视频数据传输系统的架构示意图。

图5是本发明一个实施方式中应用于无人机中的无人机控制方法流程图。

图6是本发明一个实施方式中应用于用户终端的无人机控制方法流程图。

图7是本发明一个实施方式提供的应用在音视频数据传输系统的数据传输方法流程图。

主要元件符号说明

无人机控制系统100

无人机11

音视频采集单元110

第一通信单元111

飞行控制单元112

第一处理器113

第一存储器114

无人机中控系统115

采集控制模块1151

数据处理及传输模块1152

控制模块1153

用户终端12

第二通信单元120

显示单元121

输入单元122

第二处理器123

第二存储器124

交互控制系统125

请求模块1251

数据接收模块1252

控制指令发送模块1253

音视频数据传输系统13

云服务平台131

服务节点1310

调度服务器132

实时音视频传输网络14

信令传输网络15

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

请参阅图1，为本发明一个实施方式中无人机控制系统的环境架构示意图。本实施方式中，无人机控制系统100包括无人机11、用户终端12、音视频数据传输系统13，所述无人机11、用户终端12以及音视频数据传输系统13之间通过实时音视频传输网络14建立通信连接，用于进行音视频数据的交互，所述无人机11与用户终端12之间还通过信令传输网络15建立通信连接，用于进行控制信令的交互。其中所述实时音视频传输网络14为基于自身udp(userdatagramprotocol，用户数据报协议)私有协议搭建的一套内容分发网络，所述信令传输网络15为基于传输控制协议(transmissioncontrolprotocol，tcp)的信令传输网络。

请参阅图2，为本发明一个实施例提供的无人机的硬件模块示意图。所述无人机11包括音视频采集单元110、第一通信单元111、飞行控制单元112、第一处理器113及第一存储器114。所述无人机通过所述音视频采集单元110采集音视频数据，并通过所述第一通信单元111将采集到的音视频数据通过实时音视频传输网络14传输至所述音视频数据传输系统13，使得用户终端12通过所述音视频数据传输系统13实时获取所述无人机11采集的音视频数据，用户通过用户终端12实时观看所述无人机11采集的音视频，并根据所述音视频数据实时发送无人机控制指令，控制无人机根据用户的指令执行相应操作。所述第一通信单元111还用于通过信令传输网络15接收所述用户终端12发送的无人机控制指令，并根据所述控制指令控制所述飞行控制单元112调整无人机的运动状态，从而执行相应的操作，其中，所述无人机执行的操作可以包括但不限于调整飞行轨迹(例如调整飞行高度、飞行方向等)、执行物品投递、施肥、喷洒农药、语音播放等，可以理解的是，根据无人机应用的场景不同所述无人机执行的操作可以多种多样，本发明对此不作限制。举例而言，在一个实施例中，当利用无人机11进行视频航拍时，用户通过用户终端12实时观看无人机11拍摄的音视频数据来确定无人机11是否到达指定拍摄目标所在位置，并根据观看到的音视频内容发送“跟踪目标”的操作指令，来实时控制无人机11跟踪所述拍摄目标。在另一个实施例中，当利用无人机11对农作物进行施肥时，用户通过用户终端12实时观看无人机11拍摄的画面确定无人机11是否到达需要施肥的位置，如果确定无人机11到达需要施肥的位置，则所述用户终端11发送“施肥”这一无人机控制指令，实时控制所述无人机11执行施肥的操作。所述第一处理器113可以是中央处理单元(centralprocessingunit，cpu)，还可以包括其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述第一存储器114可用于存储计算机程序和各种数据，所述第一处理器113通过运行或执行存储在所述第一存储器114内的计算机程序，以及调用存储在第一存储器114内的数据，实现所述无人机的各种功能。所述第一存储器114可以包括外部存储介质，也可以包括内存。此外，第一存储器114可以是高速随机存取存储器，还可以是非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施方式中，所述第一存储器114中存储有一无人机中控系统115，所述无人机中控系统115可以包括一个或多个程序形式的计算机指令，该一个或多个程序形式的计算机指令储存于所述第一存储器114中，并由所述第一处理器113执行。所述无人机中控系统115可以包括一个或多个模块，所述模块是指利用程序语言例如java、c语言编写的软件指令集合。例如图2所示的无人机中控系统115可以包括采集控制模块1151、数据处理及传输模块1152、控制模块1153。各个模块的功能将在后面结合图5中的方法进行详细说明。

请参阅图3，为本发明一个实施例提供的用户终端12的模块示意图。所述用户终端12包括第二通信单元120、显示单元121、输入单元122、第二处理器123及第二存储器124。所述第二通信单元120用于通过实时音视频传输网络14从所述音视频数据传输系统13获取无人机11拍摄的实时音视频数据，还用于通过信令传输网络15向所述无人机11发送无人机控制指令，以控制所述无人机11的飞行状态。所述显示单元121显示从所述音视频数据传输系统13获取的无人机11拍摄的实时音视频数据。所述输入单元122用于接收用户输入的无人机控制指令，所述无人机控制指令通过所述第二通信单元120发送至无人机11。所述第二处理器123可以为中央处理器、微处理器、或任何能够执行数据处理功能的处理器芯片。

所述第二存储器124中还存储有交互控制系统125，所述交互控制系统125可以包括一个或多个程序形式的计算机指令，该一个或多个程序形式的计算机指令储存于所述第二存储器124中，并由所述第二处理器123执行。所述交互控制系统125可以包括一个或多个模块，所述模块是指利用程序语言例如java、c语言编写的软件指令集合。例如图3所示的交互控制系统125包括请求模块1251、数据接收模块1252、控制指令发送模块1253。各个模块的功能将在后面结合图6中的方法进行详细说明。

本实施方式中，所述用户终端12可以是但不限于手机、平板电脑、台式计算机等终端设备。

请参阅图4，为本发明一个实施方式中音视频数据传输系统的架构示意图。所述音视频数据传输系统13包括云服务平台131及调度服务器132，所述云服务平台131包括若干服务节点1310，每一个服务节点1310对应一个ip地址。所述音视频数据传输系统13的具体工作原理将结合图7中的方法进行详细说明。

图5是本发明一个实施方式提供的应用于无人机中的无人机控制方法流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本发明实施例相关的部分。

如图5所示，所述应用于无人机中的无人机控制方法具体包括以下步骤：

s51、无人机11接收到启动指令后，采集控制模块1151控制所述无人机11的音视频采集单元110采集周围环境中的音视频数据。

本实施方式中，所述采集控制模块1151根据无人机11与音视频数据传输系统13之间的网络连接状态控制所述音视频采集单元110采集图像的帧速率及/或每张图像的像素值。当无人机11与音视频数据传输系统13之间的数据传输速率大于预设值时，以预设帧速率和/或像素进行图像采集，当无人机与音视频数据传输系统13之间的数据传输速率低于预设值时，所述采集控制模块1151控制所述音视频采集单元110降低采集图像的帧速率和/或降低采集图像的像素值。网络连接状态的判断方法将在后面进行详细描述。举例而言，当网络中数据传输速率正常时，控制所述音视频采集单元110每20毫秒采集一张图像；当数据传输速率低于正常值时，控制所述音视频采集单元110每40毫秒采集一张图像，同时降低图像的像素值；当数据传输速率恢复正常时，将帧速率和采集图像的像素在恢复至正常状态。

s52、所述数据处理及传输模块1152对所述音视频采集单元110采集到的音视频数据进行编码封装处理后，控制所述无人机11的第一通信单元111将所述编码封装后的音视频数据通过实时音视频传输网络14发送至所述音视频数据传输系统13，并通过所述音视频数据传输系统13将所述音视频数据发送至用户终端12。

具体地，在本发明一个实施方式中，所述数据处理及传输模块1152将编码后的音视频数据发送至所述音视频数据传输系统13的方法包括：

(1)向所述音视频数据传输系统13发送数据传输请求，所述数据传输请求中包括所述无人机11对应的ip地址；

(2)获取所述音视频数据传输系统13为所述无人机11分配的距离所述无人机最近的可用服务节点1310的ip地址；

(3)根据所述获取到的服务节点1310的ip地址将编码后的音视频数据上传到所述服务节点1310。

在本发明一个实施方式中，所述采集控制模块1151将采集到的音视频数据缓存在本地视频缓冲区中，同时将本地视频缓冲区的音视频数据发送至所述音视频数据传输系统13，所述步骤s52还进一步包括：

(1)所述数据处理及传输模块1152判断本地视频缓冲区中缓存数据量是否超过缓冲阈值；

(2)若确定本地视频缓冲区中缓存的数据量小于所述缓冲阈值，则确定当前网络传输速率正常，所述采集控制模块1151控制所述音视频采集单元110以正常的帧速率和/或像素进行图像采集；

通过本地视频缓冲区中缓存的数据量大小来确定当前网络传输速率的原理是，采集的音视频数据以一定速率缓存至缓冲区的同时缓冲区的音视频数据也以一定速率发送出去，当缓存速度与发送速度匹配时，缓冲区的数据量会小于一定值，但是当缓存至缓冲区的速度不变而缓冲区的数据量突然增大，则说明发送的速度下降，由此可以确定传输至音视频数据传输系统13的数据传输速率下降，出现异常；

(3)若确定本地视频缓冲区中缓存的数据量大于等于所述缓冲阈值，则确定当前网络传输速率出现异常，所述采集控制模块1151控制所述音视频采集单元110降低采集图像的帧速率和/或降低采集图像的像素值，同时降低每秒向所述音视频数据传输系统13发送图像数据的帧率，即降低每秒发送图像的数据，从而降低推流(即将采集到的音视频上传至音视频数据传输系统)码率，来适配当前的网络状态；

(4)继续监测所述本地视频缓冲区中缓存的数据量是否小于所述缓冲阈值，若是则确定当前网络传输速率恢复正常，所述采集控制模块1151控制所述音视频采集单元110恢复正常的帧速率和/或像素进行图像采集，同时恢复向所述音视频数据传输系统13发送图像数据的帧率，即恢复推流的码率。通过这种方式，根据网络状况做到码率和帧速率的智能调节，保障了画质和流畅性的平衡效果。

本发明一个实施方式中，在将所述编码后的音视频数据发送至所述音视频数据传输系统13的过程中，使用前向纠错(forwarderrorcorrection，fec)及自动重传请求(automaticrepeat-request，arq)的策略，一方面保障带宽的充分利用，另一方面不至于因为抢带宽造成通信链路阻塞。fec是增加数据通讯可信度的方法，是利用数据进行传输冗余信息的方法，当传输中出现错误，将允许接收器再建数据。arq是通过接收方请求发送方重传出错的数据报文来恢复出错的报文。本实施方式中的fec及arq可以利用现有技术实现，在此不再赘述。

步骤s53、所述数据处理及传输模块1152利用所述第一通信单元111通过信令传输网络15接收用户终端12发送的无人机控制指令，其中所述无人机控制指令是根据用户终端12接收到的所述无人机11发送的音视频数据确定的。举例而言，用户通过所述用户终端12观看到无人机11拍摄的场景后，根据所述场景发出当前场景下无人机需要执行的操作的控制指令，例如通过用户终端上的农业无人机拍摄的图像确定农业无人机已经到达需要施肥的位置后，发出施肥的操作指令。

其中，步骤s53还包括：所述无人机11在接收到所述无人机控制指令后，通过串口协议将所述无人机控制指令解析为机器行为指令。

步骤s54、所述控制模块1153根据所述无人机控制指令控制无人机11执行相应的操作。

步骤s55、所述控制模块1153判断所述无人机控制指令是否为结束指令，若是结束指令，则执行步骤s56：无人机11停止音视频图像的采集并降落至指定位置；若否，则返回步骤s51。

图6为本发明一个实施方式提供的应用于用户终端的无人机控制方法流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本发明实施例相关的部分。

如图6所示，所述应用于用户终端中的无人机控制方法具体包括以下步骤：

步骤s61、用户终端12中的请求模块1251通过实时音视频传输网络14向音视频数据传输系统13发送请求获取无人机11采集的音视频数据的请求信息，所述音视频数据请求信息中包括所述用户终端12的ip地址，使得音视频数据传输系统13根据所述用户终端12的ip地址确定就近的服务节点1310，并通过所述就近的服务节点1310将所述用户终端12请求获取的音视频数据发送至所述用户终端12。

步骤s62、所述数据接收模块1252通过实时音视频传输网络14获取所述就近服务节点1310发送的音视频数据，并对所述音视频数据进行解码处理后在所述显示单元121中播放对应的音视频。

在本发明一个实施方式中，所述步骤s62进一步还包括：

(1)所述数据接收模块1252侦测从所述服务节点1310获取音视频数据的速率是否小于预设值；

(2)当确定从所述服务节点1310获取音视频数据的速率小于预设值，则自动加快视频的播放速度至预设速度，达到每秒展示的图片数减少，但不影响用户的观看效果；

(3)当确定从所述服务节点1310获取音视频数据的速率大于所述预设值，则将视频的播放速度恢复至预设的正常的原始播放速度。

本发明一个实施方式中，侦测从所述服务节点1310获取音视频数据速率是通过侦测用户终端12的本地视频缓冲区中缓存数据量是否超过阈值来确定的，当超过阈值说明获取音视频数据速率小于所述预设值，若未超过阈值说明获取音视频数据速率大于所述预设值。这种方式称为抖动缓冲，在不同网络环境况下,采用快播和慢播技术，利用良好的智能动态缓冲，让语音视频流畅播放，结合视觉心理学模型，找到低延迟和流畅之间的最佳平衡点。

步骤s63、所述控制指令发送模块1253接收用户根据所述播放的音视频输入的无人机控制指令，并通过所述信令传输网络15将所述无人机控制指令发送至所述无人机11。

图7为本发明一个实施方式提供的应用在音视频数据传输系统的数据传输方法流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本发明实施例相关的部分。

步骤s71、调度服务器132接收无人机11发送的数据传输请求，识别所述数据传输请求中的无人机11对应的ip地址；

步骤s72、调度服务器132根据所述无人机11对应的ip地址根据负载均衡状况在所述若干服务节点1310中确定距离所述无人机11最近的可用服务节点1310，并将所述最近的可用服务节点1310的ip地址并发送至所述无人机11，使得所述无人机11可以根据接收到的所述服务节点1310的ip地址上传音视频数据；

步骤s73、所述最近的可用服务节点1310接收所述无人机11上传的音视频数据，并将所述接收到的音视频数据在云服务平台131的服务节点1310中进行分发；

步骤s74、所述调度服务器132接收用户终端12发送的音视频数据请求信息，并识别所述请求信息中的用户终端12对应的ip地址；

步骤s75、所述调度服务器132根据所述用户终端12对应的ip地址确定距离所述用户终端12最近的可用服务节点1310；

步骤s76、所述距离用户终端12最近的可用服务节点1310将所述用户终端12请求的音视频数据发送至所述用户终端12。

通过以上方法实现智能的链路调度，做到容灾和均衡负载；实时的调度策略，会根据用户使用场景中的实际效果做到机动调度。

本实施方式中，所述音视频数据传输系统13基于分布式分发网络来保证音视频数据在实时音视频传输网络中的推流和拉流。所述分布式分发网络是基于自身udp私有协议搭建的一套内容分发网络，其基本思路是尽可能避开网络中有可能影响数据传输速度和稳定性的瓶颈和环节，使数据传输得更快、更稳定。

本实施方式中，在音视频数据传输过程中均使用fec与arq策略。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。