专利名称：无人飞行载具控制系统及方法
技术领域：
本发明涉及一种无人飞行载具控制系统及方法。
背景技术：
无人飞行载具(Unmanned Aerial Vehicle，UAV)，例如遥控飞机，被越来越多地用作玩具、航模，或者是民用或军用进行安全监控。传统的无人飞行载具是通过专用遥控器控制无人飞行载具的飞行动作。在飞行控制过程中，用户通过目视无人飞行载具、或监控主机显示的无人飞行载具利用内建摄影机拍摄的监控场景的二维影像，作为调整无人飞行载具飞行动作的参考依据。由于无人飞行载具内建摄影机拍摄方向会随着无人飞行载具的飞行方向不时变动，当无人飞行载具超出用户目视范围时，用户容易误判无人飞行载具的飞行方向。由于飞行方向判断错误，所以容易导致用户对无人飞行载具飞行动作的调整操作出现错误。
发明内容
鉴于以上内容，有必要提供一种无人飞行载具控制系统及方法，可以利用手持式电子装置及时、准确地掌握无人飞行载具的飞行状况，直观地控制无人飞行载具的飞行动作。一种无人飞行载具控制系统，应用于手持式装置。该系统包括显示模块、飞行控制模块、飞行资料接收模块及调整模块。显示模块，用于在手持式装置的显示屏幕上显示监控场景的三维虚拟场景，在显示屏幕的预设位置显示无人飞行载具的示意图标。飞行控制模块，用于将用户对显示屏幕上操作区域的操作信号转换为控制信号发送至无人飞行载具。飞行资料接收模块，用于接收无人飞行载具传送的飞行资料，包括无人飞行载具当前所在位置、飞行方向、飞行高度及监控场景的实时影像。显示模块，还用于在显示屏幕相应显示区域显示无人飞行载具当前所在位置、飞行方向、飞行高度及监控场景的实时影像。调整模块，用于根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景的内容的移动方向，使得无人飞行载具的示意图标始终位于显示屏幕的预设位置，及用于根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景内容的显示方向，使得用户观察三维虚拟场景的视线方向始终与无人飞行载具的飞行方向保持一致。一种无人飞行载具控制方法，应用于手持式装置。该方法包括以下步骤(A)在手持式装置的显示屏幕上显示监控场景的三维虚拟场景，在显示屏幕的预设位置显示无人飞行载具的示意图标；(B)将用户对显示屏幕上操作区域的操作信号转换为控制信号发送至无人飞行载具；(C)接收无人飞行载具传送的飞行资料，包括无人飞行载具当前所在位置、 飞行方向、飞行高度及监控场景的实时影像；(D)在显示屏幕相应显示区域显示无人飞行载具当前所在位置、飞行方向、飞行高度及监控场景的实时影像；及(E)根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景的内容的移动方向，使得无人飞行载具的示意图标始终位于显示屏幕的预设位置；及(F)根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景内容的显示方向，使得用户观察三维虚拟场景的视线方向始终与无人飞行载具的飞行方向保持一致。相较于现有技术，本发明提供的无人飞行载具控制系统及方法，可以利用三维虚拟场景及时、准确地掌握远端无人飞行载具的实时位置、飞行方向、高度等资料，并且可以直观地利用手持式装置控制无人飞行载具的飞行动作。
图1是本发明无人飞行载具控制系统较佳实施例的应用环境图。图2是本发明无人飞行载具较佳实施例的功能模块图。图3是图1中无人飞行载具控制系统较佳实施例的功能模块图。图4是图1中手持式装置显示屏幕的功能模块图。图5是图4中操作区域的功能模块图。图6A及图6B是本发明无人飞行载具控制方法较佳实施例的流程图。图7及图8是显示屏幕上显示的无人飞行载具的监控区域的3D虚拟场景图。主要元件符号说明
手持式装置100无人飞行载具控制系统10显示模块11飞行控制模块12飞行资料接收模块13调整模块14提示模块15显示屏幕203D虚拟场景显示区域21影像显示区域22数据显示区域23操作区域24方向控制器图标241高度及速度控制器图标242
5
遥控信号发射器30存储器40处理器50无人飞行载具200遥控信号接收器210全球定位系统220影像捕获单元230电子罗盘240
具体实施例方式图1是本发明无人飞行载具控制系统10较佳实施例的应用环境图。该无人飞行载具控制系统10应用于手持式装置100。该手持式装置100可以为手机、个人数字助理、掌上型游乐器等。参阅图1所示，该手持式装置100还包括显示屏幕20、遥控信号发射器30、 存储器40及处理器50。在本实施例中，所述显示屏幕20为触控式显示屏幕。所述无人飞行载具控制系统 10包括一系列功能模块(如图3所示)，利用这些功能模块，无人飞行载具控制系统10在显示屏幕20上显示无人飞行载具(如图2所示的无人飞行载具200)飞行范围内监控区域的三维(three-dimensional，3D)虚拟场景，向无人飞行载具200发送控制信号控制无人飞行载具200的飞行动作。此外，无人飞行载具控制系统10接收无人飞行载具200传送的飞行资料，在显示屏幕20上显示该飞行资料，并根据该飞行资料调整3D虚拟场景的显示内容及显示方向，使得用户及时、准确地掌握无人飞行载具的飞行状况，直观地控制无人飞行载具的飞行动作。遥控信号发射器30向无人飞行载具200发送所述控制信号。存储器40用于存储所述无人飞行载具控制系统10的功能模块的程序化代码。处理器50执行所述程序化代码，提供无人飞行载具控制系统10的上述功能。图2是本发明无人飞行载具200较佳实施例的功能模块图。在本实施例中，该无人飞行载具200包括遥控信号接收器210、全球定位系统220、影像捕获单元230及电子罗盘M0。在其它实施例中，该无人飞行载具200还可以包括存储装置。遥控信号接收器210接收手持式装置100发送的所述控制信号。全球定位系统220侦测无人飞行载具200的飞行高度、经度及纬度。影像捕获单元230拍摄监控场景的影像。在本实施例中，该影像捕获单元230为照相机。电子罗盘240侦测无人飞行载具200的飞行方向。该电子罗盘MO同普通罗盘一
6样，可通过感应地球磁场来识别南极和北极，本实施例中，该电子罗盘MO以应用霍尔效应的磁阻传感器取代普通罗盘中的磁针，由于洛伦兹力会造成通过电子罗盘MO的电流中电子的偏移。故电子罗盘240由该偏移可计算出电压变化的数据，从而得知无人飞行载具200 的飞行方向。图3是图1中无人飞行载具控制系统10较佳实施例的功能模块图。在本实施例中，该无人飞行载具控制系统10包括显示模块11、飞行控制模块12、飞行资料接收模块13、 调整模块14及提示模块15。显示模块11用于在手持式装置100的显示屏幕20上显示监控场景的3D虚拟场景，在显示屏幕20的预设位置显示无人飞行载具200的示意图标。如图7所示，为显示屏幕20上显示的一个监控场景的某一时刻的3D虚拟场景。图7中所示的一个圆圈及一个双箭头组成无人飞行载具200的示意图标，该示意图标位于显示屏幕20的中心位置。显示屏幕20中的箭头表示无人飞行载具200的飞行方向(例如N)，显示屏幕20外的箭头表示手持式装置100的用户的视线方向。由于显示屏幕20的尺寸限制，监控场景的3D虚拟场景无法完整地显示在显示屏幕20上，一次只能显示3D虚拟场景的一部分内容。该3D虚拟场景是在无人飞行载具200及无人飞行载具控制系统10使用前，利用3D绘图软件(如Google SketchUp, Maya等)绘制的监控区域的影像。该3D虚拟场景存储在手持式装置100的存储器40中。飞行控制模块12用于将用户对显示屏幕20上操作区域M的操作信号转换为控制信号发送至无人飞行载具200。如图4所示，显示屏幕20包括3D虚拟场景显示区域21、 影像显示区域22、数据显示区域23及操作区域对。在本实施例中，操作区域M位于3D虚拟场景显示区域21的正下方。在其它实施例中，操作区域M也可以位于显示屏幕20的其它位置，例如3D虚拟场景显示区域21中的某一个区域。如图5所示，该操作区域M显示方向控制器图标Ml、高度及速度控制器图标 2420飞行控制模块12将用户对方向控制器图标241的操作信号转换为控制无人飞行载具 200的飞行方向的控制信号。例如，假设无人飞行载具200当前飞行方向为图7所示的正北方(N)，当用户想变更飞行方向为正西方(W)时候，可以利用手指从方向控制器图标241的正前方示意方向滑向正左方示意方向(如图5中的弧形箭头所示)。飞行控制模块12还将用户对高度及速度控制器图标242的操作信号转换为控制无人飞行载具200的飞行高度及速度的控制信号。例如，用户手指在代表高度控制器的纵轴上向上滑行代表提高无人飞行载具200的飞行高度、向下滑行代表降低无人飞行载具200的飞行高度，用户手指在代表速度控制器的横轴上向右滑行代表加快无人飞行载具200的飞行速度、向左滑行代表减慢无人飞行载具200的飞行速度。飞行资料接收模块13用于接收无人飞行载具200传送的飞行资料，包括无人飞行载具200当前所在位置、飞行方向、飞行高度及监控场景的实时影像。显示模块11还用于在显示屏幕20相应显示区域显示无人飞行载具200当前所在位置、飞行方向、飞行高度及监控场景的实时影像。例如，显示模块11在显示屏幕20的数据显示区域23显示无人飞行载具200当前所在位置(包括经度及纬度)、飞行方向及飞行高度，在影像显示区域22显示监控场景的实时影像。如图5所示，在本实施例中，3D虚拟场景显示区域21在显示屏幕20上全屏显示，影像显示区域22及数据显示区域23位于3D虚拟场景显示区域21的某一部分。在其它实施例中，3D虚拟场景显示区域21也可以不全屏显示，影像显示区域22及数据显示区域23位于3D虚拟场景显示区域21之外的区域。调整模块14用于根据无人飞行载具200的飞行方向调整显示屏幕20上3D虚拟场景的内容的移动方向，使得无人飞行载具200的示意图标始终位于显示屏幕20的预设位置。如图7所示，当无人飞行载具200飞行方向不变(即一直向正北方飞行)，则调整模块 14控制3D虚拟场景的内容向显示屏幕20的正下方移动，以保持无人飞行载具200的示意图标始终位于显示屏幕20的中心位置。调整模块14还用于根据无人飞行载具200的飞行方向调整显示屏幕20上3D虚拟场景内容的显示方向，使得用户观察3D虚拟场景的视线方向始终与无人飞行载具200的飞行方向保持一致。例如，当无人飞行载具200的飞行方向由图7所示的正北方N变更为正西方W时，调整模块14将3D虚拟场景内容的显示方向向右旋转90度，使得用户观察3D 虚拟场景的视线方向始终与无人飞行载具200的飞行方向保持一致(如图8所示)。也就是说，在无人飞行载具200的飞行过程中，用户在显示屏幕20上观察到的3D 虚拟场景中无人飞行载具200的示意图标一直保持静止状态，变化的是3D虚拟场景的内容。提示模块15用于根据监控场景的实时影像是否出现异常判断是否需要提示用户向无人飞行载具200下达新的控制指令。所述异常可以定义为监控场景的实时影像中出现监控场景的初始图像中没有的人、物，或是监控场景的实时影像显示出现监控场景的边缘地带或监控场景之外的区域。在本实施例中，当监控场景的实时影像显示出现监控场景的边缘地带或监控场景之外的区域时，表示无人飞行载具200即将飞出监控场景。当监控场景的实时影像出现异常时，提示模块15在显示屏幕20上弹出一个提示框，通过文字提示用户向无人飞行载具200下达新的控制指令。在其它实施例中，提示模块15也可以通过其它方式，例如语音提示用户向无人飞行载具200下达新的控制指令。图6A及图6B是本发明无人飞行载具控制方法较佳实施例的流程图。应当理解为， 该流程图中各步骤的出现顺序并非完全等同于这些步骤的执行顺序，一些步骤的执行顺序是可以改变的，例如S113与S115。步骤SlOl，显示模块11在手持式装置100的显示屏幕20上显示监控场景的3D虚拟场景，在显示屏幕20的预设位置显示无人飞行载具200的示意图标。如图7所示，为显示屏幕20上显示的一个监控场景某一时刻的3D虚拟场景，该监控场景包括多个集装箱。由于显示屏幕20的尺寸限制，监控场景的整3D虚拟场景无法完整地显示在显示屏幕20，一次只能显示3D虚拟场景的一部分内容。在图7中，无人飞行载具200的示意图标由一个圆圈及一个双箭头组成，该示意图标位于显示屏幕20的中心位置。显示屏幕20中的箭头表示无人飞行载具200的飞行方向(例如N)，显示屏幕20外的箭头表示手持式装置100的用户的视线方向。步骤S103，飞行控制模块12将用户对显示屏幕20上操作区域M的操作信号转换为控制信号发送至无人飞行载具200。如图5所示，该操作区域M显示方向控制器图标 Ml、高度及速度控制器图标对2。飞行控制模块12将用户对方向控制器图标241的操作信号转换为控制无人飞行载具200的飞行方向的控制信号，将用户对高度及速度控制器图标 242的操作信号转换为控制无人飞行载具200的飞行高度及速度的控制信号。例如，假设无人飞行载具200当前飞行方向为图7所示的正北方(N)，当飞行控制模块12探测到用户手指在方向控制器图标241上执行从正前方示意方向滑向正左方示意方向的操作(如图5 中的弧形箭头所示)时，飞行控制模块12将该操作信号转换为变更飞行方向为正西方(W) 的控制信号。当飞行控制模块12探测到用户手指在高度及速度控制器图标242上的代表高度控制器的纵轴上执行向上滑行的操作时，飞行控制模块12将该操作信号转换为提高无人飞行载具200的飞行高度的控制信号。当飞行控制模块12探测到用户手指在高度及速度控制器图标242上的代表速度控制器的横轴上向右滑行时，飞行控制模块12将该操作信号转换为加快无人飞行载具200的飞行速度的控制信号。步骤S105，无人飞行载具200利用遥控信号接收器210接收手持式装置100发送的所述控制信号，并根据该控制信号执行相应的飞行动作。例如，当接收到变更飞行方向为正西方(W)的控制信号时，无人飞行载具200变更飞行方向为正西方(W)。步骤S107，无人飞行载具200利用电子罗盘240侦测飞行方向、利用全球定位系统220侦测飞行高度及所在位置、利用影像捕获单元230拍摄监控场景的实时影像等飞行资料，并将该飞行资料传送至手持式装置100。其中，无人飞行载具200的所在位置由经度及纬度决定。步骤S109，飞行资料接收模块13接收无人飞行载具200传送的飞行资料，包括无人飞行载具200当前所在位置、飞行方向、飞行高度及监控场景的实时影像。步骤S111，显示模块11在显示屏幕20相应显示区域显示无人飞行载具200当前所在位置、飞行方向、飞行高度及监控场景的实时影像。在本实施例中，如图5所示，显示模块11数据显示区域23显示无人飞行载具200当前所在位置(包括经度及纬度)、飞行方向及飞行高度，在影像显示区域22显示监控场景的实时影像。步骤Sl 13，调整模块14根据无人飞行载具200的飞行方向调整显示屏幕20上3D 虚拟场景内容的移动方向，使得无人飞行载具200的示意图标始终位于显示屏幕20的预设位置。如图7所示，当无人飞行载具200飞行方向不变(即一直向正北方飞行)，则调整模块143控制3D虚拟场景的内容向显示屏幕20的正下方移动，以保持无人飞行载具200的示意图标始终位于显示屏幕20的中心位置。步骤Sl 15，调整模块14根据无人飞行载具200的飞行方向调整显示屏幕20上3D 虚拟场景内容的显示方向，使得用户观察3D虚拟场景的视线方向始终与无人飞行载具200 的飞行方向保持一致。例如，当无人飞行载具200的飞行方向由图7所示的正北方N变更为正西方W时，调整模块14将3D虚拟场景内容的显示方向向右旋转90度，使得用户观察3D 虚拟场景的视线方向始终与无人飞行载具200的飞行方向保持一致(如图8所示)。通过步骤S113及S115的调整操作，在无人飞行载具200的飞行过程中，用户在显示屏幕20上观察到的3D虚拟场景中无人飞行载具200的示意图标一直保持静止状态，变化的是3D虚拟场景的内容。步骤S117，提示模块15根据监控场景的实时影像是否出现异常判断是否需要提示用户向无人飞行载具200下达新的控制指令。所述异常可以定义为监控场景的实时影像中出现监控场景的初始图像中没有的人、物，或是监控场景的实时影像显示出现监控场景的边缘地带或监控场景之外的区域。在本实施例中，当监控场景的实时影像显示出现监控场景的边缘地带或监控场景之外的区域时，表示无人飞行载具200即将飞出监控场景。当监控场景的实时影像未出现异常时，流程结束。当监控场景的实时影像出现异常时，流程进入步骤S119，提示模块15在显示屏幕20上弹出一个提示框，提示用户向无人飞行载具200 下达新的控制指令。之后，流程返回步骤S103。 最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
权利要求
1.一种无人飞行载具控制系统，应用于手持式装置，其特征在于，该系统包括显示模块，用于在手持式装置的显示屏幕上显示监控场景的三维虚拟场景，在显示屏幕的预设位置显示无人飞行载具的示意图标；飞行控制模块，用于将用户对显示屏幕上操作区域的操作信号转换为控制信号发送至无人飞行载具；飞行资料接收模块，用于接收无人飞行载具传送的飞行资料，包括无人飞行载具当前所在位置、飞行方向、飞行高度及监控场景的实时影像；显示模块，还用于在显示屏幕相应显示区域显示无人飞行载具当前所在位置、飞行方向、飞行高度及监控场景的实时影像；及调整模块，用于根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景内容的移动方向，使得无人飞行载具的示意图标始终位于显示屏幕的预设位置，及用于根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景内容的显示方向，使得用户观察三维虚拟场景的视线方向始终与无人飞行载具的飞行方向保持一致。
2.如权利要求1所述的无人飞行载具控制系统，其特征在于，该系统还包括提示模块， 用于当监控场景的实时影像出现异常时，提示用户向无人飞行载具下达新的控制指令。
3.如权利要求1所述的无人飞行载具控制系统，其特征在于，所述显示屏幕上操作区域显示方向控制器图标、高度及速度控制器图标，所述飞行控制模块将用户对方向控制器图标的操作信号转换为控制无人飞行载具的飞行方向的控制信号，将用户对高度及速度控制器图标的操作信号转换为控制无人飞行载具的飞行高度及速度的控制信号。
4.如权利要求2所述的无人飞行载具控制系统，其特征在于，所述异常包括监控场景的实时影像中出现监控场景的初始图像中没有的人、物，或是监控场景的实时影像显示出现监控场景的边缘地带或监控场景之外的区域。
5.如权利要求2所述的无人飞行载具控制系统，其特征在于，所述提示方式包括文字提示及语音提示。
6.一种无人飞行载具控制方法，应用于手持式装置，其特征在于，该方法包括 第一显示步骤在手持式装置的显示屏幕上显示监控场景的三维虚拟场景，在显示屏幕的预设位置显示无人飞行载具的示意图标；飞行控制步骤将用户对显示屏幕上操作区域的操作信号转换为控制信号发送至无人飞行载具；飞行资料接收步骤接收无人飞行载具传送的飞行资料，包括无人飞行载具当前所在位置、飞行方向、飞行高度及监控场景的实时影像；第二显示步骤在显示屏幕相应显示区域显示无人飞行载具当前所在位置、飞行方向、 飞行高度及监控场景的实时影像；及第一调整步骤根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景内容的移动方向，使得无人飞行载具的示意图标始终位于显示屏幕的预设位置；及第二调整步骤根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景内容的显示方向，使得用户观察三维虚拟场景的视线方向始终与无人飞行载具的飞行方向保持一致。
7.如权利要求6所述的无人飞行载具控制方法，其特征在于，该方法还包括提示步骤当监控场景的实时影像出现异常时，提示用户向无人飞行载具下达新的控制指令。
8.如权利要求6所述的无人飞行载具控制方法，其特征在于，所述显示屏幕上操作区域显示方向控制器图标、高度及速度控制器图标，所述飞行控制步骤将用户对方向控制器图标的操作信号转换为控制无人飞行载具的飞行方向的控制信号，将用户对高度及速度控制器图标的操作信号转换为控制无人飞行载具的飞行高度及速度的控制信号。
9.如权利要求7所述的无人飞行载具控制方法，其特征在于，所述异常包括监控场景的实时影像中出现监控场景的初始图像中没有的人、物，或是监控场景的实时影像显示出现监控场景的边缘地带或监控场景之外的区域。
10.如权利要求7所述的无人飞行载具控制方法，其特征在于，所述提示方式包括文字提示及语音提示。
全文摘要
一种无人飞行载具控制系统，应用于手持式装置。该系统包括一系列功能模块。利用这些功能模块，该系统在手持式装置的显示屏幕上显示监控场景的三维虚拟场景，在显示屏幕的预设位置显示无人飞行载具的示意图标。该系统还将用户对显示屏幕上操作区域的操作信号转换为控制信号发送至无人飞行载具，接收无人飞行载具传送的飞行资料，在显示屏幕相应显示区域显示相应的飞行资料，并根据无人飞行载具的飞行方向调整显示屏幕上三维虚拟场景的内容的移动方向及显示方向，使得无人飞行载具的示意图标始终位于显示屏幕的预设位置且用户观察三维虚拟场景的视线方向始终与无人飞行载具的飞行方向保持一致。本发明还提供一种无人飞行载具控制方法。
文档编号G05D1/10GK102445947SQ201010299009
公开日2012年5月9日 申请日期2010年10月6日 优先权日2010年10月6日
发明者李后贤, 李章荣, 罗治平 申请人:鸿富锦精密工业(深圳)有限公司, 鸿海精密工业股份有限公司