一种无人机第一视角飞行的控制方法及系统、智能眼镜与流程

文档序号:11208674阅读:1197来源:国知局
一种无人机第一视角飞行的控制方法及系统、智能眼镜与流程

本发明属于无人机技术领域,具体涉及一种无人机第一视角飞行的控制方法及系统、智能眼镜。



背景技术:

第一视角飞行,是无人机发展得一个新的方向,通过无人机上的图传模块,将无人机上相机拍到的图像实时传输到眼镜上,用户通过观看相机图像,来操控无人机飞行,使用第一视角飞行的特点是,用户不必再仰视无人机,而是能够获得无人机同样的视角,以无人机的视角进行操控,从而达到身临其境的飞行体验。

现有实现第一视角飞行的方式是无人机与遥控器通过私有通讯协议或wifi等无线方式连接,遥控器收到无人机上的图像信号后在通过usb或其他有线方式传递给眼镜。

但是这样的方式,由于需要遥控器进行中继,往往导致图传和操控信号的延迟,不能即时准确的控制无人机的飞行,带来安全隐患。



技术实现要素:

有鉴于此,本发明实施例提供一种无人机第一视角飞行的控制方法及系统、智能眼镜,能够在无需中继的情况下直接控制无人机,避免图传和操控信号的延迟,提高控制准确度。

第一方面,本发明实施例提供一种无人机的控制系统,所述控制系统包括遥控器以及智能眼镜,其中所述智能眼镜能够在无需所述遥控器进行中继的情况下与所述无人机直接建立的第一信道,以使所述智能眼镜通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,所述遥控器能够在无需所述智能眼镜进行中继的情况下与所述无人机直接建立第二信道,以使所述遥控器能够通过所述第二信道直接向所述无人机发送第一飞行控制指令。

其中,所述智能眼镜通过所述第一信道直接从所述无人机接收并显示飞行状态数据。

其中,所述飞行状态数据以增强现实的方式与所述第一视角图像数据叠加显示。

其中,所述智能眼镜能够对所述智能眼镜的姿态进行感测,并生成云台控制指令,所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述云台控制指令。

其中,所述智能眼镜能够对用户手势进行感测,并生成眼镜控制指令,所述智能眼镜进一步根据所述眼镜控制指令执行相应的操作。

其中,所述智能眼镜能够对用户手势进行感测,并生成第二飞行控制指令,所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述第二飞行控制指令。

其中,所述智能眼镜包括摄像头和处理器,摄像头摄取用户手势操作图像,所述处理器对所述手势操作图像进行处理,确定所述手势操作的坐标,与所述智能眼镜上显示的控制所述无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第二飞行控制指令并执行对应的操作。

其中,所述智能眼镜包括摄像头、存储器和处理器,所述摄像头用于摄取用户手势动作,所述存储器内存储有多个用户手势动作模型以及所述多个用户手势动作模型所对应的第二飞行控制指令,所述处理器与所述摄像头和所述存储器均电连接,所述处理器用于根据所述摄像头摄取的用户手势动作生成一手势动作模型,并与所述存储器内存储的多个用户手势动作模型作比对,当与所述存储器内存储的多个用户手势动作模型中的其中一个一致时,触发所述手势动作模型所对应的第二飞行控制指令。

其中,所述存储器内存储的多个用户手势动作模型,是通过所述摄像头预先拍摄并对每个用户手势动作模型先定义来完成。

其中,所述智能眼镜能够进一步与所述遥控器直接建立第三信道,以使所述智能眼镜通过所述第三信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。

其中,所述控制系统进一步包括移动终端,所述移动终端与所述遥控器直接建立第四信道,所述遥控器进一步通过所述第二信道从所述无人机接收所述第一视角图像数据和/或飞行状态数据,并通过所述第四信道发送至所述移动终端进行显示。

其中,所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述遥控器,再由所述遥控器通过所述第二信道发送至所述无人机。

其中,所述遥控器进一步通过所述第三信道发送禁用指令至所述智能眼镜,以对所述智能眼镜的与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。

其中,所述控制系统进一步包括移动终端,所述移动终端与所述智能眼镜直接建立第四信道,所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第四信道发送至所述移动终端进行显示。

其中,所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述智能眼镜,再由所述智能眼镜通过所述第一信道发送至所述无人机。

其中,所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。

其中,所述第三信道和所述第四信道为无线信道或有线信道。

其中,所述控制系统进一步包括移动终端,所述移动终端与所述无人机直接建立无线信道,所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。

其中,所述智能眼镜通过所述第一信道直接从所述无人机获取无人机的录像文件,并在所述智能眼镜上进行回放。

其中,所述智能眼镜为一个或者多个。

第二方面,提供一种无人机的控制系统,所述控制系统包括无人机以及智能眼镜,所述智能眼镜能够在无需中继的情况下与所述无人机直接建立第一信道,以通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,所述智能眼镜进一步能够对用户手势进行感测,并生成第一飞行控制指令,并通过所述第一信道直接向所述无人机发送第一飞行控制指令。

其中,所述控制系统进一步包括移动终端,所述移动终端与所述智能眼镜直接建立第二信道,所述智能眼镜进一步将所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第二信道发送至所述移动终端进行显示。

其中,所述控制系统进一步包括移动终端,所述移动终端与所述无人机直接建立无线信道,所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。

其中,所述智能眼镜包括摄像头和处理器,摄像头摄取用户手势操作图像,所述处理器对所述手势操作图像进行处理,确定所述手势操作的坐标,与所述智能眼镜上显示的控制所述无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第一飞行控制指令并执行对应的操作。

其中,所述智能眼镜包括摄像头、存储器和处理器,所述摄像头用于摄取用户手势动作,所述存储器内存储有多个用户手势动作模型以及所述多个用户手势动作模型所对应的第一飞行控制指令,所述处理器与所述摄像头和所述存储器均电连接,所述处理器用于根据所述摄像头摄取的用户手势动作生成一手势动作模型,并与所述存储器内存储的多个用户手势动作模型作比对,当与所述存储器内存储的多个用户手势动作模型中的其中一个一致时,触发所述手势动作模型所对应的第一飞行控制指令。

其中,所述存储器内存储的多个用户手势动作模型,是通过所述摄像头预先拍摄并对每个用户手势动作模型先定义来完成。

第三方面,提供一种无人机第一视角飞行的控制方法,所述方法包括:控制智能眼镜与所述无人机直接建立第一信道,并控制智能眼镜通过第一信道直接从所述无人机接收并显示第一视角图像数据;控制遥控器与所述无人机直接建立第二信道,并控制遥控器通过所述第二信道直接向所述无人机发送第一飞行控制指令。

其中,所述方法还包括控制所述智能眼镜通过所述第一信道直接从所述无人机接收并显示飞行状态数据。

其中,所述飞行状态数据以增强现实的方式与所述第一视角图像叠加显示。

其中,所述方法还包括控制所述智能眼镜对所述智能眼镜的姿态进行感测,并生成云台控制指令,控制所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述云台控制指令。

其中,控制所述智能眼镜对用户手势进行感测,并生成第二飞行控制指令,将所述第二飞行控制指令通过所述第一信道直接发送到无人机。

其中,所述控制所述智能眼镜对用户手势进行感测,并生成第二飞行控制指令的步骤包括:控制所述智能眼镜的摄像头摄取用户手势操作图像,对所述手势操作图像进行处理,确定所述手势操作的坐标,与智能眼镜上显示的控制无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第二飞行控制指令并执行对应的操作;或控制所述智能眼镜的摄像头摄取用户手势动作,根据所述用户手势动作生成一手势动作模型,与所述智能眼镜中预存的多个用户手势动作模型作比对,当与所述预存的多个用户手势动作模型中的其中一个一致时,触发与所述手势动作模型所对应的第二飞行控制指令。

其中,所述预存的多个用户手势动作模型,是通过智能眼镜的摄像头预先拍摄并对每个用户手势动作模型先定义来完成。

其中,所述方法还包括:控制所述智能眼镜与所述遥控器直接建立第三信道,并控制所述智能眼镜通过所述第三信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。

其中,所述方法还包括:控制移动终端与所述遥控器直接建立第四信道,并控制所述遥控器通过所述第二信道从所述无人机接收所述第一视角图像数据和/或飞行状态数据,并通过所述第四信道发送至所述移动终端进行显示;或控制移动终端与所述智能眼镜直接建立第四信道,并控制所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第四信道发送至所述移动终端进行显示。

其中,所述方法还包括:当移动终端与所述遥控器直接建立第四信道时,控制所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述遥控器,再由所述遥控器通过所述第二信道发送至所述无人机;或当移动终端与所述智能眼镜直接建立第四信道时,控制所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述智能眼镜,再由所述智能眼镜通过所述第一信道发送至所述无人机。

其中,所述方法还包括:控制所述遥控器进一步通过所述第三信道发送禁用指令至所述智能眼镜,以对所述智能眼镜的与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用;或控制所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。

其中,所述第三信道和所述第四信道为无线信道或有线信道。

其中,所述控制方法还包括:控制所述移动终端与所述无人机直接建立无线信道,所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。

其中,所述方法还包括:控制所述智能眼镜通过所述第一信道直接从所述无人机获取无人机的录像文件,并在所述智能眼镜上进行回放。

其中,所述智能眼镜为一个或者多个。

第四方面,提供一种无人机第一视角飞行的控制方法,所述控制方法包括:控制智能眼镜在无需中继的情况下与所述无人机直接建立第一信道,以通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,控制所述智能眼镜进一步对用户手势进行感测,并生成第一飞行控制指令,并通过所述第一信道直接向所述无人机发送第一飞行控制指令。

其中,所述控制方法还包括:

控制移动终端与所述智能眼镜直接建立第二信道,并控制所述智能眼镜进一步将所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第二信道发送至所述移动终端进行显示;或控制移动终端与所述无人机直接建立无线信道,并控制所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,以及控制所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。

其中,所述控制所述智能眼镜进一步对用户手势进行感测,并生成第一飞行控制指令包括:控制所述智能眼镜的摄像头摄取用户手势动作,根据所述用户手势动作生成一手势动作模型,与所述智能眼镜中预存的多个用户手势动作模型作比对,当与所述预存的多个用户手势动作模型中的其中一个一致时,触发与所述手势动作模型所对应的第一飞行控制指令。

其中,所述预存的多个用户手势动作模型,是通过智能眼镜的摄像头预先拍摄并对每个用户手势动作模型先定义来完成。

第五方面,提供一种智能眼镜,所述智能眼镜包括:壳体,所述壳体包括:相对设置的第一侧面和第二侧面,以及分别与所述第一侧面和第二侧面连接且彼此相对设置的第三侧面和第四侧面;第一透镜组和第二透镜组,间隔设置于所述第一侧面上;第一显示屏和第二显示屏,分别设置于所述第三侧面和第四侧面上;第一光学镜和第二光学镜,交叉设置于所述壳体内,其中所述第一光学镜用于将所述第一显示屏所显示的虚拟场景的光线反射至所述第一透镜组,所述第二光学镜用于将所述第二显示屏所输出的图像光线反射至所述第二透镜组;选择性遮光元件,设置于所述第二侧面上,其中所述选择性遮光元件可以在遮光状态以及透光状态之间切换,当所述选择性遮光元件处于透光状态时,所述第一光学镜和所述第二光学镜进一步将所述智能眼镜外部的现实场景的光线透射至所述第一透镜组和第二透镜组,以使得用户通过所述第一透镜组和第二透镜组同时观察到所述现实场景与所述虚拟场景。

其中,当所述选择性遮光元件处于遮光状态时,所述选择性遮光元件屏蔽所述智能眼镜外部的现实场景的光线,以使得所述用户仅观察到所述虚拟场景。

其中,所述第一透镜组和第二透镜组为凹透镜与凸透镜的组合透镜。

其中,所述智能眼镜与无人机连接,所述第一显示屏和所述第二显示屏上进一步显示所述无人机的状态信息,以使用户通过所述第一透镜组和第二透镜组可以同时看到所述无人机的状态信息。

其中,所述选择性遮光元件的透光度可调。

其中,所述选择性遮光元件为液晶屏,所述液晶屏根据所施加的电压强度调整所述透光度。

其中,所述第一透镜组和第二透镜组的光轴方向彼此并行,且所述第一显示屏和第二显示屏的显示面与所述光轴方向平行。

其中,所述第一透镜组和第二透镜组在所述第一侧面上的位置可调。

其中,所述第一光学镜和第二光学镜分别相对于所述第一透镜组和第二透镜组的光轴方向倾斜设置,所述第一光学镜和第二光学镜分别相对于所述第一透镜组和第二透镜组的倾斜角度能够根据所述第一透镜组和第二透镜组在所述第一侧面上的位置进行调整。

其中,所述智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以使所述智能眼镜通过所述第一信道直接从所述无人机接收并显示第一视角图像数据。

其中,所述智能眼镜通过所述第一信道直接从所述无人机接收并显示飞行状态数据。

其中,所述飞行状态数据以增强现实的方式与所述第一视角图像数据叠加显示。

其中,所述虚拟场景为虚拟操作界面,所述智能眼镜还包括摄像头和处理器,所述摄像头设置于所述壳体上,通过所述摄像头拍摄用户的手势操作图像,所述处理器对所述手势操作图像进行处理,确定所述手势操作的坐标,与所述虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的控制指令并执行对应的操作。

其中,所述智能眼镜还包括摄像头、存储器和处理器,所述摄像头设置于所述壳体上,通过所述摄像头摄取用户手势动作,所述存储器内存储有多个用户手势动作模型以及所述多个用户手势动作模型所对应的控制指令,所述处理器与所述摄像头和所述存储器均电连接,所述处理器用于根据所述摄像头摄取的用户手势动作生成一手势动作模型,并与所述存储器内存储的多个用户手势动作模型进行比对,当与所述存储器内存储的多个用户手势动作模型中的其中一个一致时,触发所述手势动作模型所对应的控制指令。

其中,所述控制指令为对无人机的云台进行控制的云台控制指令,或对智能眼镜进行控制的眼镜控制指令,或对无人机进行控制的飞行控制指令。

其中,所述智能眼镜能够进一步与遥控器直接建立第二信道,以使所述智能眼镜通过所述第二信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。

其中,所述智能眼镜能够进一步与移动终端直接建立第三信道,所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第三信道发送至所述移动终端进行显示。

其中,所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。

其中,所述第二信道和所述第三信道为无线信道或有线信道。

其中,所述智能眼镜通过所述第一信道直接从所述无人机获取无人机的录像文件,并在所述智能眼镜上进行回放。

本发明实施例提供的无人机的控制系统,其中智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与无人机直接建立第二信道,以通过第二信道直接向无人机发送第一飞行控制指令。通过这样的方式,由于遥控器和智能眼镜都是直接与无人机建立通信信道,从而不需要进行图传和操控信号的中转,避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的一种智能眼镜的结构示意图;

图2是本发明第二实施例提供的一种智能眼镜的结构示意图;

图3是本发明第一实施例提供的一种无人机的控制系统的结构示意图;

图4是本发明第二实施例提供的一种无人机的控制系统的结构示意图;

图5是本发明第三实施例提供的一种无人机的控制系统的结构示意图;

图6是本发明实施例提供的一种无人机第一视角飞行的控制方法的流程图;

图7是本发明实施例提供的另一种无人机第一视角飞行的控制方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

请参阅图1和图2,图1和图2分别是本发明实施例提供的一种智能眼镜的结构示意图,如图所示,本实施例的智能眼镜包括壳体,壳体包括:

相对设置的第一侧面11和第二侧面12,以及与第一侧面和第二侧面均连接且彼此相对设置的第三侧面13和第四侧面14;

第一透镜组15和第二透镜组16,该第一透镜组15和第二透镜组16间隔设置于第一侧面11上;

第一显示屏17和第二显示屏18,分别设置于第三侧面13和第四侧面14上;

第一光学镜19和第二光学镜20,交叉设置于壳体内,其中第一光学镜19用于将第一显示屏17所输出的图像光线反射至第一透镜组15,第二光学镜20用于将第二显示屏18所输出的图像光线反射至第二透镜组16;

选择性遮光元件21,设置于第二侧面12上,其中选择性遮光元件21可以在遮光状态以及透光状态之间切换。本实施例中,所述第一光学镜19和第二光学镜20均为半反半透镜,当选择性遮光元件21处于透光状态时,第一光学镜19和第二光学镜20进一步将智能眼镜外部的现实场景的光线透射至第一透镜组15和第二透镜组16,以使得用户通过第一透镜组15和第二透镜组16同时观察到现实场景与虚拟场景。

其中,在一种具体的实现方式中,第一显示屏17和第二显示屏18可以为1920x1080或2560x1440分辨率,60hz刷新率,分别放置在智能眼镜的两端(即智能眼镜壳体的第三侧面和第四侧面),与人眼的光轴方向平行。

在一种具体的实现方式中,第一透镜组15和第二透镜组16为凹透镜与凸透镜的组合,凹透镜的作用为限制视场,只允许一定范围内的光线通过透镜组,凸透镜的作用是进一步放大图像,提高沉浸感,与第一显示屏17和第二显示屏18呈一定角度设置,其中最优的设置方式为呈90°角放置。

在其中一种实现方式中,第一透镜组15和第二透镜组16的光轴方向彼此平行,其第一显示屏17和第二显示屏18的显示面与所述光轴方向平行。

在另一种实现方式中,第一透镜组15和第二透镜组16在第一侧面11上的位置可调,即可以在第一侧面11上进行相对移动。

其中,第一光学镜19和第二光学镜20为可将入射光部分反射部分投射的玻璃或有机玻璃镜片,比如透射率可选取为30%,反射率为70%,或者第一光学镜19和第二光学镜20均为透光玻璃,该两个透光玻璃上均镀有一层半反半透膜。第一光学镜19和第二光学镜20分别相对于第一透镜组15和第二透镜组16的光轴方向倾斜设置,而第一光学镜19和第二光学镜20分别相对于第一透镜组15和第二透镜组16的倾斜角度能够根据第一透镜组15和第二透镜组16在第一侧面11上的位置进行调整。其中,最优的一种设置方式为呈45°角放置。

可以理解的是,在其他实施例中,第一光学镜19和第二光学镜20也可以为反射镜,并不限于本实施方式。

其中,上述中的选择性遮光元件21的透光度可调。在其中一种实施方式中,选择性遮光元件21可以为液晶屏(lcd屏),lcd屏根据所施加的电压强度调整透光度。从而可以使得选择性遮光元件21工作为两种状态:一是透明状态,二是遮光状态,透明状态时,透光率要接近100%,遮光状态时,要求光线完全不能通过。

当选择性遮光元件21处于遮光状态时,此时智能眼镜外部的光线无法进入到智能眼镜中,进入透镜组的光线只有第一显示屏17和第二显示屏18经过第一光学镜19和第二光学镜20反射的光线,人眼的视觉体验是沉浸在虚拟的现实中。其中,选择性遮光元件21可以与第一显示屏17和第二显示屏18呈一定角度设置,一种最优的设置方式是将选择性遮光元件21与第一显示屏17和第二显示屏18呈90°角放置。

当选择性遮光元件21通过调节为透明时,此时眼镜外部的光线可以进入到眼镜中,透过第一光学镜19和第二光学镜20并与其反射的第一显示屏17和第二显示屏18叠加产生增强现实的效果。

外界景物与第一显示屏17和第二显示屏18的叠加效果由第一光学镜19和第二光学镜20的透光率,外界光线强度,第一显示屏17和第二显示屏18的亮度共同决定,第一显示屏17和第二显示屏18的亮度可由外部光线强度调节,来达到不同场景下稳定的叠加效果,另外,用户亦可手动调节第一显示屏17和第二显示屏18的亮度。

在其中一个实施例中,智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以使智能眼镜通过第一信道直接从无人机接收并显示第一视角图像数据,并在第一显示屏17和第二显示屏18上进行显示。

另外,智能眼镜还可以直接从无人机处获取无人机的飞行状态数据,第一显示屏17和第二显示屏18上可以进一步在第一视角图像数据的基础上叠加显示无人机的飞行状态数据,以使用户通过第一透镜组15和第二透镜组16可以同时看到无人机的飞行状态数据。其中,无人机的飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度、无人机机头朝向以及无人机上的云台朝向、操作提示,第一视角影像等等。

在另一个实施例中,上述的虚拟场景为虚拟操作界面,请继续参阅图1和图2,本实施例的智能眼镜还包括摄像头22和用于对来自摄像头22的图像进行处理的处理器(图未示),其中,摄像头22设置于壳体上,通过摄像头22拍摄用户的手势操作图像,处理器设置于壳体内,用于对手势操作图像进行处理,确定手势操作的坐标,与虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的控制指令并执行对应的操作。

也就是说,通过第一显示屏17和第二显示屏18上显示操作界面,然后透过第一光学镜19和第二光学镜20反射而形成虚拟操作界面,摄像头22采集用户的手势操作图像,并经处理器23处理,确定手势操作的坐标,然后与虚拟操作界面的成像位置进行比对,从而识别出用户手势操作对应的控制指令并执行对应的操作。

当虚拟操作界面为眼镜菜单的虚拟操作界面,则这里的控制指令为智能眼镜的控制指令,当虚拟操作界面为无人机遥控器的虚拟操作界面时,这里的控制指令即为无人机控制指令,无人机控制指令包括云台控制指令和无人机飞行控制指令,分别用于控制无人机云台以及云台上的成像装置和无人机的飞行。

在另外一种实现方式中,智能眼镜也可以直接对用户手势动作进行识别以执行对应的操作。在这种实现方式中,请继续参阅图1和图2,智能眼镜包括摄像头22、存储器和处理器(图未示),摄像头22设置于壳体上,摄像头22用于摄取用户手势动作,存储器内存储有多个用户手势动作模型以及多个用户手势动作模型所对应的控制指令,存储器和处理器都设置于壳体内,处理器与摄像头22和存储器均电连接,处理器用于根据摄像头22摄取的用户手势动作生成一手势动作模型,并与存储器内存储的多个用户手势动作模型作比对,当与存储器内存储的多个用户手势动作模型中的其中一个一致时,触发手势动作模型所对应的控制指令。

其中,上述中存储器内存储的多个用户手势动作模型,是通过所述摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一控制指令,并存储在存储器中。

其中,这里的控制指令可以是对无人机的云台进行控制的云台控制指令,或者是对智能眼镜进行控制的眼镜控制指令,或者是对无人机进行控制的飞行控制指令。当然,还可以是其他的控制指令,本发明不一一进行举例说明。

另外,基于智能眼镜上设置的摄像头22,第一显示屏17和第二显示屏18上显示的内容也可以基于具体的应用场景进行自定义。比如可以通过摄像头22采集人脸图像或者二维码图像等,在第一显示屏17和第二显示屏18上可以显示人脸或二维码等,通过处理器进行人脸识别或二维码识别,从而可以实现行人检测、人脸识别以及二维码识别等功能。当然,具体实现的功能并不以上述举例为限。

其中,本发明实施例中的智能眼镜能够进一步与遥控器直接建立第二信道,以使智能眼镜通过第二信道直接从遥控器接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。

也就是说,可以通过遥控器的按键控制实现智能眼镜的菜单功能,比如通过智能眼镜菜单操作实现的显示屏背光亮度,相机设置,拍照,录像等都可由遥控器上的五维键完成。当通过遥控器实现智能眼镜的菜单功能时,遥控器通过第三信道发送禁用指令至智能眼镜,以对智能眼镜的菜单功能进行禁用,具体来说可以是对智能眼镜的与第一飞行控制指令和云台控制指令对应的控制功能进行禁用。即智能眼镜检测到有遥控器接入的情况下,其菜单功能失效,以遥控器的眼镜控制指令控制智能眼镜。

通过遥控器的按键直接控制智能眼镜实现智能眼镜的菜单功能,与通过眼镜上的按键控制菜单相比,用户操作比较方便,无需在遥控器按键操作和智能眼镜按键操作之间不停切换。

在另一种实现方案中,智能眼镜能够进一步与移动终端直接建立第三信道,智能眼镜进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第三信道发送至移动终端进行显示。

更进一步地,移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第三信道发送至智能眼镜,再由智能眼镜通过第一信道发送至无人机。

另外,智能眼镜在从移动终端接收到第一飞行控制指令和/或云台控制指令后对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在智能眼镜和移动终端都能实现对应的控制功能的情况下,如果只有来自两者之一的控制指令时,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定来自智能眼镜指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。

其中,在具体应用过程中,无人机可以通过无线信道与智能眼镜通信,进行图传和控制信号的收发。也可以是通过无线wifi与移动终端通信,进行图传与控制信号的收发。

其中,上述的第二信道和第三信道为无线信道或有线信道。

其中,本发明的具体实现方案并不局限于以上所述,在其他的实现方案中,智能眼镜、遥控器、移动终端除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。

另外,智能眼镜还可以通过所述第一信道直接从无人机获取无人机的录像文件,并在智能眼镜上进行回放。

请参阅图3,图3是本发明实施例提供的无人机的控制系统的结构示意图,如图所示,本发明实施例提供的无人机的控制系统包括遥控器11以及智能眼镜12,其中,智能眼镜12能够在无需遥控器11进行中继的情况下与无人机100直接建立第一信道,以使智能眼镜12通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器11能够在无需智能眼镜12进行中继的情况下与无人机100直接建立第二信道,以使遥控器能够通过第二信道直接向无人机发送第一飞行控制指令。

其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。

其中,在具体实现时,智能眼镜12还可以进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度、无人机机头朝向以及无人机上的云台朝向等等。

作为一种优选的实现方案,本发明实施例中的智能眼镜12是集虚拟现实和增强现实一体的智能眼镜。通过本发明的智能眼镜,将飞行状态数据以增强现实的方式与上述的第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜12也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。

作为一种优选的实现方案,本实施例的智能眼镜12能够通过内置的姿态感测器对智能眼镜12的姿态进行感测,并生成云台控制指令,智能眼镜12进一步通过第一信道直接向无人机发送云台控制指令。所述姿态感测器可以是惯性传感器(inertialmeasurementunit(imu))等。

也就是说,可以通过智能眼镜12的姿态感测器感测智能眼镜12的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。

在另一种实现方式中,本实施例的智能眼镜12能够对用户手势进行感测,并生成眼镜控制指令,智能眼镜12进一步根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜12的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。

也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜12包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜12的操作菜单,用户通过点击对应的操作菜单,智能眼镜12的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。

其中,在另一种实现方式中,智能眼镜12还能够对用户手势进行感测,并生成第二飞行控制指令,智能眼镜12进一步通过第一信道直接向无人机发送第二飞行控制指令。

其中,需要说明的是,这里的第二飞行控制指令与第一飞行控制指令相同,都是用于控制无人机飞行的控制指令。举例来说,第二飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。也就是说,可以通过智能眼镜感测用户手势操作来实现对无人机的飞行控制。当然,可以理解,在没有接收到遥控器11的第一飞行控制指令的情况下,无人机接收到来自智能眼镜12的第二飞行控制指令时,以第二控制指令控制无人机飞行。在没有接收到来自智能眼镜12的第二飞行控制指令的情况下,无人机接收到来自遥控器11的第一飞行控制指令时,以第一控制指令控制无人机飞行。当同时接收到来自智能眼镜12和遥控器11的飞行控制指令时,无人机可以基于预定规则进行优先级判断后以优先级高的控制指令控制无人机的飞行。以优先级高的控制指令操控无人机。预定规则可以根据需要进行预先设置,比如以智能眼镜的控制指令优先,或以遥控器的控制指令优先。

其中,在一种实现方式中,智能眼镜包括摄像头和处理器,摄像头摄取用户手势操作图像,处理器对手势操作图像进行处理,确定手势操作的坐标,与智能眼镜上显示的控制无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第二飞行控制指令并执行对应的操作。

也就是说,通过智能眼镜上显示屏显示虚拟操作界面,然后通过摄像头摄取用户的手势操作图像,并经处理器处理,确定手势操作的坐标,然后与虚拟操作界面的成像位置进行比对,从而识别出用户是哦苏操作对应的第二飞行控制指令并执行对应的控制操作。

在另一种实现方式中,智能眼镜包括摄像头、存储器和处理器,摄像头用于摄取用户手势动作,存储器内存储有多个用户手势动作模型以及多个用户手势动作模型所对应的第二飞行控制指令,处理器与摄像头和存储器均电连接,处理器用于根据摄像头摄取的用户手势动作生成一手势动作模型,并与存储器内存储的多个用户手势动作模型作比对,当与存储器内存储的多个用户手势动作中的其中一个一致时,触发手势动作模型所对应的第二飞行控制指令。

其中,存储器内存储的多个用户手势动作模型,是通过摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一第二飞行控制指令,并存储在存储器中。

其中,在具体应用过程中,无人机可以通过无线信道与智能眼镜通信,进行图传和控制信号的收发。也可以是通过无线wifi与移动终端通信,进行图传与控制信号的收发。

并且,基于本发明实施例以上公开的无人机控制系统,可以在需要时接入多个智能眼镜配合工作。

另外,在一种可能的实现方式中,智能眼镜上不仅可以播放无人机拍摄的实时视频,还可以通过有线或无线信道从无人机获取无人机的录像文件,在智能眼镜上进行回放。

请继续参阅图3,在另一种具体实现方案中,智能眼镜12能够进一步与遥控器11直接建立第三信道,以使智能眼镜12通过第三信道直接从遥控器11接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。也就是说,可以通过遥控器11的按键控制实现智能眼镜12的菜单功能,比如通过智能眼镜12菜单操作实现的显示屏背光亮度,相机设置,拍照,录像等都可由遥控器11上的五维键完成。当通过遥控器11实现智能眼镜12的菜单功能时,遥控器11通过第三信道发送禁用指令至智能眼镜12,以对智能眼镜12的菜单功能进行禁用,具体来说可以是对智能眼镜12的与第一飞行控制指令和云台控制指令对应的控制功能进行禁用。即智能眼镜12检测到有遥控器11接入的情况下,其菜单功能失效,以遥控器的眼镜控制指令控制智能眼镜12。

通过遥控器11的按键直接控制智能眼镜12实现智能眼镜的菜单功能,与通过眼镜上的按键控制菜单相比,用户操作比较方便,无需在遥控器11按键操作和智能眼镜12按键操作之间不停切换。

请继续参阅图3,本实施例的控制系统还可以进一步包括移动终端13,移动终端13与遥控器11直接建立第四信道,遥控器11进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第四信道发送至移动终端13进行显示。

更进一步地,移动终端可以根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第四信道发送至遥控器11,再由遥控器11通过第二信道发送至无人机,以实现在移动终端13上控制无人机的飞行以及无人机上搭载的成像装置。

当遥控器11从移动终端13接收到第一飞行控制指令和/或云台控制指令后,可以对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用,也就是说,这种情况下,以来自移动终端13的控制指令为主实现对应的控制功能。当然,在遥控器11和移动终端13都能够实现对应的控制功能的情况下,如果只有来自两者之一的控制指令,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先等级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定遥控器指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。

当控制系统包括移动终端13时,作为另一种实现方式,请参阅图4,图4是本发明实施例提供的另一种控制系统的结构示意图,在本实施例中,移动终端13与智能眼镜12直接建立第四信道,智能眼镜12进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第四信道发送至移动终端13进行显示。

更进一步地,移动终端13进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第四信道发送至智能眼镜12,再由智能眼镜12通过第一信道发送至无人机。

其中,当智能眼镜12从移动终端13接收到第一飞行控制指令和/或云台控制指令后,对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在智能眼镜12和移动终端13都能实现对应的控制功能的情况下,如果只有来自两者之一的控制指令时,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定来自智能眼镜指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。

在本发明提供的上述控制系统的基础上,可以实现通过遥控器11控制无人机的飞行,通过智能眼镜12体验身临其境的第一视角飞行,并通过移动终端实时观看回传的图像。在这种模式下,可以实现单人或多人操控无人机。比如单人操控时,用户通过遥控器11操控无人机的飞行,并通过智能眼镜12体验身临其境的第一视角飞行,用户对眼镜的菜单控制,如显示屏背光亮度,相机设置,拍照,录像可由遥控器上的五维键完成。或者是双人或多人操控时,第一用户通过遥控器11控制无人机的飞行,第二用户可以佩戴智能眼镜12随时加入或退出,相机设置,拍照,录像可以由第一用户或第二用户进行控制。或者是第一用户佩戴智能眼镜12并使用遥控器11操控无人机,第二用户通过移动终端app观看图传,相机设置,拍照,录像可以由第二用户通过移动终端来进行控制。当然,以上只是具体举例,具体的控制实现可以根据需要进行适当调整。

以上本发明实施例提供的无人机的控制系统中,其中的无人机、遥控器11以及智能眼镜12和移动终端13,可以通过私有无线通信协议实现彼此之间相互连接,从而实现不需要进行中继的情况下相互之间直接通信。

本发明的具体实现方案并不局限于以上所述,在其他的实现方案中,无人机的控制系统中的智能眼镜12、遥控器11、移动终端13除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。

以上本发明实施例所提供的无人机的控制系统,其中智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与无人机直接建立第二信道,以通过第二信道直接向无人机发送第一飞行控制指令。通过这样的方式,由于遥控器和智能眼镜都是直接与无人机建立通信信道,从而不需要进行图传和操控信号的中转,避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。

另外,可以通过遥控器的按键控制实现智能眼镜的菜单功能,从而不需要用户在遥控器按键与智能眼镜之间进行频繁切换,用户操作更加方便。

还有,可以进一步通过移动终端观看图传,并可以进一步通过移动终端进行无人机的操控,可以同时实现多人对无人机的操控和体验第一视角飞行体验。

请参阅图5,图5是本发明第三实施例提供的一种无人机的控制系统的结构示意图,本实施例的无人机的控制系统包括无人机100,智能眼镜110,智能眼镜110能够在无需中继的情况下与无人机100直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,智能眼镜110进一步能够对用户手势进行感测,并生成第一飞行控制指令,并通过第一信道直接向无人机发送第一飞行控制指令。

其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。

在其中一种实现方案中,智能眼镜包括摄像头和处理器,摄像头用于摄取用户手势操作图像,处理器对手势操作图像进行处理,确定手势操作的坐标,与智能眼镜上显示的控制无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第一飞行控制指令,并执行对应的操作。

也就是说,通过识别手势操作图像确定手势操作的坐标,与无人机的虚拟操作界面的成像位置比对,确定手势操作对应于虚拟操作界面哪个操作键位置,从而直接执行对应的操作按键对应的飞行控制操作。

在另一种实现方案中,智能眼镜包括摄像头、存储器和处理器,摄像头用于摄取用户手势动作,存储器内存储有多个用户手势动作模型以及多个用户手势动作模型所对应的第一飞行控制指令,处理器与摄像头和存储器均电连接,处理器用于根据摄像头摄取的用户手势动作生成一手势哦那个在模型,并与存储器内存储的多个用户手势动作模型进行比对,当与存储器内存储的多个用户手势动作模型中的其中一个一致时,触发手势动作模型所对应的第一飞行控制指令。

其中,存储器内存储的多个用户手势动作模型,是通过摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一第一飞行控制指令,并存储在存储器中。

其中,在具体实现时,智能眼镜110还可以进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度,无人机的机头朝向,无人机上的云台朝向等等。

作为一种优选的实现方案,本发明实施例中的智能眼镜110是集虚拟现实和增强现实一体的智能眼镜。通过本发明的智能眼镜,将飞行状态数据以增强现实的方式与上述的第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜110也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。

作为一种优选的实现方案,本实施例的智能眼镜110能够通过设置于其内的姿态感测器对智能眼镜110的姿态进行感测,并生成云台控制指令,智能眼镜110进一步通过第一信道直接向无人机发送云台控制指令。

也就是说,可以通过智能眼镜110的姿态感测器感测智能眼镜110的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。

在另一种实现方式中,本实施例的智能眼镜110能够对用户手势进行感测,并生成眼镜控制指令,智能眼镜110进一步根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜110的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。

也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜110包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜110的操作菜单,用户通过点击对应的操作菜单,智能眼镜110的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。

请继续参阅图5,本实施例中的控制系统还可以进一步包括移动终端120,移动终端120与智能眼镜110直接建立第二信道,智能眼镜110进一步将从无人机100接收的第一视角图像数据和/或飞行状态数据通过第二信道发送至移动终端120进行显示。

更进一步地,移动终端120进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第二信道发送至智能眼镜110,再由智能眼镜110通过第一信道发送至无人机100。

其中,当智能眼镜110从移动终端120接收到第一飞行控制指令和/或云台控制指令后,对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。

其中,在具体应用过程中,无人机100可以通过无线信道与智能眼镜110通信,进行图传和控制信号的收发。也可以是通过无线wifi与移动终端120通信,进行图传与控制信号的收发。

并且,基于本发明实施例以上公开的无人机控制系统,可以在需要时接入多个智能眼镜110配合工作。

另外,在一种可能的实现方式中,智能眼镜110上不仅可以播放无人机拍摄的实时视频,还可以通过有线或无线信道从无人机获取无人机的录像文件,在智能眼镜110上进行回放。

上述本发明实施例提供的无人机的控制系统,通过智能眼镜直接与无人机进行通信,在无需任何中继的情况下,实现智能眼镜直接操控无人机。能够避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。

并且可以进一步通过移动终端120的接入,更加方便用户查看图传,并可以进一步通过移动终端上的操作实现对无人机和智能眼镜的控制,方便用户操作。

以上本发明实施例提供的无人机的控制系统中,其中的无人机100以及智能眼镜110和移动终端120,可以通过私有无线通信协议实现彼此之间相互连接,从而实现不需要进行中继的情况下相互之间直接通信。

本发明的具体实现方案并不局限于以上所述,在其他的实现方案中,无人机的控制系统中的智能眼镜110、移动终端120除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。

请参阅图6,图6是本发明实施例提供的一种无人机第一视觉飞行的控制方法的流程图,本实施例的无人机第一视角飞行的控制方法基于上述图1-2的智能眼镜以及图3、4的控制系统来实现,如图所示,本实施例的无人机第一视觉飞行的控制方法包括以下步骤:

s101:控制智能眼镜与无人机直接建立第一信道,并控制智能眼镜通过第一信道直接从无人机接收并显示第一视觉图像数据。

控制智能眼镜与无人机通过无线私有通信协议建立连接,从而实现不需要遥控器进行中继的情况下,通过智能眼镜直接与无人机进行通信。

其中,在另一种实现方案中,无人机也可以通过无线wifi与移动终端通信,进行图传与控制信号的收发。

其中,可以根据需要接入多个智能眼镜配合工作。

在具体实现时,控制方法还包括:控制智能眼镜进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度、无人机机头朝向以及无人机上的云台朝向等等。

作为一种优选的实现方案,本实施例中的智能眼镜是集虚拟现实和增强现实一体的智能眼镜。通过本发明的智能眼镜,将飞行状态数据以增强现实的方式与上述的第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。

另外,本实施例的控制方法还包括通过内置的姿态感测器控制智能眼镜对智能眼镜的姿态进行感测,并生成云台控制指令,并控制智能眼镜进一步通过第一信道直接向无人机发送云台控制指令。所述姿态感测器可以是惯性传感器(inertialmeasurementunit(imu))等。

也就是说,可以通过智能眼镜的姿态感测器感测智能眼镜的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。

在另一种实现方式中,本发明的控制方法还包括控制智能眼镜对用户手势进行感测,并生成眼镜控制指令,控制智能眼镜进一步根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。

也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜的操作菜单,用户通过点击对应的操作菜单,智能眼镜的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。

其中,具体实现过程中,智能眼镜上不仅可以播放无人机拍摄的实时视频,还可以通过有线或无线信道从无人机获取无人机的录像文件,在智能眼镜上进行回放。

s102:控制遥控器与无人机直接建立第二信道,并控制遥控器通过第二信道直接向无人机发送第一飞行控制指令。

其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。

其中,在另一种实现方式中,本实施例的方法还包括控制智能眼镜对用户手势进行感测,并生成第二飞行控制指令,并控制智能眼镜进一步通过第一信道直接向无人机发送第二飞行控制指令。

其中,需要说明的是,这里的第二飞行控制指令与第一飞行控制指令相同,都是用于控制无人机飞行的控制指令。举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。也就是说,可以通过智能眼镜感测用户手势操作来实现对无人机的飞行控制。当然,可以理解,在没有接收到遥控器的第一飞行控制指令的情况下,无人机接收到来自智能眼镜的第二飞行控制指令时,以第二控制指令控制无人机飞行。在没有接收到来自智能眼镜的第二飞行控制指令的情况下,无人机接收到来自遥控器的第一飞行控制指令时,以第一控制指令控制无人机飞行。当同时接收到来自智能眼镜和遥控器的飞行控制指令时,无人机可以基于预定规则进行优先级判断后以优先级高的控制指令控制无人机的飞行。预定规则可以根据需要进行预先设置,比如以智能眼镜的控制指令优先,或以遥控器的控制指令优先。

在另一种具体实现方案中,本实施例的方法还包括控制智能眼镜与遥控器直接建立第三信道,以使智能眼镜通过第三信道直接从遥控器接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。也就是说,可以通过遥控器的按键控制实现智能眼镜的菜单功能,比如通过智能眼镜菜单操作实现的显示屏背光亮度,相机设置,拍照,录像等都可由遥控器上的五维键完成。当通过遥控器实现智能眼镜的菜单功能时,遥控器通过第三信道发送禁用指令至智能眼镜,以对智能眼镜的菜单功能进行禁用,具体来说可以是对智能眼镜的与第一飞行控制指令和云台控制指令对应的控制功能进行禁用。即智能眼镜检测到有遥控器接入的情况下,其菜单功能失效,以遥控器的眼镜控制指令控制智能眼镜。

通过遥控器的按键直接控制智能眼镜实现智能眼镜的菜单功能,与通过智能眼镜上的按键控制菜单相比,用户操作比较方便,无需在遥控器按键操作和智能眼镜按键操作之间不停切换。

其中,本实施例中上述s101以及s102步骤只是为了区分不同步骤而进行的编号,并不用以限定具体步骤实现的先后顺序。事实上,本发明实施例中的上述步骤s101以及s102,并不严格区分先后顺序,甚至在一种可能的实现方式中,两个步骤可以是同步执行的。

在另一种实现方式中,本实施例的控制方法还进一步包括控制移动终端与遥控器直接建立第四信道,并控制遥控器通过第二信道从无人机接收第一视角图像数据和/或飞行状态数据,并通过第四信道发送至移动终端进行显示。

当移动终端与遥控器直接建立第四信道时,可以控制移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并根据第四信道发送至遥控器,再由遥控器通过第二信道发送至无人机。

当遥控器从移动终端接收到第一飞行控制指令和/或云台控制指令后,可以对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用,也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在遥控器和移动终端都能够实现对应的控制功能的情况下,如果只有来自两者之一的控制指令,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定遥控器指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。

在另一种实现方式中,控制移动终端与智能眼镜直接建立第四信道,并控制智能眼镜进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第四信道发送至移动终端进行显示。

当移动终端与智能眼镜直接建立第四信道时,控制移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第四信道发送至智能眼镜,再由智能眼镜通过第一信道发送至无人机。

其中,上述的第三信道和第四信道可以是无线信道,也可以是有线信道。

其中,当智能眼镜从移动终端接收到第一飞行控制指令和/或云台控制指令后,对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在智能眼镜和移动终端都能实现对应的控制功能的情况下,如果只有来自两者之一的控制指令时,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预先规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定来自智能眼镜指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。

其中,上述实施例中,无人机、遥控器以及智能眼镜和移动终端,可以通过私有无线通信协议实现彼此之间相互连接,从而不需要进行中继的情况下相互之间直接通信。

在另一种实现方案中,还可以控制移动终端与无人机直接建立无线信道,移动终端通过无线信道从无人机接收并显示第一视角图像,无人机通过无线信道从移动终端接收第一飞行控制指令。

当然,本发明的具体实现方案并不局限于此,在其他的实现方案中,智能眼镜、遥控器以及移动终端除可以无线连接外,也可以通过有线方式连接,比如可以是通过usb方式连接。

另外,在另一种实现方案中,控制方法还包括控制智能眼镜通过第一信道直接从无人机获取无人机的录像文件,并在智能眼镜上进行回放。

其中,在具体实现过程中,可以根据需要控制接入多个智能眼镜配合工作。

以上本发明实施例提供的无人机第一视角飞行的控制方法及系统,其中智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与无人机直接建立第二信道,以通过第二信道直接向无人机发送第一飞行控制指令。通过这样的方式,由于遥控器和智能眼镜都是直接与无人机建立通信信道,从而不需要进行图传和操控信号的中转,避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。

另外,可以通过遥控器的按键控制实现智能眼镜的菜单功能,从而不需要用户在遥控器按键与智能眼镜之间进行频繁切换,用户操作更加方便。

还有,可以进一步通过移动终端观看图传,并可以进一步通过移动终端进行无人机的操控,可以同时实现多人对无人机的操控和体验第一视角飞行体验。

请参阅图7,图7是本发明实施例提供的另一种无人机第一视觉飞行的控制方法的流程图,本实施例的无人机第一视角飞行的控制方法基于上述图1-2的智能眼镜以及图5所示的控制系统来实现,如图所示,本实施例的无人机第一视觉飞行的控制方法包括以下步骤:

s201:控制智能眼镜在无需中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据。

其中,在具体实现过程中,本实施例的控制方法还可以包括:控制智能眼镜进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度,无人机的机头朝向,无人机上的云台朝向等等。

其中,智能眼镜可以是集虚拟现实和增强现实于一体的智能眼镜,可以将飞行状态数据以增强现实的方式与第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。

s202:控制智能眼镜进一步对用户手势进行感测,并生成第一飞行控制指令,并通过第一信道直接向无人机发送第一飞行控制指令。

其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。

其中,本发明实施例提供对用户手势进行感测,并生成第一飞行控制指令的两种可能的实现方式,具体如下:

第一种可能的实现方式:控制智能眼镜的摄像头摄取用户手势操作图像,对手势操作图像进行处理,确定手势操作的坐标,与智能眼镜上显示的控制所述无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第一飞行控制指令并执行对应的操作。

也就是说,通过识别手势操作图像确定手势操作的坐标,与无人机的虚拟操作界面的成像位置比对,确定手势操作对应于虚拟操作界面哪个操作键位置,从而直接执行对应的操作按键对应的飞行控制操作。

第二种可能的实现方式:控制智能眼镜的摄像头摄取用户手势动作,根据用户手势动作生成一手势动作模型,与智能眼镜中预存的多个用户手势动作模型作比对,当与预存的多个用户手势动作模型中的其中一个一致时,触发与手势动作模型所对应的第一飞行控制指令。

其中,所述预存的多个用户手势动作模型,是通过智能眼镜的摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一第一飞行控制指令,并存储在存储器中。

其中,在一种实现方式中,可以通过智能眼镜通过设置于其内的姿态感测去对智能眼镜的姿态进行感测,并生成云台控制指令,控制智能眼镜进一步通过第一信道直接向无人机发送云台控制指令。

也就是说,可以通过智能眼镜的姿态感测器感测智能眼镜的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。

在另一种实现方式中,还可以控制智能眼镜对用户手势进行感测,并生成眼镜控制指令,根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。

也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜的操作菜单,用户通过点击对应的操作菜单,智能眼镜的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。

其中,本实施例的控制方法还可以进一步包括:控制移动终端与智能眼镜直接建立第二信道,并控制智能眼镜进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第二信道发送至移动终端进行显示。

更进一步地,控制移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第二信道发送至智能眼镜,再由智能眼镜通过第一信道发送至无人机。

在另一种实现方案中,控制方法还可以包括:控制移动终端与无人机直接建立无线信道,并控制移动终端通过无线信道从无人机接收并显示第一视角图像,以及控制无人机通过无线信道从移动终端接收第一飞行控制指令。

也就是说,无人机可以通过无线信道与智能眼镜通信,进行图传和控制信号的收发。也可以是通过无线wifi与移动终端通信,进行图传与控制信号的收发。

并且,上述无人机第一视角飞行的控制方法中,可以在需要时接入多个智能眼镜配合工作。

另外,还可以控制智能眼镜通过有线或无线信道从无人机获取无人机的录像文件,并在智能眼镜上进行回放。

其中,上述控制方法中,智能眼镜、移动终端除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。

以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1