一种基于大数据的无人机飞行智能语音控制系统及方法与流程

本发明涉及智能语音控制，具体为一种基于大数据的无人机飞行智能语音控制系统及方法。

背景技术：

1、随着科技的不断发展，无人机以及逐渐成为一个重要的航空测试平台和学术研究领域的重要手段，然而，传统的操作控制方式与其灵活的机载载荷特性产生了较大的反差，在操作效率和操作成功率上存在矛盾，同时限制了无人机在很多应用场合下的使用，基于语音识别的无人机语音控制系统，因其快速、便捷和准确性高等特点，能够解决上述问题。

2、现有技术在利用语音识别技术对无人机进行语音控制时，需要精确匹配指令关键词才可以转换成控制指令下发，这需要使用者能够对无人机的语音控制指令进行熟练掌握，降低了使用效果，同时，现有技术无法对无人机的预警响应情况进行实时分析，导致无人机在发生碰撞时无法提前做出相应措施，以及现有技术无法根据使用者输入的语音指令对通过语音识别技术识别出的控制指令的可行性进行有效分析。

技术实现思路

1、本发明的目的在于提供一种基于大数据的无人机飞行智能语音控制系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的无人机飞行智能语音控制方法，所述方法包括：

3、s10：通过语音接收设备对使用者下达的历史语音指令进行接收，得到语音指令纠错集，利用通过语音指令纠错集分析出的关键词、非关键词的音素序列，对传统声学模型进行训练，得到第一语音模型、第二语音模型和第三语音模型，利用第一语音模型、第二语音模型和第三语音模型对语音接收设备接收的实时语音指令进行处理，得到若干条任务指令；

4、s20：通过摄像装置采集的四周图像模拟的无人机的运动场景，对各任务指令的可行性进行分析，基于分析结果，对无人机的目标控制指令进行确定，无人机控制终端根据目标控制指令对无人机的运动状态进行操控；

5、s30：在无人机控制终端根据目标控制指令对无人机的运动状态进行操控时，通过无人机状态接收设备对无人机的实时运动状态进行获取，对无人机的预警响应情况进行分析，基于分析结果，选择是否对无人机控制终端接收的目标控制指令进行更改，并对更改结果进行确定；

6、s40：无人机控制终端根据更改结果对无人机的运动状态进行调整，通过无人机在运动状态调整后的实时运动状态，以及无人机上装设的摄像装置采集的四周图像，对无人机的三维运动场景进行实时修改，无人机控制终端将修改后的三维运动场景传送至使用者的智能终端，通过使用者智能终端中装载的显示软件对修改后的三维运动场景进行展示。

7、进一步的，所述s10包括：

8、s101：对使用者下达的历史语音指令进行获取，将获取的历史语音指令与无人机的标准控制指令进行比对，将比对不一致的历史语音指令存储在集合中，得到语音指令纠错集，根据无人机各标准控制指令中的关键词，对语音指令纠错集中的关键词进行标记；

9、s102：在语音指令纠错集中对具有同义特征的非关键词进行获取，采用ctc作为损失函数对传统声学模型进行训练，根据使用者下达的历史语音指令，对各具有同义特征的非关键词的音素序列进行获取，将各具有同义特征的非关键词的音素序列作为输入，将对应具有同义特征的非关键词的标准音素序列作为输出，对训练后的传统声学模型进行二次训练，得到第一语音模型；

10、根据使用者下达的历史语音指令，对各标记关键词的音素序列进行获取，将各标记关键词的音素序列作为输入，将对应标记关键词的标准音素序列作为输出，对训练后的传统声学模型进行二次训练，得到第二语音模型；

11、在语音指令纠错集中对具有非同义特征的非关键词进行获取，根据使用者下发的历史语音指令，对各具有非同义特征的非关键词的音素序列进行获取，将各具有非同义特征的非关键词的音素序列作为输入，将对应具有非同义特征的非关键词的标准音素序列作为输出，对训练后的传统声学模型进行二次训练，得到第三语音模型；通过音素序列对训练后的传统声学模型进行训练，保证训练后得到的各语音模型能够对使用者下达的语音指令进行精确识别和精准纠错，避免使用者输入的语音指令与无人机控制系统输入的控制指令不同而无法对无人机进行操控，提高了使用效果；

12、s103：对使用者在t时刻下达的语音指令进行拆分，将拆分得到的具有同义特征的非关键词、关键词和具有非同义特征的非关键词，分别输入第一语音模型、第二语音模型和第三语音模型，将第一语音模型、第二语音模型和第三语音模型的输出词、输出词语按照标准控制指令的构成逻辑进行组合排列，得到若干条任务指令。

13、进一步的，所述s20包括：

14、s201：在无人机上装设若干个摄像装置，通过摄像装置对无人机四周的图像进行采集，基于采集图像，对无人机的运动场景进行三维模拟，在三维运动场景中，以无人机在t时刻所在位置为坐标原点构建三维空间坐标系，对三维运动场景中各关联障碍物的位置坐标进行获取，根据三维距离计算公式对无人机距离各关联障碍物的距离值进行计算，对计算的最小距离值d进行确定，最小距离值d对应的关联障碍物为最近关联障碍物；

15、s202：对使用者在t时刻下达的语音指令的上一语音指令的下达时间t′进行获取，根据使用者在t时刻下达的语音指令的上一语音指令，对无人机在[t′,t]时间段内的飞行加速度进行分析，若使用者在t时刻下达的语音指令的上一语音指令中不存在速度描述词，速度描述词包括加、减、快速加、快速减、迅速加和迅速减，则a＝0，若使用者在t时刻下达的语音指令的上一语音指令中存在速度描述词，则a＝ui，i＝1,2,3,4,5,6，表示各速度描述词对应的编号，ui表示当语音指令中存在编号为i的速度描述词时，无人机对应的飞行加速度，当i＝1时，表示速度描述词为减，当i＝2时，表示速度描述词为快速减，当i＝3时，表示速度描述词为迅速减，当i＝4时，表示速度描述词为加，当i＝5时，表示速度描述词为快速加，当i＝6时，表示速度描述词为迅速加；通过将各速度描述词与无人机的运行加速度进行匹配分析，可通过使用者下达的语音指令，快速对无人机的运行状态改变情况进行分析，提高了对目标控制指令的确定速率；

16、s203：根据t＝d/[v0+a(t-t′)]对无人机从坐标原点运动至最近关联障碍物所在位置所需要的时间进行计算，其中，v0表示无人机在t′时刻的飞行速度，a表示根据使用者在t时刻下达的语音指令的上一语音指令确定的无人机在[t′,t]时间段内的飞行加速度；

17、当t＜无人机在飞行速度为v0+a(t-t′)时的紧急制动时间时，不存在速度描述词的任务指令的可行性e0＝0，构建数学模型对存在速度描述词的各任务指令的可行性进行预测，具体的数学模型为：

18、

19、其中，v′表示最近关联障碍物在[t′,t]时间段内的平均运动速度，uti表示当使用者在t时刻下达的语音指令中存在编号为i的速度描述词时，无人机对应的飞行加速度；

20、当t≥无人机在飞行速度为v0+a(t-t′)时的紧急制动时间时，根据对不存在速度描述词的任务指令的可行性进行计算；

21、根据对存在速度描述词的任务指令的可行性进行计算；

22、将ei和e0放入集合m中，对集合m中的最大值进行寻找，若寻找的最大值＝e0，则不存在速度描述词的任务指令为目标控制指令，若寻找的最大值＝ek，则存在编号为k的速度描述词的任务指令为目标控制指令，k＝1,2,3,4,5,6；

23、s204：无人机控制终端根据目标控制指令对无人机的运动状态进行操控。

24、进一步的，所述s30包括：

25、s301：对无人机控制终端根据目标控制指令对无人机的运动状态进行操控的时间x进行确定，通过无人机状态接收设备对无人机在x+y*g时刻的位置坐标(xx+y*g,yx+y*g)和飞行速度vx+y*g进行获取，g表示无人机运动状态的采集时间间隔值，y＝1,2,…,n，表示无人机运动状态的各采集时间对应的编号，n表示编号总数；

26、s302：通过无人机上装设的摄像装置，对最近关联障碍物在x+y*g时刻的位置坐标(x′x+y*g,y′x+y*g)进行获取，根据三维距离计算公式对无人机在x+y*g时刻距离最近关联障碍物的距离值dx+y*g进行计算，根据cx+(y+1)*g＝(dx+(y+1)*g-dx+y*g)/g对最近关联障碍物在x+(y+1)*g时刻的运动速度进行计算，根据γx+(y+1)*g＝[(cx+(y+1)*g-vx+(y+1)*g)*g+dx+y*g]-vx+(y+1)*g*fx+(y+1)*g对无人机在x+(y+1)*g时刻的预警响应判断指数进行预测；通过对最近关联障碍物和无人机的实时运动情况进行分析，结合分析出的无人机在任意一种运动情况下所对应的紧急制动距离，对无人机的预警响应判断指数进行预测，提高了预测精度，且能够在无人机与最近关联障碍物发生碰撞前，对无人机的运动状态进行调整，提高了无人机的飞行安全性；

27、其中，vx+(y+1)*g表示无人机在x+(y+1)*g时刻的飞行速度，fx+(y+1)*g表示无人机在飞行速度为vx+(y+1)*g时的紧急制动时间；

28、当γx+(y+1)*g≤0时，对无人机控制终端接收的目标控制指令进行更改，当γx+(y+1)*g＞0时，不对无人机控制终端接收的目标控制指令进行更改；

29、s303：对无人机控制终端接收的目标控制指令的更改结果进行确定。

30、进一步的，所述s303包括：

31、根据p＝[(cx+(y+1)*g)2-(vx+(y+1)*g)2]/(2*|γx+(y+1)*g|)对无人机的目标飞行加速度进行计算，根据无人机的目标飞行加速度，对目标控制指令的关键词进行调整，具体的调整方法为：

32、令p＝ui时对应的编号进行确定，记确定的编号为q，q＝1,2,3,4,5,6，则编号q对应的速度描述词为目标控制指令关键词的调整词；

33、基于调整结果，得到更改后的目标控制指令，其中，p表示无人机的目标飞行加速度。

34、一种基于大数据的无人机飞行智能语音控制系统，所述系统包括语音模型构建模块、无人机运动状态操控模块、预警响应情况分析模块和三维运动场景展示模块；

35、所述语音模型构建模块用于利用通过语音指令纠错集分析出的关键词、非关键词的音素序列，对传统声学模型进行训练，得到若干个语音模型，利用得到的若干个语音模型对语音接收设备接收的实时语音指令进行处理，得到若干条任务指令；

36、所述无人机运动状态操控模块用于通过摄像装置采集的四周图像模拟的无人机的运动场景，对各任务指令的可行性进行分析，无人机控制终端根据分析出的目标控制指令对无人机的运动状态进行操控；

37、所述预警响应情况分析模块用于通过无人机状态接收设备对无人机的实时运动状态进行获取，对无人机的预警响应情况进行分析，基于分析结果，选择是否对无人机控制终端接收的目标控制指令进行更改，并对更改结果进行确定；

38、所述三维运动场景展示模块用于通过无人机在运动状态调整后的实时运动状态，以及无人机上装设的摄像装置采集的四周图像，对无人机的三维运动场景进行实时修改，并通过使用者智能终端中装载的显示软件对修改后的三维运动场景进行展示。

39、进一步的，所述语音模型构建模块包括语音指令纠错集标记单元、语音模型构建单元和任务指令输出单元；

40、所述语音指令纠错集标记单元将使用者的历史语音指令与无人机的标准控制指令进行比对，得到语音指令纠错集，根据无人机各标准控制指令中的关键词，对语音指令纠错集中的关键词进行标记；

41、所述语音模型构建单元采用ctc作为损失函数对传统声学模型进行训练，根据使用者下达的历史语音指令，对各具有同义特征的非关键词的音素序列、各标记关键词的音素序列和各具有非同义特征的非关键词的音素序列进行获取，将获取的各音素序列作为输入，将各具有同义特征的非关键词的标准音素序列、各标记关键词的标准音素序列和各具有非同义特征的非关键词的标准音素序列作为输出，分别得到第一语音模型、第二语音模型和第三语音模型；

42、所述任务指令输出单元对使用者下达的语音指令进行拆分，将拆分得到的具有同义特征的非关键词、关键词和具有非同义特征的非关键词，分别输入第一语音模型、第二语音模型和第三语音模型，将各语音模型的输出词、输出词语按照标准控制指令的构成逻辑进行组合排列，得到若干条任务指令。

43、进一步的，所述无人机运动状态操控模块包括最近关联障碍物确定单元、飞行加速度分析单元、语音指令可行性预测单元和无人机运动状态操控单元；

44、所述最近关联障碍物确定单元通过摄像装置采集的四周图像对无人机的运动场景进行三维模拟，在三维运动场景中构建三维空间坐标系，对无人机距离各关联障碍物的距离值进行计算，基于计算结果，对最近关联障碍物进行确定；

45、所述飞行加速度分析单元根据使用者下达的语音指令的上一语音指令，对无人机的飞行加速度进行分析；

46、所述语音指令可行性预测单元根据构建的数学公式对无人机从坐标原点运动至最近关联障碍物所在位置所需要的时间进行计算，将计算结果与无人机在对应飞行速度下的紧急制动时间进行比较，根据比较结果，通过构建的各数学模型对各任务指令的可行性进行预测，基于预测结果，对无人机的目标控制指令进行确定；

47、所述无人机运动状态操控单元通过无人机控制终端接收的目标控制指令对无人机的运动状态进行操控。

48、进一步的，所述预警响应情况分析模块包括无人机运动状态获取单元、预警响应判断指数预测单元和更改结果确定单元；

49、所述无人机运动状态获取单元通过无人机状态接收设备对无人机在运动状态被操控后的实时位置坐标和实时飞行速度进行获取；

50、所述预警响应判断指数预测单元根据无人机距离最近关联障碍物的实时距离值，对最近关联障碍物的实时运动速度进行计算，基于计算结果，对无人机的实时预警响应判断指数进行预测，基于预测结果，选择是否对无人机控制终端接收的目标控制指令进行更改；

51、所述更改结果确定单元对无人机控制终端接收的目标控制指令进行更改。

52、进一步的，所述三维运动场景展示模块通过无人机在运动状态调整后的实时运动状态，以及无人机上装设的摄像装置采集的四周图像，对无人机的三维运动场景进行实时修改，无人机控制终端将修改后的三维运动场景传送至使用者的智能终端，通过使用者智能终端中装载的显示软件对修改后的三维运动场景进行展示。

53、与现有技术相比，本发明所达到的有益效果是：

54、1.本发明通过音素序列对训练后的传统声学模型进行训练，保证训练后得到的各语音模型能够对使用者下达的语音指令进行精确识别和精准纠错，避免使用者输入的语音指令与无人机控制系统输入的控制指令不同而无法对无人机进行操控，此过程无需使用者熟练掌握无人机控制系统写入的控制指令，且本发明还能够根据写入的控制指令的同义词，对无人机的运行状态进行操控，提高了系统的使用效果。

55、2.本发明通过将各速度描述词与无人机的运行加速度进行匹配分析，可通过使用者下达的语音指令，快速对无人机的运行状态改变情况进行分析，基于分析结果，对各任务指令的可行性进行预测，提高了对目标控制指令的确定速率。

56、3.本发明通过对最近关联障碍物和无人机的实时运动情况进行分析，结合分析出的无人机在任意一种运动情况下所对应的紧急制动距离，对无人机的预警响应判断指数进行预测，提高了预测精度，且能够在无人机与最近关联障碍物发生碰撞前，对无人机的运动状态进行调整，提高了无人机的飞行安全性。