飞行器控制方法、装置、飞行器和存储介质与流程
本发明涉及飞控技术领域，特别涉及一种飞行器控制方法、装置、飞行器和存储介质。
背景技术：
随着飞控技术的进步，无人机的应用越来越广泛，目前，无人机不仅仅应用在军事上，也开始应用在商用或者民用上。例如，用户可以通过无人机进行拍摄，以记录美好的景色等。在使用无人机时，用户需要向飞行器发出控制指令，以控制无人机完成用户规定的任务。例如，使用无人机进行拍摄时，用户需要控制无人机上的相机开始拍摄、停止拍摄或者控制相机的拍摄角度等。
目前，用户都是通过地面上的控制站或者遥控器等控制设备向飞行器发出控制指令。无人机接收控制设备发送的控制指令，根据该控制指令对无人机进行控制。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
上述技术中需要为无人机配置一个控制设备，通过该控制设备才能实现对无人机的控制，导致实用性差。
技术实现要素：
本发明提供了一种飞行器控制方法、装置、飞行器和存储介质，可以解决现有技术中的实用性差的问题。技术方案如下：
一方面，本发明提供了一种飞行器控制方法，所述方法应用在飞行器中，所述飞行器包括语音采集阵列，所述语音采集阵列包括多个语音采集单元，所述方法包括：
分别通过所述多个语音采集单元对语音信号进行采集，得到多路音频信号，一个语音采集单元采集一路音频信号；
根据所述多路音频信号和每个语音采集单元在所述飞行器中的位置，确定所述语音信号的声源方向；
根据所述声源方向，将所述多路音频信号进行波束形成，得到语音指令；
将所述语音指令转换为控制指令，根据所述控制指令对所述飞行器进行控制。
在一个可能的实现方式中，所述根据所述多路音频信号和每个语音采集单元在所述飞行器中的位置，确定所述语音信号的声源方向，包括：
确定单位向量函数，所述单位向量函数为包括方位角参数和俯仰角参数的函数；
根据所述单位向量函数和所述每个语音采集单元在所述飞行器中的位置，确定任意两个语音采集单元采集到音频信号的理论时间差；
确定任意两个语音采集单元采集到音频信号的实际时间差；
在所述任意两个语音采集单元采集到音频信号的理论时间差和实际时间差相同时，确定所述单位向量函数中的方位角参数的取值和俯仰角的取值，得到所述声源方向的方位角和俯仰角。
在一个可能的实现方式中，所述确定任意两个语音采集单元采集到语音信号的时间差，包括：
对于第一音频信号和第二音频信号，确定所述第一音频信号和所述第二音频信号之间的互相关函数；
确定在所述互相关函数取最大值时，所述第一音频信号和所述第二音频信号在时域上的时间差作为所述第一音频信号和所述第二音频信号之间的时间差。
在一个可能的实现方式中，所述根据所述声源方向，将所述多路音频信号进行波束形成，得到语音指令，包括：
根据所述声源方向，确定每路音频信号在所述声源方向上的音频分量，得到多路音频分量；
将所述多路音频分量进行波束合成，得到所述语音指令。
在一个可能的实现方式中，所述根据所述声源方向，确定每路音频信号在所述声源方向上的音频分量，得到多路音频分量，包括：
对于任一路音频信号，将所述任一路音频信号转换为时频信号；
确定所述时频信号中的每个频点在所述声源的方向上的波束形成系数；
将所述任一路信号的每个频点的频谱值与对应的波束形成系数相乘，得到所述任一路信号在所述声源方向上的音频分量。
在一个可能的实现方式中，所述将所述语音指令转换为控制指令之前，所述方法还包括：
根据所述飞行器的噪声类型，确定与所述噪声类型对应的降噪方法；
通过所述降噪方法对所述语音指令进行降噪处理。
在一个可能的实现方式中，所述根据所述多路音频信号和每个语音采集单元在所述飞行器中的位置，确定所述语音信号的声源方向之前，所述方法还包括：
根据所述多路音频信号，确定发出所述语音信号的用户的参考音色信息；
根据所述参考音色信息和基准音色信息，确定所述用户是否具有控制所述飞行器的权限，所述基准音色信息为具有控制所述飞行器权限的用户的音色信息；
当所述用户具有控制所述飞行器的权限时，执行所述根据所述多路音频信号和每个语音采集单元在所述飞行器中的位置，确定所述语音信号的声源方向的步骤。
另一方面，本发明提供了一种飞行器控制装置，所述装置应用在飞行器中，所述飞行器包括语音采集阵列，所述语音采集阵列包括多个语音采集单元，所述装置包括：
采集模块，用于分别通过所述多个语音采集单元对语音信号进行采集，得到多路音频信号，一个语音采集单元采集一路音频信号；
确定模块，用于根据所述多路音频信号和每个语音采集单元在所述飞行器中的位置，确定所述语音信号的声源方向；
合成模块，用于根据所述声源方向，将所述多路音频信号进行波束形成，得到语音指令；
控制模块，用于将所述语音指令转换为控制指令，根据所述控制指令对所述飞行器进行控制。
在一个可能的实现方式中，所述确定模块，包括：
第一确定单元，用于确定单位向量函数，所述单位向量函数为包括方位角参数和俯仰角参数的函数；
第二确定单元，用于根据所述单位向量函数和所述每个语音采集单元在所述飞行器中的位置，确定任意两个语音采集单元采集到音频信号的理论时间差；
第三确定单元，用于确定任意两个语音采集单元采集到音频信号的实际时间差；
第四确定单元，用于在所述任意两个语音采集单元采集到音频信号的理论时间差和实际时间差相同时，确定所述单位向量函数中的方位角参数的取值和俯仰角的取值，得到所述声源方向的方位角和俯仰角。
在一个可能的实现方式中，所述第三确定单元，还用于对于第一音频信号和第二音频信号，确定所述第一音频信号和所述第二音频信号之间的互相关函数；确定在所述互相关函数取最大值时，所述第一音频信号和所述第二音频信号在时域上的时间差作为所述第一音频信号和所述第二音频信号之间的时间差。
在一个可能的实现方式中，所述合成模块，包括：
第五确定单元，用于根据所述声源方向，确定每路音频信号在所述声源方向上的音频分量，得到多路音频分量；
合成单元，用于将所述多路音频分量进行波束合成，得到所述语音指令。
在一个可能的实现方式中，所述第五确定单元，还用于对于任一路音频信号，将所述任一路音频信号转换为时频信号；确定所述时频信号中的每个频点在所述声源的方向上的波束形成系数；将所述任一路信号的每个频点的频谱值与对应的波束形成系数相乘，得到所述任一路信号在所述声源方向上的音频分量。
在一个可能的实现方式中，所述装置还包括：
降噪模块，用于根据所述飞行器的噪声类型，确定与所述噪声类型对应的降噪方法；通过所述降噪方法对所述语音指令进行降噪处理。
在一个可能的实现方式中，所述确定模块，还用于根据所述多路音频信号，确定发出所述语音信号的用户的参考音色信息；根据所述参考音色信息和基准音色信息，确定所述用户是否具有控制所述飞行器的权限，所述基准音色信息为具有控制所述飞行器权限的用户的音色信息；
所述确定模块，还用于当所述用户具有控制所述飞行器的权限时，根据所述多路音频信号和每个语音采集单元在所述飞行器中的位置，确定所述语音信号的声源方向。
另一方面，本发明提供了一种飞行器，所述飞行器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述飞行器控制方法中所执行的操作。
另一方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现上述飞行器控制方法中所执行的操作。
在本发明实施例中，在飞行器中集成语音采集阵列，通过语音采集阵列采集语音指令，将语音指令转换为控制指令，从而用户不需要通过控制设备，直接通过语音即可实现对飞行器的控制，提高了飞行器的实用性。并且，省去了飞行器额外配套的控制设备，使得无人机变得更便携，以及节省了成本。
附图说明
图1是本发明实施例提供的一种实施环境的示意图；
图2是本发明实施例提供的一种飞行器控制方法流程图；
图3是本发明实施例提供的一种飞行器控制方法流程图；
图4是本发明实施例提供的一种飞行器控制装置结构示意图；
图5是本发明实施例提供的一种确定模块的结构示意图；
图6是本发明实施例提供的一种合成模块的结构示意图；
图7是本发明实施例提供的另一种飞行器控制装置结构示意图；
图8是本发明实施例提供的飞行器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本公开实施例提供了一种实施环境的示意图，参见图1，该实施环境中包括飞行器和用户。用户可以通过语音对该飞行器进行控制。该飞行器可以为航空飞行器或者无人机。该飞行器包括机身和语音采集阵列，语音采集阵列安装在该机身上。该语音采集阵列包括多个语音采集单元，每个语音采集单元分散安装在该机身上，且每个语音采集单元不在同一条直线上。在本发明实施例中，对语音采集阵列包括的语音采集单元的数量以及每个语音采集单元在该机身上的安装位置不作具体限定。例如，该语音采集阵列包括4或者5个语音采集单元。并且，每个语音采集单元可以均匀安装在该机身上或者不均匀安装安装该机身上。其中，相邻两个语音采集单元之间的间距在5～10cm范围内，从而提高了每个语音采集单元采集信号的准确性。
需要说明的是，将每个语音采集单元安装在该机身上之后，在该机身的存储器中存储每个语音采集单元相对于该飞行器的旋转中心的坐标。其中，该语音采集阵列为任一可以采集语音信号的阵列。例如该语音采集阵列可以为麦克风阵列，相应的，语音采集单元可以为麦克风。
本发明实施例提供了一种飞行器控制方法，该方法应用在飞行器中，参见图2，该方法包括：
步骤201：分别通过多个语音采集单元对语音信号进行采集，得到多路音频信号，一个语音采集单元采集一路音频信号。
步骤202：根据该多路音频信号和每个语音采集单元在该飞行器中的位置，确定该语音信号的声源方向。
步骤203：根据该声源方向，将该多路音频信号进行波束形成，得到语音指令。
步骤204：将该语音指令转换为控制指令，根据该控制指令对该飞行器进行控制。
在一个可能的实现方式中，该根据该多路音频信号和每个语音采集单元在该飞行器中的位置，确定该语音信号的声源方向，包括：
确定单位向量函数，该单位向量函数为包括方位角参数和俯仰角参数的函数；
根据该单位向量函数和该每个语音采集单元在该飞行器中的位置，确定任意两个语音采集单元采集到音频信号的理论时间差；
确定任意两个语音采集单元采集到音频信号的实际时间差；
在该任意两个语音采集单元采集到音频信号的理论时间差和实际时间差相同时，确定该单位向量函数中的方位角参数的取值和俯仰角的取值，得到所述声源方向的方位角和俯仰角。
在一个可能的实现方式中，该确定任意两个语音采集单元采集到语音信号的时间差，包括：
对于第一音频信号和第二音频信号，确定第一音频信号和第二音频信号之间的互相关函数；
确定在互相关函数取最大值时，第一音频信号和第二音频信号在时域上的时间差作为第一音频信号和第二音频信号之间的时间差。
在一个可能的实现方式中，该根据该声源方向，将该多路音频信号进行波束形成，得到语音指令，包括：
根据该声源方向，确定每路音频信号在该声源方向上的音频分量，得到多路音频分量；
将该多路音频分量进行波束合成，得到该语音指令。
在一个可能的实现方式中，根据该声源方向，确定每路音频信号在该声源方向上的音频分量，得到多路音频分量，包括：
对于任一路音频信号，将该任一路音频信号转换为时频信号；
确定该时频信号中的每个频点在该声源的方向上的波束形成系数；
将所述任一路信号的每个频点的频谱值与对应的波束形成系数相乘，得到所述任一路信号在所述声源方向上的音频分量。
在一个可能的实现方式中，该将该语音指令转换为控制指令之前，该方法还包括：
根据所述飞行器的噪声类型，确定与所述噪声类型对应的降噪方法；
通过所述降噪方法对该语音指令进行降噪处理。
在一个可能的实现方式中，该根据该多路音频信号和每个语音采集单元在该飞行器中的位置，确定该语音信号的声源方向之前，该方法还包括：
根据该多路音频信号，确定发出该语音信号的用户的参考音色信息；
根据该参考音色信息和基准音色信息，确定该用户是否具有控制该飞行器的权限，该基准音色信息为具有控制该飞行器权限的用户的音色信息；
当该用户具有控制该飞行器的权限时，执行该根据该多路音频信号和每个语音采集单元在该飞行器中的位置，确定该语音信号的声源方向的步骤。
在本发明实施例中，在飞行器中集成语音采集阵列，通过语音采集阵列采集语音指令，将语音指令转换为控制指令，从而用户不需要通过控制设备，直接通过语音即可实现对飞行器的控制，提高了飞行器的实用性。并且，省去了飞行器额外配套的控制设备，使得无人机变得更便携，以及节省了成本。
本发明实施例提供了一种飞行器控制方法，该方法应用在飞行器中，该方法的执行主体可以为飞行器的机身中的处理器、包括该处理器的机身或者包括该处理器的飞行器。在本发明实施例中，以执行主体为飞行器为例进行说明。参见图3，该方法包括：
步骤301：飞行器分别通过多个语音采集单元对语音信号进行采集，得到多路音频信号，一个语音采集单元采集一路音频信号，该语音信号用于对飞行器进行控制。
该飞行器上安装语音采集阵列，通过该语音采集阵列能够采集语音信号。因此，用户可以通过语音控制该飞行器。当用户需要对该飞行器进行控制时，用户对着飞行器说话。飞行器分别通过多个语音采集单元对该语音信号进行采集，得到多路音频信号。例如，该飞行器用于航拍时，当用户想要控制该飞行器围着目标物自动环绕时，用户可以对着该飞行器说出“自动环绕”。再如，当用户想要控制该飞行器对目标物进行跟拍时，用户可以对着该飞行器说出“自动跟拍”。
飞行器采集到多路音频信号之后，可以直接执行步骤302，确定该语音信号的声源方向。为了提高安全性，飞行器可以仅受有控制该飞行器权限的用户的控制。相应的，飞行器采集到多路音频信号之后，飞行器确定发出该语音信号的用户是否具有控制该飞行器的权限；当该用户具有控制该飞行器的权限时，才执行步骤302；当该用户不具备控制该飞行器的权限时，继续执行步骤301进行语音信号的采集，直到采集到具有控制该飞行器的权限的用户发出的语音信号才执行步骤302。
在本步骤之前，飞行器中存储具有控制该飞行器的权限的用户的基准音色信息。相应的，飞行器确定该用户是否具有控制该飞行器的权限的步骤可以为：飞行器根据该多路音频信号，确定发出该语音信号的用户的参考音色信息，根据该参考音色信息和该基准音色信息，确定该用户是否具有控制该飞行器的权限。其中，基准音色信息为具有控制该飞行器的权限的用户的音色信息。相应的，飞行器根据该参考音色信息和该基准音色信息，确定该用户是否具有控制该飞行器的权限的步骤可以为：飞行器确定该参考音色信息和该基准音色信息之间的相似度；如果该相似度大于预设阈值，确定该用户具有控制该飞行器的权限。如果该相似度不大于预设阈值时，确定该用户不具有控制该飞行器的权限。其中，该基准音色信息为具有控制该飞行器权限的用户的音色信息。
需要说明的是，飞行器可以设置一个或者多个具有控制该飞行器的权限的用户。当事先设置多个具有控制该飞行器的权限的用户时，在飞行器中存储每个用户的基准音色信息。相应的，飞行器根据该参考音色信息和该基准音色信息，确定该用户是否具有控制该飞行器的权限的步骤可以为：飞行要确定该参考音色信息与每个基准音色信息之间的相似度，得到多个相似度；如果多个相似度中存在相似度大于预设阈值的相似度，确定该声源具有控制该飞行器的权限；如果多个相似度均小于预设阈值，确定该声源不具有控制该飞行器的权限。其中，预设阈值可以根据需要进行设置并更改，在本发明实施例中，对预设阈值不作具体限定。例如，预设阈值可以为80％或者85％。
在一种实现方式中，飞行器根据该多路音频信号，确定发出该语音信号的用户的参考音色信息时，飞行器可以从多路音频信号中选择一路音频信号，提取该语音信号的音色信息，将该音色信息作为该声源的参考音色信息。飞行器在从多路语音信号中选择一路音频信号时，飞行器可以随机选择，也可以根据每路音频信号的强度，选择强度最大的音频信号，也可以根据每路音频信号的质量，选择质量最好的音频信号。在本发明实施例中，对飞行器选择音频信号的方式不作具体限定。在本发明实施例中，由于飞行器仅提取一路音频信号的音色信息，从而节省计算资源，并提高计算效率。
在另一种实现方式中，飞行器根据该多路音频信号，确定发出该语音信号的用户的参考音色信息时，飞行器也可以从多路音频信号中提取多个音色信息，确定多个音色信息的平均音色信息作为该用户的参考音色信息。其中，频谱包络用于指示音色信息。相应的，飞行器确定多个音色信息的平均音色信息作为该用户的参考音色信息的步骤可以为：飞行器确定每个语音信号的频谱包络，确定每个语音信号的频谱包络的平均包络，将该平均包络确定为该用户的参考音色信息。在本发明实施例中，由于从多路音频信号中提取参考音色信息，从而提高了确定出的参考音色信息的准确性。
步骤302：飞行器根据多路音频信号和每个语音采集单元在飞行器中的位置，确定该语音信号的声源方向。
该声源方向包括该声源的方位角和俯仰角。对于每个语音采集单元，该语音采集单元在飞行器中的位置包括该语音采集单元在该飞行器的设置的三维坐标系中的坐标。并且，在本步骤之前，飞行器存储每个语音采集单元在该飞行器中的位置。相应的，本步骤可以通过以下步骤(1)至(4)实现，包括：
(1)：飞行器确定单位向量函数，单位向量函数为包括方位角参数和俯仰角参数的函数。
例如，该方位角参数和俯仰角参数分别为α和β，则该单位向量函数为aα，β＝[cosα*sinβ，sinα*sinβ，cosβ]t。
(2)：飞行器根据该单位向量函数和每个语音采集单元在飞行器中的位置，确定任意两个语音采集单元采集到音频信号的理论时间差。
为了便于描述方便，将任意两个语音采集单元称为第一语音采集单元和第二语音采集单元，且第一语音采集单元采集到的音频信号称为第一音频信号，第二语音采集单元采集到的语音信号称为第二音频信号。则飞行器根据该单位向量函数、第一语音采集单元和第二语音采集单元在飞行器中的位置，确定第一语音采集单元采集到第一音频信号与第二语音采集单元采集到第二音频信号的理论时间差的步骤可以为：飞行器确定第一语音采集单元的第一坐标向量和第二语音采集单元的第二坐标向量；根据第一坐标向量、第二坐标向量和该单位向量函数，确定第一语音采集单元和第二语音采集单元在该声源方向上的距离，将该距离与空气中的声速的比值作为该理论时间差。
在一个可能的实现方式中，飞行器根据第一坐标向量、第二坐标向量和该单位向量函数，确定第一语音采集单元和第二语音采集单元在该声源方向上的距离的步骤可以为：飞行器确定该单位向量函数的转置函数；确定该转置函数与第一坐标向量的乘积，得到第一语音采集单元距离坐标系中心的第一距离，确定该转置函数与第二坐标向量的乘积，得到第二语音采集单元距离坐标系中心的第二距离；确定第一距离与第二距离的差值得到该距离。
在另一个可能的实现方式中，飞行器根据第一坐标向量、第二坐标向量和该单位向量函数，确定第一语音采集单元和第二语音采集单元在该声源方向上的距离的步骤可以为：飞行器确定该单位向量函数的转置函数，根据该转置函数、第一坐标向量和第二坐标向量，通过以下公式一确定第一语音采集单元和第二语音采集单元在该声源方向上的距离。
公式一：
需要说明的是，本步骤确定出的任意两个语音采集单元采集到音频信号的理论时间差不是一个具体的值，而是一个包含声源方向的方位角和俯仰角的一个函数。
(3)：飞行器确定任意两个语音采集单元采集到音频信号的实际时间差。
每个语音采集单元中安装一个计时器；当语音采集单元采集到语音信号时，通过计时器获取采集到语音信号的时间。相应的，本步骤可以为：飞行器获取第一语音采集单元采集到第一音频信号和第二语音采集单元采集到第二音频信号的实际时间差的步骤可以为：飞行器获取第一语音采集单元采集到第一音频信号的第一时间，获取第二语音采集单元采集到第一音频信号的第二时间，将第一时间与第二时间之间的差值作为第一语音采集单元采集到第一音频信号和第二语音采集单元采集到第二音频信号的实际时间差。
在本发明实施例中，也可以不在飞行器中安装计时器，通过对采集到的音频信号进行时频分析，得出任意两个语音采集单元采集到音频信号的实际时间差。相应的，飞行器获取第一语音采集单元采集到第一音频信号和第二语音采集单元采集到第二音频信号的实际时间差的步骤可以为：
对于第一音频信号和第二音频信号，飞行器确定第一音频信号和第二音频信号之间的互相关函数，确定该互相关函数取最大值时，第一音频信号和第二音频信号在时域上的时间差作为第一音频信号和第二音频信号之间的时间差。
在一个可能的实现方式中，飞行器可以在频域上确定第一音频信号和第二音频信号之间的互相关函数。相应的，飞行器确定第一音频信号和第二音频信号之间的互相关函数的步骤可以通过以下步骤(3-1)至(3-2)实现，包括：
(3-1)：飞行器分别将第一音频信号和第二音频信号转换为第一时频信号和第二时频信号，第一音频信号和第二音频信号为任意两路音频信号。
飞行器分别对第一音频信号和第二音频信号进行分帧处理，得到分帧后的第一音频信号和第二音频信号；对分帧后的第一音频信号和第二音频信号进行加窗处理，并对位于窗口内的第一音频信号和第二音频信号进行傅里叶变换，得到第一时频信号和第二时频信号。
飞行器将每路音频信号转换为时频信号之后，飞行器存储音频信号和时频信号的对应关系，以便于后续进行波束形成时，不需要再次对每路音频信号进行转换，直接获取已存储的时频信号。
(3-2)：飞行器根据第一时频信号和第二时频信号，确定第一音频信号和第二音频信号之间的互相关函数。
飞行器将第一时频信号和第二时频信号相乘，将相乘结果进行傅里叶逆变换，得到第一音频信号和第二音频信号之间的互相关函数。
由于第一时频信号和第二时频信号的波形上是一致的，只是存在一个时延关系，所以互相关函数的时延与两路音频信号(第一音频信号和第二音频信号)的时延一致时取得最大值。所以只要检测该互相关函数最大值，即可得出第一音频信号和第二音频信号到达第一语音采集单元和第二语音采集单元的时间差。
在另一个可能的实现方式中，飞行器可以直接在时域上确定第一音频信号和第二音频之间的互相关函数。相应的，飞行器通过对第一音频信号和第二音频信号互相做卷积确定互相关函数。
(4)：飞行器在任意两个语音采集单元采集到语音信号的理论时间差和实际时间差相同时，确定单位向量函数中的方位角参数的取值和俯仰角的取值，得到该声源方向的方位角和俯仰角。
在一个可能的实现方式中，任意两个语音采集单元采集到语音信号的理论时间差是一个包含该方位角参数和俯仰角参数的单位向量函数，因此，令任意两个语音采集单元采集到语音信号的理论时间差和实际时间差相同，解出该单位向量函数中的方位角参数的取值和俯仰角参数的取值，得到该声源方向的方位角和俯仰角。
在另一个可能的实现方式中，飞行器利用最小二乘法将任意两个语音采集单元采集到语音信号的理论时间差和实际时间差进行拟合，得到公式二所示的拟合函数。当该拟合函数的值为零时，确定单位向量函数中的方位角参数的取值和俯仰角的取值，得到该声源方向的方位角和俯仰角。
公式二：
其中，m为采集语音采集阵列包括的语音采集单元的数量。
步骤303：飞行器根据该声源方向，确定每路音频信号在声源方向上的音频分量，得到多路音频分量。
波束形成方法可以使得语音采集阵列具有一定的指向性，即对声源方向的语音信号进行增强，并且抑制其他方向的语音信号。因此，飞行器在对多路语音信号进行波束形成时，仅合成每路音频信号在声源方向上的音频分量。对于任一路音频信号，飞行器根据该声源方向确定该音频信号在声源方向上的音频分量的步骤可以通过以下步骤(1)至(3)实现，包括：
(1)：飞行器将任一路音频信号转换为第三时频信号。
在一个可能的实现方式中，在步骤302中飞行器已经将每路音频信号转换为时频信号，在本步骤中，飞行器根据该任一路音频信号，从音频信号和时频信号的对应关系中获取该音频信号对应的第三时频信号。
在另一个可能的实现方式中，终端中可以不存储音频信号和时频信号的对应关系。飞行器在本步骤中直接对该音频信号进行时频转换，得到第三时频信号。相应的，飞行器将该任一路音频信号转换为第三时频信号的步骤可以为：飞行器对该任一路音频信号进行分帧处理，得到分帧后的该任一路音频信号；对分帧后的该任一路音频信号进行加窗处理，并对位于窗口内的音频信号进行傅里叶变换，得到第三时频信号。
(2)：飞行器确定第三音频信号中的每个频点在声源方向上的波束形成系数。
对于第三音频信号包括的每个频点。飞行器确定该频点在声源方向上的波束形成系数的步骤可以为：飞行器确定该频点在声源方向上的导向矢量，根据该频点在声源方向上的导向矢量，确定该频点在声源方向上的波束形成系数。本发明实施例中对根据该频点在声源方向上的导向矢量，确定该频点在声源方向上的波束形成系数的具体方式不作具体限定；例如，直接将该频点在声源方向上的导向矢量作为该频点在声源方向上的波束形成系数。
再如，为了提高算法稳定性，飞行器可以获取对角矢量和空间噪声的互功率谱密度，根据该对角矢量、空间噪声的互功率谱密度和该频点在声源方向上的导向矢量，通过以下公式三，确定该频点在声源方向上的波束形成系数。
公式三：
其中，εi是一个对角加载量，用于提高算法的稳定性；d(k)是第k个频点在声源方向上的导向矢量，q是空间噪声的互功率谱密度。并且，εi和q是已知量。并且，通常我们假设空间噪声为球状均匀分布的噪声，语音采集单元之间的互功率谱可用0阶贝塞尔函数来近似。w(k)为波束形成系数向量，且w(k)为m×1的向量，m为语音采集阵列包括的语音采集单元的数量。
(3)：飞行器将任一路信号的每个频点的频谱值与对应的波束形成系数相乘，得到该任一路信号在所述声源方向上的音频分量。
步骤304：飞行器将多路音频分量进行波束合成，得到语音指令。
飞行器将多路音频分量进行叠加，得到该语音指令。并且飞行器得到语音指令之后，飞行器可以直接执行步骤305，对该语音指令进行转换。由于飞行器可能采集到飞行器自身的螺旋桨的声音及环境噪音。因此，飞行器得到语音指令之后，飞行器可以对该语音指令进行降噪处理，通过步骤305将降噪后的语音指令转换为控制指令。飞行器可以用现有的任意对语言指令进行降噪处理的降噪方法对该语音指令进行降噪处理，在本发明实施例中，对飞行器进行降噪处理的降噪方法不作具体限定。
为了进一步提高降噪效果，飞行器可以根据飞行器的噪声特性，有针对性的对该语音指令进行降噪处理，从而提高降噪效果。相应的，飞行器对该语音信号进行处理的步骤可以为：飞行器根据该飞行器的噪声类型，确定与该噪声类型对应的降噪方法；通过该降噪方法对该语音指令进行降噪处理。其中，该降噪方法可以为谱减法等。
在本发明实施例中，利用语音采集阵列技术，可增加语音的操控距离，让无人机的声控变得更实用。并且，该语音采集阵列能测出用户的位置，为自拍对准功能提供可行性。
步骤305：飞行器将语音指令转换为控制指令。
在一个可能的实现方式中，飞行器中存储语音指令和控制指令的对应关系。相应的，本步骤可以为：飞行器根据该语音指令，从语音指令和控制指令的对应关系中获取该语音指令对应的控制指令。在另一个可能的实现方式中，飞行器中存储关键词和控制指令的对应关系。相应的，本步骤可以为：飞行器从语音指令中提取关键字，根据该关键字，从关键字和控制指令的对应关系中获取该语音指令对应的控制指令。其中，该关键字可以为控制该飞行器的动词。
步骤306：飞行器根据控制指令对飞行器进行控制。
在一个可能的实现方式中，飞行器将该语音指令转换为控制指令之后，直接根据该控制指令对该飞行器进行控制。在另一个可能的实现方式中，为了提高安全性，飞行器可以设置部分控制指令可以由用户通过语音控制，部分控制指令由地面控制站或者遥控器等控制设备控制。飞行器将该语音指令转换为控制指令之后，确定该控制指令是否为能够通过语音控制的指令；当该控制指令是能够通过语音控制的指令，执行步骤306；当该控制指令不是能够通过语音控制的指令，输出提示信息，该提示信息用于提示用户通过控制设备对该飞行器进行控制。
在本步骤之前，飞行器中存储指令库，该指令库中存储至少一个能够通过语音控制的指令；相应的，飞行器确定该控制指令是否为能够通过语音控制的指令的步骤可以为：飞行器确定该指令库中是否包含该控制指令；当该指令库中包含该控制指令，确定该控制指令是能够通过语音控制的指令；当该指令库中不包含该控制指令，确定该控制指令不是能够通过语音控制的指令。
在本发明实施例中，在飞行器中集成语音采集阵列，通过语音采集阵列采集语音指令，将语音指令转换为控制指令，从而用户不需要通过控制设备，直接通过语音即可实现对飞行器的控制，提高了飞行器的实用性。并且，省去了飞行器额外配套的控制设备，使得无人机变得更便携，以及节省了成本。
本发明实施例提供了一种飞行器控制装置，该装置应用在飞行器中，该飞行器包括语音采集阵列，该语音采集阵列包括多个语音采集单元，该装置用于执行以上飞行器控制方法中的飞行器执行的步骤。参见图4，该装置包括：
采集模块401，用于分别通过该多个语音采集单元对语音信号进行采集，得到多路音频信号，一个语音采集单元采集一路音频信号；
确定模块402，用于根据该多路音频信号和每个语音采集单元在该飞行器中的位置，确定该语音信号的声源方向；
合成模块403，用于根据该声源方向，将该多路音频信号进行波束形成，得到语音指令；
控制模块404，用于将该语音指令转换为控制指令，根据该控制指令对该飞行器进行控制。
在一个可能的实现方式中，参见图5，确定模块402，包括：
第一确定单元4021，用于确定单位向量函数，该单位向量函数为包括方位角参数和俯仰角参数的函数；
第二确定单元4022，用于根据该单位向量函数和该每个语音采集单元在该飞行器中的位置，确定任意两个语音采集单元采集到音频信号的理论时间差；
第三确定单元4023，用于确定任意两个语音采集单元采集到音频信号的实际时间差；
第四确定单元4024，用于在该任意两个语音采集单元采集到音频信号的理论时间差和实际时间差相同时，确定该单位向量函数中的方位角参数的取值和俯仰角的取值，得到所述声源方向的方位角和俯仰角。
在一个可能的实现方式中，第三确定单元4023，还用于对于第一音频信号和第二音频信号，确定第一音频信号和第二音频信号之间的互相关函数；确定在互相关函数取最大值时，第一音频信号和第二音频信号在时域上的时间差作为第一音频信号和第二音频信号之间的时间差。
在一个可能的实现方式中，参见图6，合成模块403，包括：
第五确定单元4031，用于根据该声源方向，确定每路音频信号在该声源方向上的音频分量，得到多路音频分量；
合成单元4032，用于将该多路音频分量进行波束合成，得到该语音指令。
在一个可能的实现方式中，第五确定单元4031，还用于对于任一路音频信号，将该任一路音频信号转换为第三时频信号；确定该第三时频信号中的每个频点在该声源的方向上的波束形成系数；将该任一路信号的每个频点的频谱值与对应的波束形成系数相乘，得到该任一路信号在该声源方向上的音频分量。
在一个可能的实现方式中，参见图7，该装置还包括：
降噪模块405，用于根据飞行器的噪声类型，确定与该噪声类型对应的降噪方法；通过该降噪方法对该语音指令进行降噪处理。
在一个可能的实现方式中，确定模块402，还用于根据该多路音频信号，确定发出该语音信号的用户的参考音色信息；根据该参考音色信息和基准音色信息，确定该用户是否具有控制该飞行器的权限，该基准音色信息为具有控制该飞行器权限的用户的音色信息；
确定模块402，还用于当该用户具有控制该飞行器的权限时，根据该多路音频信号和每个语音采集单元在该飞行器中的位置，确定该语音信号的声源方向。
在本发明实施例中，在飞行器中集成语音采集阵列，通过语音采集阵列采集语音指令，将语音指令转换为控制指令，从而用户不需要通过控制设备，直接通过语音即可实现对飞行器的控制，提高了飞行器的实用性。并且，省去了飞行器额外配套的控制设备，使得无人机变得更便携，以及节省了成本。
需要说明的是：上述实施例提供的飞行器控制装置在飞行器控制时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的飞行器控制装置与飞行器控制方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本发明实施例提供的一种飞行器800的结构示意图。例如，该飞行器800可以用于执行上述各个实施例中提供的飞行器控制方法。参见图8，该飞行器800包括：
飞行器800可以包括rf(radiofrequency，射频)电路810、包括有一个或一个以上计算机可读存储介质的存储器820、输入单元830、显示单元840、传感器850、音频电路860、wifi(wirelessfidelity，无线保真)模块870、包括有一个或者一个以上处理核心的处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的飞行器结构并不构成对飞行器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
rf电路810可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器880处理；另外，将涉及上行的数据发送给基站。通常，rf电路810包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim)卡、收发信机、耦合器、lna(lownoiseamplifier，低噪声放大器)、双工器等。此外，rf电路810还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于gsm(globalsystemofmobilecommunication，全球移动通讯系统)、gprs(generalpacketradioservice，通用分组无线服务)、cdma(codedivisionmultipleaccess，码分多址)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、lte(longtermevolution,长期演进)、电子邮件、sms(shortmessagingservice，短消息服务)等。
存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据飞行器800的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器820还可以包括存储器控制器，以提供处理器880和输入单元830对存储器820的访问。
输入单元830可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏表面831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及飞行器800的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841，可选的，可以采用lcd(liquidcrystaldisplay，液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等形式来配置显示面板841。进一步的，触敏表面831可覆盖显示面板841，当触敏表面831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中，触敏表面831与显示面板841是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面831与显示面板841集成而实现输入和输出功能。
飞行器800还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在飞行器800移动到耳边时，关闭显示面板841和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于飞行器800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路860、扬声器861，传声器862可提供用户与飞行器800之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经rf电路810以发送给比如另一飞行器，或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔，以提供外设耳机与飞行器800的通信。
wifi属于短距离无线传输技术，飞行器800通过wifi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了wifi模块870，但是可以理解的是，其并不属于飞行器800的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是飞行器800的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行飞行器800的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器880可包括一个或多个处理核心；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。
飞行器800还包括给各个部件供电的电源890(比如电池)，优选的，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，飞行器800还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，飞行器的显示单元是触摸屏显示器，飞行器还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。该一个或者一个以上程序包含用于执行上述图2或图3所示实施例所示的方法。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的飞行器控制方法中飞行器所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！