音频数据处理方法、装置、终端和计算机可读存储介质与流程

本发明涉及数据处理领域，具体而言，涉及一种音频数据处理方法、装置、终端和计算机可读存储介质。

背景技术：

随着全民直播时代的到来，越来越多的人们开启了自己的直播生涯，其中，有很多网友是k歌爱好者，为了体验更好的k歌效果，需要使用具备耳返功能的终端或电子设备，这里，耳返是指演唱者在演唱时可以经由耳机的扬声器实时获取到相匹配的伴奏和耳返人声，耳返可以有效地防止演唱者走调。

然而，目前现有的具备耳返功能的终端在提供耳返人声时，需要对获取的演唱者的人声进行音量调整、滤波、加混音等处理，因此，鉴于这些运算的复杂程度必然会相应地延迟耳返人声的时间，进而导致返回伴奏和耳返人声的间隔时间较长，无法做到实时耳返，使得用户体验较差。

由此可见，现有的耳返的延迟较长，无法提供给用户满意的耳返效果。

技术实现要素：

有鉴于此，本发明的目的在于提供一种音频数据处理方法、装置、终端和计算机可读存储介质，以缓解现有技术中耳返的延时较长，无法提供给用户满意的耳返效果的技术问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种音频数据处理方法，所述方法包括：

统计周期内缓存区中的来自麦克风的音频数据切片最小数量；

将所述最小数量与阈值进行比较；

如果所述最小数量大于阈值，则调整下一个周期内所述音频数据切片的耳返播放速度或者对下一个周期内所述音频数据切片进行下采样。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对下一个周期内所述音频数据切片进行下采样的步骤，包括：

根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片的步骤，包括：

根据所述最小数量与所述阈值的差值，在下一个周期内均匀删除所述差值对应的数量个音频数据切片。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片的步骤，包括：

根据所述最小数量与所述阈值的差值，在下一个周期内随机删除所述差值对应的数量个音频数据切片。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，在统计周期内缓存区中的来自麦克风的音频数据切片最小数量的步骤之前，所述方法还包括：

按照预设的启动顺序，依次对终端的功能进行启动；

所述预设的启动顺序为音频数据切片的耳返播放功能优先于音频数据的麦克风采集功能；所述音频数据的采集功能优先于所述终端的其他功能。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述音频数据切片为所述麦克风采集到的原始数据，所述耳返播放功能通过系统播放器来实现。

第二方面，本发明实施例提供一种音频数据处理装置，所述装置包括：

统计模块，用于统计周期内缓存区中的来自麦克风的音频数据切片最小数量；

比较模块，用于将所述最小数量与阈值进行比较；

调整模块，用于如果所述最小数量大于阈值，则调整下一个周期内所述音频数据切片的耳返播放速度或者对下一个周期内所述音频数据切片进行下采样。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，调整模块在对下一个周期内所述音频数据切片进行下采样时，用于：根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片。

第三方面，本发明实施例还提供一种终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述实施方式任一项所述的方法的步骤。

本发明实施例带来了以下有益效果：本发明实施例提供的音频数据处理方法、装置、终端以及计算机可读存储介质，通过统计周期内缓存区中的来自麦克风的音频数据切片最小数量；然后将统计周期内缓存区中的来自麦克风的音频数据切片最小数量与设定的阈值相比较；如果最小数量大于阈值，则调整下一个周期内所述音频数据切片的耳返播放速度或者对下一个周期内所述音频数据切片进行下采样。因此，本发明实施例提供的技术方案，降低了耳返的延迟，使得耳返音频播放更流畅，能够缓解现有技术中耳返延迟较长，无法提供给用户满意的耳返效果的技术问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种音频处理方法的流程示意图；

图2示出了本发明实施例提供的另一种音频处理方法的流程示意图；

图3示出了本发明实施例提供的一种音频处理装置的示意图；

图4示出了本发明实施例提供的一种终端的示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，现有的具备耳返功能的终端在提供耳返人声时，需要对获取的演唱者的人声进行音量调整、滤波、加混音等处理，因此，鉴于这些运算的复杂程度必然会相应地延迟耳返人声的时间，进而导致返回伴奏和耳返人声的间隔时间较长，无法做到实时耳返，使得用户体验较差。

基于此，本发明实施例提供了一种音频数据处理方法、装置、终端和计算机可读存储介质，以缓解现有技术中耳返的延时较长，无法提供给用户满意的耳返效果的技术问题，可以降低耳返的延迟，使得耳返音频数据播放更加流畅。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种音频数据处理方法进行详细介绍。

第一实施例

参照图1，本发明实施例提供一种音频数据处理方法，所述方法包括：

步骤s102，统计周期内缓存区中的来自麦克风的音频数据切片最小数量；

步骤s104，将最小数量与阈值进行比较；

步骤s106，如果最小数量大于阈值，则调整下一个周期内音频数据切片的耳返播放速度或者对下一个周期内音频数据切片进行下采样。

在步骤s102中，周期可以根据实际需求设置，考虑到为了实现实时处理，这里的周期通常设置为1ms。这里的周期均是指子周期，多个子周期组成一个大周期(这里称为母周期)，换言之，母周期可以包括多个子周期，例如母周期通常设定为100ms，则母周期包括100个子周期。

具体的，麦克风采集音频数据并缓存至缓存区，这里的缓存区是指电子设备或终端的内存。

对于步骤s106，在可选的实施方式中，对下一个周期内所述音频数据切片进行下采样的步骤，可以通过以下步骤执行：

1、根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片。

其中，步骤1，根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片的步骤，可以通过以下方式之一实现：

方式a：根据所述最小数量与所述阈值的差值，在下一个周期内均匀删除所述差值对应的数量个音频数据切片。

方式b：根据所述最小数量与所述阈值的差值，在下一个周期内随机删除所述差值对应的数量个音频数据切片。

在可选的实施方式中，阈值设置为0。

本发明实施例提供的音频数据处理方法包括：统计周期内缓存区中的来自麦克风的音频数据切片最小数量；将最小数量与阈值进行比较；如果最小数量大于阈值，则调整下一个周期内所述音频数据切片的耳返播放速度或者对下一个周期内所述音频数据切片进行下采样。因此，本发明实施例提供的技术方案，通过统计周期内缓存区中的来自麦克风的音频数据切片最小数量；然后将统计周期内缓存区中的来自麦克风的音频数据切片最小数量与设定的阈值相比较；如果最小数量大于阈值，则调整下一个周期内音频数据切片的耳返播放速度或者对下一个周期内音频数据切片进行下采样，从而降低了耳返的延迟，使得耳返音频数据播放更加流畅，有利于提高用户体验，缓解了现有技术中耳返延迟较长，无法提供给用户满意的耳返效果的技术问题。

第二实施例

如图2所示，本发明实施例提供了另一种音频数据处理方法，该方法包括：

步骤s202，按照预设的启动顺序，依次对终端的功能进行启动；

步骤s204，统计周期内缓存区中的来自麦克风的音频数据切片最小数量；

步骤s206，将最小数量与阈值进行比较；

步骤s208，如果最小数量大于阈值，则调整下一个周期内音频数据切片的耳返播放速度或者对下一个周期内音频数据切片进行下采样。

对于步骤s202，其中所述预设的启动顺序为音频数据切片的耳返播放功能优先于音频数据的(麦克风)采集功能；所述音频数据的采集功能优先于所述终端的其他功能(例如终端的电话接听功能，短信收发功能等等)。

在可选的实施方式中，所述音频数据切片为所述麦克风采集到的原始数据，所述耳返播放功能通过系统播放器来实现。

第三实施例

如图3所示，本发明实施例还提供一种音频数据处理装置，所述装置包括：统计模块301、比较模块302和调整模块303。

其中统计模块301用于统计周期内缓存区中的来自麦克风的音频数据切片最小数量；

比较模块302用于将所述最小数量与阈值进行比较；

调整模块303用于如果所述最小数量大于阈值，则调整下一个周期内所述音频数据切片的耳返播放速度或者对下一个周期内所述音频数据切片进行下采样。

在可选的实施方式中，调整模块303在对下一个周期内所述音频数据切片进行下采样时，用于根据所述最小数量与所述阈值的差值，在下一个周期内删除所述差值对应的数量个音频数据切片。

在可选的实施方式中，调整模块303包括第一删除单元，用于根据所述最小数量与所述阈值的差值，在下一个周期内均匀删除所述差值对应的数量个音频数据切片；

在可选的实施方式中，调整模块303包括第二删除单元，用于根据所述最小数量与所述阈值的差值，在下一个周期内随机删除所述差值对应的数量个音频数据切片；

在可选的实施方式中，所述装置还包括启动模块，用于按照预设的启动顺序，依次对终端的功能进行启动；其中所述预设的启动顺序为音频数据切片的耳返播放功能优先于音频数据的麦克风采集功能；所述音频数据的采集功能优先于所述终端的其他功能。

在可选的实施方式中，上述音频数据切片为麦克风采集到的原始数据，上述的耳返播放功能通过系统播放器来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例提供的音频数据处理装置，与上述实施例提供的音频数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

参见图4，本发明实施例还提供一种终端100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线42可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。

处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现成可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器执行本申请实施例提供的上述的音频数据处理方法。

本文中，上述的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。