音频数据的音律解析播放方法、设备及存储介质与流程

本发明涉及音频分析领域，尤其涉及一种音频数据的音律解析播放方法、设备及存储介质。

背景技术：

1、音频分析是指对音频信号进行数字处理和分析，从中提取出有用的信息。它可以应用于很多领域，例如语音识别、音乐信息检索、声音事件检测、情感识别等。

2、在语音识别方面，音频分析可以将语音信号转换成文字，使得计算机可以理解人类的语言。在音乐信息检索方面，音频分析可以提取歌曲的特征，比如节奏、旋律、音调等，从而实现歌曲搜索、推荐等功能。在声音事件检测方面，音频分析可以识别出环境中的各种声音事件，如汽车喇叭声、狗叫声、人声等。在情感识别方面，音频分析可以通过声音特征来推断说话者的情感状态，如愤怒、悲伤、快乐等。虽然音频分析的目标与功能丰富多样，但是，目前的分析技术缺少对音频的音律解析，不能满足人们对音频乐曲赏析的需求，因此需要一种新的技术来解决当前的技术问题。

技术实现思路

1、本发明的主要目的在于解决目前的分析技术缺少对音频的音律解析，不能满足人们对音频乐曲赏析的需求的技术问题。

2、本发明第一方面提供了一种音频数据的音律解析播放方法，所述音频数据的音律解析播放方法包括：

3、接收音频数据；

4、根据预置音素识别算法，对所述音频数据进行音素识别处理，得到音素序列；

5、根据预置音律节律数据，对所述音素序列进行划分标记处理，得到音律序列；

6、利用预设描述文库，对所述音律序列进行描述匹配处理，得到所述音频数据对应的描述文字；

7、当所述音频数据播放时，基于所述音频数据的播放位置，对所述描述文字中所述播放位置对应的文字段进行展示处理。

8、可选的，在本发明第一方面的第一种实现方式中，所述根据预置音素识别算法，对所述音频数据进行音素识别处理，得到音素序列包括：

9、根据预置帧窗口，对所述音频数据进行帧分解处理，得到n个帧音频，其中，n为正整数；

10、对n个帧音频数据进行向量化处理，得到n个帧向量；

11、根据预置卷积矩阵集，对n个所述帧向量分别进行卷积处理，得到n个卷积帧向量；

12、对n个所述卷积帧向量进行归一化处理，得到n个归一帧向量；

13、根据预置激活函数，对n个所述归一帧向量进行激活处理，得到n个激活值；

14、基于n个激活值，生成音素序列。

15、可选的，在本发明第一方面的第二种实现方式中，所述对n个帧音频数据进行向量化处理，得到n个帧向量包括：

16、对帧音频数据进行序列卷积处理，得到卷积帧数据；

17、对卷积帧数据进行时刻帧平均处理，得到帧向量。

18、可选的，在本发明第一方面的第三种实现方式中，所述对帧音频数据进行序列卷积处理，得到卷积帧数据包括:

19、基于预置第一卷积核，提取所述帧音频数据t范围中t-2、t-1、t、t+1、t+2的帧数据进行卷积处理，得到第一卷积子音频；

20、基于预置第二卷积核，提取所述帧音频数据t范围中t-2、t、t+2的帧数据进行卷积处理，得到第二卷积子音频；

21、基于预置第三卷积核，提取所述帧音频数据t范围中t的帧数据进行卷积处理，得到第三卷积子音频；

22、将所述第一卷积子音频、所述第二卷积子音频、所述第三卷积子音频并行拼接，得到卷积帧数据。

23、可选的，在本发明第一方面的第四种实现方式中，所述对卷积帧数据进行时刻帧平均处理，得到帧向量包括：

24、

25、，其中，h为平均时刻帧，ht1为第一卷积子音频t时刻音频值，ht2为第二卷积子音频t时刻音频值，ht3为第三卷积子音频t时刻音频值，t为帧音频数据的结束时刻；

26、根据所述平均时刻帧，生成帧向量。

27、可选的，在本发明第一方面的第五种实现方式中，所述根据预置激活函数，对n个所述归一帧向量进行激活处理，得到n个激活值包括：

28、根据softmax激活函数，分别对n个所述归一帧向量进行激活处理，得到n个激活值。

29、可选的，在本发明第一方面的第六种实现方式中，所述根据预置音律节律数据，对所述音素序列进行划分标记处理，得到音律序列包括：

30、读取预置音律节律数据的音律序列；

31、判断所述音律序列在所述音素序列中是否存在匹配序列；

32、若存在，则对所述音素序列中的匹配序列进行表记处理；

33、若不存在，则读取预置音律节律数据的另一个音律序列。

34、可选的，在本发明第一方面的第七种实现方式中，所述利用预设描述文库，对所述音律序列进行描述匹配处理，得到所述音频数据对应的描述文字包括：

35、在所述音律序列中，选择目标音律名；

36、在预设描述文库中匹配出所述目标音律名对应描述字段，建立所述描述字段与所述音律序列的映射关系；

37、基于所述音律序列的音律排序，将所述音律序列中的所有音律名对应的描述字段组合，生成所述音频数据对应的描述文字。

38、本发明第二方面提供了一种音频数据的音律解析播放设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述音频数据的音律解析播放设备执行上述的音频数据的音律解析播放方法。

39、本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的音频数据的音律解析播放方法。

40、在本发明实施例中，通过对音频数据的各类节拍和乐器种类通过音素识别过程，将识别出的音素按照时间先后顺序进行排列，对音律节律进行分析得出音律排序并标记名称，在文本描述数据库中，找到相关的文字描述文档，然后基于该文字描述字段组合成音频数据对应的文字数据，解决了分析技术缺少对音频的音律解析，不能满足人们对音频乐曲赏析的需求的技术问题。

技术特征：

1.一种音频数据的音律解析播放方法，其特征在于，包括步骤：

2.根据权利要求1所述的音频数据的音律解析播放方法，其特征在于，所述根据预置音素识别算法，对所述音频数据进行音素识别处理，得到音素序列包括：

3.根据权利要求2所述的音频数据的音律解析播放方法，其特征在于，所述对n个帧音频数据进行向量化处理，得到n个帧向量包括：

4.根据权利要求3所述的音频数据的音律解析播放方法，其特征在于，所述对帧音频数据进行序列卷积处理，得到卷积帧数据包括:

5.根据权利要求4所述的音频数据的音律解析播放方法，其特征在于，所述对卷积帧数据进行时刻帧平均处理，得到帧向量包括：

6.根据权利要求2所述的音频数据的音律解析播放方法，其特征在于，所述根据预置激活函数，对n个所述归一帧向量进行激活处理，得到n个激活值包括：

7.根据权利要求1所述的音频数据的音律解析播放方法，其特征在于，所述根据预置音律节律数据，对所述音素序列进行划分标记处理，得到音律序列包括：

8.根据权利要求1所述的音频数据的音律解析播放方法，其特征在于，所述利用预设描述文库，对所述音律序列进行描述匹配处理，得到所述音频数据对应的描述文字包括：

9.一种音频数据的音律解析播放设备，其特征在于，所述音频数据的音律解析播放设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的音频数据的音律解析播放方法。

技术总结
本发明涉及音频分析领域，公开了一种音频数据的音律解析播放方法、设备及存储介质。该方法包括：接收音频数据；根据预置音素识别算法，对所述音频数据进行音素识别处理，得到音素序列；根据预置音律节律数据，对所述音素序列进行划分标记处理，得到音律序列；利用预设描述文库，对所述音律序列进行描述匹配处理，得到所述音频数据对应的描述文字；当所述音频数据播放时，基于所述音频数据的播放位置，对所述描述文字中所述播放位置对应的文字段进行展示处理。在本发明实施例中，解决了目前的分析技术缺少对音频的音律解析，不能满足人们对音频乐曲赏析的需求的技术问题。

技术研发人员：张思坚,杨德文,皮碧虹,龙丁奋
受保护的技术使用者：深圳市同行者科技有限公司
技术研发日：
技术公布日：2024/6/5