一种乐器音乐信号和和弦识别方法与流程

1.本发明属于音视频技术领域，具体涉及一种乐器音乐信号和和弦识别方法。


背景技术：

2.自动和弦识别(acr)是音乐信息检索领域的重要研究话题，和弦是音乐形成的基础，它可以直接影响一首音乐的审美，决定音乐的情感和色彩，丰富音乐的内容。常见的和弦类型包括三和弦：大三和弦(maj)、小三和弦(min)、减三和弦(dim)、增三和弦(aug)，七和弦:大七和弦(maj7)、属七和弦(7)、小七和弦(m7)、小大七和弦(mm7)、减七和弦(dim7)、增七和弦(aug7)、半减七和弦(half-dim7)，以及附加和弦(add)、扩展和弦(extend)、挂留和弦(suspend)；
3.和弦进行是流行音乐、古典乐、摇滚音乐和布鲁斯、爵士等音乐的基础，在这些音乐体裁中，旋律和节奏是建立在和弦进行上的，在歌曲创作过程中，歌曲通常由和弦进行，然后再考虑旋律、bass、配器等其他元素。因此，和弦识别对于音乐学习和作曲无疑是非常重要的，例如，在爵士乐即兴演奏中，爵士贝斯手可以根据和弦谱即兴演奏低音，其他独奏乐器演奏者也根据和弦谱即兴创作自己的独奏部分，在相关技术中，一些网站提供了一些手动注释的乐谱供下载，然而，这些乐谱中的和弦需要依靠人工识别并注释，和弦识别的准确度较低。


技术实现要素：

4.本发明的目的在于提供一种乐器音乐信号和和弦识别方法，以解决上述背景技术中提出现有技术中乐谱中的和弦需要依靠人工识别并注释以及弦识别的准确度较低的问题。
5.为实现上述目的，本发明采用了如下技术方案：一种乐器音乐信号和和弦识别方法，包括以下步骤：
6.s1、通过收音设备将乐器的音频模拟信号转化为数字信号，传输到音频特征模块中，通过音频特征模块将数字信号中的音频特征进行提取得到无人声特征，然后对无人声特征的时域信号进行傅里叶变换转换到频域，然后再利用梅尔频率刻度的滤波器组对应频域信号进行切分，使每个频率段对应一个数值；
7.s2、然后将频域信号切分后的数值进行特征提取，得到音符信息，将音符信息构建各个音符的二维矩阵表示，再将二维矩阵表示序列输入至特征提取模型中，获取特征提取模型针对二维矩阵表示序列输出的音符特征序列，音符特征序列中含有各个音符对应的音符特征；
8.s3、再将音符特征序列输入到和弦功能识别模型中，并建立音符特征模型，得到从不同的和弦功能识别维度对音符特征序列中的各个音符特征进行识别处理所得到的和弦特征；
9.s4、最后基于原始音频的真实和弦类型，计算音符特征模型的预测损失，再基于音
符特征模型的预测损失对音符特征模型的参数进行调整。
10.优选的，所述s1中mel频率f
mel
与声音信号频率f的对应关系为：
11.f
mel
＝2959log
10
(1+f/700)。
12.优选的，所述s2中特征提取模型从音频模拟信号中转化音频数据，与音符特征进行比对识别，所述音符特征中包含至少一组音符片段与特征信息的对应关系。
13.优选的，所述音频数据通过特征提取模型训练后得到乐谱信息，将乐谱信息中的音符与音符特征进行比对识别，然后将比对结果正确的音符特征进行保存，比对结果错误的音符特征筛去。
14.优选的，所述s3中所述和弦功能识别维度包括和弦调式维度、和弦调性维度以及和弦转位维度，所述和弦调式维度、和弦调性维度以及和弦转位维度共同作用于原始音频模拟信号的和弦功能表示。
15.优选的，所述s3中音符特征模型中包含有来自s2中正确的音符特征，所述音符特征模型中建立有音符数据库，对正确的音符特征进行保存，并且音符特征模型会对音符数据库中的音符特征不断进行训练优化。
16.优选的，所述s4中音频特征模型将音符数据库中正确的音符特征分为第一音符数据段、第二音符数据段和第三音符数据段，所述第一音符数据段构成训练数据集，所述第二音符数据段构成测试数据集，所述第三音符数据段构成验证数据集，并将所述训练数据集、测试数据集和验证数据集对音符特征进行预测。
17.优选的，所述训练数据集会对音符特征进行训练，并经过测试数据集进行测试，在通过验证数据集再次进行验证后将验证结果进行归纳，得到和弦识别结果。
18.本发明的技术效果和优点：本发明提出的一种乐器音乐信号和和弦识别方法，与现有技术相比，具有以下优点：
19.通过音频特征模块将音频特征转化为无人声特征，然后使用傅里叶变换对无人声特征进行切分得到音符信息，再通过音符特征模型提取各个音符在不同的和弦功能识别维度上的和弦特征，并通过音符特征模型不断对和弦特征进行识别，从而实现乐谱和弦的自动识别，并且训练数据集、测试数据集和验证数据集会不断对和弦特征进行训练和优化，进而提高了和弦识别的准确度。
附图说明
20.图1为本发明mel频率和标准频率的关系图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.本发明提供了如图1所示的一种乐器音乐信号和和弦识别方法，包括以下步骤：
23.s1、信号转换：通过收音设备将乐器的音频模拟信号转化为数字信号，传输到音频
特征模块中，通过音频特征模块将数字信号中的音频特征进行提取得到无人声特征，然后对无人声特征的时域信号进行傅里叶变换转换到频域，然后再利用梅尔频率刻度的滤波器组对应频域信号进行切分，使每个频率段对应一个数值，mel频率fmel与声音信号频率f的对应关系为：
24.f
mel
＝2959log
10
(1+f/700)；
25.当在梅尔刻度上面上是均匀分度的话，对于的赫兹之间的距离将会越来越大，倒谱的含义是：对时域信号做傅里叶变换，然后取log，然后再进行反傅里叶变换，可以分为复倒谱、实倒谱和功率倒谱；
26.s2、构建音符特征序列：然后将频域信号切分后的数值进行特征提取，得到音符信息，将音符信息构建各个音符的二维矩阵表示，再将二维矩阵表示序列输入至特征提取模型中，获取特征提取模型针对二维矩阵表示序列输出的音符特征序列，音符特征序列中含有各个音符对应的音符特征，特征提取模型从音频模拟信号中转化音频数据，与音符特征进行比对识别，音符特征中包含至少一组音符片段与特征信息的对应关系，音频数据通过特征提取模型训练后得到乐谱信息，将乐谱信息中的音符与音符特征进行比对识别，然后将比对结果正确的音符特征进行保存，比对结果错误的音符特征筛去，若针对各个音符提取得到各个音符的音符音高和音符持续时长，则可以将音符音高作为二维矩阵中的纵向元素，以及将音符持续时长作为二维矩阵中的横向元素，或者将音符音高作为二维矩阵中的横向元素，以及将音符持续时长作为二维矩阵中的纵向元素，以构建各个音符的二维矩阵表示，针对将音符音高作为二维矩阵中的纵向元素，以及将音符持续时长作为二维矩阵中的横向元素所构建得到的二维矩阵表示，其可以理解为是以音符音高为纵向坐标，且以时间为横向坐标构建的坐标系，因此各个音符的二维矩阵表示能够携带音符对应的音符信息，进而基于对各个音符的二维矩阵表示的识别处理得到音乐数据在和弦功能上的相关信息，特征提取模型包括bi-lstm网络和全连接网络，bi-lstm网络用于对输入其中的二维矩阵表示序列进行音符特征提取，其中，二维矩阵表示序列是由待识别音乐和弦的音乐数据中含有的各个音符的二维矩阵表示所构成的序列，各个音符的二维矩阵表示是基于各个音符对应的音符信息构建得到的；
27.s3、比对和弦特征：再将音符特征序列输入到和弦功能识别模型中，并建立音符特征模型，得到从不同的和弦功能识别维度对音符特征序列中的各个音符特征进行识别处理所得到的和弦特征，和弦功能识别维度包括和弦调式维度、和弦调性维度以及和弦转位维度，和弦调式维度、和弦调性维度以及和弦转位维度共同作用于原始音频模拟信号的和弦功能表示，音符特征模型中包含有来自s2中正确的音符特征，音符特征模型中建立有音符数据库，对正确的音符特征进行保存，并且音符特征模型会对音符数据库中的音符特征不断进行训练优化；
28.s4、和弦修正：最后基于原始音频的真实和弦类型，计算音符特征模型的预测损失，再基于音符特征模型的预测损失对音符特征模型的参数进行调整，音频特征模型将音符数据库中正确的音符特征分为第一音符数据段、第二音符数据段和第三音符数据段，第一音符数据段构成训练数据集，第二音符数据段构成测试数据集，第三音符数据段构成验证数据集，并将训练数据集、测试数据集和验证数据集对音符特征进行预测，训练数据集会对音符特征进行训练，并经过测试数据集进行测试，在通过验证数据集再次进行验证后将
验证结果进行归纳，得到和弦识别结果，通过训练数据集、测试数据集和验证数据集对音符特征进行预测，提高了和弦识别的准确度。
29.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。