1.本发明属于音乐工业,涉及一种基于深度学习的工尺谱谱字识别系统及方法。
背景技术:2.为了推广我国传统的音乐的乐谱,首先需要把工尺谱翻译成简谱,但是工尺谱和简谱是基于不同的音乐理论,工尺谱是以我国传统的音乐理论为基础的,因此,在翻译的过程中,会出现音乐语义的歧义现象,目前留下的工尺谱作品的对应简谱的数量不多,大量的工尺谱作品仍然需要进行人工转换或机器转换。
3.深度学习(dl,deep learning)是人工智能领域一个新的研究方向,深度学习被广泛应用于机器学习的各个领域。在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。2017年,google 发布”attention is all you need”的论文,提出了transformer模型,在图像识别领域,transformer深度学习模型成为了最佳分类器。
4.本发明提出了利用transformer深度学习的分类器,把工尺谱谱字转换为音乐语义信息,最后可以很方便地利用简谱来表示这些音乐语义信息,从而使得优秀的中国传统音乐作品能被现代人们所共享与欣赏。
技术实现要素:5.针对现有技术中存在的问题,本发明的目的在于提供一种基于深度学习的工尺谱谱字识别系统及方法的技术方案。
6.本发明提供一种基于深度学习的工尺谱谱字识别系统,包括
7.预处理模块,预处理模块接受输入的谱字图像特征表述参数,通过转换函数转换为n
×
n的二维数组,输出此二维数组;
8.谱字识别模块,谱字识别模块把预处理模块输出的二维数组分别输入到 transformer深度学习分类器中,transformer深度学习分类器输出谱字分类结果;以及
9.音乐语义表示模块,音乐语义表示模块接受谱字分类结果,依据简谱记谱法,把分类结果转换为对应的音高数字。
10.上述输入预处理模块、谱字识别模块与音乐语义表示模块按线性关系组合为一个多层集成分类网络,把工尺谱的谱字转换为音乐语义信息。
11.本发明还提供一种基于深度学习的工尺谱谱字识别方法,采用如上所述的工尺谱谱字识别系统实现,其包括:
12.s1接受输入的谱字图像特征表述参数,通过转换函数转换为n
×
n的二维数组,输出此二维数组;
13.s2把二维数组分别输入到transformer深度学习分类器中,transformer深度学习分类器输出谱字分类结果;
14.s3依据简谱记谱法,把分类结果转换为对应的音高数字。
15.进一步地,s1中,i表示工尺谱谱字图像,g表示二维数组,从i到g的计算过程如下:
[0016][0017]
g(i,j)表示二维数组g第i行第j列的元素值,表示图像i第行第列的元素值,表示取整,变量α是分数中的较大值,i
height
和i
width
分别表示图像i的高和宽。
[0018]
进一步地,s3中,依据简谱记谱法,把分类结果转换为对应的音高数字。列出谱字与简谱音高的对应关系如下:合四一上尺工凡六五乙仩伬仜仉伍亿分别对应简谱的音高为1 2 3 4 5 6 7
[0019]
与现有技术相比,本发明的优点如下:
[0020]
本发明实现了工尺谱谱字的自动音乐语义分类识别,实现了工尺谱谱字的深度学习分类器谱字识别,由分类器得到的分类结果能方便地转换为简谱音高,使得优秀的中国传统音乐作品能被现代人们所共享与欣赏。
[0021]
本发明所述的面向工尺谱谱字的深度学习分类器,能自动把工尺谱乐谱转换为音乐语义信息,这些音乐语义信息能很方便地表示为简谱乐谱信息,而且还能够提高工尺谱谱字的分类效果。
附图说明
[0022]
图1为本发明的一种基于深度学习的工尺谱谱字识别系统结构示意图;
[0023]
图2为本发明的一种基于深度学习的工尺谱谱字识别方法流程图;
[0024]
图3是工尺谱乐谱示意图;
[0025]
图4是工尺谱谱字的音乐信息智能挖掘的技术流程图;
[0026]
图5是transformer深度学习分类器基本结构图;
[0027]
图6是工尺谱谱字与简谱音高数字的对应示意图。
具体实施方式
[0028]
下面结合说明书附图对本发明做进一步说明:
[0029]
请参阅图1,一种基于深度学习的工尺谱谱字识别系统,包括预处理模块、谱字识别模块及音乐语义表示模块,预处理模块接受输入的谱字图像特征表述参数,通过转换函数转换为n
×
n的二维数组,n为根据实际需要人为确定的数,优选为64,输出此二维数组,谱字识别模块把预处理模块输出的二维数组分别输入到transformer深度学习分类器中,transformer深度学习分类器输出谱字分类结果,音乐语义表示模块接受谱字分类结果,依据简谱记谱法,把分类结果转换为对应的音高数字。
[0030]
请参阅图2,一种基于深度学习的工尺谱谱字识别方法,采用如上所述的工尺谱谱字识别系统实现,其包括:
[0031]
s1接受输入的谱字图像特征表述参数,通过转换函数转换为n
×
n的二维数组,输
出此二维数组;
[0032]
s2把二维数组分别输入到transformer深度学习分类器中,transformer深度学习分类器输出谱字分类结果;
[0033]
s3依据简谱记谱法,把分类结果转换为对应的音高数字。
[0034]
s1中,i表示工尺谱谱字图像,g表示二维数组,从i到g的计算过程如下:
[0035][0036]
g(i,j)表示二维数组g第i行第j列的元素值,表示图像i第行第列的元素值,表示取整,变量α是分数中的较大值,i
height
和i
width
分别表示图像i的高和宽。
[0037]
s3中,谱字与简谱音高的对应关系如下:合四一上尺工凡六五乙仩伬仜仉伍亿分别对应简谱的音高为1 2 3 4 5 6 7
[0038]
图3是取自《纳书楹曲谱》中任选的一张工尺谱乐谱,乐谱中包含有不同的信息,主要分为3类信息,一类是曲词,第二类是谱字,第三类是板眼,曲词是主要的排序依据,曲词从左到右,从上到下的顺序排列,每列曲词的右边是一列谱字,这些谱字都分别附属与各自的曲词,有些谱字的右上角有板眼。其中字号最大的符号是曲词,其次是曲词右边的谱字,最小的是谱字右上角的节奏谱字。
[0039]
利用投影法等图像分割方法可以把谱字从乐谱中提取出来,各个谱字提取出来后,利用本发明的方法可以把谱字识别出来,并转换为简谱的音高数字。
[0040]
图4为本发明所述的工尺谱谱字的音乐信息智能挖掘的技术流程图,包括:预处理模块、谱字识别模块与音乐语义表示模块;预处理模块包含了对工尺谱谱字图像的预处理过程,它们接受输入的谱字图像特征表述参数,通过转换函数转换为64
×
64的二维数组,输出此二维数组;谱字识别模块的分类器接受输入预处理模块的输出的二维数组,把数组分别输入到transformer深度学习分类器中, transformer深度学习分类器输出谱字分类结果;音乐语义表示模块接受谱字分类结果,依据简谱记谱法,把分类结果转换为对应的音高数字。输入预处理模块、谱字识别模块与音乐语义表示模块按线性关系组合为一个多层集成分类网络,把工尺谱的谱字转换为音乐语义信息。
[0041]
图5为本发明所述的一种基于深度学习的transformer深度学习分类器基本结构图。
[0042]
图6为工尺谱谱字与简谱音高数字的对应关系的图示,识别出来的是工尺谱记谱法中的谱字“合四一上尺工凡六五乙仩伬仜仉伍亿”中的一个谱字。这些谱字对应的简谱的音高数字分别为“1 2 3 4 5 6 7”,即:谱字“合”对应简谱音高谱字“四”对应简谱音高谱字“一”对应简谱音高谱字“上”对应简谱音高“1”,谱字“尺”对应简谱音高“2”,谱字“工”对应简谱音高“3”,谱字“凡”对应简谱音高“4”,谱字“六”对应简谱音高“5”,谱字“五”对应简谱音高“6”,谱字“乙”对应简谱音高“7”,谱字“仩”对应简谱音高谱字“伬”对应简谱音高谱字“仜”对应简谱音高谱字“仉”对应简谱
音高谱字“伍”对应简谱音高谱字“亿”对应简谱音高
[0043]
本发明实现了工尺谱谱字的自动音乐语义分类识别,实现了由分类器得到的分类结果能方便地转换为简谱乐谱,使得优秀的中国传统音乐作品能被现代人们所共享与欣赏。
[0044]
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。