乐谱处理方法、装置和电子设备与流程

本发明涉及神经网络技术领域，尤其是涉及一种乐谱处理方法、装置和电子设备。

背景技术：

音乐版权维护一直是当前社会热点问题。相关技术中，因为音乐的乐谱抄袭问题一直难以界定，所以对乐谱的维权难以进行，难以保护乐谱的版权。

技术实现要素：

有鉴于此，本发明的目的在于提供一种乐谱处理方法、装置和电子设备，以保护乐谱的版权。

第一方面，本发明实施例提供了一种乐谱处理方法，包括：获取待处理乐谱；通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量；将乐谱向量记录在预设的区块链系统。

在本发明较佳的实施例中，上述通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量的步骤，包括：如果待处理乐谱的表示形式为五线谱序列，将待处理乐谱的表示形式转化为数字序列；将数字序列形式的待处理乐谱输入至预先训练完成的卷积神经网络中，输出待处理乐谱的乐谱向量。

在本发明较佳的实施例中，上述卷积神经网络包括隐藏层；隐藏层基于梯度下降法构建；卷积神经网络包括多个过滤窗口；上述将数字序列形式的待处理乐谱输入至预先训练完成的卷积神经网络中，输出待处理乐谱的乐谱向量的步骤，包括：将数字序列形式的待处理乐谱输入至隐藏层，输出待处理乐谱对应的特征向量；将特征向量输入至卷积神经网络，卷积神经网络输出特征向量对应的结果向量；结果向量的数量与过滤窗口的数量相同；基于softmax函数计算每一个结果向量的比重，基于比重确定待处理乐谱对应的乐谱向量。

在本发明较佳的实施例中，上述基于比重确定待处理乐谱对应的乐谱向量的步骤，包括：按照比重由大到小的顺序对结果向量进行排序，得到排序结果；从排序结果的第一个结果向量开始，选择指定数量的结果向量；将选择的结果向量拼接，得到待处理乐谱对应的乐谱向量。

在本发明较佳的实施例中，在保存乐谱向量的步骤之前，方法还包括：基于向量余弦相似度算法计算乐谱向量与已经保存的乐谱向量的相似度；如果相似度大于预设的相似度阈值，不保存乐谱向量；如果相似度不大于相似度阈值，保存乐谱向量。

在本发明较佳的实施例中，上述方法还包括：发送乐谱向量与已经保存的乐谱向量对应的相似度。

在本发明较佳的实施例中，上述方法还包括：发送乐谱向量在区块链系统的地址信息。

第二方面，本发明实施例还提供一种乐谱处理装置，包括：数字乐谱获取模块，用于获取待处理乐谱；乐谱向量输出模块，用于通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量；乐谱向量保存模块，用于将乐谱向量记录在预设的区块链系统。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的乐谱处理方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的乐谱处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种乐谱处理方法、装置和电子设备，通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量，并将乐谱向量记录在预设的区块链系统中。将每一首歌曲的乐谱都以乐谱向量的形式保存在区块链系统中，永久保存，不可更改，从而实现保护乐谱版权的目的。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种乐谱处理方法的流程图；

图2为本发明实施例提供的另一种乐谱处理方法的流程图；

图3为本发明实施例提供的一种乐谱预训练方法的示意图；

图4为本发明实施例提供的一种乐谱卷积神经网络的示意图；

图5为本发明实施例提供的一种乐谱登记流程的示意图；

图6为本发明实施例提供的一种乐谱相似度查询流程的示意图；

图7为本发明实施例提供的一种乐谱处理装置的结构示意图；

图8为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，音乐的乐谱抄袭问题一直难以界定，所以对乐谱的维权难以进行，难以保护乐谱的版权。基于此，本发明实施例提供的一种乐谱处理方法、装置和电子设备，应用于神经网络和区块链的技术领域，具体涉及一种使用卷积神经网络学习音乐乐谱的方法，可以得到乐谱向量，并将乐谱向量上传到区块链，永久保存，不可更改，从而实现保护乐谱版权的目的。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种乐谱处理方法进行详细介绍。

实施例1

本发明实施例提供一种乐谱处理方法，参见图1所示的一种乐谱处理方法的流程图，该乐谱处理方法包括如下步骤：

步骤s102，获取待处理乐谱。

待处理乐谱是指是指需要保存的乐谱。曲谱即乐谱，是记录音乐音高或者节奏的各种书面符号的有规律的组合，用于辑录并分析各种曲调格式。在音乐领域，无论是国内还是国外，时常有各种音乐作品的曲谱被指责涉嫌抄袭，不过，真正诉至法院的案例却并不多见。

乐谱一般具有五线谱和数字序列两种表示形式，本实施例中的待处理乐谱一般是指表现形式为数字序列的乐谱，也可以称之为数字乐谱或数字简谱。数字简谱以可动唱名法为基础，用1、2、3、4、5、6、7代表音阶中的7个基本级，读音为do、re、mi、fa、sol、la、ti(或si)，英文由c、d、e、f、g、a、b表示，休止以0表示。每一个数字的时值名相当于五线谱的4分音符。

步骤s104，通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量。

卷积神经网络(convolutionalneuralnetwork,cnn)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层(poolinglayer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。

通过卷积神经网络提取待处理乐谱的乐谱向量，乐谱向量用于标识该乐谱的核心的曲调和设计，只要记录了该乐谱的核心的曲调和设计，就相当于记录了该乐谱。

步骤s106，将乐谱向量记录在预设的区块链系统。

区块链是借由密码学串接并保护内容的串连文字记录(又称区块)。每一个区块包含了前一个区块的加密散列、相应时间戳记以及交易数据，通常用默克尔树(merkletree)算法计算的散列值表示，这样的设计使得区块内容具有难以篡改的特性。用区块链技术所串接的分布式账本能让两方有效纪录交易，且可永久查验此交易。采用区块链系统记录乐谱向量，可以永久保存乐谱向量，且无法更改，达到保护乐谱版权的目的。

本发明实施例提供的一种乐谱处理方法，通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量，并将乐谱向量记录在预设的区块链系统中。将每一首歌曲的乐谱都以乐谱向量的形式保存在区块链系统中，永久保存，不可更改，从而实现保护乐谱版权的目的。

实施例2

本发明实施例还提供另一种乐谱处理方法；该方法在上述实施例方法的基础上实现；该方法重点描述通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量的具体实现方式。

如图2所示的另一种乐谱处理方法的流程图，该乐谱处理方法包括如下步骤：

步骤s202，获取待处理乐谱。

步骤s204，如果待处理乐谱的表示形式为五线谱序列，将待处理乐谱的表示形式转化为数字序列。

待处理乐谱的表示形式一般有五线谱序列和数字序列两种，如果待处理乐谱的表示形式是数字序列，那么就无需对待处理乐谱的表示形式进行改变，直接保留数字序列形式的待处理乐谱。如果待处理乐谱的表示形式是五线谱序列，五线谱形式的待处理乐谱不能直接输入卷积神经网络中，必须将五线谱形式的待处理乐谱转化为数字序列形式的待处理乐谱。

步骤s206，将数字序列形式的待处理乐谱输入至预先训练完成的卷积神经网络中，输出待处理乐谱的乐谱向量。

输入卷积神经网络的待处理乐谱与一定是数字序列形式，可以通过步骤a1-步骤a3输出待处理乐谱的乐谱向量：

步骤a1，将数字序列形式的待处理乐谱输入至隐藏层，输出待处理乐谱对应的特征向量。

本实施例的卷积神经网络包括有隐藏层，参见图3所示的一种乐谱预训练方法的示意图，乐谱预训练就是在隐藏层中实现，乐谱卷积神经网络在训练乐谱前，首先需要将乐谱向量化。

本实施例预先将乐谱分为5个部分(分别是歌曲前奏、歌曲主歌、歌曲副歌、歌曲间奏和歌曲尾奏)，得到关于乐谱的5个方面的特征向量。乐谱的输入形式是乐数字的序列。将乐谱分为5个部分一般是通过标注的形式进行，即对乐谱添加标注，将乐谱划分为5个部分，例如：标注1-4小节为歌曲前奏，5-22小节为歌曲主歌，23-28小节为歌曲副歌，29-32小节为歌曲间奏，33-40小节为歌曲尾奏。

本发明使用带有一个隐层的神经网络直接训练乐谱向量，得到特征向量w5xd，然后交给卷积神经网络训练。隐藏层基于梯度下降法构建，预训练的算法使用梯度下降法，将输出层的数据代入输入层权重，不断更新w，最终隐藏层输出的特征向量w是一个五维向量，五维分别对应歌曲前奏、歌曲主歌、歌曲副歌、歌曲间奏和歌曲尾奏。

步骤a2，将特征向量输入至卷积神经网络，卷积神经网络输出特征向量对应的结果向量；结果向量的数量与过滤窗口的数量相同。

参见图4所示的一种乐谱卷积神经网络的示意图，一旦w权重训练完毕，卷积神经网络使用多个过滤窗口。卷积神经网络的第一层一般是卷积层。一般采用过滤窗口(一般为3*3或者5*5大小的窗口)在整个图像上进行滑动，这个窗口区域就是卷积神经网络的感受野。过滤窗口一般对应一组数字，也就是权重或者参数其中过滤窗口的深度对应输入图像的深度。过滤窗口的结果对应激活图或者特征图。

本实施例按照精度需求的不同，使用过滤窗口的数量和特征也不同。如果精度要求高，则使用更多过滤窗口，同时w的维度也更高，生成的结果向量维度也更多。如图4所示，示例使用4个过滤窗口，得到4个结果向量，通过池化层简化向量并串接成一个向量，最终通过softmax函数，计算得到比重最高的两个元素，作为乐谱的向量。一首歌曲可以经过改编，产生不同的乐谱，但是核心的曲调和设计还是一致的。本发明通过卷积神经网络将乐谱的核心学习出来。

池化是卷积神经网络中另一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化”是最为常见的。

步骤a3，基于softmax函数计算每一个结果向量的比重，基于比重确定待处理乐谱对应的乐谱向量。

softmax函数用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，从而来进行多分类，如图4所示，图4中高输入的特征序列w为5行6列(5×6)，分别经过4个过滤窗口，以及对应的卷积层、池化层和流露出，可以得到4个结果向量，这四个特征向量通过softmax函数确定的他们各自的比重，基于比重确定待处理乐谱对应的乐谱向量，具体可以通过步骤b1-步骤b3执行：

步骤b1，按照比重由大到小的顺序对结果向量进行排序，得到排序结果；

按照比重由大到小的顺序对结果向量排序，得到一组排序结果，同事确定本次提取的乐谱向量的指定数量，指定数量一般由用户确定，图4中的指定数量为2。

步骤b2，从排序结果的第一个结果向量开始，选择指定数量的结果向量；

排序结果的第一个结果向量就是比重最大的结果向量，按照排序结果顺序选择指定数量的结果向量，对应图4，就是选择排序结果前两名的结果向量，基于这两个结果向量构建乐谱向量。

步骤b3，将选择的结果向量拼接，得到待处理乐谱对应的乐谱向量。

将选择的结果向量拼接，得到一个乐谱向量。这个乐谱向量就可以表示乐谱的曲调和设计。

在确定待处理乐谱的与乐谱向量之后，可以根据需要检测该乐谱是否可能于已经保存的乐谱向量类似，通过步骤c1-步骤c3执行：

步骤c1，基于向量余弦相似度算法计算乐谱向量与已经保存的乐谱向量的相似度。

步骤c2，如果相似度大于预设的相似度阈值，不保存乐谱向量；

步骤c3，如果相似度不大于相似度阈值，保存乐谱向量。

当用户登记原创乐谱(即待处理乐谱)进入后台时，后台首先根据乐谱学习得到乐谱向量，然后根据向量对比后台乐谱数据库(用于保存已经保存的乐谱向量)，如果发现没有相似乐谱(即相似度大于预设的相似度阈值，相似度阈值优选为0.9)，即可登记进入区块链系统，为乐谱版权做永久标记和记录。

当用户查看某个乐谱是否与自己的乐谱类似时。用户先上传目标乐谱到后台，后台通过学习系统得到目标乐谱的向量，然后将目标向量与用户的所有乐谱向量进行对比，对比算法是向量余弦相似度算法，最终得到一个相似度分数列表(即发送乐谱向量与已经保存的乐谱向量对应的相似度)，并返回给用户。

步骤s208，将乐谱向量记录在预设的区块链系统。

如果一个乐谱不与已经保存的乐谱相似，则将该乐谱对应的乐谱向量记录在预设的区块链系统。保存后可以将该乐谱的在区块链系统的地址信息发送这该乐谱的所有者。

将乐谱向量记录在预设的区块链系统的流程可以参见图5所示的一种乐谱登记流程的示意图，用户将乐谱发送至数字资产管理维护平台，数字资产管理维护平台中的乐谱学习系统提取该乐谱的乐谱向量，并将乐谱向量等级到区块链系统中，区块链系统包括服务器集群和分布式账簿，区块链系统返回一个索引至数字资产管理维护平台，索引就是乐谱向量在区块链系统的地址信息。数字资产管理维护平台基于上述索引构建资产列表，资产列表包括索引、类型(类型是数字资产的类型，本实施例中就是乐谱)和信息(信息是用户上传的该乐谱的基本信息，例如乐谱作者等)。资产列表生成之后，数字资产管理维护平台向用户发送登记成功的信息和该资产列表。

乐谱相似度的查询流程可以参见图6所示的一种乐谱相似度查询流程的示意图，如图6所示，用户上传新的乐谱之后，数字资产管理维护平台可以对比该乐谱的乐谱向量与已经保存的乐谱向量对应的相似度，并且向用户返回一个相似度结果表格。

实施例3

对应于上述方法实施例，本发明实施例提供了一种乐谱处理装置，如图7所示的一种乐谱处理装置的结构示意图，该乐谱处理装置包括：

数字乐谱获取模块71，用于获取待处理乐谱；

乐谱向量输出模块72，用于通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量；

乐谱向量保存模块73，于将乐谱向量记录在预设的区块链系统。

本发明实施例提供的一种乐谱处理装置，通过预先训练完成的卷积神经网络，提取待处理乐谱的乐谱向量，并将乐谱向量记录在预设的区块链系统中。将每一首歌曲的乐谱都以乐谱向量的形式保存在区块链系统中，永久保存，不可更改，从而实现保护乐谱版权的目的。

在一些实施例中，乐谱向量输出模块，用于如果待处理乐谱的表示形式为五线谱序列，将待处理乐谱的表示形式转化为数字序列；将数字序列形式的待处理乐谱输入至预先训练完成的卷积神经网络中，输出待处理乐谱的乐谱向量。

在一些实施例中，卷积神经网络包括隐藏层；隐藏层基于梯度下降法构建；卷积神经网络包括多个过滤窗口；乐谱向量输出模块，用于将数字序列形式的待处理乐谱输入至隐藏层，输出待处理乐谱对应的特征向量；将特征向量输入至卷积神经网络，卷积神经网络输出特征向量对应的结果向量；结果向量的数量与过滤窗口的数量相同；基于softmax函数计算每一个结果向量的比重，基于比重确定待处理乐谱对应的乐谱向量。

在一些实施例中，乐谱向量输出模块，用于按照比重由大到小的顺序对结果向量进行排序，得到排序结果；从排序结果的第一个结果向量开始，选择指定数量的结果向量；将选择的结果向量拼接，得到待处理乐谱对应的乐谱向量。

在一些实施例中，上述装置还包括相似度对比模块，用于基于向量余弦相似度算法计算乐谱向量与已经保存的乐谱向量的相似度；如果相似度大于预设的相似度阈值，不保存乐谱向量；如果相似度不大于相似度阈值，保存乐谱向量。

在一些实施例中，上述装置还包括相似度发送模块，用于发送乐谱向量与已经保存的乐谱向量对应的相似度。

在一些实施例中，上述装置还包括地址信息发送模块，用于发送乐谱向量在区块链系统的地址信息。

本发明实施例提供的乐谱处理装置，与上述实施例提供的乐谱处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例4

本发明实施例还提供了一种电子设备，用于运行上述乐谱处理方法；参见图8所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述乐谱处理方法。

进一步地，图8所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述乐谱处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的乐谱处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。