基于Bi-LSTM深度强化学习网络的鼓乐生成方法

本公开属于人工智能、神经网络，特别涉及一种基于bi-lstm深度强化学习网络的鼓乐生成方法。

背景技术：

1、近年来，人工智能艺术，尤其是人工智能音乐变得流行起来，相关技术也变得触手可及。然而，大多数ai音乐生成器平台主要专注于创作现代音乐，未专注于民乐的创作，且生成策略只是根据训练保存的策略来选择下一个音符，由此生成的音乐容易生成不和谐的和声和旋律。

2、西安鼓乐兴盛于唐代，在民间已传承千年，2006年入选首批国家级非物质文化遗产名录，主要由中国传统的民族乐器演奏，被誉为是“中国古代音乐的活化石”和“中国古代的交响乐”。作为中国传统音乐的符号，西安鼓乐在新时期印证了中华音乐文化的博大精深与渊源悠久，不仅具有非遗的普遍性特点，也具有其特有的发展历程及艺术价值。

3、目前音乐生成的方法主要有基于马尔可夫模型的音乐生成和基于神经网络的音乐生成。随着深度学习技术的发展，涌现出越来越多基于神经网络的音乐生成算法，如使用循环神经网络(recurrent neural network，rnn)、长短期记忆网络(long short-termmemory，lstm)以及生成对抗网络(generative adversarial networks，gan)的音乐生成。

4、但与人工智能相关的作曲算法在使用的过程中也仍存在着各自的优势和不足。如大多单一算法作曲生成的音乐缺乏感情色彩，风格体裁过于单一；未把专业的音乐知识加入到网络模型中；未考虑到和弦和乐理规则对音符选择的影响；没有注重网络模型创新性等问题，而且目前主要是针对西方音乐创作的研究，而针对非西方音乐尤其中国民族民间音乐的自动创作的研究还处于初级阶段。常规的深度学习lstm音乐生成网络模型在音乐生成中大都没有考虑乐理规则和西安鼓乐面临的曲目稀缺，作曲困难的问题。

技术实现思路

1、鉴于此，本公开提供了一种基于bi-lstm深度强化学习网络的民间鼓乐生成方法，包括如下步骤：

2、s100：将民间古乐表示成音符序列；

3、s200：将所产生的音符序列通过编码技术转化成音符向量集；

4、s300：将所述音符向量集输入到bi-lstm神经网络中进行训练，生成基于字符级的bi-lstm鼓乐生成网络；

5、s400：基于强化学习actor-critic算法对所述基于字符级的bi-lstm鼓乐生成网络进行训练，得到基于bi-lstm深度强化学习网络；

6、s500：将输入的音符序列输入到所述基于bi-lstm深度强化学习网络中，可以自主的生成鼓乐作品。

7、通过上述技术方案，根据西安鼓乐自身鲜明的中国古代音乐特点，基于强化学习中的actor-critic算法，提出在模拟生成阶段通过奖惩得分构建生成策略改进方法。为了让模型能够充分考虑到真实的民间鼓乐创作过程，针对西安鼓乐独特的音高、和弦、调式等创作理论风格，将一定和弦进行和乐理规则等抽象概念约束转换成计算机语言。通过构建和弦进行奖励机制和乐理规则奖励机制，利用全局的价值回报来实现鼓乐的和谐性约束，实现系统化的鼓乐生成。基于bi-lstm深度强化学习模型可以基本实现高质量、具艺术审美的西安鼓乐的生成。

8、本方法使用bi-lstm神经网络构建字符级的民间鼓乐生成模型，将鼓乐表示成音符序列的形式进行处理，通过编码技术将其转化成音符向量输入到神经网络中。通过将下一时刻将要输入的音符序列当作目标值，构成一个监督学习的训练过程。

9、基于强化学习actor-critic算法和时间差分，提出在模拟生成阶段通过奖惩得分构建生成策略改进方法。为了让模型能够充分考虑到真实的民间鼓乐创作过程，根据西安鼓乐自身鲜明的中国古代音乐特点，通过构建一个全局的价值回报网络来更新鼓乐生成策略，利用全局的价值回报来实现鼓乐的和谐性约束，实现系统化的鼓乐生成。

10、在鼓乐生成阶段，提出对生成的音符进行模拟评估，为兼顾生成鼓乐的多样性和稳定性，依据设定的乐理规则得分来对价值网络评估的产生结果来进行概率输出。

技术特征：

1.一种基于bi-lstm深度强化学习网络的民间鼓乐生成方法，包括如下步骤：

2.根据权利要求1的所述方法，优选的，所述基于bi-lstm深度强化学习网络包含一个bi-lstm深度学习网络和一个强化学习网络。

3.根据权利要求1的所述方法，步骤s300进一步包括如下步骤：

4.根据权利要求3的所述方法，步骤s304中的最小化交叉熵损失函数为：

5.根据权利要求1的所述方法，步骤s400中的actor-critic算法中，将基于字符级的bi-lstm鼓乐生成网络看作为actor网络，用于生成音符序列并接受设定的任务分数，根据接收的分数再次更新生成策略，优化生成结果。

6.根据权利要求1的所述方法，步骤s400中的actor-critic算法中，根据音乐理论规则得分来构建critic网络，用于对actor网络生成的音符进行打分，将特定的任务分数设置为时间差分td。

7.根据权利要求6的所述方法，所述时间差分td表示为：

8.根据权利要求6的所述方法，其中音乐理论规则包含检查音符重复出现，音域范围，相邻音符之间的音程差，结尾音是否为主音，是否为和弦，中位线的选取。

9.根据权利要求1的所述方法，步骤s400进一步包括如下步骤：

10.根据权利要求9的所述方法，所述损失函数为：

技术总结
一种基于Bi‑LSTM深度强化学习网络的民间鼓乐生成方法，包括如下步骤：S100：将民间古乐表示成音符序列；S200：将所产生的音符序列通过编码技术转化成音符向量集；S300：将所述音符向量集输入到Bi‑LSTM神经网络中进行训练，生成基于字符级的Bi‑LSTM鼓乐生成网络；S400：基于强化学习Actor‑Critic算法对所述基于字符级的Bi‑LSTM鼓乐生成网络进行训练，得到基于Bi‑LSTM深度强化学习网络；S500：将输入的音符序列输入到所述基于Bi‑LSTM深度强化学习网络中，可以自主的生成鼓乐作品。本方法可以基本实现高质量、具艺术审美的西安鼓乐的生成，缓解西安鼓乐曲目缺乏问题。

技术研发人员：梁天冕,李鹏,曹玉梅,吴晓军,王小明
受保护的技术使用者：陕西师范大学
技术研发日：
技术公布日：2024/1/13