一种基于双向判断分类的音乐推荐方法及系统

本发明属于音乐识别和推荐，具体涉及一种基于双向判断分类的音乐推荐方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着科技的进步，在线音乐市场快速发展，人们常使用移动终端通过播放软件或音乐平台聆听歌曲和音乐。歌曲和音乐常常是情感的表达，而使用者常会依据当前情感选择属于同一类情感的歌曲或音乐。因此，确定使用者的当前情感，并推荐具有与之相符的音乐情感的歌曲或音乐，也成为了在线音乐推荐领域的主要研究方向之一。

3、但据发明人了解，现在的情感分类模型主要针对于使用者的情感，对于歌曲和音乐的情感分类较为复杂，且需要大量的人工标签，不仅费时费力，并且出错率高。如果利用人工智能模型自动分类，则存在以下问题：当涉及到有歌词的音乐时，歌词的特征可以直接反映其情感内容，使得情感识别变得直观且具体。然而，对于纯音乐(即没有歌词的旋律)，情感分类就变得更加复杂和抽象，因为它依赖于多样化的音乐特征而非文字表达。此外，将音乐转换为midi数据以便于处理和分析，既耗时又费力，音乐识别效率低，且在这个过程中可能会丢失一些关键的音频特征，从而影响识别效率和准确性，并增加成本。

技术实现思路

1、本发明为了解决上述问题，提出了一种基于双向判断分类的音乐推荐方法及系统，本发明通过在用户侧，基于心率变异性和电阻率，融合判断用户情感，提高了用户情感的分类准确度，在终端侧或平台侧，利用生成式人工智能和深度学习网络模型相结合，进行音乐情感的分类，结合双向判断分类结果，进行匹配，得到最终的推荐结果，有助于提高识别效率和准确性。

2、根据一些实施例，本发明采用如下技术方案：

3、一种基于双向判断分类的音乐推荐方法，包括以下步骤：

4、获取当前用户的心率变异性及皮肤电阻率；

5、基于所述心率变异性及皮肤电阻率，进行特征提取，将特征提取结果映射至构建的用于判断用户当前情感的情绪识别模型中，得到用户情感分类结果；

6、基于用户情感分类结果，利用预训练的生成式深度学习的分类器，得到与用户情感分类结果相匹配的音乐情感分类结果，推荐属于所述音乐情感分类结果的音乐；

7、所述生成式深度学习的分类器被配置为接收音乐的特征图，提取多维特征，自适应学习每个维度音频特征的权值，确定和情感相关的关键特征，捕捉所述关键特征，确定音乐情感分类结果。

8、作为可选择的实施方式，利用可穿戴设备获取用户的心率及皮肤电阻率。

9、作为可选择的实施方式，基于心率信息，提取r波和r-r间期，基于r波和r-r间期，计算心率变异性。

10、作为可选择的实施方式，用户情感分类的具体过程包括：根据获取的心跳间隔的标准差和皮肤电阻率，将两个参数的数值与预设的情绪识别模型中各类情绪对应的两个参数的数值范围进行比对，采用决策规则判断所对应的情感状态。

11、作为进一步的实施方式，接收用户的反馈，调整和优化情绪识别模型。

12、作为可选择的实施方式，当有新的音频数据时，将所述音频数据划分为具有多个设定长度片段的数据，将数据转换为带有音乐特征信息的三维梅尔倒谱图，得到音乐的特征图。

13、作为可选择的实施方式，所述生成式深度学习的分类器包括依次连接的前序处理模块和变分自动编码器，其中，所述前序处理模块，包括级联的若干组多路径卷积结构和se注意机制模块，所述多路径卷积结构用于接收多层次的音乐特征图，并对特征进行集成，提取音频信号的多维特征，所述se注意机制模块用于自适应地学习每个频率信道的权值，区分不同频率范围内的音频特征，确定和情感相关的关键特征，所述变分自动编码器捕捉所述关键特征，确定音乐情感分类结果，并在训练过程中合成新的音频数据。

14、作为进一步的实施方式，所述多路径卷积结构包括四个通道，前三个通道使用不同的窗口大小从不同的空间大小中提取信息，最后一个通道使用最大池化和1x1卷积来改变通道号，所有通道都采用填充层以保持输入-输出的高度和宽度的一致性，每个通道的输出沿着通道维度连接，并输入到下一层；且每个通道都具有批量归一化层和激活函数层。

15、作为进一步的实施方式，所述se注意机制模块和所述多路径卷积结构连接，包括依次连接的全局最大池化层、全连接层、relu激活函数层、全连接层和sigmoid函数层。

16、作为进一步的实施方式，所述变分自动编码器，采用gai模型，包括编码器和解码器，所述编码器为单独的网络，以数据样本作为输入，并将其映射到潜在变量上，解码器利用学习到潜在变量的分布以再现输入的特征数据。

17、作为可选择的实施方式，推荐属于所述音乐情感分类结果的音乐的过程包括：获取用户情感，确定和用户情感匹配的音乐情感，并查找属于所述音乐情感的音乐，将其添加到候选播放音乐列表中，并记录相应的情感评分；

18、当找到满足条件的音乐少于设定数量，或者获取的音乐不符合匹配的音乐情感时，从用户已有音乐播放列表或新的列表中查找音乐，将符合匹配的音乐情感的音乐添加至候选播放音乐列表；

19、直到候选播放音乐列表中的音乐满足设定数量，或者上述查找过程达到循环的上限。

20、一种基于双向判断分类的音乐推荐系统，包括：

21、生理信息获取模块，被配置为获取当前用户的心率变异性及皮肤电阻率；

22、第一判断分类模块，被配置为基于所述心率变异性及皮肤电阻率，进行特征提取，将特征提取结果映射至构建的用于判断用户当前情感的情绪识别模型中，得到用户情感分类结果；

23、推荐模块，被配置为基于用户情感分类结果，利用预训练的生成式深度学习的分类器，得到与用户情感分类结果相匹配的音乐情感分类结果，推荐属于所述音乐情感分类结果的音乐；

24、第二判断分类模块，被配置为利用所述生成式深度学习的分类器接收音乐的特征图，提取多维特征，自适应学习每个维度音频特征的权值，确定和情感相关的关键特征，捕捉所述关键特征，确定音乐情感分类结果。

25、与现有技术相比，本发明的有益效果为：

26、本发明获取生理指标如心率变异性(hrv)和皮肤电反应(gsr)，融合两种参数进行用户情感分类，能够更精确的确定有关人类情感变化的信息。

27、本发明构建了音乐情感分类器，基于gai模型，通过将用户的生理和情感类型与音乐的情感特征相匹配来推荐音乐，分类器使用梅尔频率倒谱系数(mfcc)将音频转换为梅尔倒谱图作为输入特征，分类器采用了变分自动编码器(vae)的gai框架，并集成了多尺度并行卷积和注意机制模块，通过分类器进行情感特征提取，对提取情感特征的待识别音频数据进行情感分类，并根据用户情感推荐音乐，提高了音乐分类的准确性和快速性，适用于资源有限的移动设备和其他智能设备。

28、本发明可以广泛应用基于生理数据的音乐曲目的自动化搜索、推荐及音乐治疗领域，有助于情感干预，提高运动和音乐疗法的性能，提高用户的体验感。

29、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。