演唱对象识别方法和装置、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种演唱对象识别方法和装置、电子设备及存储介质。


背景技术：

2.随着元宇宙技术的发展，通过元宇宙可以将日常生活的方方面面延展至一个虚实结合的世界，而随着元宇宙中的演唱人员的数量增加，常用的识别方法往往难以对演唱人员的身份进行准确地识别，因此，如何提高演唱人员的识别准确性，成为了亟待解决的技术问题。


技术实现要素：

3.本技术实施例的主要目的在于提出一种演唱对象识别方法和装置、电子设备及存储介质，旨在提高演唱对象的识别准确性。
4.为实现上述目的，本技术实施例的第一方面提出了一种演唱对象识别方法，所述方法包括：
5.获取目标演唱对象的目标音频数据；
6.将所述目标音频数据输入预设的人物识别模型；其中，所述人物识别模型包括空洞卷积网络和卷积分类网络；
7.通过所述空洞卷积网络对所述目标音频数据进行特征提取，得到音频时序特征；
8.通过所述空洞卷积网络对所述音频时序特征进行激活处理，得到初始音频特征向量；
9.对多个所述初始音频特征向量进行特征融合，得到融合音频特征向量；
10.通过所述卷积分类网络对所述融合音频特征向量进行特征提取，得到目标音频特征向量；
11.通过所述卷积分类网络对所述目标音频特征向量进行预测处理，得到所述目标演唱对象的目标身份标签，其中，所述目标身份标签用于表征所述目标演唱对象的身份。
12.在一些实施例，所述通过所述空洞卷积网络对所述音频时序特征进行激活处理，得到初始音频特征向量的步骤，包括：
13.通过所述空洞卷积网络的第一激活函数对所述音频时序特征进行激活处理，得到第一激活特征向量；
14.通过所述空洞卷积网络的第二激活函数对所述音频时序特征进行激活处理，得到第二激活特征向量；
15.根据预设的权重参数对所述第一激活特征向量和所述第二激活特征向量进行点乘处理，得到所述初始音频特征向量。
16.在一些实施例，所述卷积分类网络包括二维卷积层和池化层，所述通过所述卷积分类网络对所述融合音频特征向量进行特征提取，得到目标音频特征向量的步骤，包括：
17.通过所述二维卷积层对所述融合音频特征向量进行特征提取，得到中间音频特征向量；
18.通过所述池化层对所述中间音频特征向量进行降维处理，得到所述目标音频特征向量。
19.在一些实施例，所述卷积分类网络包括展平层、全连接层，所述通过所述卷积分类网络对所述目标音频特征向量进行预测处理，得到所述目标演唱对象的目标身份标签的步骤，包括：
20.通过所述展平层对所述目标音频特征向量进行拉伸处理，得到变维音频特征向量；
21.通过所述全连接层对所述变维音频特征向量进行标签预测处理，得到所述目标演唱对象的目标身份标签。
22.在一些实施例，所述通过所述全连接层对所述变维音频特征向量进行标签预测处理，得到所述目标演唱对象的目标身份标签的步骤，包括：
23.通过所述全连接层的分类函数和预设身份标签对所述变维音频特征向量进行标签概率计算，得到每一所述预设身份标签对应的标签概率向量；
24.选取数值最大的标签概率向量对应的预设身份标签，得到候选身份标签；
25.根据所述候选身份标签，得到作为所述目标身份标签。
26.在一些实施例，所述对多个所述初始音频特征向量进行特征融合，得到融合音频特征向量的步骤，包括：
27.获取预设的拼接顺序；
28.根据所述拼接顺序对多个所述初始音频特征向量进行向量相加，得到所述融合音频特征向量。
29.在一些实施例，所述获取目标演唱对象的目标音频数据的步骤，包括：
30.获取所述目标演唱对象的原始音频数据；
31.根据预设的音频长度对所述原始音频数据进行筛选处理，得到所述目标音频数据。
32.为实现上述目的，本技术实施例的第二方面提出了一种演唱对象识别装置，所述装置包括：
33.数据获取模块，用于获取目标演唱对象的目标音频数据；
34.输入模块，用于将所述目标音频数据输入预设的人物识别模型；其中，所述人物识别模型包括空洞卷积网络和卷积分类网络；
35.第一特征提取模块，用于通过所述空洞卷积网络对所述目标音频数据进行特征提取，得到音频时序特征；
36.激活模块，用于通过所述空洞卷积网络对所述音频时序特征进行激活处理，得到初始音频特征向量；
37.特征融合模块，用于对多个所述初始音频特征向量进行特征融合，得到融合音频特征向量；
38.第二特征提取模块，用于通过所述卷积分类网络对所述融合音频特征向量进行特征提取，得到目标音频特征向量；
39.识别模块，用于通过所述卷积分类网络对所述目标音频特征向量进行预测处理，得到所述目标演唱对象的目标身份标签，其中，所述目标身份标签用于表征所述目标演唱对象的身份。
40.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。
41.为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
42.本技术提出的演唱对象识别方法、演唱对象识别装置、电子设备及存储介质，其通过获取目标演唱对象的目标音频数据；将目标音频数据输入预设的人物识别模型；其中，人物识别模型包括空洞卷积网络和卷积分类网络；通过空洞卷积网络对目标音频数据进行特征提取，得到音频时序特征，并通过空洞卷积网络对音频时序特征进行激活处理，得到初始音频特征向量，能够通过空洞卷积网络来扩展目标音频数据的感受野，提高识别精度。进一步地，对多个初始音频特征向量进行特征融合，得到融合音频特征向量；通过卷积分类网络对融合音频特征向量进行特征提取，得到目标音频特征向量，能够较好地捕捉到融合音频特征向量的频域空间特征，得到目标音频特征向量。最后，通过卷积分类网络对目标音频特征向量进行预测处理，得到目标演唱对象的目标身份标签，其中，目标身份标签用于表征目标演唱对象的身份，从而方便地确定出目标演唱对象的身份，能够有效地解决由于元宇宙中的演唱对象的数量增加而导致的演唱对象的身份识别困难的问题，提高了演唱对象的识别准确性。
附图说明
43.图1是本技术实施例提供的演唱对象识别方法的流程图；
44.图2是图1中的步骤s101的流程图；
45.图3是图1中的步骤s104的流程图；
46.图4是图1中的步骤s105的流程图；
47.图5是图1中的步骤s106的流程图；
48.图6是图1中的步骤s107的流程图；
49.图7是图6中的步骤s602的流程图；
50.图8是本技术实施例提供的演唱对象识别装置的结构示意图；
51.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
53.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻
辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
54.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
55.首先，对本技术中涉及的若干名词进行解析：
56.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
57.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
58.信息抽取(information extraction，ner)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
59.元宇宙(metaverse)：是利用科技手段进行链接与创造的，与现实世界映射与交互的虚拟世界，具备新型社会体系的数字生活空间。元宇宙本质上是对现实世界的虚拟化、数字化过程，需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。但元宇宙的发展是循序渐进的，是在共享的基础设施、标准及协议的支撑下，由众多工具、平台不断融合、进化而最终成形。它基于扩展现实技术提供沉浸式体验，基于数字孪生技术生成现实世界的镜像，基于区块链技术搭建经济体系，将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合，并且允许每个用户进行内容生产和世界编辑。
60.空洞卷积(dilated convolution)：空洞卷积也叫扩张卷积或者膨胀卷积，简单来说就是在卷积核元素之间加入一些空格(零)来扩大卷积核的过程。
61.感受野(receptive field)：是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。
62.傅里叶变换：表示能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦
函数)或者它们的积分的线性组合。在不同的研究领域，傅立叶变换具有多种不同的变体形式，如连续傅立叶变换和离散傅立叶变换。
63.梅尔倒频谱系数(mel-frequency cipstal coefficients,mfcc)：是一组用来建立梅尔倒频谱的关键系数。由音乐信号当中的片段，可以得到一组足以代表此音乐信号的倒频谱，而梅尔倒频谱系数即是从这个倒频谱中推得的倒频谱(也就是频谱的频谱)。与一般的倒频谱不同，梅尔倒频谱最大的特色在于梅尔倒频谱上的频带是均匀分布于梅尔刻度上的，也就是说，相较于一般所看到、线性的倒频谱表示方法，这样的频带会和人类非线性的听觉系统(audio system)更为接近。例如：在音讯压缩的技术中，常常使用梅尔倒频谱来处理。
64.激活函数(activation function)：就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
65.双曲正切函数(hyperbolic tangent function)：双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh，也可简写成th。与三角函数一样，双曲函数也分为双曲正弦、双曲余弦、双曲正切、双曲余切、双曲正割、双曲余割6种，双曲正切函数便是其中之一。与正切函数类似，双曲正切函数在计算上等于双曲正弦与双曲余弦的比值，即tanh(x)＝sinh(x)/cosh(x)。
66.降维：是通过单幅图像数据的高维化，对单幅图像转化为高维空间中的数据集合进行的一种操作。
67.解码(decoder)：就是将之前生成的固定向量再转化成输出序列；其中，输入序列可以是文字、语音、图像、视频；输出序列可以是文字、图像。
68.池化(pooling)：本质上是一种采样，对输入的特征图选取某一种方式进行降维处理和压缩处理，以加快运算速度，采用较多的池化过程为最大池化(max pooling)。
69.softmax函数：softmax函数是归一化指数函数，能将一个含任意实数的k维向量z“压缩”到另一个k维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，该函数常用于多分类问题中。
70.残差连接：是让前面某层的输出作为后面某层的输入，从而在序列网络中有效地创造了一条捷径。
71.随着元宇宙技术的发展，通过元宇宙可以将日常生活的方方面面延展至一个虚实结合的世界，元宇宙中随着虚拟歌手的增加，会随着时间进行不断累计远超现实世界中的演唱人员数量。而随着元宇宙中的演唱人员的数量增加，常用的识别方法往往难以对演唱人员的身份进行准确地识别，因此，如何提高演唱人员的识别准确性，成为了亟待解决的技术问题。
72.因此，针对元宇宙中演唱对象的数量激增以及虚拟演唱对象和真实演唱对象的识别问题，本技术实施例提供了一种演唱对象识别方法、演唱对象识别装置、电子设备及存储介质，旨在提高演唱对象的识别准确性。
73.本技术实施例提供的演唱对象识别方法、演唱对象识别装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的演唱对象识别方法。
74.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、
延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
75.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
76.本技术实施例提供的演唱对象识别方法，涉及人工智能技术领域。本技术实施例提供的演唱对象识别方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现演唱对象识别方法的应用等，但并不局限于以上形式。
77.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
78.图1是本技术实施例提供的演唱对象识别方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s107。
79.步骤s101，获取目标演唱对象的目标音频数据；
80.步骤s102，将目标音频数据输入预设的人物识别模型；其中，人物识别模型包括空洞卷积网络和卷积分类网络；
81.步骤s103，通过空洞卷积网络对目标音频数据进行特征提取，得到音频时序特征；
82.步骤s104，通过空洞卷积网络对音频时序特征进行激活处理，得到初始音频特征向量；
83.步骤s105，对多个初始音频特征向量进行特征融合，得到融合音频特征向量；
84.步骤s106，通过卷积分类网络对融合音频特征向量进行特征提取，得到目标音频特征向量；
85.步骤s107，通过卷积分类网络对目标音频特征向量进行预测处理，得到目标演唱对象的目标身份标签，其中，目标身份标签用于表征目标演唱对象的身份。
86.本技术实施例所示意的步骤s101至步骤s107，其通过获取目标演唱对象的目标音频数据；将目标音频数据输入预设的人物识别模型；其中，人物识别模型包括空洞卷积网络和卷积分类网络；通过空洞卷积网络对目标音频数据进行特征提取，得到音频时序特征，并通过空洞卷积网络对音频时序特征进行激活处理，得到初始音频特征向量，能够通过空洞
卷积网络来扩展目标音频数据的感受野，提高识别精度。进一步地，对多个初始音频特征向量进行特征融合，得到融合音频特征向量；通过卷积分类网络对融合音频特征向量进行特征提取，得到目标音频特征向量，能够较好地捕捉到融合音频特征向量的频域空间特征，得到目标音频特征向量。最后，通过卷积分类网络对目标音频特征向量进行预测处理，得到目标演唱对象的目标身份标签，其中，目标身份标签用于表征目标演唱对象的身份，从而方便地确定出目标演唱对象的身份，能够有效地解决由于元宇宙中的演唱对象的数量增加而导致的演唱对象的身份识别困难的问题，提高了演唱对象的识别准确性。
87.请参阅图2，在一些实施例中，步骤s101可以包括但不限于包括步骤s201至步骤s202：
88.步骤s201，获取目标演唱对象的原始音频数据；
89.步骤s202，根据预设的音频长度对原始音频数据进行筛选处理，得到目标音频数据。
90.在一些实施例的步骤s201中，可以通过编写网络爬虫,设置好数据源之后进行有目标性地爬取数据，得到目标演唱对象的原始音频数据，其中，数据源可以是各种类型的网络平台、社交媒体也可以是某些特定的音频数据库等，原始音频数据可以是目标演唱对象的音乐素材、演讲汇报、聊天对话等。也可以通过其他方式获取原始音频数据，不限于此。
91.在一些实施例的步骤s202中，预设的音频长度可以根据实际业务需求设置，不做限制，例如，预设的音频长度为5分钟，根据预设的音频长度，将原始音频数据中音频长度小于或者等于5分钟的音频数据筛选处理，将这些符合要求的原始音频数据作为目标音频数据。
92.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
93.在一些实施例的步骤s102中，将目标音频数据输入预设的人物识别模型；其中，目标音频数据为音频波形文件，人物识别模型包括空洞卷积网络和卷积分类网络，空洞卷积网络主要用于对输入的目标音频数据进行维度扩展，卷积分类网络主要用于对经过维度扩展的目标音频数据进行标签预测，得到目标音频数据对应的目标演唱对象的身份标签，通过将音频波形文件作为目标音频数据输入至预设的人物识别模型，能够实现完全端到端的演唱对象的识别，省略了对目标音频数据进行频谱特征提取的过程，能够有效地降低短时傅里叶变换的先验知识在分帧处理过程中对目标音频数据的影响，提高识别精度。
94.在一些实施例的步骤s103中，通过空洞卷积网络的空洞卷积层对目标音频数据进行特征提取，将目标音频数据的感受野以指数级进行扩展，对目标音频数据进行一维空洞卷积处理，得到音频时序特征，其中，感受野主要是指输入的目标音频数据的音频特征图上某个像素对应到输入空间的映射区域范围，通过这一方式能够较大幅度地扩展目标音频数据的可接受维度。
95.请参阅图3，在一些实施例中，步骤s104可以包括但不限于包括步骤s301至步骤s303：
96.步骤s301，通过空洞卷积网络的第一激活函数对音频时序特征进行激活处理，得到第一激活特征向量；
97.步骤s302，通过空洞卷积网络的第二激活函数对音频时序特征进行激活处理，得到第二激活特征向量；
98.步骤s303，根据预设的权重参数对第一激活特征向量和第二激活特征向量进行点乘处理，得到初始音频特征向量。
99.在一些实施例的步骤s301中，第一激活函数为tanh函数，tanh函数即双曲正切函数，等于双曲余弦除双曲正弦，该tanh函数为奇函数，通过tanh函数可以将输入的音频时序特征的元素值变换到-1和1之间，得到第一激活特征向量。
100.在一些实施例的步骤s302中，第二激活函数为sigmoid函数，其函数形式为函数的形式是x为音频时序特征，通过sigmoid函数对音频时序特征进行激活处理，将激活处理的向量映射到[0,1]之间，得到第二激活特征向量。
[0101]
在一些实施例的步骤s303中，预设的权重参数可以根据实际业务需求设置，不做限制。根据预设的权重参数对第一激活特征向量和第二激活特征向量进行点乘处理，得到初始音频特征向量的过程可以表示为
[0102]
z＝tanh(w1,x)
·
sign(w2，x)；
[0103]
其中，z为初始音频特征向量，w1为第一激活函数的权重参数，w2为第二激活函数的权重参数，x为输入的音频时序特征。
[0104]
需要说明的是，在上述空洞卷积网络中包括多个空洞卷积模块，每一空洞卷积模块包括一个空洞卷积层、一个第一激活函数以及一个第二激活函数，每一空洞卷积模块之间采用残差连接的方式相连接。例如，空洞卷积网络包括两个空洞卷积模块，第一个空洞卷积模块的输入为目标音频数据，第二空洞卷积模块的输入则是前一个空洞卷积模块的输出与目标音频数据进行拼接的结果。为了更好地扩展目标音频数据的感受野，本技术实施例中的空洞卷积网络采用k层的层叠空洞卷积模块，其中，k等于9。
[0105]
通过上述的步骤s103和步骤s104的空洞卷积网络能够对时域的目标音频数据(波形文件)的时序特征进行提取，通过堆叠的k层空洞卷积模块能够指数级地增大目标音频数据的感受野，使得本申实施例的演唱对象识别方法能够支持波形输入，简化了识别过程，提高了演唱对象识别的效率。
[0106]
请参阅图4，在一些实施例中，卷积分类网络包括二维卷积层和池化层，步骤s105可以包括但不限于包括步骤s401至步骤s402：
[0107]
步骤s401，获取预设的拼接顺序；
[0108]
步骤s402，根据拼接顺序对多个初始音频特征向量进行向量相加，得到融合音频特征向量。
[0109]
在一些实施例的步骤s401中，预设的拼接顺序为上述的空洞卷积网络的空洞卷积模块的层叠顺序。
[0110]
在一些实施例的步骤s402中，根据空洞卷积模块的层叠顺序，依次将每一空洞卷
积模块输出的初始音频特征向量进行跳跃连接，这里的跳跃连接方式可以是向量相加或者向量连接等等，例如，根据空洞卷积模块的层叠顺序对多个初始音频特征向量进行向量相加，得到融合音频特征向量。
[0111]
请参阅图5，在一些实施例中，卷积分类网络包括二维卷积层和池化层，步骤s106可以包括但不限于包括步骤s501至步骤s502：
[0112]
步骤s501，通过二维卷积层对融合音频特征向量进行特征提取，得到中间音频特征向量；
[0113]
步骤s502，通过池化层对中间音频特征向量进行降维处理，得到目标音频特征向量。
[0114]
在一些实施例的步骤s501中，通过二维卷积层对融合音频特征向量进行特征提取，捕捉融合音频特征向量的频域空间特征，得到中间音频特征向量。
[0115]
在一些实施例的步骤s502中，通过池化层对中间音频特征向量进行降维处理，使得中间音频特征向量处于预设的特征维度空间，得到目标音频特征向量。
[0116]
需要说明的是，上述二维卷积层和池化层可以包括一个或者多个，当涉及到多个二维卷积层和多个池化层时，二维卷积层和池化层交替连接，例如，当涉及到2个二维卷积层以及2个池化层时，第一个二维卷积层的输入为融合音频特征向量，第一个二维卷积层的输出作为第一个池化层的输入，第一个池化层的输出作为第二个二维卷积层的输入，第二个二维卷积层的输出作为第二个池化层的输入，依次类推。在本技术实施例可以包括4组二维卷积层和池化层，即4个二维卷积层和4个池化层。
[0117]
请参阅图6，在一些实施例，卷积分类网络包括展平层、全连接层，步骤s107包括但不限于包括步骤s601至步骤s602：
[0118]
步骤s601，通过展平层对目标音频特征向量进行拉伸处理，得到变维音频特征向量；
[0119]
步骤s602，通过全连接层对变维音频特征向量进行标签预测处理，得到目标演唱对象的目标身份标签。
[0120]
在一些实施例的步骤s601中，通过展平层对目标音频特征向量进行拉伸处理，将二维的目标音频特征向量拉伸为一维特征向量，得到变维音频特征向量。
[0121]
在一些实施例的步骤s602中，通过全连接层的分类函数对变维音频特征向量进行标签概率计算，得到每一预设身份标签对应的标签概率向量，选取数值最大的标签概率向量对应的预设身份标签作为该目标演唱对象的目标身份标签，根据该目标身份标签确定该目标演唱对象的身份，该身份可以表征该目标演唱对象为虚拟人物还是真实人物。
[0122]
请参阅图7，在一些实施例中，步骤s602可以包括但不限于包括步骤s701至步骤s703：
[0123]
步骤s701，通过全连接层的分类函数和预设身份标签对变维音频特征向量进行标签概率计算，得到每一预设身份标签对应的标签概率向量；
[0124]
步骤s702，选取数值最大的标签概率向量对应的预设身份标签，得到候选身份标签；
[0125]
步骤s703，根据候选身份标签，得到目标身份标签。
[0126]
在一些实施例的步骤s701中，分类函数可以是softmax函数等函数，预设身份标签
可以从不同的数据源提取到，例如，从网络媒体、社交平台上获取各种人物的基本信息，包括身份信息、个人情况以及相关的音视频数据等等。以softmax函数为例，通过softmax函数可以创建变维音频特征向量在每一预设身份标签上的概率分布情况，通过概率分布情况反映出变维音频特征向量属于每一预设身份标签的概率大小，从而，得到每一预设身份标签对应的标签概率向量。
[0127]
在一些实施例的步骤s702和步骤s703中，标签概率向量的大小可以直观地反映出变维音频特征向量属于每一预设身份标签的可能性，当标签概率向量的数值越大，变维音频特征向量与对应的预设身份标签的匹配程度越高，表明该变维音频特征向量来自于这一预设身份标签对应的人物的可能性越大，因此，选取数值最大的标签概率向量对应的预设身份标签,得到一个或者多个候选身份标签，再从候选身份标签中选取某一个身份标签作为目标身份标签，从而通过目标身份标签来表征目标演唱对象的身份。
[0128]
上述步骤s701至步骤s703，通过分类函数能够方便地将变维音频特征向量属于每一预设身份标签的可能性大小进行量化，得到标签概率向量，然后根据标签概率向量的大小选取最合适的预设身份标签作为目标身份标签，从而根据目标身份标签确认目标演唱对象的身份，提高了演唱对象的识别准确性。
[0129]
本技术实施例的演唱对象识别方法，其通过获取目标演唱对象的目标音频数据；将目标音频数据输入预设的人物识别模型；其中，人物识别模型包括空洞卷积网络和卷积分类网络；通过空洞卷积网络对目标音频数据进行特征提取，得到音频时序特征，并通过空洞卷积网络对音频时序特征进行激活处理，得到初始音频特征向量，能够通过空洞卷积网络来扩展目标音频数据的感受野，提高识别精度。进一步地，对多个初始音频特征向量进行特征融合，得到融合音频特征向量；通过卷积分类网络对融合音频特征向量进行特征提取，得到目标音频特征向量，能够较好地捕捉到融合音频特征向量的频域空间特征，得到目标音频特征向量。最后，通过卷积分类网络对目标音频特征向量进行预测处理，能够方便地将目标音频特征向量属于每一预设身份标签的可能性大小进行量化，得到标签概率向量，然后根据标签概率向量的大小选取最合适的预设身份标签作为目标身份标签，从而根据目标身份标签确认目标演唱对象的身份，从而方便地确定出目标演唱对象的身份，能够有效地解决由于元宇宙中的演唱对象的数量增加而导致的演唱对象的身份识别困难的问题，提高了演唱对象的识别准确性。
[0130]
请参阅图8，本技术实施例还提供一种演唱对象识别装置，可以实现上述演唱对象识别方法，该装置包括：
[0131]
数据获取模块801，用于获取目标演唱对象的目标音频数据；
[0132]
输入模块802，用于将目标音频数据输入预设的人物识别模型；其中，人物识别模型包括空洞卷积网络和卷积分类网络；
[0133]
第一特征提取模块803，用于通过空洞卷积网络对目标音频数据进行特征提取，得到音频时序特征；
[0134]
激活模块804，用于通过空洞卷积网络对音频时序特征进行激活处理，得到初始音频特征向量；
[0135]
特征融合模块805，用于对多个初始音频特征向量进行特征融合，得到融合音频特征向量；
[0136]
第二特征提取模块806，用于通过卷积分类网络对融合音频特征向量进行特征提取，得到目标音频特征向量；
[0137]
识别模块807，用于通过卷积分类网络对目标音频特征向量进行预测处理，得到目标演唱对象的目标身份标签，其中，目标身份标签用于表征目标演唱对象的身份。
[0138]
在一些实施例中，数据获取模块801包括：
[0139]
数据获取单元，用于获取目标演唱对象的原始音频数据；
[0140]
筛选单元，用于根据预设的音频长度对原始音频数据进行筛选处理，得到目标音频数据。
[0141]
在一些实施例中，激活模块804包括：
[0142]
第一激活单元，用于通过空洞卷积网络的第一激活函数对音频时序特征进行激活处理，得到第一激活特征向量；
[0143]
第二激活单元，用于通过空洞卷积网络的第二激活函数对音频时序特征进行激活处理，得到第二激活特征向量；
[0144]
点乘单元，用于根据预设的权重参数对第一激活特征向量和第二激活特征向量进行点乘处理，得到初始音频特征向量。
[0145]
在一些实施例中，特征融合模块805包括：
[0146]
顺序获取单元，用于获取预设的拼接顺序；
[0147]
向量相加单元，用于根据拼接顺序对多个初始音频特征向量进行向量相加，得到融合音频特征向量。
[0148]
在一些实施例中，卷积分类网络包括二维卷积层和池化层，第二特征提取模块806包括：
[0149]
提取单元，用于通过二维卷积层对融合音频特征向量进行特征提取，得到中间音频特征向量；
[0150]
降维单元，用于通过池化层对中间音频特征向量进行降维处理，得到目标音频特征向量。
[0151]
在一些实施例中，卷积分类网络包括展平层、全连接层，识别模块807包括：
[0152]
拉伸单元，用于通过展平层对目标音频特征向量进行拉伸处理，得到变维音频特征向量；
[0153]
预测单元，用于通过全连接层对变维音频特征向量进行标签预测处理，得到目标演唱对象的目标身份标签。
[0154]
在一些实施例中，预测单元包括：
[0155]
概率计算子单元，用于通过全连接层的分类函数和预设身份标签对变维音频特征向量进行标签概率计算，得到每一预设身份标签对应的标签概率向量；
[0156]
选取子单元，用于选取数值最大的标签概率向量对应的预设身份标签，得到候选身份标签；
[0157]
标签确定子单元，用于根据候选身份标签，得到目标身份标签。
[0158]
该演唱对象识别装置的具体实施方式与上述演唱对象识别方法的具体实施例基本相同，在此不再赘述。
[0159]
本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存
储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述演唱对象识别方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0160]
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0161]
处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0162]
存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的演唱对象识别方法；
[0163]
输入/输出接口903，用于实现信息输入及输出；
[0164]
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0165]
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
[0166]
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
[0167]
本技术实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述演唱对象识别方法。
[0168]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0169]
本技术实施例提供的演唱对象识别方法、演唱对象识别装置、电子设备及存储介质，其通过获取目标演唱对象的目标音频数据；将目标音频数据输入预设的人物识别模型；其中，人物识别模型包括空洞卷积网络和卷积分类网络；通过空洞卷积网络对目标音频数据进行特征提取，得到音频时序特征，并通过空洞卷积网络对音频时序特征进行激活处理，得到初始音频特征向量，能够通过空洞卷积网络来扩展目标音频数据的感受野，提高识别精度。进一步地，对多个初始音频特征向量进行特征融合，得到融合音频特征向量；通过卷积分类网络对融合音频特征向量进行特征提取，得到目标音频特征向量，能够较好地捕捉到融合音频特征向量的频域空间特征，得到目标音频特征向量。最后，通过卷积分类网络对目标音频特征向量进行预测处理，能够方便地将目标音频特征向量属于每一预设身份标签的可能性大小进行量化，得到标签概率向量，然后根据标签概率向量的大小选取最合适的预设身份标签作为目标身份标签，从而根据目标身份标签确认目标演唱对象的身份，从而
方便地确定出目标演唱对象的身份，能够有效地解决由于元宇宙中的演唱对象的数量增加而导致的演唱对象的身份识别困难的问题，提高了演唱对象的识别准确性。
[0170]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0171]
本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0172]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0173]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0174]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0175]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0176]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0177]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0178]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0179]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0180]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。