专利名称：在实际歌唱声上产生虚拟和声的卡拉ok设备的制作方法
技术领域：
本发明涉及一种设计得能在卡拉OK歌唱声上加上一个和声的卡拉OK设备，更特别地涉及一种能够产生一个相似于非实际卡拉OK歌唱声音的，例如相似于卡拉OK歌曲的原始演唱者的歌声的虚拟的和声的卡拉OK设备。
在以往技术中，为了鼓励卡拉OK歌唱和改善卡拉OK表演，已知有一种卡拉OK设备能够在卡拉OK歌唱者的歌唱声上添加一个和声，例如比主旋律高三度的和声，并复现出该和声和歌唱声的混合声。一般，这种和声功能通过移动由麦克风所拾取的歌唱声的音调以产生一个与歌唱者的速度相同步的和声来达到。然而，在这种普通的卡拉OK设备中，由于所产生的和声的音色与卡拉OK歌唱者的实际歌唱声的音色相同，所以歌唱表演显得平淡。要满足卡拉OK歌唱者想要和卡拉OK歌曲的原始演唱者一起歌唱的愿望是困难的。本发明的目的是提供一种卡拉OK设备，它能够产生与卡拉OK歌唱者有不同音色的和声，例如具有由卡拉OK歌曲的原始演唱者所发出的或由其导出的悦耳音色的和声。
根据本发明，一个卡拉OK设备能够产生伴随于实际歌唱者歌声的卡拉OK伴音，并同时产生由一个虚拟演唱者发出的和声。该卡拉OK设备包括一个存储装置，用来存储虚拟歌唱者的声音信息；一个输入装置，用来收集实际歌唱者的歌唱声；一个分析装置，用来分析所收集歌唱声的声音频率；一个合成装置，用来根据所分析的声音频率对所存储的声音信息进行处理，以合成出具有设定得与所分析声音频率相和谐的另一种声音频率的和声；以及一个输出装置，用来把所收集的歌唱声和所合成的和声混合在一起，并同时输出该混合的歌唱声和和声以及卡拉OK伴音。
在一个特定的形式中，存储装置以一系列音素的形式存储了声音信息，这些音素是从虚拟歌唱者的歌声中逐个音节地采样而得到的。还有，合成装置与卡拉OK伴音相同步地从存储装置中依次地读出每一个音素，以合成出对应于歌唱声每个音节的每个和声音节。再有，存储装置还存储了代表和声旋律模式的和声信息，合成装置还根据所存储的和声信息来移动所分析的声音频率，以设定上述和声的另一种声音频率。
根据本发明的该卡拉OK设备在声音信息存储装置中存储了例如卡拉OK歌曲的原始演唱者这样的虚拟演唱者的声音特性。当实际卡拉OK歌唱者通过麦克风输入他或她的歌唱声时，频率分析装置分析输入歌唱声的声音频率。和声合成装置根据声音信息综合出其频率相对于所分析的频率移动了的、并与后者相和谐的和声。歌唱声和用上述方法产生的和声被互相混合起来，以输出伴随有象卡拉OK歌曲的原始演唱者这样的虚拟演唱者的和声的卡拉OK歌唱声。声音特性存储装置在逐个音节的基础上存储了声音信息，以依次地复现出虚拟演唱者和声的各个音节。利用这些音节单元，即有可能生成具有原始演唱者的优美音色的和声。和声合成装置同步于卡拉OK歌唱的进程提取并处理这些音节单元。这样，就可以对应于歌唱声的每一个音节来产生和声。
图1是示出根据本发明的具有和声产生功能的卡拉OK设备的原理方框图。
图2示出设置在该卡拉OK设备中的声音处理DSP(数字信号处理器)的结构。
图3示出该卡拉OK设备中所使用的歌曲数据的结构。
图4示出该卡拉OK设备中所使用的歌曲数据的详细结构。
图5A至5F示出该卡拉OK设备中所使用的歌曲数据的详细结构。
图6A和图6B示出含在歌曲数据中的音素数据的结构。
现在将参考
根据本发明的具有和声产生功能的卡拉OK设备的实施例细节。本发明的卡拉OK设备叫做有声源卡拉OK设备。该有声源卡拉OK设备通过根据歌曲数据来驱动一个声源而产生器乐伴音。歌曲数据是一系列数据，它们排列在多个变轨道上，其中包含了确定卡拉OK伴音的音调和时序的表演数据序列。还有，本发明的卡拉OK设备的结构是一种网络通信卡拉OK装置，它通过一个通信网络与一个主站相连接。该卡拉OK设备接收从主站下载而来的歌曲数据，并把歌曲数据存储在一个硬盘驱动器(HDD)17中(图1)。该硬盘驱动器17能够存储几百到几千个歌曲数据。该卡拉OK设备的和声产生功能就是能产生这样的和声信号，它的音调与卡拉OK歌唱者的歌唱声音调有三度或五度的差别。在该卡拉OK设备中，所产生的和声在音调上与卡拉OK歌唱者的歌唱声有三度或五度的差别，而在音色上却是卡拉OK歌曲原始演唱者的音色。
现在参考图3至图6B来说明本发明卡拉OK设备中所使用的歌曲数据的结构。图3示出歌曲数据结构的总貌，图4和图5A-5F示出歌曲数据的详细结构，图6A和6B示出含在歌曲数据中的音素数据的结构。
在图3中，一个乐曲的歌曲数据包括一个引头部分、一个器乐声或器乐迹道、一个语声或主旋律迹道、一个和声迹道、一个歌词迹道、一个声音迹道、一个效果迹道、一个音素迹道、以及一个声音数据块。引头部分含有关于该歌曲数据的各种索引数据，包括歌曲的标题、歌曲的种类、歌曲的发行日期、歌曲的表演时间(长度)等等。CPU(中央处理器单元)10(图1)根据种类数据确定准备显示在视象监视器26上的背景视频图象，并向一个LD(光盘)变换器24输送该视频图象的章号。背景视频图象可以这样来选择。例如对于其主题涉及冬季的日本民谣，该视频图象可以选择为一个下雪的乡间，或者对于外国通俗流行歌曲，可以选择为外国的景象。
图4和图5A-5F所示的从器乐声迹道到音素迹道中的每一个迹道都含有一系列的过程数据和指明各过程数据时限的时间数据△t。CPU10执行一个序列程序，其中以预定速度的时钟对时间数据△t进行计数。当计数完△t之后就读出下一个过程数据，并且该读出的过程数据被输送给一个预定的处理模块。
图4所示的器乐声迹道含有各种亚迹道，包括伴音旋律迹道、伴音节奏迹道等等。由表演过程数据和时间数据△t组成的序列数据被写在每个迹道上。CPU10在计数时间数据△t的同时执行一个器乐序列程序，并在过程数据的输出时刻把下一个过程数据输送给声源装置18。声源装置18根据含在过程数据中的通道指定数据选出一个音色发生通道，并执行指定通道上的过程，以产生卡拉OK歌曲的器乐伴音音色。
如图5A所示，语声或主旋律迹道记录了代表卡拉OK歌唱者应该歌唱的主旋律模式的序列数据。如图5B所示，和声迹道存储了代表卡拉OK歌曲的和声旋律的模式的序列数据。这些模式数据被CPU10读出，读出的模式数据被输送给声音处理DSP30，以产生和声。
如图5C所示，歌词迹道记录了要在视象监视器26上显示的歌词的序列数据。这个序列数据不是实际的器乐声数据，不过为了易于实现数据合成，这个迹道也用MIDI数据格式来描述。在MIDI标准中这个数据的等级是系统专用信息。在该歌词迹道的数据描述中，一个歌词短句被当作歌词显示数据的一个过程来处理。歌词显示数据包括歌词短句的文字代码、每个文字的显示坐标、歌词短句的显示时间(在典型应用中约为30秒)，以及“擦除”序列数据。该“擦除”序列数据用来随着歌唱的进程改变所显示歌词短句中每个文字的颜色。该擦除序列数据包括时间数据(歌词显示以来的时间)和每个文字的位置(坐标)数据，用来改变颜色。
如图5D所示，声音迹道是一个序列迹道，用来控制存储在声音数据块中的声音数据n(n＝1，2，3…)的产生时刻。声音数据块存储声源装置18难以合成的人类声音，如背景合唱声。在声音迹道上写入了时间数据△t，也即每个声音指定数据的读出时限。时间数据△t确定了向声音数据处理器19(图1)输出声音数据的时间。声音指定数据包括一个声音号、音调数据和音量数据。声音号是一个代码号n，以指定记录在声音数据块中的一个所需的声音数据项。音调数据和音量数据分别确定准备产生的声音数据的音调和音量。非语言性的背景合唱，例如“啊”或“哇哇哇”，可以以不同的音调整和音量按需要再生任何次数。这种部分是通过移动记录在声音数据块中的声音数据的音调或调整该声音数据的音量来再生的。声音数据处理器19根据音量数据来控制输出电平，并根据音调数据通过改变声音数据的读出时钟来调节音调。
如图5E所示，效果迹道存储用于一个与声源装置18、声音数据处理器19和声音处理DSP30相连接的效果DSP20的控制数据。效果DSP20的主要目的是添加各种声响效果，例如对从声源装置18、声音数据处理器19和声音处理DSP30输入的声音信号加上回响(“混响”)。DSP20根据记录在效果迹道上的、并指定效果类型和强度的控制数据，实时地控制效果。
如图5F所示，音素迹道存储按时间序列排列的音素数据s1、s2…，以及代表各个音素所属的音节长度的时期数据e1，e2…。音素数据s1、s2、s3…和时期数据e1、e2、e3…是互相交替排列地来形成序列数据格式的。
在图6A中，一个歌词短名“A KA S HI YA NO”包括5个音节“A”、“KA”、“S HI”、“YA”、“NO”，音素数据s1、s2、…则由从这5个音节中提出的元音“a”、“a”、“i”“a”、“0”所组成。如图6B所示，音素数据包括根据虚拟演唱者典型声音的元音波形编码的样品波形数据，平均大小(振幅)数据、颤音频率数据、颤音强度数据和附加的噪声数据。附加的噪声数据代表含在典型元音中的非周期性噪声的特性。音素数据以波形、波形的包络、颤音频率、颤音强度和附加噪声的形式，代表含在虚拟演唱者典型声音中的元音的声音信息。
大多数迹道的数据，例如器乐声迹道和效果迹道的数据被从硬盘驱动器17装载到一个RAM(随机存取存储器)12中。CPU10在开始再生歌曲数据时读出这些迹道的数据。不过，音素迹道、语声或主旋律迹道和和声迹道的数据可以从硬盘驱动器17直接装载到含在声音处理DSP30内的另一个RAM中。声音处理DSP30读出音素数据、主旋律的音符过程数据、以及和声旋律的音符过程数据。
图1示出了该有创造性的具有和声产生功能的卡拉OK设备的原理方框图。控制整个系统的CPU10通过系统总线与一个ROM(只读存储器)11、一个RAM12、一个硬盘驱动器(用HDD表示)17、一个ISDN控制器16、一个遥控接收器13、一个显示面板14、一个开关板15、一个声源装置18、一个声音数据处理器19、一个效果DSP20、一个文字发生器23、一个LD变换器24、一个显示控制器25、和一个声音处理DSP30相连接。
ROM11存储系统程序、请求程序、装载器程序和字体数据。系统程序控制基本操作和周边设备之间的数据转移等。请求程序包括周边设备控制程序、序列程序等等。在卡拉OK表演时，CPU10处理序列程序，以根据歌曲数据再生器乐伴音和背景视频图象。装载器程序的执行使所要求的歌曲数据从主站下载。字体数据用来显示歌词和歌曲标题，并且各种字体，例如“明体”和“歌特体”等都作为字体数据存储。在RAM12中分配有一个工作区。硬盘驱动器17存储歌曲数据文件。
ISDN控制器16控制经过ISDN网络与主站的数据通信。包括歌曲数据在内的各种数据从主机下载。ISDN控制器16含有一个DMA(直接存储器访问)控制器，它可以不受CPU10控制地直接把例如下载的歌曲数据和请求程序写入到HDD17中。
遥控接收器13接收来自一个遥控器31的被控制数据所调制的红外信号，并对接收到的控制数据进行解码。遥控器31上有十键开关和诸如歌曲选择器开关这样的指令开关等，并且发射出被对应于用户的开关操作的代码所调制的红外信号。开关板15设置在卡拉OK设备的前面板上，并含有一个歌曲代码输入开关、一个按键转换开关等等。
声源装置18根据歌曲数据产生器乐伴音。声音数据处理器19产生具有对应于作为ADPCM数据含在歌曲数据内的声音数据的特定长度和音调的声音信号。声音数据是代表背景合唱或示范性歌声的数字波形数据，这种声音是难以由声源装置18来合成的，所以它们按其自身进行了数字编码。
声音处理DSP30经过一个前置放大器28和一个A/D(模数)转换器29接收由例如麦克风27这样的输入装置所拾取或收集的歌唱声信号，还接收其他各种信息，例如主旋律模式数据、和声旋律模式数据和音素数据。声音处理DSP30根据输入信息产生叠加在卡拉OK歌唱者所唱出的主旋律之上的、具有该卡拉OK歌曲的原始演唱者的音色的和声信号。所产生的信号被输送给声音效果DSP20。
由声源装置18产生的器乐伴音信号、由声音数据处理器19产生的合唱声信号、以及由声音处理DSP30产生的歌唱声信号和和声信号都同时被输送给声音效果DSP20。效果DSP添加上各种声响效果，例如器乐声和声音信号的回声和混响声。由效果DSP20所添加的声响效果的类型和强度是根据含在歌曲数据内的效果控制数据来控制的。在CPU10的控制之下，根据效果控制序列程序该效果控制数据在预定的时刻被输送给效果DSP20。加有效果的器乐声信号和声音信号被一个D/A(数模)转换器21转换成模拟声音信号，然后输送给一个放大器/扬声器22。该放大器/扬声器22构成了一个输出装置，用来放大和再生声频信号。
文字发生器23产生代表对应于输入文字代码数据的歌曲标题和歌词的文字图形。LD变换器24再生对应于输入视频图象选择数据(章号)的背景视频图象。该视频图象选择数据例如是根据卡拉OK歌曲的种类数据来确定的。当卡拉OK表演开始时，CPU10读出记录在歌曲数据引头部分内的种类数据。CPU10根据该种类数据确定准备显示的背景视频图象。CPU10把该视频图象选择数据输送给LD变换器24。LD变换器24装备了含有120个景象的5个激光视盘，它能够有选择地再生出120种背景视频图象。根据图象选择数据，选出其中一个背景视频图象以显示出来。文字数据和视频图象数据被输送给显示控制器25，后者把它们重叠在一起并在视象监视器26上显示出来。
图2示出声音处理DSP30的详细工作结构。该声音处理DSP30根据内设的微程序执行图2中各个模块所示的对输入声频信号的各种数据处理。参见图2，原始演唱者的声音数据存储在一个音素数据寄存器48中。一个音素指针发生器46指定了应该读出哪一个音素。该指定的音素数据被输送给一个元音合成器43，以产生和声信号。该和声与卡拉OK歌唱者的声音信号混合起来。混合的信号被再生成声音。下面将详细说明该和声合成处理。
含在音素数据迹道内并由HDD17输送的音素数据s1、s2…被依次地输入给音素数据寄存器48，同时时期数据e1、e2…被输送给音素指针发生器46。在卡拉OK表演中，音素指针发生器46从一个音调分析器41接收音节探测信号以及从CU10接收节拍信息。音素指针发生器46识别出当前在歌唱的是歌词的哪一个音节，并产生一个用寄存器48的地址的形式来指明对应于被识别出的音节的音素数据的指针，在该地址处即存储了该指明的音素数据。所产生的指针被暂时地存储在一个音素指针寄存器47中。元音合成器43读出被音素指针寄存器47所寻址的音素数据。也就是说，寄存器48以一系列音素的形式存储了声音信息，这些音素是从虚拟演唱者的歌声中逐个音节地临时采样出来的。还有，元音合成器43与卡拉OK伴音同步地从寄存器48依次读出每个音素，以合成出对应于歌唱声每个音节的每一个和声音节。
一个元音/子音分离器40和一个延时器50接收由麦克风27经过前置放大器28和A/D转换器29输入的数字化歌声信号。元音/子音分离器40通过分析该数字化歌声信号把一个音节的子音成分和元音成分互相分开。元音/子音分离器40把子音成分输送给延时器49，同时把元音成分输送给音调分析器41。可以通过探测歌声信号的基频或波形来分离子音成分和元音成分。音调分析器41探测输入元音成分的音调(声频)和电平。
该探测是实时地进行的，探测到的音调信息或分析出的声频被输送给一个音调计算器42，而探测到的电平信息被输送给元音合成器43和一个包络发生器44。还有，音调分析器41还被提供有从语声旋律迹道中提取出的、并代表了实际歌唱者演唱卡拉OK歌曲时所跟随的主旋律模式的语声旋律信息，该音调分析器41根据所探测到的歌唱声音调来跟踪主旋律模式，由此探测出歌唱声的每一个音节。当前正在唱出的音节通过跟踪而得到，探测到的音节信息被分配给音素指针发生器46。音素指针发生器46的基本操作是根据探测到的音节信息来增加音素指针值。为此而执行了对卡拉OK歌唱者歌唱声的跟踪。如果音节信息的输入时刻和由节拍信息所提供的时间数据计数完时刻两者的时间偏差大于一个预定值，则将进行补偿，即取探测到的音节的输入时刻和时间数据计数完的时刻的平均时刻。
音调计算器42根据输入的音调数据和主旋律信息来探测当前正在演唱的哪一个音符。根据这个探测，音调计算器按照由歌曲数据的和声迹道所提供的、并且代表了和声旋律模式的和声信息来确定应该产生哪一个和声音符。也就是说，存储装置存储了代表和声旋律模式的和声信息，而音调计算器42根据所存储的和声信息来移动歌唱声的分析出的声音频率，以设定一个适当的和声声音频率。元音合成器43根据由音素数据寄存器48所提供的音素数据，产生具有由音调计算器42所指定的音调的元音信号。也就是说，元音合成器43合成出一个具有移动了的音调和由音素数据所指字的波形的元音成分。这个由元音合成器43所产生的元音信号被输送给一个包络发生器44。该包络发生器44实时地从分离器40接收元音成分的电平信息，并根据该电平信息来控制从元音合成器43接收到的元音信号的电平。这个加上了由电平信息所指定的包络的元音信号被输送给一个相加器45。另一方面，延时器49把由元音/子音分离器40所输送的子音信号延时这样一个时间，它等于包括音调分析器41、音调计算器42、元音合成器43和包络发生器44这些方框中的元音处理时间。延时后的子音信号被输送给相加器45。相加器45通过把从卡拉OK歌唱者的歌唱声中分离出来的子音成分耦合到根据元音信息所产生的卡拉OK歌曲原始演唱者的和声元音信号上，以产生一个组合的和声信号。这样，就有可能根据关于卡拉OK歌唱者的歌唱声的子音成分以及音调和音量的信息，合成出与卡拉OK歌唱者的歌唱声匹配良好的最后的和声信号，同时其中还保持了原始演唱者的音色。所产生的和声信号在相加器51中与卡拉OK歌唱者的歌唱声混合起来。原始演唱者的歌声信号在延时器50中被延时，以补偿和声信号的产生过程中所需的处理时间。相混合的歌唱声和和声被输送给效果DSP20。
声音信号DSP30如前述那样工作，并产生出具有原始演唱者的音色并且与卡拉OK歌唱者所唱的主旋律匹配良好的和声信号。在上述实施例中，从原始歌声中所提取的元音作为音素数据存储。不过，要存储的音素数据不限于此。例如，还可以存储日语标准音节中的典型发音，以用于通过分析卡拉OK歌唱声来确定音素数据和合成元音。还有，在上述实施例中，歌曲数据的音素数据迹道只记录了原始演唱者或模范演唱者的元音数据，而和声信号是利用卡拉OK歌唱者的子音信号来产生的。或者，音素数据迹道上也还可以记录模范演唱者的子音成分，而且和声波形可以由模范演唱者的元音和子音成分组成。
如前所述，在根据本发明的卡拉OK设备中，根据一个特定人物，例如一位原始演唱者的声音特性，可以在卡拉OK歌唱者的歌声之上产生具有这种特性的和声信号，从而卡拉OK歌唱者就能够感到好象他或她是在和一位虚拟的歌唱者，例如该卡拉OK歌曲的原始演唱者一起表演二重唱，从而享受到了卡拉OK演唱的乐趣。
权利要求
1.一种卡拉OK设备，它用来产生伴随一位实际歌唱者的歌唱声的卡拉OK伴音，并用来同时地产生一个来源于一位虚拟的歌唱者的和声，该设备包括一个存储装置，用来存储虚拟歌唱者的声音信息；一个输入装置，用来收集实际歌唱者的歌唱声；一个分析装置，用来分析所收集的歌唱声的声音频率；一个合成装置，用来根据所分析的声音频率来处理所存储的声音信息，以合成出具有被设定得与所分析的声音频率相谐和的另一种声音频率的和声信号；以及一个输出装置，用来把所收集的歌唱声和所合成的和声互相混合起来，并把相混合的歌唱声和和声与卡拉OK伴音一起输出。
2.根据权利要求1的卡拉OK设备，其中的存储装置以一系列音素的形式存储声音信息。这些音素是从虚拟歌唱者的歌唱声中逐个音节地依次采样而得到的。
3.根据权利要求2的卡拉OK设备，其中的合成装置以同步于卡拉OK伴音的方式从存储装置中依次地读出每个音素，以合成对应于歌唱声的每个音节的每个和声音节。
4.根据权利要求1的卡拉OK设备，其中的存储装置还存储代表和声旋律模式的和声信息，并且其中的合成装置根据所存储的和声信息来移动所分析的声音频率，以设定上述和声的另一种声音频率。
全文摘要
一种卡拉OK设备产生伴随实际歌唱者的歌唱声的卡拉OK伴音，并同时产生一位虚拟歌唱者的和声。该设备中，一存储装置存储该虚拟歌唱者的声音信息。一输入装置收集该实际歌唱者的歌唱声。一分析装置分析收集的歌唱声的声音频率。一合成装置根据所分析的声音频率处理所存储的声音信息以合成具有设定得与所分析的声音频率相和谐的另一种声音频率的和声。一输出装置把所收集的歌唱声和所合成的和声混合，并把混合的歌唱声和和声与卡拉OK伴音一起输出。
文档编号G10H1/10GK1153964SQ9610321
公开日1997年7月9日 申请日期1996年2月27日 优先权日1995年2月27日
发明者荫山保夫, 三野浩 申请人:雅马哈株式会社