歌唱音生成装置及方法、程序与流程

本发明涉及基于发音指示而生成歌唱音的歌唱音生成装置及方法、程序。

背景技术：

以往，已知使用语音合成技术，与由演奏者进行的演奏相应地进行歌唱合成而发音的装置(专利文献1)。该装置与演奏相应地对歌词数据所示的歌词中的歌唱位置进行更新。即，该装置与1个1个的演奏操作相应地，按照预先在歌词数据中规定的顺序将歌词读取，以由演奏指定的音高对单音的歌唱音进行发音。

专利文献1：日本专利第4735544号公报

技术实现要素：

另外，在键盘等演奏操作件的操作中，有时由于用户的误触碰而操作多个操作件，指定了多个音高。在上述现有的装置中，如果由于误触碰而指示了多个发音，则有可能意外地将歌词额外读取。假设，如果与所指示的多个音高各自逐一对应而生成、输出歌唱音，则有可能被听众清楚地识别到误触碰。

本发明的目的在于提供能够在与发音的音节相对应的期间对要生成的歌唱音的发音音高进行确定的歌唱音生成装置及方法、程序。

为了达到上述目的，根据本发明，提供一种歌唱音生成装置，其具有：音节取得部，其取得表示要发音的1个音节的音节信息；决定部，其与由所述音节取得部取得的音节信息相应地决定等待时间；指示取得部，其取得指定出音高的发音或者发音解除的指示；确定部，其基于由所述指示取得部取得的发音或者发音解除的指示，在从由所述指示取得部取得发音的指示起至由所述决定部决定的等待时间经过后，对单一的发音音高进行确定；以及生成部，其基于由所述音节取得部取得的音节信息和由所述确定部所确定的发音音高而生成歌唱音。

此外，上述括弧内的标号为例示。

发明的效果

根据本发明，能够在与发音的音节相对应的期间对要生成的歌唱音的发音音高进行确定。

附图说明

图1是歌唱音生成装置的示意图。

图2是电子乐器的框图。

图3是表示进行演奏的情况下的处理的流程的一个例子的流程图。

图4是表示歌词文本数据的一个例子的图。

图5是表示语音片段数据的种类的一个例子的图。

图6是音素类别信息的示意图。

图7是表示与对音节进行发音时的经过时间对应的音量包络的图。

图8是输出音生成处理的流程图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

图1是本发明的一个实施方式所涉及的歌唱音生成装置的示意图。该歌唱音生成装置作为一个例子而构成为键盘乐器即电子乐器100，具有主体部30及琴颈部31。主体部30具有：第1面30a、第2面30b、第3面30c、第4面30d。第1面30a是配置由多个键构成的键盘部kb的键盘配置面。第2面30b为背面。在第2面30b设置钩件36、37。在钩件36、37之间能够架设未图示的背带，演奏者通常将背带挂在肩上进行键盘部kb的操作等演奏。因此，在挂肩使用时，特别在键盘部kb的音阶方向(键的排列方向)成为左右方向时，第1面30a及键盘部kb朝向聆听者侧，第3面30c、第4面30d分别大致朝向下方、上方。琴颈部31从主体部30的侧部延伸设置。在琴颈部31配置以前进操作件34、返回操作件35为首的各种操作件。在主体部30的第4面30d配置由液晶等构成的显示单元33。

电子乐器100是与向演奏操作件的操作相应地进行歌唱模拟的乐器。在这里，歌唱模拟是指通过歌唱合成而输出对人的声音进行模拟的语音。键盘部kb的各键是白键、黑键按照音高顺序排列，各键分别与不同的音高相关联。在演奏电子乐器100的情况下，用户按下键盘部kb的期望的键。电子乐器100对由用户操作的键进行检测，发出与被操作的键相对应的音高的歌唱音。此外，所发出的歌唱音的音节的顺序是预先规定的。

图2是电子乐器100的框图。电子乐器100具有：cpu(centralprocessingunit)10、计时器11、rom(readonlymemory)12、ram(randomaccessmemory)13、数据存储部14、演奏操作件15、其他操作件16、参数值设定操作件17、显示单元33、音源19、效果电路20、声音系统21、通信i/f(interface)以及总线23。cpu10是进行电子乐器100整体的控制的中央处理装置。计时器11是测量时间的模块。rom12是对控制程序、各种数据等进行储存的非易失性的存储器。ram13是作为cpu10的工作区域及各种缓冲器等所使用的易失性的存储器。显示单元33是液晶显示器面板、有机el(electro-luminescence)面板等显示模块。显示单元33显示电子乐器100的动作状态、各种设定画面、针对用户的消息等。

演奏操作件15是主要接受对音高进行指定的演奏操作的模块。在本实施方式中，键盘部kb、前进操作件34、返回操作件35包含于演奏操作件15。作为一个例子，在演奏操作件15为键盘的情况下，演奏操作件15输出基于与各键对应的传感器的开/关的音符开/音符关、按键的强度(速度、击键力度)等演奏信息。该演奏信息也可以是midi(musicalinstrumentdigitalinterface，乐器的数字化接口)消息形式。其他操作件16例如是用于进行与电子乐器100相关的设定等演奏以外的设定的操作按钮或操作旋钮等操作模块。参数值设定操作件17是主要用于对与歌唱音的属性相关的参数进行设定的操作按钮或操作旋钮等操作模块。作为该参数，例如有和声(harmonics)、亮度(brightness)、共鸣(resonance)、性别要素(genderfactor)等。和声是对在声音中包含的泛音成分的平衡进行设定的参数。亮度是对声音的明暗进行设定的参数，给出音调变化。共鸣是指对歌唱语音、乐器声的音色、强弱进行设定的参数。性别要素是指对共振峰进行设定的参数，使声音的粗细、质感进行女性化或者男性化的变化。外部存储装置3例如是与电子乐器100连接的外部设备，例如是对语音数据进行存储的装置。通信i/f22是与外部设备进行通信的通信模块。总线23进行电子乐器100中的各部之间的数据传输。

数据存储部14对歌唱用数据14a进行储存。歌唱用数据14a包含歌词文本数据、音位信息数据库等。歌词文本数据是记述歌词的数据。在歌词文本数据中，每个歌曲的歌词以音节为单位被划分而记述。即，歌词文本数据具有将歌词按照音节进行划分的字符信息，该字符信息也是与音节相对应的显示用的信息。在这里，音节是指与1次演奏操作相应地输出的音的集合体。音位信息数据库是对语音片段数据(音节信息)进行储存的数据库。语音片段数据是表示语音的波形的数据，例如作为波形数据而包含语音片段的采样序列的频谱数据。另外，语音片段数据包含表示语音片段的波形的音高的片段音高数据。歌词文本数据、语音片段数据也可以分别通过数据库进行管理。

音源19是具有多个发音通道的模块。在音源19中，在cpu10的控制下，与用户的演奏相应地分配有1个发音通道。在发出歌唱音的情况下，音源19在所分配的发音通道中，从数据存储部14读取与演奏对应的语音片段数据而生成歌唱音数据。效果电路20对由音源19生成的歌唱音数据应用通过参数值设定操作件17指定的音响效果。声音系统21利用数字/模拟变换器将由效果电路20处理后的歌唱音数据变换为模拟信号。并且，声音系统21将变换为模拟信号的歌唱音放大，从扬声器等输出。

图3是表示进行利用电子乐器100的演奏的情况下的处理的流程的一个例子的流程图。在这里，对由用户进行演奏曲的选择和选择出的歌曲的演奏的情况下的处理进行说明。另外，为了简化说明，说明即使在同时操作了多个键的情况下，也仅输出单音的情况。在该情况下，可以仅对同时操作的键的音高中的最高的音高进行处理，也可以仅对最低的音高进行处理。此外，以下进行说明的处理，例如是通过由cpu10执行在rom12、ram13中存储的程序，作为对电子乐器100所具有的各种结构进行控制的控制部而发挥功能所实现的。

如果电源接通，则cpu10等待从用户接受对要演奏的歌曲进行选择的操作(步骤s101)。此外，在经过一定时间仍没有选择曲的操作的情况下，cpu10也可以判断为选择了默认设定的歌曲。如果cpu10接受到歌曲的选择，则读取所选择的歌曲的歌唱用数据14a的歌词文本数据。并且，cpu10将光标位置设定于在歌词文本数据中记述的开头的音节处(步骤s102)。在这里，光标是指表示下一个要发音的音节的位置的虚拟的指示符。接着，cpu10判定是否检测出基于键盘部kb的操作的音符开(步骤s103)。cpu10在未检测出音符开的情况下，判断是否检测出音符关(步骤s107)。另一方面，在检测出音符开的情况下，即，检测出新的按键动作的情况下，如果正在输出音，则cpu10停止该音的输出(步骤s104)。接着，cpu10执行发出与音符开对应的歌唱音的输出音生成处理(步骤s105)。

简略说明该输出音生成处理。cpu10首先读取与光标位置相对应的音节的语音片段数据，以与音符开相对应的音高，将读取的语音片段数据所示的波形的音进行输出。具体地说，cpu10求出语音片段数据所包含的片段音高数据所表示的音高和与所操作的键相对应的音高的差分，使波形数据所表示的频谱分布以相当于该差分的频率演频率轴向移动。由此，电子乐器100能够以与所操作的键相对应的音高输出歌唱音。接下来，cpu10对光标位置(读取位置)进行更新(步骤s106)，使处理进入步骤s107。

在这里，使用具体例对步骤s105、s106的处理所涉及的光标位置的决定和歌唱音的发音进行说明。此外，在图8中也对步骤s105的输出音生成处理的详细内容进行说明。首先，对光标位置的更新进行说明。图4是表示歌词文本数据的一个例子的图。在图4的例子中，在歌词文本数据中记述有5个音节c1～c5的歌词。各字“は(ha)”、“る(ru)”、“よ(yo)”、“こ(ko)”、“い(yi)”表示日语的平假名的1个字，各字与1个音节相对应。cpu10以音节单为位对光标位置进行更新。例如，在光标位于音节c3的情况下，从数据存储部14读取与“よ(yo)”相对应的语音片段数据，发出“よ(yo)”的歌唱音。如果“よ(yo)”的发音结束，则cpu10使光标位置移动至下一个音节c4。如上所述，cpu10与音符开相应地使光标位置依次移动至下一个音节。

接下来，对歌唱音的发音进行说明。图5是表示语音片段数据的种类的一个例子的图。cpu10为了发出与光标位置相对应的音节，从音位信息数据库提取与音节相对应的语音片段数据。在语音片段数据中，存在音素链数据和正常部分数据这2种。音素链数据是指表示“从无音(#)到辅音”、“从辅音到元音”、“从元音到(下一个音节的)辅音或元音”等发音变化时的语音片段的数据。正常部分数据是表示元音的发音持续时的语音片段的数据。例如，在光标位置设定为音节c1的“は(ha)”的情况下，音源19选择与“无音→辅音h”相对应的语音链数据“#－h”、与“辅音h→元音a”相对应的语音链数据“h－a”、以及与“元音a”相对应的正常部分数据“a”。而且，如果开始演奏并检测到按键，则cpu10将基于语音链数据“#－h”、语音链数据“h－a”、正常部分数据“a”的歌唱音，按照与所操作的键相对应的音高、与操作相对应的击键力度进行输出。通过设为上述方式，执行光标位置的决定和歌唱音的发音。

在图3的步骤s107中检测到音符关的情况下，如果正在输出音，则cpu10停止该音的输出(步骤s108)，使处理进入至步骤s109。另一方面，在没有检测到音符关的情况下，cpu10使处理进入步骤s109。在步骤s109中，cpu10对演奏是否结束进行判别。而且cpu10在没有结束演奏的情况下使处理返回至步骤s103。另一方面，在结束了演奏的情况下，如果正在输出音，则cpu10停止该音的输出(步骤s110)，结束图3所示的处理。此外，cpu10能够基于例如是否已发出选择曲的最末尾的音节、或者是否通过其他操作件16进行了结束演奏的操作等，对是否结束了演奏进行判别。

图6是音素类别信息的示意图。在rom12中存储有图6所示的音素类别信息q。音素类别信息q对歌唱语音所能够包含的各音素的类别进行指定。具体地说，音素类别信息q将构成应用于语音合成处理的语音片段的各音素区分为第1类别q1和第2类别q2。在这里，根据音节，元音开始延迟量是不同的。元音开始延迟量是从音节的发音开始至该音节中的元音的发音开始为止的延迟量，也能够换言之是位于元音的紧前处的辅音的持续长度(辅音区间长度)。例如，元音本身(あ[a]、い[i]、う[m]、え[e]、お[o])是元音开始延迟量为0([]内是依照x-sampa的音素标记)。第1类别q1是元音开始延迟量相对大的音素(例如元音开始延迟量超过规定的阈值的音素)的类别，第2类别q2是元音开始延迟量与第1类别q1的音素相比较而相对小的音素(例如元音开始延迟量低于阈值的音素)的类别。例如，半元音(/w/，/y/)、鼻音(/m/，/n/)、破擦音(/ts/)、摩擦音(/s/，/f/)、拗音(/kja/，/kju/，/kjo/)等辅音被分类为第1类别q1，元音(/a/，/i/，/u/)、流音(/r/，/l/)、破裂音(/t/，/k/，/p/)等音素被分类为第2类别q2。此外，例如关于使2个元音连续的2重元音，可以采用下述处理，即，在后方的元音具有腔调(accent)的情况下被分类为第1类别q1，在前方的元音具有腔调的情况下被分类为第2类别q2。

cpu10参照音素类别信息q，对与由读取的音节信息指定的音节(在由多个音素构成的情况下为最初的音素)相符的音素类别进行确定。例如cpu10对音节的最初的音素与第1类别q1、第2类别q2、元音的哪个相符进行判定。最初的音素能够从语音片段数据中的音素链数据取得。此外，在歌唱用数据14a中，在多个音节信息各自可以关联有图6所示的音素类别信息。在该情况下，cpu10可以将与由读取的音节信息指定的音节相符的音素类别通过与该音节信息相关联的音素类别信息进行确定。

在图8也要叙述，cpu10在能够确定(提取)出音素类别的情况下，基于其音素类别而决定判定时间宽度t(例如，根据元音开始延迟量而决定)。另外，cpu10在无法确定音素类别的情况下，基于读取的音节信息所表示的音量包络的波形数据而决定判定时间宽度t。在这里，无法确定(提取)音素类别的情形，例如对应于在电子乐器100中没有存储音素类别信息q，且在读取的音节信息没有关联音素类别信息的情形。除此以外，无法确定(提取)音素类别的情形，对应于虽然存储有音素类别信息q，但与读取的音节信息相对应的音素类别没有登记于音素类别信息q，且在读取的音节信息没有关联音素类别信息的情形等。

图7是表示与对音节进行发音时的经过时间对应的音量包络的图。cpu10在无法确定音素类别的情况下，例如，基于从读取的音节信息所表示的音量包络的波形上升至达到峰值为止的时间而决定判定时间宽度t。将从波形的上升时刻t1至峰值时刻t3为止的时间设为tp。cpu10将相当于时间tp的规定比例(例如，70％)的从时刻t1至时刻t2为止的时间决定为判定时间宽度t。

图8是在图3的步骤s105中执行的输出音生成处理的流程图。首先，cpu10读取与光标位置相对应的音节的音节信息(语音片段数据)(步骤s201)。与光标位置相对应的音节为本次发音的音节。因此，cpu10从多个音节信息中，按照预先确定的顺序，取得表示进行发音的1个音节的音节信息。接下来，cpu10根据读取的音节信息对是否能够确定音素类别进行判别(步骤s202)。在这里如上所述，cpu10在与由读取的音节信息指定的音节对应的音素类别登记于音素类别信息q(图6)、或者在音节信息关联有音素类别信息的情况下，判别为能够确定音素类别。此外，由于某种状况而无法参照音素类别信息q的情况也与下述情况对应，即，与由音节信息指定的音节对应的音素类别没有登记于音素类别信息q的情况。

其判别的结果为，cpu10在能够确定音素类别的情况下确定音节信息(步骤s203)，基于确定出的音节信息而决定判定时间宽度t(步骤s204)。例如cpu10与进行发音的音节(最初的音素)的元音开始延迟量相应地决定判定时间宽度t。具体地说，cpu10在音素类别为元音时由于元音开始延迟量为0，因此将判定时间宽度t决定为0。cpu10在音素类别为第2类别q2时将判定时间宽度t决定为规定值，在音素类别为第1类别q1时，由于元音开始延迟量比较大，因此将判定时间宽度t决定为比上述规定值大的值。然后，处理进入步骤s206。

步骤s202的判别的结果为，在无法根据读取的音节信息而确定音素类别的情况下，cpu10基于根据读取的音节信息取得的波形数据而决定判定时间宽度t(步骤s205)。即，如上所述，cpu10将从音节信息所表示的音量包络的波形(图7)中的上升至达到峰值为止的时间tp的规定比例(例如，70％)决定为判定时间宽度t。此外，规定比例并不限定于例示的值。另外，判定时间宽度t只要比时间tp短即可，也可以将从时间tp减去规定的时间得到的值决定为判定时间宽度t。然后，处理进入步骤s206。

在步骤s206中，cpu10基于步骤s103中的音符开的检测定时和上述决定出的判定时间宽度t，对用于判定误触碰的判定定时进行计算。判定时间宽度t(等待时间)是为了判定误操作而设置的期间，从音符开的检测定时起经过了判定时间宽度t的时刻成为判定定时。此外，在步骤s103中检测到音符开时开始计时。在从音符开的检测定时至判定定时为止的期间进行了指定多个音高的操作的情况下，cpu10能够判定为存在误触碰。接下来，cpu10从读取的音节信息提取波形数据(步骤s207)。接下来，cpu10以与音符开相对应的音高，生成提取出的波形数据所表示的波形的音而输出。具体地说，cpu10求出在语音片段数据中包含的片段音高数据所表示的音高和与音符开相对应的音高的差分，使波形数据所表示的频谱分布以与该差分对应的频率沿频率轴向移动。由此，电子乐器100能够以与被操作的键相对应的音高输出歌唱音。

接下来，cpu10将用于对演奏信息进行累积的存储区域确保于ram13(或者也可以是数据存储部14)(步骤s209)。该存储区域是用于存储表示直至到达判定定时为止进行的演奏操作件15的演奏操作的信息(音符开、音符关)的区域。演奏操作件15的演奏操作与指定了音高的发音或者发音解除的指示相对应，cpu10与取得该指示的指示取得部相对应。接下来，cpu10将与在步骤s103中检测到的音符开相关的信息(音高和定时)存储于存储区域(步骤s210)。而且cpu10判定是否到达判定定时(步骤s211)。

其判别的结果为，在没有到达判定定时的情况下，cpu10对是否检测到新的演奏操作(音符开或者音符关)进行判别(步骤s212)。而且cpu10在没有检测到新的演奏操作的情况下，使处理返回步骤s211(步骤s212)。另外，在检测到新的演奏操作的情况下，cpu10将表示新的演奏操作的演奏信息存储于存储区域(步骤s213)，使处理返回步骤s211。因此，在每次检测到新的发音指示或者发音解除指示时，对其信息进行累积。

步骤s211的判别的结果为，在到达判定定时的情况下，cpu10使处理进入步骤s214。cpu10在步骤s214～s217中，基于在步骤s103中检测到的音符开和至到达判定定时为止检测到的音符开或者音符关，执行对单一的发音音高进行确定的处理。首先，cpu10基于在存储区域累积的演奏信息，对是否应该立即停止音的输出进行判别(步骤s214)。具体地说，cpu10没有音符开状态的(没有按下并释放操作的)键的情况下，判定为应该立即停止音的输出。在判定为应该立即停止音的输出的情况下(步骤s215：yes)，cpu10停止正在输出的音(步骤s216)，结束图8所示的处理。另一方面，在判定为不应该立即停止音的输出的情况下，cpu10基于在存储区域中存储的演奏信息，对应该输出的音高进行检测(步骤s217)。由此，对应该输出的单一的音高进行确定。

在这里，具体地说明应该输出的音高的检测。首先，在步骤s103中，是在任意音高的发音的指示都没有被维持的情况(全键为离键状态)下检测到的发音的指示(音符开)，将该音符开的音高称为“第1音高”。因此，在步骤s208中以第1音高开始歌唱音的生成。另外，考虑在对第1音高进行指定的发音的指示后，在到达判定定时前，存在对与第1音高不同的“第2音高”进行指定的发音的指示(音符开)的情况。

通常，需要订正演奏时的误触碰的模式可设想到多个。在这里，作为一个例子，对第1模式、第2模式进行说明。第1模式是试图对期望键(例如，c3)进行操作，但却对其他键(例如，d3)进行按下操作的模式。用户为了改正误触碰，可设想到将最初进行的按下操作(音符开)以短时间中止(音符关)，重新将期望键按下(音符开)。而且，用户通常在将期望键按下后将其操作维持期望的时间长度。第2模式是试图对期望键(例如，c3)进行操作，但却将相邻的键(例如，d3)和期望键同时按下操作的模式。用户为了改正误触碰，可设想到将针对最初按下的2个键的操作(音符开)中的、针对期望键的操作维持不变，仅对误操作的键进行释放操作(音符关)。

cpu10参照在存储区域中存储的演奏信息，在至到达判定定时为止检测到对与最初的音符开不同的音高进行指定的音符开的情况下，将在到达判定定时的时刻维持按键状态的键判定为期望键。而且cpu10将与判定为期望键的键相对应的音高(例如，c3)检测为应该输出的音高。除此以外，还考虑下述误触碰，即，虽然最初按下了期望键，但其后持续期望键的按下不变而一时将其他键按下并释放。在该情况下，最初的音符开的音高被检测为应该输出的音高。此外，还考虑下述情况，即，将最初按下的键释放，并且与最初的键不同的键被按下2个以上，这些2个以上的键在到达判定定时时刻成为按下状态。在该情况下，可以将成为按下状态的2个以上的键中的最后被按下的键的音高检测为应该输出的音高。

此外，在误触碰中，可想到对与期望键在空间上分离的键进行操作的情况很稀少。因此，可以将作为误触碰的判定对象的操作限定为相邻的键的操作。在该情况下，不相邻的键的操作可以作为新进行的正常的操作而处理。即，分离的键的操作可以作为在步骤s103的处理中检测到的操作而处理。另外，上述的期望键的判定方法为一个例子，cpu10可以参照演奏信息所包含的音符开、音符关、击键力度等任意的信息而对期望键进行判定。

接下来，cpu10对是否应该修正正在输出的音高进行判别(步骤s218)。具体地说，cpu10对在步骤s208中生成的音高和在步骤s217中检测到的音高是否不一致进行确认，在两者不一致的情况下，判别为应该修正正在输出的音高。而且cpu10在判别为不应该修正正在输出的音高的情况下，使图8所示的处理结束。在该情况下，不进行音高修正。另一方面，在判别为应该修正正在输出的音高的情况下，cpu10进行调整以使得将正在输出的音的音高变更(修正)为在步骤s217中检测到的音高(步骤s219)，使图8所示的处理结束。例如cpu10通过移调(pitchshift)对音高进行变更，在该移调中，以与移调的音高的差分相当的频率使波形数据所表示的频谱分布演频率轴向移动。cpu10可以例如以20音分单位等，阶段性地对音高进行变更。

如上所述，根据图8所示的处理，至到达判定定时为止，即使存在音符开也不会读取新的音节。即，不会出现下述情况：误操作的改正操作全部反映于歌词的读取而读取至意料之外的之前的歌词为止。特别地，如果概括对单一的发音音高进行确定的处理(步骤s214～s217)，则如下所述。

首先，在从对第1音高进行指示的发音的指示至到达判定定时为止的期间取得对与第1音高不同的第2音高进行指示的发音的指示、且在对该第2音高进行指示的发音的指示维持判定定时时，第2音高被检测为应该输出的音高。在该情况下，进行生成的歌唱音的发音音高从第1音高修正为第2音高(s219)。由此，在判定时间宽度t的范围内，重新操作所涉及的音高修正变得可能。针对误触碰，能够在不改变进行发音的音节(即歌词)的情况下，不消音而是以短时间修正音高，因此在听觉上，不易察觉到存在误触碰。

另一方面，在从对第1音高进行指示的发音的指示至到达判定定时为止的期间取得对与第1音高不同的第2音高进行指示的发音的指示的情况下，在到达判定定时时维持对第1音高进行指示的发音的指示且没有维持对第2音高进行指示的发音的指示时，要生成的歌唱音的发音音高不会被修正。由此，即使在判定时间宽度t的范围内进行了误操作，只要该误操作在到达判定定时前被解除，则维持原来的音高。

根据本实施方式，cpu10与取得的音节信息相应地决定判定时间宽度t，基于取得的发音或者发音解除的指示，在判定时间宽度t经过后确定单一的发音音高，基于取得的音节信息和确定出的发音音高而生成歌唱音。由此，能够在与要发音的音节相对应的期间对要生成的歌唱音的发音音高进行确定。

特别地，cpu10基于取得的音节信息所表示的音素类别而决定判定时间宽度t，或者基于取得的音节信息所表示的音量包络的波形而决定判定时间宽度t。由此，例如通过相对于音程感觉薄的音节信息而使误操作的改正机会变长，从而能够以小的不适感对正确的音高进行发音。即，对于元音或元音开始延迟量小的音节而言，用于误触碰改正的音高修正容易变得明显。另一方面，辅音区间与元音区间相比音程感较弱。因此cpu10在基于音素类别而决定判定时间宽度t的情况下，与元音开始延迟量相应地决定判定时间宽度t。即，cpu10关于元音开始延迟量大的音素，相对于元音开始延迟量小的音素而相对地将判定时间宽度t设定得长。由此，使误触碰不那么明显，关于元音开始延迟量大的音节也能够将误触碰的改正机会确保得长。

另外，在基于音节信息所表示的音量包络的波形(图7)而决定判定时间宽度t的情况下，cpu10将比从波形的上升至达到峰值为止的时间tp短的时间决定为判定时间宽度t。由此，在发音音量充分地提高前能够修正生成音高，能够使误触碰不那么明显。

另外，cpu10基于最初的音符开和至到达判定定时为止检测到的音符开或者音符关，对单一的发音音高进行确定。由此，能够通过到达判定定时前的重新操作而进行音高修正，并且能够避免由于一时的误操作而音高逐一被修正的情况。

此外，判定时间宽度t并不限定于以绝对时间进行规定。例如，也可以是与节奏相对应的相对时间。另外，在基于音素类别而决定判定时间宽度t的情况下，并不限定于第1类别q1和第2类别q2这样的2个阶段，也可以针对每个音素种类、或者针对每个音素种类组而决定不同的值的判定时间宽度t。

此外，在本实施方式中，对演奏操作件15为键盘的情况进行了说明，但演奏操作件15也可以如吉他这样将弦排列而配置的形状。另外，指定出音高的发音或者发音解除的指示并不限定于通过键这样的操作件而输入的结构。另外，演奏操作件15也可以为将键盘、弦或者音高指定用的多个按钮显示于触摸面板。例如，在通过应用上的触摸操作对音高进行指定的情况下，也可设想到音符开操作继续不变而音高变化这样的误操作。另外，演奏操作件15也可以为用于对多个不同的音高进行输入的操作接收部在空间上排列而配置的结构。另外，对处理midi形式的数据的情况进行了说明，但并不限定于此。例如，cpu10可以对传声器输入等的语音数据进行解析，提取发音的定时、音高，由此取得发音或者发音解除的指示。因此，对本发明的歌唱音生成装置进行应用的装置并不限定于键盘乐器。

另外，在本实施方式中，作为歌唱的歌词而例示出日语的歌词，但并不限定于此，也可以是其他语言。1个字符和1个音节不是必须对应的。例如，具有浊音点的“だ”(da)是“た”(ta)和“"”这2个字符与1个音节相对应。另外，例如在英语的歌词为“september”的情况下，成为“sep”、“tem”、“ber这3个音节。“sep”为1个音节，但“s”、“e”、“p”这3个字符与1个音节相对应。cpu10在用户每次对演奏操作件15进行操作时，将各音节以与被操作的键的音高依次发音。

以上，将本发明基于其优选的实施方式而进行了详述，但本发明并不限定于这些特定的实施方式，不脱离本发明的主旨的范围的各种方式也包含于本发明。

此外，也可以通过使本乐器读取存储有由用于实现本发明的软件表示的控制程序的存储介质，从而实现相同的效果，在该情况下，从存储介质读取的程序代码本身实现本发明的新功能，存储有该程序代码的非易失性的计算机可读取的记录介质构成本发明。另外，也可以将程序代码经由传送介质等进行供给，在该情况下，程序代码本身构成本发明。此外，作为上述情况的存储介质，除了rom以外，还能够使用软盘、硬盘、光盘、光磁盘、cd－rom、cd－r、磁带、非易失性的存储器卡等。“非易失性的计算机可读取的记录介质”是指如成为经由互联网等网络、电话线路等通信线路而发送出程序的情况下的服务器或客户端的计算机系统内部的易失性存储器(例如dram(dynamicrandomaccessmemory))那样，包含以一定时间保存有程序的介质。

标号的说明

10cpu(音节取得部、决定部、指示取得部、确定部、生成部)

100电子乐器