运指显示装置以及存储介质的制作方法

本发明涉及键盘乐器的演奏练习用的运指显示，涉及根据由多个音调构成的演奏信息和与各音调对应的手指编号信息、在音调再生时描绘演奏乐器的运指动态画面并在画面上显示的运指显示装置以及用于该运指显示装置的运指显示程序。

背景技术：

提出有一种演奏动作显示装置，其中，在对电子钢琴等键盘乐器进行演奏练习时，通过与所操作的键盘显示重叠地显示由手背和各手指构成的运指图像，从而向练习者指示按压键盘、或离开键盘的运指方法。

例如，在专利文献1中公开了为了容易理解运指方法运指而使手的移动连续地转移的运指动态画面生成技术，在单音的情况和和弦的情况下进行条件区分，以确定各个手指的形状和手背的位置。

即，专利文献1中记载了如下运指显示装置，其中，将多种操作运指图像数据和多种经过运指图像数据存储在rom中，从rom中选择并读出操作运指图像数据，将其提供给显示装置进行显示，并且，从rom中选择并读出经过运指图像数据，将其提供给显示装置进行显示，由此来进行与乐曲的进行对应的细致的演奏引导，该操作运指图像数据与表示作为音符接通处理的键的操作开始的运指对应，该经过运指图像数据与表示至在音符断开处理的接下来要按压的键的操作开始为止的经过的运指相对应。

此外，作为能够描绘符合键盘尺寸或键盘在画面显示上的大小的手形的运指显示方法，申请人提出了专利文献2所示的方法。

专利文献1：日本特许第3521838号公报

专利文献2：日本特许第4070100号公报

然而，在专利文献1所公开的运指显示装置中的运指显示的方法中，根据乐曲中的音调的排列，存在操作键盘时的手的移动和运指动态画面不符的情况。

例如，在交替地用左手的拇指弹奏“do”键、并用小指弹奏低八度的“do”键的颤音演奏、或伴奏等用左手弹奏分散和弦那样的演奏中，在弹奏各个单音时产生上述问题。

即，在针对每个单音来确定手指的形状或手背的位置的现有的方法中，每个按键的手的移动距离变大，从而生成不自然且没有效率的运指动态画面。

例如，在左手的乐谱为图10(音符上显示的数字表示按键的手指。1为拇指，5为小指。)的情况下，如图11所示，存在显示出手指相对于每个按键向左右大幅移动从而下一次按键操作容易延迟的运指图像的问题。

但是，在实际演奏中，通常，尽可能不使手背移动，与弹奏和弦时同样地，将手指大大张开来弹奏单音应该能够更轻松地弹奏，而且熟练者也会那样弹奏。

不限于上述示例(交替弹奏相隔1个八度左右的音调的示例)，在从和弦转移到单音、从单音转移到和弦、从和弦转移到和弦的情况下也希望除了容易进行按键之外，还容易进行下一次按键，而且手背的移动距离尽可能小，但是用现有的运指显示的方法无法很好地解决这个问题的情况很多。

此外，在专利文献1所公开的运指显示装置中的运指显示的方法中存在如下问题：在从离键起至下一次按键的时间长至一定程度时，生成在该期间连续转变的运指动态画面，因此变成像在慢动作中手指一点一点地张开的手在较长的区间中缓慢移动的不自然的动态画面。

此外，根据专利文献1所公开的运指显示装置，能够向练习者直观地指示在哪个时刻用哪一个手指弹奏哪个键，另一方面，作为在音乐演奏中重要要素的音量，无法利用运指动态画面直观地进行指示。

此外，在专利文献1的运指显示装置中，在左手和右手接近或交叉而双手重叠的情况下，多发生有一只手遮挡住作为另一只手所需的信息的手指前端附近的现象。没有考虑在这样的情况下如何对各个手赋予优先顺序以及如何进行描绘。

技术实现要素：

本发明是鉴于上述情况而提出的，其目的在于提供运指显示装置以及运指显示程序，通过尽可能减少手背的移动距离，从而能够描绘接近实际的键盘操作的运指动态画面。

此外，本发明的目的在于提供一种运指显示程序，其中，在生成运指动态画面时，即使在从离键起到下一次按键的时间较长的情况下，也能够通过消除运指动态画面缓慢地移动的不自然移动，描绘出接近实际键盘操作的运指动态画面。

此外，本发明的目的在于提供运指显示装置以及运指显示程序，在进行键盘乐器的运指显示时，对于按键时的音量，也可以利用运指动态画面来直观地示出。

此外，本发明的目的在于提供一种运指显示程序，在进行键盘乐器的运指显示时，即使在左手和右手接近或交叉而双手重叠的情况下，也能够对练习者(演奏者)可靠地指示所需的信息。

(技术方案1)

为了实现上述目的，本发明是一种程序，所述程序根据包含乐曲的各音调以及与该乐曲的各音调对应的手指编号的演奏信息，在乐曲再生时描绘演奏乐器的运指动态画面，并在画面上进行运指显示，其特征在于，

在基于与所述乐曲再生时的再生时刻(t)对应的运指位置信息(pm)生成运指图像时，

至少基于包含所述再生时刻(t)之前的时刻和所述再生时刻(t)之后的时刻在内的单个按键信息、以及由多个不同的时刻的各按键信息合成后的合成按键信息生成所述运指位置信息(pm)。

(技术方案10)

此外，本发明是一种程序，所述程序根据包含乐曲的各音调以及与该乐曲的各音调对应的手指编号的演奏信息，在乐曲再生时描绘演奏乐器的运指动态画面，并在画面上进行运指显示，其特征在于，使计算机执行如下功能：

在基于与所述乐曲再生时的再生时刻(t)对应的运指位置信息(pm)生成运指描绘时，生成：

时刻(t2)，由于在所述再生时刻(t)是从按键向离键变化的离键时，因此该时刻(t2)是再生时刻(t)之后的最近的按键时刻；

时刻(t1)，该时刻(t1)是即将变化成所述时刻(t2)的按键信息的时刻；以及

运指位置信息(pm)，其中，在从所述时刻(t1)到所述时刻(t2)的时间比期望时间长的情况下，所述再生时刻(t)使得在从所述时刻(t1)起经过规定时间的期间内完成向与所述时刻(t2)的按键信息对应的运指位置的转移。

(技术方案17)

此外，本发明是一种程序，所述程序根据乐曲的按键信息，在乐曲再生时描绘演奏键盘乐器的运指动态画面并在画面上进行运指显示，其特征在于，使计算机执行如下功能：

在基于与所述乐曲再生时的再生时刻对应的运指位置信息生成运指描绘时，

创建所述再生时刻下的、按键时的按键时运指图像、和即将进行所述按键的离键时的离键时运指图像、以及暗色系的运指影图像，

使所述按键时运指图像和所述运指影图像同时显示、或者使所述离键时运指图像和所述运指影图像同时显示，并且，

针对所述运指影图像，将所述离键时运指图像显示成，随着下一次按键时的音量变大，所述离键时运指图像的偏移量变大。

(技术方案27)

此外，本发明是一种程序，所述程序根据乐曲的按键信息，在乐曲再生时描绘演奏乐器的运指动态画面并在画面上进行运指显示，其特征在于，使计算机执行如下功能：

在基于与所述乐曲再生时的再生时刻对应的运指位置信息生成左手和右手的运指图像时，

在左手和右手的运指图像重叠的情况下，在前面描绘与作为当前再生位置上的按键对象的音调中的、发音开始时刻最迟的音调对应的手，并且，

在当前再生位置上不存在作为按键对象的音调从而哪一只手都没有按键时，在前面描绘包含下一次按键的手指的手。

发明效果

根据本发明，在基于与乐曲再生时的再生时刻(t)对应的运指位置信息(pm)生成运指描绘时，基于由包含所述再生时刻(t)之前的时刻以及所述再生时刻(t)之后的时刻在内的多个不同的时刻的各个按键信息(再生时刻以前的时刻的运指位置信息ps、再生时刻之后的时刻的运指位置信息pe)合成后的合成按键信息生成运指位置信息(pm)，因此，通过使运指位置信息(pm)包含手背或手指进行移动前后的手指位置信息，能够尽可能减少手背的移动距离，从而能够描绘接近实际的键盘操作的运指动态画面。

此外，根据本发明，设定时刻(t2)和时刻(t1)，对从时刻(t1)直到所述时刻(t2)的时间是否比期望时间长进行检测，然后判断从时刻(t1)离键起的经过时间，由此能够将运指图像生成为，使得在该时间内，尽可能在到达在下一次按键时刻之前完成手的移动，由于在再生时刻(t)是从按键向离键变化的离键时，因此该时刻(t2)是再生时刻(t)之后的最近的按键时刻，另外，该时刻t1是即将变化为时刻(t2)的按键信息的时刻(t1)。

此外，根据本发明，在基于与乐曲再生时的再生时刻对应的运指位置信息生成运指描绘时，对于运指影图像，使离键时运指图像与下一次按键的音量和到进行按键为止的剩余时间对应地偏移显示，从而按键的情况下的音量也能够利用运指动态画面直观地指示。

此外，根据本发明，在左手和右手的运指图像重叠的情况下，在前面描绘与作为当前再生位置上的按键对象的音调中的、发音开始时刻最迟的音调对应的手，并且，在当前再生位置上不存在作为按键对象的音调从而哪一只手都没有按键时，在前面描绘包含下一次按键的手指的手，由此能够在前面切实地显示最后应按键的信息(手的形状、手背的位置、应按键的手指、按压的键的位置)。

在左手和右手的运指图像重叠的情况下，当左手和右手同时进行按键时，通过将难度大的一方的手描绘在前面，能够使对练习者来说更重要的难易度较高的手的手指的信息优先。

在左手和右手的运指图像重叠的情况下，通过以使在前面显示的手的透射率小于另一只手的透射率的方式进行描绘，容易观察前面的运指图像，并且还能够同时确认后面的手的运指图像。

附图说明

图1是示出本发明的运指显示装置的结构的功能框图。

图2是在运指显示装置的显示部上显示的乐谱、键盘、运指图像的显示例。

图3是用于说明键的按键时刻和离键时刻的时序图。

图4是本发明的运指显示程序中的运指描绘生成的流程图。

图5是本发明的运指显示程序中的运指位置信息生成的流程图。

图6是示出乐谱例的图。

图7是显示与图6的乐谱对应的按键信息的钢琴条形窗口。

图8是示出针对再生时刻(当前)考虑到起点和终点的按键盘信息而生成的运指图像的对应图(状态a～状态j)。

图9是示出针对再生时刻(当前)考虑到起点和终点的按键盘信息而生成的运指图像的对应图(状态k～状态u)。

图10是示出乐谱例的图。

图11是示出针对图10的乐谱的、基于现有技术的运指显示的示例的说明图。

图12是示出针对图10的乐谱的、基于本发明的运指显示的示例的说明图。

图13是示出乐谱例的图。

图14是示出针对图13的乐谱的、基于现有技术的运指显示的示例的说明图。

图15是示出针对图13的乐谱的、基于本发明的运指显示的示例的说明图。

图16是针对乐谱和键盘而描绘的运指图像的显示例(现有方法)。

图17a是针对乐谱和键盘而描绘的、先行移动的运指图像的显示例(本发明方法)。

图17b是针对乐谱和键盘而描绘的、先行移动的运指图像的显示例(本发明方法)。

图18是示出对单音进行按键时的离键时的带偏移图像运指图像和按键时的带偏移图像运指图像的图像图。

图19是示出用于生成图18的带偏移图像运指图像的离键时运指图像(图像a)、按键时运指图像(图像b)、运指影图像(图像c)的图像图。

图20是示出对和弦进行按键时的离键时的带偏移图像运指图像和按键时的带偏移图像运指图像的图像图。

图21是示出用于生成图20的带偏移图像运指图像的离键时运指图像(图像a)、按键时运指图像(图像b)、运指影图像(图像c)的图像图。

图22是显示左右双手的运指图像时的图像图。

图23a是示出用左右双手对和弦进行按键(弱琴键压下)时的运指图像的图。

图23b是示出用左右双手对和弦进行按键(强琴键压下)时的运指图像的图。

图24是本发明的运指显示程序中的带偏移图像运指图像生成的流程图。

图25是具有左手和右手交替弹奏之处的乐谱例。

图26a是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26b是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26c是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26d是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26e是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26f是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26g是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图26h是在时间序列上示出与图25的乐谱对应地显示的运指图像例的图像图。

图27是具有对左手和右手同时进行按键之处的乐谱例。

图28a是在时间序列上示出与图27的乐谱对应地显示的运指图像例的图像图。

图28b是在时间序列上示出与图27的乐谱对应地显示的运指图像例的图像图。

图28c是在时间序列上示出与图27的乐谱对应地显示的运指图像例的图像图。

图28d是在时间序列上示出与图27的乐谱对应地显示的运指图像例的图像图。

图28e是在时间序列上示出与图27的乐谱对应地显示的运指图像例的图像图。

图29是用于生成本发明的运指显示程序中的左手和右手(双手)的运指图像的流程图。

标号说明

11:音调/手指编号信息存储部；

12：按键信息生成部；

13：按键信息存储部；

14：运指位置信息生成部；

15：运指图像生成部；

16：乐谱图像生成部；

17：图像信息存储部；

18：显示装置；

21：再生信息生成部；

22：再生信息存储部；

23：声音生成部；

24：声音再生部；

25：声音输出装置；

t1：与即将进行再生时刻t之前的最近的离键的时刻对应的时刻(离键时刻的规定时间之前的时刻等)；

t2：在再生时刻t是离键时，该t2是t之后的最近的按键时刻、在再生时刻t是按键时，该t2是t之前的最近的按键时刻；

t3：t2之后最近的离键时刻(与在t2按键之后进行的离键的时刻对应的时刻)；

t4：t2之后最近的按键时刻(t2按键之后进行按键的时刻)；

fk1：时刻t1的按键信息(各手指的按键标志、键编号)；

fk2：时刻t2的按键信息(各手指的按键标志、键编号)；

fk4：时刻t4的按键信息(各手指的按键标志、键编号)；

fk12：将按键信息fk1和按键信息fk2合成后的按键信息(各手指的按键标志、键编号)；

fk24：将按键信息fk2和按键信息fk4合成后的按键信息(各手指的按键标志、键编号)；

ps：运指的起点时的运指位置信息(各手指的根部坐标和前端坐标、手背的中心坐标)；

pe：运指的终点时的运指位置信息(各手指的根部坐标和前端坐标、手背的中心坐标)；

pm：再生时刻t的运指位置信息(各手指的根部坐标和前端坐标、手背的中心坐标)；

a：离键时运指图像；

b：按键时运指图像；

c：运指影图像；

p：按键中标记；

q：按键准备标记；

x：带偏移图像运指图像。

具体实施方式

以下，参照附图对本发明的运指显示装置进行说明。

运指显示装置通过对具有cpu、rom、ram、硬盘等的公知的平板型终端安装运指显示程序的方式构筑，以执行乐谱数据显示以及与其对应的运指显示。平板型终端具备：显示部，其能够显示乐谱和键盘；触摸面板，其具有供触摸操作输入的输入部；以及扬声器等声音输出装置，其使声音再生。在显示部中，与键盘一起显示基于手形的运指图像，从而用户能够利用所显示的运指图像用键盘乐器等进行运指的练习。

运指显示装置的cpu依照所安装的规定的控制程序(运指显示程序)执行各种处理，进行运指显示装置整体的控制。

此外，可以经由midi接口将midi设备与平板型终端连接。演奏数据或运指描绘数据可以存储在平板型终端内的rom中、可以经由midi接口从外部提供或由记录介质从外部提供。

作为运指显示装置的使用例，例如，与数字钢琴连接，显示记录在装置中的乐谱数据，并且将与该乐谱数据对应的演奏数据发送到数字钢琴侧，从而使数字钢琴的音源发声而进行演示演奏。此外，用户一边观看显示在运指显示装置上的乐谱一边演奏数字钢琴，将该演奏结果输入到装置侧，通过与在装置侧显示的乐谱数据对应的范本演奏数据进行比较，由此来确认(评价)用户的演奏状态。

参照图1的功能框图对为了对平板型终端执行根据本发明的处理、而安装例如保存在记录介质中的运指显示程序所构筑的运指显示装置进行说明。

运指显示装置具备：音调/手指编号信息存储部11，其与用于进行演奏的音调信息或各音调对应地存储有用于进行运指显示的手指编号信息；按键信息生成部12，其根据音调/手指编号信息生成按键信息；按键信息存储部13，其存储按键信息；运指位置信息生成部14，其根据按键信息生成运指位置信息；以及运指图像生成部15，其根据运指位置信息生成运指图像。

此外，具备乐谱图像生成部16，该乐谱图像生成部16根据包含在运指信息中的乐谱信息生成乐谱图像，由运指图像生成部15和乐谱图像生成部16所生成的图像存储在图像信息存储部17中，在显示器等显示装置18上显示。

此外，运指显示装置具备：再生信息生成部21，其根据存储在音调/手指编号信息存储部11中的音调信息使乐曲再生；再生信息存储部22，其存储再生信息；声音生成部23，其根据再生信息生成声音；声音再生部24，其将声音转换为模拟信号；以及放大器、扬声器等声音输出装置25。

在音调/手指编号信息存储部11中存储有构成乐谱的音调、以及与音调对应的手指编号等乐曲再生以及运指描绘起码所需要的信息。

按键信息生成部12根据存储在音调/手指编号信息存储部11中的信息，生成从乐曲的开头到末尾的任意时刻的按键信息。作为按键信息，创建了对象时刻、以及针对该时刻的处于按键中的各音调进行弹奏的手和手指编号、音量、音调编号、是否有特殊的运指方法标志。特殊的运指方法是指换指包含演奏方法中的换指、潜指、跨指。

在按键信息生成部12中创建的按键信息存储在按键信息存储部13中。

在存储在按键信息存储部13中的按键信息包含特殊的运指方法的情况下，设运指显示需要特殊的运指方法，由特殊运指信息生成部31根据在按键信息生成部12中生成的按键信息生成特殊运指信息，并将其存储在特殊运指信息存储部32中。运指显示是否包含特殊的运指方法是根据在按键信息生成部12中生成的按键信息来判断的。

运指位置信息生成部14根据存储在按键信息存储部13中的信息生成再生时刻(从乐曲的开头起的当前再生位置的时刻)t的运指位置信息pm。该运指位置信息pm是基于将包含再生时刻t以前的时刻和再生时刻t之后的时刻的单个按键信息、以及合成按键信息而生成的，该合成按键信息是由多个不同的时刻的各个按键信息(再生时刻t以前的时刻的运指位置信息ps、以及再生时刻t之后的时刻的运指位置信息pe)合成得到的。对于基于运指位置信息ps和运指位置信息pe的、运指位置信息pm的具体的生成步骤，在后文中叙述。

运指位置信息pm为用于描绘运指图像中的手形和手指形状的信息。作为运指位置信息，包含手背中心的位置数据、5根手指的各根部的位置数据、手腕根部两点(拇指侧、小指侧)的位置数据、以及各手指前端的位置数据。然后，通过提供这些信息，可以描绘运指图像。此外，为了确定相对于键的手形的各部位置，可以提供表示所述位置数据和键之间的位置关系的数据。

根据运指位置信息得到运指图像的方法例如包含上述专利文献1(日本特许第3521838号)、专利文献2(日本特许第4070100号)所示的公知的方法。

运指图像生成部15根据在运指位置信息生成部14中创建的信息生成再生时刻t的运指图像。根据与运指位置信息对应的手的形状以及手指位置坐标的相关信息创建运指图像。

此外，乐谱图像生成部16根据存储在音调/手指编号信息存储部11中的信息生成乐谱图像。

在运指图像生成部15中创建的运指图像、以及在乐谱图像生成部16中创建的乐谱图像作为图像信息存储在图像信息存储部17中。

在显示装置18中显示存储在图像信息存储部17中的图像信息。

即，根据与乐谱的音调对应的按键信息，在乐曲再生时，在画面上以运指的方式显示演奏乐器的运指动态画面。作为具体的图像显示，如图2所示，在上部显示乐谱，在其下部显示键盘以及用双手演奏乐谱的各音调的运指图像。在乐谱部分，根据演奏的进行移动五线部分而显示与再生时刻t对应的条，运指图像描绘出再生时刻的按键状态。被按压的键的颜色发生变化(在图2中用斜线表示)。

此外，也可以显示钢琴条形窗口那样的演奏信息来代替乐谱。

再生信息生成部21根据存储在音调/手指编号信息存储部11中的信息生成音调的再生信息。创建各音调的发音开始时刻和发音结束时刻、音量、音调编号的midi信息作为再生信息。

在再生信息生成部21中所创建的再生信息存储在再生信息存储部22中。

在声音生成部23中，根据再生信息生成由模拟信号构成的声音信息。

在声音再生部24中再生与声音信息对应的模拟信号。此外，在按键信息生成部12的按键信息的生成中，输入来自声音再生部24的时间信息，以生成与乐曲的再生时刻对应的按键信息。

在声音输出装置25中，通过经由放大器和扬声器输出作为声音信息的模拟信号而使声音再生。

接下来，参照图3的针对键盘的时序图、图4和图5的流程图，对基于上述运指显示程序的运指描绘的创建处理步骤进行说明。

在运指显示装置中，利用所存储的运指显示程序，基于按键信息生成运指位置信息，基于运指位置信息生成运指图像并描绘在显示部上。

在本发明的运指显示程序中，进行控制以减少手背在键盘宽度方向上的移动，从而描绘接近实际的键盘操作的运指动态画面。因此，在相对于乐曲再生时的再生时刻t、键盘的按键时刻和离键时刻例如是如图3所示的情况下，在基于与再生时刻t对应的运指位置信息pm生成运指图像时，基于包含再生时刻t以前的时刻和再生时刻t之后的时刻的单个按键信息、以及由多个不同的时刻的各个按键信息合成得到的合成按键信息生成所述运指位置信息pm。

运指位置信息pm由再生时刻t的运指位置信息(各手指的根部和前端坐标、手背的中心坐标)构成。

运指位置信息pm例如是根据起点时刻的运指位置信息ps和终点时刻的运指位置信息pe进行插值而算出的。在再生时刻为离键时的情况下，起点时刻为即将进行图3中的再生时刻以前的最近的离键的按键时刻t1，终点时刻为再生时刻之后的最近一次按键的按键时刻t2。与此相反，在再生时刻为按键时的情况下，起点时刻t1和终点时刻t2都与再生时刻t相同，无需插值。

接下来，在运指位置信息生成部14和运指图像生成部15中，生成起点时刻的运指位置信息ps和终点时刻的运指位置信息pe，参照图4的运指描绘流程图和图5的运指位置信息生成流程图，对根据这些起点时刻的运指位置信息ps和终点时刻的运指位置信息pe得到运指位置信息pm并创建运指图像的步骤进行说明。

运指图像的创建是根据需要而考虑以图3的时刻t(再生时刻：从作为乐曲再生位置的乐曲的开头起的当前再生位置的时刻)为中心的最近的t1、t2、t3、t4各时刻的按键信息等生成的。

t1是与即将进行t之前的最近一次离键的时刻对应的时刻。也可以是离键时刻的规定时间之前的时刻。这是因为，在从离键时刻到下一次按键时刻的时间较短的情况下，瞬间就会切换到下一次运指显示，因此，通过设为规定时间前的时刻而使运指显示平滑地过渡。

在t是离键时，t2是t之后最近一次按键的按键时刻，在t是按键时，t2是t之前的最近一次的按键时刻。

t3是t2之后最近一次离键的离键时刻(与t2按键的下一次离键的时刻对应的时刻、例如离键时刻的规定时间之前的时刻)。

t4是t2之后最近一次按键的按键时刻(t2按键的下一次按键的时刻)。

在图3所示的键(方形部分)的按键和离键状态的情况下，t1、t2、t3、t4对应于键的接通(按键)断开(离键)而处于箭头所示的位置(时刻)。

另外，关于离键时间，如前所述，为了尽可能使运指的过渡平滑，使其与实际离键时的规定时间之前的时间对应。

在运指显示装置中存储有与各手指和手背的形状相关的信息fi，该信息fi包含手背相对于键盘宽度的相对长度、各手指自手背起的相对位置(步骤51)。

以再生时刻(乐曲再生位置)t为基准，根据针对乐谱的按键信息和离键信息对最近的t1、t2、t3、t4进行扫描并读出(步骤52)。

生成与各t1、t2、t4对应的单独按键信息fk1、fk2、fk4(步骤53)。

fk1是时刻t1的按键信息(各手指的按键标志、键编号)。

fk2是时刻t2的按键信息(各手指的按键标志、键编号)。

fk4是时刻t4的按键信息(各手指的按键标志、键编号)。

分别生成将fk1(时刻t1的按键信息)和fk2(时刻t2的按键信息)合成而得到的合成按键信息fk12、以及将fk2(时刻t2的按键信息)和fk4(时刻t4的按键信息)合成而得到的合成按键信息fk24(步骤54)。

判断乐曲再生位置是否在最初的按键之前(是否为t1无效且t＜t2)(步骤55)。

在乐曲再生位置在最初的按键之前的情况下，根据fk1(时刻t1的按键信息)和fi来设定运指信息ps(运指的起点坐标的创建)(步骤56)，判断乐曲再生位置是否在最初的按键的规定时间以上之前(是否为t1无效且t＜t2-tmin)(步骤57)。tmin是用于判断是否在按键的规定时间以上之前的时间，在本例中被设定为预先确定的“96”(四分音符的长度的增量时间)。

在乐曲再生位置在最初的按键的规定时间以上之前的情况下，将fk1(时刻t1的按键信息)作为运指信息pe(运指的终点坐标的创建)(步骤58)。

运指信息ps是运指的起点时刻的运指位置信息(各手指的根部坐标/前端坐标以及手背的中心坐标)。

运指信息pe是运指的终点时刻的运指位置信息(各手指的根部坐标/前端坐标以及手背的中心坐标)。

在步骤57中，在再生时刻t不在按键的规定时间以上之前的情况下，用fk24来判断是否能够生成运指信息pe(步骤59)。这是通过是否能够合成fk2和fk4的各按键信息来判断的，在合成按键信息中的各手指的按键位置在预先确定的范围以上的情况下，判断为不能合成。然后，在能够合成fk2和fk4的各运指信息的情况下，根据fk24的按键信息生成运指信息pe(步骤60)。在不能合成的情况下，根据fk2的按键信息生成运指信息pe(步骤61)。fk24为将按键信息fk2和fk4合成后的按键信息(各手指的按键标志、键编号)；

分别生成作为运指起点的特殊运指方法信息(是否是换指、潜指、跨指的各标志)的hfs、以及作为运指终点的特殊运指方法信息(是否是换指、潜指、跨指的各标志)的hfe(步骤62)。

接着，判定再生时刻t是否处于按键过程中(步骤63)。

在处于按键过程中的情况下，运指起点的按键信息ps和运指终点的按键信息pe为相同的值。

在再生时刻t处于按键中的情况下，判定从t3(t2之后最近一次的离键时刻)到t4(t2之后最近一次的按键时刻)的时间是否比作为预先设定的阈值时间的tmin短(步骤64)。tmin是应该合成fk2和fk4的允许时间的阈值，在本例中被设定为预先确定的“96”。

在从t3到t4的时间比阈值时间tmin短的情况下，判定是否能够基于fk24(合成按键信息)和fi生成运指位置信息ps(运指位置信息pe)(步骤65)。

当在步骤65中判定为能够生成时，基于fk24(合成按键信息)和fi生成运指信息ps/pe(步骤66)。

接着，使用在步骤62中生成的特殊运指方法信息hfs/hfe，对起点时的运指信息(起点坐标)ps和终点时的运指信息(终点坐标)pe进行校正(步骤67)。

在步骤64中从t3到t4的时间比阈值时间tmin长的情况下，判断为无需考虑之后的时刻的按键信息，根据fk2(时刻t2的按键信息)和fi生成起点时的运指信息ps(终点时的运指位置信息pe)(步骤68)。此外，在步骤65中判定为不能生成的情况下，也判断为所合成的手指的按键位置处于分离，根据fk2(时刻t2的按键信息)和fi生成起点时的运指位置信息ps(终点时的运指位置信息pe)(步骤68)。然后，根据特殊运指方法信息hfs/hfe对起点时的运指位置信息ps和终点时的运指位置信息pe的各坐标进行校正(步骤67)。

在各个步骤中生成运指信息ps或pe的情况下，在图1所示的运指显示装置的运指位置信息生成部14中创建运指位置信息，该情况下，按照图5的流程图所示的步骤进行。

首先，计算按键指坐标(步骤41)。

接下来，判断按键中的各手指的x坐标的距离是否在最大手指间隔的允许值以内(步骤42)。

在按键指的各手指间隔在允许值以内的情况下，计算离键中的各手指的坐标(步骤43)，计算手背的中心坐标(步骤44)，判断各按键指的y坐标(键盘的进深方向)是否在与各按键指对应的键的区域内(步骤45)。

如果各按键指的y坐标在键区域外，则使全部坐标相对地移动如下距离，并确定运指位置信息，该距离使全部按键指的y坐标收敛于键区域内且最大限度地处于键盘的近前方向(步骤46)。

此外，在步骤43中，在手指间隔超过允许值的情况下，不会得到运指位置信息，并返回。

返回到图4的流程图，在步骤63中，在再生时刻t不是按键中的情况下，判定是否为t4无效且t在t2以上(没有下一次按键)(步骤70)。

在没有发现t4(t2之后最近的按键时刻)(没有下一次按键)的情况下，根据fk1(时刻t1的按键信息)和fi生成运指的起点坐标ps(＝终点坐标pe)(步骤71)，根据特殊运指方法信息hfs/hfe对起点坐标ps和终点坐标pe进行校正(步骤67)。

在步骤70中发现t4(t2之后最近的按键时刻)(存在下一次按键)的情况下，判定从t1{与t之前的最近的离键时刻对应的时刻(离键时刻的规定时间之前的时刻等)}到t2(在t为离键时，t之后最近的按键时刻、在t为按键时，t之前的最近的按键时刻)的时间是否比作为预先设定的阈值时间的tmin短(步骤72)。tmin是应该合成fk1和fk2的允许时间的阈值，在本例中被设定为预先确定的“96”。

在从t1到t2的时间比阈值时间tmin短的情况下，判定是否能够基于fk12{将按键信息fk1和fk2合成后的按键信息(各手指的按键标志、键编号)}和fi来生成运指信息ps(运指的起点时的运指位置信息)(步骤73)。

在能够生成的情况下，根据fk12和fi生成运指的起点时的运指位置信息ps(步骤74)。

在步骤72中从t1到t2的时间比预先设定的阈值时间tmin长的情况下，判定从t1到t(再生时刻)的时间是否比预先设定的阈值时间tmin短(步骤75)。

即，在步骤72中，在从t1直到t2的时间比期望时间长的情况下，显示先行移动的运指图像，在步骤75中为“是”的情况下，运指图像处于先行移动中，在步骤75中为“否”的情况下，使先行移动结束，成为下一次按键等待状态。

在步骤73中判断为不能生成运指信息ps(起点时的运指位置信息)的情况下、或者在步骤75中从t1到t的时间比预先设定的阈值时间tmin长的情况下，根据fk1(时刻t1的按键信息)和fi生成运指的起点坐标ps(步骤76)。

在步骤74或步骤76中生成了运指的起点坐标ps的情况下，判定从t3{t2之后最近的离键时刻(与t2按键之后的下一次离键的时刻对应的时刻)}到{t2之后最近的按键时刻(t2按键之后的下一次按键的时刻)}的时间是否比预先设定的阈值时间tmin短(步骤77)。tmin是应该合成fk2和fk4的允许时间的阈值，在本例中被设定为预先确定的“96”。

在步骤77中从t3到t4的时间比阈值时间tmin短的情况下，判定是否能够基于fk24{将按键信息fk2和fk4合成后的按键信息(各手指的按键标志、键编号)}和fi判定生成运指信息pe(终点时的运指位置信息)(步骤78)。

在能够生成的情况下，根据fk24和fi生成终点时的运指位置信息pe(步骤79)，根据特殊运指方法信息hfs/hfe对起点时的运指位置信息ps和终点时的运指位置信息pe的各坐标进行校正(步骤67)。

在步骤77中从t3到t4的时间比阈值时间tmin长的情况下、或者在步骤78中判定为不能生成运指信息pe的情况下，根据fk2和fi生成终点时的运指位置信息pe(步骤80)，根据特殊运指方法信息hfs/hfe对起点时的运指位置信息ps和终点时的运指位置信息pe的各坐标进行校正(步骤67)。

此外，在步骤75中从t1到t的时间比阈值时间tmin长的情况下，判断是否能够根据fk24生成运指位置信息pe(步骤82)，在能够的情况下，根据fk24生成运指位置信息ps和pe(步骤83)，在不能的情况下，根据fk2生成运指位置信息ps和pe(步骤84)。该情况下，由于处于按键等待状态，因此运指信息ps和运指信息pe相同。

然后，根据特殊运指方法信息hfs/hfe对起点时的运指位置信息ps和终点时的运指位置信息pe的各坐标进行校正(步骤67)。

在步骤67中进行了运指位置信息ps的起点坐标和运指位置信息pe的终点坐标的校正之后，根据起点坐标ps(psx，psy)和终点坐标pe(pex，pey)生成再生时刻t的移动插值坐标pm(pmx，pmy)(步骤90)。

运指位置信息pm由再生时刻t的运指位置信息(各手指的根部和前端坐标、手背的中心坐标)构成。

在步骤57、步骤59、步骤60中生成了终点坐标pe的情况下，由于并不是基于将多个不同时刻的按键信息合成后的合成按键信息生成的，因此在无需换指、潜指、跨指的校正的前提下，根据起点坐标ps(psx，psy)和终点坐标pe(pex，pey)生成再生时刻t的移动插值坐标pm(pmx，pmy)(步骤90)。

在设起点时刻ts、终点时刻te、当前时刻为t的情况下，通过下式(1)(2)计算移动插值坐标pm的x坐标(pmx)和y坐标(pmy)。

pmx＝psx+(pex-psx)×(t-ts)÷(te-ts)(1)

pmy＝psy+(pey-psy)×(t-ts)÷(te-ts)(2)

接下来，根据在步骤90中生成的移动插值坐标pm生成描绘信息(步骤91)。

接着，利用在步骤91中生成的描绘信息描绘运指图像(步骤92)，结束运指描绘的处理。

在上述流程图中，对于步骤56、步骤64和步骤77中的作为应该合成fk2和fk4的允许时间的阈值的tmin、和在步骤72和步骤75中的作为应该合成fk1和fk2的允许时间的阈值的tmin，全部设定为相同的时间间隔“96”，但是也可以分别设定为独自的时间间隔。将tmin设为增量时间而非实际时间是因为，在节拍快的情况下为短时间，而在节拍慢的情况下为长时间。

接着，参照图6～9对与具体的乐谱对应地生成的运指图像的示例进行说明。

图6是示出乐曲“致爱丽丝”的第1小节到第7小节的乐谱，上段为右手演奏部分，下段为左手演奏部分。图7示出与图6的乐谱对应的左手演奏部分的钢琴条形窗口。

在图7的钢琴条形窗口中，示出小节从下向上行进，在左右方向上显示作为键盘的一部分的键(音调编号36～59)，在各键的上方区域显示为方形的部分处于按键状态。因此，方形部分的下端位置为按键开始位置，上端位置为离键位置，下端位置所显示的数字为按键时刻(例如，与在最下段显示的音调编号45对应的按键时刻192)，在大致中央位置显示的数字是离键时刻的规定时间前的时刻(例如，音调编号45的离键前时刻202)。

图8和图9是示出根据图6的乐谱的第1小节到第7小节中的任意再生时间t的按键信息生成的运指图像的对应表。

在图8中，在再生时间t为“时刻0”“时刻144”“时刻192”“时刻210”“时刻216”“时刻234”“时刻240”“时刻288”“时刻336”“时刻354”的各状态a～j时，根据上述起点时刻的运指信息(运指位置信息)ps和终点时刻的运指信息(运指位置信息)pe生成运指图像。运指位置信息包含时刻(增量时间)、按键信息(与进行按键的手指对应的音调编号、特殊运指方法信息)。特殊运指方法的信息是根据标志的有无来进行管理的。

在图9中，示出再生时间t是“时刻360”“时刻378”“时刻384”“时刻432”“时刻480”“时刻498”“时刻504”“时刻522”“时刻528”“时刻588”“768”的各状态k～u时的运指图像。

从图8的状态a(再生时刻t＝0)依次对各状态下的运指图像的生成进行说明。

再生时刻t为“0”时，在图4的流程图的步骤52的扫描中，t1无效(与t以前的最近的离键时刻对应的时刻不存在)。由于再生时刻t成为离键时刻，因此t2是t之后的最近的按键时刻即“时刻192”，t3是t2之后的最近的离键时刻即“时刻202”。t4是作为t2之后的最近的按键时刻的“时刻216”。

在再生时刻t是“0”的情况下，t1无效且满足t＜t2，因此步骤55为“是”，起点时的运指位置信息ps为fk1(步骤56)，满足步骤57的条件，由此，终点时的运指位置信息pe也为fk1(步骤58)。由于不存在t1，该情况下的fk1为起始位置的初始图像的按键信息。

虽然在步骤90中生成的再生时刻t的运指位置信息pm是运指位置信息ps和运指位置信息pe的合成，但由于都是初始图像的按键信息，因此，由运指位置信息pm描绘出的运指图像也是初始图像。

当再生时刻t是“144”即状态b时，在图4的流程图的步骤52的扫描中，由于t1无效，再生时刻t为离键时，因此t2是作为t之后的最近的按键时刻的“时刻192”，t3为“时刻202”，t4为“时刻216”。

在再生时刻t是“144”的情况下，与t＝0时同样，t1无效且满足t＜t2，因此步骤55为“是”，起点时的运指位置信息ps为fk1(步骤56)。

在步骤57中，由于tmin被设定为“96”，因此不满足步骤57的条件，因此为“否”，用fk24来判断是否能够生成pe(步骤59)。该情况下，由于能够同时用小指按压音调编号45、用食指按压音调编号52，因此判断为能够用fk24生成pe，终点时的运指位置信息pe为fk24(步骤60)。该情况下的fk24成为用小指按压音调编号45、用食指按压音调编号52的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm成为初始图像的运指位置信息ps和fk24的运指位置信息pe的合成，通过运指位置信息pm描绘的运指图像是从初始图像(起始位置)向按压音调编号45、52的和弦形手形移动的、音调编号45按键前的移动中图像。

当再生时刻t是作为“192”的状态c时，在图4的流程图的步骤52的扫描中，t1无效，由于再生时刻t为按键时，因此t2为作为t以前的最近的按键时刻的“时刻192”，t3为“时刻202”，t4为“时刻216”。

在再生时刻t是“192”的情况下，由于t＝t2且不满足t＜t2，因此步骤55的判断为“否”。fk12和fk24已经在步骤54中生成。

在时刻192处于按键中(步骤63)，t4-t3＝14＜tmin＝96(步骤64)，利用fk24判断是否能够生成ps和pe(步骤65)，如上所述，由于能够同时用小指按压45、用食指按压音调编号52的情况，因此判断为能够生成fk24中的ps和pe，起点时的运指位置信息ps和终点时的运指位置信息pe为fk24(步骤66)。该情况下的fk24成为用小指按压音调编号45、用食指按压音调编号52的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk24的运指位置信息ps(pe)，通过运指位置信息pm描绘的运指图像为，用能够按压音调编号45、52的和弦形的手形对音调编号45进行按键中的按键显示的运指图像。

在再生时刻t是作为“210”的状态d时，在图4的流程图的步骤52的扫描中，t1为与t以前的最近的离键时刻对应的“时刻202”，由于再生时刻t为离键时，因此t2是作为t之后的最近的按键时刻的“时刻216”，t3为作为t2之后的最近的离键时刻的“时刻226”，t4为作为t2之后的最近的按键时刻的“时刻216”。

在再生时刻t是“210”的情况下，由于t1是存在的，因此步骤55的判断为“否”。

在时刻210处于离键中(步骤63)，不满足步骤70的条件{t4等于t2，但是t(时刻210)不为t2(时刻216)以上}，而满足步骤72的条件(t2-t1＝14＜tmin＝96)，因此，由于能够同时用小指按压音调编号45，用食指按压按键音调编号52的情况，从而判断为能够用fk12生成ps(步骤73)，起点时的运指位置信息ps为fk12(步骤74)。该情况下的fk12成为用小指按压音调编号45、用食指按压音调编号52的、fk1和fk2的合成按键信息。

此外，由于能够同时用食指按压音调编号52，用拇指按压音调编号57，因此判断为能够利用fk24生成pe，终点时的运指位置信息pe为fk24(步骤79)。该情况下的fk24成为用食指按压音调编号52、用拇指按压音调编号57的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk12的运指位置信息ps和fk24的运指位置信息pe的合成，通过运指位置信息pm描绘的运指图像是从按压音调编号45、52的和弦形向按压音调编号52、57的和弦形手形移动的移动中图像(音调编号45离键后、音调编号52按键前)。

在再生时刻t是作为“216”的状态e时，在图4的流程图的步骤52的扫描中，t1为与t以前的最近的离键时刻对应的“时刻202”，由于再生时刻t为按键时，因此t2是作为t之前的最近的按键时刻的“时刻216”，t3为作为t2之后的最近的离键时刻的“时刻226”，t4为作为t2之后的最近的按键时刻的“时刻240”。

在再生时刻t是“216”的情况下，t2是“时刻202”，不满足t＜t2，因此步骤55的判断为“否”。

在时刻216处于按键中(步骤63)，由于还满足步骤64的条件(t4-t3＝14＜tmin＝96)，因此由于能够同时用食指按压按键音调编号52，用拇指按压按键音调编号57，从而判断为能够用fk24生成ps和pe(步骤65)，起点时的运指位置信息ps和终点时的运指位置信息pe为fk24(步骤66)。该情况下的fk24成为用食指按压音调编号52、用拇指按压音调编号57的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk24的运指位置信息ps(pe)，通过运指位置信息pm描绘的运指图像为，用能够按压音调编号52、57的和弦形的手形对音调编号52进行按键中的按键显示的运指图像。

在再生时刻t是“234”的状态f时，在图4的流程图的步骤52的扫描中，t1为与t之前的最近的离键时刻对应的“时刻226”，由于再生时刻t为离键时，因此t2是作为t之后的最近的按键时刻的“时刻240”，t3为作为t2之后的最近的离键时刻的“时刻263”，t4为作为t2之后的最近的按键时刻的“时刻336”。

在再生时刻t是“234”的情况下，由于存在t1，因此步骤55的判断为“否”。

在时刻234时处于离键中(步骤63)，不满足步骤70的条件{t4等于t2，但是t(时刻234)不为t2(时刻240)以上}，而满足步骤72的条件(t2-t1＝14＜tmin＝96)，因此，判断为能够用fk12生成ps(步骤73)，起点时的运指位置信息ps为fk12(步骤74)。该情况下的fk12为用食指按压音调编号45、用拇指按压音调编号57的、fk1和fk2的合成按键信息。

满足步骤77的条件(t4-t3＝73＜tmin＝96)，t2的小指按键时的音调编号是“40”，由于在t4的拇指按键时，无法采用相同的手形形状进行与音调编号“57"的和弦，因此在步骤78中判断无法利用fk24生成pe，终点时的运指位置信息pe为fk2(步骤80)。该情况下的fk2为用拇指按压音调编号57的按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk12的运指位置信息ps和fk2的运指位置信息pe的合成，通过运指位置信息pm描绘的运指图像是从按压音调编号52、57的和弦形向按压音调编号57的单音形的手形进行移动的移动中图像(音调编号52离键后、音调编号57按键前)。

在再生时刻t是“240”的状态g时，在图4的流程图的步骤52的扫描中，t1为与t以前的最近的离键时刻对应的“时刻226”，由于再生时刻t为按键时，因此t2为作为t以前的最近的按键时刻的“时刻240”，t3为作为t2之后的最近的离键时刻的“时刻263”，t4为作为t2之后的最近的按键时刻的“时刻336”。

在再生时刻t是“240”的情况下，t2是“时刻240”，不满足t＜t2，因此步骤55的判断为“n”。

在时刻240时处于按键中(步骤63)，由于满足步骤64的条件(t4-t3＝73＜tmin＝96)，因此对是否能够通过fk24生成ps和pe(步骤65)进行判断。在步骤65中，t2的小指按键时的音调编号是“40”，由于无法与t4的拇指按键时的音调编号“57"进行和弦，因此判断为无法利用fk24生成pe，起点时的运指位置信息ps和终点时的运指位置信息pe为fk2(步骤68)。该情况下的fk2为用拇指按压音调编号57的按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk2的运指位置信息ps(pe)，通过运指位置信息pm描绘的运指图像为用能够按压音调编号57的单音形的手形对音调编号57进行按键中的按键显示的运指图像。

在再生时刻t是“288”的状态h时，在图4的流程图的步骤52的扫描中，t1为与t之前的最近的离键时刻对应的“时刻263”，由于再生时刻t为离键时，因此t2为作为t之后的最近的离键时刻的“时刻336”，t3为作为t2之后的最近的离键时刻的“时刻346”，t4为作为t2之后的最近的按键时刻的“时刻360”。

在再生时刻t是“288”的情况下，由于t1是存在的，因此步骤55的判断为“否”。

在时刻288时处于离键中(步骤63)，不满足步骤70的条件(t4＞t2)，而满足步骤72的条件(t2-t1＝73＜tmin＝96)，因此判断为能够通过fk12生成ps(步骤73)。

在步骤73中，由于合成的手指的按键位置分离，因此判断为不能生成，起点时的运指位置信息ps为fk1(步骤76)。该情况下的fk1为用拇指按压音调编号57的按键信息。

满足步骤77的条件(t4-t3＝14＜tmin＝96)，由于能够同时用小指按压按键音调编号40，用拇指按压按键音调编号52，因此判断为能够通过fk24生成ps和pe(步骤78)，终点时的运指位置信息pe为fk24(步骤79)。该情况下的fk24为用小指按压音调编号40、用拇指按压音调编号52的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk1的运指位置信息ps和fk24的运指位置信息pe的合成，通过运指位置信息pm描绘的运指图像是从按压音调编号57的单音形向按压音调编号40和弦调编号52的和弦形的手形进行移动的移动中图像(音调编号57离键后、音调编号40按键前)。

在再生时刻t是“336”的状态i时，在图4的流程图的步骤52的扫描中，t1为与t之前的最近的离键时刻对应的“时刻263”，由于再生时刻t为按键时，因此t2为作为t之后的最近的离键时刻的“时刻336”，t3为作为t2之后的最近的离键时刻的“时刻346”，t4为作为t2之后的最近的按键时刻的“时刻360”。

在再生时刻t是“336”的情况下，t2是“时刻263”，不满足t＜t2，因此步骤55的判断为“否”。

在时刻336时处于按键中(步骤63)，满足步骤64的条件(t4-t3＝14＜tmin＝96)，因此判断为能够通过fk24生成ps和pe(步骤65)，起点时的运指位置信息ps和终点时的运指位置信息pe为fk24(步骤66)。该情况下的fk24为用小指按压音调编号40、用食指按压音调编号52的fk2和fk4的、合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk24的运指位置信息ps(pe)，通过运指位置信息pm描绘的运指图像为用能够按压音调编号40、52的和弦形手形对音调编号40进行按键中的按键显示的运指图像。

在再生时刻t是“354”的状态j时，在图4的流程图的步骤52的扫描中，t1为与t以前的最近的离键时刻对应的“时刻346”，由于再生时刻t为离键时，因此t2为作为t之后的最近的按键时刻的“时刻360”，t3为作为t2之后的最近的离键时刻的“时刻370”，t4为作为t2之后的最近的按键时刻的“时刻384”。

在再生时刻t是“354”的情况下，由于t1存在，因此步骤55的判断为“否”。

在时刻354时处于离键中(步骤63)，不满足步骤70的条件(t4＞t2)，而满足步骤72的条件(t2-t1＝14＜tmin＝96)，判断为能够通过fk12生成ps(步骤73)，起点时的运指位置信息ps为fk12(步骤74)。该情况下的fk12为用小指按压音调编号40、用拇指按压音调编号52的、fk1和fk2的合成按键信息。

由于满足步骤77的条件(t4-t3＝10＜tmin＝96)从而能够利用fk24生成pe，因此终点时的运指位置信息pe成为fk24(步骤79)。该情况下的fk24为用拇指按压音调编号52的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk12的运指位置信息ps和fk24的运指位置信息pe的合成，通过运指位置信息pm描绘的运指图像是从按压音调编号40、52的和弦形向仅按压音调编号52的单音形的手形进行移动的移动中图像(音调编号40离键后、音调编号52按键前)。

各状态k～u与状态a～j同样，表示通过图4的流程图的处理得到的运指图像，与各状态对应的运指图像成为如下的显示。

状态k对音调编号52按键中音符编号52单音形

状态l音调编号52离键后、音调编号56按键前的移动中

从音符编号52单音形变化为音符编号56单音形(跨指)

状态m音符编号56按键中音符编号56单音形(跨指)

状态n音调编号52离键后、音调编号45按键前的移动中

从音符编号52单音形变化为音符编号45、52和弦形

状态o音符编号45按键中音符编号45、52和弦形

状态p音调编号45离键后、音调编号52按键前的移动中

从音符编号45、52和弦形变化为音符编号52、57和弦形

状态q音符编号52按键中音符编号52、57和弦形

状态r音调编号52离键后、音调编号57按键前的移动中

从音符编号52、57和弦形向音符编号57单音形变化

状态s音符编号57按键中音符编号57单音形

状态t音调编号57离键后、音调编号45按键前的移动中

从音符编号57单音形向音符编号45、52和弦形变化

状态u音符编号45按键中音符编号45、52和弦形

在状态l和状态m下，显示运指图像以了解作为特殊运指方法的“跨指”的运指方法。针对包含“换指”“潜指”“跨指”中的每一个操作来建立标志，由此来判断特殊运指方法的有无。

此外，关于特殊运指方法的图像生成，在图4的步骤62的处理中，根据乐谱信息生成按键信息，该按键信息在步骤67的按键信息的校正处理中被取入，显示运指图像。

根据上述运指显示装置以及运指显示程序，在根据包含乐曲的各音调以及与其对应的手指编号的演奏信息描绘在乐曲再生时演奏乐器的运指动态画面并在画面上进行运指显示的情况下，在基于与乐曲再生时的再生时刻t对应的运指位置信息pm生成运指描绘时，基于将再生时刻t以前的时刻的运指位置信息ps和再生时刻t之后的时刻的运指位置信息pe合成后的合成按键信息来进行。

其结果，通过使手背或手指的移动中包含之前和之后的手指位置信息，能够尽可能使手背的移动距离小，从而能够描绘接近实际的键盘操作的运指动态画面。

例如，对于图10和图13的乐谱，如果是现有技术的运指显示，则成为图11和图14所示的运指图像，如果是本发明的运指显示，则能够形成图12和图15所示的运指图像，能够尽可能减小手背的移动距离，从而能够描绘出接近实际的键盘操作的运指动态画面。

此外，例如，在用小指和无名指交替弹奏图6的“致爱丽丝”的右手部分的开头的"re#"和“mi”的情况下，相对于在现有的方法中每当弹奏一个音时手背会向左右稍微移动，在本发明中，还具有如下效果：保持弹奏"re#"的小指和弹奏“mi”的无名指的和弦手形的状态，手背无需向左右移动，能够得到极其自然的运指图像。

此外，在本发明的另一运指显示程序中，其特征在于，在生成运指动态画面时，在从离键起到下一次按键为止的时间较长的情况下，在离键起较短的经过时间内使运指图像先行移动，使运指图像不进行不自然的移动。

在图6的乐谱的情况下，在左手的演奏中，由于在第5小节中存在16分休止符和8分休止符，在第6小节中存在全休止符，因此这期间的左手不进行按键。与该部分的乐谱对应的图7的钢琴条形窗口成为“时刻588”的状态t。

在再生时刻t是作为“588”的状态t时，在图4的流程图的步骤52的扫描中，t1为与t之前的最近的离键时刻对应的“时刻551”，由于再生时刻t为离键时，因此t2为作为t之后的最近的按键时刻的“时刻768”，t3为作为t2之后的最近的离键时刻的“时刻778”，t4为作为t2之后的最近的按键时刻的“792”。

在再生时刻t是“588”的情况下，由于t1存在，因此步骤55的判断为“否”。

是否进行先行移动的判断通过依次进行图4的流程图中的步骤70、步骤72以及步骤75的处理来判断。即，在步骤70中判断是否处于最后的按键之后，在步骤72中判断直到下一次按键为止是否比规定时间短，在步骤75中判断是否进行先行移动。

例如，在时刻588的情况下处于离键中(步骤63)，不满足步骤70的条件(t＝588不是t2＝768以上)，不满足步骤72的条件(t2-t1＝768-588＝180大于tmin96)。

在时刻588的情况下，满足步骤75的条件(t-t1＝588-551＝37小于tmin96)，因此，这里是先行移动的对象。由于从t1到t2的时间比tmin长，因此无法合成t1时和t2时的按键，因此起点时的运指位置信息ps不是fk12而是fk1(步骤76)。该情况下的fk1为用拇指按压音调编号57的fk1按键信息。

接着，判断步骤77的条件，由于t4-t3＝792-778＝14小于tmin96，因此为“是”，从而能够利用fk24生成pe(步骤78)，因此终点时的运指位置信息pe为fk24(步骤79)。该情况下的fk24为用食指按压音调编号52、用小指按压音调编号45的、fk2和fk4的合成按键信息。

在步骤90中生成的再生时刻t的运指位置信息pm为fk1的运指位置信息ps和fk24的运指位置信息pe的合成，通过运指位置信息pm描绘的运指图像是从音调编号57单音形向音调编号45、52的和弦形的手形进行移动的移动中图像(音调编号57离键后、音调编号45按键前的移动中)。

先行移动终点时刻为自起点时刻551(t1)起tmin(96)后的时刻647。

接下来，参照图2、图16以及图17，对先行移动的运指图像的描绘进行说明。

图2的乐谱是将图6的乐谱的第5～6小节放大后的乐谱，从乐谱中的bar的位置显示左手对第5小节的最后的音调利用拇指进行按键而发出“la”的音的按键图像。然后，即使演奏进行，左手的按键也一直停止直到发出第7小节的“la”的音。

在这样的情况下，如果是现有的按键图像的描绘，则如图16所示，按键图像与bar的行进对应地向左侧移动，在第7小节刚开始后，利用小指以1小节半的时间缓慢地移动到按压“la”的音的位置。

与此相对，根据上述的运指描绘的方法，在生成按键图像时，对时刻t2和时刻t1进行求解，由于在再生时刻t是从按键向离键变化的离键时，因此该时刻t2是作为再生时刻t之后的最近的按键时刻的时刻t2、该时刻t1是即将变化成时刻t2的按键信息的时刻t1，在从时刻t1到时刻t2的时间比期望时间长的情况下，进一步判断从时刻t1到再生时刻t的经过时间是否短，在短的情况下，基于将时刻t2的按键信息合成后的合成按键信息，将终点时刻设为t1+tmin而求出终点运指位置信息(pe)，生成运指位置信息(pm)。

因此，如图17a所示，即使bar在第5小节移动中，也能够使左手的按键图像先行移动到能够按压到第7小节的“la”的位置。在bar实际上到达第7小节的第1音调时，成为图17b所示那样的按键图像。即，在图17a的再生时间t的时刻，可以在短时间内预先移动到图17b中作为按键对象的键的位置。

根据上述的按键图像的描绘方法(运指显示程序)，在根据包含乐曲的各音调和与其对应的手指编号的演奏信息、描绘乐曲再生时演奏乐器的运指动态画面并在画面上进行运指显示的情况下，在基于与乐曲再生时的再生时刻t对应的运指位置信息pm生成运指描绘时，是基于将再生时刻t以前的时刻的运指位置信息ps和再生时刻t之后的时刻的运指位置信息pe合成后的合成按键信息来进行的。

而且，通过判断从离键起到下一次按键为止的时间，即使在该时间较长的情况下，也可以将运指图像生成为，使得手的移动尽可能在下一次按键时刻之前完成。由此，能够指示练习者使其迅速地准备好用手和手指进行下一次按键。

接下来，参照图18～图21，对在上述运指显示装置中显示的带偏移图像运指图像进行说明。

再生时刻t的带偏移图像运指图像是,根据在运指位置信息生成部14中创建的信息(按键时运指图像的位置信息、离键时运指图像的位置信息)等，由运指图像生成部15生成的。

由上述运指位置信息生成部14生成的运指位置信息pm包含再生时刻的按键时的按键时运指图像的位置信息、以及从按键时运指图像起的、使按键指离键的离键时运指图像的位置信息。

带偏移图像运指图像是通过如下方式生成的：基于与运指位置信息对应的手的形状和手指位置的坐标的相关信息，针对与最大偏移时的离键时运指图像相同形状的运指影图像同时显示按键时运指图像和运指影图像、或者同时显示离键时运指图像和运指影图像。

带偏移图像运指图像x分别如图18和图20所示，在再生时间使两种运指图像偏移并重叠地显示。

图18表示用右手的食指按压键盘的g音的单音时的按键时的带偏移图像运指图像x、以及即将按键的离键时的带偏移图像运指图像x。

图20表示用右手的拇指、中指、小指按压键盘的a音/d音/f音的和弦的情况下的、按压时的带偏移图像运指图像x、以及即将按键的离键时的带偏移图像运指图像x。

各运指图像是利用基于手背和各手指的几何学形状的二维运指显示方法，由当前再生时的手背和各手指的位置和形状构成。

图18的按压单音时的各带偏移图像运指图像(按键时、离键时)x是基于图19所示的离键时运指图像(图像a)、按键时运指图像(图像b)、按键时运指影图像(图像c)生成的。

图像a和图像b形成为仅进行按键的手指部分不同的形状。即，在单音的情况下，只有按键指上下移动而其它手指和手不上下移动，因此图像a和图像b在最大偏移时以外成为不同的形状。并且，图像b形成为在单音的按键时只有按键指的前端位置与图像c的前端位置一致的不同形状，由此可以进行看上去较自然的按键显示。

此外，图像a和图像b的色调优选肤色等亮色系。关于图像c的色调，从图像a的投影可知，优选为黑色等暗色系等且透视显示成能够看到到位于下方的键盘。

在按键时，在按键中的手指的前端附近显示按键中标记p。

在按键时，通过将按键中的手指的颜色显示为与手指的前端相同程度的暗色调，从而看起来是在按键。

在离键时，在接下来要按键的手指的前端附近显示按键准备标记q。

在离键时(即将按键)的带偏移图像运指图像x中，相对于图像c偏移的图像a显示在图像c的上侧。在图像a中，由按键准备标记q示出下一次按键的手指位置，并且在与下一次按键时的音调的音量对应的偏移位置显示该下一次按键的手指位置，由此能够在外表上指示按键时的音量的大小。

这时，根据到下一次按键为止的剩余时间，逐渐减少按键指的前端位置的偏移量，在按键时使偏移量变化为零(即，图像c的按键指的前端位置和图像a的按键指的前端位置一致)。

在单音按键时的带偏移图像运指图像x中，相对于图像c偏移的图像b显示在图像c的上侧。图像b相对于图像c的偏移量可以与离键时大致相同，为稍小的值。这是为了稍微容易知晓进行了按键的情况。

关于图20的按压和弦时的各运指图像(按键时、离键时)，与单音时同样，是基于图21的离键时运指图像(图像a)、按键时运指图像(图像b)、运指影图像(图像c)生成的。图像a和图像b与单音时不同，被形成为相同形状。即，在和弦的情况下，由于进行手背和全部手指一体地上下移动的运指，因此图像a和图像b形成为相同形状。

在和弦离键时(即将按键)的带偏移图像运指图像x中，与图像c重叠地显示偏移的图像a。图像a示出下一次按键的手指位置，并且该图像a被显示在与按键时的音调的音量对应的偏移位置上，由此能够在外观上指示按键时的音量的大小。

这时，随着到下一次按键为止的剩余时间而逐渐减少偏移量，以在按键时偏移量成为最小(即，按键时的偏移量)的方式进行转移。

和弦按键中的按键指的按键标记和按键指的色调、与和弦离键时的下一次按键指的按键准备标记、各图像的色调等与单音时相同。

在按键时的运指图像中，相对于图像c偏移的图像b显示在图像c的上侧。图像b相对于图像c的偏移量为非常小的值。该偏移量为预先设定的值(也可以是与单音时相同的值或不同的值)。不使偏移量为零是为了更容易看到键盘上的手指。

此外，在图18和图20的按键时的运指图像(图19的图像b和图21的图像b)中，对于按键指(在图18和图19中为食指，图20和图21中为拇指、中指和小指)，为了表现手指在关节处弯折的感觉，在关节连接部分使色调呈两个阶段变化，随着到达前端侧而成为暗色调。

关于离键时的带偏移图像运指图像x中的图像a相对于图像c的偏移方向，如图22所示，虽然可以自然地看到左手在左上方向上、右手在右上方向上，但是不限于此，也可以向其它方向偏移。

此外，如图23a和图23b所示，设定成音量越大，则偏移量越大，由此能够容易地在视觉上传递强琴键压下和弱琴键压下的情况。即，与图23a的弱琴键压下时相比，在图23b的强琴键压下时，通过增大离键时的最大偏移量而增大图像a相对于图像c的的偏移，从而能够直观地知道，按键的音量越大则手是从越高的位置放下的情况。

接下来，参照图24的流程图，对在图1的运指位置信息生成部14和运指图像生成部15中根据运指位置信息生成带偏移图像运指图像的处理步骤进行说明。

在运指显示装置中，利用所存储的运指显示程序，基于再生时刻的按键信息生成用于描绘图像a、图像b、图像c的运指位置信息，基于这些运指位置信息生成带偏移图像运指图像并描绘在显示装置18上。按键信息还包含与音量相关的信息。

首先，读取相对于键盘宽度的相对长度、和相对于手背的相对位置这样的与各手指和手背的形状相关的信息、按键时间、音量值等带偏移图像运指图像x的描绘所需要的信息(步骤141)。

接下来，根据步骤141的按键信息创建用于描绘图像c的运指位置信息(步骤142)。设图像c的显示色为暗色系。

在按键时取得音量值，离键时取得下一次按键时的音量值(步骤143)，预先取得按键时刻(步骤144)。

判断再生时刻是否是按键中(步骤145)。在是按键中的情况下，判断是否是和弦的按键(步骤146)。然后，如果是和弦的按键中，则根据按键信息创建用于描绘图像a的运指位置信息，并描绘图像a(步骤147)。在和弦的情况下，图像a是与图像c为相同形状(手背和手指为相同形状)的图像，但是显示色为亮色系，按键指通过比离键指暗的色调显示。

在不是和弦的按键中(单音的按键中)的情况下，取得与音量值对应的偏移座标(步骤148)，根据按键信息创建用于描绘图像b的运指位置信息，在偏移位置上描绘图像b(步骤149)。

图像b是相对于图像c而一部分不同的形状(按键的手指位置不同的形状)的图像，显示色为与图像a相同的亮色系。此外，按键指通过比离键指暗的色调来显示。

在按压和弦的图像a以及按压单音的图像b的按键指位置上描绘按键中标记(步骤150)，与图像c重叠地显示图像a(步骤160)。即，如果是单音的按键时，则显示图18的带偏移图像运指图像x，如果是和弦的按键时，则显示图20的带偏移图像运指图像x。

在这些情况下，图像a或图像b被显示在相对于图像c坐标偏移的位置上，在对右手进行运指图像的描绘的情况下，该位置被以图像a或图像b相对于图像c向右上位置偏移的方式被显示出。离键时的偏移量随着到下一次按键为止的剩余时间而逐渐变小，在按键时成为最小偏移量。

此外，按键中标记p例如用圆圈显示在按键指的前端。

在步骤145中，在再生时刻不是按键中(离键时)的情况下，取得与下一次按键时的音量值对应的偏移坐标(步骤151)，根据按键信息(单音、和弦)创建用于描绘图像a的运指位置信息，描绘图像a(步骤152)。

下一次按键是和弦时的图像a是与图像c形状相同(手背和手指为相同形状)的图像。另一方面，下一次按键为单音时的图像a是偏移最大时与图像c形状相同的图像，是随着到按键为止的剩余时间而逐渐转变成图像b的形状的图像。此外，显示色是亮色系，按键指通过比离键指暗的色调来显示。

在离键时的图像a的下一按键指位置描绘按键准备标记(单音或和弦)(步骤153)，与图像c重叠地显示图像a(步骤160)。即，如果单音是下一按键，则显示图18的离键时运指图像，如果和弦是下一按键，则显示图20的离键时运指图像。

在这些情况下，图像a相对于图像c被显示在步骤151中所取得的偏移的位置(偏移坐标)上，在对右手进行运指图像的描绘的情况下，该位置以图像a相对于图像c向右上位置偏移的方式被显示出。相反地，在用左手进行运指图像的描绘的情况下，该位置以图像a相对于图像c向左上位置偏移的方式显示出。

此外，按键准备标记q例如用能够与按键中标记区分开来的颜色、以圆圈显示在按键预定手指的前端。或者，也可以代替圆圈，以能够与按键中标记区分的形状进行显示。

根据上述的运指显示装置以及运指显示程序，能够在音调再生时，通过简单的运指显示，在视觉上向练习者传递从弱琴键压下到强琴键压下的音量的变化。这对于用眼睛来感受作为音乐的重要艺术表现的乐曲的动态程度是有效的。

此外，通过在视觉上表现手或手指的上下，与仅仅单纯地改变所按压的键的颜色相比，能够更有效地通知离键之后的按键时刻。特别是，在运指显示是单音的情况下，容易知晓只有按键的手指进行移动，这样更为自然。

此外，当前应按键的手指通过按键中标记p来显示，并且，对于下一次按键的手指，也以按键准备标记q来显示，因此能够进行运指的预读。

上述实施例是简单的二维几何图形的运指图像，但不限于此，也可以是基于位于三维坐标系统的手背或手指的多边形数据、通过几何处理将多边形立体模型坐标转换为屏幕坐标之后再通过绘制处理在多边形上粘贴纹理图像而得到的运指图像或运指影图像。

接着，参照图25和图26，对在上述运指显示装置中显示的左手和右手的各运指图像进行说明。

图25是示出了“致爱丽丝”的乐谱的一部分的图,在乐曲“致爱丽丝”中存在由左手和右手交替弹奏之处，使用上段为右手演奏部分、下段为左手演奏部分的x部分所显示的音调来对左右手的运指图像进行说明。音符上显示的数字是用于表示进行按键的手指是哪一只手指的手指编号，“1”与拇指对应，“2”与食指对应，“3”与中指对应，“4”与无名指对应，“5”与小指对应。

在图25的x部分的乐谱中，用左手的中指(3)按压(再生时刻t1)“re(清晰)”，用左手的食指(2)按压(再生时刻t2)“mi”，然后，用右手的食指(2)按压(再生时刻t4)“re(清晰)”，用右手的中指(3)按压(再生时刻t5)“mi”，然后，用左手的中指(3)按压(再生时刻t7)“re(清晰)”，用左手的食指(2)按压(再生时刻t8)“mi”。

即，用一只手按键时，另一只手是休止符(休止状态)，因此成为左手和右手交替地按压相同的键“re(清晰)”“mi”。

在这样的乐谱中，在基于与乐曲再生时的再生时刻对应的运指位置信息生成左手和右手的运指图像时左手和右手的运指图像重叠的情况下，在前面描绘与当前再生位置的按键对象的音调中的、发音开始时刻最迟的音调对应的手。

此外，在当前再生位置上不存在作为按键对象的音调从而哪一只手都没有按键时，在前面描绘包含下一次进行按键的手指的手。

因此，再生时刻t的左右手的运指图像如图26a～图26h中依次所示，左右手重合的运指图像按时间序列(再生时刻t1～t8)被描绘。

此外，在按键时，在相应的指尖显示按键中标记p，使被按压的键部分也改变颜色(斜线部分)。在按键准备时，在相应的指尖显示表示下一按键的按键准备标记q。

在图26a的再生时刻t1的运指图像中，由于是左手按键时，因此左手被描绘在前面。在左手的运指图像中，用中指(3)按压“re(清晰)”，键的颜色发生变化。由于右手在再生时刻t1是休止符，因此成为以按键准备标记q示出了在下次按键时(再生时刻t4)进行按键的食指(2)的状态。

在图26b的再生时刻t2的运指图像中，与再生时刻t1同样，由于是左手按键时，因此左手被描绘在前表面上。在左手的运指图像中，用食指(2)按压“mi”，并且键的颜色发生变化。由于右手在再生时刻t2也是休止符，因此成为以按键准备标记q示出了在下次按键时(再生时刻t4)进行按键的食指(2)的状态(按键准备中)。

在图26c的再生时刻t3的运指图像中，为左手离键时，在当前再生位置上不存在作为按键对象的音调，成为哪一只手都没有按键的状态。这时，因为要在前面描绘包含下次按键时(再生时刻t4)进行按键的手指的手，因此，将下一次进行按键的右手描绘在前面。

即，在左手的运指图像中，随着趋向于再生时刻t7，中指(3)成为按键准备中，在右手的运指图像中，随着趋向于再生时刻t4，食指(2)成为按键准备中，包含下次按键时(再生时刻t4)进行按键的手指的右手成为前面。

在图26d的再生时刻t4的运指图像中，由于是右手按键中，因此右手被描绘在前面。在右手的运指图像中，用食指(2)按压“re(清晰)”，键的颜色发生变化。由于左手在再生时刻t4是休止符，因此成为以按键准备标记q示出在下次按键时(再生时刻t7)进行按键的中指(3)的状态。

在图26e的再生时刻t5的运指图像中，由于是右手按键中，因此右手被描绘在前面。在右手的运指图像中，用中指(3)按压“mi”，键的颜色发生变化。由于左手在再生时刻t5也是休止符，因此成为以按键准备标记q示出在下次按键时(再生时刻t7)进行按键的中指(3)的状态。

在图26f的再生时刻t6的运指图像中，为右手离键中，在当前再生位置不存在作为按键对象的音调，成为哪一只手都没有按键的状态。这时，由于要在前面描绘包含下次按键时(再生时刻t7)进行按键的手指的手，因此，下一次进行按键的左手被描绘在前面。即，在左手的运指图像中，随着趋向于再生时刻t7，中指(3)处于按键准备中。

在图26g的再生时刻t7的运指图像中，由于是左手按键中，因此左手被描绘在前面。在左手的运指图像中，用中指(3)按压“re(清晰)”，键的颜色发生变化。

在图26h的再生时刻t8的运指图像中，由于是左手按键中，因此左手被描绘在前面。在左手的运指图像中，用食指(2)按压“mi”，键的颜色发生变化。

接下来，对左手和右手同时处于按键状态的情况进行说明。在这样的情况下，在左手和右手的运指图像重叠的情况下，当左手和右手同时进行按键时，进行将难度大的一方的手描绘在前面的处理。

例如，在图27所示的乐谱的情况下，用左手的小指(5)按压“do”，用右手的无名指(4)按压(再生时刻t11)“so”，用左手的无名指(4)按压(再生时刻t12)“so”，用左手的中指(3)按压“do”并且用拇指(1)按压“mi”(再生时t13)，同时用左手的无名指(4)按压“so”并用右手的食指(2)按压“mi”(再生时刻t14)，用右手的拇指(1)按压“do”(再生时刻t15)。

在这样的乐谱中，在基于与作为乐曲再生时的再生时刻对应的运指位置信息生成左手和右手的运指图像时，在左手和右手的运指图像重叠的情况下，进行如下处理：在前面描绘与作为上述当前再生位置上的按键对象的音调中的、发音开始时刻最迟的音调对应的手。此外，在当前再生位置上不存在作为按键对象的音调从而哪一只手都没有按键时，进行在前面描绘包含下一次进行按键的手指的手的处理，此外，当左手和右手同时进行按键时，进行将难度大的一方的手描绘在前面的处理。

因此，再生时刻t的左右手的运指图像如图28a～图28e中依次所示，左右手重合的运指图像按时间序列(再生时刻t11～t15)被描绘出。

此外，在按键时，在相应的指尖显示按键中标记p，使被按压的键部分也改变颜色(斜线部分)。

在图28a的再生时刻t11的运指图像中，左手和右手处于按键中，两手分离，因此左手和右手被不重叠地描绘。在左手的运指图像中，用小指(5)按压“do”，键的颜色发生变化。在右手的运指图像中，用无名指(4)按压“so”，键的颜色发生变化。

在图28b的再生时刻t12的运指图像中，在再生时刻t11进行双手按键后，按键中(之后被按键)的左手被描绘在前面。在左手的运指图像中，用无名指(4)按压“so”，键的颜色发生变化。在右手的运指图像中，对在再生时刻t11进行按键的无名指(4)标注按键中标记p。

在图28c的再生时刻t13的运指图像中，在再生时刻t11进行双手按键后，和弦按键中(之后进行按键)的左手被描绘在前面。在左手的运指图像中，用食指(2)和拇指(1)按压“do”和“mi”的和弦，键的颜色发生变化。在右手的运指图像中，对在再生时刻t11进行按键的无名指(4)标注按键中标记p。

在图28d的再生时刻t14的运指图像中，两手为同时按键中。该情况下，难度大的手被描绘在前面，但是在该示例的情况下，左手被描绘在前面。在左手的运指图像中，用无名指(4)按压“so”，键的颜色发生变化。在右手的运指图像中，用食指(2)按压“mi”，键的颜色发生变化。

在图28e的再生时刻t15的运指图像中，在再生时刻t14进行双手按键后，按键中(之后进行按键)的右手被描绘在前面。在右手的运指图像中，用拇指(1)按压“do”，键的颜色发生变化。在左手的运指图像中，对在再生时刻t14进行按键的无名指(4)标注按键中标记p。

在左手和右手的运指图像重叠的情况下，通过以使描绘在前面的手的透射率小于另一只手的透射率的方式进行描绘，容易观察描绘在前面的运指图像，并且还能够同时确认后面的手的运指图像。

根据上述示例，在左手和右手的运指图像重叠的情况下描绘在前面的运指图像是，在当前再生位置上存在作为按键对象的音调的情况下，与音调中的发音开始时刻最迟的音调对应的手的运指图像，在当前再生位置上不存在作为按键对象的音调从而哪一只手都没有按键时，成为包含下一次进行按键的手指的手的运指图像。

此外，在左手和右手的运指图像重叠的情况下，成为将左手和右手同时进行按键时的难度大的一方的手描绘在前面的运指图像。

接下来，参照图29的流程图，对在图1的运指位置信息生成部14和运指图像生成部15中、根据运指位置信息生成左手和右手这两只手的运指图像的处理步骤进行说明。

在运指显示装置中，利用所存储的运指显示程序，基于再生时刻的按键信息生成运指位置信息，基于这些运指位置信息生成左手和右手双手的运指图像并描绘在显示装置18上。按键信息还包含与音量相关的信息。

首先，读取相对于键盘宽度的相对长度、和作为相对于手背的相对位置这样的与各手指和手背的形状相关的信息、音调编号、按键时间、音量值等键盘信息、以及生成要在键盘上描绘的双手(左手和右手)的运指图像所需的信息(步骤241)。

接下来，根据步骤241的键盘信息进行键盘描绘(步骤242)。

判断再生时刻是否是按键中(步骤243)。在是按键中的情况下，判断是否是双手同时进行按键(步骤244)。

如果不是双手同时进行按键的按键中，则判断之前一次的按键是否是左手(步骤245)。

在之前一次的按键为左手的情况下，描绘右手的运指图像(步骤246)，在其上描绘左手的运指图像(步骤247)，在画面上显示左手配置在前面的运指图像(步骤250)。

在之前一次的按键为右手的情况下，描绘左手的运指图像(步骤248)，在其上描绘右手的运指图像(步骤249)，在画面上显示右手配置在前面的运指图像(步骤250)。

在步骤243中，在再生时刻不是按键中的情况下，判断下一次按键是否是左手(步骤251)。

在下一次按键为左手的情况下，描绘右手的运指图像(步骤252)，在其上描绘左手的运指图像(步骤247)，在画面上显示左手配置在前面的运指图像(步骤250)。

在下一次按键为右手的情况下，描绘左手的运指图像(步骤254)，在其上描绘右手的运指图像(步骤255)，在画面上显示右手配置在前面的运指图像(步骤250)。

在步骤244中双手同时进行按键的按键中的情况下，比较左手的操作和右手的操作的难易度，判断左手的难易度是否较高(步骤261)。

在难易度是否较高的判断中，每次都考虑手的左右、按键位置、按键指移动的速度或移动距离、前后移动、音值或声音的频度等，来判断是否满足基准。此外，也可以在演奏开始时扫描整个乐曲，检测根据乐曲所设定的难易度较高的地方。

在左手的难易度较高的情况下，描绘右手的运指图像(步骤262)，在其上描绘左手的运指图像(步骤263)，在画面上显示左手配置在前面的运指图像(步骤250)。

在右手的难易度较高的情况下，描绘左手的运指图像(步骤264)，在其上描绘右手的运指图像(步骤265)，在画面上显示右手配置在前面的运指图像(步骤250)。

根据上述运指显示程序，在描绘左手和右手的运指图像时，即使在左手和右手接近或交叉的情况下，也是在前面显示作为当前再生位置上的按键对象的音调中的、与发音开始时刻最迟的音调对应的手，在当前再生位置上不存在作为按键对象的音调从而哪一只手都没有按键时，可以在前面显示包含下一次进行按键的手指的手。

其结果是，通过在前面显示作为练习者最想知道的信息、即应该在最后进行按键的信息(手的形状和手背的位置、应按键的手指、按压的键的位置)，能够在不被在之前进行按键的手或手指遮挡或妨碍的情况下进行显示。

此外，在左手和右手的运指图像重叠的情况下，当左手和右手同时进行按键时，通过将难度较大的手显示在前面，能够使对练习者来说更重要的难易度较高的手的手指信息优先。

此外，在左手和右手的运指图像重叠的情况下，通过以使在前面显示的手的透射率小于另一只手的透射率的方式进行描绘，容易观察前面的运指图像，并且还能够同时确认后面的手的运指图像。