一种多功能乐器同步互动系统和方法
【专利摘要】本发明公开了一种多功能乐器同步互动系统，通过乐器和演奏者的传感器、投影设备以及无线网络实现演奏者与乐器学习互动、多名演奏者乐器排演互动、有听觉障碍的特殊演奏者与乐器示教互动的功能；该系统包括乐器与传感器模块，移动终端设备，投影指示执行模块；由客户端软件控制的系统能够通过多种传感器输入乐器演奏信号并通过系统投影指示，实现多种情景模式下的乐器演奏与互动，包括演奏者听觉障碍情景、演奏者之间空间分隔情景、多名演奏者分声部排练情景等的乐器互动演奏与教学；演奏者通过在一个乐器上演奏示范，能够指导不同的演奏者演奏，或多演奏者协奏，或所述的多功能乐器同步互动系统示教学习，或远程互动，或由听觉障碍的演奏者士使用学习乐器演奏。
【专利说明】—种多功能乐器同步互动系统和方法
【技术领域】
[0001]本发明涉及乐器领域，具体涉及一种多功能乐器同步互动系统和方法。
【背景技术】
[0002]传统乐器自学、教学、排练受到诸多局限。人们生活水平提高后，很多儿童、成年人、老年人都想在业余演奏乐器，很多人想自学但没有乐器基础，甚至旋律感不强，不敢尝试；另外，传统乐器教学受限于教师数量与教学时间的限制，学员无法得到充足的学习与练习，而部分人因为演奏者与演奏者通过指导或不断练习以达到熟练、协调的程度，这要求在场演奏者员中必须有精通乐器的演奏者指导或指挥，往往还需要大量耗时耗力的枯燥演练，这对于刚开始接触乐器的婴幼儿童来说，会较大的影响其学习兴趣；同时，在远程互动，多人分声部排练等障碍情况下，传统乐器教学演练存在天生的缺点。另外，能够用于辅助聋人演奏乐器的仪器也处于市场空白状态。
[0003]美国专利US20120064498A1报道了一种基于计算机实现的交互式的乐器示教系统，它由乐器、接口、计算机组成，乐器里面需要嵌入视觉标识器，计算机通过软件接收接口信号的同时给出示教的控制信号，控制乐器里面的视觉标识器，为使用者的演奏提示视觉上的信号提示，以达到示教的功能，但该系统只能进行简单的乐器演奏显示。
[0004]现有乐器示教技术只能按照预设的内容给予演奏者固定不变的示教视频信息，或者简单的对应位置电子器件显示，缺少与演奏乐器方法相关的反馈功能，也缺少实现人与人同步演奏或动作教学的方法，尤其缺少对聋人乐器演奏、远程互动演奏的系统与方法。
【发明内容】
[0005]为了克服现有技术存在的不足，本发明所要解决的技术问题是提供一种多功能乐器同步互动系统，能够通过传感器模块采集演奏者演奏乐器的动作特征，并通过投影指示执行模块再现演奏者演奏乐器的动作特征，以实现所述的多功能乐器同步互动系统对人的互动演奏，多人合作互动演奏，人与人远程互动演奏，以及听觉障碍下的演奏者与乐器互动演奏的功能。
[0006]根据不同的应用情景区分，本发明的多功能乐器同步互动系统工作模式包括初级跟学模式，亲子互动模式，多演奏者协奏模式，远程排练模式，听觉辅助模式等。不同模式可以实现初学者与熟练者、单演奏者与多演奏者、单系统与多系统、本地与远程、普通与特殊群体、学习与休闲等不同情景。
[0007]根据不同的工作方式区分，本发明的多功能乐器同步互动系统工作方式包括系统对演奏者的示教互动演奏，演奏者对演奏者的示范互动演奏，多演奏者分声部互动演奏；所述的系统对演奏者的示教互动演奏，是指乐器同步互动系统通过预设练习曲目的演奏者的臂腕动作信号与乐器的振动信号，将演奏者的臂腕动作与乐器的振动信号投影在乐器上，指示演奏者演奏乐器；所述的演奏者对演奏者的示范互动演奏，是指乐器同步互动系统利用传感器模块采集第一演奏者演奏乐器时的臂腕动作信号以及乐器的振动信号，处理转换成对应的乐器演奏指示信号，并传送至第二演奏者的投影指示执行模块对第二演奏者指示示教；所述的多演奏者分声部互动演奏，是指乐器同步互动系统将演奏者选择的练习曲目分为不同的声部，并按照声部分别预设不同演奏者的臂腕动作信号与乐器的振动信号，将不同演奏者的臂腕动作与乐器的振动信号分别投影在乐器上，指示不同演奏者演奏乐器。
[0008]本发明所采用的技术方案是:
[0009]一种多功能乐器同步互动系统，所述的乐器同步互动系统包括乐器与传感器模块、移动终端设备、投影指示执行模块和云端服务器，其中:
[0010]所述的乐器与传感器模块用于记录演奏者演奏乐器时乐器的振动信号以及演奏者臂腕的动作信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量；所述的乐器与传感器模块记录的信号通过计算能够再现演奏者臂腕的动作的特征与乐器的振动特征，用于演奏示教与互动。演奏者演奏乐器时t时刻乐器的振动信号记为s (X，y, f，A，t)，其中X，y, f, A分别代表t时刻所述的振动信号的振动位置坐标、振动频率、振动幅值；演奏者演奏t时刻乐器时演奏者臂腕的动作信号记为u ( Λ X，V，a，t)，其中Λ X，V，a分别代表t时刻所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量。
[0011]所述的移动终端设备用于接收乐器与传感器模块采集的信号，将其传送至云端服务器，经处理后转换成对应的乐器演奏指示信号，再将所述的乐器演奏指示信号传送至移动终端设备上显示，并传送至投影指示执行模块；所述的乐器演奏指示信号包括演奏者演奏乐器的位置信息，乐器演奏内容信息与乐器演奏臂腕动作信息，即根据时间序列s(x, y, f, A, t)和u(Ax, v, a, t)重构当前时刻的乐器演奏位置信息(x(t), y(t)),乐器演奏内容信息(f(t)，A(t))，以及乐器演奏臂腕动作信息(Ax(t)，v(t)，a(t))，用于移动终端设备显示，和投影指示执行模块投影指示。
[0012]所述的投影指示执行模块用于将所述的乐器演奏指示信号投影在乐器上指示示教，其中乐器的振动位置、振动频率、振动幅值信号，分别可以用投影指示执行模块用投影点的位置，投影点变化快慢，投影点大小来表示；演奏者臂腕动作的位移量、速度量、加速度量，分别可以用投影指示执行模块用投影点的位置的位移，投影点的位置的位移变化快慢，投影点的位置变化的快慢来表示。
[0013]所述的移动终端设备与云端服务器之间的信号传送可以是蓝牙、W1-F1、ZigBee,蜂窝移动通信或其他无线形式的网络接入，云端服务器可以是架设在互联网上的，也可以是局域网内的。
[0014]通过网络进行信号的传送与接收过程中，存在网络传输时延与信号处理时延；在互动演奏过程中，存在演奏者演奏的反应时延，多人合作演奏时，由于多位演奏者各自网络情况不同，存在不同的网络传输时延，也存在不同的反应时间；演奏者在网络通畅的情况下，一般局域网时延Δ 一般在IOms,广域网时延Δ t2在50ms左右,信号处理时延Δ t3在IOOms左右；演奏者反应时延Δ t4因人而异，一般在200ms至800ms之间，因此,互动的全部时延Δ ttotal在360ms至960ms之间；一首乐曲的乐器演奏具有时序与连续的特征,采用实时传输方法解决存在延时过长，乐曲演奏不连贯流畅的问题，特别是实现多人合作互动演奏、人与人远程互动演奏时无法达到同步互动的效果。
[0015]为了达到同步互动的效果，本发明所述的多功能乐器同步互动系统采用时延等待调整的方法来达到同步互动的效果。
[0016]具体地，针对系统对演奏者的示教互动演奏时，本发明的多功能乐器同步互动系统开始工作后，移动终端设备控制所选的练习曲目预设演奏者的臂腕动作信号与乐器的振动信号一个短暂的时间延迟量△&，演奏者开始演奏后投影指示执行模块立即投影指示，即投影指示执行模块，提前一个时间量△ tf投影指示，每一个投影指示信号执行前，投影指示执行模块等待一个时间量△ tw，使投影指示执行模块按照乐曲时序投影指示，而与网络时延与个人反应时延无关，保证乐器演奏的连续性与流畅性，其中:
[0017]Δ tw= Δ tf- Δ t「Δ t2- Δ t3_ Δ t4= Δ tf_ Δ ttotal
[0018]Atf为根据所选的练习曲目预设演奏者的臂腕动作信号与乐器的振动信号一个短暂的时间延迟量，Δ ttotal为根据实际网络状况设置的时延值。在一个具体的网络环境下，针对演奏者对演奏者的示范互动演奏，或者多演奏者分声部互动演奏时，每个演奏者的投影指示执行模块都拥有一个相同的时间提前量△&，而根据每个演奏者的网络状况与个人反应时间，设置不同的Atttrtal，使不同用户投影指示执行模块等待一个相同的时间量Atw,实现同步排练。
[0019]所述的投影指示执行模块可以是激光投影指示装置，能够根据输入的乐器演奏指示信号，做出激光投影指示。
[0020]所述的移动终端设备作为本发明的多功能乐器同步互动系统的控制中心与人机交互界面，通过移动终端设备能够实现选择系统工作模式、选择乐曲、设置投影指示执行模块工作、连接云端服务器、显示演奏者演奏乐器的同步互动信息等作用。
[0021]所述的移动终端设备是指便携式的智能终端，所述的智能终端是指能够捕获外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的设备，所述的移动终端设备可以是各种智能手机、智能手表、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机、Pocket PC、Tablet PC。
[0022]所述的云端服务器用于`信号计算与转换，可以是架设在互联网上的，也可以是局域网内的，针对传感器模块采集的各组时序信号，分析提取特征量，生成投影指示执行模块运行的控制信号，以及移动终端设备的显示信号。
[0023]本发明的多功能乐器同步互动系统能够完成同步信号采集、计算、执行过程，使演奏者与乐器实现同步双向通信，达到演奏者与乐器，演奏者与演奏者的互动效果。
[0024]作为优选，所述的乐器同步互动系统进一步还包括自动演奏模块，所述的自动演奏模块用于根据乐器演奏指示信号实现对乐器准确位置与准确力度的机械敲击演奏。
[0025]进一步地，所述的自动演奏模块包括一个或多个机械臂，由微控制单元、通讯单元、电源单元、驱动单元、I/o单元组成,具有一个或一个以上的自由度,接收移动终端设备的乐器演奏指示信号，控制机械臂上、下、左、右、旋转，步进至确定的位置，并由电机力矩使机械臂以一定加速度敲击，达到相应敲击力度的效果，以此实现各类鼓定点敲打动作、键的弹按动作。
[0026]作为优选，所述的乐器与传感器模块包括一个或多个带重力感应器的传感器，以及一个或多个带压电传感器的乐器；其中:
[0027]所述的带重力感应器的传感器用于记录演奏者臂腕的动作信号；所述的带压电传感器的乐器用于记录演奏者演奏乐器时乐器的振动信号。[0028]作为优选，所述的乐器与传感器模块进一步还包括摄像头输入模块，所述的摄像头输入模块用于采集演奏者的演奏视频信号，将其经移动终端设备传送至云端服务器，所述的云端服务器分析提取演奏者手指指法动作的位置、速度、频率、幅值信号分析提取演奏者手指指法动作的位置、速度、频率、幅值信号。
[0029]具体地，所述的摄像头输入模块用于采集演奏者的演奏视频信号，所述的演奏者的视频信号包括拍摄演奏者的手指指法动作，将其传送至移动终端设备，然后再上传至云端服务器，所述的云端服务器通过视频图像处理分析，提取每个时刻各个手指位置，利用手指位置与位置变化信息得到手指指法动作的位置、速度信号，利用手指敲击或弹奏的次数、速度信息得到手指指法动作的频率、幅值信号，组成演奏者演奏乐器的指法特征信号，用于移动终端设备显示示教，或者转换成对应的乐器演奏指示信号，传送至投影指示执行模块进行指示示教；所述的摄像头输入模块进一步还可以通过扫描纸质曲谱，经过图像处理转换成电子曲目乐谱信息显示。
[0030]作为优选,所述的传感器模块进一步还包括麦克风输入模块，所述的麦克风输入模块用于采集演奏者演奏乐器发出的音频信号，将其经移动终端设备传送至云端服务器，所述的云端服务器分析提取音频频率、波形信号。
[0031]具体地，所述的麦克风输入模块用于采集演奏者演奏乐器发出的音频信号，将其传送至移动终端设备，然后再上传至云端服务器后，经过音频分析处理，转换成音频曲目乐谱信号；所述的麦克风输入模块进一步还包括语音控制命令，演奏者通过语音输入控制命令后，分析提取音频含义，做出系统响应；输入信号可以是本地或者远程系统输入的。
[0032]所述的多功能乐器同步互动系统的工作模式包括初级跟学模式，亲子互动模式，多演奏者协奏模式，远程排练模式，听觉辅助模式，能够在不同情境包括演奏者听觉障碍、演奏者之间空间分隔情境、多名演奏者分声部排练情境下实现乐器互动演奏与教学。
[0033]所述初级跟学模式适用于初学乐器的演奏者群体，可以是乐器演奏基础差或者是旋律感差的演奏者。所述的乐器同步互动系统使用系统对演奏者的示教互动演奏的工作方式，演奏者可以在任意时间单独按照所述的乐器同步互动系统的指示，跟随练习，达到熟悉乐器演奏的效果；
[0034]所述亲子互动模式适用于家庭互动或者幼儿园教学。所述的乐器同步互动系统使用演奏者对演奏者的示范互动演奏的工作方式，乐器教师或者父母或者其他乐器熟练演奏者作为第一演奏者示范演奏，通过所述的乐器同步互动系统给第二演奏者示意操作过程，第二演奏者根据指示能够较快学会动作，熟悉节奏，达到与第一演奏者互动学习的效果；
[0035]所述多演奏者协奏模式能够让多名学习者合作演奏同一首曲谱。所述的乐器同步互动系统使用多演奏者分声部互动演奏的工作方式，将一首曲谱的不同声部分别在多套系统投影指示执行模块上指示，能够使多名演奏者达到协奏的效果；
[0036]所述远程排练模式能够通过互联网，将相隔两地的乐器同步互动系统与演奏者通过网络相连，利用时延等待调整的方法，使多名表演者在无法方便聚集在一起时也能实现远程排练同一首曲谱的功能，或者远程辅导演奏。所述的乐器同步互动系统可以使用演奏者对演奏者的示范互动演奏的工作方式，也可以使用多演奏者分声部互动演奏的工作方式。
[0037]所述听觉辅助模式针对听觉衰弱者或聋人演奏者，所述的乐器同步互动系统使用演奏者对演奏者的示范互动演奏的工作方式，在演奏者无法通过听觉获取音乐节奏的情况下，通过投影指示教会他们熟悉曲谱节奏，达到学会乐器的目的；
[0038]所述的多功能乐器同步互动系统的工作模式进一步还包括高级识别互动模式。通过摄像头输入模块采集演奏者的演奏视频信号，分析提取演奏者手指指法动作的位置、速度、频率、幅值信号，实现演奏者现场演奏时指法动作信号的输入保存，通过视频播放再现或者投影指示示教系统再现演奏者的演奏情况；或者通过麦克风输入模块采集演奏者演奏乐器发出的音频信号，经过音频分析处理，可生成音频曲目乐谱信号；实现曲目乐谱预设输入与现场演奏输入等多方面的互动保存与再现，所述的麦克风输入模块还可以用于语音控制。
[0039]基于本发明的多功能乐器同步互动系统，本发明还提供支持各种模式的互动方法:
[0040]方法一:适用于初级跟学模式和听觉辅助模式的互动方法，包括以下步骤:
[0041 ] (I)演奏者开机，系统初始化，移动设备终端与云端服务器相连，演奏者选择乐器练习曲目；
[0042](2)移动终端设备根据所选的练习曲目预设演奏者的臂腕动作信号与乐器的振动信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量；移动终端设备将所选练习曲目的信息在移动终端设备上显示，同时投影指示执行模块工作，将乐器演奏指示信号投影在乐器上，指示演奏者演奏乐器；初级跟学模式选择的练习曲目的节奏较慢，动作难度较小，重在熟悉乐器演奏；听觉辅助模式选择的练习曲目节奏感较强，有利于听觉障碍的演奏者把握节奏，学习乐器演奏;
[0043](3)演奏者根据步骤(3)的指示结合移动设备终端上显示的练习曲目的信息，跟随练习；
[0044](4)传感器模块采集演奏者臂腕的动作信号以及乐器的振动信号，将其反馈至移动终端设备，与步骤(2)所述的预设的演奏者的臂腕动作信号与乐器的振动信号比较，绘制演奏重合情况图并显示；演奏重合情况图反馈了演奏者演奏乐器的位置准确情况与力度准确情况；
[0045](5)重复步骤(2)?(5)，实现乐器演奏的教学与互动。
[0046]方法二:适用于亲子互动模式和远程排练模式的互动方法，包括以下步骤:
[0047](I)演奏者开机，系统初始化，移动设备终端与云端服务器相连，演奏者选择乐器练习曲目；亲子互动模式更能体现游戏式教学，娱乐性强；远程排练模式侧重平衡远程网络时延达到同步效果，体现实时性与协调性；
[0048](2)第一演奏者作为示范者演奏乐器；
[0049](3)传感器模块采集第一演奏者的臂腕动作信号以及乐器的振动信号并传送至移动设备终端，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量；
[0050](4)移动终端设备将第一演奏者的臂腕动作信号以及乐器的振动信号传送至云端服务器，并处理转换成对应的乐器演奏指示信号，然后传送至移动终端设备；
[0051](5)移动终端设备显示练习曲目的信息，同时移动终端设备将步骤(4)处理后得到乐器演奏指示信号传送至第二演奏者的投影指示执行模块，将第一演奏者的臂腕动作信号与乐器的振动信号投影在第二演奏者的乐器上指示示教；
[0052](6)第二演奏者根据步骤(5)的指示结合移动设备终端显示的练习曲目的信息，跟随练习；
[0053](7)重复步骤(2)?(6)，实现演奏者之间乐器演奏的同步教学与互动。
[0054]方法三:适用于多演奏者协奏模式和远程排练模式，包括以下步骤:
[0055]根据权利要求1所述的多功能乐器同步互动系统的互动方法，其特征包括以下步骤:
[0056](I)演奏者开机，系统初始化，移动设备终端与云端服务器相连，演奏者选择乐器练习曲目，设置多人分声部排演规则；多演奏者协奏模式预设曲目包含不同的声部，平衡不同人的反应时延；远程排练模式侧重平衡远程网络时延达到同步效果，体现实时性与协调性；
[0057](2)移动终端设备根据所选的练习曲目预设多人分声部演奏的臂腕动作信号与乐器的振动信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量；
[0058](3)移动终端设备将所选练习曲目的信息在移动终端设备上显示，同时各投影指示执行模块工作，将演奏者的臂腕动作与乐器的振动信号投影在各自演奏的乐器上，分别指示每个演奏者按对应投影指示信号演奏乐器；
[0059](4)每个演奏者分别根据步骤(3)的指示结合移动设备终端上显示的练习曲目的信息，同时演奏；
[0060](5)传感器模块分别采集每个演奏者臂腕的动作信号以及乐器的振动信号，将其反馈至移动终端设备，分别与步骤(2)所述的预设的演奏者的臂腕动作信号与乐器的振动信号比较，绘制演奏重合情况图并显示；
[0061](6)重复步骤(2)?(5)，实现多人分声部乐器的演奏与互动。
[0062]本发明的有益效果是:
[0063]1.本发明适用范围广泛，多种打击乐器、弹奏乐器能够方便应用于本系统；
[0064]2.本发明简单易学，对于婴幼儿童学习娱乐、亲子师生的教学、乐器初学者的入门、乐器熟练者的排练、多演奏者自编演奏等方面均具有良好的效果。
[0065]3.本发明利用已经普及的移动智能终端作为客户端，演奏者只需要下载客户端软件与一套激光投影系统与输入传感器即可拥有实现所有功能，经济实用；
[0066]4.本发明功能丰富，多种情景模式能够适应不同乐器、不同演奏者群、不同地点的使用者的需求；
[0067]5.本发明兼具学习与娱乐的功能，是家庭儿童教学的良好教具，也是孩子喜爱的玩家；
[0068]6.本发明体积小巧，便于携带，不需安装，调试简单，以音乐为内容能够愉悦心情。【专利附图】
【附图说明】
[0069]图1为多功能乐器同步互动系统结构示意图；
[0070]其中:[0071]I为传感器模块；
[0072]2为移动终端设备；
[0073]3为投影指示执行模块；
[0074]4为云端服务器；
[0075]101为带重力感应器的腕带式传感器模块；
[0076]102为带压电传感器的乐器；
[0077]103为摄像头输入模块；
[0078]104为麦克风输入模块；
[0079]图2为多功能乐器同步互动系统模块关系示意图。
[0080]图3为多功能乐器冋步互动系统工作流程不意图。
[0081]图4为压电式加速度计测试系统示意图。
【具体实施方式】
[0082]下面结合附图对本发明进一步说明。
[0083]如图1所示，本发明提供一种多功能乐器同步互动系统，所述的乐器同步互动系统包括乐器与传感器模块1、移动终端设备2、投影指示执行模块3和云端服务器4，其中:
[0084]所述的乐器与传感器模块I用于记录演奏者演奏乐器时乐器的振动信号以及演奏者臂腕的动作信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量；
[0085]所述的移动终端设备2用于接收乐器与传感器模块I采集的信号，将其传送至云端服务器4，经处理后转换成对应的乐器演奏指示信号，再将所述的乐器演奏指示信号传送至移动终端设备2上显示，并传送至投影指示执行模块3，所述的投影指示执行模块3用于将所述的乐器演奏指示信号投影在乐器上指示示教；
[0086]所述的多功能乐器同步互动系统能够完成同步信号采集、计算、执行过程，使演奏者与乐器实现同步双向通信，达到演奏者与乐器，演奏者与演奏者的互动效果。
[0087]其中:
[0088]所述的乐器同步互动系统进一步还包括自动演奏模块5，所述的自动演奏模块5用于根据乐器演奏指示信号实现对乐器准确位置与准确力度的机械敲击演奏。
[0089]所述的乐器与传感器模块I包括一个或多个带重力感应器的传感器101，以及一个或多个带压电传感器的乐器102 ；
[0090]所述的带重力感应器的传感器101用于记录演奏者臂腕的动作信号；所述的带压电传感器的乐器102用于记录演奏者演奏乐器时乐器的振动信号。
[0091]所述的乐器与传感器模块I进一步还包括摄像头输入模块103，所述的摄像头输入模块103用于采集演奏者的演奏视频信号，将其经移动终端设备2传送至云端服务器4，所述的云端服务器4分析提取演奏者手指指法动作的位置、速度、频率、幅值信号。
[0092]所述的传感器模块进一步还包括麦克风输入模块104,所述的麦克风输入模块104用于采集演奏者演奏乐器发出的音频信号，将其经移动终端设备2传送至云端服务器4，所述的云端服务器4分析提取音频频率、波形信号。
[0093]当演奏者使用所述的多功能乐器同步互动系统时，需要使用移动终端设备安装客户端软件，基于android、iOS、windows phone等操作系统的客户端可方便的从应用商店下载。
[0094]如图2所示，所述初级跟学模式适用于初学乐器的演奏者群体，可以是乐器演奏基础差或者是旋律感差的演奏者。所述的乐器同步互动系统使用系统对演奏者的示教互动演奏的工作方式，演奏者可以在任意时间单独按照所述的乐器同步互动系统的指示，跟随练习，达到熟悉乐器演奏的效果。演奏者开机后，系统初始化，移动设备终端与云端服务器相连，演奏者选择初级跟学模式，并选择乐器练习曲目；移动终端设备根据所选的练习曲目预设演奏者的臂腕动作信号与乐器的振动信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量；移动终端设备将所选练习曲目的信息在移动终端设备上显示，同时投影指示执行模块工作，将乐器演奏指示信号投影在乐器上，指示演奏者演奏乐器;演奏者根据投影指示执行模块的指示，结合移动设备终端上显示的练习曲目的信息，跟随练习；同时，传感器模块采集演奏者跟随练习时臂腕的动作信号以及乐器的振动信号，将其反馈至移动终端设备，与选择练习曲目时预设的演奏者的臂腕动作信号与乐器的振动信号比较，绘制演奏重合情况图并显示，反馈给演奏者练习的效果，演奏者根据反馈的效果图，可以重复跟随练习，实现乐器演奏的教学与互动。
[0095]如图3所示，所述亲子互动模式适用于家庭互动或者幼儿园教学。所述的乐器同步互动系统使用演奏者对演奏者的示范互动演奏的工作方式，乐器教师或者父母或者其他乐器熟练演奏者作为第一演奏者示范演奏，通过所述的乐器同步互动系统给第二演奏者示意操作过程，第二演奏者根据指示能够较快学会动作，熟悉节奏，达到与第一演奏者互动学习的效果；系统初始化，演奏者选择亲子互动模式后，再选择一首练习曲谱，作为父母或者老师的第一演示者佩戴带重力感应器的臂腕蓝牙传感器模块，当第一演示者作为示范者演奏乐器时，通过第一演奏者佩戴的传感器模块米集第一演奏者的臂腕动作信号，包括位移量，速度量，加速度量以及乐器的振动信号，包括振动位置，振动频率，振动幅值；传感器模块采集第一演奏者的臂腕动作信号和乐器的振动信号后，通过传感器模块的蓝牙或无线网卡传送至移动终端设备，移动终端设备再将信号传送至云端服务器端，处理转换成对应的乐器演奏指示信号；云端服务器将对应的乐器演奏指示信号通过移动终端设备发送至系统激光投影模块的蓝牙或无线网卡，系统激光投影模块做出相应指示动作，示意第二演奏者跟随投影指示执行信号演奏。此模式也可在远程模式下实现，以达到亲子远程互动，教师远程教学的目的。移动设备终端将命令信号发送给投影指示执行模块，系统随即按控制信号启动投影指示执行模块，发出投影指示键位，演奏者根据投影指示执行模块练习。同时，在键位下方的传感器模块能够将演奏者实际按键信息收集发送给移动终端设备，移动终端设备将原信号与演奏者实际演奏信号计算后，利用可视化技术显示在客户端上。
[0096]若选择其他模式，移动终端设备会根据所选的曲目预设生成相应的器演奏指示信号控制不同的乐器同步互动系统，同样使投影指示执行模块达到指示示教的效果，完成多演奏者协奏等目的。
[0097]如图4所示，所述的压电传感器可以是压电式测力计，用于测量乐器的振动信号；压电式测力计的测振原理与信号转换关系如下:
[0098]压电晶体片相当于一只平行板电容器，其电容量Ca为:
【权利要求】
1.一种多功能乐器同步互动系统，其特征在于:所述的乐器同步互动系统包括乐器与传感器模块(I)、移动终端设备(2)、投影指示执行模块(3)和云端服务器(4)，其中: 所述的乐器与传感器模块(I)用于记录演奏者演奏乐器时乐器的振动信号以及演奏者臂腕的动作信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量； 所述的移动终端设备(2)用于接收乐器与传感器模块(I)采集的信号，将其传送至云端服务器(4)，经处理后转换成对应的乐器演奏指示信号，再将所述的乐器演奏指示信号传送至移动终端设备(2)上显示，并传送至投影指示执行模块(3)，所述的投影指示执行模块(3)用于将所述的乐器演奏指示信号投影在乐器上指示示教； 所述的多功能乐器同步互动系统能够完成同步信号采集、计算、执行过程，使演奏者与乐器实现同步双向通信，达到演奏者与乐器，演奏者与演奏者的互动效果。
2.根据权利要求1所述的多功能乐器同步互动系统，其特征在于:所述的乐器同步互动系统进一步还包括自动演奏模块(5)，所述的自动演奏模块(5)用于根据乐器演奏指示信号实现对乐器准确位置与准确力度的机械敲击演奏。
3.根据权利要求1或2所述的多功能乐器同步互动系统，其特征在于:所述的乐器与传感器模块(I)包括一个或多个带重力感应器的传感器(101),以及一个或多个带压电传感器的乐器(102)； 所述的带重力感应器的传感器(101)用于记录演奏者臂腕的动作信号；所述的带压电传感器的乐器(102)用于记录演奏者演奏乐器时乐器的振动信号。
4.根据权利要求3所述的多功能乐器同步互动系统，其特征在于:所述的乐器与传感器模块(I)进一步还包括摄像头输入模块(103)，所述的摄像头输入模块(103)用于采集演奏者的演奏视频信号，将其经移动终端设备(2)传送至云端服务器(4)，所述的云端服务器(4)分析提取演奏者手指指法动作的位置、速度、频率、幅值信号。
5.根据权利要求3所述的多功能乐器同步互动系统，其特征在于:所述的传感器模块进一步还包括麦克风输入模块(104)，所述的麦克风输入模块(104)用于采集演奏者演奏乐器发出的音频信号，将其经移动终端设备(2)传送至云端服务器(4)，所述的云端服务器(4)分析提取音频频率、波形信号。
6.根据权利要求1或2所述的多功能乐器同步互动系统，其特征在于:所述系统的工作模式包括初级跟学模式，亲子互动模式，多演奏者协奏模式，远程排练模式，听觉辅助模式。
7.根据权利要求4或5所述的多功能乐器同步互动系统，其特征在于:所述系统的工作模式包括初级跟学模式，亲子互动模式，多演奏者协奏模式，远程排练模式，听觉辅助模式，高级识别互动模式。
8.根据权利要求1所述的多功能乐器同步互动系统的互动方法，其特征在于包括以下步骤: (1)演奏者开机，系统初始化，移动设备终端与云端服务器相连，演奏者选择乐器练习曲目； (2)移动终端设备根据所选的练习曲目预设演奏者的臂腕动作信号与乐器的振动信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量； (3)移动终端设备将所选练习曲目的信息在移动终端设备上显示，同时投影指示执行模块工作，将乐器演奏指示信号投影在乐器上，指示演奏者演奏乐器； (4)演奏者根据步骤(3)的指示结合移动设备终端上显示的练习曲目的信息，跟随练习； (5)传感器模块采集演奏者臂腕的动作信号以及乐器的振动信号，将其反馈至移动终端设备，与步骤(2)所述的预设的演奏者的臂腕动作信号与乐器的振动信号比较，绘制演奏重合情况图并显示； (6)重复步骤(2)~(5)，实现乐器演奏的教学与互动。
9.根据权利要求1所述的多功能乐器同步互动系统的互动方法，其特征在于包括以下步骤: (1)演奏者开机，系统初始化，移动设备终端与云端服务器相连，演奏者选择乐器练习曲目； (2)第一演奏者作为示范者演奏乐器； (3)传感器模块采集第一演奏者的臂腕动作信号以及乐器的振动信号并传送至移动设备终端，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量； (4)移动终端设备将第一`演奏者的臂腕动作信号以及乐器的振动信号传送至云端服务器，并处理转换成对应的乐器演奏指示信号，然后传送至移动终端设备； (5)移动终端设备显示练习曲目的信息，同时移动终端设备将步骤(4)处理后得到乐器演奏指示信号传送至第二演奏者的投影指示执行模块，将第一演奏者的臂腕动作信号与乐器的振动信号投影在第二演奏者的乐器上指示示教； (6)第二演奏者根据步骤(5)的指示结合移动设备终端显示的练习曲目的信息，跟随练习； (7)重复步骤(2)~(6)，实现演奏者之间乐器演奏的同步教学与互动。
10.根据权利要求1所述的多功能乐器同步互动系统的互动方法，其特征包括以下步骤: (1)演奏者开机，系统初始化，移动设备终端与云端服务器相连，演奏者选择乐器练习曲目，设置多人分声部排演规则； (2)移动终端设备根据所选的练习曲目预设多人分声部演奏的臂腕动作信号与乐器的振动信号，所述的振动信号包括振动位置、振动频率、振动幅值，所述的动作信号包括演奏者臂腕动作的位移量、速度量、加速度量； (3)移动终端设备将所选练习曲目的信息在移动终端设备上显示，同时各投影指示执行模块工作，将演奏者的臂腕动作与乐器的振动信号投影在各自演奏的乐器上，分别指示每个演奏者按对应投影指示信号演奏乐器； (4)每个演奏者分别根据步骤(3)的指示结合移动设备终端上显示的练习曲目的信息，同时演奏； (5)传感器模块分别采集每个演奏者臂腕的动作信号以及乐器的振动信号，将其反馈至移动终端设备，分别与步骤(2)所述的预设的演奏者的臂腕动作信号与乐器的振动信号比较，绘制演奏重合情况图并显示；(6)重复步骤(2)~(5)，实现多人分声部乐器的演奏与互动。
【文档编号】G10H1/36GK103729062SQ201410023754
【公开日】2014年4月16日 申请日期:2014年1月19日 优先权日:2014年1月19日
【发明者】孟濬, 蒋浩华, 刘琼 申请人:浙江大学