本发明涉及智能评测领域，尤其是涉及一种自动视奏评测系统。
背景技术：
视奏，即是把符号(乐谱)转化为动作(演奏)的中介行为；其是音乐学习中最为困难的一个部分，也恰恰是在乐器学习中相关资料最少的一个部分。其困难性甚至导致在很多乐器领域中，一些专业演奏家在面对相对复杂的乐谱时也很难完全掌握视奏的技巧。与线性的阅读文字不同，乐谱(五线谱)的编码方式是利用二维空间的堆叠结构进行呈现。除此之外，除了将谱子编码为具体音符之外，演奏者还需要再进行第二次解码过程从而演奏出实际的音乐。在现代的视奏分析中，往往采用眼动技术进行研究。
眼球运动简称眼动，具有着特殊的时空特征，属于视觉信息提取过程中的生理行为表现。由于其与人的心理活动有着直接或间接的关系，其研究价值一直在相关领域中发挥着巨大的实验性作用。目前眼动现象的观测往往基于眼动仪。眼动仪是一种可以跟踪、测量眼动信息的设备。现代眼动仪包括四个系统：光学系统、瞳孔中心坐标提取系统、视景与瞳孔坐标叠加系统和图像与数据分析系统。其主要分析三种眼动模式：注视、眼跳和追随运动。眼动的研究领域非常多元，其常见的应用场景有用户体验与交互研究、市场研究与消费者调研、心理学与神经科学、人体效能、临床研究与教育研究。在过去的教育研究中，眼动往往被用来研究演奏者的学习过程，比如演奏者在课堂上的注意力情况。
现代基于眼动仪的眼动分析往往着眼于解释音乐阅读的过程，并探究其感知过程与文本阅读的差异，进而更深刻的去解析大脑的活动。(eyemovementsandmusicreading:wheredowelooknext？)比如kinsler和carpenter(1995)提出含有三个计算单元的音乐解码过程，其三个单元分别是用来提取视觉刺激的通用编码器，从信号中提取音乐含义的音乐专用处理器以及将信息发送给运动系统的执行单元。类似的也有研究去分析音乐阅读与文本阅读的独立性。他们发现失去了阅读音乐能力的专业音乐家大多都失去了阅读文本的能力，但是也存在少数案例中二者选择性丢失。进而，他们证明了音乐和语言实际上具有相邻但是截然不同的神经网络。除此之外，人解码过程的影响因素也是一个研究重点,之前这方面的研究者主要着眼于眼手跨度的分析与影响因素。眼手跨度是指在实际演奏过程中，演奏产生的音符和眼睛所关注的音符之间的差距。目前较为流行的理论眼手跨度由演奏者的经验和演奏的乐谱结构共同决定。
除了大量心理学的研究外，也有少量研究着眼于分析依据眼动现象去分析视奏能力强弱的问题。比如goolsby(1994)使用斯坦福研究所的精确设备研究了24位视奏者的眼动数据，他发现单纯的演奏经验并不能更好的分析复杂的音乐符号。换而言之，就算是专业的音乐家也有可能存在视奏障碍。总的来讲，之前基于视奏的研究主要分析了视奏中的高层特征以及一些可能的影响因素探究，但是受限于处理能力，之前的研究结论只能作为一个视奏练习中的参考理论，很难直接指导学习者。除此之外，其对实验的要求较高，导致这种分析只能应用在实验室中，很难有效的为更多的学习者服务。最后，受限于实验采集难度，之前研究的样本点非常少，而且实验也相对较短，难以保证数据的稳定性，很难有效的定制视奏能力评估，并有效的提供解决建议。
技术实现要素：
本发明的目的在于提供一种评价更加客观、操作更加方便的自动视奏评测系统。为实现本发明的目的，本发明的技术方案如下。
一种自动视奏评测系统，包括捕获装置和评测终端，所述捕获装置用于采集眼动数据，所述评测终端基于所述眼动数据进行自动视奏评测，
所述评测终端包括眼动测试模块和能力评估模块；所述眼动测试模块用于基于眼动数据得到测数据，所述能力评估模块基于专家系统和测试数据进行分析，对评测者具体能力进行评估；其中，所述眼动测试模块包括音名唱读测试模块和实际演奏测试模块；
所述音名唱读测试模块配置为：根据对应的级别选定曲目，使得节拍器开始准备唱音名；按照每个手的音符各一次，使得所述捕获装置在收集眼动数据的同时同步进行录音以获取音频数据；
所述实际演奏测试模块配置为：保持对应的曲目，打开节拍器开始演奏；其中，所述演奏包括左手，右手和左右手组合三组演奏。
优选的，所述评测终端还包括素材处理模块，所述素材处理模块用于将乐谱扫描为若干页的电子件，所述乐谱包括若干曲段，所述曲段包括若干乐句；所述电子件包括图片或pdf。
优选的，所述音名唱读测试模块配置为在音名唱读测试过程中，每一个曲段设置一个节拍器，以进行节奏提示。
优选的，所述音名唱读测试模块配置为在唱音名过程不唱出音准和升降号，仅将单手的音名和节奏在节拍器的辅助下有节奏的唱出。
优选的，所述眼动测试模块的眼动测试节奏包括2拍节奏、3拍节奏、4拍节奏，其中2拍对应2/4拍，3拍对应3/4拍和6/8拍，4拍对应4/4拍。
优选的，所述能力评估模块包括乐谱掌控能力评估子模块，所述乐谱掌控能力评估子模块配置为：计算演奏者在每一小节的眼动数据时间，取时间的平均数作为演奏者阅读的基准时间，由基准时间乘小节数得到建议总时间，根据乐谱每一小节的难度对总演奏长度进行切分，之后与演奏者的实际结果序列计算皮尔森系数。
优选的，所述能力评估模块包括匀速视奏能力评估子模块，所述匀速视奏能力评估子模块配置为：由建议总时间与实际时间的差除以建议总时间。
优选的，匀速视奏能力评估子模块左右手统合能力评估子模块，所述左右手统合能力评估子模块配置为，计算每一个小节演奏过程中左右手声部中视线切换的次数。
优选的，所述能力评估模块包括谱面分析能力评估子模块，所述谱面分析能力评估子模块配置为：记录演奏者在分析左手小节和分析右手小节的时间差除以基准时间。
优选的，所述捕获装置包括眼动仪，所述评测终端包括手机、平板电脑或计算机。
相对于现有技术，本发明的有益技术效果在于：本专利主要解决的技术问题是建立一个有应用价值的视奏评测系统，从而量化视奏学习中学习者存在的问题。简而言之，我们提出了一个自动进行视奏过程的系统来更准确和高效的帮助演奏者更好的学习。通过和传统教学相结合，这个计算机辅助系统可以基于更为精准、客观的评价；相比于教师，本系统可以持续进行辅助训练，适应能力较强。简要来讲，本系统的特色可以概括为三点：
1、通过眼动仪的数据可以给出演奏者在视奏过程中对乐谱的浏览情况，演奏者也能更加清晰的看到自己在视奏方面出现的问题。立足于高质量的眼动捕捉和基于计算机视觉的图像处理方法，我们可以捕捉乐谱与演奏者之间的互动有机结合。
2、在传统的音乐教学中，老师需要关注的地方有很多，比如演奏者弹奏时手指的移动是否符合规范、音乐节奏是否准确、按键的力度和长短是否符合音乐要表达的情感……即使对于经验丰富的老教师来说，同时关注到每一个方面是不现实的。而我们开发的系统基于人工智能技术能够替老师关注演奏者在视奏过程中的表现，通过和老师陪练的有机结合，更全面的提升用户的体验。
3、如果没有具体数据的支持，那么对于演奏者的评价只能来自老师主观的判断，而到底演奏者哪里好、有多好的问题也不能得到直观的答案。在我们的评价报告中，对于眼动分析有详细的指标供演奏者和老师查看，力求更加全面的展现演奏者的演奏水平，报告给出的量化数据也更加客观准确，让演奏者能够看得见自己的“进步”所在，增加了学习的信心和兴趣，也有利于活跃用户的维持。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对在本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本实施例提供了一种自动视奏评测系统，包括捕获装置和评测终端，所述捕获装置用于采集眼动数据，所述评测终端基于所述眼动数据进行自动视奏评测，
所述评测终端包括眼动测试模块和能力评估模块；所述眼动测试模块用于基于眼动数据得到测数据，所述能力评估模块基于专家系统和测试数据进行分析，对评测者具体能力进行评估；其中，所述眼动测试模块包括音名唱读测试模块和实际演奏测试模块；所述音名唱读测试模块配置为：根据对应的级别选定曲目，使得节拍器开始准备唱音名；按照每个手的音符各一次，使得所述捕获装置在收集眼动数据的同时同步进行录音以获取音频数据；
具体地，在素材预处理阶段，自动视奏评测系统会接受对应乐谱的扫描件(图片、pdf文档等)进行初步的测试处理。考虑到眼动仪的精确度，为了保证测试的准确性，我们对现有图片资源进行截取，放大，优化，以一个合理的大小适配屏幕显示。关于实验内容的截取，由于每一个曲子很难整体呈现，同时为了保证实验准确度，采取每页2行为主，每一个测试曲段保证至少四个乐句。与此同时，为了保证实验的统一性，每一个测试曲段都会有一个节拍器对应速度，具体的实验流程中都需要对应的节拍器进行节奏提示和规范。之后系统会利用投影分析的方式进行五线谱切割，从而解析五线谱中的小节、声部结构以及复杂度。
在眼动测试过程中，测试者需要跟随系统的指示进行操作，整个流程包括五个具体的测试阶段，每个测试阶段分别采用3个不同节奏型的曲目(2拍节奏，3拍节奏，4拍节奏；其中2拍主要对应2/4拍，3拍主要对应3/4拍和6/8拍，4拍主要对应4/4拍)。具体的测试我们结合kinsler和carpenter(1995)的三单元结构，设定了两个主要的测试过程：音名唱读和实际演奏。两个测试过程分别对应脑处理阶段和运动系统处理阶段。在音名唱读部分主要有以下规定和要求，首先针对对应的级别选定曲目，之后打开节拍器开始准备唱音名，本过程不要求唱出音准和升降号，仅要求单手的音名和节奏在节拍器的辅助下有节奏的唱出。本次实验每个手的音符各一次，在收集眼动数据和头部数据的同时还进行录音获取音频数据。第二个过程是实际演奏主要有以下流程。首先保持对应的曲目，打开节拍器开始演奏，分为三个阶段分别是左手，右手和左右手组合演奏，每一组实验进行一次，故一共三次实验。总的来说一共5轮实验，每组实验根据曲目不同波动，一人约在20-25分钟左右结束。
最后的结果基于专家系统以及我们的基本数据库进行分析，通过分析其相应能力在整体中的百分位数来对评测者具体能力进行评估。本专利所涉系统共含有一个难度指标和六个评测指标，具体为：
评测指标一：谱面难度(每一个小节的难度系数)
自动视奏评测系统基于每一个小节的黑色像素比例实现谱面难度评测。通过分析谱子和实际一些经验发现谱子越复杂，谱面黑色像素的比例会提高。这个指标和演奏者没有关系，是用来在后面分析演奏者能力的一个环境参数。
评测指标二：乐谱阅读完成度(衡量演奏者整体的乐谱完成情况)
自动视奏评测系统基于所有含有眼睛焦点的小节数除以所有小节数。如果一个演奏者根本没有看这个小节的相关内容，那么大概率是错误或者有问题的演奏了这个曲子(当然不否认一些人通过乐理知识自动补全左手的和声，故而本指标定义为乐谱阅读的完成度而不是视奏的完成度)。
评测指标三：低音声部阅读完成度(衡量演奏者低音声部乐谱的完成情况)
自动视奏评测系统基于所有低音声部含有眼睛焦点的小节数除以所有低音声部小节数评测低音声部阅读完成度。
评测指标四：视奏稳定性(乐谱掌控能力)
自动视奏评测系统基于计算演奏者在每一小节的眼动数据时间，取时间的平均数作为演奏者阅读的基准时间，基准时间乘小节数就是总的建议时间，根据乐谱每一小节的难度对总演奏长度进行切分，之后与演奏者的实际结果序列计算皮尔森系数视奏稳定性。演奏者从学习目标上来说，应该能够根据乐谱的难易分布，合理高效的分配自己有限的时间。
评测指标五：节奏稳定性(匀速视奏能力)
自动视奏评测系统基于建议总时间与实际时间的差除以建议总时间(最后应该会设定一个阈值把整体分数拉高一点，因为很难直做到恰好完成建议时间，一定的误差是可以容忍的)来评测节奏稳定性。理论上如果演奏者可以稳定的在上面的难度控制下匀速演奏，最后的时间应该和总时间相差不多。
评测指标六：左右手统合能力
自动视奏评测系统基于计算每一个小节平均下来左右手声部中视线切换的次数进行左右手统合能力的评测。因为右手的旋律性等原因的影响，演奏者对右手的关注程度远大于左手的，同时在注视单一性(也就是一个时间演奏者只能关注某一个地方，而不能同时关注两个不同的点)的保证下，演奏者必须要在左右手之间切换视线。但由于时间的紧张和人的懒惰性，人们会倾向于减少左手的关注，同时左右手之前视线切换的次数也会相应的减少。故而，如果切换次数越多，那么左右手的配合，统合能力就越强。
评测指标七：谱面分析能力(高音、低音谱号的差异)
自动视奏评测系统基于记录演奏者在分析左手小节和分析右手小节时的差异除以基准时间(这个指标需要和低音声部阅读完成度做一个乘法，完成度越低，这个指标就越不准确，因为左手很多都没有看的情况下，这个指标就无法计算了)来进行谱面分析能力。低音谱号的关注程度往往有点问题，所以识别的准确程度就相对低一些。
本申请实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。