基于视觉感知的吉他指法教学辅助方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的吉他指法教学辅助方法及系统。


背景技术：

2.音乐教育是学校教学中很受欢迎的一部分，其中吉他作为最常见的乐器之一也广受欢迎，在吉他的教学过程中，指法教学作为基础教学中不可缺少的一部分，其教学质量直接影响到学员后续的学习进度以及学习效果，因此对吉他指法教学的质量应当格外重视。
3.现有技术中对吉他指法教学的辅助方法有在特定位置上部署传感器，或者是将学员练习的音频与标准音频进行对比，利用传感器的示数对吉他指法进行辅助教学所用成本较高，且容易出现误差。而利用练习音频与标准音频进行对比则很容易忽略在弹奏过程中每个手指的力度以及位置信息，指法分析的准确性不高。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的吉他指法教学辅助方法及系统，所采用的技术方案具体如下：第一方面，本发明一个实施例提供了一种基于视觉感知的吉他指法教学辅助方法，该方法包括以下步骤：获取吉他的初始图像，将所述初始图像输入语义分割网络得到吉他的掩膜图像；根据所述掩膜图像和所述初始图像确定吉他区域图像，对所述吉他区域图像进行边缘检测获取所述吉他的弦与品的位置；将所述初始图像输入关键点检测网络得到手部关键点的位置，将所述手部关键点的位置与所述吉他的弦与品的位置对应，得到指法信息；将所述指法信息与标准指法比较获取任意所述手指的第一评估结果；当任意所述手指的光流信息突变时，对学员练习的实时音频进行分段采集，获取每段所述实时音频与标准音频的差异为任意所述手指的第二评估结果；计算所述第一评估结果与所述第二评估结果的均值为质量评估结果，当所述质量评估结果小于预设阈值时，所述手指的指法需加强练习。
5.优选的，所述对所述吉他区域图像进行边缘检测获取所述吉他的弦与品的位置的步骤，包括：获取所述吉他区域图像的外接矩形，根据所述外接矩形获取所述吉他的头部位置，以所述头部位置为起点进行边缘检测获取所述吉他的弦与品的位置。
6.优选的，所述边缘检测的算法采用算子。
7.优选的，所述算子还包括以下优化步骤：
所述算子包括水平方向的算子和竖直方向的算子；获取所述外接矩形与像素坐标系的夹角，根据所述夹角调整水平方向的算子和竖直方向的算子的分量得到新的算子为：其中，表示新的算子；表示水平方向的算子；表示竖直方向的算子；根据新的算子对吉他区域图像进行边缘检测；在时，检测到的边缘信息为吉他品的直线；在时，检测到的边缘信息为吉他弦的直线；其中，表示所述外接矩形与像素坐标系的夹角。
8.优选的，所述根据所述外接矩形获取所述吉他的头部位置的步骤，还包括：从所述外接矩形长边的一端作直线，所述直线与所述外接矩形的长边垂直，获取每个所述直线与所述掩膜图像的交集区域，所述交集区域的像素点数量少的一端为所述吉他的头部位置。
9.优选的，所述将所述指法信息与标准指法比较获取任意所述手指的第一评估结果的步骤，包括：当任意所述手指的指法信息与所述标准指法一致时，所述手指的第一评估结果为1；当任意所述手指的指法信息与所述标准指法不一致时，所述手指的第一评估结果为0。
10.优选的，所述根据所述实时音频与标准音频的差异得到任意所述手指的第二评估结果的步骤，包括：计算所述实时音频与所述标准音频的距离值为差异，所述第二评估结果与所述差异呈负相关关系。
11.第二方面，本发明另一个实施例提供了一种基于视觉感知的吉他指法教学辅助系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
12.本发明具有如下有益效果：通过获取学员利用吉他演奏时的初始图像，进一步获取吉他掩膜图像的最小外接矩形，利用最小外接矩形与像素坐标系的夹角对算子的方向进行确定，从而利用边缘检测算法获取吉他上所有弦与品的位置信息；将该初始图像输入关键点检测网络得到演奏学员手部关键点信息，将手部关键点所在的品和弦的位置信息与标准指法进行比较获取第一评估结果，由手部关键点的光流信息作为依据采集实
时演奏音频，将采集的实时音频与标准音频的差异作为第二评估结果，根据第一评估结果与第二评估结果的均值获得每个手部关键点对应手指的质量评估结果，根据质量评估结果判断该手指的指法是否正确，在确保每个手指位置正确的基础上，利用音频信息进一步判断弹奏时的手指力度，提高了对指法分析的准确性。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
14.图1为本发明一个实施例所提供的一种基于视觉感知的吉他指法教学辅助的方法流程图。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的吉他指法教学辅助方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
16.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.本发明实施例适用于吉他指法的辅助教学，为了解决现有利用整段音频信息进行对比分析时不准确的问题，本发明实施例中通过获取学员利用吉他演奏时的初始图像，进一步获取吉他掩膜图像的最小外接矩形，利用最小外接矩形与像素坐标系的夹角对算子的方向进行确定，从而利用边缘检测算法获取吉他上所有弦与品的位置信息；将该初始图像输入关键点检测网络得到演奏学员手部关键点信息，将手部关键点所在的品和弦的位置信息与标准指法进行比较获取第一评估结果，由手部关键点的光流信息作为依据采集实时演奏音频，将采集的实时音频与标准音频的差异作为第二评估结果，根据第一评估结果与第二评估结果的均值获得每个手部关键点对应手指的质量评估结果，根据质量评估结果判断该手指的指法是否正确，在确保每个手指位置正确的基础上，利用音频信息进一步判断弹奏时的手指力度，提高了对指法分析的准确性。
18.下面结合附图具体的说明本发明所提供的一种基于视觉感知的吉他指法教学辅助方法及系统的具体方案。
19.请参阅图1，其示出了本发明一个实施例提供的基于视觉感知的吉他指法教学辅助的方法流程图，该方法包括以下步骤：步骤s100，获取吉他的初始图像，将初始图像输入语义分割网络得到吉他的掩膜图像；根据掩膜图像和初始图像确定吉他区域图像，对吉他区域图像进行边缘检测获取吉他的弦与品的位置。
20.在学员实际弹奏过程中，学员的手指会遮挡吉他上弦和品的位置信息，且在进行弹奏时吉他的位置也会发生变化，为了避免对吉他上品和弦的位置进行实时监测的误差较大，本发明实施例中利用吉他特征明显的轮廓信息对吉他中所有的弦和品的位置进行定位。
21.具体的，根据rgb相机采集学员在演奏时的初始图像，将该初始图像作为语义分割网络的输入，得到吉他的掩膜图像，语义分割网络的结构为编码器-解码器结构，本发明实施例中的语义分割网络采用unet，在其他实施例中可以采用fcn等方法实现，具体训练过程为：（1）语义分割网络的输入为初始图像；（2）人为对该初始图像进行标注，将初始图像中吉他区域的像素点标注为1，其余像素点标注为0；（3）语义分割网络的输出为吉他的掩膜图像。
22.进一步的，获取吉他区域图像的外接矩形，根据外接矩形获取吉他的头部位置，以头部位置为起点进行边缘检测获取吉他的弦与品的位置。
23.具体的，对获取到的吉他的掩膜图像进行连通域分析，本发明实施例中通过连通域得到吉他区域的最小外接矩形，并获取该最小外接矩形与像素坐标系的夹角。
24.将吉他的掩膜图像与初始图像相乘得到吉他区域图像，根据吉他区域图像获取吉他上弦和品的具体的位置信息。一个吉他上一共有6根弦，弦为绷直的状态与最小外接矩形的长边平行；而品是让弦发出不同频率的声音的基本位置，不同的品可以使弦发出不同的声音，品为垂直于弦的竖直线段之间的区域，一般的古典吉他有18品，而民谣吉他可能有18-21品。
25.从外接矩形长边的一端作直线，直线与外接矩形的长边垂直，获取每个直线与掩膜图像的交集区域，交集区域的像素点数量少的一端为吉他的头部位置。
26.具体的，在获取吉他具体的弦和品的位置信息之前，需要获取吉他头部的位置，在吉他区域的最小外接矩形的长边的一端开始作直线，该直线与最小外接矩形的短边平行，统计该直线与吉他的掩膜图像的交集区域的像素点数量记为，按照同样的方法，每间隔一定距离作一条直线并统计对应交集区域的像素点数量，得到固定长度的序列，而直线的数量为：其中，表示在吉他上所作直线的数量；表示每个直线之间间隔的距离；表示最小外接矩形长边的长度；为向上取整符号，获取比大的最小的整数。
27.比较第一条直线和吉他的掩膜图像的交集区域的像素点数量与最后一条直线和吉他的掩膜图像的交集区域的像素点数量，若，则最小外接矩形的长边的一端
为吉他的头部，否则为吉他的尾部，最小外接矩形的场边的另一端为头部。
28.在确定吉他的头部位置之后，对吉他区域图像的弦和品的位置信息进行检测，本发明实施例中利用边缘检测算法进行检测，算子包括水平方向的算子和竖直方向的算子；获取外接矩形与像素坐标系的夹角，根据夹角调整水平方向的算子和竖直方向的算子的分量得到新的算子为：其中，表示新的算子；表示水平方向的算子；表示竖直方向的算子。
29.作为优选，本发明实施例中。
30.需要说明的是，边缘检测算法中只有当算子的方向于待测边缘的方向垂直时才会得到最优的检测效果，因此利用最小外接矩形与像素坐标系的夹角确定边缘检测的方向。
31.具体的，当时，得到的边缘检测算子检测到的边缘信息为吉他品的直线，从吉他头部开始检测，按照检测结果的先后顺序对直线进行编号，得到品的直线集合；当时，得到的边缘检测算子检测到的边缘信息为吉他弦的直线，按照纵坐标从小到大进行编号得到弦的直线集合。
32.进一步的，获取吉他品的直线集合中各个直线与最小外接矩形的长边的交点，将该最小外接矩形分为多个矩形段，每一个矩形段为吉他中一个品的位置，靠近吉他头部位置的第一个矩形段为第一个品，以此类推，获取吉他的所有品的位置。
33.基于相同的原理，获取吉他弦的直线集合中各个直线与各矩形段的交点，每一个矩形段上均获得6条直线，根据直线的纵坐标的值从小到大的顺序得到每一个矩形段中第一个弦到第六个弦的位置信息。
34.步骤s200，将初始图像输入关键点检测网络得到手部关键点的位置，将手部关键点的位置与吉他的弦与品的位置对应，得到指法信息；将指法信息与标准指法比较获取任意手指的第一评估结果。
35.由步骤s100中获取到吉他的每个弦与品的位置信息，根据获取到的吉他的弦与品的位置信息以及实际演奏过程中学员手指的位置信息进行指法分析。
36.具体的，将获取到的初始图像输入关键点检测网络中，本发明实施例中采用cpm关
键点检测网络实现，根据关键点检测网络获取学员手部所有的关键点信息，选取的人体手部关键点为5个手指的关键点，关键点检测网络的结构为编码器-解码器结构，在其他实施例中可以选用oponepose等方法进行关键点检测。将人体手部关键点检测网络的输出结果经过softargmax函数处理后得到各关键点的位置信息。
37.进一步的，由步骤s100中已经获取到吉他的品与弦的位置信息，结合人体手部关键点的位置信息对学员弹奏时的指法信息进行分析，将按压吉他弦与品的手部记为，不断拨动吉他弦的手部记为。
38.对手部进行实时监测，获取该手部中每个手部关键点与吉他的弦和品的位置关系，将该位置关系与标准指法中手指的位置关系进行对比，当任意手指的位置关系与标准指法的手指位置关系一致时，手指的第一评估结果为1；当任意手指的位置关系与标准指法的手指位置关系不一致时，手指的第一评估结果为0。即实时采集的某一手指的关键点与标准指法中手指位于相同的弦和品，则该手指对应的第一评估结果，否则；第一评估结果可用于反映各个手指的位置准确性。
39.需要说明的是，标准指法是指专业演奏时的标准的指法，在进行指法学习时，为了保证学习者能够养成良好的习惯，对每个指法的要求标准应较为严格，默认学员在演奏整首曲子时不受外界因素的影响；虽然不同指法对各个手指的要求不同，但对于各个手指上每个关键点的位置要求应尽可能严格。
40.步骤s300，当任意手指的光流信息突变时，对学员练习的实时音频进行分段采集，获取每段实时音频与标准音频的差异为任意手指的第二评估结果。
41.对于步骤s200中不断变化的手部，本发明实施例中利用lkt光流法获得当前帧手部上个各关键点的光流信息，即手指上每个关键点对应的瞬时速度；获得当前帧拨动的弦；根据步骤s200中的标准指法获取该弦所对应的手指，由于在实际演奏的过程中，即使此时每一根手指均对应正常的弦与品的位置，但在实际演奏的过程中，由于每一根手指的力度以及发力方法的不一致，会出现按弦不稳的情况，因此仅仅根据手指与吉他弦和品的位置关系并不能得到准确的指法分析结果，所以对吉他弹奏的实时音频信息进行采集。
42.在练习某一指法时，手指会呈现出该指法的位置，通过关键点检测网络可识别手指的关键点对应的指法，此时开始进行获取音频，由于按压对应的弦和品一定是在手指对应到位置之后，因此获取到的音频信息包含完整的联系该指法所对应的音频。
43.具体的，对于任意一个关键点，将其在每个时刻获得的光流信息的数据依次排列得到一组数列，本发明实施例中使用mann-kendall突变点对手部的光流信息对应的数列进行检测，从而得到数列中的突变点，根据突变点的位置可对应检测到光流信息突变的时刻，此时表明该手部关键点开始运动，即该手部关键点对应的手指拨动了新的弦，此时停
止对音频信息的采集，得到任意手指所对应的实时音频信息。
44.标准音频是指学员练习内容对应的标准的音频信息，标准音频包含了每个指法在每个时间对应每根手指的每个关键点应如何运动，当此刻某个手指的某个关键点开始运动时，通过光流信息突变的情况可检测出来，当检测出确实为运动时，即开始采集音频；若同时要求多根手指同时运动时，则以任意一根手指运动时即开始采集。对于相同的指法而言，其弹奏的流程一致规律相同，当该指法练习完成后，各个手指会改变对应的位置，其运动方式和轨迹也会相应变动，而光流信息可反映出其中手指的变化情况，因此当检测到光流信息再次出现突变时，也即是指法发生改变时，此时表明手指拨动了新的弦，此时停止对音频信息的采集；为了避免最终采集的实时音频信息过长，将该实时音频的采集时长与标准音频的时长相同，标准音频表示的是标准指法中每一根弦所对应的音频信息。
45.根据实时音频与标准音频的差异获取第二评估结果：其中，表示手指第二评估结果；表示弦对应手指的标准音频；表示采集到的弦对应的手指的实时音频；表示弦对应的手指实时采集的音频信息与标准音频的距离值。
46.需要说明的是，为动态时间规整算法，用与计算两个时序序列的距离值，本发明实施例中将该距离值认为实时音频与标准音频的差异。
47.步骤s400，计算第一评估结果与第二评估结果的均值为质量评估结果，当质量评估结果小于预设阈值时，手指的指法需加强练习。
48.由步骤s200和步骤s300获取到任意手指的第一评估结果和第二评估结果，计算实时音频与标准音频的距离值为差异，第二评估结果与差异呈负相关关系，根据第一评估结果和第二评估结果的均值获取最终的质量评估结果：其中，表示手指的质量评估结果；表示手指的第一评估结果；表示手指的第二评估结果。
49.根据相同的计算原理获取每一个手指所对应的质量评估结果；在指法的练习过程中，由于对每个手指的位置都有要求，即使某个手指的动作不影响关键的发音，其对应的位置也基本是固定的，因此每一个手指均需要获取对应的质量评估结果；同时，每根手指的质量评估结果不受其他手指的影响，例如当某个指法需要多个手指同时按压同一根弦时，手指之间的质量评估结果互不影响。
50.本发明实施例中设定预设阈值，将每一个手指的质量评估结果与预设阈值进行比
较，当任意手指的质量评估结果小于预设阈值时，则表示该手指未能达到标准，需要注意该手指的位姿与发力。
51.作为优选，本发明实施例中将预设阈值取经验值。
52.综上所述，本发明实施例通过获取学员利用吉他演奏时的初始图像，进一步获取吉他掩膜图像的最小外接矩形，利用最小外接矩形与像素坐标系的夹角对算子的方向进行确定，从而利用边缘检测算法获取吉他上所有弦与品的位置信息；将该初始图像输入关键点检测网络得到演奏学员手部关键点信息，将手部关键点所在的品和弦的位置信息与标准指法进行比较获取第一评估结果，由手部关键点的光流信息作为依据采集实时演奏音频，将采集的实时音频与标准音频的差异作为第二评估结果，根据第一评估结果与第二评估结果的均值获得每个手部关键点对应手指的质量评估结果，根据质量评估结果判断该手指的指法是否正确，在确保每个手指位置正确的基础上，利用音频信息进一步判断弹奏时的手指力度，提高了对指法分析的准确性。
53.基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于视觉感知的吉他指法教学辅助系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于视觉感知的吉他指法教学辅助方法实施例中的步骤，例如图1所示的步骤。该一种基于视觉感知的吉他指法教学辅助方法在上述实施例中已经详细说明，不再赘述。
54.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
55.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
56.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。