一种基于增强现实技术的钢琴辅助学习系统的制作方法

一种基于增强现实技术的钢琴辅助学习系统的制作方法
【专利摘要】本发明公开了一种基于增强现实技术的钢琴辅助学习系统，包括设置在钢琴键盘上方的IPAD便携终端和一个可移动的视频分屏投影盒，视频分屏投影盒由视频分屏控制器、四个微型投影机构成。盒体顶部设置有lighting接口，视频分屏控制器通过USB与lighting的转换线连接IPAD便携终端，盒体内部四个微型投影机分别接入视频分屏控制器的VGA输出口，且穿出盒体并投影至钢琴键盘。本发明将增强现实中的定位投影技术应用于钢琴演奏中，从而指导钢琴学习过程。
【专利说明】一种基于增强现实技术的钢琴辅助学习系统

【技术领域】
[0001] 本发明涉及钢琴学习辅助教具领域，具体是一种基于增强现实技术的钢琴辅助学 习系统。

【背景技术】
[0002] 随着经济的不断发展，个人对精神层面的追究逐渐提高，越来越多的人们希望自 己或者孩子能够学习各种乐器从而提高综合素质，则导致了乐器教育市场越来越成熟，其 中钢琴是绝大多数人的选择对象。在钢琴教学中，节奏和指法是非常重要的内容。节奏是 指在乐谱标注的节拍时间规定下准确的按下琴键从而发出相应的音符，在钢琴教学中，一 般采用"哆、二、三、四""哆、大、来、大"这样的人为发声或默念在练习时训练节奏感，或者 使用节拍器发出定时声响提醒；显然人为的方式过于随意，而节拍器的方式则需要人听觉 系统与手部动作的完美协调，这两点对于钢琴初学者尤其是儿童是非常困难的。指法是指 如何使用十个手指在乐谱的引导下按下相应的琴键。如果说节奏是一种已经固化的规则， 有相应的乐谱符号代表，那么指法则是一种专门的钢琴技巧，在一些简单的规则之下，不同 的乐曲会有不同的指法要求，属于老师教学的重点，有些乐谱上在手指切换的关键点会有 一些提示，但是这种方式需要人抬头看琴谱的时候手下仍然准确移动，对于初学者来说也 是相当有难度的。
[0003] 针对钢琴教学中的这些问题，人们开始引入数字化技术来改进纸质版的乐谱，尤 其是在现在便携智能终端非常盛行的时期，有两类软件集中表达了该种思路。其一是音乐 游戏类，将乐谱转化为相应的手指操作游戏，典型的如《节奏大师》；玩家根据所播放的歌曲 节奏以及动画提示，在几个固定的模拟键盘区域进行点击或者滑动等手指操作，软件根据 玩家操作与标准操作的吻合度给出分数；这类软件主要是为了追求娱乐性，可以培养一定 的节奏感，但与真实的钢琴教学差距甚远。其二是无纸化的琴谱类软件，典型的如《Piano Notes》，可以将安装过软件的智能终端放置在钢琴琴架上代替原来的纸质乐谱；这类软件 支持下载乐谱并将乐谱显示在画面中，同时在画面下方会出现一排虚拟的钢琴琴键，软件 解析乐谱并按照弹奏顺序依次将需要弹奏的琴键变色以提醒训练者按下相应琴键，这种方 式仅仅是将乐谱简单的可视化，但仍然需要训练者在抬头看的同时协调双手的操作，并没 有改变"抬头看"琴谱的实质。
[0004] 增强现实（Augmented Reality,简称AR)是通过计算机系统提供的信息增加用户 对现实世界感知的技术，将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景 中，从而增强现实对象的信息反馈；而投影技术则是将提示信息叠加到真实对象之上的常 用方式。根据上述钢琴学习中的问题，以及现有辅助练习的软件缺陷，设想自制一个系统将 乐谱可视化符号直接投影到钢琴琴键上，从而使得训练者可以轻易的在琴键上"看"到动态 节奏提示与指法符号，保持学习者的手眼一致性。现代投影技术已经相当成熟，各种微型投 影仪琳琅满目，因而可以选择适合的广角投影仪来确保投影到尽量大的区域，以减少投影 仪的使用数量。为了便于携带和安装，兼顾实用性和通用性，该系统在硬件构成、软件功能 上都需要一定的设计技巧。
[0005]


【发明内容】
本发明的目的是提供一种基于增强现实技术的钢琴辅助学习系统，以 解决现有钢琴学习辅助教具存在的问题。
[0006] 为了达到上述目的，本发明所采用的技术方案为： 一种基于增强现实技术的钢琴辅助学习系统，其特征在于：包括分别设置在钢琴键盘 上方的IPAD便携终端和一个可移动的IPAD视频分屏投影盒，视频分屏投影盒由设置在盒 体内的视频分屏控制器、四个微型投影机构成，盒体顶部设置有lighting接口，视频分屏 控制器通过USB与lighting的转换线连接IPAD便携终端，盒体内四个微型投影机分别接 入视频分屏控制器的VGA输出口，且四个微型投影机的投影镜头分别穿出盒体并投影至钢 琴键盘。
[0007] 所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：每个盒体内还 分别设置有电源，电源分别供电至视频分屏控制器及微型投影机。盒体外左右两侧有可调 夹式固定装置，可固定在钢琴的琴谱架上。
[0008] 所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述视频分屏 控制器由DSP、USB接口模块、VGA视频模块构建，其中DSP作为视频切分与编码传输单元， USB接口模块接入DSP中多DMA通道输入端作为输入模块，VGA视频模块接入DSP中多DMA 通道输出端作为输出模块；盒体中DSP通过USB接口模块与lighting接口连接，四个微型 投影机分别接入VGA视频模块的VGA输出口；IPAD便携终端向每个IPAD视频分屏投影盒 中DSP分别输出视频信号，DSP芯片将视频信号拆分成四个分辨率均分的视频信号并分别 输出到VGA视频模块，通过VGA视频模块传输至四个微型投影机，由四个微型投影机将视频 投影至钢琴键盘上，完成同步投影过程。
[0009] 所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述IPAD便携 终端中通过软件设置有乐谱可视化模块、定位调整模块，其中： 乐谱可视化模块将乐曲转化为指导演奏的符号与颜色信息，由符号与颜色信息所构成 的画面在IPAD便携终端形成视频信号，视频信号通过IPAD便携终端传输至每个IPAD视频 分屏投影盒上的lighting接口，通过lighting接口传输到每个视频分屏控制器中，在视频 分屏控制器中被切割为若干分辨率均分的视频信号后送入微型投影机，最后通过每个IPAD 视频分屏投影盒中微型投影机将画面信息投影到琴键上； 定位调整模块使用用户可调的中心标定方式，由于钢琴琴键有统一的尺寸标准，以钢 琴正中的哆键作为标定对象，随意平放投影盒在乐谱架上并在画面中心绘制一方块投影， 用户移动IPAD视频分屏投影盒使得该方块对齐钢琴正中的哆键，再拖拉调整使得方块完 全覆盖琴键，即可完成投影定位与标定。
[0010] 所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述定位调整 模块的标定参数包括：琴键顶部比例系数topScale，琴键底部比例系数bottomScale，琴键 长度偏移系数longOffset，琴键长度比例系数longScale，定位调整模块根据标定参数对 每个投影机的输出作反梯形校正。
[0011] 所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述乐谱可视 化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，设置了符号模式与手形 模式，其中： 符号模模式为投影到琴键上的字母+数字的表达方式，并以逐渐靠近边界线的方式动 态显示，以提示弹击琴键的顺序和节奏，并用逐步醒目的色彩区分距离边界的远近，以警示 下一个需要弹奏的琴键。
[0012] 手形模式为投影到琴键上的手形表达模式，以手部图像方式模拟人手在键盘上的 动作，同时按指法要求对要使用的手指进行加亮效果，学习者易于跟随琴键上的手进行模 仿学习。
[0013] 本发明中，真实琴键与生成图像的标定方法如下： 标准钢琴为52个白键，经过测试，计划投影最佳覆盖面为42个白键，设IPAD输出图像 为length*width，需要据此设计拆分方式以及标定块位置，主要依据为两种现有常用画面 比例模式，以及投影进行梯形纠正所需的投影边缘变形参数，在本发明中，认为四个微型投 影具有相似的变形参数。
[0014] 如软件绘制画面为16:9模式，则将其上部拆分为4个4:3画面，则单个微型投影 机分辨率要求（length/4, length/4*3)，琴键初始绘制宽度为keyWidth= length/42 ;以 Al=(length/2,0)A2=(length/2+ keyffidth,, 0)A3=(length/2+ keyffidth, length/4*3) A4= (length/2，length/4*3)为四角坐标绘制一矩形方块作为标定块。
[0015] 如软件绘制画面为4:3模式，则将其上下左右拆分为4个4:3画面，则单个微型投 影机分辨率要求（length/2, width /2)，琴键初始绘制宽度为keyWidth= length/21;以 Al= (0，width /2)A2= (keyffidth, width /2)A3= (keyffidth, width)A4= (0，width)为 四角坐标绘制一矩形方块作为标定块。
[0016] 人工参与标定过程，由于不同钢琴琴谱架的位置与倾斜角度稍有差异，需要重新 确定绘制合适梯形方块的变形系数topScale (琴键顶部比例系数)，bottomScale (琴键底 部比例系数)，l〇ngOffset (琴键长度偏移)，l〇ngScale (琴键长度比例系数)。假设经过人 为移动位置与调整方块四个角到新的位置B1 B2 B3 B4,则： topScale= (A2-A1) J (B2-B1) x bottomScale= (A3-A4) J (B3-B4)x longOf f set= ((B2+B1) Y/2-AlY) longScale=(A4-Al)Y/(B4_Bl) Y 由于中心"哆"位置在投影边缘，因此该比例关系可以用来对每个投影的绘制结果进行 反梯形修正，从而准确的投影到琴键上。
[0017] IPAD所配备软件的乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软 件的按键提示，并设置了两种模式。第一种模式为符号模式，在琴键边缘投影一条蓝色直 线，将即将演奏的乐符使用字母+数字方式投影到相应琴键上，并以逐渐靠近边界线的方 式动态显示，快要到达蓝色警戒线的时候变为红色，以警示下一个需要弹奏的琴键，节拍时 间可以通过在警戒线处滞留相应时间然后消失，从而可以控制弹击琴键的顺序和节拍长 短。其中字母"L"表示左手，"R"表示右手，数字"1-5"依次表示大拇指到小拇指。第二种 模式为手形显示模式，以手部图像方式动态模拟人手在键盘上的动作，同时按指法要求对 要使用的手指进行加亮效果，学习者易于跟随琴键上的手进行模仿学习。
[0018] 这个可视化过程在实现上需要将乐谱转化为节拍和手法，这是现有很多乐谱学习 软件已经可以做到的。绘制时需要将符号或者手指输出图像对应到琴键编号与矩形区域。， 设中心"哆"键为0键，右边依次为1键、2键。。。左边依次为-1键、-2键。。。贝u: Μ键绘制矩形区域的左上角=(A1 x +keyWidth*M，A1 γ) Μ键绘制矩形区域的右下角=(A3 x +keyWidth*M，A3 γ) 模式一需要计算每个乐符出现的时间以及移动的速度，设半拍速度为V毫秒（ms)，则 所有乐符都可表示为nV( 1拍n=2, 2拍n=4, 3拍n=6,依次类推)，设乐符出现位置为startY， 截止线条位置为endY，则下一个乐符出现时间间隔以nV计算，所有乐符的移动速度保持一 致为（endY-startY) /2V。
[0019] 模式二需要将相应手指变色，并保持变色到节拍完成,如需变换手位，则整体移动 至下一乐符琴键，固定提前一阈值时间Ω进行动画移动。由于手部形状很简单，投影的画 面仅是个示意，因此对于观察识别没有任何阻碍， 与已有技术相比，本发明有益效果体现在： 1、使用定位投影方式将可视化结果直接投影到钢琴琴键上，区别于之前局限于各种显 示终端的乐谱展示，不需要弹奏者同时兼顾手部操作与抬头看乐谱，对于初学者有极大的 辅助作用，在注意手部弹奏的同时可以直接看到琴键上的符号或手形指引，尤其对于儿童， 这种偏向于娱乐的形式更加有趣，足以吸引他们持续练习。
[0020] 2、结合了音乐游戏与钢琴学习 APP的优点，丰富了乐谱可视化的表现方式，利用 计算机图形学使用符号动态地呈现节拍时间、手法位置、顺序关系，易于理解，标识显著，使 得钢琴初学者可以在无教师指导下自学新琴谱，节省了教育开支。
[0021] 3、使用了动态手形移动提示模式，区别于现有钢琴学习软件中静止的手形，并投 影到琴键上，学习者可以采用单纯的模仿方式进行学习，不需要对符号的认知，更加适合于 儿童。
[0022] 4、采用了方便安装的硬件设计包装，使用微型投影机，充分利用了钢琴已有的乐 谱架，并使用自动标定软件结合人为调节进行定位，使得该系统具有很强的实用性，且不会 过于昂贵。
[0023] 5、在不影响本系统投影结果的人为认知下，采用DSP芯片作为视频分割的处理装 置，与现有几十万的硬件融合器比较，小巧实用、价格低廉且实现较易。

【专利附图】

【附图说明】
[0024] 图1为本发明系统整体安装示意图。
[0025] 图2为本发明IPAD视频分屏投影盒结构框图。
[0026] 图3为本发明在钢琴键盘上进行投影的示意图，其中： 图3a为符号模式下投影示意图，图3b为手形模式下投影示意图。

【具体实施方式】
[0027] -种基于增强现实技术的钢琴辅助学习系统，包括分别设置在钢琴键盘上方的 IPAD便携终端1和可移动的IPAD视频分屏投影盒2。
[0028] 定制IPAD视频分屏投影盒2。由设置在盒体2内的视频分屏控制器21、四个微型 投影机22构成，盒体2顶部设置有lighting接口 23,盒体2内视频分屏控制器21通过USB 到lighting转换线与lighting接口 23连接，IPAD便携终端1与盒体上lighting接口 23 连接，盒体内四个微型投影机22分别接入视频分屏控制器21的VGA输出口，且四个微型投 影机22的投影镜头分别穿出盒体并投影至钢琴键盘。选用分辨率为512*384的微型投影 机。
[0029] 每个盒体内还分别设置有电源，电源分别供电至视频分屏控制器21及微型投影 机22。
[0030] 定制视频分屏控制器21。由DSP、USB接口模块、VGA视频模块构成，选择带有DMA 通道的单输入多输出DSP芯片开发。其中DSP作为视频切分与编码传输单元，USB接口模 块接入DSP中多DMA通道输入端作为输入模块，VGA视频模块接入DSP中多DMA通道输出 端作为输出模块，DSP通过USB接口模块与lighting接口连接，VGA视频模块的VGA输出 口分别连接四个微型投影机。
[0031] 整个视频分屏投影盒的工作原理为：IPAD便携终端向视频分屏投影盒中的DSP 分别输出视频信号，DSP芯片将视频信号拆分成四个分辨率均分的视频信号并分别输出到 VGA视频模块，通过VGA视频模块传输至四个微型投影机，由四个微型投影机向视频投影至 钢琴键盘上，完成同步投影过程。
[0032] 使用MAC的XC0DE开发环境编程实现IPAD便携终端1中的软件，图形部分绘制可 以使用c 〇C〇s2d二维图形开发包，分辨率为1024*768,属于4:3显示模式。软件包括乐谱可 视化模块、定位调整模块，其中： 乐谱可视化模块将乐曲按照钢琴演奏的规则转化为软件预设的可以指导演奏的符号 与颜色信息，使用c〇C〇s2d开发包中的图形绘制函数在画面预定琴键位置绘制带有色彩符 号，产生IPAD便携终端的1024*768的视频信号，调用定位调整模块的标定计算进行图像纠 正，之后该视频信号通过视频分屏投影盒上的lighting接口传输到视频分屏控制器中，在 视频分屏控制器中被切割为上下左右4个分辨率为512*384的视频信号后分别送入微型投 影机，最后通过这些微型投影机将画面信息投影到琴键上； 定位调整模块使用用户可调的中心标定方式，由于钢琴琴键有统一的尺寸标准，所以 以钢琴正中的哆键作为标定对象，在Al= (0,384)A2= (48. 76，384)A3= (48. 76，768)A4= (0,768)绘制并投影一方块，用户移动IPAD视频分屏投影盒使得该方块对齐钢琴正中的哆 键，再拖拉调整使得方块完全覆盖琴键，即可计算得到标定参数，包括： 琴键顶部比例系数topScale= (A2-A1)x 琴键底部比例系数 bottomScale= (A3-A4)^￠3-84)x 琴键长度偏移系数 l〇ngOffset= ((B2+B1) γ/2-Α1γ) 琴键长度比例系数 l〇ngScale= (A4-A1)ΥΛΒ4-Β1)γ 使用该参数对绘制完成结果的上下左右1/4画面分别进行反梯形纠正。
[0033] 乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，设置 了符号模式与手形模式，其中： 符号模模式为投影到琴键上的字母+数字的表达方式，并以逐渐靠近边界线的方式动 态显示，以提示弹击琴键的顺序和节奏，并用逐步醒目的色彩区分距离边界的远近，以警示 下一个需要弹奏的琴键。计算每个乐符出现的时间以及移动的速度，设半拍速度为500毫 秒（ms)，则所有乐符都可表示为500n (1拍η=2, 2拍η=4, 3拍η=6,依次类推)，如乐符出现 位置为纵坐标0,截止线条位置为纵坐标350,则下一个乐符出现时间间隔以500η计算，所 有乐符的移动速度保持一致为1秒钟纵坐标上升350。
[0034] 手形模式为投影到琴键上的手形表达模式，以手部图像方式模拟人手在键盘上的 动作，同时按指法要求将相应手指变色，并保持变色到节拍完成，如需变换手位，则整体移 动至下一乐符琴键，固定提前一阈值时间Ω进行动画移动。
[0035] 用户使用过程 1、如图1所示，用户将视频分屏投影盒2放在钢琴上的琴谱架上，尽量居中放置，将四 个微型投影机22对着钢琴键盘面，一般琴谱架略微向上倾斜，因此投影盒可靠置在钢琴盖 上从而保持四个摄像头的连线与钢琴键盘平行，连接电源打开投影机。
[0036] 2、将已经预装过本发明相应终端软件的的智能终端设备如IPAD1插在视频分屏 投影盒lighting接口 23上。启动软件的定位调整模块，将投影一红色方块在键盘表面，调 整投影盒位置使得该方块与中央"哆"键对齐，在软件界面上调整方块拐角使其可以完全覆 盖"哆"键，即可完成标定。通过视频分屏投影盒两侧的夹具装置固定在琴谱架上。
[0037] 3、退出定位调整模块，进入乐谱可视化模块，选择想要弹奏的乐曲。该模块集成 乐谱自动转化手法节奏的软件工具，从而可以向分屏投影盒持续输出包含符号或手形的 1024*768的全副画面。
[0038] 4、视频分屏投影盒2的DSP芯片可实时将全副画面拆分成4副512*384的图像，输 出到4个微型投影机22,按照乐谱在相应位置出现绿色方块或者灰色手指。符号模式下：琴 键边缘投影一蓝色警戒线，绿色方块在程序驱动下逐渐靠近，当用户在正确时刻按下琴键 则闪烁；手形模式下：采用灰色提示在程序驱动下逐渐向蓝色过渡，正确按下时变色提示。
[0039] 5、乐曲练习时候，软件设置程序记录用户按键和时间间隔，与标准的乐符节奏进 行比对，为用户的演奏打分，并在乐谱相应位置显示错误说明。
【权利要求】
1. 一种基于增强现实技术的钢琴辅助学习系统，其特征在于：包括分别设置在钢琴键 盘上方的IPAD便携终端和一个可移动的IPAD视频分屏投影盒，视频分屏投影盒由设置在 盒体内的视频分屏控制器、四个微型投影机构成，盒体顶部设置有lighting接口，视频分 屏控制器通过USB与lighting的转换线连接IPAD便携终端，每个盒体内四个微型投影机 分别接入视频分屏控制器的VGA输出口，且四个微型投影机的投影镜头分别穿出盒体并投 影至钢琴键盘。
2. 根据权利要求1所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于： 每个盒体内还分别设置有电源，电源分别供电至视频分屏控制器及微型投影机；盒体外左 右两侧有可调夹式固定装置，可固定在钢琴的琴谱架上。
3. 根据权利要求1所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于： 所述视频分屏控制器由DSP、USB接口模块、VGA视频模块构建；其中DSP作为视频切分与编 码传输单元，USB接口模块接入DSP中多DMA通道输入端作为输入模块，VGA视频模块接入 DSP中多DMA通道输出端作为输出模块；盒体中DSP通过USB接口模块与lighting接口连 接，四个微型投影机分别接入VGA视频模块的VGA输出口； IPAD便携终端向IPAD视频分屏 投影盒中DSP分别输出视频信号，DSP芯片将视频信号拆分成四个分辨率均分的视频信号 并分别输出到VGA视频模块，通过VGA视频模块传输至四个微型投影机，由四个微型投影机 将视频投影至钢琴键盘上，完成同步投影过程。
4. 根据权利要求1所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于： 所述IPAD便携终端中通过软件设置有乐谱可视化模块、定位调整模块，其中： 乐谱可视化模块将乐曲转化为指导演奏的符号与颜色信息，由符号与颜色信息所构成 的画面在IPAD便携终端形成视频信号，视频信号通过IPAD便携终端传输至每个IPAD视频 分屏投影盒上的lighting接口，通过lighting接口传输到每个视频分屏控制器中，在视频 分屏控制器中被切割为若干分辨率均分的视频信号后送入微型投影机，最后通过每个IPAD 视频分屏投影盒中微型投影机将画面信息投影到琴键上； 定位调整模块使用用户可调的中心标定方式，由于钢琴琴键有统一的尺寸标准，以钢 琴正中的哆键作为标定对象，随意平放投影盒在乐谱架上并在画面中心绘制一方块投影， 用户移动IPAD视频分屏投影盒使得该方块对齐钢琴正中的哆键，再拖拉调整使得方块完 全覆盖琴键，即可完成投影定位与标定。
5. 根据权利要求4所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在 于：所述定位调整模块的标定参数包括：琴键顶部比例系数topScale，琴键底部比例系数 bottomScale，琴键长度偏移系数longOffset，琴键长度比例系数longScale，定位调整模 块根据标定参数对每个投影机的输出作反梯形校正。
6. 根据权利要求4所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于： 所述乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，设置了符 号模式与手形模式，其中： 符号模式为投影到琴键上的字母+数字的表达方式，并以逐渐靠近边界线的方式动态 显示，以提示弹击琴键的顺序和节奏，并用逐步醒目的色彩区分距离边界的远近，以警示下 一个需要弹奏的琴键； 手形模式为投影到琴键上的手形表达模式，以手部图像方式模拟人手在键盘上的动 作，同时按指法要求对要使用的手指进行加亮效果，学习者易于跟随琴键上的手进行模仿 学习。
【文档编号】G09B15/00GK104217625SQ201410374695
【公开日】2014年12月17日 申请日期:2014年7月31日 优先权日:2014年7月31日
【发明者】李琳, 李书杰, 谢文军, 顾正 申请人:合肥工业大学