一种基于体感交互的京剧教学系统的制作方法
【专利摘要】一种基于体感交互的京剧教学系统，包括数据采集模块、数据处理模块和用户界面交互模块，数据采集模块通过体感交互设备获得用户的关节信息和声音数据；数据处理模块实现用户对系统的逻辑控制显示与用户动作同步的用户模型，进行京剧标准模型与用户模型的匹配与反馈，获取用户声音数据，进行标准唱腔与用户音频的匹配与反馈；用户界面交互模块通过对用户手势的识别进行操作界面显示与切换、京剧教学视频显示、动作表演评价显示以及音频打分显示。本发明的京剧教学系统全程体感操作，识别率高，无需键盘、鼠标作为输入。用户模型与实际用户姿势同步率高，且无抖动、跳帧现象，不受体感捕捉的硬件限制及骨骼追踪时的环境噪声影响。
【专利说明】
-种基于体感交互的京剧教学系统
技术领域
[0001] 本发明设及体感交互领域，特别是设及一种基于体感交互的京剧教学系统。
【背景技术】
[0002] 京剧是中国国粹，代表着中华民族的传统文化，传承并发扬京剧有着深远的意义。 然而，京剧教学的过程较为繁杂，唱、念、坐、打每个环节都需要相应的特殊教学步骤，专业 性较强，且需要学习者在教师指导下，穿着专业的服装道具W配合练习。诸多因素导致京剧 的教学成本过高，不利于京剧运类传统文化在年轻一代的传承与发扬。
[0003] 京剧教学系统主要分为身体姿势教学与唱腔音调教学两个部分，相关技术主要包 括3D模型擅染与平滑技术、手势识别技术、音频匹配技术与人体模型匹配与反馈技术等。
[0004] 现有的骨骼关节点捕捉技术的数据量每秒是恒定的，当用户肢体运动过快时，接 收到的骨骼关节点数据在=维空间中跳跃幅度较大，有些模型擅染与平滑算法不能够很好 地处理此问题，导致模型运动僵硬或产生跳帖现象。现有手势识别算法的主要缺点在于识 别成功率与准确率较低，当用户的手势过于复杂或相似度较高时，现有算法不能够区别不 同手势之间的差异，准确地识别出不同复杂度的手势，因此加大了用户的体感操作难度。目 前主流音频匹配技术主要是基于频率的匹配，对用户声音的能量处理较少，而用户的音频 质量是由频率与能量共同决定的，对能量处理的缺失降低了匹配的准确率。此外，现有技术 不能够较好地针对环境噪声进行过滤，导致匹配结果易受到环境影响，不能够真实地体现 用户的歌唱水平。
[0005] 因此，目前急需一种全程体感操作，并集京剧模型显示、人体同步控制、表演姿势 动作校正和京剧唱腔校正于一体的京剧教学系统。
【发明内容】
[0006] 本发明的目的是提供一种全程体感操作、用户模型流杨、评价矫正精准的基于体 感交互的京剧教学系统。
[0007] 为实现上述发明目的，本发明提供的技术方案是：
[000引一种基于体感交互的京剧教学系统，包括数据采集模块、数据处理模块和用户界 面交互模块，所述数据采集模块通过体感交互设备获得用户的关节信息和声音数据，所述 体感交互设备与装载于Windows或微软XBOX平台中的感交互软件之间进行数据的通信；
[0009] 所述数据处理模块通过手势识别算法，实现用户对系统的逻辑控制;在表演场景 中，获取用户关节数据，显示与用户动作同步的用户模型，进行京剧标准模型与用户模型的 匹配与反馈;获取用户声音数据，进行标准唱腔与用户音频的匹配与反馈；
[0010] 所述用户界面交互模块通过对用户手势的识别，进行操作界面显示与切换、京剧 教学视频显示、动作表演评价显示W及音频打分显示。
[0011] 进一步地，在数据采集模块中，定义多个骨骼关节点的=维坐标，体感交互设备实 时地获得用户关节位置和旋转参数;通过用户佩戴的耳麦将音频数据传输至计算机的音频 接收器，获得用户演唱的声音数据。
[0012] 进一步地，在数据处理模块中，基于线性指数平滑算法，利用霍尔特指数平滑来减 少关节点的抖动，通过设置平滑值和修正值，减少骨骼关节点在帖与帖之间的跳跃，进行用 户模型动作的擅染与平滑。
[0013] 进一步地，在数据处理模块中，所述手势识别算法包括计算骨骼关节点间的距离， 公式为
其中，X、y、z表示关节点的=维坐 标，D表示A、B点之间的距离；
[0014] 计算两个骨骼关节点与基准点的X轴的角度大小0，公式为
[00巧]
,其中，A X为两点间X轴坐标差A X = I X1-X21， Ay为两点间y轴坐标差Ay= Iy广y2 I ;
[0016] 将常用手势定义为不同关节点间的角度条件，设定阔值范围，并建立常用手势库， 用户动作落入手势库阔值范围内，判断手势匹配成功。
[0017] 进一步地，在数据处理模块中加入定时器，为每个逻辑控制手势确定有效时间，使 得逻辑控制手势仅在一定时间内有效，超出或不足限定时间则无效，由此区别用户的手势 用于逻辑控制还是普通手势。
[0018] 进一步地，所述线性指数平滑算法使用两个基本平滑公式和一个预测公式对骨骼 动作进行平滑，其中两个基本平滑公式分别对时间序列的两种因素进行平滑公式如下：
[0019] St = QYt+(I-Q)(Sw-Bt-I),
[0020] Bt= 丫（St-St-I) + (1-丫化t-i，
[0021]
[0022] 其中St表示对时间趋势因素的平滑变量，Bt表示对趋势增量的平滑变量，a表示平 滑系数、丫表示修正系数，T表示预测系数。
[0023] 进一步地，在数据处理模块中所述标准模型与用户模型的匹配，通过标准京剧动 作存储一定时间长度内京剧标准模型在坐标系下的关节点位置、旋转数据，将用户模型的 关节点位置、旋转数据与京剧标准模型的数据进行匹配，根据设定的若干关键部位的偏移 角度数据，进行打分，评分等级分为专家、优秀、良好和尚需努力，将打分结果在软件中进行 反馈。
[0024] 进一步地，在数据处理模块中，矫正矢量计算公式3 , 并通过矫正矢量计算偏移夹角，通过偏移夹角和矫正矢量数据，在软件中显示矫正矢量，提 醒用户动作姿势的偏移。
[0025] 进一步地，在数据处理模块中，所述标准唱腔与用户音频的匹配与反馈，将标准唱 腔库中的音频样例和用户音频都按照一定的时间间隔分为多个帖，进行音频短时能量的特 征提取，根据每一帖的短时平均能量形成短时能量包络，将包络切分成不同的能量包络单 元，利用ONSET检测法，形成能量包络单元图，选择每个能量包络单元的起始点作为匹配操 作的点；用切分点位置和切分点的概率描述能量包络单元图；计算匹配概率和音频片段相 似值;将相似值与设定若干等级的阔值进行比较，每个等级阔值对应相应的得分，若相似值 在某个阔值范围内，则显示用户音频片段的得分。
[0026] 进一步地，在用户界面交互模块中，所述操作界面显示与切换通过手势识别的判 定结果来对界面进行切换，W完成对系统的逻辑控制，系统有单人模式，双人模式；
[0027] 所述京剧教学视频显示，通过手势识别的判定结果用户选择曲目，显示京剧教学 视频，用户根据此教学视频进行动作学习。
[0028] 进一步地，在用户界面交互模块中，还包括通过手势识别的判定结果显示经由动 作擅染和平滑处理，显示与用户实时同步的用户模型。
[0029] 进一步地，在用户界面交互模块中，通过3D建模软件MAYA设计单人模式和双人模 式的应用场景，分别为四合院和宫殿。
[0030] 采用上述技术方案，本发明具有如下有益效果：
[0031] 本发明的京剧教学系统全程体感操作，识别率高，无需键盘、鼠标作为输入。本系 统采用了鲁棒、高效的手势识别算法，通过定义识别率高且不易混淆的常用手势，建立姿势 库，当系统获取人体骨骼关节信息后，能够进行快速姿势匹配，并且添加定时器，仅当满足 一定时间长度的姿势才识别为人体交互姿势，提升了整体动作识别的准确度，并降低了误 识别的概率。全程体感操作能够提升用户的使用体验，不需要间断地使用鼠标、键盘等操作 完成逻辑控制，只需简单的肢体动作，即可操控整个系统流程，操作简单，易学易用。
[0032] 本发明用户模型与实际用户姿势同步率高，且无抖动、跳帖现象。由于体感捕捉的 硬件限制及骨骼追踪时的环境噪声影响，当用户动作姿势过快时，京剧模型可能会产生抖 动与跳帖现象。本系统采用了基于线性指数平滑算法的思想，并通过霍尔特指数平滑来减 少关节点的抖动，并能够根据用户的动作幅度，自适应调整平滑值，修正值，使得用户模型 的动作更流杨。
[0033] 本发明的系统寓教于乐，能够给予用户姿势动作、演唱反馈与评价。通过离线记录 的标准京剧角色动作与用户在线姿势进行匹配，当用户动作失误时，能够给予用户W动作 矫正提醒，并在画面显示，帮助用户矫正身体姿态。当曲目结束后，系统会根据用户整体的 动作标准程度进行评级，并且系统采用基于能量包络的音频匹配方法，将离线标准唱腔与 用户演唱音频的频率和能量同时进行匹配，能够全面地估计音频匹配度。由此，系统协助用 户不断提升京剧的动作表演与演唱水平。
[0034] =维场景与京剧人物模型逼真，能够给予用户身临其境之感。本发明的=维场景 与京剧人物模型都采用S维建模软件MAYA进行设计，不论是单人模式的贵妃，或是双人模 式的霸王和虞姬，在服装，配饰，发型，脸谱等方面的设计都是细致入微，尽量地还原专业的 京剧装扮。同时，原始教学音频也采用京剧大师的唱段，能够给用户带来良好的视觉、听觉 体验。
[0035] 本发明京剧教学系统运行稳定流杨，没有画面卡顿现象，使得用户能够轻松地操 作与娱乐。由于本系统全程采用简洁、高效的手势识别算法，能够不产生较大负载的情况下 完成用户与系统的体感交互，减少了系统资源占用。另一方面，当用户动作变化过于迅速 时，系统采用基于线性指数平滑算法的思想，通过霍尔特指数平滑来保持模型运动的连续 性，消除抖动感，为用户呈现流杨的观感。
[0036] 本发明系统具有较强的互动参与性，支持多人协同教学模式。用户可W选择进行 单人模式或是多人模式，当用户选择多人模式时，可W相互协同进行京剧表演，更具乐趣。 此外，针对于可能出现的用户身体相互遮挡的情况，设定遮挡阔值来判定是否存在骨骼遮 挡。当遮挡发生时，匹配系统采用鲁棒的动作估计算法，根据遮挡前数帖骨骼关节运动数据 来估计用户当前可能位置，由此消除了短时间遮挡引起的人物模型剧烈形变的现象。
【附图说明】
[0037] 图1为本发明系统模块结构图；
[0038] 图2为本发明一个实施例中动作表演与音频的匹配打分流程图；
[0039] 图3为人体骨骼关节点示意图。
【具体实施方式】
[0040] 为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的结构图及具体实施例仅用W解释本 发明，并不用于限定本发明。
[0041 ] 实施例1
[0042] 图1为本发明系统模块结构图，如图1所示，本发明设及一种基于体感交互的京剧 教学系统，包括数据采集模块、数据处理模块和用户界面交互模块，数据采集模块通过体感 交互设备获得用户的关节信息和声音数据，体感交互设备与装载于Windows或微软XBOX平 台中的体感交互软件之间进行数据的通信；
[0043] 数据处理模块通过手势识别算法，实现用户对系统的逻辑控制;在表演场景中，获 取用户关节数据，显示与用户动作同步的用户模型，进行京剧标准模型与用户模型的匹配 与反馈;获取用户声音数据，进行标准唱腔与用户音频的匹配与反馈；
[0044] 用户界面交互模块在通过对用户手势的识别进行操作界面显示与切换、京剧教学 视频显示、动作表演评价显示W及音频打分显示。
[0045] 优选地，在用户界面交互模块中，操作界面显示与切换通过手势识别的判定结果 来对界面进行切换，W完成对系统的逻辑控制，系统有单人模式，双人模式；
[0046] 京剧教学视频显示，通过手势识别的判定结果用户选择曲目，显示京剧教学视频， 用户根据此教学视频进行动作学习。
[0047] 另一优选实施方案在用户界面交互模块中，还包括通过手势识别的判定结果显示 经由动作擅染和平滑处理，显示与用户实时同步的用户模型。
[0048] 在用户界面交互模块中，通过3D建模软件MAYA设计单人模式和双人模式的应用场 景，分别为四合院和宫殿。
[0049] 实施例2
[0050] 图2为动作表演与音频的匹配打分流程图，如图2所示，在数据采集模块中通过硬 件设备来获取用户的关节信息和声音信息，W便后续的数据处理。
[0051] 获取关节信息：经由Kinect体感交互系统，实时地获取到用户的人体20个关节位 置、旋转参数。
[0052] 获取音频信息:为用户佩戴无线耳麦，并在PC机安装音频接收器，获取用户演唱声 音数据。
[0053] 在数据处理模块中通过由数据采集模块得到的数据进行处理，通过手势识别算 法，实现用户对系统的逻辑控制，在表演场景中，系统自动获取用户的关节数据，显示与人 体模型同步的京剧模型，同时进行标准模型与人体模型的匹配与反馈，W及标准唱腔与用 户音频匹配。
[0054] 本发明完全基于手势操控，当用户进入主界面后，需要通过手势对整个系统进行 逻辑控制，如图2所示。系统采用简单并常用的人体姿势用W逻辑控制，举例来说:左右手滑 动一一曲目选择、右手上举一一确认曲目、双手放平(T pose) -一切换模式、双手上举一一 退出。用户可W在主菜单通过左右滑动选择曲目，分别为单人模式的贵妃醉酒和双人模式 的霸王别姬，上举右手W选择曲目，进入表演场景。进入场景后分为原声模式与伴唱模式， 可使用T pose来进行相互切换。手势识别算法的实现过程如下：
[0055] 优选地，通过设备硬件获取人体20块骨骼关节点的=维坐标，人体骨骼关节点图 如图3所示，与命名见表1:
[0056] 表1:人体骨骼关节点编号和名称 「AAC-71
[005引计算骨骼关节点间的距离：设A(xl，yl，zl)，B(X2，y2，Z2)为空间坐标系的2个点，利 用欧式距离公式：
[0化9]
[0060] 可W求出两点之间的距离D。
[0061] 计算骨骼关节点间的角度:此算法W-个骨骼关节点(骨骼关节点A)为基准点，再 确定另外一个骨骼关节点(骨骼关节点B)，求出两个骨骼关节点与基准点的X轴的角度大小 白。
[0062] 根据空间坐标系的相对关系，计算角度0，即：
[0063]
[0064] 其中，Ax为A、B两点X轴坐标差Ax= Ix广X21，Ay为A、B两点y轴坐标差Ay= Iy广 72 I O
[0065] 定义人体常用手势:根据骨骼关节点间的角度大小，再确定骨骼关节点间的夹角 关系，即可定义常用的手势。设01(1 = 1，2,3,4...)为骨骼关节点间的角度。设定常用手势 中所用到的骨骼关节点间夹角为：91 =(左肩，左肘），02=(左肘，左腕），03=(右肩，右肘）， 04=(右肘，右腕）。为满足不同精度要求，设定角度阀值T(默认t = 15°)t。则常用手势定义 满足的角度条件为：
[0066] A =(目1，目2,目3,目4，T)
[0067] 常用手势定义如表2所示：
[0068] 表2常用手势定义
[0069]
[0070]
[0071] 人体手势匹配:根据上述常用手势的定义，通过大量测试后设定适当阀值，设定常 用手势库。遍历所有角度，根据公式判断4个角度是否在规定阀值范围内，若在，则手势匹配 成功。判断公式为：
[0072]
[0073] 其中，01为实际测量角度，Oi为设定的定义角度。
[0074] 添加定时器:为了防止误识别，即误将用户的普通动作识别成人机交互手势，我们 加入一个定时器，为每个人机交互手势确定有效时间，使得人际交互手势仅在一定时间内 有效，超出或不足限定时间则无效，由此区别用户的手势用于人机交互还是普通手势。
[0075] 在用户与3D模拟京剧人物的匹配过程中，由于Kinect的硬件限制W及Kinect在进 行骨骼追踪时受到的环境噪声影响，当用户一串动作时会出现骨骼关节点的相对位置在帖 与帖之间变化较大时产生抖动或跳跃，造成虚拟动作的不真实。该模炔基于线性指数平滑 算法的思想，通过霍尔特指数平滑来减少关节点的抖动，解决了 Kinect传感器无法保证骨 骼关节所产生的持续准确性问题，优化Kinect生成的原始骨骼信息，提高了用户与3D模拟 京剧人物模型动作的实时匹配度。
[0076] 骨骼数据采集:通过Kinect采集人体数据，获取用户人体骨骼运动数据，保存于 NUI_SKELETON_FRAME 骨骼帖中。
[0077] 设置PrediCtion(预测帖大小）、JitterRadius(抖动半径）、MaxDeviationRadius (最大偏离半径)等参数。其中参数Prediction用于设定未来预测帖的数目，防止数据变化 快时导致过冲现象;参数JitterRadius用于设置修正的半径，决定从原始半径消除抖动的 积极程度，一旦关节点"抖动"超过了该设定值，将会被纠正到该半径之内；参数 MaxDeviationRadius用来和参数JitterRadius-起设定抖动半径的边界，任何超过运一半 径的点不会认为是抖动产生的，而会被认为是一个新的点。Predi Ct ion、JitterRadius、 MaxDeviationRadiuss是算法预期要求的数据，不需要自适应调整，根据经验与实验结果， 分别取值 〇.5f、0.05f、0.04f。
[0078] 自适应调节Smoothing(平滑值，记为参数a)、Correction(修正值，记为参数丫）两 个平滑参数。参数Smoothing用于设定处理骨骼数据帖的平滑量，0表示不平滑，值越趋近于 1表示平滑效果越好;参数Correction用于设定平滑的校正量，取[0，1 ]之间，值越大表示修 正速度越快。当关节运动速度不快时，视觉对运动的关节轨迹较为敏感，较多地考虑消除关 节的抖动，采用较小的a和丫参数W采取更积极的平滑策略，由于是慢速运动，可将丫取较 小的值时所带来的延时抵消；相反地，为了能更好的相应输入变化，对于关节的高速运动， 应选取较大数值的a和丫参数。
[0079] 具体方法为，预设两组a值和丫值，一组对应于关节低速运动，设为aiDw与丫 Idw，一 组对应于关节高速运动，设为Qhigh与丫 high,并且设置了两组速度的临界值vi?和Vhigh。对于 每一个输入的关节节点Xn,对其的速度可判定为Vn= IXn-Xn-ll，因为关节点的速度越快，偏 移的距离越长。由此构建a与关节运动速度Vn的关系，如W下公式所示：
[0080
[0081
[0082
[0083] 当运动的速度加快，即相邻两帖的距离变大超过阔值时，运时提高a、丫的值，W加 大对骨骼运动的平滑。反之当运动的速度减慢，即相邻两帖的距离小到低于阔值下限时，降 低曰、丫的值。当运动速度介于上、下限之间时，〇、丫值根据差值结果变动。
[0084] 计算平滑后的骨骼关节点数据：结合经验参数Prediction、JitterRadius、 MaxDeviat ionRadius和自适应参数Smoothing ,Correct ion,计算平滑后的骨骼关节点数 据。本算法结合霍尔特指数对骨骼关节点数据进行平滑，使用两个基本平滑公式和一个预 测公式对骨骼动作进行平滑，其中两个基本平滑公式分别对时间序列的两种因素进行平 滑，具体的公式如下：
[0085] 对时间趋势因素的平滑式：St = CtYt+ (1 -a)(St-广Bt-I)
[0086] 对趋势增量的平滑式:Bt= 丫（St-St-i) + (l-丫化t-i
[0087] 预测公式如下：
[008引
[0089] 其中，St表示对时间趋势因素的平滑变量，Bt表示对趋势增量的平滑变量，a表示平 滑系数、丫表示修正系数，T表示预测系数。
[0090] 优选地，本发明为每个表演曲目中的每个京剧人物模型，邀请专业的京剧演员，通 过软件将标准的京剧动作进行记录存储，得到一定时间长度范围内的京剧标准模型的世界 坐标系下的关节点位置、旋转数据。用户使用时，将用户事实的骨骼数据与标准骨骼数据进 行匹配，并进行动作反馈。W肘关节为例，进行方法说明。
[0091] 计算相邻关节的空间矢量:通软件Kinect,获取用户肘关节实时坐标为(x，y，z)， 其父关节（即肩关节)的实时坐标为(xo，yo，zo)，由此得到上臂矢i
标 准模型的肘关节坐标，y/ )，W及父关节坐标（x%，y%，z%)，得到上臂矢量
[0092] 计算矢量夹角：令矢量義与矢量I始点相同，都为玩家的肩关节坐标，计算空间夹 角，如下公式所示：
[0093]
[0094] 计算矫正矢量：由于得到了空间中的始点相同的两个空间矢量I与sf，因此能够确 定在=维空间的唯一平面a。在此平面上，过肘关节与其父关节连线的中点，做垂直于矢量I 的空间直线，由此确定了指向标准骨骼位置的矫正矢量萨。
[00M]同理，由于在进行京剧表演时，需要被提示矫正的身体部位为上臂、前臂、头部、大 腿，小腿，对运几个身体部位的相应关节点计算偏移夹角与矫正矢量。系统中设定当骨骼角 度相差超过15°时，将在画面中绘制矫正矢量，由此提醒玩家身体动作姿势的偏移。
[0096] 当用户的表演结束后，根据运几个关键部位的偏移角度数据，进行打分。各身体部 位动作平均偏移角度小于10°为专家，10°至20°为优秀，20°至40°为良好，40° W上为尚需努 力。
[0097] 本发明采集专业京剧从业者的京剧唱腔，并根据用户在线演唱的音频数据，提供 一种音频打分方法，用于将待测音频流片段与标准音频库中音频样例的音频片段相比较， 从而为待测音频流片段进行打分。
[0098] 选择匹配操作的点:对待测试音频流片段W及标准音频库中的音频样例都按照一 定的时间间隔分为多个帖，然后进行音频短时能量的特征提取，根据每一帖的短时平均能 量形成短时能量包络。根据音频的短时能量特征，将包络切分成不同的能量包络单元，利用 ONSET检测法，形成能量包络单元图。再在此图上，选择每个能量包络单元的起始点作为匹 配操作的点。
[0099] 将数据进行数对表示:将每个音频样例及待测音频流片段分别用切分点和概率对 的数对形式表示。例如，用U表示一个音频样例，它的表示形式为
其中，Ul，。2, ...，Um为切分点的位置，Pl，P2, ...，Pm表示切 分点概率。同样的，对于待测音频流片段也可W用数对的形式表示，用V表示该数据，则V = (乂1，91)，（乂2,92)，...，（乂。，9。），其中，乂1，91分别表示切分点位置和每个切分点的概率。运种 数对表示形式实质上是能量包络单元图的另一种表达形式。
[0100] 计算匹配概率:在音频样例的能量包络单元中存在一个切分点Ui，而在待测音频 流片段中存在一个切分点Vj,当满足条件k-Vj I <T时，认为Ui为匹配点；其中，所述T是一个 预先定义的阔值。匹配点对应的匹配概率为切分点Ui的切分点概率和切分点Vj的切分点概 率的较小值。
[0101] 计算音频片段相似值:对上述的匹配点W及对应音频样例中的相应切分点，计算 召回率R与精确率P，进而计算相似性度量函数的值。
[0102] 召回率R的计算公式为：
[0103]
[0104] 其中，U表示音频样例，V表示待测音频流片段中的一段，Pm表示所述音频样例的能 量包络单元中的切分点概率，P^k表示匹配点的匹配概率。
[01化]結施燕P的A傳/A井责.
[0106]
[0107] 其中，U表示音频样例;V表示待测音频流片段中的一段;qn表示所述待测音频流片 段中的一段的切分点概率;p/ k表示匹配点的匹配概率。
[0108] 相似性度量函数的计算公式为：
[0109]
[0110] 计算匹配分数:将相似值与预先设定的多个等级阔值进行比较，每个等级阔值对 应相应的得分，若所述的相似值在某个阔值范围内，则显示待测音频片段的得分。
[011U 实施例3
[0112] 本发明的用户界面交互模块中，获取数据处理模块的计算结果，在屏幕上显示相 应交互信息。包括W下(a巧IKh)功能。
[0113] (a)界面显示与切换
[0114] 当用户进入系统时，通过手势识别的判定结果来对界面进行切换，W完成对系统 的逻辑控制，系统有单人模式，双人模式等。
[0115] (b)京剧模型同步显示
[0116] 经由京剧模型动作擅染与平滑的处理，显示与用户实时同步的京剧模型。
[0117] (C)模型矫正提示
[0118] 通过标准模型与用户模型匹配的结果，获取到反馈矢量，并在=维空间中绘制反 馈矢量，显示在画面中。
[0119] (d)京剧教学视频显示
[0120] 用户选择曲目后，屏幕左上角会显示京剧教学视频的窗口，用户可W根据此教学 视频进行动作表演。
[0121] (e)S维场景显示
[0122] 本系统通过3D建模软件MAYA设计单人模式和双人模式的应用场景，分别为四合院 和宫殿。
[0123] (f)字幕显示
[0124] 在用户表演时，屏幕的中下方将实时地显示与教学视频同步的京剧唱词字幕，方 便用户演唱。
[0125] (g)动作表演评价
[0126] 曲目结束后，系统根据整个曲目中用户的表演动作匹配结果，显示其动作表演的 评价结果。
[0127] 化)音频打分显示
[01%]当曲目结束后，系统将显示标准唱腔与用户音频匹配的评价分数。
[0129] W上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能 因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说， 在不脱离本发明构思的前提下，还可W做出若干变形和改进，运些都属于本发明的保护范 围。因此，本发明专利的保护范围应W所附权利要求为准。
【主权项】
1. 一种基于体感交互的京剧教学系统，包括数据采集模块、数据处理模块和用户界面 交互模块，其特征在于:所述数据采集模块通过体感交互设备获得用户的关节信息和声音 数据，所述体感交互设备与装载于Windows或微软XBOX平台中的感交互软件之间进行数据 的通信； 所述数据处理模块通过手势识别算法，实现用户对系统的逻辑控制;在表演场景中，获 取用户关节数据，显示与用户动作同步的用户模型，进行京剧标准模型与用户模型的匹配 与反馈;获取用户声音数据，进行标准唱腔与用户音频的匹配与反馈； 所述用户界面交互模块通过对用户手势的识别，进行操作界面显示与切换、京剧教学 视频显示、动作表演评价显示以及音频打分显示。2. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在数据采集模块 中，定义多个骨骼关节点的三维坐标，体感交互设备实时地获得用户关节位置和旋转参数； 通过用户佩戴的耳麦将音频数据传输至计算机的音频接收器，获得用户演唱的声音数据。3. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在数据处理模块 中，基于线性指数平滑算法，利用霍尔特指数平滑来减少关节点的抖动，通过设置平滑值和 修正值，减少骨骼关节点在帧与帧之间的跳跃，进行用户模型动作的渲染与平滑。4. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在数据处理模块中，所 述手势识别算法包括计算骨骼关节点间的距离，公式， 其中，x、y、z表示关节点的三维坐标，D表示A、B点之间的距离；计算两个骨骼关节点与基准点的X轴的角度大小Θ，公式为，其中，Δ X为两点间X轴坐标差Δ X= I X1-X2 I，Δ y为 两点间y轴坐标差Δ y = I yi_y21 ; 将常用手势定义为不同关节点间的角度条件，设定阈值范围，并建立常用手势库，用户 动作落入手势库阈值范围内，判断手势匹配成功。5. 根据权利要求4所述的基于体感交互的京剧教学系统，其特征在于:在数据处理模块 中加入定时器，为每个逻辑控制手势确定有效时间，使得逻辑控制手势仅在一定时间内有 效，超出或不足限定时间则无效，由此区别用户的手势用于逻辑控制还是普通手势。6. 根据权利要求3所述的基于体感交互的京剧教学系统，其特征在于:所述线性指数平 滑算法使用两个基本平滑公式和一个预测公式对骨骼动作进行平滑，其中两个基本平滑公 式分别对时间序列的两种因素进行平滑公式如下： St = aYt+( 1_α) (St-rBt-1)， Bt= γ (St-St-i) + (l-T )Bt-i,其中St表示对时间趋势因素的平滑变量，Bt表示对趋势增量的平滑变量，a表示平滑系 数、γ表示修正系数，T表示预测系数。7. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在数据处理模块 中所述标准模型与用户模型的匹配，通过标准京剧动作存储一定时间长度内京剧标准模型 在坐标系下的关节点位置、旋转数据，将用户模型的关节点位置、旋转数据与京剧标准模型 的数据进行匹配，根据设定的若干关键部位的偏移角度数据，进行打分，评分等级分为专 家、优秀、良好和尚需努力，将打分结果在软件中进行反馈。8. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在数据处理模块 中，矫正矢量计算公式并通过矫正矢量计算偏移夹角，通过 偏移夹角和矫正矢量数据，在软件中显示矫正矢量，提醒用户动作姿势的偏移。9. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在数据处理模块 中，所述标准唱腔与用户音频的匹配与反馈，将标准唱腔库中的音频样例和用户音频都按 照一定的时间间隔分为多个帧，进行音频短时能量的特征提取，根据每一帧的短时平均能 量形成短时能量包络，将包络切分成不同的能量包络单元，利用ONSET检测法，形成能量包 络单元图，选择每个能量包络单元的起始点作为匹配操作的点；用切分点位置和切分点的 概率描述能量包络单元图；计算匹配概率和音频片段相似值;将相似值与设定若干等级的 阈值进行比较，每个等级阈值对应相应的得分，若相似值在某个阈值范围内，则显示用户音 频片段的得分。10. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在用户界面交 互模块中，所述操作界面显示与切换通过手势识别的判定结果来对界面进行切换，以完成 对系统的逻辑控制，系统有单人模式，双人模式； 所述京剧教学视频显示，通过手势识别的判定结果用户选择曲目，显示京剧教学视频， 用户根据此教学视频进行动作学习。11. 根据权利要求3所述的基于体感交互的京剧教学系统，其特征在于:在用户界面交 互模块中，还包括通过手势识别的判定结果显示经由动作渲染和平滑处理，显示与用户实 时同步的用户模型。12. 根据权利要求1所述的基于体感交互的京剧教学系统，其特征在于:在用户界面交 互模块中，通过3D建模软件MAYA设计单人模式和双人模式的应用场景，分别为四合院和宫 殿。
【文档编号】G06F3/01GK106020440SQ201610292437
【公开日】2016年10月12日
【申请日】2016年5月5日
【发明人】王佳悦, 郭宗义, 黄辉煌, 范友强
【申请人】西安电子科技大学