专利名称：远程教育学生特征信号提取识别的方法
技术领域：
本发明涉及的是一种信息处理技术领域的检测方法，具体的说，涉及的是一种远 程教育学生特征信号提取识别的方法。
背景技术：
随着Ε-Learning的逐渐发展，远程教育技术已经被社会广泛接受。目前的远程教 育模式中，由于老师和学生之间没有面对面的交流过程，老师无法及时了解学生上课时对 课程内容的感兴趣程度，也无法根据学生在上课过程中表现出的情感状态变化，对授课方 式进行适当调整，这将影响远程教育的教学质量。因此，一种能够通过计算机实时识别学生 情感状态的方法，可以弥补现存远程教育模式中存在的缺陷，提高远程教育的教学效率。经对现有技术的文献检索发现，目前已有的情感识别方法大多使用了语音、面部 表情等特征，然后通过相应的特征提取方法，对使用者的情感状态进行识别。比如，中国专 利申请号200610097301. 6的专利，提出了一种基于支持向量机的语音情感识别方法。此类 技术有许多通病，比如，在实际课堂教学中，学生很少会有明显的面部表情变化，也没有太 多的语音交流过程。在这种缺乏语音和表情变化的环境下，现有的方法都很难适用。
发明内容
本发明针对上述现有技术的不足，提出了一种远程教育学生特征信号提取识别的 方法。使其能够通过对远程教育学生生理信号的预处理，消除由于个体差异以及环境因素 导致的信号偏置，通过利用连续的受限波尔茨曼机和支持向量机，最后通过进行模式实时 识别，能够有效地获得学生对授课方式反馈信息，有利于提高现场远程教育的教学水平。本发明是通过以下技术方案实现的，包括以下步骤步骤一，接受到生理信号传感器的信号后，对生理信号噪声滤波。首先对输入信号进行低通滤波，减弱交流电等外界电磁场对信号的干扰；然后使 用平滑滤波器，对低通滤波后的信号进行平滑滤波，过滤由于学生的轻微肢体运动所可能 引入的高斯随机噪声。所述的低通滤波，是指过滤信号中的高频分量，仅允许其低频分量通过，其作用 是过滤掉高频的外界电磁场对输入信号所造成的干扰。所述的平滑滤波，是指通过对信号点时序领域内的信号进行处理，作为滤波后的 输出信号点，可以减少随机噪声对生理信号的干扰。步骤二，生理信号基准信号的提取和确定。对处于平静状态的学生的生理信号进行采集，持续采集一段时间后，储存提取这段时间内的学生生理信号，以此作为当前的生理信号基准。所述的生理信号基准，是指学生处在不同的环境下或自身生理状态下，由于外在或内在的非情感因素所造成的生理信号的偏置量，准确估计该偏置量可以有效去除由于非 情感因素导致的生理信号的失真。
步骤三，持续采集学生上课时的生理信号，并按固定宽度的时间窗口将生理信号 分段，每段生理信号都作为用于情感阶段的一组信号片段。所述的固定宽度的时间窗口，是指一个固定长度的时间间隔，通过计算该时间间 隔内的生理信号，可以得到一组能够用于情感阶段特征。
所述的信号片段，是指在上述固定时间窗口内的信号集合。一个信号片段是一次 情感阶段所需的数据。步骤四，生理信号特征提取。生理信号特征提取包括时域生理信号特征提取和频域生理信号特征提取如时 域生理信号特征包括皮肤电导、肌肉电反应、血容量搏动、呼吸幅度特征；频域生理信号 特征，即将生理信号通过快速傅里叶变换至频域后，得到包括血容量搏动、心率变异性高 频能量与低频能量比、呼吸频率特征。步骤五，利用连续的受限波尔茨曼机对生理信号特征进行处理。所述的利用连续的受限波尔茨曼机，是指使用计算得到的生理信号特征进行训 练，得到生理信号特征与生理信号特征处理的生成模型，能够根据输入的生理信号特征，采 样得到一组相应的生理信号特征信息。所述的受限波尔茨曼机，通常被用于模式识别中的无监督学习。它包含两层，一 层称为可见层，另一层称为隐层。每一层均由一系列节点组成，这些节点通常被称为“专 家” (expert)，受限波尔茨曼机的节点状态是二值的，即为0或1。每一层内都有一个偏置节 点，其状态不会变化。层与层之间的节点是无向全连接的，而层内的节点之间不存在连接， 即构成一个偶图。每一条连接都被赋予一个权值，用于描述该连接两端的节点之间的关联 度。一般，我们用向量ν表示其可见层状态，向量h表示其隐层状态，向量b为隐层偏置单 元与可见层的连接权重，向量c为可见层偏置与隐层的连接权重，W表示连接隐层和可见层 的权值矩阵。它对数据空间的能量分布建立如下分布 E (ν, h) = exp (-Energy (ν, h))其中，Energy (ν，h) =-bVcVh1Wv将能量归一化，可以得到一可见层与隐层状态的联合概率分布
rj.厂丨,χ1)丨........r,Iiiir Ji Vi/ I/·' J ==---—
>I,xpf -A Γ',',', .,", !I))
} F IX.. f ‘ S K！ · ■."通过建立P (v，h)生成模型，可以认为，在给定ν的情况下，从该模型中采样得到的 h’是ν在该模型下的一个隐含表示，即一组编码。通常这种隐含表示能够学习到可见层数 据中的某些高维抽象特征，对后续的分类器训练和分类有提高准确率的辅助作用。使用受限波尔茨曼机时，首先随机初始化权值矩阵W，偏置向量b和C，然后通过训 练算法，将该模型拟合至实际的数据空间能量分布。目前有较快的算法，称为一致对比散度 (Persistence Contrastive Divergence)法。具体算法为1、维护一组初始为全0状态的负样本ν-；2、初始化W，b，c为随机的较小数值；3、对于每一组训练数据，即正样本v+，通过采样P (h+I ν+)得到一组h+ ；4、对于负样本，通过采样P (h_ I ν-)得到一组h_;
5、通过采样P (ν-|h_)重构一组负样本ν-’，作为下一次采样的负样本；6、计算梯度 g = v+h+T-v-h-T ；7、更新W = ff+rw · g, rw为学习速率；8、重复4至7步，直至达到最大训练周期。所述的连续的受限波尔茨曼机，是指一种对受限波尔茨曼机的推广，其与受 限波尔茨曼机有相同的结构，不同的是，受限波尔茨曼机的每一个节点是一个伯努立 (Bernoulli)分布的随机节点，而连续的受限波尔茨曼机的每一个节点是一个加入高斯随 机噪声的sigmoid节点。其隐层节点的状态为 Nj(OjI)为以0为均值，1为方差的高斯分布，式中， θ ^和θ Η分别为该节点所可能取到的最小和最大值，Bj是一个随机噪声控制参 数，对于可见层节点，可以将…设为固定值，隐层节点的…通过训练算法训练得到。连续的受限波尔茨曼机的训练方法与受限波尔茨曼机的训练方法是基本一致 的1、维护一组初始为全0状态的负样本ν-；2、初始化W，b，c，a为随机的较小数值；3、对于每一组训练数据，即正样本v+，通过计算hj = Φ」(Σ ^ijVi+ σ -Ni (0. 1))， 得到一组h+;4、对于负样本，通过计算hj = Φ」(Σ JWijVi+ σ · Nj (0，1))，得到一组h_ ；5、通过计算Vi = ΦΑ Σ Α」、+。· Ni (0,1))重构一组负样本ν_，作为下一次采 样的负样本；6、计算梯度 g = v+h+T-v-h-T ；7、更新W = ff+rw · g, rw为学习速率；8、更新")::::· jJ · ."hJ + '-' —ra 为学习速率；9、重复4至8步，直至达到最大训练周期。所述的生成模型，是指训练完毕后的连续的首先波尔茨曼机所刻画的P(v，h)， 可以通过采样，从模型中得到符合数据分布概率的ν和h。所述的生理信号特征编码，是指从生成模型中，给定可见层状态向量ν的情况 下，采样得到的隐层状态向量h，即隐层节点的状态向量。步骤六，支持向量机训练。得到生理信号特征编码后，首先对该编码进行学生情感 类别标注，得到标注后的训练数据。然后使用训练数据，通过交叉验证和网格搜索算法，训 练支持向量机模型，得到一组支持向量，以及与其对应的权值向量和一组最优超参数。然后利用连续的受限波尔茨曼机对生理信号特征进行处理，减小由于个体差异带 来的特征差异，再将该信息输入支持向量机训练得到分类器，最后通过支持向量机分类器 进行模式实时识别，获取学生对授课方式反馈信息。
所述的情感类别标注，是指通过实验，获得一系列生理信号特征编码及其对应的 情感类别。所述的交叉验证，是指一种常见的模型性能估计方法。将所有的训练数据分为N 份，然后每次取其中一份作为测试数据，剩余的N-I份作为训练数据，在给定的参数上进行 训练，得到最优模型后用测试数据测试模型性能。N次的平均性能，即分类准确率，作为交叉 验证的输出结果。所述的网格搜索算法，是指一种常见的超参数搜索方法。其做法是，依次在一个 有节的超参数空间内按照固定步长，遍历所有步点上的参数，选取最好的一个超参数点，然 后继续在这个超参数点的邻域内，减小步长继续遍历，直至所设定的最小步长。所得到的超 参数点就是一个对最优超参数点的估计。所述的支持向量机，是指一种可用于模式分类的方法。该方法通过求解特征向量 的最大分界边际，以此降低模型的VC维，提高模型的泛化能力。二分类支持向量机能够解 决二类分类问题，其核心思想为求解如下最优化问题使最大化Ld 受限于 其对偶问题为，最大化Lp 其中Κ(*)为核函数。这是一个二次优化问题，有唯一解。解值不为0的α所对 应的χ称为支持向量，α本身则为权值向量。二分类支持向量机可以通过One-VS-One的方法构建多分类支持向量机。对于一 个N分类问题，可以构建N* (N-I)/2个二分类支持向量机，对于每两个类别的数据都训练一 个相应的二分类支持向量机。对于某个给定的输入，分别输入这N*(N-I)/2个二分类支持 向量机中，通过所有的二分类支持向量机投票决定最终的分类。所述的最优超参数，是指模型中与训练数据无关的一些参数。这些超参数可以通 过网格搜索和交叉验证方法搜索最优解。步骤七，支持向量机分类。使用训练得到的支持向量机模型，将情感特征编码输入 训练得到的支持向量机中，通过多类支持向量机的计算，得到识别信号的分类输出。所述的多类支持向量机，是指通过One-VS-One方法，利用二分类支持向量机构
建的多分类支持向量机。二分类支持向量机的判决函数为 根据判决函数的符号，可以对数据进行分类。最后通过所有二分类支持向量机进 行投票决定最终分类输出。
本发明能够在远程教育现场教学中通过对学生生理信号的预处理，消除由于个体差异以及环境因素导致的信号偏置，然后利用连续的受限波尔茨曼机对生理信号特征进行 处理，减小由于个体差异带来的特征差异，再将该信息输入支持向量机训练得到分类器，最 后通过进行模式实时识别，能够有效地获得学生对授课方式反馈信息，其现场学生对教学 反馈信息准确率可以达到平均82. 6%，有利于提高现场远程教育的教学水平。本发明能够 被广泛应用于远程教学中，在教学中可以直接获取参加远程教学学生对教学接受程度的反 馈信息，及时调整和提高教学节奏和水平，十分有益于远程教学，
图1为本发明工作流程示意图。图2为连续的受限波尔茨曼机的图模型示意图。图3为部分原始生理信号特征与其对应的经过连续的受限波尔茨曼机重构后的 特征。
具体实施例方式下面结合附图，对本发明的实施例作详细说明，本实施例在以本发明技术方案为 前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于 下述的实施例。如图1所示，本实施例包括以下步骤步骤一，生理信号噪声滤波。接受到生理信号传感器的信号后，首先对输入信号进 行低通滤波，减弱交流电等外界电磁场对信号的干扰。然后使用平滑滤波器，对低通滤波后 的信号进行平滑滤波，过滤由于学生的轻微肢体运动所可能引入的高斯随机噪声。所述的生理信号传感器，包括皮肤电导(Skin Conductance)传感器，血容 量搏动(BloodVolume Pulse)传感器，呼吸(Respiration)传感器以及肌肉电反应 (Electromyography)传感器。图2为各个传感器输出信号的典型波形。本实施例中，所选用的传感器的采样频率均为256Hz。所选用的低通滤波器是巴特 沃斯(Butterworth)滤波器，对皮肤电导、血容量搏动以及呼吸信号设计截止频率为50Hz， 增益为1的巴特沃斯滤波器，对肌肉电反应信号设计截止频率为100Hz，增益为1的巴特沃 斯滤波器。所选用的平滑滤波器是均值平滑滤波器，其窗口范围为[-32，32]，具体计算方法 为 步骤二，生理信号基准估计。对处于平静状态的学生的生理信号进行采集，持续采 集一段时间后，储存这段时间内的学生生理信号，以此估计当前的生理信号基准。所述的平静状态，是指令学生处于舒适坐姿，并使其全身放松的状态。本实施例中，采用的方法是，令学生处于舒适坐姿后，播放一段舒缓的音乐，蓝色 多瑙河，并告知学生放松全身。然后持续采集40秒钟的经过滤波后的生理信号数据，在计 算机中储存为一个文件，作为该学生当前的生理信号基准。
步骤三，持续采集学生上课时的生理信号，并按固定宽度的时间窗口将生理信号 分段。每段生理信号都作为用于情感分类的一组信号片段。在本实施例中，固定的时间窗口宽度设置为25秒，即每组信号片段包括了 25秒内 的学生生理信号。为了产生后续步骤所需要的训练数据，本实施例中学生所听的某一堂课 程是经过特殊设计的，具 体为一堂45分钟的英语课程。为了模拟远程教学中的实际情况， 本课程为预先录制，然后在计算机中给学生播放。在课程中，有意设置了一部分能令学生感 兴趣的内容，一部分需要学生思考的内容，一部分会令学生困乏受挫的内容，也有一部分能 够令学生从受挫中重新产生学习兴趣的内容，以便产生所需的四种学生情感状态的数据。步骤四，生理信号特征提取。生理信号特征提取包括了时域生理信号特征提取 和频域生理信号特征提取两个方面，具体如时域生理信号特征包括皮肤电导、肌肉电反 应、血容量搏动、呼吸幅度特征；频域生理信号特征，即将生理信号通过快速傅里叶变换至 频域后，得到包括血容量搏动、心率变异性高频能量与低频能量比、呼吸频率特征。对该两 个方面进行具体的测量和信号提取。步骤五，生理信号特征编码。使用连续的受限波尔茨曼机，使用计算得到的生理信 号特征进行训练，得到生理信号特征与生理信号特征编码的生成模型，能够根据输入的生 理信号特征，采样得到一组相应的生理信号特征编码。所述的连续的受限波尔茨曼机，是指一种对受限波尔茨曼机的推广，其与受 限波尔茨曼机有相同的结构，不同的是，受限波尔茨曼机的每一个节点是一个伯努立 (Bernoulli)分布的随机节点，而连续的受限波尔茨曼机的每一个节点是一个加入高斯随 机噪声的Sigmoid节点。其图模型如图2所示。连续的受限波尔茨曼机的隐层节点的状态为 Nj(Oa)为以0为均值，1为方差的高斯分布，式中， θ ^和θ 别为该节点所可能取到的最小和最大值，…是一个随机噪声控制参 数，对于可见层节点，可以将…设为固定值，隐层节点的…通过训练算法训练不断调整。连续的受限波尔茨曼机的可见层节点的状态为 在本实施例中，可见层节点的数目为11，由10个生理信号特征输入和1个偏置节 点组成。隐层节点的数目为51，由50个生理信号编码节点和1个偏置节点组成。本实施例 中的可见层和隐层单元的值域均为(0，1)，故选取和ΘΗ分别为0和1。可见层和隐层 的偏置节点的状态始终为1。对于高斯随机噪声单元，本实施例中，固定该高斯噪声的方差为0. 2。对于噪声控制变量a，在本实施例中，可见层的a被设置为固定的值，每个节点均 为0.01 ；隐层的a初始化时设置为W，0.01]间的随机小数，后通过训练算法进行不断调整。由于在训练连续的受限波尔茨曼机时，随着训练时间的增加，连续的受限波尔茨 曼机将逐渐趋于平衡状态，所以一定的学习速率衰减可以保证在训练初期追求较大的梯度 下降，加快训练速度，而在训练后期则保证以较小的训练速度，保证学习算法的稳定性。故在本实施例中，rw的初始值为0. 5，以0. 3系数线性递减，计算式如下 式中，t为本次训练周期(一个训练周期定义为完成所有训练数据的一次训练过 程)，MaxTrainingEpoch为最大的训练周期，本实施例中定义为5000。ra的初始值为0. 2，以0. 1系数线性递减，计算式如下 为了令可见层的值域为(0，1)，在本实施例中，需要通过归一化因子对生理信号 特征进行归一化处理，具体计算方法为，在训练数据上，计算各生理信号特征的最大和最小 值，然后按照如下公式进行特征变换 其中Hiindnmaxy需要保存在模型中，模型训练完后，对给定的新特征，均需要用如 上的变换公式进行特征变换，保证数据空间的一致性。为了提高训练速度，本实施例中的训练算法采用了 Mini-batch方法提速，以100 个训练实例为一个训练最小单位，求100个训练实例的平均梯度，然后对模型参数进行修 正，能够提高梯度估计的准确度，并且由于采用矩阵运算可以提高运算速度。训练效果如图3所示，其中绿色曲线是原生理信号特征，蓝色曲线是由连续的受 限波尔茨曼机重构的可见层节点状态。可以看到，根据连续的受限波尔茨曼机的隐层节点 状态重构的可见层节点状态与原生理信号特征十分相似，也就是说，连续的受限波尔茨曼 机的隐层节点状态能够很好得描述原特征向量。步骤六，支持向量机训练。得到生理信号特征编码后，首先对该编码进行学生情感 类别标注，得到标注后的训练数据。然后使用训练数据，通过交叉验证和网格搜索算法，训 练支持向量机模型，得到一组支持向量，以及与其对应的权值向量和一组最优超参数。本实施例中，所涉及的学生情感类别包括“感兴趣的”、“困惑的”、“受挫的”以及 “充满希望的”四种。所述的网格搜索算法，是指一种常见的超参数搜索方法。其做法是，依次在一个 有节的超参数空间内按照固定步长，遍历所有步点上的参数，选取最好的一个超参数点，然 后继续在这个超参数点的邻域内，减小步长继续遍历，直至所设定的最小步长。本实施例 中，采用常见的指数步长式搜索，初始在[2_7，27]范围内，以2倍步长进行搜索。在估计出 粗略的最优化参数范围后，逐步按指数衰减减小步长，截至步长为2°_2倍步长。所述的支持向量机，是指一种可用于模式分类的方法。二分类支持向量机能够解 决二类分类问题，其核心思想为求解如下最优化问题使最大化Ld
受限于 其对偶问题为，最大化Lp 其中Κ(*)为核函数。这是一个二次优化问题，有唯一解。解值不为0的α所对 应的χ称为支持向量，α本身则为权值向量。本实施例中选取的核函数为径向基函数(RBF)，其表达式为 其中σ为一超参数，可以通过网格搜索和交叉验证方法搜索其最优解。二分类支持向量机可以通过One-VS-One的方法构建多分类支持向量机。对于一 个N分类问题，可以构建N* (N-I)/2个二分类支持向量机，对于每两个类别的数据都训练一 个相应的二分类支持向量机。对于某个给定的输入，分别输入这N*(N-I)/2个二分类支持 向量机中，通过所有的二分类支持向量机投票决定最终的分类。所述的最优超参数，是指模型中与训练数据无关的一些参数，包括上述的核函数 中的σ等。这些超参数可以通过网格搜索和交叉验证方法搜索最优解。步骤七，支持向量机分类。使用训练得到的支持向量机模型，将情感特征编码输入 训练得到的支持向量机中，通过多类支持向量机的计算，得到情感分类输出。所述的多类支持向量机，是指通过One-VS-One方法，利用二分类支持向量机构
建的多分类支持向量机。二分类支持向量机的判决函数为 根据判决函数的符号，可以对数据进行分类。最后通过所有二分类支持向量机进 行投票决定最终分类输出。本实施例可以在远程教室环境中应用，学生只需佩戴上相应的传感器设备，在采 集完毕该学生当前的生理信号基准信号后，通过记录该学生上课时的生理信号，按照时间 片段，计算该时间片段的学生生理信号的时域和频域的生理信号特征值，得到关于该学生 在该时间片段内的生理信号特征向量，然后将该特征向量输入已经训练完毕的连续的受限 波尔茨曼机中，通过计算连续的受限波尔茨曼机的隐层状态，得到一组能够表示当前学生 生理信号特征的编码，最后用该编码输入预先训练好的支持向量机中，得到识别学生当前 情感类别输出。连续受限波尔茨曼机配合支持向量机可以达到平均82. 6%的分类准确率， 可以看出，本实施例有较明显的优势。
权利要求
一种远程教育学生特征信号提取识别的方法，其特征在于，包括以下步骤步骤一，接受到生理信号传感器的信号后，首先对输入信号进行低通滤波，接着使用平滑滤波器，对低通滤波后的输入信号进行平滑滤波；步骤二，对处于平静状态的学生的生理信号进行采集，持续采集一段时间后，储存这段时间内的学生生理信号，以此作为当前的生理信号基准；步骤三，持续采集学生上课时的生理信号，并按固定宽度的时间窗口将生理信号分段；步骤四，生理信号特征提取，包括时域生理信号特征提取和频域生理信号特征提取；步骤五，使用连续的受限波尔茨曼机，根据计算得到的生理信号特征进行训练，得到生理信号特征与生理信号特征编码的生成模型，能够根据输入的生理信号特征，采样得到一组相应的生理信号特征编码；步骤六，得到生理信号特征编码后，首先对该编码进行学生情感类别标注，得到标注后的训练数据，然后使用训练数据，通过交叉验证和网格搜索算法，训练支持向量机模型，得到一组支持向量，以及与其对应的权值向量和一组最优超参数；步骤七，使用训练得到的支持向量机模型，将情感特征编码输入训练得到的支持向量机中，通过多类支持向量机的计算，得到识别信号输出。
2.根据权利要求1所述的远程教育学生特征信号提取识别的方法，其特征是，所述生 理信号基准，是指学生由于外在或内在的非情感因素所造成的生理信号的偏置量。
3.根据权利要求1所述的远程教育学生特征信号提取识别的方法，其特征是，所述生 理信号特征提取，是指包括时域生理信号特征提取和频域生理信号特征。
4.根据权利要求1所述的远程教育学生特征信号提取识别的方法，其特征是，所述生 理信号特征编码，是指从训练成功的连续的受限波尔茨曼机所描述的生成模型中，给定可 见层状态向量v，即生理信号特征向量的情况下，采样的到隐层节点的状态向量h。
全文摘要
本发明涉及的是一种信息处理技术领域的远程教育学生特征信号提取识别的方法。通过对学生生理信号的预处理，消除由于个体差异以及环境因素导致的信号偏置，然后利用连续的受限波尔茨曼机对生理信号特征进行处理，减小由于个体差异带来的特征差异，再将该信息输入支持向量机训练得到分类器，最后通过进行模式实时识别，能够有效地获得学生对授课方式反馈信息，其现场学生对教学反馈信息准确率可以达到平均82.6％，有利于提高现场远程教育的教学水平。本发明能够被广泛应用于远程教学中，在教学中可以直接获取参加远程教学学生对教学接受程度的反馈信息，及时调整和提高教学节奏和水平，十分有益于远程教学，在分类准确率上有明显的优势。
文档编号G06K9/62GK101840506SQ20101014091
公开日2010年9月22日 申请日期2010年4月8日 优先权日2010年4月8日
发明者周家骥, 申丽萍, 申瑞民, 罗全锋, 罗恒 申请人:上海交通大学