一种多模态的非接触情感分析记录系统的制作方法
【专利摘要】本发明公开了一种基于多模态的非接触情感分析记录系统，其特征是组成包括：用于完成从外界环境接收声音的声音接收模块、用于获取语音的音频情感标注信息的声音特征提取与处理模块、用于完成语音内容到文本内容的转换的语音识别模块、用于获取语音的文本情感标注信息的文本特征提取与处理模块、用于完成所有数据处理，存储，调度任务的综合调度模块、用于完成检测到的语音情感状态的显示的显示模块和用于完成时间记录和提供时间标签的功能的时钟模块。本发明能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。
【专利说明】一种多模态的非接触情感分析记录系统
【技术领域】
[0001] 本发明涉及人机情感交互领域，具体地说是一种多模态的非接触情感分析记录系 统。
【背景技术】
[0002] 语言是人与人之间交流最重要的工具，人类的话语中包括了文本符号信息，还饱 含了人们的情感，从语音中进行情感信息特征的人工处理，在人工智能领域具有重要意义。 人类通过语言来交流，人类的情感是通过多通道多模态表达的，例如通过语言内容、音频、 表情和肢体动作等表达情感，语音情感识别就是从语音信号中识别出说话人的情感信息。
[0003] 目前的研究主要从语音韵律中提取情感特征信息，语音情感识别系统主要依靠语 音的低层次声学特征来进行识别，具有代表性的特征是基音频率、共振峰、短时平均过零率 和发音持续时间等，这种方法用往往容易导致特征维数较高，模式识别研究表明，准确率不 与特征空间的维数成正比，且在高维情况下泛化能力反而会减弱，甚至导致维数灾难。
[0004] 也有从语言学的角度考虑语音信号中的情感分析，考虑语音文本的语义成分，利 用语句的语义和语法提供说话人的情感线索，其中基于的参数主要是情感用语、冗长程度、 目的频率、对话历史、词的频率等内容；此方法的不足之处为需要大量的知识，这首先给语 音识别就带来了难度，进行语义分析，又需要相关语言知识，这又给情感分析增加了难度， 方法复杂，在现阶段难以实现。
[0005] 在语音情感信息处理领域几乎利用了所有的模式识别手段，例如人工神经网络 (ANN)，隐马尔可夫模型（HMM)，混合高斯模型（GMM)，支持向量机（SVM)等，但是如果将所有 的这些成果放在一起比较，可以发现特征提取的手段极其局限，几乎所有研究都是采用韵 律特征或者这些韵律特征的线性组合和变换作为研究对象，大多只是在音频这个模态进行 特征提取与分析，使语音情感特征总是局限在一个较小的范畴，不够全面。
【发明内容】
[0006] 本发明克服了现有技术的不足之处，提供一种基多模态的非接触情感分析记录系 统，能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。
[0007] 本发明为解决技术问题采用如下技术方案：
[0008] 本发明一种基于多模态的非接触情感分析记录系统的特点是组成包括：声音接收 模块、声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、 显示模块和时钟模块；
[0009] 所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征 提取与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识 另IJ，获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声 首中的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关 键词和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块；
[0010] 所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词 时间标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量Ε'和动 态程度副词向量Q' ；并在所设定的周期Τ内统计单位时间内识别到的情感关键词的数量， 从而获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键 词语速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键 词语速特征修正系数L ;由所述动态情感向量Ε'、动态程度副词向量Q'和文本情感关键词 语速特征修正系数L构成文本情感标注信息并传递给所述综合调度模块；
[0011] 所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音 量序列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模 块给予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期Τ内的音 频进行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量 阈值Η和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定， 对超出所述情感音量阈值Η和/或情感幅值阈值β的音频进行标注获得音频情感标注信 息并传递给综合调度模块；
[0012] 所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能 决策获得语音情感权值W并传递给显示模块进行显示。
[0013] 本发明多模态的非接触情感分析记录系统的特点也在于：
[0014] 所述语音识别模块中利用ASR方法进行候选词识别是按如下步骤进行：
[0015] 步骤1、在所述语音识别模块中设置由Ν个待识别的候选词构成的候选词列表，所 述候选词列表包括程度副词和X种情感关键词；设定每一种情感关键词的个数都为Μ个，则 有（Ν-ΧΧΜ)个程度副词；设定所述情感关键词分为正向情感关键词与负向情感关键词，所 述正向情感关键词个数与负向情感关键词的个数相同；
[0016] 步骤2、所述语音识别模块对所述外界环境声音通过频谱转换为文本特征，对所述 文本特征匹配所述候选词列表，从而获得外界环境声音中匹配成功的情感关键词和程度副 。
[0017] 在所述综合调度模块中设置情感关键词权值表、程度副词表和特征参数表；
[0018] 所述情感关键词权值表的表项为（A，a)，Α为情感关键词，a为情感关键词权值；所 述表项的总个数为XXM ;所述情感关键词权值分为正向情感关键词权值和负向情感关键 词权值；所述情感关键词权值之和为零；定义所述正向情感关键词用正向情感关键词权值 来表征；所述负向情感关键词用负向情感关键词权值来表征；
[0019] 所述程度副词表的表项为（B，b)，B为程度副词，b为程度副词的修正系数；所述表 项的总个数为（N-XXM);
[0020] 所述特征参数表的表项为（G，X，y)，G为所述情感音量阈值Η和情感幅值阈值β 和文本情感关键词语速阈值S的集合，X为特征修正系数集合，y为特征影响权值集合。 [0021 ] 所述文本情感标注信息按如下步骤获得：
[0022] 步骤1、初始化一个XXM维的情感向量E(E1，E2，E3，…，E XXM)和一个N-XXM维的 程度副词向量WQuQdQm···， Qn-xxm) ?
[0023] 步骤2、根据所述情感关键词权值表对包含有关键词时间标签的情感关键词进行 匹配；对匹配成功的情感关键词获取相应的情感关键词权值并存入所述情感向量E中，从 而获得动态情感向量E'（E/，E2'，E3'，…，EXXM'）；
[0024] 步骤3、根据所述程度副词表对包含有副词时间标签的程度副词进行匹配，对匹配 成功的程度副词获取相应的程度副词的修正系数并存入所述程度副词向量Q中，从而获得 动态程度副词向量Q'（Q/，Q 2'，Q3'，…，Qjhxm'）；
[0025] 步骤4、若所述文本情感关键词语速超出所述文本情感关键词语速阈值S，则取出 所述特征参数表中文本情感关键词语速阈值S所对应的特征修正系数并赋值给文本情感 关键词语速特征修正系数L，否则文本情感关键词语速特征修正系数L为初始值。
[0026] 所述音频情感标注信息按如下步骤获得：
[0027] 步骤1、定义音频情感标注信息为数据对F(a，δ)并进行初始化；定义情感音量 数据对Q (Xp 和情感幅值数据对C2 (x2, y2);
[0028] 步骤2、根据所设定情感音量阈值Η、情感幅值阈值β分别对所述音频的音量序列 和幅值信息进行判定，若所述音量序列中的任意一个音量值与音量序列的平均值之差大于 等于所设定情感音量阈值Η，则取出所述特征参数表中情感音量阈值Η所对应的特征修正 系数和特征影响权值并存入所述情感音量数据对q (Xl，yi)中，否则Q为初始值；
[0029] 步骤3、若所提取幅值信息中的任意一个采样点幅值绝对值减去所述幅值信息绝 对值的平均值之差大于所述情感幅值阈值β乘以所述幅值信息绝对值的平均值，则取出 所述特征参数表中情感幅值阈值β所对应的特征系数和特征影响权值并存入所述情感幅 值数据对C 2 (x2, y2)中，否则C2为初始值；
[0030] 步骤4、利用式⑴获得数据对F( α，δ ):
[0031] F(a，δ ) = (ΧιΧχ2, yi+y2) ⑴。
[0032] 所述智能决策按如下步骤进行：
[0033] 步骤1、利用式⑵获得文本情感量P :
[0034]
【权利要求】
1. 一种基于多模态的非接触情感分析记录系统，其特征是组成包括：声音接收模块、 声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、显示 模块和时钟模块； 所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征提取 与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识别， 获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声音中 的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关键词 和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块； 所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词时间 标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量E'和动态程 度副词向量Q' ；并在所设定的周期T内统计单位时间内识别到的情感关键词的数量，从而 获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键词语 速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键词语 速特征修正系数L ;由所述动态情感向量E'、动态程度副词向量Q'和文本情感关键词语速 特征修正系数L构成文本情感标注信息并传递给所述综合调度模块； 所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音量序 列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模块给 予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期T内的音频进 行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量阈值 Η和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定，对超 出所述情感音量阈值Η和/或情感幅值阈值β的音频进行标注获得音频情感标注信息并 传递给综合调度模块； 所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能决策 获得语音情感权值W并传递给显示模块进行显示。
2. 根据权利要求1所述的多模态的非接触情感分析记录系统，其特征是： 所述语音识别模块中利用ASR方法进行候选词识别是按如下步骤进行： 步骤1、在所述语音识别模块中设置由Ν个待识别的候选词构成的候选词列表，所述候 选词列表包括程度副词和X种情感关键词；设定每一种情感关键词的个数都为Μ个，则有 (Ν-ΧΧΜ)个程度副词；设定所述情感关键词分为正向情感关键词与负向情感关键词，所述 正向情感关键词个数与负向情感关键词的个数相同； 步骤2、所述语音识别模块对所述外界环境声音通过频谱转换为文本特征，对所述文本 特征匹配所述候选词列表，从而获得外界环境声音中匹配成功的情感关键词和程度副词。
3. 根据权利要求2所述的多模态的非接触情感分析记录系统，其特征是：在所述综合 调度模块中设置情感关键词权值表、程度副词表和特征参数表； 所述情感关键词权值表的表项为（A，a)，Α为情感关键词，a为情感关键词权值；所述表 项的总个数为XXM ;所述情感关键词权值分为正向情感关键词权值和负向情感关键词权 值；所述情感关键词权值之和为零；定义所述正向情感关键词用正向情感关键词权值来表 征；所述负向情感关键词用负向情感关键词权值来表征； 所述程度副词表的表项为（B，b)，B为程度副词，b为程度副词的修正系数；所述表项的 总个数为（N-XXM); 所述特征参数表的表项为（G，x，y)，G为所述情感音量阈值Η和情感幅值阈值β和文 本情感关键词语速阈值S的集合，X为特征修正系数集合，y为特征影响权值集合。
4. 根据权利要求3所述的多模态的非接触情感分析记录系统，其特征是，所述文本情 感标注信息按如下步骤获得： 步骤1、初始化一个XXM维的情感向量，…，EXXM)和一个N-XXM维的程度 副词向量卩他义，％，…，％-^!!); 步骤2、根据所述情感关键词权值表对包含有关键词时间标签的情感关键词进行匹配； 对匹配成功的情感关键词获取相应的情感关键词权值并存入所述情感向量E中，从而获得 动态情感向量 E'（E/，E2'，E3'，…，EXXM'）； 步骤3、根据所述程度副词表对包含有副词时间标签的程度副词进行匹配，对匹配成功 的程度副词获取相应的程度副词的修正系数并存入所述程度副词向量Q中，从而获得动态 程度副词向量Q'（Q/，Q/，Q/，…，Qmxm'）； 步骤4、若所述文本情感关键词语速超出所述文本情感关键词语速阈值S，则取出所述 特征参数表中文本情感关键词语速阈值S所对应的特征修正系数并赋值给文本情感关键 词语速特征修正系数L，否则文本情感关键词语速特征修正系数L为初始值。
5. 根据权利要求4所述的多模态的非接触情感分析记录系统，其特征是，所述音频情 感标注信息按如下步骤获得： 步骤1、定义音频情感标注信息为数据对F(a，δ)并进行初始化；定义情感音量数据 对Q (Xp yj和情感幅值数据对C2 (x2, y2); 步骤2、根据所设定情感音量阈值Η、情感幅值阈值β分别对所述音频的音量序列和幅 值信息进行判定，若所述音量序列中的任意一个音量值与音量序列的平均值之差大于等于 所设定情感音量阈值Η，则取出所述特征参数表中情感音量阈值Η所对应的特征修正系数 和特征影响权值并存入所述情感音量数据对Q (Xl，yi)中，否则Q为初始值； 步骤3、若所提取幅值信息中的任意一个采样点幅值绝对值减去所述幅值信息绝对值 的平均值之差大于所述情感幅值阈值β乘以所述幅值信息绝对值的平均值，则取出所述 特征参数表中情感幅值阈值β所对应的特征系数和特征影响权值并存入所述情感幅值数 据对C 2 (x2, y2)中，否则C2为初始值； 步骤4、利用式（1)获得数据对F(a，δ): F(a，δ ) = (ΧιΧχ2, yi+y2) ⑴。
6. 根据权利要求5所述的多模态的非接触情感分析记录系统，其特征是：所述智能决 策按如下步骤进行： 步骤1、利用式（2)获得文本情感量P :
(2) 步骤2、利用式（3)获得文本程度副词修正系数K:
(3) 式（3)中，&表示文本程度副词修正系数K的初始值； 步骤3、利用式（4)获得文本情感权值Z : Z = PXKXL (4) 步骤4、利用式（5)对所述文本情感权值Z和所述音频情感标注信息F( α，δ )进行特 征融合，从而获得所设定的周期Τ内语音情感权值W : w - ? (ζ^°) " I*? (z=〇) (5)。
【文档编号】G06F17/27GK104102627SQ201410334275
【公开日】2014年10月15日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】孙晓, 孙重远, 高飞, 叶嘉麒, 任福继 申请人:合肥工业大学