基于委员会查询的主动学习框架的情感分析方法及系统与流程
本发明涉及计算机应用领域，尤其涉及一种基于委员会查询的主动学习框架的情感分析方法及系统。
背景技术：
文本情感分析又称为意见挖掘，情感分析可以被认为是一个多分类任务，一般将用户的情绪分为三类：积极、中性、负面。
随着互联网的发展和带有情感色彩的用户主观性评论文本的增多，我们可以方便的获取大量的评论数据，但是人工标注大量的训练样本费时费力，成本太大。另外，过多的低质量的训练样本反而会降低分类模型的鲁棒性，甚至导致“过学习”问题。
主动学习在理论和实际应用中都得到了长远的发展，主动学习将原始数据集分成两大部分，一部分是少量的经由专家学者人工标识过的带类标签的样本集，另一部分则包含大量的没带类标签的未标识样本集，它将利用这少量的已标记样本及作为训练集去训练一个分类模型，然后根据学习到的模型对未标识样本按照某种选择方式进行选择，找出其中包括信息量最大的未标识样本交由专家系统进行标记后加入到已标识训练样本中，不断重复这个过程直至达到终止条件。随着这个过程的不断迭代进行，已标识训练样本集不断扩大，其学期起的分类精度也将会得到不断的提升，直至达到索要其的精度时停止迭代，由此来降低标注代价，但是目前主动学习算法本身还不是很完善，存在很多问题，例如初始训练样本选择过于随机、算法参数设置过于固定、学习效率不高等问题，另外，目前也没有将主动学习应用到文本情感分析领域中的相关研究。因此，为了降低标注训练样本的代价同时挑选出具有高分类贡献度的未标注样本进行人工标注，从而控制训练样本的数量和质量，提高模型的分类效果，亟需一种应用于文本情感分析领域中的基于委员会查询的主动学习框架，来解决上述技术问题。
技术实现要素：
鉴于以上所述现有技术的缺点，本发明提供一种基于委员会查询的主动学习框架的情感分析方法，以解决上述技术问题。
本发明提供的基于委员会查询的主动学习框架的情感分析方法，包括：
获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集；
根据所述训练集构建初始模型，根据用户情感表征进行数据分类；
根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；
根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型；
通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果。
进一步，在获取训练语料之前还包括采集中文文本数据，并对所述中文文本数据进行预处理，所述预处理包括：
对所述中文文本数据进行分词处理；
根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；
通过预先选取的文本特征，对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。
进一步，所述初始模型进行数据分类的种类至少包括正面、中性和负面，通过数据分类对用户的不同情感进行表征，在未标注的训练语料中选择分类贡献率高于预设阈值的样本数据，并进行标注，补充至所述训练集中。
进一步，根据委员会投票选择算法在所述训练语料中选取投票最不一致的前k个语料，并对前k个语料进行标注，标注的类别至少包括正面、中性和负面。
进一步，所述委员会投票选择算法通过如下公式获取：
其中，v(c,e)为预测样本e被分类为类别c的委员会成员的数量，k为委员会成员的总数量，c为分类类别总数，e为输入样本，d(e)为投票熵，c为具体的类别。
进一步，所述文本特征至少包括文本频度、信息增益和卡方检验，通过所述特征权重计算获取文本特征空间中的文本向量的每一维度的数值，根据所述数值确定对应的文本特征在文本中的重要程度。
本发明还提供一种基于委员会查询的主动学习框架的情感分析系统，包括：
采集模块，用于获取训练语料；
标注模块，用于在所述训练语料中选取样本数据进行标注，形成训练集；
监督学习模块，用于根据所述训练集构建初始模型，根据用户情感表征进行数据分类；
主动学习模块，用于根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；
情感分析模型，通过补充后的训练集对所述初始模型进行更新迭代学习获取，用于对输入的文本进行情感分析，获取情感分析结果。
进一步，还包括预处理模块，所述预处理模块包括：
分词单元，用于对所述中文文本数据进行分词处理；
去停用词单元，用于根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；
特征选择单元，用于通过预先选取的文本特征；
向量化单元，用于对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述任一项所述方法。
本发明的有益效果：本发明中的基于委员会查询的主动学习框架的情感分析方法及系统，通过引入主动学习，在情感分析任务中，在减少训练语料的情况下，减少了人工标注的代价，同时模型的性能达到预期，一方面减少了训练成本，另一方面保障了训练样本的鲁棒性，避免了过多的低质量的训练样本导致的“过学习”问题，特别适用于针对大量互联网数据尤其是中文数据的文本情感分析，为扩展大数据的应用提供数据基础。
附图说明
图1是本发明实施例中基于委员会查询的主动学习框架的情感分析方法的流程示意图。
图2是本发明实施例中基于委员会查询的主动学习框架的情感分析系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的基于委员会查询的主动学习框架的情感分析方法，包括：
获取训练语料，并在所述训练语料中选取样本数据进行标注，形成训练集；
根据所述训练集构建初始模型，根据用户情感表征进行数据分类；
根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；
根据补充后的训练集对所述初始模型进行更新迭代学习，获取情感分析模型；
通过所述情感分析模型，对输入的文本进行情感分析，获取情感分析结果。
在互联网中，带有情感色彩的用户主观性评论文本数据有很多，文本情感分析又称为意见挖掘，情感分析可以被认为是一个多分类任务，一般可以将用户的情绪大致分为三类：正面(积极)、中性、负面。通过对文本进行情感分析，获取情感分析结果，对互联网大数据来说具有相当重要的作用，在本实施例中，为了降低标注训练样本的代价同时挑选出具有高分类贡献度的未标注样本进行人工标注，从而控制训练样本的数量和质量，提高模型的分类效果，通过引入基于委员会查询的主动学习算法并结合机器学习中的分类器，提出了应用于文本情感分析领域中的基于委员会查询的主动学习框架。首先，使用已标注的训练集来训练初始模型，再通过相应的选择策略来选择未标注训练语料中具有高分类贡献度的样本进行人工标注并补充到已有训练集中，通过不断的迭代添加这些标注好的样本到训练集中来逐步提高分类模型的精度和鲁棒性。
在本实施例中，在开始主动学习之前首先必须进行初始训练，使得初始模型具备一定的分类精度，本实施例中最开始的训练语料都是未标注的语料，因此，需要首先从训练语料选择部分语料进行人工标注作为我们的初始训练集来训练初始模型。构建初始训练集的策略可以采用随机策略，也就是刚开始随机从未标注的训练语料中选择k个样本进行人工标注构建好我们的初始训练集，然后训练出初始模型，得到了一个具有一定的分类精度的初始模型。接下来通过主动学习的选择策略，通过基于委员会投票的相关选择策略不断地从剩余的训练语料(未标注)中选择出分类贡献率高的样例交给领域专家进行标注并补充到已有的训练集中，用这些补充后的训练集对模型进行更新学习，这是一个不断迭代的过程，选择策略和模型学习更新不断交替进行，直到我们的模型达到我们预期的分类精度或者模型的性能不在提升则可以终止迭代。
在本实施例中，在获取训练语料之前还包括采集中文文本数据，并对所述中文文本数据进行预处理，所述预处理包括：
对所述中文文本数据进行分词处理；
根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；
通过预先选取的文本特征，对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。
在本实施例中，为了减少特征向量维度，通过一些特征选择的方式来选择出对分类效果最有影响的一组词作为特征，本实施例中的的特征选择有：文本频度(df)、信息增益(ig)和卡方检验(χ2)等。接下来就是特征权重计算，特征权重计算指为特征空间中的文本向量的每一维确定合适的数值，以表达对应特征在文本中的重要程度，本实施例中的权重计算方法可以包括：布尔权重、频度权重、tf-idf权重等。
在本实施例中，初始模型进行数据分类的种类至少包括正面、中性和负面，通过数据分类对用户的不同情感进行表征，在未标注的训练语料中选择分类贡献率高于预设阈值的样本数据，并进行标注，补充至所述训练集中。本实施例中的模型是由多个基分类器组成的一个委员会，可以选择采用成熟的机器学习方法，比如knn、
本实施例的文本特征选择中，卡方检验是目前表现最好的特征选择指标之一，甚至是最好的。卡方检验：词w对类别c的相关性的χ2值为
其中，n为语料库所有词出现的总词频数，a为属于类别c的语料中词w出现的总词频数，b为不属于类别c的语料中词w出现的总词频数，c为属于类别c的语料中不包含词w的其余所有词出现的总词频数，d为既不属于类别c的语料同时也不包含词w的其余所有词出现的总词频数。
χ2值越大，表明该词w与类别c越相关，因为，可以选择前k个(比如前5000)最相关的词作为特征词。
在本实施例中，如何选择出具有高分类贡献度的样本对模型性能的好坏至关重要，本实施例中采用投票熵(voteentropy)，对高分类贡献度的样本进行选择。
输入样本e的投票熵定义如下：
其中，v(c,e)为预测样本e被分类为类别c的委员会成员的数量，k为委员会成员的总数量，c为分类类别总数，e为输入样本，d(e)为投票熵，c为具体的类别。
如图2所示，相应地，本实施例还提供一种基于委员会查询的主动学习框架的情感分析系统，包括：
采集模块，用于获取训练语料；
标注模块，用于在所述训练语料中选取样本数据进行标注，形成训练集；
监督学习模块，用于根据所述训练集构建初始模型，根据用户情感表征进行数据分类；
主动学习模块，用于根据委员会投票选择算法，从未标注的训练语料中选择样本数据，并进行标注，补充至所述训练集中；
情感分析模型，通过补充后的训练集对所述初始模型进行更新迭代学习获取，用于对输入的文本进行情感分析，获取情感分析结果。
在本实施例中，采集模块可以采用采用现有技术中的常规网络数据采集方式即可，语料来源可以为微博上爬取的表达用户主观观点或者电影、电商评论语句等。监督学习模块主要是构建分类的初始模型，使用已标注的训练集来训练初始模型，将用户的情感分为三种类别：积极、中性、负面。主动学习模块主要是通过相应的选择策略来选择未标注训练语料中具有高分类贡献度的样本进行人工标注并补充到已有训练集中，通过不断的迭代添加这些标注好的样本到训练集中来逐步提高分类模型的精度和鲁棒性。
在本实施例中，预处理模块包括：
分词单元，用于对所述中文文本数据进行分词处理；
去停用词单元，用于根据预先构建的停用词表对经过分词处理后的数据进行去停用词处理；
特征选择单元，用于通过预先选取的文本特征；
向量化单元，用于对经过去停用词处理后的数据进行特征权重计算，获取对应的文本特征在文本中的重要程度。
在本实施例中，首先，进行中文分词处理，然后使用构建的停用词表去停用词，为了减少特征向量维度，我们通过一些特征选择的方式来选择出对分类效果最有影响的一组词作为特征，常用的特征选择有：文本频度(df)、信息增益(ig)和卡方检验(χ2)等。接下来就是特征权重计算，特征权重计算指为特征空间中的文本向量的每一维确定合适的数值，以表达对应特征在文本中的重要程度，常用的权重计算方法有：布尔权重、频度权重、tf-idf权重。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
注意，在实施例的对应附图中，用线来表示信号，一些线比较粗，以表示更多的构成信号路径(constituent_signalpath)和/或一些线的一个或多个末端具有箭头，以表示主要信息流向，这些标识不是想要进行限制，事实上，结合一个或多个事例性实施例使用这些线有助于更容易地接电路或逻辑单元，任何所代表的信号(由设计需求或偏好所决定)实际上可以包括可以在任意一个方向传送的并且可以以任何适当类型的信号方案实现的一个或多个信号。
说明书对“实施例”、“一个实施例”、“一些实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“实施例”、“一个实施例”、“一些实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态ram(dram))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
- 还没有人留言评论。精彩留言会获得点赞！