识别社交短文本类别的方法、分类模型训练方法及装置的制造方法
【技术领域】
[0001] 本发明设及网络信息处理技术领域，尤其设及一种识别社交短文本类别的方法、 分类模型训练方法及装置。
【背景技术】
[0002] 随着微博、贴吧和微信等应用的广泛使用，在互联网范围内产生了大量的文本数 据，大多是片断性的说明描述或观点评论，因其文字内容很短，该些文字内容被称为社交短 文本。面对海量文本数据，如何准确有效地对其分类，已成为互联网行业普遍关注和研究的 课题。
[0003] 通常，采用对短文本构建基于词的向量空间模型，该会使得短文本的空间模块太 过稀疏。再者，使用单一模型进行训练与学习，其分类效果和准确率较低。此外，W微博为 例，通常按照微博的主题将微博分类到为经济、体育、娱乐、生活、游戏动漫、健康、科技和汽 车八个类别之一。可W看出，该种分类方法仅考虑了微博的文本内容属性，而舆情用户更为 关屯、的是新闻或事件资源本身，现有的方法无法对此进行有效识别，进而使得应用场景比 较有限。
【发明内容】
[0004] 本发明实施例的目的在于，提供一种识别社交短文本类别的方法、分类模型训练 方法及装置，W自动、准确地识别社交短文本的类别信息。
[0005] 为实现上述发明目的，本发明的实施例提供了一种用于识别社交短文本的类别的 方法，包括：获取社交短文本数据；从所述社交短文本数据提取文本特征数据；W所述文本 特征数据作为输入，从经训练的至少两个短文本分类模型分别获取所述社交短文本数据的 第一类别信息；根据获取的所述社交短文本数据的第一类别信息确定所述社交短文本数据 的第二类别信息。
[0006] 优选地，所述文本特征数据包括W下至少一种；纯文本特征数据、撰写习惯特征数 据、社交特征数据和用户特征数据。
[0007] 优选地，所述纯文本特征数据包括从所述社交短文本数据切出的字的重要性指数 的数据，所述撰写习惯特征数据包括预定的表情符号在所述社交短文本数据中出现的频率 的数据，所述社交特征数据包括W下至少一种反馈的数量带发、评论、点赞、回复、跟踪、顶 和踩，所述用户特征数据包括W下至少一种关联用户的数量：粉丝、关注、朋友、互粉、发布 短文本和发表评论。
[000引优选地，所述多个短文本分类模型基于至少两个W下分类模型；支持向量机分类 模型、逻辑斯蒂回归分类模型和随机森林分类模型。
[0009] 优选地，所述第二类别信息是新闻事件类、广告类、非商业分享类或私人对话类。
[0010] 优选地，所述第一类别信息包括所述社交短文本数据为各个所述第二类别信息的 置信度值，所述根据获取的所述社交短文本数据的第一类别信息确定所述社交短文本数据 的第二类别信息的处理包括：分别计算每个所述第二类别信息对应于从各个所述短文本分 类模型获取的置信度值的平均值，并将平均值中的最大值对应的第二类别信息作为所述社 交短文本数据的第二类别信息。
[0011] 优选地，所述从所述社交短文本数据提取文本特征数据的处理包括；对所述社 交短文本数据进行切字，并根据词频逆向文件频率（TF-ID巧算法分别计算切出的字的 TF-IDF值作为所述社交短文本数据的纯文本特征数据
[0012] 本发明的实施例还提供了一种短文本分类模型的训练方法，包括；获取多个标注 的样本数据，每个所述标注的样本数据包括社交短文本数据、标注的文本特征数据及类别 信息；利用所述多个标注的样本数据对短文本分类模型进行训练，W学习社交短文本数据 的类别信息。
[0013] 优选地，所述文本特征数据包括W下至少一种；纯文本特征数据、撰写习惯特征数 据、社交特征数据和用户特征数据。
[0014] 优选地，所述类别信息是新闻事件类、广告类、非商业分享类或私人对话类。
[0015] 优选地，所述短文本分类模型是支持向量机分类模型、逻辑斯蒂回归分类模型或 随机森林分类模型。
[0016] 本发明的实施例还提供了一种用于识别社交短文本的类别的装置，包括；文本数 据获取模块，用于获取社交短文本数据；特征数据提取模块，用于从所述社交短文本数据提 取文本特征数据；类别信息获取模块，用于W所述文本特征数据作为输入，从经训练的至少 两个短文本分类模型分别获取所述社交短文本数据的第一类别信息；类别信息确定模块， 用于根据获取的所述社交短文本数据的第一类别信息确定所述社交短文本数据的第二类 别f目息。
[0017] 优选地，所述文本特征数据包括W下至少一种；纯文本特征数据、撰写习惯特征数 据、社交特征数据和用户特征数据，所述第二类别信息是新闻事件类、广告类、非商业分享 类或私人对话类。
[0018] 优选地，所述纯文本特征数据包括从所述社交短文本数据切出的字的重要性指数 的数据，所述撰写习惯特征数据包括预定的表情符号在所述社交短文本数据中出现的频率 的数据，所述社交特征数据包括W下至少一种反馈的数量带发、评论、点赞、回复、跟踪、顶 和踩，所述用户特征数据包括W下至少一种关联用户的数量：粉丝、关注、朋友、互粉、发布 短文本和发表评论。
[0019] 优选地，所述多个短文本分类模型基于至少两个W下分类模型；支持向量机分类 模型、逻辑斯蒂回归分类模型和随机森林分类模型。
[0020] 优选地，所述第一类别信息包括所述社交短文本数据为各个所述第二类别信息的 置信度值，所述类别信息确定模块用于分别计算每个所述第二类别信息对应于从各个所述 短文本分类模型获取的置信度值的平均值，并将平均值中的最大值对应的第二类别信息作 为所述社交短文本数据的第二类别信息。
[0021] 优选地，所述特征数据提取模块用于对所述社交短文本数据进行切字，并根据词 频逆向文件频率（TF-ID巧算法分别计算切出的字的TF-IDF值作为所述社交短文本数据的 纯文本特征数据。
[0022] 本发明的实施例还提供了一种短文本分类模型的训练装置，包括；样本数据获取 模块，用于获取多个标注的样本数据，每个所述标注的样本数据包括社交短文本数据、标注 的文本特征数据及类别信息；分类模型训练模块，用于利用所述多个标注的样本数据对短 文本分类模型进行训练，W学习社交短文本数据的类别信息。
[0023] 优选地，所述文本特征数据包括W下至少一种；纯文本特征数据、撰写习惯特征数 据、社交特征数据和用户特征数据，所述类别信息是新闻事件类、广告类、非商业分享类或 私人对话类。
[0024] 优选地，所述短文本分类模型是支持向量机分类模型、逻辑斯蒂回归分类模型或 随机森林分类模型。
[0025] 本发明实施例提供的识别社交短文本类别的方法、分类模型训练方法及装置，将 从获取到的社交短文本数据中提取的文本特征数据输入经训练的至少两个短文本分类模 型，分别得到每个短文本分类模型输出的类别信息，再W多个类别信息为识别依据，从而自 动、准确地识别社交短文本的类别信息，进而提高了对海量社交短文本的分类效果及准确 率，广泛应用于各种短文本分析场景。
[0026] 此外，准确分类后的海量社交短文本中，对于识别为广告类的社交短文本进行降 权或直接滤除的处理，使得舆情用户能够方便了解相关的新闻或事件资源，极大丰富了用 户体验。
【附图说明】
[0027] 图1是示出本发明实施例一的用于识别社交短文本的类别的方法的流程图；
[002引图2是示出本发明实施例二的短文本分类模型的训练方法的流程图；
[0029] 图3是示出本发明实施例S的用于识别社交短文本的类别的装置的逻辑框图；
[0030] 图4是示出本发明实施例四的短文本分类模型的训练装置的逻辑框图。
【具体实施方式】
[0031] 本发明的基本构思是，在获取社交短文本数据之后，进一步对社交短文本数据进 行特征提取，并将提取到的文本特征数据作为经训练的至少两个短文本分类模型的输入， 分别得到每个短文本分类模型输出的类别信息；此后，再根据获得的所述多个类别信息确 定所述社交短文本数据的类别，从而自动、准确地识别社交短文本的类别信息，提高了对海 量社交短文本的分类效果及准确率。
[0032] 该里，所述社交短文本数据可W是例如微博、微信、贴吧等社交互动类的文本数 据。所述类别信息可W是新闻事件类