一种面向微博文本流的突发关键词检测方法
【专利摘要】本发明涉及互联网信息管理领域，尤其涉及一种面向微博文本流的突发关键词检测方法。本发明包括：实时采集微博数据，针对实时微博数据流建立基于动态滑动窗口机制的消息会话模型；从消息会话模型中抽取用户信任属性，根据设定的信任窗口大小构建动态信任模型，计算用户的信任度；根据设定的消息窗口大小对实时微博消息流进行切分，融合用户信任度计算每个时间窗口中关键词的权重，形成突发关键词的权重序列；针对突发关键词的权重序列，采用基于动力学模型的突发关键词发现算法计算关键词的突发权值，如果关键词的突发权值大于系统设定的突发阈值则该词为突发关键词。此方法能够降低人类作息时间的影响，提高检测突发关键词的准确度。
【专利说明】一种面向微博文本流的突发关键词检测方法
【技术领域】
[0001]本发明涉及互联网信息管理领域，尤其涉及一种面向微博文本流的突发关键词检测方法。
【背景技术】
[0002]随着2006年Twitter正式上线以及Web2.0技术的快速发展，以互联网为载体的各种社交网络平台成为Web2.0时代最具代表性的应用，其中微博客(以下简称微博)作为其中主要的平台得到了广大网民的关注。国内包括新浪、腾讯、搜狐和网易等主要网络媒体平台自2009年开始分别推出各自的微博服务，微博正式进入中文上网主流人群视野。
[0003]目前微博以及成为网民获取信息的重要途径之一，微博从满足人们弱关系的社交需求上逐渐演变成为大众化的舆论平台，越来越多机构及公众人物都通过微博来发布或传播信息。由于微博的即时性、自主性以及互动性，使得许多非常规突发事件发生后，微博作为人们信息发布的主要载体为突发事件提供了第一传播平台，包括“2013年吉林省松原地震”以及“青岛石油管线爆炸”等突发事件，微博都是最早的信息来源。
[0004]微博中对于社会突发事件的报道和讨论对于危机应对和态势感知是有积极意义的，但是由于用户参与微博的技术门槛较低，用户自身素质良莠不齐，特别是微博用户中存在一些僵尸粉丝为了自身利益以人为外力作用的方式协同推动对消费者有蛊惑的虚假突发话题，这类话题一旦通过微博在短时间内不断被转发扩散，将会助长虚假突发话题的传播并产生极为不良的影响。微博已经成为互联网舆情形成的主要网络媒体之一，其中对突发话题的检测是网络舆情管理的重要目标之一，因此，突发关键词检测作为突发话题检测最重要的一个步骤显得尤为重要。
[0005]现有的微博突发关键词发现方法中未考虑僵尸粉丝在突发话题形成过程中的推动作用以及人类生活作息对突发关键词检测方法的准确度的影响，应用到实际微博舆情监管中可能将僵尸粉丝推动以及受人类生活作息影响较大的关键词误判为突发关键词从而导致较大的误报率、较低的检测率。
【发明内容】
[0006]本发明的目的是提供一种提高突发关键词检测率和准确度的面向微博文本流的突发关键词检测方法。
[0007]本发明的目的是这样实现的:
[0008](I)实时采集微博数据，针对实时微博数据流建立基于动态滑动窗口机制的消息会话模型；
[0009](2)从消息会话模型中抽取用户信任属性，根据设定的信任窗口大小构建动态信任模型，计算用户的信任度；
[0010](3)根据设定的消息窗口大小对实时微博消息流进行切分，融合用户信任度计算每个时间窗口中关键词的权重，形成突发关键词的权重序列；
[0011](4)针对突发关键词的权重序列，采用基于动力学模型的突发关键词发现算法计算关键词的突发权值，如果关键词的突发权值大于系统设定的突发阈值则该词为突发关键
ο
[0012]动态滑动窗口机制为动态滑动信任窗口和动态滑动消息窗口。
[0013]消息会话模型中包括:
[0014]微博消息、微博用户以及关键词的关联操作；
[0015]针对实时消息流消息会话模型的更新以及删除操作。
[0016]在抽取用户信任属性之前还包括:
[0017]根据用户交互行为定义用户交互动作以及用户交互指数；
[0018]根据信任窗口内的用户交互动作建立用户交互图。
[0019]用户信任属性包括:
[0020]用户交互度以及用户交互质量。
[0021]在计算关键词的权重之前还包括:
[0022]对微博消息内容进行预处理，包括中文分词、标签的识别与提取、去停用词、提取名词和动词作为关键词。
[0023]在生成关键词的权重序列之前还包括:
[0024]根据用户作息时间以及关键词的历史权重值消除用户作息时间对突发关键词检测的影响。
[0025]基于动力学模型的突发关键词发现算法包括:
[0026]定义与形式化基于动力学的趋势分析指标对关键词权重序列进行处理。
[0027]本发明的有益效果在于:
[0028]1、本发明提出一个基于用户交互行为的信任模型，利用两个信任属性评估用户的信任度，融合此信任模型的突发关键词发现方法能够避免发现由僵尸粉丝推动的伪突发关键词。
[0029]2、本发明提出一个基于动力学模型的突发关键词发生方法，此方法能够降低人类作息时间的影响，提高检测突发关键词的准确度。
【专利附图】
【附图说明】
[0030]图1是本发明提供的微博突发关键词检测的方法的流程图。
【具体实施方式】
[0031]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0032]此方法利用信任模型对微博用户的交互行为进行可信度评估从而获取用户可信度，只有用户信任度高于设定信任阈值的可信用户的微博消息才可以作为基于动力学的突发关键词发现算法的输入，结合信任模型以及基于动力学的突发关键词发现算法检测微博中的突发关键词从而降低微博中僵尸粉丝以及人类生活作息时间的影响，快速准确的检测微博中的突发关键词。
[0033]为实现上诉发明目的，本发明提供一种面向微博文本流的突发关键词检测方法，该方法包括:
[0034]实时采集微博数据，针对实时微博数据流建立基于动态滑动窗口机制的消息会话模型；
[0035]从消息会话模型中抽取用户信任属性，根据设定的信任窗口大小构建动态信任模型，计算用户的信任度；
[0036]根据设定的消息窗口大小对实时微博消息流进行切分，融合用户信任度计算每个消息窗口中关键词的权重，形成突发关键词的权重序列；
[0037]针对突发关键词的权重序列，采用基于动力学模型的突发关键词发现算法计算关键词的突发权值，如果关键词的突发权值大于系统设定的突发阈值则该词为突发关键词。
[0038]进一步地，所述动态滑动窗口机制为动态滑动信任窗口和动态滑动消息窗口，并且根据突发关键词的检测精度和实时性角度考虑设定信任窗口以及消息窗口的大小。
[0039]进一步地，在所述的消息会话模型中包括:
[0040]微博消息、微博用户以及关键词的关联操作；
[0041]针对实时消息流消息会话模型的更新以及删除操作。
[0042]进一步地，在抽取用户信任属性之前还包括:
[0043]根据用户交互行为定义用户交互动作以及用户交互指数；
[0044]根据信任窗口内的用户交互动作建立用户交互图。
[0045]进一步地，所述用户信任属性包括:
[0046]用户交互度以及用户交互质量。
[0047]进一步地，在计算关键词的权重之前还包括:
[0048]对微博消息内容进行预处理，包括中文分词、标签的识别与提取、去停用词、提取名词和动词作为关键词。
[0049]进一步地，在生成关键词的权重序列之前还包括:
[0050]根据用户作息时间以及关键词的历史权重值消除用户作息时间对突发关键词检测的影响。
[0051]进一步地，所述基于动力学模型的突发关键词发现算法包括:
[0052]定义与形式化基于动力学的趋势分析指标对关键词权重序列进行处理。
[0053]图1是本发明实施例提供的面向微博文本流的突发关键词检测方法的实现流程图，该方法详述如下:
[0054]在步骤101中，实时采集微博数据，针对实时微博数据流建立基于动态滑动窗口机制的消息会话模型。
[0055]针对采集到的微博实时消息流的微博消息，对消息内容进行切分处理，并对切分结果进行处理，便于添加和删除，同时进行微博消息、用户和消息内容关联操作。由于微博消息流中微博消息更新速度快，方案中通过增量更新方法更新二部图中已有的边的权值，考虑不同窗口下的流特征模式增加淘汰机制，针对超过阈值时间没有更新的节点或者权值衰退为O的边进行删除操作。
[0056]在步骤102中，从消息会话模型中抽取用户信任属性，根据设定的滑动信任窗口大小构建动态社会信任模型，计算用户的信任度。
[0057]示例性地，在信任模型中从用户交互度以及用户交互质量两个信任属性对微博用户的可信度进行评估，在抽取用户信任属性之前，根据用户交互行为定义用户交互动作、用户交互图以及用户交互指数:
[0058]用户交互动作:对于用户Ui和Up如果Ui与+主动交互(评论、转发等行为)则称单向交互为主动交互，其中Ui主动用户，+为被动用户。当+回应Ui的主动交互(回复)，则称其为被动交互，单向用户交互转变为双向用户交互。
[0059]用户交互图:用户交互图定义为无向有权图G = (U，E，W)，用户交互图中U表示用户集合，E表不顶点之间有双向交互关系的边的集合,对于任意的Wij e ff, Wij表不用户Ui和Uj的交互次数。
[0060]用户交互指数:如果用户Ui在用户交互图G中的至少有r个邻居节点，每个邻居节点至少有r次交互，则称用户Ui的交互指数为r。
[0061]示例性地，在社会信任模型中利用滑动信任窗口机制根据被动交互的时间将用户的历史交互划分成M个信任窗口，每个窗口大小为Tt。用户动态社会信任模型主要由三部分构成:用户交互度、用户交互质量以及用户交互演变，其量化指标如下:
[0062]⑴用户交互度
[0063]假设用户Ui在信任窗口 m的用户交互图表示为Gi,，用户Ui的双向交互数的计算公式如下:
[0064]N(i,m)= ^ Wij
jeU1.m
[0065]其中Ui,为用户Ui的邻居节点集合，用户Ui的交互度定义如下:
0N(i,m) = O
[0066]D(ijn) = < 0.5 O < A1(Ijn) < 5
1N(i,m) > 5
[0067]⑵用户交互质量
[0068]用户Ui的交互质量计算公式如下:
0/(/,m) = O
[0069]R(i,m) = < 0.5 O << 5
1/(/,"?) >5
[0070]其中I (i，m)表示用户Ui在信任窗口 m的交互指数。用户Ui的交互质量在一定程度上反应了与用户Ui有交互关系的用户质量。结合用户交互度和交互质量，用户在信任窗口 m的信任值计算公式如下:
[0071]T(i，m) = λ R(i, m) + (1-λ )D(i, m)
[0072]其中λ (O < λ < I)为调节因子，表示用户交互度和用户交互质量在计算用户信任值的不同权重。
[0073]⑶用户交互演变
[0074]由于用户的信任会随着时间不断变化，因此需要基于历史信任窗口的信任值建立长期动态信任模型。假设用户Ui的历史信任值为T (i，m)，其中I < m < M，M为最近的历史信任窗口数，历史信任窗口的信任值可以表示如下:
【权利要求】
1.一种面向微博文本流的突发关键词检测方法，其特征在于，包括: (1)实时采集微博数据，针对实时微博数据流建立基于动态滑动窗口机制的消息会话模型； (2)从消息会话模型中抽取用户信任属性，根据设定的信任窗口大小构建动态信任模型，计算用户的信任度； (3)根据设定的消息窗口大小对实时微博消息流进行切分，融合用户信任度计算每个时间窗口中关键词的权重，形成突发关键词的权重序列； (4)针对突发关键词的权重序列，采用基于动力学模型的突发关键词发现算法计算关键词的突发权值，如果关键词的突发权值大于系统设定的突发阈值则该词为突发关键词。
2.根据权利要求1所述的一种面向微博文本流的突发关键词检测方法，其特征在于:所述动态滑动窗口机制为动态滑动信任窗口和动态滑动消息窗口。
3.根据权利要求1所述的一种面向微博文本流的突发关键词检测方法，其特征在于，在所述的消息会话模型中包括: 微博消息、微博用户以及关键词的关联操作； 针对实时消息流消息会话模型的更新以及删除操作。
4.根据权利要求1所述的微博突发关键词检测方法，其特征在于，在抽取用户信任属性之前还包括: 根据用户交互行为定义用户交互动作以及用户交互指数； 根据信任窗口内的用户交互动作建立用户交互图。
5.根据权利要求1所述的微博突发关键词检测方法，其特征在于，所述用户信任属性包括: 用户交互度以及用户交互质量。
6.根据权利要求1所述的微博突发关键词检测方法，其特征在于，在计算关键词的权重之前还包括: 对微博消息内容进行预处理，包括中文分词、标签的识别与提取、去停用词、提取名词和动词作为关键词。
7.根据权利要求1所述的微博突发关键词检测方法，其特征在于，在生成关键词的权重序列之前还包括: 根据用户作息时间以及关键词的历史权重值消除用户作息时间对突发关键词检测的影响。
8.根据权利要求1所述的微博突发关键词检测方法，其特征在于，所述基于动力学模型的突发关键词发现算法包括: 定义与形式化基于动力学的趋势分析指标对关键词权重序列进行处理。
【文档编号】G06F17/30GK104166726SQ201410424542
【公开日】2014年11月26日 申请日期:2014年8月26日 优先权日:2014年8月26日
【发明者】杨武, 董国忠, 王巍, 苘大鹏, 玄世昌 申请人:哈尔滨工程大学