一种基于时间平滑约束深度演化聚类的新闻事件预测方法

本发明属于新闻事件预测，具体涉及一种基于时间平滑约束深度演化聚类的新闻事件预测方法。

背景技术：

1、新闻事件库，如全球新闻事件库(global database of events,language,andtone，gdelt)和综合危机预警事件库(integrated crisis early warning system，icews)，包含大量具有时间标记的新闻事件。新闻事件通常以四元组的形式表示，即(头实体、关系、尾实体、时间戳)，这种表示方法不仅直观且富有表现力，且能够精确地捕捉到事件的核心要素及其发生的时间点。其中，实体包括国家、地区、公民和公司等，作为事件的参与者或受影响的对象，关系包括开展合作、访问、发表声明、谴责和拒绝等，揭示了这些实体之间的行为或状态变化。

2、新闻事件预测任务基于历史发生的新闻事件，将实体和关系映射为低维、稠密的实值向量表示，进而通过向量运算预测实体之间未来可能发生的关系。这一任务不仅在国际事件预测、社会风险评估、以及公共安全管理等领域展现出巨大的应用潜力，也是人工智能与大数据技术深度融合的重要体现。然而，新闻事件预测面临着诸多挑战，包括但不限于数据的海量性、异质性、以及时序依赖性等。特别是如何有效地捕捉实体之间的高阶相关性及其随时间的演化规律，成为当前研究的热点与难点。

3、为了应对这些挑战，研究者们纷纷将目光投向深度神经网络，特别是图神经网络(gnns)与循环神经网络(rnns)及其变体。图神经网络擅长处理图结构数据，能够自然地捕捉实体之间的成对相关性，通过节点间的信息聚合与传递，实现关系推理与知识表示。而循环神经网络则以其对时间序列数据的强大建模能力著称，能够捕捉到事件之间的时间依赖关系。基于深度神经网络的新闻事件预测方法使用图神经网络与循环神经网络及其变体对新闻事件中的图结构信息和时间依赖分别进行建模，这些方法在事件预测任务中取得了不错的效果。在这些方法中，图是基于四元组构建的，图神经网络被用来捕获实体之间的成对相关性。尽管基于图神经网络与循环神经网络的方法已经取得了显著进展，但现有模型在捕获实体之间高阶相关性及其时序演化方面仍存在局限。高阶相关性指的是三个或更多实体之间同时存在的复杂关联，这种关联往往蕴含着更深层次的社会逻辑与动态规律。为了突破这一瓶颈，最新的方法尝试引入衍生结构，如实体组、社区和超图等，以更细粒度地刻画实体间的相互关系。然而，这些方法无法捕获实体之间高阶相关性的时序演化。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于时间平滑约束深度演化聚类的新闻事件预测方法，根据每个时间戳发生的新闻事件构建实体图，利用深度演化聚类模块构建簇，对相邻时间戳的簇进行对齐和融合以构建簇图，进而构建时间平滑约束，并引入簇图信息传递模块进行表示学习，从而有效建模实体之间高阶相关性的时序演化，在国际事件预测、社会治理等领域具有广阔的应用前景。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、本发明实施例提供的一种基于时间平滑约束深度演化聚类的新闻事件预测方法，包括以下步骤：

4、在构建的训练数据集中根据每个时间戳发生的新闻事件构建以实体为节点并以实体之间的关系为边的实体图；

5、使用关系感知的图卷积神经网络在实体图上进行信息聚合得到初步更新的实体表示和关系表示；

6、在深度演化聚类模块中基于初步更新的实体表示利用模糊聚类得到实体对于簇的软隶属矩阵和不同时间戳的簇，将相邻时间戳的簇进行对齐融合后构建以簇为节点并以簇之间的隐式相关性为边的簇图，并根据相邻时间戳的簇之间的余弦距离构建时间平滑损失；

7、在簇图信息传递模块中利用隐式相关性编码器捕获簇图中簇对之间的隐式相关性后在簇图上进行信息聚合以更新簇的表示，进而根据实体对于簇的软隶属矩阵对初步更新的实体表示和关系表示进行再次更新；

8、利用时间残差门将当前时间戳再次更新的实体表示和关系表示与当前时间戳初始的实体表示和关系表示相结合，作为下一个时间戳的输入；

9、将不同时间戳再次更新后的实体表示和关系表示输入到基于注意力机制的时间依赖编码器中，得到综合的实体表示和关系表示；

10、基于综合的实体表示和关系表示，通过基于卷积的新闻事件模型预测实体之间未来可能发生的所有关系，构建包括预测损失和时间平滑损失的总预测损失，基于训练数据集和总预测损失对整个网络进行训练，利用训练好的新闻事件模型进行新闻事件预测。

11、具体地，所述在构建的训练数据集中根据每个时间戳发生的新闻事件构建以实体为节点并以实体之间的关系为边的实体图，包括：

12、对新闻事件数据进行预处理，提取得到的新闻事件以四元组(s,r,o,t)的形式表示，其中，s代表头实体，r代表关系，o代表尾实体，t代表时间戳；

13、利用大小为t的滑动时间窗口对预处理后的新闻事件数据划分得到训练数据集，其中每个样本包含新闻事件数据中t个时间戳发生的新闻事件；

14、将训练数据集中所有新闻事件构建为全局静态图，其中，节点表示实体，边表示实体之间的关系，并基于全局静态图利用谱聚类获得全局簇；

15、将训练数据集分为n个批次用于进行分批训练，随机初始化可学习的实体表示ei和可学习的关系表示ri，i表示实体表示或关系表示的索引；

16、选取一批训练样本，根据每个时间戳发生的新闻事件构建实体图其中，表示t时间戳的节点集，代表实体；表示t时间戳的边集，代表实体之间的关系。

17、具体地，所述使用关系感知的图卷积神经网络在实体图上进行信息聚合得到初步更新的实体表示和关系表示，包括：

18、利用关系感知的图卷积神经网络在实体图上进行信息聚合的计算公式如下：

19、

20、其中，表示初步更新的尾实体表示，由于新闻事件中尾实体也能作为另一事件的头实体，则此处也视为同步初步更新了头实体表示，和rt,l分别表示t时间戳的头实体s、尾实体o和关系r在第l层的表示，表示t时间戳的新闻事件集合，w1和w2表示可学习的参数，do表示尾实体的入度，rrelu(·)表示激活函数；

21、t时间戳的初步更新的关系表示rt由与r相关的实体表示以及r在上一个时间戳的表示rt-1得到，计算公式如下：

22、

23、其中，[；]表示串接操作，pooling(·)表示平均池化操作，表示在t时间戳与r相关的初步更新的实体表示，其中头实体或尾实体的实体集合x在(x,r,o,t)中代表头实体，x在(s,r,x,t)中代表尾实体。

24、具体地，所述在深度演化聚类模块中基于初步更新的实体表示利用模糊聚类得到实体对于簇的软隶属矩阵和不同时间戳的簇，包括：

25、在深度演化聚类模块中，首先通过优化以下目标函数j，得到实体对于簇的软隶属矩阵u，计算公式如下：

26、

27、其中，ne和nc分别表示实体和簇的数量，i表示实体的索引，j表示簇的索引，软隶属矩阵u的第i行第j列的元素表示t时间戳的初步更新的实体表示对簇质心的隶属度，上标m表示模糊平滑超参，<·>表示点乘操作，‖·‖表示向量的模；

28、随后得到t时间戳的可重叠的簇，计算公式如下：

29、

30、其中，表示第j个簇在t时间戳的表示，由实体表示和实体对簇的隶属度加权得到，表示除簇质心以外的索引为k的簇质心，表示实体图中的节点集。

31、具体地，所述将相邻时间戳的簇进行对齐融合后构建以簇为节点并以簇之间的隐式相关性为边的簇图，包括：

32、在深度演化聚类模块中，运用簇感知的匈牙利匹配算法保证相邻时间戳的簇平滑对齐，其首先构建亲和矩阵a量化连续时间戳的簇之间的相似度，计算公式如下：

33、

34、其中，a的第j行第k列的元素aj,k表示t-1时间戳的第j个簇和t时间戳的第k个簇之间的相似度，cos(·)表示余弦相似度函数；

35、亲和矩阵a构建完成后，利用簇感知的匈牙利匹配算法寻求最优对齐，使对齐的簇之间的相似度之和最大化，计算公式如下：

36、

37、其中，π表示为实现相邻时间戳的簇平滑对齐的置换函数，π(j)表示与t-1时间戳的第j个簇对齐的t时间戳的簇的索引；

38、对相邻时间戳的簇进行对齐后，将对齐的簇进行加权融合以得到融合后的簇表示，计算公式如下：

39、

40、其中，β是权重融合超参，表示相邻时间戳的簇表示对融合后的簇表示的相对贡献；

41、随后，构建簇图其中，表示t时间戳的节点集，代表对齐融合后的簇，表示t时间戳的边集，代表对齐融合后的簇之间的隐式相关性。

42、具体地，时间平滑损失的计算公式如下：

43、

44、其中，表示时间平滑损失。

45、具体地，所述在簇图信息传递模块中利用隐式相关性编码器捕获簇图中簇对之间的隐式相关性后在簇图上进行信息聚合以更新簇的表示，进而根据实体对于簇的软隶属矩阵对初步更新的实体表示和关系表示进行再次更新，包括：

46、利用簇图信息传递模块中的隐式相关性编码器捕获簇对之间的隐式相关性，t时间戳第i个簇和第j个簇的簇对之间的隐式相关性的计算公式如下：

47、

48、其中，表示变换函数，由多层感知机实现，relu(·)表示激活函数；

49、对隐式相关性的强度进行量化得到计算公式如下：

50、

51、其中，σ(·)表示sigmoid函数，conv(·)表示卷积操作；

52、基于全局静态图得到的全局簇，利用全局簇之间的相似度增强簇对之间隐式相关性的强度，计算公式如下：

53、

54、

55、其中，表示在t时间戳与第i个簇和第j个簇对齐的全局簇，表示t时间戳的第i个全局簇和第i个全局簇之间的相似度，表示经全局簇增强过后的t时间戳的隐式相关性强度，其集成了来自全局图的结构信息；

56、簇图的信息传递过程的计算公式如下：

57、

58、其中，表示t时间戳与第i个簇ci对应的向量表示；

59、随后，更新簇表示以及实体表示，计算公式如下：

60、

61、其中，表示t时间戳第i个簇更新后的簇表示，表示软隶属矩阵中第i行第j列的元素，表示t时间戳共nc个簇的中第j个簇更新后的簇表示，表示t时间戳第i个再次更新后的实体表示，并根据再次更新后的实体表示得到再次更新后的关系表示。

62、具体地，基于卷积的新闻事件模型采用convtranse模型。

63、具体地，预测损失的计算公式如下：

64、

65、其中，表示预测损失，nr表示关系的数量，yi,j表示事件i中的实体发生关系j的标签，pi,j表示事件i中的实体发生关系j的预测概率。

66、具体地，所述基于训练数据集和总预测损失对整个网络进行训练，包括：

67、将训练数据集分批，将批中每个样本的预测损失和时间平滑损失相加作为该批中所有样本的总预测损失对整个网络中可学习的参数进行调整，批中所有样本的总预测损失的计算方式如下：

68、

69、其中，表示批中第v个样本的预测损失，f表示每个批中样本的数量，表示第v个样本的时间平滑损失。

70、与现有技术相比，本发明具有的有益效果至少包括：

71、(1)本发明通过引入深度演化聚类模块，利用模糊聚类获得实体对簇的软隶属矩阵，并运用簇感知的无监督对齐机制对相邻时间戳的簇进行对齐和融合以构建簇图，根据相邻时间戳的簇之间的余弦距离构建时间平滑约束，以建模实体之间高阶相关性的时序演化。

72、(2)本发明通过引入簇图信息传递模块，将簇图建模为全连通图，以端到端的方式推理簇之间的隐式相关性，并根据簇图进行信息聚合和表示更新，以利用实体之间高阶相关性的时序演化进行表示学习，从而实现实体之间高阶相关性时序演化的精确建模。