基于图注意力机制的电力实体链指方法与流程

1.本发明属于计算机技术领域下的自然语言处理技术领域，具体涉及一种基于图注意力机制的电力实体链指方法。


背景技术：

2.实体链指，又称实体链接(entity linking，el)，即给定一个短文本作为输入，实体链指技术将其中的实体指称项(mention)与给定知识图谱(knowledge graph，kg)中对应的实体进行关联匹配。例如，常见电力实体“购电卡”与“电钥匙”、“电卡表”与“预付费电能表”，虽然名字不同，但其实指代的是同一个电力实体。
3.实体链指方法主要分为：成对实体链指方法、局部集体链指方法和全局集体链指方法。传统基于文本相似度的实体链指方法，无法有效地结合已构建知识图谱的拓扑结构信息。
4.注意力机制已成功用于许多基于序列的任务，例如机器翻译、机器阅读理解等相关任务，可以将图注意力机制与图卷积升级网络进行融入，采用图注意力机制(graph attention network，gat)进行实体的拓扑表征。
5.因此，本发明提出一种基于图注意力机制的电力实体链指方法。


技术实现要素：

6.为解决现有技术中存在的不足，本发明的目的在于，提供一种基于图注意力机制的电力实体链指方法，利用图注意力机制，将图谱中的指称项实体进行融合拓扑结构的高维向量表征，进一步提升实体链指效果。
7.本发明采用如下的技术方案。
8.一种基于图注意力机制的电力实体链指方法，所述方法包括步骤：
9.步骤1，获取输入文本q，与已构建的电力知识图谱kg；
10.步骤2，利用中文字向量并基于bilstm-crf的实体抽取模型从输入文本q中抽取待链指实体集合e并计算每个实体的初始高维向量表征
11.步骤3，获取步骤2中抽取得到的每个待链指实体ei，获取电力知识图谱kg中与每个待链指实体ei最相似的k个指称项实体集合e’；获取每个指称项实体e
ij’在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
；
12.步骤4，获取步骤3中得到的指称项实体连接图g
ij
，利用图注意力机制网络对每个指称项实体e
ij’进行高维向量表征
13.步骤5，获取步骤4中得到的每个指称项实体的高维向量表征及步骤2中获取得到的每个待链指实体的初始高位向量表征计算待链指实体与指称项实体的置信度得分score；
14.步骤6，将步骤5中计算的置信度得分进行排序，选取得分最高的指称项实体作为
抽取实体的链指对象。
15.进一步地，步骤1中，输入文本q＝{c1，c2，
…
，ci，
…
，c
l
}，其中，ci表示一个字符，文本长度为l。
16.进一步地，步骤2中，待链指实体集合e＝{e1，e2，
…
，ei，
…
，en}，其中，ei表示一个待链指实体。
17.进一步地，步骤2中，待链指实体的初始高维向量表征计算公式如下：
[0018][0019]
其中，表示待链指实体ei中每个字的向量表征，表征来源于中文字向量vocab。
[0020]
进一步地，步骤3中，指称项实体集合e’＝{e
i1
，e
i2
，
…
，e
ij’}，j＝1，2，
…
k。
[0021]
进一步地，步骤3中，指称项实体连接图g
ij
表示为：
[0022]gij
＝《e
ij
，r
ij
》
[0023]
其中，e
ij
表示与指称项实体e
′
ij
有一跳关系的其他实体集合，r
ij
表示该关系，用于查询实体在电力知识图谱的一跳关系的实体，en∈e
ij
，rn∈r
ij
，n∈nj，nj表示与指称项实体e
′
ij
有一跳关系的实体个数。
[0024]
进一步地，步骤4中，高维向量表征计算方式：
[0025][0026]
其中，σ(
·
)为softmax激活函数，wk为可训练的权重参数，为一个关联实体en的向量表征，为图注意力机制中训练获得的指称项实体e
′
ij
与其关联实体en的注意力权重。
[0027]
进一步地，的计算方式：
[0028][0029]
其中，exp()是指自然指数函数，w
′
及w
″
为可学习的参数，是指称项实体e
′
ij
的初始高维向量表征。
[0030]
进一步地，步骤5中，置信度得分score计算方式：
[0031][0032]
进一步地，步骤3中，利用传统搜索方法bm25，获取电力知识图谱kg中与每个待链指实体ei最相似的k个指称项实体集合e’。
[0033]
进一步地，步骤3中，利用图谱查询语句，获取每个指称项实体e
ij’在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
。
[0034]
一种基于图注意力机制的电力实体链指系统，所述系统包括文本获取模块、待链指实体抽取模块、指称项实体抽取模块、基于图注意力机制的高维向量表征模块、待链指实
体与指称项实体的置信度计算模块、链指对象确认模块；
[0035]
其中，文本获取模块，用于获取输入文本q，与已构建的电力知识图谱kg；
[0036]
待链指实体抽取模块，用于从输入文本q中抽取待链指实体集合e及每个实体的初始高维向量表征
[0037]
指称项实体抽取模块，用于获取电力知识图谱kg中与每个待链指实体ei最相似的k个指称项实体集合e’；并获取每个指称项实体e
ij’在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
；
[0038]
基于图注意力机制的高维向量表征模块，用于利用图注意力机制网络对每个指称项实体e
ij’进行高维向量表征
[0039]
待链指实体与指称项实体的置信度计算模块，用于利用每个指称项实体的高维向量表征及每个待链指实体的初始高位向量表征计算待链指实体与指称项实体的置信度得分；
[0040]
链指对象确认模块，用于将置信度得分进行排序，选取得分最高的指称项实体作为抽取实体的链指对象。
[0041]
本发明的有益效果在于，与现有技术相比，本发明结合已构建的电力知识图谱，利用图注意力机制，将图谱中的指称项实体进行融合拓扑结构的高维向量表征，进一步提升实体链指效果。
附图说明
[0042]
图1是本发明基于图注意力机制的电力实体链指方法实现流程图；
[0043]
图2是实体抽取模型框架图；
[0044]
图3是“电能表”一跳关系图。
具体实施方式
[0045]
下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
[0046]
如图1所示，本发明所述的基于图注意力机制的电力实体链指方法，包括以下步骤：
[0047]
步骤1，获取输入文本q，与已构建的电力知识图谱kg；
[0048]
其中，文本q＝{c1，c2，
…
，ci，
…
，c
l
}，其中，ci表示一个字符，文本长度为l。
[0049]
电力知识图谱kg为构建的一个电力领域知识图谱。
[0050]
步骤2，利用中文字向量并基于bilstm-crf的实体抽取模型，从步骤1中的文本q中抽取待链指实体集合e，并计算每个实体的初始高维向量表征
[0051]
bilstm-crf是一种经典的实体识别模型方案，lstm(long short-term memory，lstm)是一种特殊的循环神经网络，可以解决rnn的长期依赖问题，bilstm通过双向表征，进一步提升表征效果，crf(conditional random field，crf)条件随机场，是一种鉴别式概率模，是随机场的一种，常用于标注或分析序列资料，利用bilstm-crf，可以进一步提升模型实体抽取效果，模型框架如图2所示。
[0052]
待链指实体集合e＝{e1，e2，
…
，ei，
…
，en}，其中，ei表示一个待链指实体。
[0053]
高维向量表征是由所采用的bilstm-crf实体抽取模型对于每个待链指实体ei的初始高维向量表征。
[0054]
例如，针对输入文本q“电卡表是一种重要的电力计量设备“从抽取结构可知，本次抽取到的待链指实体为“电卡表”，选取模型中得出的表征结果[x1，x2，x3]作为待链指实体的初始高维向量表征的初始高维向量表征的计算公式如下：
[0055][0056]
其中，表示待链指实体ei中每个字的向量表征，表征来源于中文字向量vocab。
[0057]
步骤3，获取步骤2中抽取得到的每一个待链指实体ei，利用传统搜索方法bm25，获取电力知识图谱kg中与实体ei最相似的k个指称项实体集合e’，并利用图谱查询语句，获取每个指称项实体e
ij’在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
；
[0058]
bm25是一种用来评价搜索词和搜索目标之间相关性的算法，它是一种基于概率检索模型提出的算法；图谱查询语句是一种特殊目的的编程语言，是一种面向存储知识图谱的图数据库进行查询和程序设计语言，用于对存储的图谱数据进行查询、更新和管理。
[0059]
步骤3.1，获取步骤2中得到的待链指实体，针对每一个待链指实体ei，利用传统搜索方法bm25，获取电力知识图谱kg中与实体ei最相似的k个指称项实体集合e’；其中，e’＝{e
i1
，e
i2
，
…
，e
ij’}，j＝1，2，
…
k；
[0060]
步骤3.2，利用图谱查询语句，针对步骤3.1中获取的指称项实体集合e’中的每个指称项实体e
ij’在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
。
[0061]
步骤4，获取步骤3中得到的指称项实体连接图g
ij
，利用图注意力机制网络对每个指称项实体e
ij’进行高维向量表征
[0062]
高维向量表征计算方式如公式(2)所示：
[0063][0064]
其中，σ(
·
)为softmax激活函数，wk为可训练的权重参数，为一个关联实体en的向量表征，为图注意力机制中训练获得的指称项实体e
′
ij
与其关联实体en的注意力权重；
[0065]
的计算方式如公式(3)所示：
[0066][0067]
其中，exp()是指自然指数函数，w
′
及w
″
为可学习的参数，是指称项实体e
′
ij
的初始高维向量表征，采用公式(1)计算获得。
[0068]
步骤5，获取步骤4中得到的每个指称项实体的高维向量表征及步骤2中获取得到的每个待链指实体的初始高位向量表征计算待链指实体与指称项实体的置信度得
分score；
[0069]
置信度得分score计算方式如公式(4)所示：
[0070][0071]
步骤6，将步骤5中计算的置信度得分进行排序，选取得分最高的指称项实体作为抽取实体的链指对象。
[0072]
本发明还提供一种基于图注意力机制的电力实体链指系统，包括文本获取模块、待链指实体抽取模块、指称项实体抽取模块、基于图注意力机制的高维向量表征模块、待链指实体与指称项实体的置信度计算模块、链指对象确认模块。
[0073]
其中，文本获取模块，用于获取输入文本q，与已构建的电力知识图谱kg；
[0074]
待链指实体抽取模块，用于从输入文本q中抽取待链指实体集合e及每个实体的初始高维向量表征
[0075]
指称项实体抽取模块，用于获取电力知识图谱kg中与每个待链指实体ei最相似的k个指称项实体集合e’；并获取每个指称项实体e
ij’在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
；
[0076]
基于图注意力机制的高维向量表征模块，用于利用图注意力机制网络对每个指称项实体e
ij’进行高维向量表征
[0077]
待链指实体与指称项实体的置信度计算模块，用于利用每个指称项实体的高维向量表征及每个待链指实体的初始高位向量表征计算待链指实体与指称项实体的置信度得分；
[0078]
链指对象确认模块，用于将置信度得分进行排序，选取得分最高的指称项实体作为抽取实体的链指对象。
[0079]
以下以一具体实施例说明本发明方法的具体实现过程。
[0080]
步骤1，获取输入短文本q，与已构建的电力知识图谱kg；例如，获取短文本“如何用电钥匙为电卡表充值？”；
[0081]
步骤2，利用基于bilstm-crf的实体抽取模型，从步骤1中的文本q中抽取待链指实体集合e，并获取每个待链指实体ei的初始高维向量表征例如，针对上述短文本“如何用电钥匙为电卡表充值？”抽取出的待链指实体集合为[“电钥匙”,“电卡表”]；
[0082]
步骤3，获取步骤2中抽取得到的每一个待链指实体ei，利用传统搜索方法bm25，获取电力知识图谱kg中与实体ei最相似的k个指称项实体集合e
′
，并利用图谱查询语句，获取每个指称项实体e
′
ij
在图谱中的一跳实体和关系，组成指称项实体连接图g
ij
，其中连接图g
ij
可以表示为：
[0083]gij
＝《e
ij
，r
ij
》
ꢀꢀꢀ
(5)
[0084]
其中，e
ij
表示与指称项实体e
′
ij
有一跳关系的其他实体集合，r
ij
表示该关系，其中en∈e
ij
，rn∈r
ij
，n∈nj，nj表示与支撑项实体e
′
ij
有一跳关系的实体个数。r
ij
是连接图的组成部分，主要是用于查询实体“电能表”在电力知识图谱的一跳关系的实体。
[0085]
例如针对抽取实体“电卡表”，利用bm25可以抽取指称项实体“计量表”、“分时电
表”、“电能表”等。获取指称项实体“电能表”在电力知识图谱的一跳关系的实体，如图3所示。
[0086]
步骤4，获取步骤3中得到的指称项实体连接图g
ij
，利用图注意力机制网络对指称项实体e
′
ij
进行高维向量表征计算方式如：
[0087][0088]
其中，σ(
·
)为softmax激活函数，wk为可训练的权重参数，为一个关联实体en的向量表征，为图注意力机制中训练获得的指称项实体e
′
ij
与其关联实体en的注意力权重；
[0089]
的计算方式如：
[0090][0091]
步骤5，获取步骤4中得到的指称项实体e
′
ij
的高维向量表征及步骤2中获取得到的待链指实体的初始高维向量表征利用如下计算待链指实体与指称项实体的置信度得分score，计算公式如：
[0092][0093]
结合上述计算公式，分别计算待链指实体“电卡表”与指称项实体的置信度得分，得分结果如表1所示。
[0094]
表1
[0095][0096]
步骤6，将步骤5中计算的置信度得分进行排序，选取得分最高的指称项实体作为抽取实体的链指对象。
[0097]
由步骤5中得分可以判断出，“电卡表”的链指对象为“电能表”。
[0098]
本发明的有益效果在于，与现有技术相比，本发明结合已构建的电力知识图谱，利用图注意力机制，将图谱中的指称项实体进行融合拓扑结构的高维向量表征，进一步提升实体链指效果。
[0099]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。