一种跨模态情感知识图谱构建方法及装置与流程

本发明涉及情感计算技术领域，具体涉及一种跨模态情感知识图谱构建方法及装置。

背景技术：

情感计算技术在人工智能研究特别是人机交互应用领域具有至关重要的作用。随着5g通信、虚拟现实、车联网等先进技术的普及，信息交流及人机交互形态也从文字、图像、音频、视频等单一模态逐步过渡到相互融合的多种媒体形态。因此，跨模态情感计算成为近年来情感计算的研究热点。

传统的情感知识图谱构建过程中，不能将来自异构跨模态情感特征有效关联，因此以单一模态情感特征为核心所构建的情感知识图谱是一个个孤立的抽取图谱，无法真正反映跨模态数据中的情感知识。为了形成一个真正的跨模态情感知识图谱，则需要将这些情感知关联和集成在一起，从而有效支撑跨模态情感计算过程。因此，有必要提出一种新的情感知识图谱构建方法及装置。

技术实现要素：

针对现有技术的不足，本发明提出一种跨模态情感知识图谱构建方法，所述方法包括：步骤s101，接收用户跨模态情感数据；步骤s102，提取所述跨模态情感数据中每种模态情感数据的情感特征值；步骤s103，根据所述情感特征值生成情感共现矩阵；步骤s104，根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及步骤s105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。

示例性地，所述步骤s103中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述步骤s104中所述情感倾向聚类算法为概率潜在语义分析算法。

另一方面，本发明还提供一种跨模态情感知识图谱构建装置，所述装置包括：情感数据接收模块，用于接收用户跨模态情感数据；情感特征提取模块，用于提取所述跨模态情感数据中每种模态情感数据的情感特征值；情感共现矩阵生成模块，用于根据所述情感特征值生成情感共现矩阵；情感倾向划分模块，用于根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及知识图谱生成模块，用于构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。

示例性地，所述情感共现矩阵生成模块中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述情感倾向划分模块中所述情感倾向聚类算法为概率潜在语义分析算法。

本发明提供的跨模态情感知识图谱构建方法及装置能够将来自异构跨模态情感特征进行有效关联和划分，从而实现跨模态情感知识图谱的构建，为跨模态情感计算的应用场景提供更为有价值的参考。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。

附图中：

图1示出了根据本发明的实施例的一种跨模态情感知识图谱构建方法100的流程图；

图2示出了根据本发明的实施例的一种跨模态情感知识图谱构建装置200的结构框图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本实施例提供的跨模态情感知识图谱构建方法具体可以应用于跨模态情感知识图谱的构建，可以通过跨模态情感知识图谱构建装置来执行，该跨模态情感知识图谱构建装置可以为服务器。如图1所示，本实施例提供的跨模态情感知识图谱构建方法100包括如下步骤：

步骤s101：接收用户跨模态情感数据。例如，通过摄像装置录制用户的面部表情情感数据，同时通过录音装置录制用户的语音情感数据。示例性地，本步骤中用户的面部表情情感数据可以通过普通的基于可见光的彩色或灰度摄像装置进行采集，所述摄像装置例如普通摄像头、网络摄像头、手机的前置摄像头等；本步骤中用户的语音情感数据可以通过普通的录音装置进行采集，所述录音装置例如普通的录音笔、麦克风、手机话筒等。

步骤s102：提取所述跨模态情感数据中每种模态情感数据的情感特征值。示例性地，提取面部表情情感数据的情感特征值可以通过检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取加速段测试特征，从而最终得到面部表情情感特征值的方式进行提取；提取语音情感数据的情感特征值则可以通过基于平均幅度差法的基频特征提取方式进行提取。

步骤s103：根据所述情感特征值生成情感共现矩阵。示例性的，情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。假设所提取的第一模态情感特征值集合为u＝{u1，u2，…，um}，第二模态情感特征值集合为d＝{d1，d2，…，dn}，则两者所构建的m×n阶情感共现矩阵ud：

ud＝[w(um,dn)]m×n；

其中，w(um,dn)为第一模态情感特征值um与第二模态情感特征值dn的同时出现的次数。

步骤s104：根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集。示例性的，情感倾向聚类算法具体可以为潜在语义分析(latentsemanticanalysis，简称lsa)算法或概率潜在语义分析(probabilitylatentsemanticanalysis，简称plsa)算法等。

步骤s105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。

在本实施例中，优选地，聚类算法为概率潜在语义分析(plsa)算法。根据概率潜在语义分析算法对情感共现矩阵进行聚类，将情感共现矩阵中第一模态情感特征值集合u和第二模态情感特征值集合d同时划分到多个不同的情感倾向子集的实现方式具体如下：

定义情感倾向类别集合z＝{z1，z2，…，zc}，情感倾向的类别数量c可以根据u和d的大小情况以及实际应用场景来设置，并可以根据聚类的质量来选择一个最佳值。具体的，高质量的情感倾向类别划分应使相同类别内的情感特征共现程度最高，而不同类别间的情感特征共现程度最低。为了对情感倾向类别划分的质量进行量化评估，对于每个情感倾向类别k，计算该类别的独立程度ck：

ck＝cki/cko；

其中cki表示类别k内部的第一模态情感特征值集合和第二模态情感特征值集合间的共现程度，cko表示类别k与其他类别间的共现程度。

其中，uk和dk分别代表情感倾向类别k中的第一模态情感特征值集合和第二模态情感特征值集合。

则对于一个被划分为情感倾向类别总数为c的情感特征值集合，其总体分类质量cc可以表示为：

由此，对于不同的列别数量c，可以选择一个能够使cc值达到最优的作为情感倾向类别的最终数量。

从第一模态情感特征值集合u中选择一个情感特征值ui，概率为pr(ui)，为情感特征值ui分配一个情感倾向类别zk，概率为pr(zk|ui)，从第二模态情感特征值集合d中选取一个情感特征值dj，概率为pr(dj|zk)。

则情感特征值ui与dj间共同出现的联合概率pr(ui,dj)为：

pr(ui,dj)＝pr(ui)pr(dj|ui)；

其中，

根据贝叶斯定理，该联合概率pr(ui,dj)可以转化为：

定义用于描述联合概率期望的似然函数l(u,d)：

则为使该似然函数l(u,d)的值达到最大，需要对pr(zk)，pr(ui|zk)和pr(dj|zk)三类参数进行估计。

首先设定上述三类参数的初始值，然后，可以通过e-m算法(expectation-maximization)对该三类参数进行极大似然估计。该过程迭代执行以下两个步骤：

计算条件概率pr(zk|ui,dj)：

将条件概率pr(zk|ui,dj)代入完全似然期望e(l^c)，初始值设为0：

则

判断当前e(l^c)是否大于旧值，若是，继续执行以下步骤；否则终止该迭代过程。

利用上述公式求得的pr(zk|ui,dj)，分别求得上述三类参数的更新值：

将上述求得的三类参数代入计算条件概率的公式中，迭代执行上述步骤，直至终止。迭代过程结束以后，根据所求得的pr(zk)和pr(ui|zk)可以求得某一个情感特征值ui属于情感倾向类别zk概率：

对所有的zk，1≤k≤c，计算概率pr(zk|ui)的值，其中的最大值所对应的k即是情感特征值ui所属的情感倾向类别。同样的，对所有的zk，1≤k≤c，计算概率pr(zk|dj)的值，其中的最大值所对应的k即是情感特征值dj所属的情感倾向类别。依此对所有的情感特征值进行计算，就可以得到所有情感特征值的情感倾向属性，由此达到对情感特征值进行情感倾向划分的目的。

根据本发明的另一方面，还提供了一种跨模态情感知识图谱构建装置。图2为本发明实施例提供的跨模态情感知识图谱构建装置结构框图。本实施例提供的跨模态情感知识图谱构建装置具体可以实现本发明任意实施例提供的跨模态情感知识图谱构建方法的各个步骤，此不再赘述。

本实施例提供的跨模态情感知识图谱构建装置200包括：情感数据接收模块201、情感特征提取模块202、情感共现矩阵生成模块203、情感倾向划分模块204和知识图谱生成模块。其中，情感数据接收模块201用于接收用户跨模态情感数据；情感特征提取模块202用于提取所述跨模态情感数据中每种模态情感数据的情感特征值；情感共现矩阵生成模块203用于根据所述情感特征值生成情感共现矩阵；情感倾向划分模块204用于根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；知识图谱生成模块205用于构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。

本发明提供的跨模态情感知识图谱构建装置，能够将来自异构跨模态情感特征进行有效关联和划分，从而实现跨模态情感知识图谱的构建，为跨模态情感计算的应用场景提供更为有价值的参考。

本发明实施例的各个模块可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的跨模态情感知识图谱构建设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在存储载体上提供，或者以任何其他形式提供。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。