基于深度学习的对象间的关联分析方法及其装置制造方法
【专利摘要】本发明公开了一种社交媒体网络中对象间的关联分析方法及装置，在很多重要的相关领域已经有了广泛的应用。该方法包括：步骤1、提取对象的底层特征；步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；步骤3、通过对象的高层特征获得对象间的关联关系。该方法中首先从对象的内容信息中学习出高层的抽象特征，然后在这些高层的特征的基础上来进行关联建模。本方法引入隐式特征的概念，在生成式模型的框架下，一方面隐式特征生成对象的内容信息(高层特征)，另一方面，对象的隐式特征之间的交互以最大概率对象之间的关联信息。本方法采用蒙特卡洛近似推断算法来推断模型的参数及隐变量。
【专利说明】基于深度学习的对象间的关联分析方法及其装置
【技术领域】
[0001]本发明涉及数据分析【技术领域】，尤其涉及一种基于深度学习的对象间的关联分析方法及其装置。
【背景技术】
[0002]近年来，社交媒体在互联网的沃土上蓬勃发展，爆发出令人眩目的能量，其传播的信息已成为人们浏览互联网的重要内容。而社交媒体中的媒体对象不是独立存在的，而是相互关联和相互影响的。在这一背景下，社交媒体中对象间的关联分析显得尤为重要。它能够为社交媒体中的相关应用，比如用户推荐、社交媒体图像标注等，提供技术基础。
[0003]目前针对社交媒体中媒体对象的关联分析主要集中在基于协同的方法和基于关联图拓扑的方法来实现。基于协同的经典方法是矩阵分解。如图1所示，对象间的观测的信息构成一个关联矩阵，未观测到的信息作为矩阵需要的填补部分。通过对矩阵M-分解得到两个矩阵U和V，他们的行分别表示对象的隐式因子，通过优化U和V，使UVt尽量接近M，从而获得他们的最优的隐式因子。基于关联图拓扑的方法通过提取对象间的拓扑特征，如最短距离、公共近邻等特征来计算对象间的相似度距离。
[0004]尽管上述的方法能够取得一定的效果，但是它们仍然存在着诸多问题。一方面，现有的方法均仅针对同质的对象间关联分析，不能处理异质对象间的关联问题。另一方面，不论是矩阵分解中的隐式因子还是关联图的拓扑特征，它们都不能准确地反映对象的本质特性。从模型的深度角度看，他们均属于浅层次的模型。
[0005]媒体对象的内容信息是影响社交媒体中关联信息的重要因素。对媒体内容进行高层特征学习将对关联分析有重要的促进作用。基于深度学习进行高层特征提取的关联分析具有广泛的应用前景。
【发明内容】
[0006]为解决现有技术中存在的上述问题，本发明提出了一种基于深度学习的对象间的关联分析方法。
[0007]本发明提出的一种基于深度学习的对象间关联分析方法，其包括:
[0008]步骤1、提取对象的底层特征；
[0009]步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；
[0010]步骤3、通过对象的高层特征获得对象间的关联关系。
[0011]本发明还提出了一种基于深度学习的对象间关联分析装置，其包括:
[0012]底层特征提取模块，其用于提取对象的底层特征；
[0013]高层特征获取模块，其用于对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；
[0014]关联关系获取模块，其用于通过对象的高层特征获得对象间的关联关系。[0015]本发明的方案不仅能够预测社交网络中同质对象间的关联性，同时也能对异质对象间的关联性进行预测。
【专利附图】
【附图说明】
[0016]图1是传统的基于协同的关联分析方法中矩阵分解示意图；
[0017]图2是本发明中基于深度学习的对象间关联分析方法流程图；
[0018]图3是本发明中深度网络结构示意图。
【具体实施方式】
[0019]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0020]考虑到媒体对象的特征学习对于对象间的关联分析有重要的影响，本发明提出了一种基于深度学习的社交媒体关联分析方法。该方法的核心思想是通过深度学习提取媒体对象的高层语义特征，在高层语义特征的基础上进行对象间的关联建模。
[0021]图2示出了本发明提出的基于深度学习的对象间关联分析方法的方法流程图。该方法包括:
[0022]步骤1、提取对象(如图像)的底层特征；
[0023]步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；
[0024]步骤3、通过对象的高层特征获得隐式特征，并根据隐式特征间的交互来进行对象间的关联建模，进而得到对象间的关联关系。
[0025]下面详细介绍上述三个步骤的具体执行过程。
[0026]步骤I中，对象的底层特征提取是得到对象的初始表示。对于不同的关联类型以及不同的对象采用不同的底层特征表示。比如对于社交媒体中的用户-用户关联类型，本发明把用户相关的标签信息词频-逆向文件频率(TF-1DF)作为用户的底层特征。而对于图像-标签关联类型，本发明优选用方向梯度直方图(HOG) (32X32维)作为图像的底层特征。而对于标签对象的底层特征，本发明考虑把标签之间的共现信息当作底层特征。比如对于标签ti;它和标签\在同一幅图像中同时出现c次，而标签\自身总共出现N次，设总共
Q 个标签 Itj2,..., tQ},标签 h 的特征向量为 Xti =，则 < = c/Na
[0027]步骤2中从底层的特征中学习高层特征是本发明的重要部分。对于对象的底层特征X(维数为D)，本发明采用深度网络进行逐层地抽取其特征。
[0028]图3示出了本发明中深度网络的结构示意图。如图3所示，底层特征X= (X1,...，XD)为深度网络的最底层的输入数据，中间层以及最高层的节点表示隐藏节点，是对最底层输入数据的隐式表示，其没有明确的语义含义。中间层节点和最高层节点的状态值为O或1，他们可以看作是底层特征的抽象表示。在从最底层到最高层的逐层特征提取过程中，逐层地得到每层的特征状态。其过程如下:
[0029]网络中任意相邻两层之间构成一个受限波尔兹曼机(RBM)。受限波尔兹曼机由下层的可见层V和上层的隐藏层h构成，同一层的节点之间没有连接。给定V层节点的状态，h层的第i个节点的条件状态分布为:
【权利要求】
1.一种基于深度学习的对象间关联分析方法，其包括: 步骤1、提取对象的底层特征； 步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征； 步骤3、通过对象的高层特征获得对象间的关联关系。
2.如权利要求1所述的关联分析方法，其特征在于，步骤I中针对不同的对象以及对象间的关联关系提取不同的底层特征。
3.如权利要求1所述的关联分析方法，其特征在于，步骤2中在所述深度网络中相邻两层之间构成一个受限波尔兹曼机；并采用对比散度算法训练所述受限波尔兹曼机，最终得到对象的高层特征。
4.如权利要求3所述的关联分析方法，其特征在于，训练所述受限波尔兹曼机的过程分为两个阶段:逐层的贪心学习过程和全局的调节过程。
5.如权利要求1所述的关联分析方法，其特征在于，步骤3中通过隐式特征获得对象的高层特征和对象间的关联关系，其中所述隐式特征为假设的带有语义的特征向量，其能够生成对象的高层特征和关联信息，根据所述对象间的关联信息可以获得对象间的关联关系O
6.如权利要求5所述的关联分析方法，其特征在于，步骤3具体包括以下步骤: 步骤3.1、计算每个对象拥有不同隐式特征的概率； 步骤3.2、计算由不同隐式特征生成每个对象的高层特征的概率； 步骤3.3、根据对象的隐式特征间的交互权重计算由不同隐式特征生成每个对象的关联信息的概率，进而计算对象间具有关联关系的概率； 步骤3.4、根据每个对象拥有不同隐式特征的概率、不同隐式特征生成每个对象的高层特征的概率、对象间具有关联关系的概率更新相应的隐式特征； 步骤3.5、更新对象的隐式特征间的交互权重，返回步骤3.1，直到达到预定的循环次数，得到每个对象的最终隐式特征，并根据最终的隐式特征获得对象间的关联关系。
7.一种基于深度学习的对象间关联分析装置，其包括: 底层特征提取模块，其用于提取对象的底层特征； 高层特征获取模块，其用于对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征； 关联关系获取模块，其用于通过对象的高层特征获得对象间的关联关系。
8.如权利要求7所述的关联分析装置，其特征在于，底层特征提取模块针对不同的对象以及对象间的关联关系提取不同的底层特征。
9.如权利要求7所述的关联分析装置，其特征在于，高层特征获取模块在所述深度网络中相邻两层之间构成一个受限波尔兹曼机；并采用对比散度算法训练所述受限波尔兹曼机，最终得到对象的高层特征。
10.如权利要求9所述的关联分析方法，其特征在于，训练所述受限波尔兹曼机的过程分为两个阶段:逐层的贪心学习过程和全局的调节过程。
【文档编号】G06F17/30GK103440352SQ201310438984
【公开日】2013年12月11日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】徐常胜, 袁召全, 桑基韬 申请人:中国科学院自动化研究所