基于跨模态数据融合的未知目标特征建模与需求预测方法

技术特征：

1.一种基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，所述方法包括以下步骤：

步骤1，跨模态数据获取与预处理：采集与未知目标设施v0相关的其他设施v的多模态历史数据，并对这些数据进行归一化处理，得到特征表示表示设施v在时间t的历史需求；

步骤2，构建描述跨模态的设施间关系的异构图结构；

步骤3，构造一个以未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构；

步骤4，针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点，采用关系图神经网络模型计算其高阶特征表示；

步骤5，采用深度学习架构，通过邻居节点特征聚合器有选择地提取子图中的特征信息，组成图的特征嵌入表示，作为中心的未知目标设施的节点特征表示；

步骤6，提取时间相关性，将每个时间片段学习到的未知目标设施的节点特征表示作为循环神经网络模型输入，预测未来未知目标设施的需求情况。

2.根据权利要求1所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，步骤2所述构建描述跨模态的设施间关系的异构图结构，具体包括：

将不同模态的设施作为异构图结构的图节点，节点特征为步骤1中得到的特征表示；

计算跨模态的设施间的地理距离相近性与自身功能相似性，得到跨模态的设施间的多类异构关系，将该多类异构关系作为异构图结构的异构边。

3.根据权利要求1或2所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，所述距离相近性的计算公式为：

式中，表示设施i与设施j之间的距离相近性，disij表示设施i与设施j之间的直接距离，exp()表示e指数函数，γ表示两个设施之间有联系的直接距离的最大阈值，rgeo表示距离相近性的边类型；

所述功能相似性的计算公式为：

式中，表示设施i与设施j之间的功能相似性，cos(fi,fj)表示设施i与设施j的pois分布向量的余弦距离，n表示归一化函数，β表示两个设施之间有联系的余弦相似度的最小阈值，rpoi表示功能相似性的边类型。

4.根据权利要求3所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，步骤3所述以所述未知目标设施为初始节点，构造一个未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构，具体为：

以所述未知目标设施为初始节点，根据步骤2中计算得到的多类异构关系，采用基于广度优先搜索的子图构造方法，构造一个以未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构，具体过程包括：

步骤3-1，输入子图节点的个数m，未知目标设施v0作为中心节点和初始节点，其他已有设施的节点表示v^re，以及时间t；

步骤3-2，初始化一个队列，将未知目标设施v0入队；

步骤3-3，从队列中出队一个设施vi，将该设施和与该设施有关的边加入最终子图中，计算所有其他已有设施v^re中设施vj与设施vi的距离相近性与功能相似性边权值，若边权值大于0，则按照边权值从大到小的顺序将该设施vj加入到队列中；

步骤3-4，重复步骤3-3直到队列为空或子图中节点个数为m为止；

步骤3-5，输出最终的子图其中心节点为未知目标设施v0；

对于历史上的多时间片段，均计算其对应的子图，形成一组时序图结构均以未知目标设施v0作为中心节点。

5.根据权利要求4所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，步骤4所述针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点，采用关系图神经网络模型计算其高阶特征表示，具体为：

对于某个时间片段t所对应的子图中的一个非中心节点vi，按照以下步骤提取高阶特征：

步骤4-1，在异构子图结构上提取该节点vi的空间上的相关性：

式中，nr(i)为节点vi的以r类型连接的邻居节点的集合，j表示该集合中任意一个节点的标号，|nr(i)|表示该集合内的元素个数，εr,ij为设施vj与设施vi的边权值，为节点vj在关系图神经网络第l层的节点特征，与为第l层用于学习r类型连接的相关性的可学习参数，σ表示一类激活函数，为提取到的节点vi在第l+1层的r类型连接的相关性特征；

步骤4-2，在异构子图结构上提取该节点vi的空间上的差异性：

式中，为节点vi在网络第l层的节点特征，与为第l层用于学习r类型连接的差异性的可学习参数，ω表示一类激活函数，为提取到的节点vi在第l+1层的r类型连接的差异性特征；

步骤4-3，综合节点vi在第l层的特征表示线性变换后加权求和得到节点vi在第l+1层的节点特征表示

式中，为在第l层用于自身特征线性变换的可学习参数，为所有边类型的集合，σ表示一类激活函数；

步骤4-4，建立总共l层的信息传递层，在其中重复步骤4-1到步骤4-3，得到每个节点vi在每个层上的从低阶到高阶的特征表示

步骤4-5，将节点vi的特征表示进行连接，获得该节点vi的高阶特征表示gi：

6.根据权利要求5所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，步骤4-1与步骤4-2中涉及到的参数w与b，采用基于矩阵重构的正则化方法计算得出，表达式如下：

式中，q为基矩阵的个数，为在l层的w所对应的第q个基矩阵，为求解时的权重，为求解时的权重；为在l层的b所对应的第q个基矩阵，为求解时的权重，为求解时的权重；

参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到。

7.根据权利要求6所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，步骤5所述采用深度学习架构，通过邻居节点特征聚合器有选择地提取子图中的特征信息，组成图的特征嵌入表示，作为中心的未知目标设施的节点特征表示，具体为：选取与中心的未知目标设施v0即中心目标节点关系最紧密的已有设施，采用加权连接得到最终的中心目标节点特征表示，具体包括：

初始化集合为空集，对于每一类边为边类型的集合，选出以中心目标节点v0为一端的该类型边中权值最大的边，将该边的另一端节点j与该边的类型r组成二元组{j,r}加入集合

之后采用邻居池化聚合器组成图的特征嵌入表示h：

式中，gj表示经步骤4计算得到的节点j的高阶特征表示，表示设施vj与未知目标设施v0的边权值，concat()表示连接函数；h表示子图的图总结表示即特征嵌入表示；

将h作为未知目标设施v0在时间片段t的节点表示形式。

8.根据权利要求7所述的基于跨模态数据融合的未知目标特征建模与需求预测方法，其特征在于，步骤6中所述提取时间相关性，具体采用长短期记忆网络lstm提取。

技术总结
本发明公开了一种基于跨模态数据融合的未知目标特征建模与需求预测方法，包括：跨模态数据获取与预处理；构建描述跨模态的设施间关系的异构图结构；构造以未知目标设施为中心，其余节点为其他多模态设施的异构子图结构；采用关系图神经网络模型计算除中心节点以外的其他节点的高阶特征表示；提取未知目标设施的节点特征表示；提取时间相关性，将每个时间片段的目标设施的节点特征表示作为循环神经网络模型输入，预测未来目标设施的需求情况。本发明针对规划新建设施设备时，预测新设施可能效益的需求，融合现有相关的多种类设施设备数据，构造所规划的目标设施的特征表示形式，建立一种未知目标特征建模方法，并能应用于后续的时序需求预测任务。

技术研发人员：顾晶晶;周强
受保护的技术使用者：南京航空航天大学
技术研发日：2021.01.27
技术公布日：2021.07.23