检索目标的方法和装置与流程

文档序号:22545875发布日期:2020-10-17 02:15阅读:来源:国知局

技术特征:

1.一种检索目标的方法,包括:

获取至少一幅图像以及指定对象的描述文本;

利用预先训练的跨媒体特征提取网络提取所述图像的图像特征以及所述描述文本的文本特征,其中,所述跨媒体特征提取网络将所述文本特征与所述图像特征投影至图像文本共同特征空间;

对所述图像特征与所述文本特征进行匹配,确定出包含所述指定对象的图像。

2.根据权利要求1所述的方法,其中,所述跨媒体特征提取网络是按照如下方式生成的:

获取训练样本集,其中,所述训练样本集包括样本图像文本对,所述样本图像文本对包括:样本图像和描述所述样本图像中包含的对象的样本文本;

获取初始网络,其中,所述初始网络包括待训练的跨媒体特征提取网络、用于判别特征来源的数据类别的判别网络、特征转化网络,所述待训练的跨媒体特征提取网络包括图像图注意力网络、文本图注意力网络;

将所述样本图像文本对中的样本图像输入图像图注意力网络,得到第一特征;

将所述样本图像文本对中的样本文本输入文本图注意力网络,得到第二特征;

将第一特征和第二特征输入所述判别网络得到类别判别结果,根据所述类别判别结果计算判别损失值,其中,所述特征来源的数据类别包括文本类和图像类,所述判别损失值表征第一特征和第二特征类别判定误差;

将第一特征和第二特征输入所述特征转化网络得到特征转化结果,根据特征转化结果计算识别损失函数的值和成对损失函数的值,其中,所述识别损失函数表征第一特征和第二特征在图像文本共同特征空间对所包含的不同对象的区分能力,所述成对损失函数表征同一对象的第一特征和第二特征之间的语义差异性;

基于所述识别损失函数的值和所述成对损失函数的值,得到预设的特征损失值;

基于所述判别损失值和所述特征损失值,将所述待训练的跨媒体特征提取网络和所述特征转化网络作为生成网络,与所述判别网络进行对抗训练,得到训练完成的跨媒体特征提取网络、判别网络、特征转化网络。

3.根据权利要求2所述的方法,其中,所述图像图注意力网络包括残差网络、图像图注意力卷积网络以及联合嵌入层;以及所述将样本图像输入图像图注意力网络,得到第一特征,包括:

利用残差网络提取样本图像的初始图像特征,将初始图像特征输入至图像图注意力卷积网络,输出样本图像的结构化图像特征,将初始图像特征与结构化图像特征融合,生成图像特征,将图像特征输入至联合嵌入层,得到第一特征。

4.根据权利要求3所述的方法,其中,所述将初始图像特征输入至图像图注意力卷积网络,输出样本图像的结构化图像特征,包括:

对样本图像进行目标对象检测,确定出样本图像中的目标对象和目标对象的矩形包围盒的位置,并根据所述目标对象的矩形包围盒的位置,提取所述目标对象的相关特征,其中,所述目标对象的相关特征包括以下至少一项:目标对象的外观特征、目标对象的位置特征以及所述目标对象的类型特征;

构建图像特征有向图,所述图像特征有向图的顶点表征所述目标对象,所述图像特征有向图的有向边表征各目标对象之间的关联关系;

根据所述图像特征有向图,生成样本图像的结构化图像特征。

5.根据权利要求2所述的方法,其中,所述文本图注意力网络包括双向长短期记忆网络、文本图注意力卷积网络以及联合嵌入层;以及所述将样本文本输入文本图注意力网络,得到第二特征,包括:

将样本文本进行分词处理,确定样本文本的词向量;

利用双向长短期记忆网络提取样本文本的词向量的初始文本特征,将初始文本特征输入至文本图注意力卷积网络,输出样本文本的结构化文本特征,将初始文本特征与结构化文本特征融合,生成文本特征,将文本特征输入至联合嵌入层,得到所述第二特征。

6.根据权利要求5所述的方法,其中,所述将初始文本特征输入至文本图注意力卷积网络,输出样本文本的结构化文本特征,包括:

构建文本特征有向图,所述文本特征有向图的顶点表征词向量所指示的目标对象,所述文本特征有向图的有向边表征各词向量所指示的目标对象之间的关联关系,其中,所述词向量所指示的目标对象的相关特征包括以下至少一项:目标对象的属性特征和所述目标对象的类型特征;

根据所述文本特征有向图,生成样本文本的结构化文本特征。

7.一种检索目标的装置,包括:

获取单元,被配置成获取至少一幅图像以及指定对象的描述文本;

提取单元,被配置成利用预先训练的跨媒体特征提取网络提取所述图像的图像特征以及所述描述文本的文本特征,其中,所述跨媒体特征提取网络将所述文本特征与所述图像特征投影至图像文本共同特征空间;

匹配单元,被配置成对所述图像特征与所述文本特征进行匹配,确定出包含所述指定对象的图像。

8.根据权利要求7所述的装置,其中,所述跨媒体特征提取网络是按照如下方式生成的:

获取训练样本集,其中,所述训练样本集包括样本图像文本对,所述样本图像文本对包括:样本图像和描述所述样本图像中包含的对象的样本文本;

获取初始网络,其中,所述初始网络包括待训练的跨媒体特征提取网络、用于判别特征来源的数据类别的判别网络、特征转化网络,所述待训练的跨媒体特征提取网络包括图像图注意力网络、文本图注意力网络;

将所述样本图像文本对中的样本图像输入图像图注意力网络,得到第一特征;

将所述样本图像文本对中的样本文本输入文本图注意力网络,得到第二特征;

将第一特征和第二特征输入所述判别网络得到类别判别结果,根据所述类别判别结果计算判别损失值,其中,所述特征来源的数据类别包括文本类和图像类,所述判别损失值表征第一特征和第二特征类别判定误差;

将第一特征和第二特征输入所述特征转化网络得到特征转化结果,根据特征转化结果计算识别损失函数的值和成对损失函数的值,其中,所述识别损失函数表征第一特征和第二特征在图像文本共同特征空间对所包含的不同对象的区分能力,所述成对损失函数表征同一对象的第一特征和第二特征之间的语义差异性;

基于所述识别损失函数的值和所述成对损失函数的值,得到预设的特征损失值;

基于所述判别损失值和所述特征损失值,将所述待训练的跨媒体特征提取网络和所述特征转化网络作为生成网络,与所述判别网络进行对抗训练,得到训练完成的跨媒体特征提取网络、判别网络、特征转化网络。

9.根据权利要求8所述的装置,其中,所述图像图注意力网络包括残差网络、图像图注意力卷积网络以及联合嵌入层;以及所述第一特征是按照如下方式得到的:

利用残差网络提取样本图像的初始图像特征,将初始图像特征输入至图像图注意力卷积网络,输出样本图像的结构化图像特征,将初始图像特征与结构化图像特征融合,生成图像特征,将图像特征输入至联合嵌入层,得到第一特征。

10.根据权利要求9所述的装置,其中,所述样本图像的结构化图像特征是按照如下方式得到的:

对样本图像进行目标对象检测,确定出样本图像中的目标对象和目标对象的矩形包围盒的位置,并根据所述目标对象的矩形包围盒的位置,提取所述目标对象的相关特征,其中,所述目标对象的相关特征包括以下至少一项:目标对象的外观特征、目标对象的位置特征以及所述目标对象的类型特征;

构建图像特征有向图,所述图像特征有向图的顶点表征所述目标对象,所述图像特征有向图的有向边表征各目标对象之间的关联关系;

根据所述图像特征有向图,生成样本图像的结构化图像特征。

11.根据权利要求8所述的装置,其中,所述文本图注意力网络包括双向长短期记忆网络、文本图注意力卷积网络以及联合嵌入层;以及所述第二特征是按照如下方式得到的:

将样本文本进行分词处理,确定样本文本的词向量;

利用双向长短期记忆网络提取样本文本的词向量的初始文本特征,将初始文本特征输入至文本图注意力卷积网络,输出样本文本的结构化文本特征,将初始文本特征与结构化文本特征融合,生成文本特征,将文本特征输入至联合嵌入层,得到所述第二特征。

12.根据权利要求11所述的装置,其中,所述样本文本的结构化文本特征是按照如下方式得到的:

构建文本特征有向图,所述文本特征有向图的顶点表征词向量所指示的目标对象,所述文本特征有向图的有向边表征各词向量所指示的目标对象之间的关联关系,其中,所述词向量所指示的目标对象的相关特征包括以下至少一项:目标对象的属性特征和所述目标对象的类型特征;

根据所述文本特征有向图,生成样本文本的结构化文本特征。

13.一种电子设备,包括:

一个或多个处理器;

存储装置,其上存储有一个或多个程序,

当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如权利要求1-6中任一的方法。

14.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-6中任一的方法。


技术总结
本公开的实施例公开了检索目标的方法和装置。该方法的一具体实施方式包括:获取至少一幅图像以及指定对象的描述文本;利用预先训练的跨媒体特征提取网络提取图像的图像特征以及描述文本的文本特征;对图像特征与文本特征进行匹配,确定出包含指定对象的图像,从而利用跨媒体特征提取特征,将图像特征与文本特征投影至图像文本共同特征空间进行特征匹配,实现了跨媒体的目标检索。

技术研发人员:刘武;刘嘉威;梅涛;郑可成
受保护的技术使用者:北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司
技术研发日:2020.03.25
技术公布日:2020.10.16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1