图像信息提取方法、模型训练方法、装置、设备及介质与流程

1.本公开总体说来涉及图像技术领域，更具体地讲，涉及一种图像信息提取方法、模型训练方法、装置、设备及介质。


背景技术：

2.在图像特征匹配任务中，一般使用sift/orb等方法进行特征点的提取以及图像描述子的生成，但这些传统方法面对运动模糊/弱纹理场景的图像表现较差。深度学习的出现为图像特征匹配提供了一些新的思路，但目前提出的深度学习算法对特征点的检测及匹配推理速度较慢，难以满足客户端的实时需求。


技术实现要素：

3.本公开的示例性实施例在于提供一种图像信息提取方法、模型训练方法、装置、设备及介质，以至少解决上述相关技术中的至少一个技术问题。
4.根据本公开实施例的第一方面，提供一种图像信息提取方法，所述图像信息提取方法基于训练好的图像信息提取模型执行，所述图像信息提取模型包括：特征提取模块、特征点检测网络和描述子生成网络，其中，所述图像信息提取方法包括：将目标图像输入所述特征提取模块中的特征提取网络，得到所述特征提取网络输出的原始特征图；将所述特征提取模块提取的特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的特征图为所述原始特征图；基于所述特征点检测结果向量，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像，其中，所述特征点检测结果图像中的每个像素点的像素值表示目标图像中该像素点为特征点的概率；基于所述局部描述子向量，得到分辨率为目标图像原始分辨率大小的局部描述子结果；其中，训练所述图像信息提取模型时，利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图，其中，将所述样本中间特征图作为所述特征提取模块提取的样本特征图。
5.可选地，所述样本中间特征图的分辨率为所述样本原始特征图的n倍，其中，n为偶数；训练所述图像信息提取模型时，得到的样本图像的特征点检测结果图像的分辨率为样本图像原始分辨率大小的n倍；训练所述图像信息提取模型时，得到的样本图像的局部描述子结果的分辨率为样本图像原始分辨率大小的n倍。
6.可选地，所述上采样处理为：固定插值上采样处理。
7.可选地，所述图像信息提取模型还包括：全局描述子获取模块，其中，所述图像信息提取方法还包括：将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果。
8.可选地，将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果的步骤包括：将所述原始特征图输入所述全局描述子获取模块，所述全局描述
子获取模块将所述原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到目标图像的全局描述子结果。
9.可选地，所述特征提取网络包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。
10.可选地，基于所述特征点检测结果向量，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像的步骤包括：将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像。
11.可选地，基于所述局部描述子向量，得到分辨率为目标图像原始分辨率大小的局部描述子结果的步骤包括：对所述局部描述子向量进行插值上采样处理，得到分辨率为目标图像原始分辨率大小的局部描述子结果。
12.可选地，目标图像为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
13.可选地，当目标图像为从原始图像中裁剪出的包括特定对象的图像部分时，所述图像信息提取方法还包括：将原始图像输入目标检测网络，得到原始图像中特定对象所在的区域；从原始图像中裁剪出所述区域作为目标图像；其中，所述目标检测网络为ssd网络结构，且所述目标检测网络中的每个卷积神经网络均使用可分离卷积。
14.根据本公开实施例的第二方面，提供一种图像信息提取模型的训练方法，所述图像信息提取模型包括：特征提取模块、特征点检测网络、以及描述子生成网络，所述训练方法包括：获取训练样本，其中，所述训练样本包括：带标注的第一样本图像和带标注的第二样本图像，其中，第二样本图像是通过对第一样本图像进行变换得到的，所述标注包括：图像中特征点的位置；针对第一样本图像和第二样本图像中的每一样本图像，将样本图像输入所述特征提取模块中的特征提取网络，并利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图；将所述特征提取模块提取的样本特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的样本特征图为所述样本中间特征图；基于所述特征点检测结果向量，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像；基于所述局部描述子向量，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果；基于第一样本图像和第二样本图像的特征点检测结果图像、局部描述子结果、以及标注，对所述图像信息提取模型进行训练；其中，在基于训练好的所述图像信息提取模型执行图像信息提取时，将原始特征图作为所述特征提取模块提取的特征图；其中，n为偶数。
15.可选地，所述样本中间特征图的分辨率为所述样本原始特征图的n倍；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的特征点检测结果图像的分辨率为目标图像原始分辨率大小；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的局部描述子结果的分辨率为目标图像原始分辨率大小。
16.可选地，所述图像信息提取模型还包括：全局描述子获取模块，其中，所述训练方法还包括：将第一样本图像的样本原始特征图输入所述全局描述子获取模块，得到第一样本图像的全局描述子结果，并将第二样本图像的样本原始特征图输入所述全局描述子获取
模块，得到第二样本图像的全局描述子结果；其中，基于第一样本图像和第二样本图像的特征点检测结果图像、局部描述子结果、以及标注，对所述图像信息提取模型进行训练的步骤包括：基于第一样本图像的局部描述子结果和第二样本图像的局部描述子结果，确定第一损失函数；基于第一样本图像的特征点检测结果图像与第一样本图像的标注、以及第二样本图像的特征点检测结果图像与第二样本图像的标注，确定第二损失函数；基于第一样本图像的全局描述子结果与第二样本图像的全局描述子结果，确定第三损失函数；基于第一损失函数、第二损失函数、以及第三损失函数，确定总损失函数；通过根据所述总损失函数调整所述特征提取模块、所述特征点检测网络、所述描述子生成网络及所述全局描述子获取模块的参数，对所述图像信息提取模型进行训练。
17.可选地，将第一样本图像的样本原始特征图输入所述全局描述子获取模块，得到第一样本图像的全局描述子结果，并将第二样本图像的样本原始特征图输入所述全局描述子获取模块，得到第二样本图像的全局描述子结果的步骤包括：将第一样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第一样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第一样本图像的全局描述子结果；将第二样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第二样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第二样本图像的全局描述子结果。
18.可选地，所述特征提取网络包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。
19.可选地，所述上采样处理为：固定插值上采样处理。
20.可选地，基于所述特征点检测结果向量，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像的步骤包括：将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像。
21.可选地，基于所述局部描述子向量，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果的步骤包括：对所述局部描述子向量进行插值上采样处理，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果。
22.可选地，第一样本图像为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
23.根据本公开实施例的第三方面，提供一种图像信息提取装置，所述图像信息提取装置基于训练好的图像信息提取模型执行操作，所述图像信息提取模型包括：特征提取模块、特征点检测网络和描述子生成网络，其中，所述图像信息提取装置包括：特征提取单元，被配置为将目标图像输入所述特征提取模块中的特征提取网络，得到所述特征提取网络输出的原始特征图；信息提取单元，被配置为将所述特征提取模块提取的特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的特征图为所述原始特征图；特征点获取单元，被配置为基于所述特征点检测结果向量，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像，其中，所述特征点检测结果图像中的每个像素点的像素值表示目标图像中该像素点为特征点的概率；局部描述子获取单元，被配置为基于所述局部描述子向量，得到分辨率为目标图像原始分辨率大小的局部描
述子结果；其中，训练装置训练所述图像信息提取模型时，利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图，其中，将所述样本中间特征图作为所述特征提取模块提取的样本特征图。
24.可选地，所述样本中间特征图的分辨率为所述样本原始特征图的n倍，其中，n为偶数；训练所述图像信息提取模型时，得到的样本图像的特征点检测结果图像的分辨率为样本图像原始分辨率大小的n倍；训练所述图像信息提取模型时，得到的样本图像的局部描述子结果的分辨率为样本图像原始分辨率大小的n倍。
25.可选地，所述上采样处理为：固定插值上采样处理。
26.可选地，所述图像信息提取模型还包括：全局描述子获取模块，其中，所述图像信息提取装置还包括：全局描述子获取单元，被配置为将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果。
27.可选地，全局描述子获取单元被配置为将所述原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将所述原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到目标图像的全局描述子结果。
28.可选地，所述特征提取网络包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。
29.可选地，特征点获取单元被配置为将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像。
30.可选地，局部描述子获取单元被配置为对所述局部描述子向量进行插值上采样处理，得到分辨率为目标图像原始分辨率大小的局部描述子结果。
31.可选地，目标图像为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
32.可选地，当目标图像为从原始图像中裁剪出的包括特定对象的图像部分时，所述图像信息提取装置还包括：目标图像获取单元，被配置为将原始图像输入目标检测网络，得到原始图像中特定对象所在的区域；从原始图像中裁剪出所述区域作为目标图像；其中，所述目标检测网络为ssd网络结构，且所述目标检测网络中的每个卷积神经网络均使用可分离卷积。
33.根据本公开实施例的第四方面，提供一种图像信息提取模型的训练装置，所述图像信息提取模型包括：特征提取模块、特征点检测网络、以及描述子生成网络，所述训练装置包括：训练样本获取单元，被配置为获取训练样本，其中，所述训练样本包括：带标注的第一样本图像和带标注的第二样本图像，其中，第二样本图像是通过对第一样本图像进行变换得到的，所述标注包括：图像中特征点的位置；特征提取单元，被配置为针对第一样本图像和第二样本图像中的每一样本图像，将样本图像输入所述特征提取模块中的特征提取网络，并利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图；信息提取单元，被配置为将所述特征提取模块提取的样本特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的样本特征图为所述样本中间特征图；特征点获取单元，被配置为基于所述特征点检测结果向量，得到分辨率为样本图像原始分辨率大小n倍的特征点检测
结果图像；局部描述子获取单元，被配置为基于所述局部描述子向量，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果；训练单元，被配置为基于第一样本图像和第二样本图像的特征点检测结果图像、局部描述子结果、以及标注，对所述图像信息提取模型进行训练；其中，图像信息提取装置在基于训练好的所述图像信息提取模型执行图像信息提取时，将原始特征图作为所述特征提取模块提取的特征图；其中，n为偶数。
34.可选地，所述样本中间特征图的分辨率为所述样本原始特征图的n倍；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的特征点检测结果图像的分辨率为目标图像原始分辨率大小；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的局部描述子结果的分辨率为目标图像原始分辨率大小。
35.可选地，所述图像信息提取模型还包括：全局描述子获取模块，其中，所述训练装置还包括：全局描述子获取单元，被配置为将第一样本图像的样本原始特征图输入所述全局描述子获取模块，得到第一样本图像的全局描述子结果，并将第二样本图像的样本原始特征图输入所述全局描述子获取模块，得到第二样本图像的全局描述子结果；其中，训练单元，被配置为：基于第一样本图像的局部描述子结果和第二样本图像的局部描述子结果，确定第一损失函数；基于第一样本图像的特征点检测结果图像与第一样本图像的标注、以及第二样本图像的特征点检测结果图像与第二样本图像的标注，确定第二损失函数；基于第一样本图像的全局描述子结果与第二样本图像的全局描述子结果，确定第三损失函数；基于第一损失函数、第二损失函数、以及第三损失函数，确定总损失函数；通过根据所述总损失函数调整所述特征提取模块、所述特征点检测网络、所述描述子生成网络及所述全局描述子获取模块的参数，对所述图像信息提取模型进行训练。
36.可选地，全局描述子获取单元被配置为将第一样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第一样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第一样本图像的全局描述子结果；将第二样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第二样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第二样本图像的全局描述子结果。
37.可选地，所述特征提取网络包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。
38.可选地，所述上采样处理为：固定插值上采样处理。
39.可选地，特征点获取单元被配置为将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像。
40.可选地，局部描述子获取单元被配置为对所述局部描述子向量进行插值上采样处理，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果。
41.可选地，第一样本图像为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
42.根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处
理器运行时，促使所述至少一个处理器执行如上所述的图像信息提取方法和/或如上所述的图像信息提取模型的训练方法。
43.根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图像信息提取方法和/或如上所述的图像信息提取模型的训练方法。
44.根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现如上所述的图像信息提取方法和/或如上所述的图像信息提取模型的训练方法。
45.本公开的实施例提供的技术方案至少带来以下有益效果：在训练测试过程中使用差异化分辨率输出，在保证特征点匹配效果的同时大大降低了模型的预测时间，从而能够满足用户的实时需求。
46.此外，还可以同时输出图像的全局描述子和局部描述子，从而可以实现在全局对图像的检索以及检索出图像的特征匹配。
47.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
48.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
49.图1示出根据本公开示例性实施例的图像信息提权方法的流程图；
50.图2示出根据本公开示例性实施例的图像信息提取模型的训练方法的流程图；
51.图3示出根据本公开示例性实施例的图像信息提取方法及图像信息提取模型的训练方法的比较示意图；
52.图4示出根据本公开示例性实施例的图像信息提取装置的结构框图；
53.图5示出根据本公开示例性实施例的图像信息提取模型的训练装置的结构框图；
54.图6示出根据本公开示例性实施例的电子设备的结构框图。
具体实施方式
55.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
56.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
57.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；
(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
58.图1示出根据本公开示例性实施例的图像信息提取方法的流程图。作为示例，所述图像信息提取方法可由客户端执行。
59.所述图像信息提取方法基于训练好的图像信息提取模型执行，所述图像信息提取模型包括：特征提取模块、特征点检测网络、以及描述子生成网络。作为示例，所述图像信息提取模型可使用结合图5描述的训练方法训练得到。
60.参照图1，在步骤s101，将目标图像输入所述特征提取模块中的特征提取网络，得到所述特征提取网络输出的原始特征图。
61.作为示例，所述特征提取网络可包括多个用于进行下采样处理的卷积神经网络。作为示例，每个用于进行下采样处理的卷积神经网络可使用可分离卷积且呈倒残差(inverted residual)纺锤体结构，例如，每个用于进行下采样处理的卷积神经网络的结构可为inverted residual block。此外，作为示例，每个用于进行下采样处理的卷积神经网络可使用可变形卷积。
62.作为示例，所述特征提取网络可包括3个用于进行下采样处理的卷积神经网络，即，所述特征提取网络对输入的目标图像进行三次下采样处理。例如，当目标图像为640*360大小的图像时，所述特征提取网络对其进行三次下采样处理后，输出16*80*45的图像特征图。
63.特征提取网络整体使用可分离卷积降低计算量，使用inverted residuals纺锤体结构，能够在保证计算量增加较少的情况下扩充网络维度，增加网络的拟合能力。在三层不同尺度的网络层之间，增加了跳跃连接的结构，将不同分辨率层级上的信息融合起来，使得网络能够更好地结合图像的局部信息和全局信息。
64.作为示例，目标图像可为原始图像(即，原图)或从原始图像中裁剪出的包括特定对象的图像部分。
65.作为示例，当目标图像为从原始图像中裁剪出的包括特定对象的图像部分时，根据本公开示例性实施例的图像信息提取方法还可包括：将原始图像输入目标检测网络，得到原始图像中特定对象所在的区域；并从原始图像中裁剪出所述区域作为目标图像。作为示例，所述目标检测网络可为ssd网络结构。作为示例，所述目标检测网络中的每个卷积神经网络可均使用可分离卷积。应该理解，目标检测网络只在需要对图像中的特定对象(例如，物体)进行匹配时才使用，如果是直接对整张图像进行匹配，则不需要先检测出特定对象所在的区域，直接将原图输入图像信息提取模型中进行特征提取即可。
66.在步骤s102，将所述特征提取模块提取的特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的特征图为所述原始特征图。
67.作为示例，特征点检测网络可为特征点解码器interest point decoder。
68.作为示例，描述子生成网络可为描述子解码器descriptor decoder。
69.在步骤s103，基于所述特征点检测结果向量，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像，其中，所述特征点检测结果图像中的每个像素点的像素值表
示目标图像中该像素点为特征点的概率。
70.作为示例，可将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组(即，像素重排pixel shuffle)，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像。例如，64*80*45维度的特征点检测结果向量，通过pixel shuffle的方式还原成一张640*360的图像。
71.在步骤s104，基于所述局部描述子向量，得到分辨率为目标图像原始分辨率大小的局部描述子结果。
72.作为示例，可对所述局部描述子向量进行上采样处理(例如，插值上采样处理)，得到分辨率为目标图像原始分辨率大小的局部描述子结果。例如，可对所述局部描述子向量进行两次插值上采样处理，得到分辨率为目标图像原始分辨率大小的局部描述子结果。例如，256*80*46维度的局部描述子向量，通过两次插值上采样得到256*640*360的局部描述子结果(256维局部描述子，对应分辨率为640*360)。
73.在本公开中，训练所述图像信息提取模型时，利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图，其中，将所述样本中间特征图作为所述特征提取模块提取的样本特征图。作为示例，该上采样处理可为：一次固定插值上采样处理。
74.换言之，在训练所述图像信息提取模型的过程中，所述特征提取网络输出的原始特征图需经上采样模块的上采样处理后才分别输入所述特征点检测网络和所述描述子生成网络。即，根据本公开示例性实施例的图像信息提取方法相较于图像信息提取模型的训练方法，减少了对特征提取网络输出的原始特征图进行上采样处理的步骤。
75.相应地，作为示例，所述样本中间特征图的分辨率为所述样本原始特征图的n倍，其中，n为偶数；训练所述图像信息提取模型时，得到的样本图像的特征点检测结果图像的分辨率为样本图像原始分辨率大小的n倍；训练所述图像信息提取模型时，得到的样本图像的局部描述子结果的分辨率为样本图像原始分辨率大小的n倍。
76.相应地，作为示例，在训练所述图像信息提取模型时和执行所述图像信息提取方法时提取的原始特征图分辨率大小相同的情况下(即，针对提取的相同大小的原始特征图)，训练所述图像信息提取模型时输入到所述特征点检测网络和所述描述子生成网络的图像特征图的分辨率为：执行所述图像信息提取方法时输入到所述特征点检测网络和所述描述子生成网络的图像特征图的分辨率的n倍。换言之，预测时特征点检测网络和描述子生成网络的计算量相对于训练时降低了n倍。
77.相应地，作为示例，在训练所述图像信息提取模型时和执行所述图像信息提取方法时提取的原始特征图分辨率大小相同的情况下，训练所述图像信息提取模型时所述特征点检测网络输出的特征点检测结果向量的分辨率(也即大小)为：执行所述图像信息提取方法时所述特征点检测网络输出的特征点检测结果向量的分辨率的n倍；并且，训练所述图像信息提取模型时所述描述子生成网络输出的局部描述子向量的分辨率为：执行所述图像信息提取方法时所述描述子生成网络输出的局部描述子向量的分辨率的n倍。
78.相应地，作为示例，在训练所述图像信息提取模型时和执行所述图像信息提取方法时提取的原始特征图分辨率大小相同的情况下，训练所述图像信息提取模型时得到的特征点检测结果图像的分辨率为：执行所述图像信息提取方法时得到的特征点检测结果图像
的分辨率的n倍；并且，训练所述图像信息提取模型时得到的局部描述子结果的分辨率为：执行所述图像信息提取方法时得到的局部描述子结果的分辨率的n倍。换言之，相对于预测，训练时进行更高分辨率描述子监督和更高分辨率特征点监督。
79.n为大于0的2的倍数，实际上，n的数值由上采样模块执行的上采样处理对原始特征图放大的倍数决定，换言之，通过该上采样处理将原始特征图扩大了n倍。
80.作为示例，所述图像信息提取模型还包括：全局描述子获取模块，根据本公开示例性实施例的图像信息提取方法还可包括：将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果。
81.作为示例，所述全局描述子获取模块可将所述原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换(例如，经过一个全连接层)，得到目标图像的全局描述子结果。应该理解，也可通过其他方式来基于原始特征图，得到目标图像的全局描述子结果，本公开对此不作限制。
82.应该理解，获取的目标图像的局部描述子结果和特征点检测结果可应用于图像特征匹配场景，应该理解，也可应用于其他场景，本公开对此不作限制。
83.图2示出根据本公开示例性实施例的图像信息提取模型的训练方法的流程图。所述图像信息提取模型包括：特征提取模块、特征点检测网络、以及描述子生成网络。
84.参照图2，在步骤s201，获取训练样本，其中，所述训练样本包括：带标注的第一样本图像和带标注的第二样本图像，其中，第二样本图像是通过对第一样本图像进行变换得到的，所述标注包括：图像中特征点的位置。
85.作为示例，可通过对第一样本图像随机进行旋转/扭曲/仿射等变换操作，得到第二样本图像。
86.作为示例，第一样本图像可为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
87.在步骤s202，针对第一样本图像和第二样本图像中的每一样本图像，将样本图像输入所述特征提取模块中的特征提取网络，并利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图。
88.作为示例，所述特征提取网络可包括多个用于进行下采样处理的卷积神经网络。作为示例，每个用于进行下采样处理的卷积神经网络可使用可分离卷积且呈倒残差纺锤体结构。
89.作为示例，该上采样处理可为：一次固定插值上采样处理。
90.作为示例，所述样本中间特征图的分辨率为所述样本原始特征图的n倍。
91.在步骤s203，将所述特征提取模块提取的样本特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的样本特征图为所述样本中间特征图。
92.具体说来，将所述特征提取模块提取的第一样本图像的样本特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的第一样本图像的特征点检测结果向量和所述描述子生成网络输出的第一样本图像的局部描述子向量。将所述特征提取模块提取的第二样本图像的样本特征图分别输入所述特征点检测网络和所述
描述子生成网络，得到所述特征点检测网络输出的第二样本图像的特征点检测结果向量和所述描述子生成网络输出的第二样本图像的局部描述子向量。
93.在步骤s204，基于所述特征点检测结果向量，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像。其中，n为偶数。
94.具体说来，基于第一样本图像的特征点检测结果向量，得到分辨率为第一样本图像原始分辨率大小n倍的特征点检测结果图像(即，第一样本图像的特征点检测结果图像)。基于第二样本图像的特征点检测结果向量，得到分辨率为第二样本图像原始分辨率大小n倍的特征点检测结果图像(即，第二样本图像的特征点检测结果图像)。
95.作为示例，可将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像。
96.在步骤s205，基于所述局部描述子向量，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果。
97.具体说来，基于第一样本图像的局部描述子向量，得到分辨率为第一样本图像原始分辨率大小n倍的局部描述子结果(即，第一样本图像的局部描述子结果)。基于第二样本图像的局部描述子向量，得到分辨率为第二样本图像原始分辨率大小n倍的局部描述子结果(即，第二样本图像的局部描述子结果)。
98.作为示例，可对所述局部描述子向量进行插值上采样处理，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果。
99.在步骤s206，基于第一样本图像和第二样本图像的特征点检测结果图像、局部描述子结果、以及标注，对所述图像信息提取模型进行训练。
100.作为示例，可基于第一样本图像的局部描述子结果和第二样本图像的局部描述子结果，确定第一损失函数；基于第一样本图像的特征点检测结果图像与第一样本图像的标注、以及第二样本图像的特征点检测结果图像与第二样本图像的标注，确定第二损失函数；并基于第一损失函数和第二损失函数，确定总损失函数。然后，通过根据所述总损失函数调整所述特征提取模块、所述特征点检测网络及所述描述子生成网络的参数，对所述图像信息提取模型进行训练。
101.在本公开中，在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，将原始特征图作为所述特征提取模块提取的特征图。换言之，在基于训练好的所述图像信息提取模型执行图像信息提取时，所述特征提取网络输出的原始特征图无需经上采样模块的上采样处理而直接分别输入所述特征点检测网络和所述描述子生成网络。
102.相应地，作为示例，在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的特征点检测结果图像的分辨率为目标图像原始分辨率大小；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的局部描述子结果的分辨率为目标图像原始分辨率大小。
103.作为示例，根据本公开示例性实施例的图像信息提取模型的训练方法还可包括：将第一样本图像的样本原始特征图输入所述全局描述子获取模块，得到第一样本图像的全局描述子结果，并将第二样本图像的样本原始特征图输入所述全局描述子获取模块，得到第二样本图像的全局描述子结果；基于第一样本图像的全局描述子结果与第二样本图像的全局描述子结果，确定第三损失函数。其中，基于第一损失函数、第二损失函数、以及第三损
失函数，确定总损失函数；通过根据所述总损失函数调整所述特征提取模块、所述特征点检测网络、所述描述子生成网络及所述全局描述子获取模块的参数，对所述图像信息提取模型进行训练。
104.作为示例，可将第一样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第一样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第一样本图像的全局描述子结果；将第二样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第二样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第二样本图像的全局描述子结果。
105.本公开考虑到特征点检测分支能够获取到真值，但是描述子生成分支难以获取真值结果(ground truth)，因此提出采用自监督的方式训练描述子(包括全局描述子与局部描述子)。对于输入的一张图像，随机进行旋转/扭曲/仿射等变换操作得到另一张图像，并能够获取到两张图像上特征点的位置。两张图像分别经过网络，得到初始的两张图像的描述子，对这两个描述子计算损失，并反传，即可进行描述子的训练(描述子的定义即为对相近图上的特征点，对应的描述子距离最小)。
106.应该理解，可使用多个训练样本对图像信息提取模型进行训练。
107.图3示出根据本公开示例性实施例的图像信息提取方法及图像信息提取模型的训练方法的比较示意图。
108.如图3所示，在训练过程中，使用320*180的图像输入，在经过特征提取网络提取特征之后，先进行一次固定插值上采样，然后进行特征点检测分支与描述子生成分支操作，将图像还原到640*360大小上进行训练。
109.在使用训练好的图像信息提取模型进行预测的过程中，获取特征提取网络提取的特征之后，去除一次上采样操作，而直接进行特征点检测分支与描述子生成分支操作，将图像还原到320*180大小上进行预测。相对于训练过程，在特征点检测与描述子生成网络部分的计算量降低了4倍(图像大小缩小了4倍)。在高分辨率的图像上训练能够使网络学习到更多细节信息，优化网络参数，固化的网络参数(即，训练好的网络参数)在低分辨率图像上预测时，由于图像大小缩小4倍，计算量会有大幅度的下降。
110.图4示出根据本公开示例性实施例的图像信息提取装置的结构框图。所述图像信息提取装置基于训练好的图像信息提取模型进行预测，所述图像信息提取模型包括：特征提取模块、特征点检测网络、以及描述子生成网络。
111.如图4所示，根据本公开示例性实施例的图像信息提取装置10包括：特征提取单元101、信息提取单元102、特征点获取单元103、局部描述子获取单元104。
112.具体说来，特征提取单元101被配置为将目标图像输入所述特征提取模块中的特征提取网络，得到所述特征提取网络输出的原始特征图。
113.信息提取单元102被配置为将所述特征提取模块提取的特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的特征图为所述原始特征图。
114.特征点获取单元103被配置为基于所述特征点检测结果向量，得到分辨率为目标
图像原始分辨率大小的特征点检测结果图像，其中，所述特征点检测结果图像中的每个像素点的像素值表示目标图像中该像素点为特征点的概率。
115.局部描述子获取单元104被配置为基于所述局部描述子向量，得到分辨率为目标图像原始分辨率大小的局部描述子结果。
116.训练装置(例如，训练装置20)训练所述图像信息提取模型时，利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图，其中，将所述样本中间特征图作为所述特征提取模块提取的样本特征图。
117.作为示例，所述样本中间特征图的分辨率为所述样本原始特征图的n倍，其中，n为偶数；训练所述图像信息提取模型时，得到的样本图像的特征点检测结果图像的分辨率为样本图像原始分辨率大小的n倍；训练所述图像信息提取模型时，得到的样本图像的局部描述子结果的分辨率为样本图像原始分辨率大小的n倍。
118.作为示例，所述上采样处理可为：固定插值上采样处理。
119.作为示例，所述图像信息提取模型还可包括：全局描述子获取模块，其中，所述图像信息提取装置10还可包括：全局描述子获取单元(未示出)，全局描述子获取单元被配置为将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果。
120.作为示例，全局描述子获取单元可被配置为将所述原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将所述原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到目标图像的全局描述子结果。
121.作为示例，所述特征提取网络可包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。
122.作为示例，特征点获取单元103可被配置为将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像。
123.作为示例，局部描述子获取单元104可被配置为对所述局部描述子向量进行插值上采样处理，得到分辨率为目标图像原始分辨率大小的局部描述子结果。
124.作为示例，目标图像可为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
125.作为示例，当目标图像为从原始图像中裁剪出的包括特定对象的图像部分时，所述图像信息提取装置10还可包括：目标图像获取单元(未示出)，目标图像获取单元被配置为将原始图像输入目标检测网络，得到原始图像中特定对象所在的区域；从原始图像中裁剪出所述区域作为目标图像；其中，所述目标检测网络为ssd网络结构，且所述目标检测网络中的每个卷积神经网络均使用可分离卷积。
126.图5示出根据本公开示例性实施例的图像信息提取模型的训练装置的结构框图。所述图像信息提取模型包括：特征提取模块、特征点检测网络、以及描述子生成网络。
127.如图5所示，根据本公开示例性实施例的图像信息提取模型20包括：训练样本获取单元201、特征提取单元202、信息提取单元203、特征点获取单元204、局部描述子获取单元205、训练单元206。
128.具体说来，训练样本获取单元201被配置为获取训练样本，其中，所述训练样本包括：带标注的第一样本图像和带标注的第二样本图像，其中，第二样本图像是通过对第一样
本图像进行变换得到的，所述标注包括：图像中特征点的位置。
129.特征提取单元202被配置为针对第一样本图像和第二样本图像中的每一样本图像，将样本图像输入所述特征提取模块中的特征提取网络，并利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图。
130.信息提取单元203被配置为将所述特征提取模块提取的样本特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的样本特征图为所述样本中间特征图。
131.特征点获取单元204被配置为基于所述特征点检测结果向量，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像。
132.局部描述子获取单元205被配置为基于所述局部描述子向量，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果。
133.训练单元206被配置为基于第一样本图像和第二样本图像的特征点检测结果图像、局部描述子结果、以及标注，对所述图像信息提取模型进行训练。
134.图像信息提取装置(例如，图像信息提取装置10)在基于训练好的所述图像信息提取模型执行图像信息提取时，将原始特征图作为所述特征提取模块提取的特征图；其中，n为偶数。
135.作为示例，所述样本中间特征图的分辨率为所述样本原始特征图的n倍；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的特征点检测结果图像的分辨率为目标图像原始分辨率大小；在基于训练好的所述图像信息提取模型执行目标图像的图像信息提取时，得到的目标图像的局部描述子结果的分辨率为目标图像原始分辨率大小。
136.作为示例，所述图像信息提取模型还可包括：全局描述子获取模块，其中，所述训练装置20还可包括：全局描述子获取单元(未示出)，全局描述子获取单元被配置为将第一样本图像的样本原始特征图输入所述全局描述子获取模块，得到第一样本图像的全局描述子结果，并将第二样本图像的样本原始特征图输入所述全局描述子获取模块，得到第二样本图像的全局描述子结果；其中，训练单元206可被配置为：基于第一样本图像的局部描述子结果和第二样本图像的局部描述子结果，确定第一损失函数；基于第一样本图像的特征点检测结果图像与第一样本图像的标注、以及第二样本图像的特征点检测结果图像与第二样本图像的标注，确定第二损失函数；基于第一样本图像的全局描述子结果与第二样本图像的全局描述子结果，确定第三损失函数；基于第一损失函数、第二损失函数、以及第三损失函数，确定总损失函数；通过根据所述总损失函数调整所述特征提取模块、所述特征点检测网络、所述描述子生成网络及所述全局描述子获取模块的参数，对所述图像信息提取模型进行训练。
137.作为示例，全局描述子获取单元可被配置为将第一样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将第一样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第一样本图像的全局描述子结果；将第二样本图像的样本原始特征图输入所述全局描述子获取模块，所述全局描述
子获取模块将第二样本图像的样本原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到第二样本图像的全局描述子结果。
138.作为示例，所述特征提取网络可包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。
139.作为示例，所述上采样处理可为：固定插值上采样处理。
140.作为示例，特征点获取单元204可被配置为将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为样本图像原始分辨率大小n倍的特征点检测结果图像。
141.作为示例，局部描述子获取单元205可被配置为对所述局部描述子向量进行插值上采样处理，得到分辨率为样本图像原始分辨率大小n倍的局部描述子结果。
142.作为示例，第一样本图像可为原始图像或从原始图像中裁剪出的包括特定对象的图像部分。
143.关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
144.此外，应该理解，根据本公开示例性实施例的图像信息提取装置10和图像信息提取模型的训练装置20中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(fpga)或专用集成电路(asic)来实现各个单元。
145.图6示出根据本公开示例性实施例的电子设备的结构框图。参照图6，该电子设备30包括：至少一个存储器301和至少一个处理器302，所述至少一个存储器301中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器302执行时，执行如上述示例性实施例所述的图像信息提取方法和/或图像信息提取模型的训练方法。
146.作为示例，电子设备30可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备30并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备30还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
147.在电子设备30中，处理器302可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器302还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
148.处理器302可运行存储在存储器301中的指令或代码，其中，存储器301还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
149.存储器301可与处理器302集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器301可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器301和处理器302可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器302能够读取存储在存储器中的文件。
150.此外，电子设备30还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备30的所有组件可经由总线和/或网络而彼此连
接。
151.根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行如上述示例性实施例所述的图像信息提取方法和/或图像信息提取模型的训练方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
152.根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由至少一个处理器执行以完成如上述示例性实施例所述的图像信息提取方法和/或图像信息提取模型的训练方法。
153.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
154.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。