图像识别方法、装置、电子设备和计算机可读介质与流程

1.本技术实施例涉及计算机技术领域，具体涉及图像识别方法、装置、电子设备和计算机可读介质。


背景技术：

2.图像识别，是一种利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。在采用图像识别技术对图像的类别进行检测时，通常可利用机器学习方法训练一个图像识别模型，从而使用该模型对待测图像的类别进行检测。
3.现有技术中，在使用图像识别模型进行识别推理的过程中，通常直接通过前向推理得到输出结果。这种方式的图像识别效果严重依赖于训练样本的数量和所涵盖的种类，以致模型的泛化性较低。


技术实现要素：

4.本技术实施例提出了图像识别方法、装置、电子设备和计算机可读介质，以解决现有技术中图像识别模型的泛化性较低的技术问题。
5.第一方面，本技术实施例提供了一种图像识别方法，该方法包括：对目标图像进行特征提取，得到图像特征；基于所述图像特征，确定所述目标图像所属的目标知识类，并获取所述目标知识类下的样本特征；将所述图像特征与所获取的样本特征进行融合，得到融合特征；基于所述融合特征对所述目标图像进行识别，得到图像识别结果。
6.第二方面，本技术实施例提供了一种图像识别装置，该装置包括：提取单元，被配置成对目标图像进行特征提取，得到图像特征；获取单元，被配置成基于所述图像特征，确定所述目标图像所属的目标知识类，并获取所述目标知识类下的样本特征；融合单元，被配置成将所述图像特征与所获取的样本特征进行融合，得到融合特征；识别单元，被配置成基于所述融合特征对所述目标图像进行识别，得到图像识别结果。
7.第三方面，本技术实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中所描述的方法。
8.第四方面，本技术实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中所描述的方法。
9.本技术实施例提供的图像识别方法、装置、电子设备和计算机可读介质，通过对目标图像进行特征提取，得到图像特征；而后基于上述图像特征，确定上述目标图像所属的目标知识类，并获取上述目标知识类下的样本特征；之后将上述图像特征与所获取的样本特征进行融合，得到融合特征；最后基于上述融合特征对上述目标图像进行识别，从而得到图像识别结果。该实施方式将模型提取的图像特征与相同目标知识类下的样本特征进行融合，由此在神经元前向推理的基础上，增加了对模型所学习到的知识的借鉴过程，使得能够根据模型所学习到的知识对目标图像的识别提供借鉴与指导，在训练样本涵盖性较低的情
况下，仍能够得到准确的识别结果，由此提高了模型的泛化性。
附图说明
10.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
11.图1是根据本技术的图像识别方法的一个实施例的流程图；
12.图2是根据本技术的图像识别方法的样本特征存储空间的结构示意图；
13.图3是根据本技术的图像识别方法的图像识别过程的示意图；
14.图4是根据本技术的图像识别方法的又一个实施例的流程图；
15.图5是根据本技术的图像识别方法的样本特征更新过程的示意图；
16.图6是根据本技术的图像识别装置的一个实施例的结构示意图；
17.图7是用于实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
18.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
19.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
20.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
21.请参考图1，其示出了根据本技术的图像识别方法的一个实施例的流程100。图像识别方法的执行主体可以是各种电子设备或运行于电子设备中的处理器。例如，上述电子设备可以包括但不限于服务器、智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴设备等等。该图像识别方法，包括以下步骤：
22.步骤101，对目标图像进行特征提取，得到图像特征。
23.在本实施例中，图像识别方法的执行主体可以首先获取待识别的目标图像，而后可对目标图像进行特征提取，从而得到目标图像的图像特征。图像特征可以采用多通道
(channel)的特征图(feature map)表示。若通道数为c，特征图尺寸为h
×
w，则图像特征可表示为h
×w×
c。其中，h可以指特征图的高，w可以指特征图的宽。
24.作为示例，上述执行主体可以通过预先训练的图像识别模型进行图像特征的提取。图像识别模型可以是能够对图像进行识别(如类别检测)的神经网络模型，其内可包含特征提取网络，特征提取网络可以用于提取图像特征。上述执行主体可以将目标图像输入至预先训练的上述图像识别模型，得到图像识别模型中的特征提取网络所提取的图像特征。除包含特征提取网络外，图像识别模型还可以包括识别网络，以用于基于特征提取网络所提取的特征进行图像识别。
25.上述图像识别模型可以采用机器学习方法(如有监督学习方式)预先训练得到，训练上述图像识别模型所采用的基础模型可以是各种结构的卷积神经网络(convolutional neural networks，cnn)，如resnet(residual neural network，残差神经网络)、各种版本的shufflenet网络等。图像识别模型中的特征提取网络包括用于提取至少一个尺度的图像特征的至少一个特征提取层。以resnet网络为例，特征提取网络可以是resnet网络中的stage3、stage4、stage5中的一个或多个层。
26.需要说明的是，当特征提取网络包括多个特征提取层时，可逐一地针对每个特征提取层所提取的图像特征进行样本特征的融合，在融合后可将融合特征输入到下一特征提取层，并进一步针对下一特征提取层所提取的图像特征执行与样本特征的融合操作。在最后一个特征提取层所提取的图像特征与样本特征融合完成后，可输入至图像识别模型的后续网络(如后续的识别网络)，进行图像识别。
27.步骤102，基于图像特征，确定目标图像所属的目标知识类，并获取目标知识类下的样本特征。
28.在本实施例中，上述执行主体可以基于图像特征，确定目标图像所属的知识类，并将该知识类作为目标知识类。其中，知识类可以是对知识而预先划分得到的类别，每一个知识类可以指一种识别对象的类别。例如可包括但不限于“人”、“猫”、“狗”、“老虎”、“自行车”、“汽车”等等。不同知识类可具有不同基础属性特征。知识类的基础属性特征可采用特征向量(如尺寸为1
×
d的d维特征向量)的形式表征。上述执行主体可以将图像特征与知识类的基础属性特征进行比对，以确定目标图像所属的目标知识类。
29.在本实施例中，每一个知识类下，可具有多个样本特征。例如，对于“自行车”这一知识类，不同类型(如山地车、城市自行车等)、尺寸、颜色的车可以作为不同的样本，具有不同的样本特征。每个样本特征可采用特征向量(如尺寸为1
×
d的d维特征向量)的形式表征。上述执行主体在确定出目标图像所属的目标知识类后，可以获取目标知识类下的样本特征。
30.在本实施例的一些可选的实现方式中，上述执行主体中可以维护有样本特征存储空间。样本特征存储空间可以是用于存储样本特征的空间。样本特征存储空间可存储多个知识类下的样本特征。在一些示例中，样本特征存储空间可以是基于知识类的个数、每个知识类下的样本特征的数量、每个样本特征的维度所构建的存储空间。作为示例，参见图2所示的样本特征存储空间的结构示意图。样本特征存储空间可以是一个尺寸为n
×k×
d的存储空间。其中，n可表示知识类的个数，k可表示每个知识类下的样本特征的数量，d可表示每个样本特征的维度。
31.此外，样本特征存储空间中的样本特征可以以各知识类的基础属性特征作为索引，通过索引进行样本特征的查询、读取或更新。参见图2所示的样本特征存储空间的结构示意图，尺寸为n
×k×
d的样本特征存储空间可具有n个索引。其中，对于某一个知识类，该知识类的基础属性特征可以是该知识类下的样本特征的特征中心。特征中心可通过对该知识类下的样本特征求平均得到，故特征中心也可采用特征向量(如尺寸为1
×
d的d维特征向量)的形式表征。由此，可使得样本特征存储空间具有二级的层次结构，第一级是具体的知识类(可用知识类下的样本特征的特征中心表示)，第二级是各知识类下的样本特征。在样本特征读取或者更新时，可快速的通过知识类对应的特征中心，对知识类下的样本特征读取或更新，提高了样本特征的存取效率。
32.在本实施例的一些可选的实现方式中，样本特征空间中还包括各知识下的样本特征的特征中心。在确定目标图像所属的目标知识类时，上述执行主体可以确定目标图像的图像特征与各特征中心的相似度(可称为第一相似度)，并将第一相似度的最大值对应的知识类作为目标图像所属的目标知识类。其中，第一相似度可采用欧氏距离、余弦定理等常用的相似度计算方法，此处不作限定。由此，即可准确地确定出确定目标图像所属的目标知识类。
33.作为示例，参见图3所示的图像识别过程的示意图。以resnet网络为例，其特征提取网络包括stage3、stage4和stage5三个特征提取层。以stage3层为例，该层输出的图像特征的尺寸为h
×w×
c(通道数为c)，各知识类的基础属性特征(即各知识类下的样本特征的特征中心)的尺寸为1
×
d。上述执行主体可以首先将图像特征输入至1
×
1的卷积层，将图像特征的尺寸转换为h
×w×
d(通道数为c)。而后可通过池化处理(如最大值池化、均值池化等)将其尺寸由h
×w×
d转换为1
×
d，从而将尺寸转换后的图像特征与各知识类的基础属性特征(即各知识类下的样本特征的特征中心)进行相似度计算。从而，将相似度值最大的知识类作为目标图像上述的目标知识类。
34.步骤103，将图像特征与所获取的样本特征进行融合，得到融合特征。
35.在本实施例中，在得到目标图像的图像特征以及目标图像所属目标知识类下的样本特征后，上述执行主体可以将图像特征与所获取的样本特征进行融合，得到融合特征。此处，由于所获取的样本特征的数量可以是多个，因此可首先将所获取的样本特征进行融合(如取平均，或者加权求和等)，而后将融合后的样本特征与图像特征进行融合(如按元素相加)，得到融合特征。
36.在本实施例的一些可选的实现方式中，在将图像特征与所获取的样本特征进行融合时，上述执行主体可以首先确定图像特征与各样本特征的相似度(可称为第二相似度)。第二相似度的确定方法与第一相似度的确定方法类似，此处不再赘述。而后，可以基于第二相似度，对各样本特征进行加权处理，得到样本加权特征。最后，可以将图像特征与样本加权特征进行融合，得到融合特征。
37.其中，在基于第二相似度，对各样本特征进行加权处理时，可以首先将图像特征与各样本特征的第二相似度汇总为相似度矩阵。之后，可将各样本特征汇总为第二特征矩阵。最后，可将相似度矩阵与第二特征矩阵相乘，得到样本加权特征。样本加权特征可以采用特征向量的形式表示。作为示例，继续参见图3所示的图像识别过程的示意图，目标知识类下的样本特征数量为k，因此相似度矩阵尺寸即为1
×
k(即k维向量)。由于每个样本特征的维
度为d，因而可构成尺寸为k
×
d的第二特征矩阵。将尺寸为1
×
k的相似度矩阵与尺寸为k
×
d的第二特征矩阵进行矩阵乘法计算，即可得到1
×
d的特征向量，可将该特征向量作为样本加权特征。
38.通过对各样本特征进行加权处理，继而将加权处理后所得到的样本加权特征与图像特征进行融合，可获取到与图像特征更为匹配的样本特征，使得能够根据模型所学习到的知识对目标图像的识别提供借鉴与指导，在训练样本涵盖性较低的情况下，仍能够得到准确的识别结果，由此提高了模型的泛化性。
39.需要说明的是，在将样本特征与图像特征进行融合之前，还可以首先对样本加权特征进行尺寸转换，使其维度与图像特征的通道数相匹配。继续参见图3所示的图像识别过程的示意图，以stage3层为例，该层输出的图像特征的尺寸为h
×w×
c(通道数为c)。样本加权特征的尺寸为1
×
d(即d维特征向量)。此时可以通过1
×
1的卷积层将尺寸为1
×
d的样本加权特征转换为1
×
c(即c维特征向量)尺寸。而后，将尺寸为h
×w×
c(通道数为c)的图像特征中的特征值与该c维特征向量中的特征值按元素相加，得到融合特征。即，将第一个通道的h
×
w的特征图中的每一个特征值与c维特征向量中的第一个值相加，将第二个通道的h
×
w的特征图中的每一个特征值与c维特征向量中的第二个值相加，以此类推，得到融合特征。融合特征的尺寸为h
×w×
c(通道数为c)，可继续输入到下一层，即stage4层。针对stage4以及stage5所输出的图像特征可参与相同方式与样本特征进行融合，此处不再一一赘述。
40.步骤104，基于融合特征对目标图像进行识别，得到图像识别结果。
41.在本实施例中，在得到融合特征后，可基于融合特征对目标图像进行识别，得到图像识别结果。作为示例，上述执行主体可以将融合特征输入至图像识别模型的识别网络，以通过图像识别网络对目标图像进行识别，得到图像识别结果。需要说明的是，当特征提取网络包括多个特征提取层时，可逐一地针对每个特征提取层所提取的图像特征进行样本特征的融合，在融合后可将融合特征输入到下一特征提取层，并进一步针对下一特征提取层所提取的图像特征执行与样本特征的融合操作。在最后一个特征提取层所提取的图像特征与样本特征融合完成后，可输入至图像识别模型的识别网络，以通过识别网络进行图像识别。如图3所示，可在对stage6层输出的图像特征与样本特征融合后，将融合特征图像输入至后续网络，得到图像识别网络(如resnet网络)输出的图像识别结果。
42.本技术的上述实施例提供的方法，通过对目标图像进行特征提取，得到图像特征；而后基于上述图像特征，确定上述目标图像所属的目标知识类，并获取上述目标知识类下的样本特征；之后将上述图像特征与所获取的样本特征进行融合，得到融合特征；最后基于上述融合特征对上述目标图像进行识别，从而得到图像识别结果。该实施方式将模型提取的图像特征与相同目标知识类下的样本特征进行融合，由此在神经元前向推理的基础上，增加了对模型所学习到的知识的借鉴过程，使得能够根据模型所学习到的知识对目标图像的识别提供借鉴与指导，在训练样本涵盖性较低的情况下，仍能够得到准确的识别结果，由此提高了模型的泛化性。
43.进一步参考图4，其示出了图像识别方法的又一个实施例的流程200。该图像识别方法的流程400，包括以下步骤：
44.步骤401，对目标图像进行特征提取，得到图像特征。
45.本实施例的步骤401可参见图1对应实施例的步骤101，此处不再赘述。
46.在本实施例的一些可选的实现方式中，上述执行主体可以将目标图像输入至预先训练的图像识别模型，得到上述图像识别模型中的特征提取网络所提取的图像特征，上述特征提取网络包括用于提取至少一个尺度的图像特征的至少一个特征提取层。
47.步骤402，基于图像特征，确定目标图像所属的目标知识类，并获取目标知识类下的样本特征。
48.本实施例的步骤402可参见图1对应实施例的步骤101，此处不再赘述。
49.在本实施例的一些可选的实现方式中，上述可通过如下步骤确定目标知识类：首先，确定样本特征存储空间中各知识类下的样本特征的特征中心；而后，确定上述图像特征与各特征中心的第一相似度，并将第一相似度的最大值对应的知识类作为上述目标图像所属的目标知识类。
50.在本实施例的一些可选的实现方式中，上述样本特征存储空间为基于知识类的个数、每个知识类下的样本特征的数量、每个样本特征的维度构建的存储空间，且上述样本特征存储空间中的样本特征以各知识类对应的特征中心作为索引。由此，可使得样本特征存储空间具有二级的层次结构，第一级是具体的知识类(可用知识类下的样本特征的特征中心表示)，第二级是各知识类下的样本特征。在样本特征读取或者更新时，可快速的通过知识类对应的特征中心，对知识类下的样本特征读取或更新，提高了样本特征的存取效率。
51.步骤403，将图像特征与所获取的样本特征进行融合，得到融合特征。
52.本实施例的步骤403可参见图1对应实施例的步骤101，此处不再赘述。
53.在本实施例的一些可选的实现方式中，上述执行主体可以通过如下步骤得到融合特征：首先，确定上述图像特征与各样本特征的第二相似度；而后，基于上述第二相似度，对各样本特征进行加权处理，得到样本加权特征；最后，将上述图像特征与上述样本加权特征进行融合，得到融合特征。
54.在本实施例的一些可选的实现方式中，上述基于上述第二相似度，对各样本特征进行加权处理，得到样本加权特征，可以包括：将上述图像特征与各样本特征的第二相似度汇总为相似度矩阵；将各样本特征汇总为第二特征矩阵；将上述相似度矩阵与上述第二特征矩阵相乘，得到样本加权特征。
55.通过对各样本特征进行加权处理，继而将加权处理后所得到的样本加权特征与图像特征进行融合，可获取到与图像特征更为匹配的样本特征，使得能够根据模型所学习到的知识对目标图像的识别提供借鉴与指导，在训练样本涵盖性较低的情况下，仍能够得到准确的识别结果，由此提高了模型的泛化性。
56.步骤404，基于融合特征对目标图像进行识别，得到图像识别结果。
57.本实施例的步骤404可参见图1对应实施例的步骤101，此处不再赘述。
58.在本实施例的一些可选的实现方式中，上述执行主体可以将上述融合特征输入至上述图像识别模型的识别网络，以通过上述识别网络对上述目标图像进行识别，得到图像识别结果。需要说明的是，当特征提取网络包括多个特征提取层时，可逐一地针对每个特征提取层所提取的图像特征进行样本特征的融合，在融合后可将融合特征输入到下一特征提取层，并进一步针对下一特征提取层所提取的图像特征执行与样本特征的融合操作。在最后一个特征提取层所提取的图像特征与样本特征融合完成后，可输入至图像识别模型的识别网络，以通过识别网络进行图像识别。
59.步骤405，对融合特征进行池化处理，并将池化处理后得到的特征与目标知识类下的各样本特征进行汇总，得到第一特征矩阵。
60.在本实施例中，在得到融合特征后，上述执行主体可以对融合特征进行池化处理，并将池化处理后得到的特征与目标知识类下的各样本特征进行汇总，得到第一特征矩阵。上述池化处理可以用于对输入的信息进行降采样(downsample)，可采用最大值池化、均值池化等处理方式，此处不作具体限定。需要说明的是，在池化处理后，若输出的特征的维度与样本特征的维度不同，还可以对池化后的特征进行尺寸转换，如输入至1
×
1的卷积层中进行尺寸转换，使得特征维度统一。
61.作为示例，参见图5所示的样本特征更新过程的示意图。在图像识别网络(如resnet网络)的stage6层输出的图像特征与样本特征融合后，可得到尺寸为h
”×w”×
c(通道数为c)的融合特征。将融合特征输入至池化层，可输出1
×
c的池化后特征。由于各样本特征的尺寸为1
×
d，因此可将1
×
c的池化后特征输入至1
×
1的卷积层，通过卷积处理得到尺寸为1
×
d的特征。将该1
×
d的特征与目标知识类下的各样本特征进行汇总(即k个1
×
d的样本特征)，即可得到(k+1)个1
×
d的特征。(k+1)个1
×
d的特征即可构成尺寸为(k+1)
×
d的第一特征矩阵。
62.步骤406，对第一特征矩阵进行矩阵分解，得到分解特征，分解特征的数量等于目标知识类下的样本特征的数量。
63.在本实施例中，上述执行主体可以采用pca(principal component analysis，主成分分析)等矩阵分解等方式对矩阵进行分解，以提取数量为目标知识类下的样本特征的数量的主要特征分量，从而实现对第一特征矩阵的降维。继续上述示例，可将(k+1)
×
d的第一特征矩阵分解得到k个1
×
d的特征向量，由此保持每一知识类下样本特征的数量的统一。此处，每个特征向量即可作为一个分解特征。
64.实践中，主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换，把数据变换到一个新的坐标系统中。主成分分析可以用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。其可保留低阶主成分，忽略高阶主成分，这样低阶成分能够保留住数据的最重要方面。由此，利用主成分分析的方式对第一特征矩阵进行处理，可以保留第一特征矩阵中的重要的特征，从而实现对第一特征矩阵的降维。
65.步骤407，将目标知识类下的样本特征替换为分解特征，以更新目标知识类下的样本特征。
66.在本实施例中，在得到分解特征后，上述执行主体将目标知识类下的样本特征替换为分解特征，以更新目标知识类下的样本特征。由此，在使用图像识别模型进行图像识别过程中，可实时更新相应知识类下的样本特征。例如，在采用样本特征存储空间进行样本特征的存储时，可随着图像识别模型的实时推理，使得样本特征存储空间中各知识类下的样本特征以及各知识类的基础属性特征(即样本特征的特征中心)得到更新。
67.从图4中可以看出，与图1对应的实施例相比，本实施例中的图像识别方法的流程400涉及了基于融合特征对目标知识类下的样本特征进行更新的步骤。由此，本实施例描述的方案可以在图像识别模型进行图像识别过程中，实时更新相应知识类下的样本特征，使得图像识别模型所学习到的知识实时更新，进一步提高了模型的泛化性。
68.进一步参考图6，作为对上述各图所示方法的实现，本技术提供了一种图像识别装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
69.如图6所示，本实施例的图像识别装置600包括：提取单元601，被配置成对目标图像进行特征提取，得到图像特征；获取单元602，被配置成基于上述图像特征，确定上述目标图像所属的目标知识类，并获取上述目标知识类下的样本特征；融合单元603，被配置成将上述图像特征与所获取的样本特征进行融合，得到融合特征；识别单元604，被配置成基于上述融合特征对上述目标图像进行识别，得到图像识别结果。
70.在本实施例的一些可选的实现方式中，各知识类下的样本特征存储于样本特征空间，上述样本特征空间中还包括各知识下的样本特征的特征中心；上述获取单元602，进一步被配置成确定上述图像特征与各特征中心的第一相似度，并将第一相似度的最大值对应的知识类作为上述目标图像所属的目标知识类。
71.在本实施例的一些可选的实现方式中，上述样本特征存储空间为基于知识类的个数、每个知识类下的样本特征的数量、每个样本特征的维度构建的存储空间，且上述样本特征存储空间中的样本特征以各知识类对应的特征中心作为索引。
72.在本实施例的一些可选的实现方式中，上述装置还包括样本特征更新单元，被配置成对上述融合特征进行池化处理，并将池化处理后得到的特征与上述目标知识类下的各样本特征进行汇总，得到第一特征矩阵；对上述第一特征矩阵进行矩阵分解，得到分解特征，上述分解特征的数量等于上述目标知识类下的样本特征的数量；将上述目标知识类下的样本特征替换为上述分解特征，以更新上述目标知识类下的样本特征。
73.在本实施例的一些可选的实现方式中，上述融合单元603，进一步被配置成确定上述图像特征与各样本特征的第二相似度；基于上述第二相似度，对各样本特征进行加权处理，得到样本加权特征；将上述图像特征与上述样本加权特征进行融合，得到融合特征。
74.在本实施例的一些可选的实现方式中，上述融合单元603，进一步被配置成将上述图像特征与各样本特征的第二相似度汇总为相似度矩阵；将各样本特征汇总为第二特征矩阵；将上述相似度矩阵与上述第二特征矩阵相乘，得到样本加权特征。
75.在本实施例的一些可选的实现方式中，上述提取单元601，被配置成将目标图像输入至预先训练的图像识别模型，得到上述图像识别模型中的特征提取网络所提取的图像特征，上述特征提取网络包括用于提取至少一个尺度的图像特征的至少一个特征提取层；以及，上述识别单元604，被配置成：将上述融合特征输入至上述图像识别模型的识别网络，以通过上述识别网络对上述目标图像进行识别，得到图像识别结果。
76.本技术的上述实施例提供的装置，通过对目标图像进行特征提取，得到图像特征；而后基于上述图像特征，确定上述目标图像所属的目标知识类，并获取上述目标知识类下的样本特征；之后将上述图像特征与所获取的样本特征进行融合，得到融合特征；最后基于上述融合特征对上述目标图像进行识别，从而得到图像识别结果。该实施方式将模型提取的图像特征与相同目标知识类下的样本特征进行融合，由此在神经元前向推理的基础上，增加了对模型所学习到的知识的借鉴过程，使得能够根据模型所学习到的知识对目标图像的识别提供借鉴与指导，在训练样本涵盖性较低的情况下，仍能够得到准确的识别结果，由此提高了模型的泛化性。
77.下面参考图7，其示出了用于实现本技术的一些实施例的电子设备的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本技术的实施例的功能和使用范围带来任何限制。
78.如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储装置708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom 702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
79.通常，以下装置可以连接至i/o接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置707；包括例如磁盘、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
80.特别地，根据本技术的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从rom 702被安装。在该计算机程序被处理装置701执行时，执行本技术的一些实施例的方法中限定的上述功能。
81.需要说明的是，本技术的一些实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
82.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transferprotocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包
括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
83.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：对目标图像进行特征提取，得到图像特征；基于所述图像特征，确定所述目标图像所属的目标知识类，并获取所述目标知识类下的样本特征；将所述图像特征与所获取的样本特征进行融合，得到融合特征；基于所述融合特征对所述目标图像进行识别，得到图像识别结果。
84.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的一些实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++；还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)，上述网络包括局域网(lan)或广域网(wan)。
85.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
86.描述于本技术的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定单元、第二确定单元、选取单元和第三确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
87.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
88.以上描述仅为本技术的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。