一种目标识别方法和装置与流程

本发明涉及计算机领域，尤其涉及一种目标识别方法和装置。

背景技术：

目标识别是指利用计算机视觉和图像处理技术对图像中的特定物体进行识别和分类，是很多计算机视觉任务的基础。近年来在深度学习技术的推动下，目标识别技术取得了巨大的进步，并广泛应用于视频监控、智能交通、智能家居等领域。

现有技术中目标识别技术的实现流程一般包括目标检测、目标对齐和目标转正三个步骤，目标检测用于从输入图像中获取包含目标的矩形框，目标对齐需要对绘制有矩形框的输入图像进行关键点检测，目标转正需要根据关键点将倾斜或者大角度偏转的目标进行转正。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

(1)目标识别的精度依赖于目标检测和目标对齐的精度，如果关键点检测不准确，会导致在目标转正时得到的图像不完整，将这样的图像添加到训练集，后续训练出的目标识别模型将无法正确识别目标。

(2)为了提高目标检测和目标对齐的精度，需要使用高精度模型，但是高精度模型耗时长，而且目标对齐对输入图像的质量要求较高。

(3)人脸转正会造成一定程度的目标变形或者填充等问题，影响对各种姿态的目标的识别。

技术实现要素：

有鉴于此，本发明实施例提供一种目标识别方法和装置，通过为基础图像数据集中的各目标生成多姿态图像，将上述多姿态图像添加到训练集中，以进行目标识别模型的训练，之后使用训练好的模型就能够对各种姿态的目标进行识别，模型泛化能力强，且无需进行目标对齐和目标转正处理。

为实现上述目的，根据本发明实施例的一个方面，提供了一种目标识别方法。

本发明实施例的一种目标识别方法，包括：为基础图像数据集包含的目标生成对应的多姿态图像，将所述多姿态图像添加到所述基础图像数据集，得到中间图像数据集；对所述中间图像数据集的多张图像分别进行目标检测，得到目标检测结果；将所述中间图像数据集和所述目标检测结果作为训练集，基于预训练的基准识别模型，训练目标识别模型；将待识别图像输入所述目标识别模型，以进行目标识别。

可选地，所述为基础图像数据集包含的目标生成对应的多姿态图像，包括：构建多姿态图像数据集，按照角度姿态信息对所述多姿态图像数据集的图像进行分类；根据分类结果标注图像姿态，之后结合设定的编码规则，将标注结果编码为姿态控制参数；以所述姿态控制参数为条件，基于生成对抗网络模型，训练多姿态图像生成模型；将基础图像数据集的多张图像分别输入所述多姿态图像生成模型，以输出所述基础图像数据集包含的目标对应的多姿态图像。

可选地，所述多姿态图像包括面内旋转图像和/或面外旋转图像；所述为基础图像数据集包含的目标生成对应的多姿态图像，包括：按照设定的第一旋转角度，将基础图像数据集中分别进行旋转，得到所述目标对应的面内旋转图像；使用三维渐变模型分别拟合所述基础图像数据集中包含目标的图像，按照设定的第二旋转角度，将拟合得到的图像分别进行旋转后投影到二维平面，得到所述目标对应的面外旋转图像。

可选地，所述将所述多姿态图像添加到所述基础图像数据集的步骤之前，还包括：提取所述基础图像数据集中包含当前目标的图像的第一特征，以确定所述图像的特征中心；提取所述当前目标对应的多姿态图像的第二特征，以确定所述第二特征与所述特征中心的第一相似度；若所述第一相似度小于等于设定的第一阈值，则删除对应的多姿态图像，以完成图像清洗；所述将所述多姿态图像添加到所述基础图像数据集，包括：将清洗后的所述多姿态图像添加到所述基础图像数据集。

可选地，所述将所述多姿态图像添加到所述基础图像数据集的步骤之前，还包括：计算所述基础图像数据集中包含当前目标的图像与对应的面外旋转图像的第二相似度；若所述第二相似度小于设定的第二阈值，或者大于设定的第三阈值，则删除对应的面外旋转图像，以完成图像清洗；所述将所述多姿态图像添加到所述基础图像数据集，包括：将清洗后的所述面外旋转图像添加到所述基础图像数据集。

可选地，所述对所述中间图像数据集的多张图像分别进行目标检测的步骤之后，还包括：保持目标检测所得第一边界框的中心不变，调整所述中间图像数据集的当前图像至设定的包含所述目标的尺寸；所述将待识别图像输入所述目标识别模型的步骤之前，还包括：对待识别图像进行目标检测，保持目标检测所得第二边界框的中心不变，调整所述待识别图像至所述尺寸；所述将待识别图像输入所述目标识别模型，包括：将尺寸调整后的所述待识别图像输入所述目标识别模型。

可选地，所述方法还包括：对所述基础图像数据集的多张图像分别进行目标检测，绘制包含目标的边界框；对所述边界框内的目标进行特征点检测，以获取所述目标的多个特征点；根据所述特征点的坐标，采用相似变换或者仿射变换的方式实现目标转正；将转正后的图像作为训练集，基于深度学习算法进行训练，得到所述基准识别模型。

为实现上述目的，根据本发明实施例的另一方面，提供了一种目标识别装置。

本发明实施例的一种目标识别装置，包括：生成添加模块，用于为基础图像数据集包含的目标生成对应的多姿态图像，将所述多姿态图像添加到所述基础图像数据集，得到中间图像数据集；目标检测模块，用于对所述中间图像数据集的多张图像分别进行目标检测，得到目标检测结果；模型训练模块，用于将所述中间图像数据集和所述目标检测结果作为训练集，基于预训练的基准识别模型，训练目标识别模型；目标识别模块，用于将待识别图像输入所述目标识别模型，以进行目标识别。

可选地，所述生成添加模块，还用于：构建多姿态图像数据集，按照角度姿态信息对所述多姿态图像数据集的图像进行分类；根据分类结果标注图像姿态，之后结合设定的编码规则，将标注结果编码为姿态控制参数；以所述姿态控制参数为条件，基于生成对抗网络模型，训练多姿态图像生成模型；以及将基础图像数据集的多张图像分别输入所述多姿态图像生成模型，以输出所述基础图像数据集包含的目标对应的多姿态图像。

可选地，所述多姿态图像包括面内旋转图像和/或面外旋转图像；所述生成添加模块，还用于：按照设定的第一旋转角度，将基础图像数据集中分别进行旋转，得到所述目标对应的面内旋转图像；以及使用三维渐变模型分别拟合所述基础图像数据集中包含目标的图像，按照设定的第二旋转角度，将拟合得到的图像分别进行旋转后投影到二维平面，得到所述目标对应的面外旋转图像。

可选地，所述装置还包括：第一清洗模块，用于提取所述基础图像数据集中包含当前目标的图像的第一特征，以确定所述图像的特征中心；提取所述当前目标对应的多姿态图像的第二特征，以确定所述第二特征与所述特征中心的第一相似度；以及若所述第一相似度小于等于设定的第一阈值，则删除对应的多姿态图像，以完成图像清洗；所述生成添加模块，还用于将清洗后的所述多姿态图像添加到所述基础图像数据集。

可选地，所述装置还包括：第二清洗模块，用于计算所述基础图像数据集中包含当前目标的图像与对应的面外旋转图像的第二相似度；若所述第二相似度小于设定的第二阈值，或者大于设定的第三阈值，则删除对应的面外旋转图像，以完成图像清洗；所述生成添加模块，还用于将清洗后的所述面外旋转图像添加到所述基础图像数据集。

可选地，所述装置还包括：第一尺寸调整模块，用于保持目标检测所得第一边界框的中心不变，调整所述中间图像数据集的当前图像至设定的包含所述目标的尺寸；第二尺寸调整模块，用于对待识别图像进行目标检测，保持目标检测所得第二边界框的中心不变，调整所述待识别图像至所述尺寸；所述目标识别模块，还用于将尺寸调整后的所述待识别图像输入所述目标识别模型。

可选地，所述装置还包括：基准识别模型训练模块，用于对所述基础图像数据集的多张图像分别进行目标检测，绘制包含目标的边界框；对所述边界框内的目标进行特征点检测，以获取所述目标的多个特征点；根据所述特征点的坐标，采用相似变换或者仿射变换的方式实现目标转正；以及将转正后的图像作为训练集，基于深度学习算法进行训练，得到所述基准识别模型。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种目标识别方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种目标识别方法。

上述发明中的一个实施例具有如下优点或有益效果：通过为基础图像数据集中的各目标生成多姿态图像，将上述多姿态图像添加到训练集中，以进行目标识别模型的训练，之后使用训练好的模型就能够对各种姿态的目标进行识别，模型泛化能力强，且无需进行目标对齐和目标转正处理；采用生成对抗网络或者旋转图像的方式，为基础图像数据集中的各目标生成多姿态图像，能够改善目标识别中样本数据缺乏的问题，且提高了目标在多姿态情况下的识别率；对多姿态图像进行清洗，保证了训练的目标识别模型的精准度，同时降低了训练集的图像数量，降低了模型收敛的时间；通过统一图像尺寸，在保证图像信息完整性的前提下，减少计算量。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的目标识别方法的主要步骤的示意图；

图2是根据本发明实施例一的目标识别方法的主要流程示意图；

图3是本发明实施例一中采用面内旋转图像的方式生成多姿态图像的结果示意图；

图4是本发明实施例中一采用面外旋转图像的方式生成多姿态图像的结果示意图；

图5是本发明实施例一中采用生成对抗网络生成多姿态图像的主要流程示意图；

图6是根据本发明实施例二的人脸识别方法的主要流程示意图；

图7是根据本发明实施例的目标识别装置的主要模块的示意图；

图8是本发明实施例可以应用于其中的示例性系统架构图；

图9是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的目标识别方法的主要步骤的示意图。如图1所示，本发明实施例的目标识别方法，主要包括如下步骤：

步骤s101：为基础图像数据集包含的目标生成对应的多姿态图像，将所述多姿态图像添加到所述基础图像数据集，得到中间图像数据集。采用生成对抗网络或者旋转图像的方式，为基础图像数据集中每个目标分别生成其在多种角度下的图像，生成的图像即为该目标的多姿态图像。将多姿态图像添加到基础图像数据集，方便后续对得到的包含多姿态图像的图像数据集进行目标检测。

步骤s102：对所述中间图像数据集的多张图像分别进行目标检测，得到目标检测结果。采用目标检测模型对中间图像数据集的多张图像分别进行目标检测，得到包含目标的边界框。该边界框在图像中的位置和大小分别代表目标在图像中的位置和大小。

步骤s103：将所述中间图像数据集和所述目标检测结果作为训练集，基于预训练的基准识别模型，训练目标识别模型。训练基准识别模型的过程为：对于基础图像数据集的多张图像，采用目标检测、目标对齐和目标转正三个步骤依次进行处理，得到转正后的图像；将转正后的图像作为训练集，基于深度学习算法进行训练，即可得到基准识别模型。将包含多姿态图像的中间图像数据集作为输入，将目标检测结果作为输出，基于基准识别模型训练新模型至收敛，训练好的新模型即目标识别模型。

步骤s104：将待识别图像输入所述目标识别模型，以进行目标识别。训练出目标识别模型后，将待识别图像输入该目标识别模型，经模型处理后即可输出目标识别结果。实施例中，还可以将待识别图像的尺寸压缩或者外扩至设定尺寸，且压缩或者外扩后的图像要包含要识别的目标，在保证图像信息完整性的前提下，降低计算量。

图2是根据本发明实施例一的目标识别方法的主要流程示意图。如图2所示，本发明实施例一的目标识别方法，主要包括如下步骤：

步骤s201：构建基础图像数据集，对基础图像数据集的多张图像进行预处理，以训练基准识别模型。基准识别模型的训练过程包括目标检测、目标对齐、目标转正和模型训练四个步骤，具体为：对基础图像数据集的多张图像分别进行目标检测，绘制包含目标的边界框；对边界框内的目标进行特征点检测，以获取该目标的多个特征点；根据特征点的坐标，采用相似变换或者仿射变换的方式实现目标转正；将转正后的图像作为训练集，训练cnn(convolutionalneuralnetworks，卷积神经网络)分类器，训练好的cnn分类器即为基准识别模型。训练基准识别模型的目的是为后续图像清洗和目标识别模型训练做准备。

在一可选的实施例中，在训练cnn分类器后，还可以使用metriclearning(度量学习)的方式对cnn分类器进行微调，将微调之后的cnn分类器作为基准识别模型。另外，在训练基准识别模型过程中，还可以将基础图像数据集的图像统一尺寸，比如统一成140×140大小。

步骤s202：为基础图像数据集包含的各目标生成对应的多姿态图像。基础图像数据集中的图像中包含用户感兴趣的各种目标，比如：人、动物、车辆等。使用便携设备等拍摄包含这些目标的图像时，图像中目标的姿态、角度难以控制，而目标大角度倾斜、偏转会造成目标对齐的效果较差，无法进行目标对齐操作，进而导致无法进行目标识别。故实施例中通过为每个目标生成对应的多姿态图像，使用该多姿态图像训练模型，以实现对自然拍摄的各种姿态图像的识别。通过该步骤不仅可以得到多种角度的训练集图像，还能极大的增加训练集的图像数量。

实施例中，可以为每个目标生成30张多姿态图像，多姿态图像的生成方式有多种，比如采用生成对抗网络的方式，具体实现见关于图5的说明。再比如采用旋转图像的方式，旋转图像包括面内旋转图像和面外旋转图像。下面对采用旋转图像的方式生成多姿态图像进行具体说明。

(1)采用面内旋转图像的方式生成多姿态图像：

假设输入图像为x，(x1，y1)∈x为输入图像上的点，旋转角度为α，输出图像为y，(x2，y2)∈y为输出图像上的点，则

旋转时，旋转角度α可以取值为±5°，±10°，…±35°，也可以调整旋转角度的间距，比如每隔3°，以生成更加密集的面内旋转图像。图3是本发明实施例一中采用面内旋转图像的方式生成多姿态图像的结果示意图。图3中最左侧为原始图像，中间是将原始图像顺时针旋转10°后得到的图像，最右侧是将原始图像逆时针旋转-10°后得到的图像。

(2)采用面外旋转图像的方式生成多姿态图像：

采用三维渐变模型(3dmm)分别拟合基础图像数据集中包含目标的图像；之后按照旋转角度β将拟合得到的图像分别进行三维旋转后投影到二维平面，即可得到目标对应的面外旋转图像。图4是本发明实施例中一采用面外旋转图像的方式生成多姿态图像的结果示意图。图4中最左侧为原始图像，其他图像为将原始图像按照对应的旋转角度旋转后得到的二维图像。

步骤s203：对生成的多姿态图像进行清洗。由于生成的多姿态图像不一定能达到与真实图像同等的质量水平，或者生成的多姿态图像会产生较大的变形，所以需要对生成的多姿态图像进行质量清洗。实施例中，采用下述两种方式进行清洗。

(1)对于采用生成对抗网络或者面内旋转图像的方式生成的多姿态图像，清洗过程如下：

(11)采用基准识别模型提取基础图像数据集中包含当前目标的图像的第一特征，以确定图像的特征中心。假设当前目标在基础图像数据集中共有n张图像，采用基准识别模型提取这n张图像的特征，之后计算得到n个特征的均值，作为特征中心。

(12)采用基准识别模型提取当前目标对应的多姿态图像的第二特征，以确定第二特征与特征中心的第一相似度。采用基准识别模型提取当前目标对应的多姿态图像的特征，计算该特征与特征中心的相似度s。

(13)若第一相似度小于等于设定的第一阈值，则删除对应的多姿态图像，以完成图像清洗。设定第一阈值，后续可以根据基准识别模型的性能动态调整阈值。实施例中，若相似度s≤0.2，则舍弃该多姿态图像。

(2)对于采用面外旋转图像的方式生成的多姿态图像，清洗过程如下：

(21)计算基础图像数据集中包含当前目标的图像与对应的面外旋转图像的第二相似度。采用余弦相似度、直方图等方式，计算包含当前目标的图像与对应的面外旋转图像的相似度s。

(22)若第二相似度小于设定的第二阈值，或者大于设定的第三阈值，则删除对应的面外旋转图像，以完成图像清洗。设定两个阈值，分别为第二阈值s1和第三阈值s2，s1＜s2，如果s＜s1，说明生成的面外旋转图像基本与原始图像不相似，舍弃该面外旋转图像；如果s＞s2，说明生成的面外旋转图像与原始图像同质性太高，舍弃该面外旋转图像；如果s1≤s≤s2，则保留该面外旋转图像。实施例中，s1设置为0.15，s2设置为0.9，后续可以根据基准识别模型的性能动态调整阈值。

步骤s204：将清洗后的多姿态图像添加到基础图像数据集，得到中间图像数据集。将生成的多姿态图像进行清洗后，加入基础图像数据集，扩充数据集的图像数量。

步骤s205：对中间图像数据集的多张图像分别进行目标检测，得到目标检测结果。实施例中，采用目标检测模型对中间图像数据集的多张图像分别进行目标检测，得到固定大小(128×128)的包含目标的边界框；之后保持边界框的中心不动，外扩得到140×140大小的图像，得到该图像后后续不再进行目标对齐和目标转正的操作。

步骤s206：将中间图像数据集和目标检测结果作为训练集，基于基准识别模型，训练目标识别模型。将中间图像数据集作为输入，目标检测结果作为输出，基于基准识别模型进行新模型训练至收敛，得到的新模型即目标识别模型。

步骤s207：将目标识别模型部署到应用中，将待识别图像输入目标识别模型，以进行目标识别。将训练好的目标识别模型部署到应用中，后续进行目标识别时，仅需提供原始的待识别图像进行目标检测，得到包含目标的边界框，之后将待识别图像调整至指定大小后输入到目标识别模型，即可得到目标识别结果。无需进行目标对齐、目标转正的操作。实施例中，目标检测后可以得到128×128的包含目标的边界框，将该边界框外扩至包含整个目标，之后输入到目标识别模型，得到目标识别结果。

图5是本发明实施例一中采用生成对抗网络生成多姿态图像的主要流程示意图。如图5所示，本发明实施例一中采用生成对抗网络生成多姿态图像的过程包括：

步骤s501：构建多姿态图像数据集，按照角度姿态信息对多姿态图像数据集的图像进行分类。收集多姿态图像，对多姿态图像进行减均值、归一化等预处理后，按照设定的角度对同一个目标的多姿态图像进行分类，比如，每隔15°作为一个类别。

步骤s502：根据分类结果标注图像姿态，之后结合设定的编码规则，将标注结果编码为姿态控制参数。标注方法具体为：从-45°～45°，每隔15°为一种姿态，依次标注为姿态0～6。姿态控制参数为7维one-hot向量，编码规则为：如果姿态i(i∈{0，1，…，6})，则对应的姿态控制参数的第i+1个元素为1，其他元素为0。其中，one-hot编码是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制。

步骤s503：以姿态控制参数为条件，基于生成对抗网络模型，训练生成网络g和鉴别网络d。生成对抗网络(gan)有g和d两个深度神经网络构成，生成网络g用来模拟原始数据生成类似于原始数据分布的图像，鉴别网络d用来区分输入图像时来自生成网络g还是原始图像数据，可以利用极大极小目标函数优化两个网络。训练得到的生成网络g能够根据姿态控制参数生成各种不同姿态的图像，鉴别网络d用来提取输入图像的特征。

步骤s504：将随机向量和姿态控制参数输入生成网络g，得到同一个目标在不同姿态下的图像。实施例中，对[-1，1]上的均匀分布进行随机采样，得到随机向量z，不同的向量z代表不同的目标，根据向量z和姿态控制参数，利用步骤s503训练好的生成网络g，得到同一个目标在各种姿态下的图像。

步骤s505：将随机采样的不同姿态下的图像作为训练集，训练用于提取图像身份特征的编码器，训练得到的编码器和生成网络g构成多姿态图像生成模型。实施例中，在[-1，1]的均匀分布下随机采样得到输入向量z0，在1～7内用随机数指定一个位置的元素为1，其余为0，得到输入姿态控制参数y0，将z0和y0输入生成网络g得到采样的图像输出q。编码器的网络结构与鉴别网络d相同，仅最后一层全连接层改为与输入向量z0维度相同。将全连接层的输出向量和输入姿态控制参数y0输入生成网络g，得到相应的图像输出q0。通过优化损失函数，使图像输出q0与采样的图像输出q尽可能接近，训练好的编码器即可得到输入图像的身份特征。

步骤s506：将基础图像数据集的多张图像分别输入多姿态图像生成模型，以输出基础图像数据集包含的目标对应的多姿态图像。实施例中，基础图像数据集的每张图像经过步骤s505训练的编码器得到身份特征，再加上姿态控制参数，通过步骤s503训练好的生成网络g，得到不同的目标在各种姿态下的图像。

实施例二中基础图像数据集为人脸图像数据集，包括多张人脸图片，上述目标识别方法适用于人脸识别。该实施例用于解决现有技术中由于拍摄角度随意，导致大角度偏转的人脸图像识别成功率低的问题。为了解决上述问题，实施例中通过在训练集中添加大量的多姿态图像，使得训练出的人脸识别模型泛化能力更强，能够应对自然拍摄的多姿态图像。下面结合图6对实施例二进行详细说明。

图6是根据本发明实施例二的人脸识别方法的主要流程示意图。如图6所示，本发明实施例一的人脸识别方法，主要包括如下步骤：

步骤s601：构建人脸图像数据集，对人脸图像数据集的所有人脸图像进行预处理，将预处理后的人脸图像作为训练集，训练基准识别模型。基准识别模型的训练方法与传统人脸识别模型的训练方法一致。对于人脸图像数据集中的图像采用人脸检测、人脸对齐、人脸转正三个步骤进行预处理，最后得到140×140大小的转正人脸图像；将转正人脸图像作为训练集，训练cnn分类器，训练好的cnn分类器即为基准识别模型。

步骤s602：为人脸图像数据集中的每个人生成对应的多姿态人脸图像。现有的人脸识别模型之所以需要对人脸图像进行对齐然后转正，其主要原因之一就是训练数据难以囊括各种姿态的图像，以至采用其训练出的模型不能对自然拍摄的各种姿态图像进行识别。实施例中在训练集中增加各种角度的训练图像，则训练出的模型将能对各种角度的人脸图像进行识别，并且无需进行人脸对齐和人脸转正处理。

人脸图像数据集的每张图像可以包括一个或者多个人脸。对于多个人脸的情况，目标是检测出groundtruth人脸，则需要从图像中提取出groundtruth人脸，之后可以用生成对抗网络或者图像旋转的方式为groundtruth人脸生成对应的多姿态人脸图像。其中，groundtruth为标签。比如，图片a中有张三、李四、王五的人脸，标签是张三，那么需要从图片a中提取出张三的人脸。在训练分类器时李四和王五将会被视为噪声。下面对包含一个人脸的图像生成多姿态人脸图像的实现过程进行说明。

(1)构建多姿态人脸图像数据集，按照角度姿态信息对多姿态人脸图像数据集的人脸图像进行分类；

(2)根据分类结果标注图像姿态，之后结合设定的编码规则，将标注结果编码为姿态控制参数；

(3)以姿态控制参数为条件，基于带条件的生成对抗网络模型(cgan)，训练生成网络g和鉴别网络d；

(4)将随机向量和姿态控制参数输入生成网络g，得到同一个人在不同姿态下的图像。

(5)将随机采样的不同姿态下的图像作为训练集，训练用于提取图像身份特征的编码器。编码器的网络结构与鉴别网络d相同，仅最后一层全连接层改为与随机采样的维度相同。

(6)将人脸图像数据集的每个人脸图像输入多姿态图像生成模型，以得到人脸图像数据集中每个人脸所对应的多姿态人脸图像。训练得到的编码器和生成网络g构成多姿态图像生成模型。将人脸图像经过训练好的编码器得到身份特征，再加上姿态控制参数，通过训练好的生成网络g，得到不同人脸在各种姿态下的图像。

步骤s603：对生成的多姿态人脸图像进行清洗。该步骤的具体实现过程见步骤s203。

步骤s604：将清洗后的多姿态人脸图像添加到人脸图像数据集，得到中间图像数据集。将生成的多姿态人脸图像进行清洗后，加入人脸图像数据集，扩充人脸数据集的图像数量。

步骤s605：对中间图像数据集的多张人脸图像分别进行人脸检测，得到人脸检测结果。实施例中，采用人脸检测模型对中间图像数据集的多张人脸图像分别进行人脸检测，得到128×128的人脸边界框；之后保持人脸边界框的中心不动，外扩得到140×140大小的人脸图像，得到该人脸图像后，后续不再进行人脸对齐和人脸转正的操作。

步骤s606：将中间图像数据集和人脸检测结果作为训练集，基于基准识别模型，训练人脸识别模型。将中间图像数据集作为输入，人脸检测结果作为输出，基于基准识别模型进行新模型训练至收敛，得到的新模型即人脸识别模型。训练出人脸识别模型后，后续如果需重新训练，则无需进行人脸对齐、人脸转正操作，直接基于该人脸识别模型进行训练就可以。

步骤s607：将人脸识别模型部署到应用中，将待识别人脸图像输入人脸识别模型，以进行人脸识别。将训练好的人脸识别模型部署到应用中，后续进行人脸识别时，仅需提供原始的待识别人脸图像进行人脸检测，得到128×128的人脸边界框，之后将待识别图像外扩至包含整个头部，将外扩后的图像输入到人脸识别模型，即可输出人脸识别结果。

通过本发明实施例的目标识别方法可以看出，通过为基础图像数据集中的各目标生成多姿态图像，将上述多姿态图像添加到训练集中，以进行目标识别模型的训练，之后使用训练好的模型就能够对各种姿态的目标进行识别，模型泛化能力强，且无需进行目标对齐和目标转正处理；采用生成对抗网络或者旋转图像的方式，为基础图像数据集中的各目标生成多姿态图像，能够改善目标识别中样本数据缺乏的问题，且提高了目标在多姿态情况下的识别率；对多姿态图像进行清洗，保证了训练的目标识别模型的精准度，同时降低了训练集的图像数量，降低了模型收敛的时间；通过统一图像尺寸，在保证图像信息完整性的前提下，减少计算量。

图7是根据本发明实施例的目标识别装置的主要模块的示意图。如图7所示，本发明实施例的目标识别装置700，主要包括：

生成添加模块701，用于为基础图像数据集包含的目标生成对应的多姿态图像，将所述多姿态图像添加到所述基础图像数据集，得到中间图像数据集。采用生成对抗网络或者旋转图像的方式，为基础图像数据集中每个目标分别生成其在多种角度下的图像，生成的图像即为该目标的多姿态图像。将多姿态图像添加到基础图像数据集，方便后续对得到的包含多姿态图像的图像数据集进行目标检测。

目标检测模块702，用于对所述中间图像数据集的多张图像分别进行目标检测，得到目标检测结果。采用目标检测模型对中间图像数据集的多张图像分别进行目标检测，得到包含目标的边界框。该边界框在图像中的位置和大小分别代表目标在图像中的位置和大小。

模型训练模块703，用于将所述中间图像数据集和所述目标检测结果作为训练集，基于预训练的基准识别模型，训练目标识别模型。训练基准识别模型的过程为：对于基础图像数据集的多张图像，采用目标检测、目标对齐和目标转正三个步骤依次进行处理，得到转正后的图像；将转正后的图像作为训练集，基于深度学习算法进行训练，即可得到基准识别模型。将包含多姿态图像的中间图像数据集作为输入，将目标检测结果作为输出，基于基准识别模型训练新模型至收敛，训练好的新模型即目标识别模型。

目标识别模块704，用于将待识别图像输入所述目标识别模型，以进行目标识别。训练出目标识别模型后，将待识别图像输入该目标识别模型，经模型处理后即可输出目标识别结果。实施例中，还可以将待识别图像的尺寸压缩或者外扩至设定尺寸，且压缩或者外扩后的图像要包含要识别的目标，在保证图像信息完整性的前提下，降低计算量。

另外，本发明实施例的目标识别装置700还可以包括：第一清洗模块、第二清洗模块、第一尺寸调整模块、第二尺寸调整模块和基准识别模型训练模块(图7中未示出)。其中，第一清洗模块用于对采用生成对抗网络或者面内旋转图像的方式生成的多姿态图像进行图像清洗；第二清洗模块，用于对采用面外旋转图像的方式生成的多姿态图像进行图像清洗；第一尺寸调整模块，用于调整中间图像数据集的图像尺寸；第二尺寸调整模块，用于调整待识别图像的尺寸；基准识别模型训练模块，用于训练基准识别模型。上述模块的具体实现如前所述。

从以上描述可以看出，通过为基础图像数据集中的各目标生成多姿态图像，将上述多姿态图像添加到训练集中，以进行目标识别模型的训练，之后使用训练好的模型就能够对各种姿态的目标进行识别，模型泛化能力强，且无需进行目标对齐和目标转正处理；采用生成对抗网络或者旋转图像的方式，为基础图像数据集中的各目标生成多姿态图像，能够改善目标识别中样本数据缺乏的问题，且提高了目标在多姿态情况下的识别率；对多姿态图像进行清洗，保证了训练的目标识别模型的精准度，同时降低了训练集的图像数量，降低了模型收敛的时间；通过统一图像尺寸，在保证图像信息完整性的前提下，减少计算量。

图8示出了可以应用本发明实施例的目标识别方法或目标识别装置的示例性系统架构800。

如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器805可以是提供各种服务的服务器，例如对管理员所提供的基础图像数据集、待识别图像提供支持的后台管理服务器(仅为示例)。后台管理服务器可以为基础图像数据集的目标生成多姿态图像、进行目标检测、模型训练、目标识别等处理，并将处理结果(例如目标识别结果)反馈给终端设备。

需要说明的是，本申请实施例所提供的目标识别方法一般由服务器805执行，相应地，目标识别装置一般设置于服务器805中。

应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。

本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的目标识别方法。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的目标识别方法。

下面参考图9，其示出了适用于来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(cpu)901，其可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行各种适当的动作和处理。在ram903中，还存储有系统900操作所需的各种程序和数据。cpu901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。

以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(cpu)901执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的主要步骤图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括生成添加模块、目标检测模块、模型训练模块和目标识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，生成添加模块还可以被描述为“为基础图像数据集包含的目标生成对应的多姿态图像，将所述多姿态图像添加到所述基础图像数据集，得到中间图像数据集的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：为基础图像数据集包含的目标生成对应的多姿态图像，将所述多姿态图像添加到所述基础图像数据集，得到中间图像数据集；对所述中间图像数据集的多张图像分别进行目标检测，得到目标检测结果；将所述中间图像数据集和所述目标检测结果作为训练集，基于预训练的基准识别模型，训练目标识别模型；将待识别图像输入所述目标识别模型，以进行目标识别。

从以上描述可以看出，通过为基础图像数据集中的各目标生成多姿态图像，将上述多姿态图像添加到训练集中，以进行目标识别模型的训练，之后使用训练好的模型就能够对各种姿态的目标进行识别，模型泛化能力强，且无需进行目标对齐和目标转正处理。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。