一种图像库建立方法、装置和存储介质与流程

文档序号:17090372发布日期:2019-03-13 23:23阅读:207来源:国知局
一种图像库建立方法、装置和存储介质与流程

本发明涉及机器学习技术,尤其涉及一种人图像库建立方法、装置和计算机可读存储介质。



背景技术:

由于多媒体信息技术(例如:网络、智能终端等)的不断发展,游行、集会、抗议活动、暴乱等图像,能够第一时间在网络上被获取。为了不造成社会恐慌,探测出哪些活动具有暴力性质就变得非常有必要;但目前还没有一种暴恐图像数据库的构建方法和暴恐图像数据库的图像采集方法。



技术实现要素:

有鉴于此,本发明的主要目的在于提供一种图像库建立方法、装置和计算机可读存储介质。

为达到上述目的,本发明的技术方案是这样实现的:

本发明实施例提供了一种图像库建立方法,所述方法包括:

获得第一图像;

基于预设的第一图像识别模型识别所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度;

根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

上述方案中,所述方法还包括:生成所述第一图像识别模型;

所述生成第一图像识别模型,包括:

获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签;所述第一标签表征所述样本图像是否为目标类图像;

根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

上述方案中,所述将所述第一图像保存在所述图像库之后,所述方法还包括:

将所述识别结果作为第一标签,与所述第一图像对应保存在所述图像库。

上述方案中,所述方法还包括:确定所述第一图像的第二标签,将确定的第二标签与所述第一图像对应保存在所述图像库;

采用以下至少一种方法,确定所述第一图像的第二标签:

根据预设的第二图像识别模型识别所述第一图像,确定所述第一图像的图像特征;根据所述图像特征确定所述第一图像包含的至少一个目标对象,基于所述至少一个目标对象确定所述第一图像的第二标签;

提取所述第一图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述第一图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;

根据预设的情感识别模型识别所述第一图像,确定所述第一图像的情感特征;根据所述情感特征确定所述第一图像表现的至少一种情感类型,基于所述至少一种情感类型确定所述第一图像的第二标签。

上述方案中,所述方法还包括:生成所述人物识别模型;

所述生成人物识别模型,包括:

获取至少一个人物图像;所述至少一个人物图像中的每个人物图像对应有人物属性,所述人物属性包括以下至少一个:人物年龄、人物性别;

根据所述至少一个人物图像和每个人物图像对应的人物属性进行基于神经网络的学习训练,获得所述人物识别模型。

本发明实施例提供了一种图像库建立装置,所述装置包括:第一处理模块、第二处理模块和第三处理模块;其中,

所述第一处理模块,用于获得第一图像;

所述第二处理模块,用于基于预设的第一图像识别模型识别所述第一处理模块获取的所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度;

所述第三处理模块,用于根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

上述方案中,所述装置还包括:第一预处理模块,用于生成所述第一图像识别模型;

所述第一预处理模块,具体用于获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签;所述第一标签表征所述样本图像是否为目标类图像;

根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

上述方案中,所述装置还包括:第四处理模块,用于将所述识别结果作为第一标签,与所述第一图像对应保存在所述图像库。

上述方案中,所述第四处理模块,还用于确定所述第一图像的第二标签,将确定的第二标签与所述第一图像对应保存在所述图像库;

所述第四处理模块,具体用于采用以下至少一种方法,确定所述第一图像的第二标签:

根据预设的第二图像识别模型识别所述第一图像,确定所述第一图像的图像特征;根据所述图像特征确定所述第一图像包含的至少一个目标对象,基于所述至少一个目标对象确定所述第一图像的第二标签;

提取所述第一图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述第一图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;

根据预设的情感识别模型识别所述第一图像,确定所述第一图像的情感特征;根据所述情感特征确定所述第一图像表现的至少一种情感类型,基于所述至少一种情感类型确定所述第一图像的第二标签。

上述方案中,所述装置还包括:第二预处理模块,用于生成所述人物识别模型;

所述第二预处理模块,具体用于获取至少一个人物图像;所述至少一个人物图像中的每个人物图像对应有人物属性,所述人物属性包括以下至少一个:人物年龄、人物性别;

根据所述至少一个人物图像和每个人物图像对应的人物属性进行基于神经网络的学习训练,获得所述人物识别模型。

本发明实施例提供了一种图像库建立装置,所述装置包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,

所述处理器用于运行所述计算机程序时,执行以上所述的任一项所述图像库建立方法的步骤。

本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上所述的任一项所述图像库建立方法的步骤。

本发明实施例所提供的图像库建立方法、装置和计算机可读存储介质,获得第一图像;基于预设的第一图像识别模型识别所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度;根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。本发明实施例中,可以识别第一图像是否为目标类图像,并将确定为目标类图像的第一图像加入数据库中保存,构建图像库。

附图说明

图1为本发明实施例提供的一种图像库建立方法的流程示意图;

图2为本发明实施例提供的另一种图像库建立方法的流程示意图;

图3为本发明实施例提供的一种resnet34网络结构的示意图;

图4为本发明实施例提供的一种resnet模块的结构示意图;

图5为本发明实施例提供的一种卷积流程示意图;

图6为本发明实施例提供的一种利用labelimg工具的图像框定工具进行标定的示意图;

图7为本发明实施例提供的一种利用情感识别模型识别情感类型并显示的效果示意图;

图8为本发明实施例提供的一种标定方法的流程示意图

图9为本发明实施例提供的一种alexnet结构的示意图;

图10为本发明实施例提供的一种图像库建立装置的结构示意图;

图11为本发明实施例提供的另一种图像库建立装置的结构示意图。

具体实施方式

在本发明的各种实施例中,获得第一图像;基于预设的第一图像识别模型识别所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度;根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

下面结合实施例对本发明再作进一步详细的说明。

图1为本发明实施例提供的一种图像库建立方法的流程示意图;如图1所示,所述方法包括:

步骤101、获得第一图像。

这里,所述第一图像为待识别的图像。

所述方法可以应用于构建图像库的服务器中。在一实施例中,所述第一图像可以保存在服务器中,由所述服务器读取自身保存的第一图像,即获得第一图像;在另一实施例中,可以由其他终端将第一图像发送给所述服务器,从而所述服务器获得所述第一图像;在再一实施例中,可以由所述服务器通过网络爬虫从网络中获得第一图像。

步骤102、基于预设的第一图像识别模型识别所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度。

本实施例中,所述方法还包括:生成所述第一图像识别模型。

具体地,所述生成第一图像识别模型,包括:

获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签;所述第一标签表征所述样本图像是否为目标类图像;

根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

这里,所述目标类图像可以为具有暴恐特征的暴恐图像,如:关于暴乱、抗议者、集会、示威游行、恐怖袭击、恐怖分子等图像。

这里,所述获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签,可以包括:

将所述预设数量的样本图像分为第一图像集和第二图像集;所述第一图像集包括至少一个第一样本图像,所述第二图像集包括至少一个第二样本图像;所述第一样本图像对应有正标签,所述第二样本图像对应有负标签。这里,所述第一图像集和所述第二图像集的图像数量的比例可以为1:3。

所述正标签表征图像为目标类图像,这里可以具体指暴恐图像;

所述负标签表征图像非目标类图像,这里可以具体指除暴恐图像外的任意图像。

这里,所述根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型,可以包括:

根据所述第一图像集中的至少一个第一样本图像和第一样本图像对应的正标签、所述第二图像集中的至少一个第二样本图像和第二样本图像对应的负标签,进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

步骤103、根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

具体地,所述服务器可以确定识别结果中的置信度,判断所述置信度是否超过预设阈值,确定所述置信度超过所述预设阈值时,则确定所述第一图像属于目标类图像。

本实施例中,所述将所述第一图像保存在所述图像库之后,所述方法还包括:将所述识别结果作为第一标签,与所述第一图像对应保存在所述图像库。

本实施例中,所述方法还包括:确定所述第一图像的第二标签,将确定的第二标签与所述第一图像对应保存在所述图像库。

具体地,可以采用以下至少一种方法,确定所述第一图像的第二标签:

根据预设的第二图像识别模型识别所述第一图像,确定所述第一图像的图像特征;根据所述图像特征确定所述第一图像包含的至少一个目标对象,基于所述至少一个目标对象确定所述第一图像的第二标签;

提取所述第一图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述第一图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;

根据预设的情感识别模型识别所述第一图像,确定所述第一图像的情感特征;根据所述情感特征确定所述第一图像表现的至少一种情感类型,基于所述至少一种情感类型确定所述第一图像的第二标签。

这里,所述第二图像识别模型用于识别图像中包含的目标对象;所述目标对象可以包括以下至少一个:标语、爆炸火灾、执法者、大于20人团体、大于100人团体、旗帜、枪支、军事武器、血腥、尸体等。所述情感识别模型用于识别图像中表达的情感类型;所述情感类型包括:高兴、难过、恐惧、愤怒、暴力程度等。

所述第二图像识别模型、所述人物识别模型、所述情感识别模型可以由图像库的开发人员预先设置并保存。

举例来说,所述方法可以包括:生成所述人物识别模型。

具体地,所述生成人物识别模型,包括:

获取至少一个人物图像;所述至少一个人物图像中的每个人物图像对应有人物属性,所述人物属性包括以下至少一个:人物年龄、人物性别;

根据所述至少一个人物图像和每个人物图像对应的人物属性进行基于神经网络的学习训练,获得所述人物识别模型。

所述方法还可以包括:生成所述第二图像识别模型。

所述生成第二图像识别模型,包括:

获取至少一个包含目标对象的图像;所述至少一个包含目标对象的图像中的每个包含目标对象的图像对应有目标对象标签;所述目标对象标签包括以下至少一个:标语、爆炸火灾、执法者、大于20人团体、大于100人团体、旗帜、枪支、军事武器、血腥、尸体;

根据所述至少一个包含目标对象的图像和每个包含目标对象的图像对应的目标对象标签进行基于神经网络的学习训练,获得所述第二图像识别模型。

所述方法还可以包括:生成所述情感识别模型。

所述生成情感识别模型,包括:

获取预设数量的情感样本图像;所述预设数量的情感样本图像中每个情感样本图像对应有情感标签;所述情感标签包括以下至少一个:高兴、难过、恐惧、愤怒、暴力程度;

根据所述预设数量的情感样本图像以及每个情感样本图像对应的情感标签进行学习训练,获得所述情感识别模型。

图2为本发明实施例提供的另一种图像库建立方法的流程示意图;所述方法可以应用于服务器,如图2所示,所述方法包括:

步骤201、采集预设数量的样本图像。

具体地,所述服务器通过网络爬虫从微博(weibo)、推特(twitter)、谷歌(google)、百度(baidu)等网站上采集预设数量(具体可以大于10万张)的图像作为所述样本图像。

采集的图像,包括:具有暴力、恐怖色彩等暴恐特征的暴恐图像、以及不具有暴力、恐怖色彩等暴恐特征的任意图像。

步骤202、确定训练用的样本图像,根据训练用的样本图像进行训练,获得暴恐模型。

这里,所述暴恐模型即图1方法中所述的第一图像识别模型。所述训练用的样本图像可以是采集的图像中的30%。

具体的,所述步骤202,包括:

根据所述训练用的样本图像建立正样本集,所述正样本集包括具有暴恐特征的暴恐图像;所述暴恐图像具体可以是关于暴乱、抗议者、集会、示威游行、恐怖袭击、恐怖分子等图像;

根据所述训练用的样本图像建立负样本集;所述负样本集包括不具有暴恐特征的任意图像;这里,正样本和负样本的图像数量比例为1:3;

根据所述正样本集和所述负样本集进行基于卷积神经网络的学习训练,获得暴恐模型。

本实施例中,所述具有暴恐特征的暴恐图像对应有正标签,所述不具有暴恐特征的任意图像对应有负标签,所述服务器可以通过关键词搜索的方式对样本图像进行筛选,进而建立正样本集和负样本集。另外,训练暴恐模型之前,所述服务器可以人工筛选去除无关的图像,进一步提高随后训练模型的质量。

本实施例中,可以使用经过改进的resnet34网络结构作为训练用的所述卷积神经网络,根据正样本集和负样本集中的样本图像进行训练。具体包括:对样本图像的大小进行调整,使其大小变为224×224;从所述正样本集和负样本集中取出80%的样本图像作为训练集,20%的样本图像作为测试集,标签采用正样本和负样本;根据所述训练集和训练集中各样本图像对应的标签进行前向传播训练,根据所述测试集和测试集中各样本图像对应的标签进行后向传播训练,获得训练后的resnet34网络结构,作为暴恐模型。

图3为本发明实施例提供的一种resnet34网络结构的示意图;图中,softmax函数分类为二分类,所述resnet模块具体如图4所示。图4中,bn为batchnormalization,即批规范化;relu是修正线性单元(rectifiedlinearunit)函数,relu函数形式为:θ(x)=max(0,x);conv为卷积层,卷积层是通过对图像进行卷积操作来提取图像特征。在卷积神经网络中,每个卷积层通常会包含多个可训练的卷积模板(即卷积核),不同的卷积模板对应不同的图像特征。卷积核和输入图像进行卷积操作之后,经过非线性激活函数,如sigmoid函数、修正线性单元(relu,rectifiedlinearunit)函数、elu函数等,便可以映射得到对应的特征图(featuremap)。其中,卷积核的参数通常是采用特定的学习算法(如:随机梯度下降算法)计算得出的。所述卷积指的是用模板中的参数与图像对应位置的像素值进行加权求和的操作。一个典型的卷积过程可以如图5所示,通过滑动模板窗口,对输入图像中的所有位置进行卷积操作,之后便可以得到对应的特征图。

步骤203、获取待识别图像,运用所述暴恐模型识别所述待识别图像,获得识别结果。

这里,对于任意待识别图像,通过步骤202获得的暴恐模型进行图像识别,获得识别结果;所述识别结果表征待识别图像属于暴恐图像的置信度;所述置信度可以为暴恐属性的程度值,如“暴恐程度80%”等,或者,所述置信度也可以通过等级、数值等形式体现。

步骤204、根据所述识别结果确定所述待识别图像是否为暴恐图像,确定所述待识别图像为暴恐图像后,对所述待识别图像添加标签。

具体地,所述根据所述识别结果确定所述待识别图像是否为暴恐图像,包括:判断所述置信度是否超过预设阈值,确定所述置信度超过预设阈值时,确定所述待识别图像为暴恐图像。举例来说,所述预设阈值为暴恐程度70%,则上述置信度、即暴恐程度80%的待识别图像为暴恐图像。

具体地,所述标签可以包括以下至少一个:可见属性、人物属性、情感属性。所述可见属性主要是指图像中物体、数量等内容,所述情感属性主要是指图像中人物的表情、动作体现出的情感。所述可见属性,可以包括:标语、爆炸火灾、执法者、大于20人团体、大于100人团体、旗帜、枪支、军事武器、血腥、尸体等。所述情感属性,可以包括:高兴、难过、恐惧、愤怒、暴力程度等。所述人物属性,可以包括:人物性别、人物年龄等(例如:38-43岁、男等)。以上标签可以采用数值、等级或其他表现形式,较优的可以使用成对标注的方法通过bradley-terry模型给样本标记连续的情感强度分数。

具体来说,确定所述待识别图像为暴恐图像后,可以使用amazonmechanicalturk等众包平台分配任务对其添加标签,也可以采用其他算法、模型通过自动化或半自动化的方式添加标签。

以上所述的利用工具进行半自动化的标注方法,具体可以采用目标检测标注(labelimg)工具,所述labelimg工具可以在同一张图片中标注多个同类目标,并且其标注完成后能够生成对应的txt文件,不需要借助其他工具就能转化成相应的xml文件。如图6所示,为一种利用labelimg工具的图像框定工具进行标定的示意图。在标定某一区域后对其添加标签。

或者,可以利用已经训练好的模型来进行自动化打分的方法,使用已训练好的可见属性的模型(即图1方法中所述的第二图像识别模型)、人物识别模型、情感识别模型,依次对待识别图像进行识别。如图7所示,为利用情感识别模型识别情感类型并显示的效果示意图。

以下针对人物识别模型的构建和基于人物识别模型识别人物属性为实施例,进行说明。

所述对所述待识别图像添加标签,包括:

判断所述待识别图像中是否包含人脸,确定所述待识别图像中包含人脸,提取所述待识别图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述待识别图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;将确定的所述人物属性添加为标签。

具体来说,所述提取待识别图像中的人脸图像,包括:标定待识别图像中的人脸,提取人脸图像。这里,具体可以通过以下方法来提取人脸图像:通过多任务级联卷积神经网络(mtcnn,multi-taskcascadedconvolutionalnetworks)识别图片中的人脸,具体可以标定人五官的位置、脸的边界等,所述标定的方式可以是代表五官位置的点、连接脸边缘的线、或者脸所在的面等;根据上述标定从图片中分割出人脸的部分,提取人脸图像。

所述mtcnn是一种级联的卷积神经网络框架,通过多任务学习的方式将人脸检测和特征点定位两个任务集成在一起。其网络结构主要包含三个阶段,每个阶段都由一个卷积神经网络(cnn,convolutionalneuralnetwork)构成。首先,在第一个阶段通过一个浅层的卷积神经网络(p-net,proposalnetwork)快速生成大量候选窗口;其次,在第二阶段,通过使用一个相对较复杂的卷积神经网络(r-net,refinenetwork)排除大量非人脸窗口来优化候选窗口;最后,在第三阶段,使用一个更加复杂的卷积神经网络(o-net,outputnetwork)再次优化输出窗口,同时输出五个人脸特征点的坐标。

以图8的输入图像为例,该算法首先将输入图像的尺寸调整为不同大小,从而构建其图像金字塔(imagepyramid),得到的图像金字塔将作为mtcnn三个级联网络结构的输入图像。

所述根据预设的人物识别模型识别所述人脸图像之前,所述方法还包括:生成人物识别模型。具体来说,所述人物识别模型,包括:利用现有的人脸数据库、如adience数据库以及改进的alexnet结构,通过训练获得人物识别模型。所述人物识别模型可以根据人脸图像识别出年龄、性别等人物属性。

所述adience数据库包含2284个人,26580张图片;标签为8个年龄组(包括:0-2,4-6,8-13,15-20,25-32,38-43,45-53,60-)以及性别属性(包括:male,female)。将adience数据库中的图片输入到改进的alexnet结构中对年龄和性别等属性分别进行训练,即可得到合适的用于识别年龄、性别等的模型,即所述人物识别模型。

对所述alexnet结构的改进主要包括以下至少一个:

(1)、更浅且网络没有多个卷基层和激活层(relu)的堆叠;

(2)、全连接层中节点较少;

(3)、使用批量归一化(bn)而不使用局部响应归一化(lrn);

(4)、引入少量dropout。

将人脸图像大小调整为227×227后输入alexnet结构,网络具体结构如图9所示。其中,dropout层指的是在网络的训练过程中,随机忽略一部分的神经元,让其不工作,该方法一方面可以加速运算,另一方面降低了模型过拟合的风险。p=0.25即随机忽略25%的神经元。

步骤205、建立暴恐图像数据库。

这里,所述暴恐数据库包括上述样本图像以及与其对应的标签,对于任一样本图像的标签可以包括以下至少一个:暴恐属性(即正标签或负标签)、可见属性、情感属性、人物属性。

运用以上所述的步骤201-步骤205的方法,可以生成暴恐模型,通过暴恐模型对任一图像的暴恐属性进行判断,自动添加暴恐属性对应的标签,还能够针对图像中特殊的物体、人数、人物情感、人物属性等特征,添加特殊的标签(即可见属性、情感属性、人物属性)。建立的暴恐图像数据库能够收集暴恐图像,并存储暴恐图像对应的标签,以便搜索特定类型的暴恐图像并迅速获得图像中的相关信息(如包含的人数、包含的暴恐特征等)。

图10为本发明实施例提供的一种图像库建立装置的结构示意图;如图10所示,所述装置包括:第一处理模块301、第二处理模块302和第三处理模块303。

所述第一处理模块301,用于获得第一图像.

所述第二处理模块302,用于基于预设的第一图像识别模型识别所述第一处理模块获取的所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度。

所述第三处理模块303,用于根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

具体地,所述装置还包括:第一预处理模块,用于生成所述第一图像识别模型。

所述第一预处理模块,具体用于获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签;所述第一标签表征所述样本图像是否为目标类图像;

根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

具体地,所述装置还包括:第四处理模块,用于将所述识别结果作为第一标签,与所述第一图像对应保存在所述图像库。

具体地,所述第四处理模块,还用于确定所述第一图像的第二标签,将确定的第二标签与所述第一图像对应保存在所述图像库。

所述第四处理模块,具体用于采用以下至少一种方法,确定所述第一图像的第二标签:

根据预设的第二图像识别模型识别所述第一图像,确定所述第一图像的图像特征;根据所述图像特征确定所述第一图像包含的至少一个目标对象,基于所述至少一个目标对象确定所述第一图像的第二标签;

提取所述第一图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述第一图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;

根据预设的情感识别模型识别所述第一图像,确定所述第一图像的情感特征;根据所述情感特征确定所述第一图像表现的至少一种情感类型,基于所述至少一种情感类型确定所述第一图像的第二标签。

需要说明的是:上述实施例提供的图像库建立装置在进行图像库建立时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的图像库建立装置与图像库建立方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图11为本发明实施例提供的另一种图像库建立装置的结构示意图;所述图像库建立装置可以应用于服务器;如图11所示,所述装置40包括:处理器401和用于存储能够在所述处理器上运行的计算机程序的存储器402;其中,所述处理器401用于运行所述计算机程序时,执行:获得第一图像;基于预设的第一图像识别模型识别所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度;根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

在一实施例中,所述处理器401还用于运行所述计算机程序时,执行:生成所述第一图像识别模型;所述生成第一图像识别模型,包括:获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签;所述第一标签表征所述样本图像是否为目标类图像;根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

在一实施例中,所述处理器401还用于运行所述计算机程序时,执行:将所述识别结果作为第一标签,与所述第一图像对应保存在所述图像库。

在一实施例中,所述处理器401还用于运行所述计算机程序时,执行:确定所述第一图像的第二标签,将确定的第二标签与所述第一图像对应保存在所述图像库;其中,采用以下至少一种方法,确定所述第一图像的第二标签:根据预设的第二图像识别模型识别所述第一图像,确定所述第一图像的图像特征;根据所述图像特征确定所述第一图像包含的至少一个目标对象,基于所述至少一个目标对象确定所述第一图像的第二标签;提取所述第一图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述第一图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;根据预设的情感识别模型识别所述第一图像,确定所述第一图像的情感特征;根据所述情感特征确定所述第一图像表现的至少一种情感类型,基于所述至少一种情感类型确定所述第一图像的第二标签。

在一实施例中,所述处理器401还用于运行所述计算机程序时,执行:生成所述人物识别模型;所述生成人物识别模型,包括:获取至少一个人物图像;所述至少一个人物图像中的每个人物图像对应有人物属性,所述人物属性包括以下至少一个:人物年龄、人物性别;根据所述至少一个人物图像和每个人物图像对应的人物属性进行基于神经网络的学习训练,获得所述人物识别模型。

需要说明的是:上述实施例提供的图像库建立装置与图像库建立方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

实际应用时,所述装置40还可以包括:至少一个网络接口403。图像库建立装置40中的各个组件通过总线系统404耦合在一起。可理解,总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图11中将各种总线都标为总线系统404。其中,所述处理器404的个数可以为至少一个。网络接口403用于图像库建立装置40与其他设备之间有线或无线方式的通信。

本发明实施例中的存储器402用于存储各种类型的数据以支持图像库建立装置40的操作。

上述本发明实施例揭示的方法可以应用于处理器401中,或者由处理器401实现。处理器401可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(dsp,digitalsignalprocessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器401可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器402,处理器401读取存储器402中的信息,结合其硬件完成前述方法的步骤。

在示例性实施例中,图像库建立装置40可以被一个或多个应用专用集成电路(asic,applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld,programmablelogicdevice)、复杂可编程逻辑器件(cpld,complexprogrammablelogicdevice)、现场可编程门阵列(fpga,field-programmablegatearray)、通用处理器、控制器、微控制器(mcu,microcontrollerunit)、微处理器(microprocessor)、或其他电子元件实现,用于执行前述方法。

本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行:获得第一图像;基于预设的第一图像识别模型识别所述第一图像,获得识别结果;所述识别结果表征所述第一图像属于目标类图像的置信度;根据所述识别结果确定所述第一图像属于目标类图像时,将所述第一图像保存在所述图像库。

在一实施例中,所述计算机程序被处理器运行时,执行:生成所述第一图像识别模型;所述生成第一图像识别模型,包括:获取预设数量的样本图像;所述预设数量的样本图像中每个样本图像对应有第一标签;所述第一标签表征所述样本图像是否为目标类图像;根据所述预设数量的样本图像以及每个样本图像对应的第一标签进行基于卷积神经网络的学习训练,获得所述第一图像识别模型。

在一实施例中,所述计算机程序被处理器运行时,执行:将所述识别结果作为第一标签,与所述第一图像对应保存在所述图像库。

在一实施例中,所述计算机程序被处理器运行时,执行:确定所述第一图像的第二标签,将确定的第二标签与所述第一图像对应保存在所述图像库;其中,采用以下至少一种方法,确定所述第一图像的第二标签:根据预设的第二图像识别模型识别所述第一图像,确定所述第一图像的图像特征;根据所述图像特征确定所述第一图像包含的至少一个目标对象,基于所述至少一个目标对象确定所述第一图像的第二标签;提取所述第一图像中的人脸图像,根据预设的人物识别模型识别所述人脸图像,确定所述人脸图像对应的人物属性,基于所述人物属性确定所述第一图像的第二标签;所述人物属性,包括以下至少一个:人物年龄、人物性别;根据预设的情感识别模型识别所述第一图像,确定所述第一图像的情感特征;根据所述情感特征确定所述第一图像表现的至少一种情感类型,基于所述至少一种情感类型确定所述第一图像的第二标签。

在一实施例中,所述计算机程序被处理器运行时,执行:生成所述人物识别模型;所述生成人物识别模型,包括:获取至少一个人物图像;所述至少一个人物图像中的每个人物图像对应有人物属性,所述人物属性包括以下至少一个:人物年龄、人物性别;根据所述至少一个人物图像和每个人物图像对应的人物属性进行基于神经网络的学习训练,获得所述人物识别模型。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1