本发明涉及数据处理领域,具体涉及一种图像检测方法、装置及存储介质。
背景技术:
目前,随着互联网技术的发展,直播平台越来越普及,用户可以直接通过摄像头在平台上进行直播,进行直播的用户被称为主播。直播的内容也越来越多样化。目前比较流行的直播类型有游戏直播、体育赛事直播、秀场直播、户外直播和电商直播等。为了使得直播能吸引更多的观看者,现有的直播平台还可以对摄像头采集的图像进行处理,比如对主播进行美颜,可以提升观众的观看体验。
其中,在打开美颜功能后,终端可以对当前画面中的人像进行处理,比如瘦腿、大眼、瘦脸、美白等等。然而在实际使用的过程中,申请人发现,直播产品中的“大眼”、“瘦脸”美颜效果是否能生效、是否能真正达到放大了主播眼部,缩小主播面部的功能,是一个测试中的难点,在没有对比的情况下仅凭肉眼来辨别准确率不高。
技术实现要素:
本发明实施例提供一种图像检测方法、装置及存储介质,旨在对初始图像和优化图像进行对比,自动检测出美颜处理效果,并提升图像检测的准确率。
为解决上述技术问题,本发明实施例提供以下技术方案:
一种图像检测方法,所述方法包括:
获取包含目标人物的初始图像和对所述初始图像进行优化处理后的优化图像;
分别提取所述初始图像和优化图像中目标人物的多个特征点;
根据所述多个特征点计算所述初始图像和优化图像的眼部特征值,以及所述初始图像和优化图像的面部特征值;
根据所述初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据所述初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
一种图像检测装置,包括:
获取单元,用于获取包含目标人物的初始图像和对所述初始图像进行优化处理后的优化图像;
提取单元,用于分别提取所述初始图像和优化图像中目标人物的多个特征点;
计算单元,用于根据所述多个特征点计算所述初始图像和优化图像的眼部特征值,以及所述初始图像和优化图像的面部特征值;
生成单元,用于根据所述初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据所述初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述图像检测方法中的步骤。
本申请提供的实施例可以获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像,分别提取初始图像和优化图像中目标人物的多个特征点,根据多个特征点计算初始图像和优化图像的眼部特征值,以及初始图像和优化图像的面部特征值,根据初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。本申请实施例可以对初始图像和优化图像进行对比,通过眼部特征值和面部特征值自动检测出美颜处理效果,并提升图像检测的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像检测方法的一种流程示意图;
图2是本发明实施例提供的图像检测方法的另一种流程示意图;
图3是本发明实施例提供的图像检测方法的一种场景示意图;
图4是本发明实施例提供的图像检测方法的第二种场景示意图;
图5是本发明实施例提供的图像检测方法的第三种场景示意图;
图6是本发明实施例提供的图像检测方法的第四种场景示意图;
图7是本发明实施例提供的图像检测方法的第五种场景示意图;
图8是本发明实施例提供的图像检测方法的第六种场景示意图;
图9是本发明实施例提供的图像检测方法的第七种场景示意图;
图10为本发明实施例提供的图像检测装置的结构示意图;
图11为本发明实施例提供的图像检测装置的另一种结构示意图;
图12是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供一种图像检测方法,该图像检测方法的执行主体可以是本发明实施例提供的图像检测装置,或者集成了该图像检测装置的服务器,其中该图像检测装置可以采用硬件或者软件的方式实现。该图像检测装置具体可以集成在平板电脑、电视、手机、笔记本电脑、台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中,提供一种图像检测方法,包括:
获取包含目标人物的初始图像和对所述初始图像进行优化处理后的优化图像;
分别提取所述初始图像和优化图像中目标人物的多个特征点;
根据所述多个特征点计算所述初始图像和优化图像的眼部特征值,以及所述初始图像和优化图像的面部特征值;
根据所述初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据所述初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
请参阅图1,图1是本发明实施例提供的图像检测方法的流程示意图。该图像检测方法包括:
在步骤101中,获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像。
在一实施例中,上述初始图像可以为终端打开摄像头对人物进行拍摄后得到的图像,比如终端接收用户的拍摄指令,然后根据拍摄指令打开摄像头对当前的场景进行拍摄,以得到初始图像。其中,上述摄像头可以为前置摄像头或后置摄像头,上述初始图像可以为终端通过单摄进行拍摄也可以为终端通过双摄或三摄等摄像头模组进行拍摄,本申请对此不作进一步限定。
进一步的,在对当前场景进行拍摄后还可以进一步检测当前图像当中是否包含目标人物,比如通过人脸识别技术判断当前场景当中是否存在人脸,若存在则确定该图像当中存在目标人物,并确定为初始图像。
在另一实施例中,上述初始图像还可以为终端当前播放视频当中截取的一帧包括目标人物的画面作为原始图像,比如,在主播进行直播的过程中,可以将开播后的摄像头视频内容替换为人像,之所以需要替换摄像头内容,是为了使得在自动化测试过程中采集到的视频固定包含人像。这里可以采用改动摄像头代码库文件,替换系统相机采集数据的方式,比固定在手机真实镜头前方放置持续播放主播视频的方式更为方便易行,并且可以轻松采集到某一帧画面中的原图作为初始图像。在其他实施例中,上述初始图像还可以为终端从网络上下载的包括目标人物的图像,或者接收其他终端发送的图像等等。
在一实施例中,上述优化处理包括对原始图像进行美颜处理,具体的,该美颜处理可以包括瘦脸、大眼、磨皮、美白、涂口红等等处理。进一步的,还可以根据用户设置的美颜等级来进行优化处理,比如一共有1-5这五个美颜等级可供用户选择,用户可以选择等级3控制终端对原始图像进行优化,然后终端根据等级3对应的美颜参数对原始图像进行美颜处理,以得到处理后优化图像。在其他实施例中,用户还可以具体设置每一项美颜功能的等级,比如用户设置瘦脸等级为2、大眼等级为1,磨皮等级为5、美白等级为4,涂口红等级为1,其中该涂口红等级可以分别对应多种口红色号,然后终端分别根据等级2对应的瘦脸参数对原始图像进行瘦脸处理,根据等级1对应的大眼参数对原始图像进行大眼处理,根据等级5对应的磨皮参数对原始图像进行磨皮处理,根据等级4对应的美白参数对原始图像进行美白处理,根据等级1对应的口红色号对原始图像进行涂口红处理,全部处理完成后即可得到原始图像对应的优化图像。
在一实施例中,在对原始图像进行优化处理之前,还可以对原始图像进行预处理,该预处理可以包括图像增强、平滑处理、降噪处理等等。比如,在得到原始图像之后,可以对图像中的信息有选择地加强和抑制,以改善图像的视觉效果,或将图像转变为更适合于机器处理的形式,以便于数据抽取或识别。例如一个图像增强系统可以通过高通滤波器来突出图像的轮廓线,从而使机器能够测量轮廓线的形状和周长。图像增强技术有多种方法,反差展宽、对数变换、密度分层和直方图均衡等都可用于改变图像灰调和突出细节。
在步骤102中,分别提取初始图像和优化图像中目标人物的多个特征点。
在一实施例中,可以先提取初始图像和优化图像中目标人物的人脸图像,具体可以通过人脸识别技术确定目标人物并进行提取。其中人脸识别是基于人的面部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行面部的一系列相关技术,通常也叫做人像识别、面部识别。另外,人脸识别可以采用基于haar特征的adaboost(adaptiveboosting,自适应增强)算法对原始图像中的人脸进行检测,或者采用其他算法对原始图像中的人脸进行检测,本实施例对此也不做限定。
进一步的,在提取出上述原始图像和优化图像中的人脸图像后,可以根据机器学习的方法对人脸图像进行特征点识别。在一实施例中,可以通过cnn(convolutionalneuralnetworks,卷积神经网络)来进行特征点识别,卷积神经网络是一种前馈神经网络,对图像处理和识别有较高的优势。卷积神经网络可以包括卷积层和全连接层,还可以包括池化层。其中,卷积层提取人脸图像中的图像特征;池化层用于对所提取的图像特征进行压缩并提取主要图像特征,简化计算的复杂程度;全连接层用于连接所有的图像特征,输出结果。人脸图像为需要进行特征点定位的图像。特征点为能够说明人脸特征的点,比如可以包括眼部特征点和面部特征点。
在其他实施例中,还可以先从人脸图像中识别出眼部轮廓,然后在眼部轮廓中提取眼部特征点,相应的,还可以从人脸图像中识别出面部轮廓,然后在面部轮廓中提取面部特征点。其中,上述眼部特征点和面部特征点均可以为多个,也即分别提取所述初始图像和优化图像中目标人物的多个特征点的步骤包括:
分别识别所述初始图像和优化图像中目标人物的眼部轮廓,并提取所述眼部轮廓当中的多个眼部特征点;
分别识别所述初始图像和优化图像中目标人物的面部轮廓,并提取所述面部轮廓当中的多个面部特征点。
举例来说,上述多个眼部特征点可以包括眼部上下四点、眼头点以及眼角点,上述多个面部特征点可以包括面部左右14点和鼻头点,也即分别获取原始图像以及优化图像中目标人物的多个眼部特征点和面部特征点。
在步骤103中,根据多个特征点计算初始图像和优化图像的眼部特征值,以及初始图像和优化图像的面部特征值。
在一实施例中,可以根据初始图像中的多个眼部特征点计算该初始图像的眼部特征值,根据初始图像中的多个面部特征点计算该初始图像的面部特征值,根据优化图像中的多个眼部特征点计算该优化图像的眼部特征值,根据优化图像中的多个面部特征点计算该优化图像的面部特征值。
举例来说,若初始图像中的多个眼部特征点包括眼部上下四点、眼头点以及眼角点,可以计算眼部上下四点之间的间距,然后计算眼距也即两个眼睛的眼头点之间的间距,在将眼部上下四点之间的间距除以眼距即可得到初始图像的眼部特征值。需要说明的是,在对原始图像进行美颜处理后,眼部上下四点之间的间距会发生较大变动,而眼距则变化不大,因此将眼部上下四点之间的间距除以眼距计算的初始图像的眼部特征值具有较高的准确性。在其他实施例中,由于眼头到眼角的距离在美颜处理前后的变化也不大,因此还可以分别计算眼部上下四点之间的间距以及眼头到眼角的距离,该眼头到眼角的距离可以取两只眼睛分别眼头到眼角的距离的平均值,然后在将眼部上下四点之间的间距除以眼头到眼角的距离可以得到初始图像的眼部特征值。同理,在对原始图像进行优化处理后的优化图像当中,按照上述计算方法计算可得优化图像的眼部特征值。
相应的,若初始图像中的多个面部特征点包括面部左右14点和鼻头点,可以计算面颊轮廓的面积,然后计算三角区的面积,其中上述面颊轮廓面积包括左侧面颊轮廓面积与右侧面颊轮廓面积之和,上述三角区的面积为鼻头点与两个眼头点所构成的三角区的面积,在将面颊轮廓的面积除以三角区的面积即可得到初始图像的面部特征值。需要说明的是,在对原始图像进行美颜处理后,面颊轮廓面积会发生较大变动,而三角区的面积则变化不大,因此将面颊轮廓的面积除以三角区的面积计算而来的初始图像的面部特征值具有较高的准确性。同理,在对原始图像进行优化处理后的优化图像当中,按照上述计算方法计算可得优化图像的面部特征值。
在步骤104中,根据初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
在一实施例中,由于上述对原始图像的优化处理包括大眼处理,因此可以根据初始图像的眼部特征值和优化图像的眼部特征值判断大眼效果是否生效。具体的,若初始图像的眼部特征值小于优化图像的眼部特征值,则表明大眼效果生效,也即可以生成大眼处理成功的眼部检测结果。若初始图像的眼部特征值不小于优化图像的眼部特征值,则表明大眼效果未生效,也即可以生成大眼处理失败的眼部检测结果。
相应的,上述对原始图像的优化处理包括瘦脸处理,因此可以根据初始图像的面部特征值和优化图像的面部特征值判断瘦脸效果是否生效。具体的,若初始图像的面部特征值大于优化图像的面部特征值,则表明瘦脸效果生效,也即可以生成瘦脸处理成功的面部检测结果。若初始图像的面部特征值不大于优化图像的面部特征值,则表明瘦脸效果未生效,也即可以生成瘦脸处理失败的面部检测结果。
在一实施例中,上述眼部检测结果除了可以表征是否大眼成功的信息外,还可以在大眼处理成功的同时表征大眼比例,具体的,若初始图像的眼部特征值小于优化图像的眼部特征值,还可以进一步根据初始图像的眼部特征值和优化图像的眼部特征值计算大眼比例,比如若初始图像的眼部特征值为100,优化图像的眼部特征值为120,则计算可知大眼处理成功,且大眼比例为20%。
相应的,上述面部检测结果除了可以表征是否瘦脸成功的信息外,还可以在瘦脸处理成功的同时表征瘦脸比例,具体的,若初始图像的面部特征值大于优化图像的面部特征值,还可以进一步根据初始图像的面部特征值和优化图像的面部特征值计算瘦脸比例,比如若初始图像的面部特征值为100,优化图像的面部特征值为75,则计算可知瘦脸处理成功,且瘦脸比例为25%。
由上可知,本申请实施例提供的图像检测方法可以获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像,分别提取初始图像和优化图像中目标人物的多个特征点,根据多个特征点计算初始图像和优化图像的眼部特征值,以及初始图像和优化图像的面部特征值,根据初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。本申请实施例可以对初始图像和优化图像进行对比,通过眼部特征值和面部特征值自动检测出美颜处理效果,并提升图像检测的准确率。
根据上一实施例中所描述的图像检测方法,以下将举例作进一步详细说明。
在本实施例中,将以该图像检测装置具体集成在终端中为例进行说明。
请参阅图2,图2为本发明实施例提供的图像检测方法的另一流程示意图。
该方法流程可以包括:
步骤201,获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像。
在一实施例中,上述初始图像可以为终端打开摄像头对人物进行拍摄后得到的图像,比如终端接收用户的拍摄指令,然后根据拍摄指令打开摄像头对当前的场景进行拍摄,以得到初始图像。其中,上述优化处理包括对原始图像进行美颜处理。该美颜处理可以包括瘦脸、大眼、磨皮、美白、涂口红等等处理。
步骤202,分别识别初始图像和优化图像中目标人物的多个眼部特征点和多个面部特征点。
在一实施例中,可以先提取初始图像和优化图像中目标人物的人脸图像,具体可以通过人脸识别技术确定目标人物并进行提取。进一步的,在提取出上述原始图像和优化图像中的人脸图像后,可以根据机器学习的方法对人脸图像进行特征点识别,以得到初始图像中目标人物的多个眼部特征点和多个面部特征点,以及优化图像中目标人物的多个眼部特征点和多个面部特征点。
在一实施例中,上述初始图像中目标人物的多个眼部特征点与优化图像中目标人物的多个眼部特征点相同,初始图像中目标人物的多个面部特征点与优化图像中目标人物的多个面部特征点也相同。举例来说,上述多个眼部特征点可以包括眼部上下四点、眼头点以及眼角点,上述多个面部特征点可以包括面部左右14点和鼻头点,也即分别获取原始图像以及优化图像中目标人物的多个眼部特征点和面部特征点。
步骤203,根据初始图像和优化图像的多个眼部特征点计算初始图像的第一眼部特征值、第二眼部特征值、第三眼部特征值和优化图像的第一眼部特征值、第二眼部特征值以及第三眼部特征值。
举例来说,若初始图像中的多个眼部特征点包括眼部上下四点、眼头点以及眼角点,可以计算眼部上下四点之间的间距,如图3所示,然后计算眼距也即两个眼睛的眼头点之间的间距,如图4所示,在将眼部上下四点之间的间距除以眼距即可得到初始图像的第一眼部特征值a1。接着可以继续计算眼部上下四点交叉线段之和,如图5所示,将眼部上下四点交叉线段之和除以眼距即可得到初始图像的第二眼部特征值b1。然会还可以继续计算眼部面积,如图6所示,将眼部面积除以眼距即可得到初始图像的第三眼部特征值c1。
相应的,根据上述的计算方法即可计算得到优化图像的第一眼部特征值a2、第二眼部特征值b2以及第三眼部特征值c2。
步骤204,根据初始图像和优化图像的多个眼部特征点和多个面部特征点计算初始图像的第一面部特征值、第二面部特征值、第三面部特征值和优化图像的第一面部特征值、第二面部特征值以及第三面部特征值。
举例来说,若初始图像中的多个面部特征点包括面部左右14点和鼻头点,可以计算面颊轮廓的面积,然后计算三角区的面积,其中上述面颊轮廓面积包括左侧面颊轮廓面积与右侧面颊轮廓面积之和,如图7所示,上述三角区的面积为鼻头点与两个眼头点所构成的三角区的面积,如图8所示,在将面颊轮廓的面积除以三角区的面积即可得到初始图像的第一面部特征值d1。接着可以继续计算整脸的面积,将整脸的面积除以三角区的面积即可得到初始图像的第二面部特征值e1。然后继续计算上述面颊中的14个标定点之间的线段之和,如图9所示,计算该14个标定点之间的线段之和除以三角区的面积即可得到初始图像的第三面部特征值f1。
相应的,根据上述的计算方法即可计算得到优化图像的第一面部特征值d2、第二面部特征值e2以及第三面部特征值f2。
步骤205,计算初始图像的第一眼部特征值与优化图像的第一眼部特征值的第一比值、初始图像的第二眼部特征值与优化图像的第二眼部特征值的第二比值以及初始图像的第三眼部特征值与优化图像的第三眼部特征值的第三比值。
步骤206,根据第一比值、第二比值以及第三比值生成眼部检测结果。
具体的,计算初始图像的第一眼部特征值a1与优化图像的第一眼部特征值a2的第一比值,初始图像的第二眼部特征值b1与优化图像的第二眼部特征值b2的第二比值,以及初始图像的第三眼部特征值c1与优化图像的第三眼部特征值c2的第三比值。
在一实施例中,由于上述对原始图像的优化处理包括大眼处理,因此可以根据第一比值、第二比值以及第三比值来判断大眼效果是否生效。比如,若所述第一比值、第二比值以及第三比值都小于一则表明大眼效果生效,也即可以生成大眼处理成功的眼部检测结果。
在一实施例中,还可以在当第一比值、第二比值以及第三比值中至少存在两个比值小于一的时候,就判定大眼效果生效。也即根据所述第一比值、第二比值以及第三比值生成眼部检测结果的步骤可以包括:
判断所述第一比值、第二比值以及第三比值当中是否至少存在两个比值小于一;
若存在,则生成眼部图像优化成功的第一眼部检测结果;
若不存在,则生成眼部图像优化失败的第二眼部检测结果。
在另一实施例中,还可以判断第一比值、第二比值以及第三比值的眼部平均比值是否小于一,若小于一,则判定大眼效果生效,若不小于一,则判定大眼效果未生效。也即根据所述第一比值、第二比值以及第三比值生成眼部检测结果的步骤还可以包括:
计算所述第一比值、第二比值以及第三比值的眼部平均比值,并根据所述眼部平均比值生成眼部检测结果。
步骤207,计算初始图像的第一面部特征值与优化图像的第一面部特征值的第四比值、初始图像的第二面部特征值与优化图像的第二面部特征值的第五比值以及初始图像的第三面部特征值与优化图像的第三面部特征值的第六比值。
步骤208,根据第四比值、第五比值以及第六比值生成面部检测结果。
具体的,计算初始图像的第一面部特征值d1与优化图像的第一面部特征值d2的第四比值、初始图像的第二面部特征值e1与优化图像的第二面部特征值e2的第五比值以及初始图像的第三面部特征值f1与优化图像的第三面部特征值f2的第六比值。
在一实施例中,由于上述对原始图像的优化处理包括瘦脸处理,因此可以根据第四比值、第五比值以及第六比值来判断瘦脸效果是否生效。比如,若所述第四比值、第五比值以及第六比值都大于一则表明瘦脸效果生效,也即可以生成瘦脸处理成功的面部检测结果。
在一实施例中,还可以在当第四比值、第五比值以及第六比值中至少存在两个比值大于一的时候,就判定瘦脸效果生效。也即根据所述第四比值、第五比值以及第六比值生成面部检测结果的步骤可以包括:
判断所述第四比值、第五比值以及第六比值当中是否至少存在两个比值大于一;
若存在,则生成面部图像优化成功的第一面部检测结果;
若不存在,则生成面部图像优化失败的第二面部检测结果。
在另一实施例中,还可以判断第四比值、第五比值以及第六比值的面部平均比值是否大于一,若大于一,则判定瘦脸效果生效,若不大于一,则判定瘦脸效果未生效。也即根据所述第四比值、第五比值以及第六比值生成面部检测结果的步骤还可以包括:
计算所述第四比值、第五比值以及第六比值的面部平均比值,并根据所述面部平均比值生成面部检测结果。
由上可知,本申请实施例提供的图像检测方法可以获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像,分别识别初始图像和优化图像中目标人物的多个眼部特征点和多个面部特征点,根据初始图像和优化图像的多个眼部特征点计算初始图像的第一眼部特征值、第二眼部特征值、第三眼部特征值和优化图像的第一眼部特征值、第二眼部特征值以及第三眼部特征值,根据初始图像和优化图像的多个眼部特征点和多个面部特征点计算初始图像的第一面部特征值、第二面部特征值、第三面部特征值和优化图像的第一面部特征值、第二面部特征值以及第三面部特征值,计算初始图像的第一眼部特征值与优化图像的第一眼部特征值的第一比值、初始图像的第二眼部特征值与优化图像的第二眼部特征值的第二比值以及初始图像的第三眼部特征值与优化图像的第三眼部特征值的第三比值,根据第一比值、第二比值以及第三比值生成眼部检测结果,计算初始图像的第一面部特征值与优化图像的第一面部特征值的第四比值、初始图像的第二面部特征值与优化图像的第二面部特征值的第五比值以及初始图像的第三面部特征值与优化图像的第三面部特征值的第六比值,根据第四比值、第五比值以及第六比值生成面部检测结果。本申请实施例可以对初始图像和优化图像进行对比,通过眼部特征值和面部特征值自动检测出美颜处理效果,并提升图像检测的准确率。
为便于更好的实施本发明实施例提供的图像检测方法,本发明实施例还提供一种基于上述图像检测方法的装置。其中名词的含义与上述图像检测方法中相同,具体实现细节可以参考方法实施例中的说明。
在本实施例中,将从图像检测装置的角度进行描述,该图像检测装置具体可以集成由多个终端组成的系统中,每一终端为在具备储存单元并安装有显示屏而具有视频播放功能的终端。
请参阅图10,图10为本发明实施例提供的图像检测装置的一种结构示意图。其中,上述图像检测装置可以包括:
获取单元301,用于获取包含目标人物的初始图像和对所述初始图像进行优化处理后的优化图像。
在一实施例中,上述初始图像可以为获取单元301打开终端的摄像头对人物进行拍摄后得到的图像,比如终端接收用户的拍摄指令,然后根据拍摄指令打开摄像头对当前的场景进行拍摄,以得到初始图像,在获取到初始图像后,对该初始图像进行优化处理以得到优化图像。在一实施例中,上述优化处理包括对原始图像进行美颜处理,具体的,该美颜处理可以包括瘦脸、大眼、磨皮、美白、涂口红等等处理。
提取单元302,用于分别提取所述初始图像和优化图像中目标人物的多个特征点。
在一实施例中,可以先提取初始图像和优化图像中目标人物的人脸图像,具体可以通过人脸识别技术确定目标人物并进行提取。进一步的,在提取出上述原始图像和优化图像中的人脸图像后,提取单元302可以根据机器学习的方法对人脸图像进行特征点识别,以得到初始图像和优化图像中目标人物的多个特征点。
其中,特征点为能够说明人脸特征的点,比如可以包括眼部特征点和面部特征点。
在其他实施例中,还可以先从人脸图像中识别出眼部轮廓,然后在眼部轮廓中提取眼部特征点,相应的,还可以从人脸图像中识别出面部轮廓,然后在面部轮廓中提取面部特征点,其中,上述眼部特征点和面部特征点均可以为多个。
计算单元303,用于根据所述多个特征点计算所述初始图像和优化图像的眼部特征值,以及所述初始图像和优化图像的面部特征值。
在一实施例中,计算单元303可以根据初始图像中的多个眼部特征点计算该初始图像的眼部特征值,根据初始图像中的多个面部特征点计算该初始图像的面部特征值,根据优化图像中的多个眼部特征点计算该优化图像的眼部特征值,根据优化图像中的多个面部特征点计算该优化图像的面部特征值。
生成单元304,用于根据所述初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据所述初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
在一实施例中,由于上述对原始图像的优化处理包括大眼处理,因此可以根据初始图像的眼部特征值和优化图像的眼部特征值判断大眼效果是否生效。具体的,若初始图像的眼部特征值小于优化图像的眼部特征值,则表明大眼效果生效,也即可以生成大眼处理成功的眼部检测结果。若初始图像的眼部特征值不小于优化图像的眼部特征值,则表明大眼效果未生效,也即可以生成大眼处理失败的眼部检测结果。
相应的,上述对原始图像的优化处理包括瘦脸处理,因此可以根据初始图像的面部特征值和优化图像的面部特征值判断瘦脸效果是否生效。具体的,若初始图像的面部特征值大于优化图像的面部特征值,则表明瘦脸效果生效,也即可以生成瘦脸处理成功的面部检测结果。若初始图像的面部特征值不大于优化图像的面部特征值,则表明瘦脸效果未生效,也即可以生成瘦脸处理失败的面部检测结果。
在一实施例中,如图11所示,所述提取单元302可以包括:
眼部特征提取单元3021,用于分别识别所述初始图像和优化图像中目标人物的眼部轮廓,并提取所述眼部轮廓当中的多个眼部特征点;
面部特征提取单元3022,用于分别识别所述初始图像和优化图像中目标人物的面部轮廓,并提取所述面部轮廓当中的多个面部特征点。
在一实施例中,所述计算单元303可以包括:
第一计算单元3031,用于根据所述初始图像的多个眼部特征点,计算所述初始图像中与眼部上下四点之间的间距相关的第一眼部特征值、与眼部上下四点交叉线段之和相关的第二眼部特征值以及与眼部面积相关的第三眼部特征值;
第二计算单元3032,用于根据所述优化图像的多个眼部特征点,计算所述优化图像中与眼部上下四点之间的间距相关的第一眼部特征值、与眼部上下四点交叉线段之和相关的第二眼部特征值以及与眼部面积相关的第三眼部特征值;
第三计算单元3033,用于根据所述初始图像的多个眼部特征点和多个面部特征点,计算所述初始图像中与面颊轮廓面积相关的第一面部特征值、与整脸的面积相关的第二面部特征值以及与面颊中的14个标定点之间的线段之和相关的第三面部特征值;
第四计算单元3034,用于根据所述优化图像的多个眼部特征点和多个面部特征点,计算所述优化图像中与面颊轮廓面积相关的第一面部特征值、与整脸的面积相关的第二面部特征值以及与面颊中的14个标定点之间的线段之和相关的第三面部特征值。
由上述可知,本发明实施例提供的图像检测装置可以获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像,分别提取初始图像和优化图像中目标人物的多个特征点,根据多个特征点计算初始图像和优化图像的眼部特征值,以及初始图像和优化图像的面部特征值,根据初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。本申请实施例可以对初始图像和优化图像进行对比,通过眼部特征值和面部特征值自动检测出美颜处理效果,并提升图像检测的准确率。
本发明实施例还提供一种终端,如图12所示,该终端可以包括射频(rf,radiofrequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(wifi,wirelessfidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图12中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
rf电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,rf电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim,subscriberidentitymodule)卡、收发信机、耦合器、低噪声放大器(lna,lownoiseamplifier)、双工器等。此外,rf电路601还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(gsm,globalsystemofmobilecommunication)、通用分组无线服务(gprs,generalpacketradioservice)、码分多址(cdma,codedivisionmultipleaccess)、宽带码分多址(wcdma,widebandcodedivisionmultipleaccess)、长期演进(lte,longtermevolution)、电子邮件、短消息服务(sms,shortmessagingservice)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及信息处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(lcd,liquidcrystaldisplay)、有机发光二极管(oled,organiclight-emittingdiode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图12中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路606、扬声器,传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经rf电路601以发送给比如另一终端,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与终端的通信。
wifi属于短距离无线传输技术,终端通过wifi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图12示出了wifi模块607,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能:
获取包含目标人物的初始图像和对所述初始图像进行优化处理后的优化图像;
分别提取所述初始图像和优化图像中目标人物的多个特征点;
根据所述多个特征点计算所述初始图像和优化图像的眼部特征值,以及所述初始图像和优化图像的面部特征值;
根据所述初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据所述初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像检测方法的详细描述,此处不再赘述。
由上可知,本发明实施例的终端可以获取包含目标人物的初始图像和对初始图像进行优化处理后的优化图像,分别提取初始图像和优化图像中目标人物的多个特征点,根据多个特征点计算初始图像和优化图像的眼部特征值,以及初始图像和优化图像的面部特征值,根据初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。本申请实施例可以对初始图像和优化图像进行对比,通过眼部特征值和面部特征值自动检测出美颜处理效果,并提升图像检测的准确率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像检测方法中的步骤。例如,该指令可以执行如下步骤:
获取包含目标人物的初始图像和对所述初始图像进行优化处理后的优化图像;
分别提取所述初始图像和优化图像中目标人物的多个特征点;
根据所述多个特征点计算所述初始图像和优化图像的眼部特征值,以及所述初始图像和优化图像的面部特征值;
根据所述初始图像的眼部特征值和优化图像的眼部特征值生成眼部检测结果,根据所述初始图像的面部特征值和优化图像的面部特征值生成面部检测结果。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像检测方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的图像检测方法、装置、存储介质以及终端进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。