人像处理方法和装置、电子设备、计算机可读存储介质与流程

文档序号:16584238发布日期:2019-01-14 18:15阅读:162来源:国知局
人像处理方法和装置、电子设备、计算机可读存储介质与流程

本申请涉及影像领域,特别是涉及一种人像处理方法、装置、电子设备、计算机可读存储介质。



背景技术:

随着电子设备的普及,越来越多的用户通过电子设备的摄像头拍摄周围的场景,并将自己融入周围环境进行拍摄,记录美好的瞬间。通常的拍摄模式是将人像的身材信息与周围环境一起记录在图像中。



技术实现要素:

本申请实施例提供一种人像处理方法、装置、电子设备、计算机可读存储介质,可以达到美化人像身材的效果,提高用户粘度。

一种人像处理方法,包括:

获取待处理图像中人像的身材数据;

根据所述身材数据从数据库中获取对应的参考身材比例,所述数据库用于存储身材数据与参考身材比例的对应关系;

根据所述参考身材比例调整所述人像的身材数据。

一种人像处理装置,包括:

获取模块,用于获取待处理图像中人像的身材数据;

查找模块,用于根据所述身材数据从数据库中获取对应的参考身材比例,所述数据库用于存储身材数据与参考身材比例的对应关系;

调整模块,用于根据所述参考身材比例调整所述人像的身材数据。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的方法的步骤。

上述人像处理方法、装置、电子设备、计算机可读存储介质,获取到待处理图像中人像的身材数据后,根据身材数据查找到对应的参考身材比例,根据参考身材比例调整人像的身材数据,美化了人像的身材,满足了用户的美体需求,可以增加用户使用电子设备的拍摄功能的频次,提高了用户粘度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中人像处理方法的应用环境示意图。

图2为一个实施例中人像处理方法的流程图。

图3为另一个实施例中人像处理方法的流程图。

图4为一个实施例中美体拍摄模式的示意图。

图5为另一个实施例中人像处理方法的流程图。

图6为一个实施例中tof计算深度信息的原理图。

图7为一个实施例中实现人像处理方法的软件框架图。

图8为一个实施例中人像处理装置的结构框图。

图9为一个实施例中电子设备的内部结构示意图。

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

图1为一个实施例中人像处理方法的应用环境示意图。如图1所示,该应用环境包括电子设备110。电子设备110可以在拍摄图像时,获取待处理图像中人像的身材数据,根据身材数据从数据库中获取对应的参考身材比例,根据参考身材比例调整该人像的身材数据,实现人体的美化,提高用户的粘度。其中,电子设备110可为智能手机、平板电脑、个人数字助理、穿戴式设备等。

图2为一个实施例中人像处理方法的流程图。本实施例中的人像处理方法,以运行于图1中的电子设备上为例进行描述。如图2所示,该人像处理方法包括步骤202至步骤206。

步骤202,获取待处理图像中人像的身材数据。

具体地,待处理图像可为电子设备的摄像头处于预览状态时采集的图像,也可为电子设备的摄像头拍摄的存储在相册中的图像,或者为从网络相册上下载的图像,或者为视频中的每一帧图像。待处理图像带有深度数据。深度数据是指被拍摄对象与摄像头之间的距离。

摄像头可包括前置摄像头、后置摄像头等。前置摄像头和后置摄像头均可包括第一摄像头和第二摄像头。第一摄像头可采集深度图像。第二摄像头可采集二维图像数据。第一摄像头可为激光摄像头,第二摄像头可为可见光摄像头。激光摄像头可采集深度图像。可见光摄像头可采集rgb(red、green、blue)图像。第一摄像头和第二摄像头可为伸缩摄像头或旋转摄像头等。

电子设备获取到待处理图像后,识别出待处理图像中的人像,并检测到人像中各个像素点之间的距离信息,根据该距离信息可以计算得到人像的身材数据。人像的身材数据可包括腰围、胸围、腿部线条、脸型、躯干线条等。根据腿部线条可以获取腿部的长度。根据躯干线条可以获取躯干的长度。根据腿部的长度、躯干的长度和脸型的长度等可以计算得到三部分的比例。

步骤204,根据该身材数据从数据库中获取对应的参考身材比例,该数据库用于存储身材数据与参考身材比例的对应关系。

其中,数据库是根据美体数据构建的。数据库存储有身材数据与参考身材比例的对应关系。数据库可定期进行更新,添加新的身材数据与参考身材比例的对应关系。

电子设备上的数据库可定期从服务器上的数据库拉取数据进行同步更新。当电子设备检测到摄像头开启或摄像头关闭时,进行数据库的更新。

步骤206,根据该参考身材比例调整该人像的身材数据。

其中,参考身材比例可为一个或多个。当参考身材比例为一个时,直接根据参考身材比例调整人像的身材数据。当参考身材比例为多个时,可将多个参考身材比例进行展示,接收到用户选择的参考身材比例,根据选择的参考身材比例调整人像的身材数据。

上述人像处理方法,获取到待处理图像中人像的身材数据后,根据身材数据查找到对应的参考身材比例,根据参考身材比例调整人像的身材数据,美化了人像的身材,满足了用户的美体需求,可以增加用户使用电子设备的拍摄功能的频次,提高了用户粘度。

在一个实施例中,该获取待处理图像中人像的身材数据,包括:采用三维分割神经网络模型获取待处理图像中人像的身材数据,该三维分割神经网络模型是级联神经网络模型,该级联神经网络模型的第一部分用于处理三维图像数据中的深度数据,该级联神经网络模型的第二部分用于处理三维图像数据中的二维图像数据。

三维分割神经网络模型可以输入三维物体数据,将采集的三维物体数据输入到三维分割神经网络模型中,可以分割出三维物体数据中的人像,并获取该人像的身材数据。三维分割神经网络模型是一个级联神经网络模型。该级联神经网络模型包括第一部分和与第一部分连接的第二部分。第一部分用于处理三维图像数据中的深度数据,第二部分用于处理三维图像数据中的二维图像数据。

在一个实施例中,该采用三维分割神经网络模型获取待处理图像中人像的身材数据,包括:采用三维分割神经网络模型识别出待处理图像中人像;结合电子设备的摄像头内参和外参求取该待处理图像中人像的像素点之间的距离信息,根据该距离信息确定该人像的身材数据。

其中,电子设备的摄像头内参包括fx、fy、cx、cy,其中,fx表示焦距在图像坐标系x轴方向上单位像元大小,fy表示焦距在图像坐标系y轴方向上单位像元大小,cx、cy表示图像平面的主点坐标,主点是光轴与图像平面的交点。fx=f/dx,fy=f/dy,其中,f为摄像头的焦距,dx表示图像坐标系x轴方向上一个像素的宽度,dy表示图像坐标系y轴方向上一个像素的宽度。图像坐标系是以摄像头拍摄的二维图像为基准建立的坐标系,用于指定物体在拍摄图像中的位置。图像坐标系中的(x,y)坐标系的原点位于摄像头光轴与成像平面的焦点(cx,cy)上,单位为长度单位,即米,像素坐标系中的(u,v)坐标系的原点在图像的左上角,单位为数量单位,即个。(x,y)用于表征物体从摄像头坐标系向图像坐标系的透视投影关系,(u,v)用于表征像素坐标。(x,y)与(u,v)之间的转换关系如公式(1):

透视投影是指用中心投影法将形体投射到投影面上,从而获得的一种较为接近视觉效果的单面投影图。

摄像头的外参包括世界坐标系下的坐标转换到摄像头坐标系下的坐标的旋转矩阵和平移矩阵。世界坐标系通过刚体变换到达摄像头坐标系,摄像头坐标系通过透视投影变换到达图像坐标系。刚体变换是指三维空间中,当物体不发生形变时,对一个几何物体做旋转、平移的运动,即为刚体变换。刚体变换如公式(2)

xc=rx+t,

其中,xc代表摄像头坐标系,x代表世界坐标系,r代表世界坐标系到摄像头坐标系的旋转矩阵,t代表世界坐标系到摄像头坐标系的平移矩阵。世界坐标系原点和摄像头坐标系原点之间的距离受x、y、z三个轴方向上的分量共同控制,具有三个自由度,r为分别绕x、y、z轴旋转的效果之和。tx表示x轴方向的平移量,ty表示y轴方向的平移量,tz表示z轴方向的平移量。

世界坐标系是客观三维空间的绝对坐标系,可以建立在任意位置。例如对于每张标定图像,世界坐标系可以建立在以标定板的左上角角点为原点,以标定板平面为xy平面,z轴垂直标定板平面向上。摄像头坐标系是以摄像头光心为坐标系的原点,以摄像头的光轴作为z轴,x轴、y轴分别平行于图像坐标系的x轴y轴。图像坐标系的主点是光轴与图像平面的交点。图像坐标系以主点为原点。像素坐标系是指原点定义在图像平面的左上角位置。

通过三维分割神经网络模型可以精确的识别出待处理图像中的人像的区域,根据待处理图像中各像素点的深度数据,结合电子设备的摄像头内参和外参可以计算得到待处理图像中任意两个像素点之间的距离信息,然后根据距离信息可以确定人像的身材数据。

本实施例中根据三维分割神经网络模型可以精确的识别出待处理图像中人像的位置,则确定得到的人像的身材数据准确性高。

在一个实施例中,该三维分割神经网络模型的生成方式包括:获取距离电子设备的摄像头在预设范围内的三维图像训练数据,该三维图像训练数据包括带有人像区域标记的二维图像数据及该人像区域的深度数据;将三维图像训练数据输入到初始化的级联神经网络模型中进行训练,得到三维分割神经网络模型。

具体地,首先收集大量的距离电子设备的摄像头在预设范围内的三维图像数据。三维图像数据包括二维图像数据和深度数据。对二维图像数据中人像区域进行标记,得到带有人像区域标记的二维图像数据。将带有人像区域标记的二维图像数据及对应的深度数据合成的三维图像数据作为三维图像训练数据。

对二维图像数据中人像区域进行标记可采用第一颜色标记二维图像数据中的人像区域,采用第二颜色标记二维图像数据中的背景区域。第一颜色和第二颜色不同。也可采用第一颜色标记二维图像数据中的人像区域。

通过颜色标记区分人像区域和背景区域,方便进行训练。

将三维图像训练数据作为样本进行模型训练包括:将三维图像训练数据中的深度数据和二维图像数据转化为预设格式的数据;将预设格式的数据输入到初始化的级联神经网络模型中进行训练,得到三维分割神经网络模型。

预设格式可为tensorflow框架支持的格式。初始化级联神经网络模型是指对级联神经网络模型的权重进行赋值。

可采用高斯函数初始化级联神经网络模型的权重。给定高斯函数的均值与标准差,然后生成高斯分布。例如高斯函数的均值为0,方差为1,然后生成高斯分布,将级联神经网络模型的权重按照高斯分布赋值。

可采用positive_unitball初始化级联神经网络模型的权重,将级联神经网络模型每一个神经元的输入权重赋值在(0,1)之间的值,且均匀分布。

在一个实施例中,该获取距离电子设备的摄像头在预设范围内的三维图像训练数据,包括:通过飞行时间获取距离电子设备的摄像头在预设范围内的人像区域的深度数据,通过该摄像头采集对应的二维图像数据,将该深度数据和二维图像数据合成为三维图像训练数据。

飞行时间(timeofflight,简称tof)可以测量距离。tof传感器发出景调制的近红外光,遇到物体后反射,传感器通过计算光线发射和反射时间差或相位差,来计算被拍摄物体的距离,以产生深度数据。

图3为另一个实施例中人像处理方法的流程图。如图3所示,该人像处理方法包括步骤302至步骤310。

步骤302,接收对美体拍摄模式的触发指令。

具体地,在电子设备的摄像头拍摄模式中配置有美体拍摄模式,摄像头启动后,在摄像头预览界面显示有多种拍摄模式的控件,接收到对美体拍摄模式的控件的触发指令。电子设备的摄像头可包括前置摄像头、后置摄像头等。前置摄像头和后置摄像头均可包括第一摄像头和第二摄像头。第一摄像头可采集深度图像。第二摄像头可采集二维图像数据。第一摄像头可为激光摄像头,第二摄像头可为可见光摄像头。激光摄像头可采集深度图像。可见光摄像头可采集rgb图像。第一摄像头和第二摄像头可为伸缩摄像头或旋转摄像头等。

步骤304,将电子设备摄像头的拍摄模式切换到美体拍摄模式。

具体地,电子设备可根据该触发指令可将摄像头的拍摄模式切换到美体拍摄模式。美体拍摄模式是指调用三维分割神经网络模型识别图像中人像的身材数据,对身材数据进行调整的一种拍摄模式。

步骤306,获取待处理图像中人像的身材数据。

具体地,电子设备获取到待处理图像后,识别出待处理图像中的人像,并检测到人像中各个像素点之间的距离信息,根据该距离信息可以计算得到人像的身材数据。人像的身材数据可包括腰围、胸围、腿部线条、脸型、躯干线条等。根据腿部线条可以获取腿部的长度。根据躯干线条可以获取躯干的长度。根据腿部的长度、躯干的长度和脸型的长度等可以计算得到三部分的比例。待处理图像可为摄像头的预览图像。

步骤308,根据该身材数据从数据库中获取对应的参考身材比例,该数据库用于存储身材数据与参考身材比例的对应关系。

步骤310,根据该参考身材比例调整该人像的身材数据。

其中,参考身材比例可为一个或多个。当参考身材比例为一个时,直接根据参考身材比例调整人像的身材数据。当参考身材比例为多个时,可将多个参考身材比例进行展示,接收到用户选择的参考身材比例,根据选择的参考身材比例调整人像的身材数据。

本申请实施例中人像处理方法,根据触发指令切换到美体拍摄模式,获取摄像头采集的预览图像,获取预览图像中的人像的身材数据,根据身材数据查找到对应的参考身材比例,根据参考身材比例调整人像的身材数据,方便在拍摄预览时及时展示调整后的人像的身材数据,美化了人像,满足用户的美体需求,可以增加用户使用电子设备的拍摄功能的频次,提高了用户粘度。

图4为一个实施例中美体拍摄模式的示意图。如图4所示,在摄像头拍摄界面提供了多种拍摄模式供用户选择,拍摄模式包括人像模式、全景模式、照片模式、美体拍摄模式等。当用户选择美体拍摄模式402时,调用三维分割神经网络模型对预览图像中的人像进行分割,得到人像404的身材数据,根据身材数据查找到对应的参考身材比例,根据参考身材比例调整人像404的身材数据,并将调整后的人像404的身材数据在预览图像中展示。

图5为另一个实施例中人像处理方法的流程图。如图5所示,该人像处理方法包括步骤502至步骤508。

步骤502,当检测到应用程序调用电子设备的摄像头,且该应用程序为预设应用程序时,将电子设备摄像头的拍摄模式切换到美体拍摄模式。

具体地,在电子设备的摄像头拍摄模式中配置有美体拍摄模式。应用程序调用电子设备的摄像头时,当该应用程序为预设应用程序,则将电子设备的摄像头的拍摄模式切换为美体拍摄模式。预设应用程序可包括视频直播应用程序、视频录制应用程序、具有视频通话功能的应用程序等。

美体拍摄模式是指调用三维分割神经网络模型识别图像中人像的身材数据,对身材数据进行调整的一种拍摄模式。

步骤504,获取待处理图像中人像的身材数据。

具体地,电子设备获取到待处理图像后,识别出待处理图像中的人像,并检测到人像中各个像素点之间的距离信息,根据该距离信息可以计算得到人像的身材数据。人像的身材数据可包括腰围、胸围、腿部线条、脸型、躯干线条等。根据腿部线条可以获取腿部的长度。根据躯干线条可以获取躯干的长度。根据腿部的长度、躯干的长度和脸型的长度等可以计算得到三部分的比例。待处理图像可为摄像头的预览图像。

步骤506,根据该身材数据从数据库中获取对应的参考身材比例,该数据库用于存储身材数据与参考身材比例的对应关系。

步骤508,根据该参考身材比例调整该人像的身材数据。

其中,参考身材比例可为一个或多个。当参考身材比例为一个时,直接根据参考身材比例调整人像的身材数据。当参考身材比例为多个时,可将多个参考身材比例进行展示,接收到用户选择的参考身材比例,根据选择的参考身材比例调整人像的身材数据。

本申请实施例中人像处理方法,检测到预设应用程序调用摄像头时,将摄像头的拍摄模式切换到美体拍摄模式,获取摄像头采集的图像,并获取图像中人像的身材数据,根据身材数据查找到对应的参考身材比例,根据参考身材比例调整人像的身材数据,方便在视频直播、视频录制等应用程序中展示调整后的人像的身材数据,美化了人像,满足用户的美体需求,可以增加用户使用电子设备的拍摄功能的频次,提高了用户粘度。

在一个实施例中,当待处理图像为生成的图像,则获取生成的图像,并获取该生成的图像中人像的身材数据,根据该身材数据从数据库中获取对应的参考身材比例,该数据库用于存储身材数据与参考身材比例的对应关系,根据该参考身材比例调整该人像的身材数据,并对该人像预设范围内除人像外的区域进行虚化处理。

通过对人像预设范围内除人像外的区域进行虚化处理,可以让对人像的身材数据进行调整后图像更加自然。

图6为一个实施例中tof计算深度数据的原理图。如图6所示,激光发射器可以发射一个激光波,发射的激光波经过物体反射之后会形成一个反射的激光波,根据发射的激光波和接收的激光波的相位差就可以计算得到物体的深度数据。激光摄像头实际采集图像时,可以控制不同快门在不同的时间进行开关,然后形成不同的接收信号,从而通过多个快门开关采集不同的图像来计算得到深度图像。在一个实施例中,假设激光摄像头是通过四个快门来控制接收激光波信号的,快门1、快门2、快门3、快门4接收到的激光波信号分别为q1、q2、q3、q4,则计算深度信息的公式如下:

其中,c为光速,f为激光波的发射频率。

利用tof计算深度数据的原理可以获取待处理图像中各像素点所对应的深度数据,进一步可得到人像的深度数据。

图7为一个实施例中实现人像处理方法的软件框架图。如图7所示,该软件框架中包括应用层70、硬件抽象层(hardwareabstractionlayer,hal)72、内核(kernel)层74和硬件(hardware)层76。其中,应用层70中包括应用程序702。硬件抽象层72中包括接口722、图像同步模块724、图像算法模块726以及应用算法模块728。内核层74中包括摄像头驱动742、摄像头标定模块744和摄像头同步图模块746。硬件层762中包括第一摄像头762、第二摄像头764和图像处理器(imagesignalprocessor,简称isp)766。

在一个实施例中,应用程序70可用于发起图像采集指令,然后将图像采集指令发送到接口722。接口722对图像采集指令解析之后,可以通过摄像头驱动742对摄像头的配置参数,然后将配置参数发送给图像处理器766,并通过图像处理器766控制第一摄像头762和第二摄像头764打开。第一摄像头762和第二摄像头764打开之后,可通过摄像头同步模块746控制第一摄像头762和第二摄像头764同步采集图像。第一摄像头762采集的第一图像和第二摄像头764采集的第二图像会发送给图像处理器766,然后通过图像处理器766将第一图像和第二图像发送给摄像头标定模块744。摄像头标定模块744会将第一图像和第二图像进行对齐处理,然后将对齐后的第一图像和第二图像发送到硬件抽象层72。硬件抽象层72中的图像同步模块724会根据采集第一图像的第一时刻与采集第二图像的第二时刻,判断第一图像和第二图像是否为同时获取的。若是,才会通过图像算法模块726根据第一图像计算得到第一目标图像,并根据第二图像计算得到第二目标图像。第一目标图像和第二目标图像会通过应用算法模块728进行打包等处理,然后将打包等处理后的第一目标图像和第二目标图像通过接口722发送给应用程序702,应用程序702获取到第一目标图像和第二目标图像后,可以根据第一目标图像和第二目标图像进行三维建模、美颜、增强现实(augmentedreality,ar)等处理。

应该理解的是,虽然图2、图4和图5中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例中人像处理装置的结构框图。如图8所示,该人像处理装置包括获取模块802、查找模块804和调整模块806。其中:

获取模块802用于获取待处理图像中人像的身材数据。

查找模块804用于根据该身材数据从数据库中获取对应的参考身材比例,该数据库用于存储身材数据与参考身材比例的对应关系。

调整模块806用于根据该参考身材比8例调整该人像的身材数据。

上述人像处理装置,获取到待处理图像中人像的身材数据后,根据身材数据查找到对应的参考身材比例,根据参考身材比例调整人像的身材数据,美化了人像的身材,满足了用户的美体需求,可以增加用户使用电子设备的拍摄功能的频次,提高了用户粘度。

在一个实施例中,获取模块802还用于采用三维分割神经网络模型获取待处理图像中人像的身材数据,所述三维分割神经网络模型是级联神经网络模型,所述级联神经网络模型的第一部分用于处理三维图像数据中的深度数据,所述级联神经网络模型的第二部分用于处理三维图像数据中的二维图像数据。

在一个实施例中,获取模块802还用于采用三维分割神经网络模型识别出待处理图像中人像;结合电子设备的摄像头内参和外参求取所述待处理图像中人像的像素点之间的距离信息,根据所述距离信息确定所述人像的身材数据。

上述人像处理装置还包括训练模块。该训练模块用于获取距离电子设备的摄像头在预设范围内的三维图像训练数据,所述三维图像训练数据包括带有人像区域标记的二维图像数据及所述人像区域的深度数据;将三维图像训练数据输入到初始化的级联神经网络模型中进行训练,得到三维分割神经网络模型。

训练模块还用于通过飞行时间获取距离电子设备的摄像头在预设范围内的人像区域的深度数据,通过所述摄像头采集对应的二维图像数据,将所述深度数据和二维图像数据合成为三维图像训练数据。

在一个实施例中,该人像处理装置还包括指令接收模块和模式切换模块。指令接收模块用于在所述获取待处理图像中人像的身材数据之前,接收对美体拍摄模式的触发指令。模式切换模块用于将电子设备摄像头的拍摄模式切换到美体拍摄模式。

在一个实施例中,模式切换模块还用于当检测到应用程序调用电子设备的摄像头,且所述应用程序为预设应用程序时,将电子设备摄像头的拍摄模式切换到美体拍摄模式。

上述人像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将人像处理装置按照需要划分为不同的模块,以完成上述人像处理装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种人像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的人像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示,图像处理电路包括第一isp处理器1030、第二isp处理器1040和控制逻辑器1050。第一摄像头1010包括一个或多个第一透镜1012和第一图像传感器1014。第一图像传感器1014可包括色彩滤镜阵列(如bayer滤镜),第一图像传感器1014可获取用第一图像传感器1014的每个成像像素捕捉的光强度和波长信息,并提供可由第一isp处理器1030处理的一组图像数据。第二摄像头1020包括一个或多个第二透镜1022和第二图像传感器1024。第二图像传感器1024可包括色彩滤镜阵列(如bayer滤镜),第二图像传感器1024可获取用第二图像传感器1024的每个成像像素捕捉的光强度和波长信息,并提供可由第二isp处理器1040处理的一组图像数据。

第一摄像头1010采集的第一图像传输给第一isp处理器1030进行处理,第一isp处理器1030处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050,控制逻辑器1050可根据统计数据确定第一摄像头1010的控制参数,从而第一摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一isp处理器1030进行处理后可存储至图像存储器1060中,第一isp处理器1030也可以读取图像存储器1060中存储的图像以对进行处理。另外,第一图像经过isp处理器1030进行处理后可直接发送至显示器1070进行显示,显示器1070也可以读取图像存储器1060中的图像以进行显示。

其中,第一isp处理器1030按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,第一isp处理器1030可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

图像存储器1060可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自第一图像传感器1014接口时,第一isp处理器1030可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1060,以便在被显示之前进行另外的处理。第一isp处理器1030从图像存储器1060接收处理数据,并对所述处理数据进行rgb和ycbcr颜色空间中的图像数据处理。第一isp处理器1030处理后的图像数据可输出给显示器1070,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,第一isp处理器1030的输出还可发送给图像存储器1060,且显示器1070可从图像存储器1060读取图像数据。在一个实施例中,图像存储器1060可被配置为实现一个或多个帧缓冲器。

第一isp处理器1030确定的统计数据可发送给控制逻辑器1050。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1012阴影校正等第一图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头1010的控制参数及第一isp处理器1030的控制参数。例如,第一摄像头1010的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及第一透镜1012阴影校正参数。

同样地,第二摄像头1020采集的第二图像传输给第二isp处理器1040进行处理,第二isp处理器1040处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050,控制逻辑器1050可根据统计数据确定第二摄像头1020的控制参数,从而第二摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二isp处理器1040进行处理后可存储至图像存储器1060中,第二isp处理器1040也可以读取图像存储器1060中存储的图像以对进行处理。另外,第二图像经过isp处理器1040进行处理后可直接发送至显示器1070进行显示,显示器1070也可以读取图像存储器1060中的图像以进行显示。第二摄像头1020和第二isp处理器1040也可以实现如第一摄像头1010和第一isp处理器1030所描述的处理过程。

以下为运用图10中图像处理技术实现人像处理方法的步骤:

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行人像处理方法的步骤。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行人像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1