设备成像方法、装置、存储介质及电子设备与流程

文档序号:18524453发布日期:2019-08-24 10:06阅读:126来源:国知局
设备成像方法、装置、存储介质及电子设备与流程

本申请涉及图像处理技术领域,具体涉及一种设备成像方法、装置、存储介质及电子设备。



背景技术:

目前,用户通常利用具有摄像头的电子设备拍摄图像,能够通过这些电子设备随时随地的记录身边发生的事情,看到的景物等。然而,由于摄像头本身的硬件缺陷,使得其拍摄的图像往往中间区域比较清晰,而边缘区域则相对模糊,导致整张成像图像的质量较差。



技术实现要素:

本申请实施例提供了一种设备成像方法、装置、存储介质及电子设备,能够提高电子设备拍摄得到的整张成像图像的质量。

第一方面,本申请实施例提供了一种设备成像方法,应用于电子设备,所述电子设备包括第一类型的第一摄像头和多个第二类型的第二摄像头,所述第二摄像头的拍摄区域与所述第一摄像头的拍摄区域的边缘部分重叠,所述设备成像方法包括:

接收对待拍摄场景的图像拍摄请求;

基于所述图像拍摄请求,确定所述待拍摄场景中的前景对象及背景对象;

通过所述第一摄像头分别以所述前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;

通过所述多个第二摄像头对所述待拍摄场景进行拍摄,并对所述多个第二摄像头拍摄得到的图像与所述基底图像进行图像合成处理,得到所述图像拍摄请求的成像图像。

第二方面,本申请实施例提供了一种设备成像装置,应用于电子设备,所述电子设备包括第一类型的第一摄像头和多个第二类型的第二摄像头,所述第二摄像头的拍摄区域与所述第一摄像头的拍摄区域的边缘部分重叠,所述设备成像装置包括:

请求接受模块,用于接收对待拍摄场景的图像拍摄请求;

对象确定模块,用于基于所述图像拍摄请求,确定所述待拍摄场景中的前景对象及背景对象;

第一获取模块,用于通过所述第一摄像头分别以所述前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;

第二获取模块,用于通过所述多个第二摄像头对所述待拍摄场景进行拍摄,并对所述多个第二摄像头拍摄得到的图像与所述基底图像进行图像合成处理,得到所述图像拍摄请求的成像图像。

第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请实施例提供的设备成像方法。

第四方面,本申请实施例提供了一种电子设备,包括处理器、存储器、第一类型的第一摄像头和多个第二类型的第二摄像头,所述第二摄像头的拍摄区域与所述第一摄像头的拍摄区域的边缘部分重叠,所述存储器存储有计算机程序,所述处理器通过调用所述计算机程序,执行如本申请实施例提供的设备成像方法。

本申请实施例中,电子设备包括第一摄像头和多个第二摄像头,其中,第二摄像头的拍摄区域与第一摄像头的拍摄区域的边缘部分重叠。电子设备通过接收对待拍摄场景的图像拍摄请求;基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象;通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。由此,最终得到成像图像的边缘区域的清晰度得以提高,提高了整张成像图像的质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的设备成像方法的一流程示意图。

图2是本申请实施例中第一摄像头和第二摄像头的一种设置方式示意图。

图3是本申请实施例中第二摄像头与第一摄像头的拍摄区域对比示意图。

图4是本申请实施例中触发输入图像拍摄请求的操作示意图。

图5是本申请实施例中第二图像和基底图像的图像内容对比示意图。

图6是本申请实施例中所有第二图像和基底图像同时重叠的重叠区域示意图。

图7是本申请实施例中第一摄像头和第二摄像头的另一种设置方式示意图。

图8是本申请实施例中第一摄像头和第二摄像头共用图像传感器的示意图。

图9是本申请实施例提供的设备成像方法的另一流程示意图。

图10是本申请实施例提供的设备成像装置的一结构示意图。

图11是本申请实施例提供的电子设备的一结构示意图。

图12是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。

本申请实施例首先提供一种设备成像方法,该设备成像方法应用于电子设备。其中,该设备成像方法的执行主体可以是本申请实施例提供的设备成像装置,或者集成了该设备成像装置的电子设备,该设备成像装置可以采用硬件或者软件的方式实现,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

请参照图1,图1为本申请实施例提供的设备成像方法的流程示意图。该设备成像方法应用于本申请实施例提供的电子设备,如图1所示,本申请实施例提供的设备成像方法的流程可以如下:

101,接收对待拍摄场景的图像拍摄请求。

应当说明的是,在本申请实施例中,电子设备包括第一类型的第一摄像头和多个第二类型的第二摄像头,其中,第一摄像头的拍摄区域可以包括第二摄像头的拍摄区域,第二摄像头的拍摄区域与第一摄像头的拍摄区域的边缘部分重叠,且任意两个第二摄像头之间的重叠拍摄区域与第一摄像头的拍摄区域的中间部分重叠。

比如,请结合参照图2和图3,第一摄像头为标准类型的摄像头,或者说视场角为45度左右的摄像头,第二摄像头为长焦类型的摄像头,或者说视场角为40度以内的摄像头。电子设备可以包括一个第一摄像头和四个第二摄像头,分别为第二摄像头a、第二摄像头b、第二摄像头c以及第二摄像头d,各第二摄像头的轴线朝向第一摄像头的轴线倾斜并相交。例如,第二摄像头a的拍摄区域a对应第一摄像头的拍摄区域的左上角,第二摄像头b的拍摄区域b对应第一摄像头的拍摄区域的右上角,第二摄像头c的拍摄区域c对应第一摄像头的拍摄区域的左下角,第二摄像头d的拍摄区域d对应第一摄像头的拍摄区域的右下角,由此,第二摄像头的拍摄区域与第一摄像头的拍摄区域的边缘部分重叠,且任意两个第二摄像头之间的重叠拍摄区域(即两个第二摄像头拍摄区域之间的重叠区域)与第一摄像头的拍摄区域的中间部分重叠。

在一实施例中,四个第二摄像头的拍摄区域可以有共同重叠的区域,每个第二摄像头的拍摄区域之内都包含该区域。可选的,该共同重叠区域可以位于第一摄像头的拍摄区域的中间部分,也可以根据拍摄对象的不同在第一摄像头的拍摄区域中进行选择。

本申请实施例中,图像拍摄请求可由用户直接输入,用于指示电子设备对待拍摄场景进行拍摄。其中,待拍摄场景即电子设备在接收到输入的图像拍摄请求时,第一摄像头所对准的场景,包括但不限于人、物以及景等。

比如,用户在操作电子设备启动拍摄类应用(比如电子设备的系统应用“相机”),并通过移动电子设备,使得电子设备的第一摄像头以及第二摄像头对准待拍摄场景之后,可以通过点击“相机”预览界面提供的“拍照”按键(虚拟按键)向电子设备输入图像拍摄请求,如图4所示。或者,也可以点击设备中具有“拍照”功能的实体按键,向电子设备输入图像拍摄请求。

又比如,用户在操作电子设备启动拍摄类应用,并通过移动电子设备,使得电子设备的第一摄像头以及第二摄像头对准待拍摄场景之后,可以说出语音指令“拍照”,向电子设备输入图像拍摄请求。或者,在电子设备内预先设置一些拍照手势,当待拍摄场景中出现该手势时,向电子设备输入图像拍摄请求。

102,基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象。

其中,前景对象可以为待拍摄场景中的待聚焦对象,即用户想要重点拍摄的对象,背景对象可以为待拍摄场景中除前景对象外的其他对象。例如,当待拍摄场景为一头牛在山脚下吃草的场景时,用户想要重点拍摄牛,那么,牛可作为前景对象,山可作为背景对象。

在一实施例中,可以通过用户主动选择的方式确定待拍摄场景中的前景对象和背景对象,用户操作电子设备启动拍摄类应用(比如电子设备的系统应用“相机”)拍摄成像之前,通过点击或者框选等方式在拍摄类应用的预览界面上直接选择出前景对象和背景对象,或者在手动确定前景对象后,通过距离传感器自动比较多个对象的远近智能地确定出待拍摄场景中的背景对象。

可选的,确定待拍摄场景中的前景对象及背景对象的步骤可以包括:在第一摄像头的预览图像中获取对前景对象聚焦的第一聚焦指令,以及对前景对象以外的对象聚焦的第二聚焦指令;通过距离传感器比较前景对象及第二聚焦指令指向的对象与电子设备的距离远近;当第二聚焦指令指向的对象比前景对象更远时,将第二聚焦指令指向的对象确定为背景对象。

若没有获取到第二聚焦指令,而只获取到第一聚焦指令(即只确定出前景对象)时,可以首先确定出预览图像中拍摄区域对应的各个对象,比较待拍摄场景内各对象与电子设备的距离远近,将各对象中距离电子设备最远的对象确定为背景对象。另外,若没有获取到第二聚焦指令,也没有获取到第一聚焦指令,可以获取待拍摄场景内各对象与电子设备的距离,比较待拍摄场景内各对象与电子设备的距离远近,将各对象中距离所述电子设备最近的对象确定为前景对象,将各对象中距离所述电子设备最远的对象确定为背景对象。

其中,可通过任意方式来获取待拍摄场景内各对象与电子设备的距离进行比较。例如,双摄像头测距方式、结构光测距方式、飞行时间测距方式等,或者其他获取待拍摄场景内各对象与电子设备的距离的任何方式,在此不做任何限制。

可选的,在比较各对象与电子设备的距离远近之前,可以通过预览图像中像素坐标值与待拍摄场景中实际坐标值的映射关系将预览图像上的各个对象对应到待拍摄场景中,以实现测距。像素坐标为相机坐标系中的二维坐标,实际坐标为世界坐标系中的三维坐标,通过多个视角获取这两个坐标系间的平移向量以计算这两个坐标系之间的映射关系,从而确定出像素坐标值与实际坐标值的映射关系。

像素坐标值与实际坐标值的映射关系确定之后,就可以通过该映射关系,准确定位预览图像中的各个对象对应现实待拍摄场景中的实际对象。可选的,可以根据像素坐标值与实际坐标值的映射关系建立摄像机模型,也可以根据相机坐标系与世界坐标系的映射关系建立摄像机模型,将相应的映射关系放入摄像机模型中进行训练,或者通过多次学习,不断优化摄像机模型中的映射关系。

此外,还可以对待拍摄场景的预览图像进行灰度化处理,例如,取相邻两张预览图像进行灰度化处理,得到灰度预览图像。可选的,前景对象可以为人或物,相对背景对象而言,前景对象可视为运动对象,因而,可以计算相邻两张预览图像中同一对象的灰度化差值,若灰度化差值大于预设阈值,则将该对象确定为前景对象,反之则确定为背景对象。

103,通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像。

比如,电子设备在接收到用户通过语音方式输入的对待拍摄场景的图像拍摄请求时,即根据该图像拍摄请求,首先通过第一摄像头对待拍摄场景进行拍摄。其中,第一摄像头可以只有一个,通过该第一摄像头拍摄以前景对象为焦点的图像,也通过该第一摄像头拍摄以背景对象为焦点的图像,即通过同一个第一摄像头分别拍摄以前景对象及背景对象为焦点的图像。或者,第一摄像头可以有两个,通过两个第一摄像头中的一个第一摄像头以前景对象为焦点进行拍摄,通过另一个第一摄像头以背景对象为焦点进行拍摄。

拍摄得到至少一张以前景对象为焦点的图像以及至少一张以背景对象为焦点的第一图像,将以前景对象为焦点的第一图像及以背景对象为焦点的第一图像进行图像合成处理,并将合成之后的图像设为基底图像。例如,在以前景对象为焦点的第一图像中截取前景对象,在以背景景对象为焦点的第一图像中提出前景对象,与前者截取的前景对象进行合成,得到基底图像。又例如,在以前景对象为焦点的第一图像及以背景对象为焦点的第一图像中分别选择同一位置清晰度高的像素块进行合成,得到基底图像。通常来说,图像越清晰,其对比度越高。因此,可以使用图像的对比度来衡量图像的清晰度。

104,通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。

本申请实施例中,电子设备还通过其设置的多个第二摄像头对待拍摄场景进行拍摄,相应得到多个图像,将第二摄像头拍摄得到的图像记为第二图像,即拍摄得到多个第二图像。

应当说明的是,在通过多个第二摄像头对待拍摄场景进行拍摄时,第二摄像头与第一摄像头采用相同的图像参数(比如对比度、亮度)进行拍摄,由此,第二摄像头的拍摄区域虽为第一摄像头的拍摄区域的局部,但二者拍摄得到第一图像和第二图像的图像效果相同。

比如,电子设备包括四个第二摄像头,分别为第二摄像头a、第二摄像头b、第二摄像头c以及第二摄像头d,且这四个第二摄像头的拍摄区域分别对应第一摄像头拍摄区域的左上角、右上角、左下角以及右下角,通过这四个第二摄像头将拍摄得到四个第二图像,如图5所示,第二摄像头a拍摄的第二图像a1的图像内容对应基底图像左上角的图像内容,第二摄像头b拍摄的第二图像b1的图像内容对应基底图像右上角的图像内容,第二摄像头c拍摄的第二图像c1的图像内容对应基底图像左下角的图像内容,第二摄像头d拍摄的第二图像d1的图像内容对应基底图像右下角的图像内容,这样,不同的第二图像的图像内容即覆盖了基底图像中边缘区域的不同位置。

应当说明的是,本申请实施例中对第一摄像头拍摄第一图像和第二摄像头拍摄第二图像的先后顺序不做限定,可以是在第一摄像头拍摄第一图像后第二摄像头拍摄第二图像,可以是第二摄像头拍摄第二图像后第一摄像头拍摄第一图像,还可以是第一摄像头拍摄第一图像的同时第二摄像头拍摄第二图像。

本申请实施例中,电子设备在通过第一摄像头拍摄后合成得到基底图像,以及通过多个第二摄像头拍摄得到多个第二图像之后,将拍摄得到的多个第二图像与基底图像对齐。

基于对齐后的基底图像和第二图像,对于基底图像和第二图像的重叠部分,计算重叠的各像素点的平均像素值,比如,电子设备除了通过第一摄像头拍摄得到基底图像之外,还通过四个第二摄像头拍摄得到四个第二图像,请参照图6,各第二图像与基底图像同时重叠的重叠区域位于基底图像的中间区域,这样,对于图6所示的重叠区域,某位置的像素点在五个图像(即基底图像和四个第二图像)中的像素值分别为0.8、0.9、1.1、1.2和1,则可计算得到该位置的像素点的平均像素值为1。

之后,根据基底图像中对应的各位置像素点所得到的平均像素值得到合成图像,比如,可以将基底图像的各像素点的像素值相应调整为计算得到的各平均像素值,从而得到合成图像;又比如,还可以根据计算得到各平均像素值,生成一幅新的图像,即合成图像。

本申请实施例中,电子设备在对拍摄得到的多个第二图像与基底图像进行图像合成处理之后,将合成得到的合成图像设为图像拍摄请求的成像图像,至此,电子设备即完成了对应接收到的图像拍摄请求一次完整拍摄操作。

比如,请继续参照图6,图6由此示出了基底图像到成像图像的清晰度变化,其中,x轴表示由图像边缘区域到中心区域,再由中心区域到边缘区域的位置变化,y轴表示跟随x轴变化的清晰度,可以看出,在基底图像中,中心区域的清晰度最高,随着中心区域向边缘区域的扩散,清晰度逐渐降低,且变化较为剧烈,而在成像图像中,中心区域的清晰度最高,且相较于基底图像,成像图像的边缘区域的清晰度被整体提高,随着中心区域向边缘区域的扩散,虽然清晰度逐渐降低,且变化更为平滑,使得成像图像的整体图像质量得以提高。

由上可知,本申请实施例中,电子设备包括第一摄像头和多个第二摄像头,第二摄像头的拍摄区域与第一摄像头的拍摄区域的边缘部分重叠。电子设备通过接收对待拍摄场景的图像拍摄请求;基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象;通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。由此,最终得到成像图像的边缘区域的清晰度得以提高,提高了整张成像图像的质量。

在一实施例中,电子设备包括两个第一摄像头,“通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像”,包括:通过两个第一摄像头中的一个第一摄像头以前景对象为焦点进行拍摄,通过另一个第一摄像头以背景对象为焦点进行拍摄,将两个第一摄像头拍摄得到的图像进行图像合成处理,将合成得到的图像设为基底图像。

在一申请实施例中,电子设备包括两个标准类型的第一摄像头。比如,请参照图7,电子设备包括两个第一摄像头,分别为第一摄像头e和第一摄像头f,且第一摄像头e环绕设置有四个第二摄像头。

在通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像时,电子设备可以通过两个第一摄像头对待拍摄场景进行拍摄,得到图像内容相同,分别聚焦前景对象或背景对象的至少两个第一图像。然后再对至少两个第一图像进行图像合成处理,将合成得到的图像设为基底图像。

其中,电子设备在对至少两个第一图像进行图像合成处理时,首先将至少两个第一图像对齐,再计算至少两个第一图像重叠的各像素点的平均像素值,最后根据计算得到的各平均像素值得到至少两个第一图像的合成图像,将该合成图像设为基底图像。

相较于直接将第一摄像头拍摄得到的第一图像设为基底图像,本申请实施例中能够获得更高清晰度的基底图像,使得最终得到的成像图像也具有更高的清晰度。

在一实施例中,电子设备还包括覆盖第一摄像头和/或第二摄像头的电致变色组件,“接收对待拍摄场景的图像拍摄请求”之前,还包括:

切换电致变色组件至透明状态;

“通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像”之后,还包括:

将电致变色组件切换至着色状态,以隐藏第一摄像头和/或第二摄像头。

本申请实施例中,为了提升电子设备的完整性,还第一摄像头和/或第二摄像头之上覆盖电致变色组件,从而在需要时利用电致变色组件对摄像头进行隐藏。

以下首先对电致变色组件的工作原理进行简单介绍。

电致变色是指材料的颜色/透明度在外加电场的作用下发生稳定、可逆的变化的现象。具有电致变色性能的材料可以称为电致变色材料。而本申请实施例中的电致变色组件,就是利用电致变色材料制成。

其中,电致变色组件可以包括层叠设置的两层导电层,以及位于两个导电层之间的变色层、电解质层、离子存储层。比如,电致变色组件的两个透明导电层之上未施加电压(或者说,电压为0v)时,该电致变色组件将呈透明状态,而当施加在其两个透明导电层之间的电压由0v变为3v时,该电致变色组件将呈黑色,当施加在其两个透明导电层之间的电压由3v变为-3v时,该电致变色组件将由黑色变为透明,等等。

这样,利用电致变色组件颜色可调的特性,可以对第一摄像头和/或第二摄像头进行隐藏。

本申请实施例中,电子设备可以在启动拍摄类应用的同时,将覆盖于第一摄像头和/或第二摄像头之上的电致变色组件切换至透明状态,使得第一摄像头和第二摄像头能够对待拍摄场景进行拍摄。

而在通过第一摄像头获取到基底图像,以及通过多个第二摄像头拍摄得到多个第二图像,并最终合成得到成像图像且退出启动的拍摄类应用之后,电子设备即将电致变色组件切换至着色状态,从而隐藏第一摄像头和/或第二摄像头。

比如,电子设备设置有同时覆盖全部第一摄像头和第二摄像头的电致变色组件,且电子设备设置有第一摄像头和第二摄像头的一面的颜色为黑色,则电子设备在未启动拍摄类应用时,保存电致变色组件处于黑色的着色状态,使得第一摄像头和第二摄像头被隐藏;而在启动拍摄类应用时,同步将电致变色组件切换至透明状态,使得电子设备能够通过第一摄像头和第二摄像头进行拍摄;而在最终合成得到成像图像且退出启动的拍摄类应用之后,电子设备将电致变色组件切换至黑色的着色状态,使得第一摄像头和第二摄像头再次被隐藏。

在一实施例中,电子设备包括用于调整第二摄像头拍摄角度的机构,通过多个第二摄像头对待拍摄场景进行拍摄,包括:

(1)根据前景对象的位置,调整多个第二摄像头的拍摄角度,使得前景对象位于所有第二摄像头共同重叠的拍摄区域;

(2)通过调整拍摄角度后的多个第二摄像头对待拍摄场景进行拍摄。

四个第二摄像头的拍摄区域可以有共同重叠的区域,每个第二摄像头的拍摄区域之内都包含该区域。该共同重叠区域可以位于第一摄像头的拍摄区域的中间部分,也可以根据拍摄对象的不同在第一摄像头的拍摄区域中进行选择。电子设备包括机构,该机构可以用于调整第二摄像头的拍摄角度,也可以用于调整第二摄像头的位置。当确定出待拍摄场景中的前景对象时,通过该机构,调整每个第二摄像头的位置或朝向,使得前景对象位于所有第二摄像头共同重叠的拍摄区域,同时也位于第一摄像头的拍摄区域内。可选地,每个第二摄像头在拍摄时,都对前景对象进行聚焦,以进一步提升成像的清晰度。

在一实施例中,第一摄像头与第二摄像头共用图像传感器。

比如,请参照图8,第一摄像头与第二摄像头共用同一图像传感器,第一摄像头(镜头部分)和第二摄像头(镜头部分)可以分时的将外部光线投射到的图像传感器的不同部分,实现对外部对象的拍摄。

相较于现有技术多摄像头独立使用图像传感器,本申请实施例中多摄像头共用图像传感器能够减少空间占用。

请参照图9,图9为本申请实施例提供的设备成像方法的另一种流程示意图,该设备成像方法应用于本申请实施例提供的电子设备,如该电子设备包括两个第一类型的第一摄像头以及四个第二类型的第二摄像头,第一摄像头的拍摄区域包括第二摄像头的拍摄区域,第二摄像头的拍摄区域与其中一个第一摄像头的拍摄区域的边缘部分重叠,该设备成像方法的流程可以包括:

201、电子设备接收对待拍摄场景的图像拍摄请求。

请一并参照图3和图7,第一摄像头为标准类型的摄像头,或者说视场角为45度左右的摄像头,第二摄像头为长焦类型的摄像头,或者说视场角为40度以内的摄像头。电子设备包括两个第一摄像头和四个第二摄像头,分别为第一摄像头e、第一摄像头f、第二摄像头a、第二摄像头b、第二摄像头c以及第二摄像头d,各第二摄像头的轴线朝向第一摄像头e的轴线倾斜并相交,使得第二摄像头a的拍摄区域a对应第一摄像头e的拍摄区域的左上角,第二摄像头b的拍摄区域b对应第一摄像头e的拍摄区域的右上角,第二摄像头c的拍摄区域c对应第一摄像头e的拍摄区域的左下角,第二摄像头d的拍摄区域d对应第一摄像头e的拍摄区域的右下角,由此,第二摄像头的拍摄区域与第一摄像头e的拍摄区域的边缘部分重叠,且任意两个第二摄像头之间的重叠拍摄区域(即两个第二摄像头拍摄区域之间的重叠区域)都包含在第一摄像头e的拍摄区域中,第一摄像头f的拍摄区域可以与第一摄像头f的拍摄区域相同。

本申请实施例中,图像拍摄请求可由用户直接输入,用于指示电子设备对待拍摄场景进行拍摄。其中,待拍摄场景即电子设备在接收到输入的图像拍摄请求时,第一摄像头所对准的场景,包括但不限于人、物以及景等。

比如,用户在操作电子设备启动拍摄类应用(比如电子设备的系统应用“相机”),并通过移动电子设备,使得电子设备的第一摄像头以及第二摄像头对准待拍摄场景之后,可以通过点击“相机”预览界面提供的“拍照”按键(虚拟按键)向电子设备输入图像拍摄请求,如图4所示。或者,也可以点击设备中具有“拍照”功能的实体按键,向电子设备输入图像拍摄请求。

又比如,用户在操作电子设备启动拍摄类应用,并通过移动电子设备,使得电子设备的第一摄像头以及第二摄像头对准待拍摄场景之后,可以说出语音指令“拍照”,向电子设备输入图像拍摄请求。或者,在电子设备内预先设置一些拍照手势,当待拍摄场景中出现该手势时,向电子设备输入图像拍摄请求。

202、电子设备基于图像拍摄请求,通过第一摄像头获取待拍摄场景的预览图像。

比如,用户在操作电子设备启动拍摄类应用(比如电子设备的系统应用“相机”)时,将相机拍摄方向对准待拍摄场景,通过“相机”预览界面实时获取待拍摄场景的预览图像,获取到的预览图像可以一帧帧地缓存在电子设备中。

203、电子设备在预览图像中获取待拍摄场景中各个对象的轮廓信息。

其中,首先对预览图像进行灰度化处理,得到灰度预览图像。例如,使用彩色转灰度公式:gray=r*0.299+g*0.587+b*0.114,将预览图像中每个rgb(redgreenblue,三原色光)像素转为灰度值,其中,r、g、b分别代表rgb各分量(分别对应三原色光红色、绿色、蓝色)的值。

得到灰度预览图像后,可以使用高斯滤波器对灰度预览图像进行高斯模糊处理,整体降低灰度预览图像的图像噪声,降低灰度预览图像的细节层次,以便更准确地计算灰度预览图像的图像梯度值及边缘幅值。其中,可以使用各种图像处理算子计算图像梯度值,例如,罗伯特算子(robertsoperator)、普鲁伊特算子(prewittoperator)、索贝尔算子(sobeloperator)等。然后,根据图像梯度,获取图像边缘幅值与角度。

在获取灰度预览图像的边缘幅值与角度之后,对灰度预览图像进行非最大信号压制处理,实现边缘细化,取出无用边缘信息,进一步减少灰度预览图像的边缘像素。

最后,通过双阈值(fuzzythreshold)边缘连接处理,整体上保留强边缘舍弃弱边缘,并对获取的边缘进行连接处理。非最大信号压制以后,输出的幅值如果直接显示结果,可能会有少量的非边缘像素被包含到结果中,所以要通过选取阈值进行取舍,并且,如果选择的阈值较小,起不到过滤非边缘的作用;如果选择的阈值过大,容易丢失真正的图像边缘。因而,采用双阈值边缘方法实现边缘选取及边缘连接。例如,设置一个高阈值和一个低阈值,其中高阈值高于低阈值,对于任意边缘像素:

如果边缘像素的梯度值高于高阈值,则将其标记为强边缘像素;

如果边缘像素的梯度值小于高阈值并且大于低阈值,则将其标记为弱边缘像素;

如果边缘像素的梯度值小于低阈值,则抑制该边缘像素,例如,将该边缘像素丢弃。

其中,首先将强边缘像素被确定为边缘,因为它们是从图像中的真实边缘中提取出来的。然而,对于弱边缘像素,可能是从真实边缘提取的,也可能是因噪声或颜色变化引起的。由真实边缘引起的弱边缘像素将连接到强边缘像素,而因噪声或颜色变化引起的噪声响应未连接。因而,对于弱边缘像素,若该弱边缘像素能连接到强边缘像素,则可保留该弱边缘像素。例如,查看弱边缘像素及其8个邻域像素,只要其中一个为强边缘像素,则该弱边缘点就可以保留为真实的边缘。

通过对获取的边缘进行连接处理,就可以最终在预览图像中进行图像边缘提取,获取待拍摄场景中各个对象的轮廓信息。

204、电子设备将与预设前景轮廓相匹配的对象确定为前景对象,将与预设背景轮廓相匹配的对象确定为背景对象。

其中,若识别出多个与预设前景轮廓或背景轮廓相匹配的对象,则计算预览图像中多个与预设前景轮廓或背景轮廓相匹配的对象包含的像素点个数,将与预设前景轮廓相匹配的对象中包含像素点个数最多的对象确定为前景对象,将与预设背景轮廓相匹配的对象中包含像素点最少的对象确定为背景对象。在电子设备中,可以预先存储多个预设前景轮廓及预设背景轮廓,在获取待拍摄场景中各个对象的轮廓信息之后,将这些轮廓信息与预设前景轮廓及预设背景轮廓相匹配。当待拍摄场景中的轮廓信息匹配到预设前景轮廓时,识别待拍摄场景中与预设前景轮廓相匹配的对象,将其确定为前景对象;当待拍摄场景中的轮廓信息匹配到预设背景轮廓时,识别待拍摄场景中与预设背景轮廓相匹配的对象,将其确定为前景对象。

例如,常见的前景对象有人、动物、食物等,常见的背景对象有山、树、建筑物等。可以预先存储人、动物、食物的轮廓信息作为预设前景轮廓,预先存储山、树、建筑物的轮廓信息作为背景轮廓。当电子设备在待拍摄场景中识别到人和山时,自动将人作为前景对象,将山作为背景对象。

另外,预设前景轮廓及预设背景轮廓中,也可以包含同一对象的轮廓信息。例如,建筑物即可以作为前景对象,也可以作为背景对象。当识别出待拍摄场景中的某个对象即与预设前景轮廓相匹配,又与预设背景轮廓相匹配时,可以比较该对象与待拍摄场景中识别出的其他前景对象或背景对象与电子设备的距离,从而确定将该对象作为前景对象还是背景对象。例如,在待拍摄场景中,已识别出一个前景对象,此时又识别到一个即与预设前景轮廓相匹配,又与预设背景轮廓相匹配的待确定对象,通过比较电子设备与该前景对象及待确定对象的距离远近,将二者中更近的作为前景对象,将二者中更远的作为背景对象。若该待确定对象比该前景对象距离电子设备更近,则将该待确定对象作为新的前景对象,而将原前景对象作为新的背景对象。

在一实施例中,为每一个预设前景对象及预设背景对象关联对应的标签,当待拍摄场景中识别出与预设前景对象及预设背景相匹配的对象时,获取该对象对应的标签,并跳转到对应的拍摄模式。例如,在待拍摄场景中识别出前景对象“人”时,获取对应标签“人”,并跳转到人像拍摄模式;在待拍摄场景中识别出前景对象“食物”时,获取对应标签“食物”,并跳转到美食拍摄模式,等等,此处不一一举例。

205、电子设备通过两个第一摄像头中的一个第一摄像头以前景对象为焦点进行拍摄,以及通过另一个第一摄像头以背景对象为焦点进行拍摄。

206、电子设备将两个第一摄像头拍摄得到的图像进行图像合成处理,将合成得到的图像设为基底图像。

比如,第一摄像头可以有两个,通过两个第一摄像头中的一个第一摄像头以前景对象为焦点进行拍摄,得到至少一张以前景对象为焦点的图像;通过另一个第一摄像头以背景对象为焦点进行拍摄,得到至少一张以背景对象为焦点的图像。对以前景对象为焦点的第一图像及以背景对象为焦点的第一图像进行图像合成处理,并将合成之后的图像设为基底图像。

例如,在以前景对象为焦点的第一图像中截取前景对象,在以背景景对象为焦点的第一图像中提出前景对象,与前者截取的前景对象进行合成,得到基底图像。又例如,在以前景对象为焦点的第一图像及以背景对象为焦点的第一图像中分别选择同一位置清晰度高的像素块进行合成,得到基底图像。通常来说,图像越清晰,其对比度越高。因而,可以使用图像的对比度来衡量图像的清晰度。

207、电子设备根据前景对象的位置,调整多个第二摄像头的拍摄角度,使得前景对象位于所有第二摄像头共同重叠的拍摄区域。

208、电子设备通过调整拍摄角度后的多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。

在一实施例中,电子设备包括用于调整第二摄像头拍摄角度的机构,通过多个第二摄像头对待拍摄场景进行拍摄,得到多个图像,将第二摄像头拍摄得到的图像记为第二图像,即拍摄得到多个第二图像。

应当说明的是,在通过多个第二摄像头对待拍摄场景进行拍摄时,第二摄像头与第一摄像头采用相同的图像参数(比如对比度、亮度)进行拍摄,由此,第二摄像头的拍摄区域虽为第一摄像头的拍摄区域的局部,但二者拍摄得到第一图像和第二图像的图像效果相同。

比如,电子设备包括四个第二摄像头,四个第二摄像头的拍摄区域有共同重叠的区域,每个第二摄像头的拍摄区域之内都包含该区域。当确定出待拍摄场景中的前景对象时,通过机构,调整每个第二摄像头的位置或朝向,使得前景对象位于所有第二摄像头共同重叠的拍摄区域,同时也位于第一摄像头的拍摄区域内。可选地,每个第二摄像头在拍摄时,都对前景对象进行聚焦,以进一步提升成像的清晰度。

电子设备在对拍摄得到的多个第二图像与基底图像进行图像合成处理之后,将合成得到的合成图像设为图像拍摄请求的成像图像,至此,电子设备即完成了对应接收到的图像拍摄请求一次完整拍摄操作。

由上可知,本申请实施例中,电子设备包括第一摄像头和多个第二摄像头,第二摄像头的拍摄区域与第一摄像头的拍摄区域的边缘部分重叠。电子设备通过接收对待拍摄场景的图像拍摄请求;基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象;通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。由此,最终得到成像图像的边缘区域的清晰度得以提高,提高了整张成像图像的质量。

本申请实施例还提供一种设备成像装置。请参照图10,图10为本申请实施例提供的设备成像装置的结构示意图。其中该设备成像装置应用于电子设备,该电子设备包括图像传感器,该图像传感器具有第一工作模式和第二工作模式,该设备成像装置包括请求接收模块301、对象确定模块302、第一获取模块303以及第二获取模块304,如下:

请求接受模块301,用于接收对待拍摄场景的图像拍摄请求;

对象确定模块302,用于基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象;

第一获取模块303,用于通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;

第二获取模块304,用于通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。

在一实施例中,在确定待拍摄场景中的前景对象及背景对象时,对象确定模块302用于:

通过第一摄像头获取待拍摄场景的预览图像;

在预览图像中获取待拍摄场景中各个对象的轮廓信息;

将与预设前景轮廓相匹配的对象确定为前景对象,将与预设背景轮廓相匹配的对象确定为背景对象。

其中,若识别出多个与预设前景轮廓或背景轮廓相匹配的对象,则计算预览图像中多个与预设前景轮廓或背景轮廓相匹配的对象包含的像素点个数,将与预设前景轮廓相匹配的对象中包含像素点个数最多的对象确定为前景对象,将与预设背景轮廓相匹配的对象中包含像素点最少的对象确定为背景对象。

在一实施例中,在确定待拍摄场景中的前景对象及背景对象时,对象确定模块302用于:

比较待拍摄场景内各对象与电子设备的距离远近;

将各对象中距离电子设备最近的对象确定为前景对象,将各对象中距离电子设备最远的对象确定为背景对象。

在一实施例中,电子设备包括两个第一摄像头,在通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像时,第一获取模块303用于:

通过两个第一摄像头中的一个第一摄像头以前景对象为焦点进行拍摄,以及通过另一个第一摄像头以背景对象为焦点进行拍摄;

将两个第一摄像头拍摄得到的图像进行图像合成处理,将合成得到的图像设为基底图像。

在一实施例中,电子设备还包括用于调整第二摄像头拍摄角度的机构,在通过多个第二摄像头对待拍摄场景进行拍摄时,第二获取模块304用于:

根据前景对象的位置,调整多个第二摄像头的拍摄角度,使得前景对象位于所有第二摄像头共同重叠的拍摄区域;

通过调整拍摄角度后的多个第二摄像头对待拍摄场景进行拍摄。

在一实施例中,电子设备还包括覆盖第一摄像头和/或第二摄像头的电致变色组件,设备成像装置还包括电致变色模块,用于:

在请求接收模块301接收对待拍摄场景的图像拍摄请求之前,切换电致变色组件至透明状态;

以及在第二获取模块304对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像之后,将电致变色组件切换至着色状态,以隐藏第一摄像头和/或第二摄像头。

在一实施例中,第一摄像头与第二摄像头共用图像传感器。

应当说明的是,本申请实施例提供的设备成像装置与上文实施例中的设备成像方法属于同一构思,在设备成像装置上可以运行设备成像方法实施例中提供的任一方法,其具体实现过程详见设备成像方法实施例,此处不再赘述。

本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在计算机上执行时,使得计算机执行如本申请实施例提供的设备成像方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(readonlymemory,rom,)或者随机存取器(randomaccessmemory,ram)等。

本申请实施例还提供一种电子设备,请参照图11,电子设备包括处理器401、存储器402、第一类型的第一摄像头403以及多个第二类型的第二摄像头404。其中,处理器401与存储器402、第一摄像头403以及第二摄像头404电性连接。

处理器401是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的计算机程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能并处理数据。

存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。

第一摄像头403为标准类型的摄像头,或者说视场角为45度左右的摄像头。

第二摄像头404为长焦类型的摄像头,或者说视场角为40度以内的摄像头。

在本申请实施例中,电子设备中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401运行存储在存储器402中的计算机程序,从而实现各种功能,如下:

接收对待拍摄场景的图像拍摄请求;

基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象;

通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;

通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。

请参照图12,图12为本申请实施例提供的电子设备的另一结构示意图,与图11所示电子设备的区别在于,电子设备还包括输入单元405和输出单元406等组件。

其中,输入单元405可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。

输出单元406可用于显示由用户输入的信息或提供给用户的信息,如屏幕。

在本申请实施例中,电子设备中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401运行存储在存储器402中的计算机程序,从而实现各种功能,如下:

接收对待拍摄场景的图像拍摄请求;

基于图像拍摄请求,确定待拍摄场景中的前景对象及背景对象;

通过第一摄像头分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像;

通过多个第二摄像头对待拍摄场景进行拍摄,并对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像。

在一实施例中,在确定待拍摄场景中的前景对象及背景对象时,处理器401还执行:

通过第一摄像头获取待拍摄场景的预览图像;

在预览图像中获取待拍摄场景中各个对象的轮廓信息;

将与预设前景轮廓相匹配的对象确定为前景对象,将与预设背景轮廓相匹配的对象确定为背景对象。

其中,若识别出多个与预设前景轮廓或背景轮廓相匹配的对象,则计算预览图像中多个与预设前景轮廓或背景轮廓相匹配的对象包含的像素点个数,将与预设前景轮廓相匹配的对象中包含像素点个数最多的对象确定为前景对象,将与预设背景轮廓相匹配的对象中包含像素点最少的对象确定为背景对象。

在一实施例中,在确定待拍摄场景中的前景对象及背景对象时,处理器401还执行:

比较待拍摄场景内各对象与电子设备的距离远近;

将各对象中距离电子设备最近的对象确定为前景对象,将各对象中距离电子设备最远的对象确定为背景对象。

在一实施例中,电子设备包括两个第一摄像头403,在通过第一摄像头403分别以前景对象及背景对象为焦点进行拍摄,对拍摄得到的图像进行图像合成处理,得到基底图像时,处理器401执行:

通过两个第一摄像头中的一个第一摄像头以前景对象为焦点进行拍摄,以及通过另一个第一摄像头以背景对象为焦点进行拍摄;

将两个第一摄像头拍摄得到的图像进行图像合成处理,将合成得到的图像设为基底图像。

在一实施例中,电子设备还包括用于调整第二摄像头404拍摄角度的机构,在通过多个第二摄像头404对待拍摄场景进行拍摄时,处理器401还执行:

根据前景对象的位置,调整多个第二摄像头的拍摄角度,使得前景对象位于所有第二摄像头共同重叠的拍摄区域;

通过调整拍摄角度后的多个第二摄像头对待拍摄场景进行拍摄。

在一实施例中,电子设备还包括覆盖第一摄像头403和/或第二摄像头404的电致变色组件,在接收对待拍摄场景的图像拍摄请求之前,处理器401还执行:

切换电致变色组件至透明状态;

而在对多个第二摄像头拍摄得到的图像与基底图像进行图像合成处理,得到图像拍摄请求的成像图像之后,处理器401还执行:

将电致变色组件切换至着色状态,以隐藏第一摄像头403和/或第二摄像头404。

在一实施例中,第一摄像头403与第二摄像头404共用图像传感器。

应当说明的是,本申请实施例提供的电子设备与上文实施例中的设备成像方法属于同一构思,在电子设备上可以运行设备成像方法实施例中提供的任一方法,其具体实现过程详见特征提取方法实施例,此处不再赘述。

需要说明的是,对本申请实施例的设备成像方法而言,本领域普通测试人员可以理解实现本申请实施例的设备成像方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如设备成像方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的设备成像装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。

以上对本申请实施例所提供的一种设备成像方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1