图像处理方法及相关装置、设备和存储介质与流程

文档序号:29236542发布日期:2022-03-12 14:23阅读:79来源:国知局
图像处理方法及相关装置、设备和存储介质与流程

1.本技术涉及图像处理技术领域,特别是涉及一种图像处理方法及相关装置、设备和存储介质。


背景技术:

2.随着电子设备不断发展,人们对于电子设备的影像能力的要求也是越来越高。目前,电子设备在暗光条件下的成像水平是人们关注的焦点,尤其是暗光条件下如何提高人像的成像质量对于提高产品的产品力具有举足轻重的意义。
3.现有的暗光拍摄模式,都是在获得彩色图像以后,对彩色图像进行检测,在检测到人像的情况下进行针对性的处理,以提高人像的成像质量。这样的处理方法,由于暗光条件光线不足,常常会因为无法成功检测到到人像,导致人像的成像质量较差,极大影响了用户体验。
4.因此,如何提高暗光条件下的人像成像质量,具有重要的意义。


技术实现要素:

5.本技术至少提供一种图像处理方法及相关装置、设备和存储介质。
6.本技术第一方面提供了一种图像处理方法,方法包括:响应于检测到当前环境的亮度不大于预设亮度阈值,确认进入暗光模式;对所述当前环境分别拍摄得到深度图像和目标图像,其中,所述目标图像包括黑白图像和彩色图像的至少一者;基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域,其中,所述第一检测区域是对所述深度图像进行目标对象检测到的;对所述目标图像中的所述第一对象区域进行增强处理。
7.因此,在暗光模式下,通过确定目标图像中关于所述目标对象的第一对象区域,并对所述目标图像中的第一对象区域进行增强处理得,以此可以提高目标图像中目标对象的成像质量,实现针对目标对象的成像质量提升。
8.其中,上述的基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域,包括:在所述目标图像中,确定与所述第一检测区域对应的第二对象区域;基于所述第二对象区域,确定所述第一对象区域。
9.因此,通过在目标图像中,确定与深度图像的第一检测区域对应的第二对象区域,并利用第二对象区域得到目标图像中关于所述目标对象的第一对象区域,实现了利用深度图像对目标图像中的目标对象的检测。
10.其中,在所述对所述当前环境分别拍摄得到深度图像和目标图像之后,以及所述在所述目标图像中,确定与所述第一检测区域对应的第二对象区域之前,图像处理方法还包括:对所述目标图像进行目标对象检测,得到所述目标图像的检测结果;上述的基于所述第二对象区域,确定所述第一对象区域,包括:响应于在所述目标图像中检测到所述目标对象,将所述检测结果包括的所述目标对象的第二检测区域与所述第二对象区域进行融合,
得到所述第一对象区域;或,响应于在所述目标图像中未检测到所述目标对象,将所述第二对象区域作为所述第一对象区域;
11.因此,在目标图像中,通过将目标对象的第二检测区域与第二对象区域进行融合来得到第一对象区域,以此可以同时利用目标图像对目标对象的检测结果和深度图图像对目标对象的检测结果,实现了利用不同图像对目标对象的检测,有助于提高目标对象的检测成功率。另外,在对目标图像中没有检测到所述目标对象的情况下,此时可以直接将第二对象区域作为所述第一对象区域,实现在目标图像中对目标对象的定位。
12.其中,上述的在所述目标图像中,确定与所述第一检测区域对应的第二对象区域,包括:获取所述深度图像和所述目标图像之间的当前图像配准参数;基于所述当前图像配准参数,确定所述深度图像和所述目标图像之间的像素对应关系;基于所述像素对应关系,在所述目标图像中确定与所述第一检测区域对应的第二对象区域。
13.因此,通过获取所述深度图像和所述目标图像之间的当前图像配准参数,以此可以确定深度图像和所述目标图像之间的像素对应关系,进而可以根据像素对应关系,在目标图像中确定与所述第一检测区域对应的第二对象区域,以此实现了利用深度图像对目标图像中的目标对象的检测。
14.其中,上述的获取所述深度图像和所述目标图像之间的当前图像配准参数,包括:获取预设图像配准参数作为当前图像配准参数,其中,所述预设图像配准参数为第一摄像组件和第二摄像组件在装配时进行标定后确定的,所述第一摄像组件用于拍摄目标图像,所述第二摄像组件用于拍摄深度图像;或者,检测到所述深度图像和所述目标图像对应的成像时间之间的差异大于预设差异阈值时,对所述深度图像和所述目标图像进行图像配准,以获得所述当前图像配准参数。
15.因此,在检测到深度图像和所述目标图像对应的成像时间之间的差异大于预设差异阈值时,通过对所述深度图像和所述目标图像进行图像配准,能够将深度图像和目标图像的实际的图像配准参数作为当前图像配准参数,进而利用当前图像配准参数进行图像融合,以提高图像融合的质量。
16.其中,本技术的图像处理方法还包括:以下步骤以确定所述预设图像配准参数:获取所述第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像,并获取基于所述配准图像进行图像配准后得到的实际图像配准参数;响应于所述预设图像配准参数和所述实际图像配准参数不一致,将所述实际图像配准参数确定为所述预设图像配准参数。
17.因此,通过获取所述第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像,并获得基于所述配准图像进行图像配准后得到的实际图像配准参数,在预设图像配准参数和所述实际图像配准参数不一致的情况下,通过将所述实际图像配准参数确定为所述预设图像配准参数,可以实现对第一摄像组件和第二摄像组件的重新标定,使得后续在利用预设图像配准参数进行图像融合时,能够提供成像质量。
18.其中,本技术的图像处理方法应用于拍摄设备,图像处理方法还包括:检测到所述拍摄设备发生碰撞后,显示提示信息,所述提示信息用于提示用户进行图像拍摄操作;响应所述用户输入的拍摄指令,获得所述第一摄像组件和第二摄像组件在装配后拍摄的配准图像。
19.因此,通过检测拍摄设备是否发生碰撞,在检测到发生碰撞的情况下,通过显示提
示信息以提示用户进行图像拍摄操作,以此可以获得第一摄像组件和第二摄像组件在装配后拍摄的配准图像,进而后续能够利用配准图像进行配准,实现对第一摄像组件和第二摄像组件的重新标定。
20.其中,上述的检测到当前环境的亮度不大于预设亮度阈值,包括:通过光线感应器检测到当前环境的亮度不大于预设亮度阈值。
21.因此,通过利用光线感应器检测获取当前环境的亮度信息,以此能够通过光线感应器获得的亮度信息检测到当前环境的亮度不大于预设亮度阈值,实现对当前环境的亮度检测。
22.其中,上述的检测到当前环境的亮度不大于预设亮度阈值,包括:通过第一摄像组件和/或第二摄像组件的预览画面的亮度信息,检测到当前环境的亮度不大于预设亮度阈值。
23.因此,通过利用第一摄像组件和/或第二摄像组件的预览画面的亮度信息来获取当前环境的亮度信息,以此能够通过预览画面的亮度信息检测到当前环境的亮度不大于预设亮度阈值,实现对当前环境的亮度检测
24.其中,上述的检测到当前环境的亮度不大于预设亮度阈值,包括:响应于用户输入的夜景拍照指令,确定检测到当前环境的亮度不大于预设亮度阈值。
25.因此,通过响应于用户输入的夜景拍照指令,可以相应确定检测到当前环境的亮度不大于预设亮度阈值。
26.其中,上述的对所述当前环境分别拍摄得到深度图像和目标图像,包括:对所述当前环境分别拍摄得到预设数量帧的所述深度图像和所述预设数量帧的所述目标图像,将对应于同一拍摄时刻获得的深度图像和目标图像确定为一个图像组;所述基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域,对所述目标图像中的所述第一对象区域进行增强处理,包括:对于每组所述图像组,利用所述图像组中所述深度图像的所述第一检测区域,确定所述图像组中所述目标图像中的所述第一对象区域,并对所述图像组中所述目标图像中的所述第一对象区域进行增强处理;在所述对所述目标图像中的所述第一对象区域进行增强处理之后,所述方法还包括:将进行增强处理后的所述目标图像进行图像融合,得到融合图像。
27.因此,通过对每一个图像组的目标图像中的第一对象区域进行增强处理,可以提高每一个图像组的目标图像中的目标对象的成像质量。另外,通过将进行增强处理后的所述目标图像进行图像融合,得到融合图像,可以利用不同图像组的目标图像进行图像融合,实现了利用多帧目标图像的图像信息来提高融合图像的成像质量。
28.本技术第二方面提供了一种图像处理装置,图像处理装置包括亮度检测模块、获取模块、区域检测模块和处理模块,亮度检测模块用于检测到当前环境的亮度是否大于预设亮度阈值时,在当前环境的亮度不大于预设亮度阈值的情况下,确认进入暗光模式;获取模块用于对所述当前环境分别拍摄得到深度图像和目标图像,其中,所述目标图像包括黑白图像和彩色图像的至少一者;区域检测模块用于基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域,其中,所述第一检测区域是对所述深度图像进行目标对象检测到的;处理模块用于对所述目标图像中的所述第一对象区域进行增强处理。
29.本技术第三方面提供了一种电子设备,设备包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面描述的图像处理方法。
30.本技术第四方面提供了一种计算机可读存储介质,该计算机可读存储介质上存储有程序指令,程序指令被处理器执行时实现上述第一方面描述的图像处理方法。
31.上述方案,在暗光模式下,通过确定目标图像中关于所述目标对象的第一对象区域,并对所述目标图像中的第一对象区域进行增强处理得,以此可以提高目标图像中目标对象的成像质量,实现针对目标对象的成像质量提升。
32.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本技术。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本技术的实施例,并与说明书一起用于说明本技术的技术方案。
34.图1是本技术图像处理方法一实施例的第一流程示意图;
35.图2是本技术图像处理方法一实施例的第二流程示意图;
36.图3是本技术图像处理方法另一实施例的流程示意图;
37.图4是本技术图像处理方法又一实施例的流程示意图;
38.图5是本技术图像处理方法再一实施例的流程示意图;
39.图6是本技术图像处理装置一实施例的框架示意图;
40.图7是本技术电子设备一实施例的框架示意图;
41.图8为本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
42.下面结合说明书附图,对本技术实施例的方案进行详细说明。
43.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本技术。
44.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
45.本技术的图像处理方法的执行主体可以是图像处理装置,该图像处理装置可以是任意一种可执行本技术方法实施例所公开的技术方案的终端设备或服务器或其他电子设备等。例如,终端设备可以为用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。在本技术中,图像处理方法的执行主体简称为电子设备。
46.请参阅图1,图1是本技术图像处理方法一实施例的第一流程示意图。在本实施例中,图像处理方法包括以下步骤:
47.步骤s11:检测当前环境的亮度是否不大于预设亮度阈值。
48.步骤s12:响应于检测到当前环境的亮度不大于预设亮度阈值,确认进入暗光模式。
49.当前环境可以认为是电子设备所处的环境。就电子设备而言,其可以通过电子设备的光线传感器、图像传感器等确定当前环境的亮度,或者是通过与其他电子设备进行通信,获取由其他电子设备确定的当前环境的亮度。可以理解的,本技术不对当前环境的亮度的确定方法做出限制。
50.在获得当前环境的亮度以后,电子设备可以检测当前环境的亮度是否不大于预设亮度阈值。在本实施例中,预设亮度阈值可以认为是对当前环境是否处于暗光条件的一个判断阈值。具体地,在检测到当前环境的亮度不大于预设亮度阈值时,可以认为当前环境的亮度不足,此时电子设备可以确认进入暗光模式。在检测到当前环境的亮度大于预设亮度阈值时,此时电子设备可以确认进入正常模式。预设亮度阈值的具体数值可以根据需要进行设置,本技术不做限制。
51.在一个实施方式中,电子设备可以间隔一段时间便自动检测当前环境的亮度是否不大于预设亮度阈值一次,以更准确地确定电子设备所处的当前环境的亮度情况。在一个具体实施方式中,在电子设备进入拍摄模式以后,电子设备可以自动执行“检测当前环境的亮度是否不大于预设亮度阈值”步骤,以更准确地确定电子设备所处的当前环境的亮度情况。在另一个实施方式中,在电子设备进入拍摄模式以后,电子设备可以根据最近一次的对当前环境的亮度情况的检测结果,以此确定当前环境的亮度是否不大于预设亮度阈值。
52.在一个实施方式中,可以通过光线感应器检测当前环境的亮度是否不大于预设亮度阈值,即是通过利用光线感应器来获取当前环境的亮度信息,进而再根据光线感应器获取的亮度信息来检测当前环境的亮度是否不大于预设亮度阈值。在一个具体实施方式中,在具有多个光线感应器的情况,可以根据其中一个光线感应器获取的亮度信息来检测当前环境的亮度是否不大于预设亮度阈值,或者是根据多个光线感应器获取的亮度信息来检测当前环境的亮度是否不大于预设亮度阈值。在另一个具体实施方式中,在具有多个光线感应器的情况下,可以根据距离本电子设备的摄像组件最近的光线感应器获取的亮度信息来检测当前环境的亮度是否不大于预设亮度阈值。因此,通过利用光线感应器检测获取当前环境的亮度信息,以此能够通过光线感应器获得的亮度信息检测到所述当前环境的亮度不大于预设亮度阈值,实现对当前环境的亮度检测。
53.在一个实施方式中,可以通过第一摄像组件的预览画面的亮度信息,检测当前环境的亮度是否不大于预设亮度阈值。第一摄像组件例如是电子设备自身的摄像组件,用于拍摄目标图像。摄像组件具体例如是摄像头模组硬件。通过第一摄像模组可以获取关于当前环境的预览画面,其中该预览画面的亮度信息可以用于确定当前环境的亮度情况。具体通过预览画面的亮度信息来确定当前环境的亮度情况方法可以是本领域通用的方法,此处不再赘述。在一个具体实施方式中,当第一摄像组件包括黑白摄像组件时,由于黑白摄像组件的进光量比较大,也即可以认为通过黑白摄像组件获取的预览画面的亮度信息能够更加准确的反映当前环境的亮度情况,因此可以根据黑白摄像组件的预览画面的亮度信息来检
测当前环境的亮度是否不大于预设亮度阈值,以更准确地确定电子设备所处的当前环境的亮度情况。因此,通过利用第一摄像组件的预览画面的亮度信息来获取当前环境的亮度信息,以此能够通过预览画面的亮度信息检测到当前环境的亮度不大于预设亮度阈值,实现对当前环境的亮度检测。
54.在一个实施方式中,可以通过检测是否接收到用户输入的夜景拍照指令,以此确定当前环境的亮度是否不大于预设亮度阈值。具体地,在检测到用户输入的夜景拍照指令以后,可以认为用户认为当前需要进入暗光模式,电子设备可以响应于用户输入的夜景拍照指令,确定检测到当前环境的亮度不大于预设亮度阈值。因此,通过响应于用户输入的夜景拍照指令,可以相应确定检测到所述当前环境的亮度不大于预设亮度阈值。
55.步骤s13:对所述当前环境分别拍摄得到深度图像和目标图像。
56.在本技术中,目标图像包括黑白图像和彩色图像的至少一者。黑白图像例如是灰度图像。
57.在一个实施方式中,电子设备可以包括第一摄像组件和第二摄像组件,其中,第一摄像组件用于拍摄得到目标图像,第二摄像组件用于拍摄得到深度图像。
58.第一摄像组件可以包括第一彩色摄像组件和/或黑白摄像组件。彩色摄像组件用于拍摄得到彩色图像,黑白摄像组件用于拍摄得到黑白图像。
59.第二摄像组件例如是深度摄像组件,深度摄像组件例如是tof(time-of-flight)摄像组件,结构光摄像组件。在另一个实施方式中,第二摄像组件可以包括第二彩色摄像组件和第三彩色摄像组件,其中,第二彩色摄像组件和第三彩色摄像组件均用于拍摄彩色图像,第二彩色摄像组件与第三彩色摄像组件组成双目视觉系统,用于基于双目立体视觉成像技术获得深度图像。
60.步骤s14:基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域。
61.在本实施例中,第一检测区域是对所述深度图像进行目标对象检测到的。例如,可以利用本领域通用的目标检测算法或者图像分割算法等方法对深度图像进行检测,以此确定检测区域。目标对象例如是人像。
62.在确定第一检测区域以后,可以基于深度图像目标图像的像素点对应关系,确定目标图像中关于所述目标对象的第一对象区域。深度图像和目标图像的像素点对应关系例如是通过图形配准的方法确定的。
63.步骤s15:对所述目标图像中的所述第一对象区域进行增强处理。
64.在确定目标图像中的第一对象区域后,可以利用图像处理领域中通用的图像增强算法对第一对象区域进行图像增强处理,以此提高第一对象区域的成像质量。图像增强算法例如是直方图均衡算法、伽马(gamma)变换算法等等,此处不再赘述。
65.因此,在暗光模式下,通过确定目标图像中关于所述目标对象的第一对象区域,并对所述目标图像中的第一对象区域进行增强处理得,以此可以提高目标图像中目标对象的成像质量,实现针对目标对象的成像质量提升。
66.请参阅图2,图2是本技术图像处理方法一实施例的第二流程示意图。在本实施例中,上述的步骤“基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域”具体包括步骤s141和步骤s142。
67.步骤s141:在所述目标图像中,确定与所述第一检测区域对应的第二对象区域。
68.在一个实施方式中,步骤s141具体包括s1411至步骤s1413。
69.步骤s1411:获取所述深度图像和所述目标图像之间的当前图像配准参数。
70.在一个实施方式中,深度图像和所述目标图像之间的当前图像配准参数,可以对拍摄深度图像的第二摄像组件和拍摄目标图像的第一摄像组件进行标定后确定的图像配准参数。例如是在装配时第一摄像组件和第二摄像组件进行标定以确定图像配准参数,作为当前图像配准参数。在另一个实施方式中,深度图像和所述目标图像之间的当前图像配准参数,可以是对深度图像和所述目标图像进行图像配准以后的图像配准参数。
71.步骤s1412:基于所述当前图像配准参数,确定所述深度图像和所述目标图像之间的像素对应关系。
72.确定深度图像和目标图像的当前图像配准参数以后,表明已经获得了两个图像之间的平移、旋转等关系,由此可以进一步利用当前图像配准参数,确定深度图像和所述目标图像之间的像素对应关系。确定深度图像和所述目标图像之间的像素对应关系的方法可以是本领域通用的方法,此处不再赘述。
73.步骤s1413:基于所述像素对应关系,在所述目标图像中确定与所述第一检测区域对应的第二对象区域。
74.在一个实施方式中,可以确定深度图像中的第一检测区域所在的像素点,进而基于深度图像和所述目标图像之间的像素对应关系,在在目标图像中确定与第一检测区域所在的像素点对应的像素点,以此确定第二对象区域。
75.因此,通过获取所述深度图像和所述目标图像之间的当前图像配准参数,以此可以确定深度图像和所述目标图像之间的像素对应关系,进而可以根据像素对应关系,在目标图像中确定与所述第一检测区域对应的第二对象区域,以此实现了利用深度图像对目标图像中的目标对象的检测。
76.步骤s142:基于所述第二对象区域,确定所述第一对象区域。
77.在一个实施方式中,可以直接第二对象区域作为第一对象区域。在另一个实施方式中,还可以基于对目标对象进行对象检测确定的目标对象的检测结果,并结合第二对象区域,以此得到第一对象区域。
78.因此,通过在目标图像中,确定与深度图像的第一检测区域对应的第二对象区域,并利用第二对象区域得到目标图像中关于所述目标对象的第一对象区域,实现了利用深度图像对目标图像中的目标对象的检测。
79.在一个实施例中,在执行上述的步骤“对所述当前环境分别拍摄得到深度图像和目标图像”之后,以及在执行上述的步骤“在所述目标图像中,确定与所述第一检测区域对应的第二对象区域”之前,本技术的图像处理方法还可以包括:对所述目标图像进行目标对象检测,得到所述目标图像的检测结果。
80.对所述目标图像进行目标对象检测,同样可以是利用本领域通用的目标检测算法或者图像分割算法等方法对目标图像进行检测,以此得到所述目标图像的检测结果。可以理解的,目标图像的检测结果可以包括检测到目标对象和没有检测到目标对象,在检测到目标对象的情况下,目标图像的检测结果还可以包括目标图像中目标对象所在的第一对象区域。因此,通过对目标图像进行目标对象检测,可以在目标图像检测到目标对象所在的第
二检测区域,实现对目标对象的定位。
81.在本实施例中,在对目标图像进行了目标对象检测的情况下,上述的步骤“基于所述第二对象区域,确定所述第一对象区域”具体包括步骤s21或者是步骤s22。
82.步骤s21:响应于在所述目标图像中检测到所述目标对象,将所述检测结果包括的所述目标对象的第二检测区域与所述第二对象区域进行融合,得到第一对象区域。
83.在对目标图像中检测到所述目标对象的情况下,可以将目标对象的第二检测区域与所述第二对象区域进行融合得到第一对象区域。在一个具体实施方式中,可以是将第二检测区域和第二对象区域的集合作为第一对象区域。在另一个实施方式中,还可以将第二检测区域的部分区域与第二对象区域的部分区域进行融合得到第一对象区域。可以理解的,第二检测区域和第二对象区域的融合方法不受限制。
84.因此,在目标图像中,通过将目标对象的第二检测区域与第二对象区域进行融合来得到第一对象区域,以此可以同时利用目标图像对目标对象的检测结果和深度图图像对目标对象的检测结果,实现了利用不同图像对目标对象的检测,有助于提高目标对象的检测成功率。
85.步骤s22:响应于在所述目标图像中未检测到所述目标对象,将所述第二对象区域作为所述第一对象区域。
86.在对目标图像中没有检测到所述目标对象的情况下,此时可以直接将第二对象区域作为所述第一对象区域,实现在目标图像中对目标对象的定位。
87.在一个实施例中,上述的步骤“获取所述深度图像和所述目标图像之间的当前图像配准参数”具体包括步骤s31或者步骤s32。
88.步骤s31:获取预设图像配准参数作为当前图像配准参数,其中,所述预设图像配准参数为第一摄像组件和第二摄像组件在装配时进行标定后确定的,所述第一摄像组件用于拍摄目标图像,所述第二摄像组件用于拍摄深度图像。
89.在本实施例中,可以通过获取预设图像配准参数作为当前图像配准参数,预设图像配准参数为所述第一摄像组件和所述第二摄像组件在装配时进行标定后确定的,且第一摄像组件用于拍摄目标图像,所述第二摄像组件用于拍摄深度图像。在本实施例中,对第一摄像组件和所述第二摄像组件进行装配,可以认为是对第一摄像组件和所述第二摄像组件进行组装。在装配时,会确定第一摄像组件和所述第二摄像组件的相对位置关系。例如,在生产执行本方法的电子设备的过程中,在装配第一摄像组件和所述第二摄像组件时,在第一摄像组件和所述第二摄像组件的相对位置已经确定不变的情况下,通过对第一摄像组件和所述第二摄像组件进行标定,以此可以确定预设图像配准参数。对第一摄像组件和所述第二摄像组件进行标定,可以是利用第一摄像组件和所述第二摄像组件分别拍摄得到的图像,进行图像配准,得到的图像配准参数作为预设图像配准参数。因此,通过直接获取预设图像配准参数作为当前图像配准参数,使得不必对深度图像和目标图像进行图像配准运算,以此可以加快成像时间。
90.步骤s32:检测到所述深度图像和所述目标图像对应的成像时间之间的差异大于预设差异阈值时,对所述深度图像和所述目标图像进行图像配准,以获得所述当前图像配准参数。
91.在本实施例中,在检测到深度图像和目标图像对应的成像时间之间的差异大于预
设差异阈值时,对所述深度图像和所述目标图像进行图像配准,以获得所述当前图像配准参数。在一个具体实施方式中,图像的成像时间可以认为是电子设备生成图像的时间。预设差异阈值可以是0,也可以是其他具体的数值,本技术不做限制。可以理解的,由于摄像组件可能会因为电子设备发热、电子设备处理能力不足等问题的影响,导致深度图像和目标图像对应的成像时间的差异大于预设差异阈值,此时可以认为电子设备在拍摄深度图像和目标图像时,发生了移动,而这会导致深度图像和目标图像无法很好的对应,也即利用预设图像配准参数进行图像融合的质量可能较差。因此,为了提升图像融合的质量,可以对深度图像和所述目标图像进行图像配准,以此获得深度图像和目标图像的图像配准参数,以此作为当前图像配准参数。因此,在检测到深度图像和所述目标图像对应的成像时间之间的差异大于预设差异阈值时,通过对所述深度图像和所述目标图像进行图像配准,能够将深度图像和目标图像的实际的图像配准参数作为当前图像配准参数,进而利用当前图像配准参数进行图像融合,以提高图像融合的质量。
92.请参阅图3,图3是本技术图像处理方法另一实施例的流程示意图。在本实施例中,本技术的图像处理方法还可以包括步骤s41至步骤s43,以确定预设图像配准参数。
93.步骤s41:获取所述第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像,并获取基于所述配准图像进行图像配准后得到的实际图像配准参数。
94.在一个具体实施方式中,第一摄像组件和第二摄像组件在装配后可以认为是电子设备已经生产完成,进入电子设备销售、使用的环节。
95.第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像,可以是第一摄像组件和第二摄像组件分别拍摄的目标图像和深度图像,且深度图像和目标图像对应的成像时间之间的差异不大于预设差异阈值。在一个具体实施方式中,配准图像可以是分别对配准标定版进行拍摄的图像。
96.在获得第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像以后,可以对获得配准图像进行图像配准,以此获取基于配准图像进行图像配准后得到的实际图像配准参数。
97.步骤s42:确定预设图像配准参数和所述实际图像配准参数是否一致。
98.电子设备在使用的过程中,第一摄像组件和第二摄像组件的相对位置可能会发生变化。在第一摄像组件和第二摄像组件的相对位置发生变化的情况下,第一摄像组件和第二摄像组件在装配时确定的预设图像配准参数无法准确地反映出通过第一摄像组件和第二摄像组件拍摄得到的目标图像和深度图像的像素对应关系,因此需要重新确定第一摄像组件和第二摄像组件拍摄的图像之间的图像配准参数。
99.基于此,需要确定预设图像配准参数和所述实际图像配准参数是否一致,若预设图像配准参数和所述实际图像配准参数不一致,则表明第一摄像组件和第二摄像组件的相对位置发生变化,若预设图像配准参数和所述实际图像配准参数一致,则可以认为第一摄像组件和第二摄像组件的相对位置没有发生变化。在一个具体实施方式中,预设图像配准参数和所述实际图像配准参数一致,可以认为是预设图像配准参数和所述实际图像配准参数的差异在预设的参数差异阈值之内。
100.在确定预设图像配准参数和所述实际图像配准参数不一致的情况下,可以执行步骤s43;在确定预设图像配准参数和所述实际图像配准参数一致的情况下,可以确定当前的
预设图像配准参数不变。
101.步骤s43:响应于所述预设图像配准参数和所述实际图像配准参数不一致,将所述实际图像配准参数确定为所述预设图像配准参数。
102.预设图像配准参数和所述实际图像配准参数不一致,即表示第一摄像组件和第二摄像组件的相对位置发生变化,因此可以将将所述实际图像配准参数确定为所述预设图像配准参数。
103.因此,通过获取所述第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像,并获得基于所述配准图像进行图像配准后得到的实际图像配准参数,在预设图像配准参数和所述实际图像配准参数不一致的情况下,通过将所述实际图像配准参数确定为所述预设图像配准参数,可以实现对第一摄像组件和第二摄像组件的重新标定,使得后续在利用预设图像配准参数进行图像融合时,能够提供成像质量。
104.请参阅图4,图4是本技术图像处理方法又一实施例的流程示意图。在本实施例中,执行本技术的图像处理方法电子设备具体可以是拍摄设备,本技术的图像处理方法还包括步骤s51至步骤s53。
105.步骤s51:检测拍摄设备是否发生碰撞。
106.拍摄设备可以利用本领域通用的碰撞检测算法检测拍摄设备是否发生碰撞,例如是利用加速度传感器的数据来进行碰撞检测,本技术不再赘述。
107.拍摄设备发生碰撞,意味着第一摄像组件和第二摄像组件的相对位置很可能发生改变,若第一摄像组件和第二摄像组件的相对位置改变了,表明拍摄设备的预设图像配准参数很可能不准确,因此需要对第一摄像组件和第二摄像组件进行重新标定。
108.在检测到发生碰撞后,可以执行步骤s52;若没有检测到碰撞,则可以重新执行步骤s51。
109.步骤s52:显示提示信息,所述提示信息用于提示用户进行图像拍摄操作。
110.拍摄设备在检测到发生碰撞后,可以在屏幕上显示提示信息,该提示信息用于提示用户进行图像拍摄操作。提示信息例如是“检测到设备发生碰撞,请对第一摄像组件和第二摄像组件进行重新标定”。
111.步骤s53:响应所述用户输入的拍摄指令,获得所述第一摄像组件和第二摄像组件在装配后拍摄的配准图像。
112.拍摄设备在检测到用户输入的拍摄指令,可以将第一摄像组件和第二摄像组件在装配后拍摄的图像作为配准图像,用于对第一摄像组件和第二摄像组件进行重新标定。
113.因此,通过检测拍摄设备是否发生碰撞,在检测到发生碰撞的情况下,通过显示提示信息以提示用户进行图像拍摄操作,以此可以获得第一摄像组件和第二摄像组件在装配后拍摄的配准图像,进而后续能够利用配准图像进行配准,实现对第一摄像组件和第二摄像组件的重新标定。
114.请参阅图5,图5是本技术图像处理方法再一实施例的流程示意图。在本实施例中,本技术的图像处理方法还包括步骤s61至步骤s65。
115.步骤s61:检测当前环境的亮度是否不大于预设亮度阈值。
116.步骤s62:响应于检测到当前环境的亮度不大于预设亮度阈值,确认进入暗光模式。
117.关于步骤s61和步骤s62的详细描述,请参阅上述的步骤s11和步骤s12,此处不再赘述。
118.步骤s63:对当前环境分别拍摄得到预设数量帧的所述深度图像和所述预设数量帧的所述目标图像,将对应于同一拍摄时刻获得的深度图像和目标图像确定为一个图像组;
119.在一个实施方式中,对应于同一拍摄时刻,可以认为是深度图像的成像时间和目标图像的成像时间之间的差异不大于预设差异阈值。在另一个实施方式中,对应于同一拍摄时刻,可以认为是根据深度图像和目标图像各自的成像顺序进行对应,第一帧深度图像和第一帧目标图像对应,第二帧深度图像和第二帧目标图像对应。
120.在一个具体实施方式中,若存在两帧目标图像各自的成像时间的和一帧深度图像的成像时间差异不大于预设差异阈值,可以将与深度图像的成像时间最接近的目标图像确定为与该深度图像属于同一个图像组。
121.步骤s64:对于每组所述图像组,利用所述图像组中所述深度图像的所述第一检测区域,确定所述图像组中所述目标图像中的所述第一对象区域,并对所述图像组中所述目标图像中的所述第一对象区域进行增强处理;
122.在一个具体实施方式中,在目标图像为黑白图像和彩色图像的其中一者的情况下,可以是确定黑白图像或彩色图像中的第一对象区域,然后对黑白图像或彩色图像中的第一对象区域进行增强处理。在另一个实施方式中,在目标图像包括黑白图像和彩色图像的情况下,可以是确定黑白图像中的第一对象区域和彩色图像中的第一对象区域,然后对黑白图像和彩色图像中的第一对象区域进行增强处理。
123.步骤s65:将进行增强处理后的所述目标图像进行图像融合,得到融合图像。
124.在一个具体实施方式中,在目标图像为黑白图像和彩色图像的其中一者的情况下,可以是将若干进行增强处理后的黑白图像或彩色图像进行图像融合,得到融合图像。例如,一种有5个图像组,则可以是将5帧进行增强处理后的黑白图像或彩色图像进行图像融合,得到一帧融合图像。
125.在另一个具体实施方式中,在目标图像包括黑白图像和彩色图像的情况下,可以是将若干进行增强处理后的黑白图像和彩色图像进行图像融合,得到融合图像。例如,一种有8个图像组,则可以是将8帧进行增强处理后的黑白图像或彩色图像进行图像融合,得到一帧融合图像。
126.因此,通过对每一个图像组的目标图像中的第一对象区域进行增强处理,可以提高每一个图像组的目标图像中的目标对象的成像质量。另外,通过将进行增强处理后的所述目标图像进行图像融合,得到融合图像,可以利用不同图像组的目标图像进行图像融合,实现了利用多帧目标图像的图像信息来提高融合图像的成像质量。
127.在一个实施方式中,不同图像组之间的目标图像的曝光时间和/或感光度各不相同,例如,第一个图像组的目标图像的曝光时间为1/180秒,感光度为400,则第二个图像组的目标图像的曝光时间为1/120秒,感光度为600。因此,通过设置每个图像组的目标图像对应的曝光时间和/或感光度各不相同,在图像组的数量不少于2个时,可以利用至少2个基于不同成像参数得到的目标图像进行图像融合,有助于提高成像质量。
128.在一个实施方式中,对于全部图像组,可以设置部分图像组的曝光时间和/或感光
度相同,将曝光时间和/或感光度相同的的图像组确定为属于同一个图像集,以此得到若干个图像集。对于一个图像集而言,通过设置每个图像集包含的目标图像的曝光时间和/或感光度相同,可以利用基于相同成像参数得到的目标图像进行图像融合,有助于提高成像质量。
129.在一个实施方式中,在目标图像包括黑白图像和彩色图像的情况下,可以设置在利用第一摄像组件获取黑白图像和彩色图像时,成像参数中的快门时间不低于预设快门阈值,以此使得不必利用过慢的快门时间来使得图像的亮度更亮,而减少了快门过慢带来的模糊,鬼影,噪声过大等问题。另外,在利用第一摄像组件获取黑白图像和彩色图像时,还可以设置感光度不大于预设感光度阈值,以此可以使得不必利用过大的感光度来使得图像的亮度更亮,而减少了感光度过大带来的噪声过大,信噪比低的问题。以此,通过设置在利用第一摄像组件获取黑白图像和彩色图像时,快门时间不低于预设快门阈值,感光度不大于预设感光度阈值,可以提高图像的成像质量。
130.请参阅图6,图6是本技术图像处理装置一实施例的框架示意图。图像处理装置60包括亮度检测模块61、获取模块62、区域检测模块63和处理模块64,其中,亮度检测模块61用于检测到当前环境的亮度是否大于预设亮度阈值时,在当前环境的亮度不大于预设亮度阈值的情况下,确认进入暗光模式;获取模块62用于对所述当前环境分别拍摄得到深度图像和目标图像,其中,所述目标图像包括黑白图像和彩色图像的至少一者;区域检测模块63用于基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域,其中,所述第一检测区域是对所述深度图像进行目标对象检测到的;处理模块64用于对所述目标图像中的所述第一对象区域进行增强处理。
131.其中,区域检测模块63用于基于所述深度图像中关于目标对象的第一检测区域,确定所述目标图像中关于所述目标对象的第一对象区域,包括:在所述目标图像中,确定与所述第一检测区域对应的第二对象区域;基于所述第二对象区域,确定所述第一对象区域。
132.其中,在获取模块62用于对所述当前环境分别拍摄得到深度图像和目标图像,以及在区域检测模块63用于所述目标图像中,确定与所述第一检测区域对应的第二对象区域之前,区域检测模块63还用于对所述目标图像进行目标对象检测,得到所述目标图像的检测结果;区域检测模块63用于基于所述第二对象区域,确定所述第一对象区域,包括:响应于在所述目标图像中检测到所述目标对象,将所述检测结果包括的所述目标对象的第二检测区域与所述第二对象区域进行融合,得到所述第一对象区域;或,响应于在所述目标图像中未检测到所述目标对象,将所述第二对象区域作为所述第一对象区域;
133.其中,区域检测模块63用于在所述目标图像中,确定与所述第一检测区域对应的第二对象区域,包括获取所述深度图像和所述目标图像之间的当前图像配准参数;基于所述当前图像配准参数,确定所述深度图像和所述目标图像之间的像素对应关系;基于所述像素对应关系,在所述目标图像中确定与所述第一检测区域对应的第二对象区域。
134.其中,区域检测模块63用于获取所述深度图像和所述目标图像之间的当前图像配准参数,包括:获取预设图像配准参数作为当前图像配准参数,其中,所述预设图像配准参数为第一摄像组件和第二摄像组件在装配时进行标定后确定的,所述第一摄像组件用于拍摄目标图像,所述第二摄像组件用于拍摄深度图像;或者,检测到所述深度图像和所述目标图像对应的成像时间之间的差异大于预设差异阈值时,对所述深度图像和所述目标图像进
行图像配准,以获得所述当前图像配准参数。
135.其中,区域检测模块63还用于获取所述第一摄像组件和第二摄像组件在装配后分别拍摄的配准图像,并获取基于所述配准图像进行图像配准后得到的实际图像配准参数;响应于所述预设图像配准参数和所述实际图像配准参数不一致,将所述实际图像配准参数确定为所述预设图像配准参数。
136.其中,图像处理装置60具体可以是拍摄设备,所述获取模块62包括第一摄像组件和第二摄像组件,区域检测模块63用于检测到所述拍摄设备发生碰撞后,显示提示信息,所述提示信息用于提示用户进行图像拍摄操作;响应所述用户输入的拍摄指令,获得所述第一摄像组件和第二摄像组件在装配后拍摄的配准图像。
137.其中,亮度检测模块61用于检测到当前环境的亮度不大于预设亮度阈值,包括:通过光线感应器检测到所述当前环境的亮度不大于预设亮度阈值;或者,通过所述第一摄像组件的预览画面的亮度信息,检测到所述当前环境的亮度不大于预设亮度阈值,其中,所述第一摄像组件用于拍摄目标图像;或者,响应于用户输入的夜景拍照指令,确定检测到所述当前环境的亮度不大于预设亮度阈值。
138.其中,获取模块62用于对所述当前环境分别拍摄得到深度图像和目标图像,包括:对所述当前环境分别拍摄得到预设数量帧的所述深度图像和所述预设数量帧的所述目标图像,将对应于同一拍摄时刻获得的深度图像和目标图像确定为一个图像组;处理模块64用于对于每组所述图像组,利用所述图像组中所述深度图像的所述第一检测区域,确定所述图像组中所述目标图像中的所述第一对象区域,并对所述图像组中所述目标图像中的所述第一对象区域进行增强处理;在处理模块64用于对所述目标图像中的所述第一对象区域进行增强处理之后,图像处理装置的融合模块用于将进行增强处理后的所述目标图像进行图像融合,得到融合图像。
139.请参阅图7,图7是本技术电子设备一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72,处理器72用于执行存储器71中存储的程序指令,以实现上述任一图像处理方法实施例中的步骤。其中,电子设备可以利用自身包含的第一摄像组件和第二摄像组件执行相关步骤,还可以是其他设备的第一摄像组件和第二摄像组件执行相关步骤。在一个具体的实施场景中,电子设备70可以包括但不限于:微型计算机、服务器,此外,电子设备70还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
140.具体而言,处理器72用于控制其自身以及存储器71以实现上述任一图像处理方法实施例中的步骤。处理器72还可以称为cpu(central processing unit,中央处理单元)。处理器72可能是一种集成电路芯片,具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器72可以由集成电路芯片共同实现。
141.请参阅图8,图8为本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质800存储有能够被处理器运行的程序指令801,程序指令801用于实现上述任一图像处理方法实施例中的步骤。
142.上述方案,在暗光模式下,通过确定目标图像中关于所述目标对象的第一对象区域,并对所述目标图像中的第一对象区域进行增强处理得,以此可以提高目标图像中目标对象的成像质量,实现针对目标对象的成像质量提升。
143.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
144.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
145.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
146.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
147.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1