高动态范围图像处理系统及方法、电子设备和可读存储介质与流程

文档序号:21694435发布日期:2020-07-31 22:25阅读:来源:国知局

技术特征:

1.一种高动态范围图像处理系统,其特征在于,包括图像传感器、图像融合模块及高动态范围图像处理模块;

所述图像传感器包括像素阵列,所述像素阵列包括多个全色感光像素和多个彩色感光像素,所述彩色感光像素具有比所述全色感光像素更窄的光谱响应,所述像素阵列包括最小重复单元,每个所述最小重复单元包含多个子单元,每个所述子单元包括多个单颜色感光像素及多个全色感光像素,所述图像传感器中的像素阵列曝光,其中,对于同一所述子单元中的多个感光像素,至少一个所述单颜色感光像素以第一曝光时间曝光,至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光,至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光;其中,以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像,以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像,以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像;

所述图像融合模块及所述高动态范围图像处理模块用于对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像,所述第一高动态范围图像包含多个彩色图像像素,多个所述彩色图像像素呈拜耳阵列排布,所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。

2.根据权利要求1所述的高动态范围图像处理系统,其特征在于,同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光,其余所述全色感光像素以所述第三曝光时间曝光,所述第四曝光时间小于或等于所述第一曝光时间,且大于所述第三曝光时间;

所述图像融合模块用于将所述第一彩色原始图像与第二全色原始图像融合为第一中间图像,将所述第二彩色原始图像与所述第一全色原始图像融合为第二中间图像,以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像;

所述高动态范围图像处理模块用于将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像。

3.根据权利要求2所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块包括高动态范围图像处理单元及亮度映射单元;

所述高动态范围图像处理单元用于将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像;

所述亮度映射单元用于对所述第三高动态范围图像进行亮度映射以得到所述第一高动态范围图像。

4.根据权利要求2所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块包括高动态范围图像处理单元、镜头阴影校正单元及统计单元;

所述高动态范围图像处理单元用于将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像;

所述镜头阴影校正单元用于校正所述第三高动态范围图像以得到高动态范围校正图像;

所述统计单元用于处理所述高动态范围校正图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

5.根据权利要求2所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块包括统计单元,所述统计单元用于处理所述第一中间图像及所述第二中间图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

6.根据权利要求1所述的高动态范围图像处理系统,其特征在于,同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光,其余所述全色感光像素以所述第三曝光时间曝光,所述第四曝光时间小于或等于所述第一曝光时间,且大于所述第三曝光时间;

所述高动态范围图像处理模块用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像;

所述图像融合模块用于将所述第一高动态彩色原始图像与所述第一高动态全色原始图像融合为所述第一高动态范围图像。

7.根据权利要求6所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块还包括高动态范围图像处理单元及亮度映射单元;

所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像;

所述亮度映射单元用于对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像,对所述第二高动态全色原始图像进行亮度映射以得到所述第一高动态全色原始图像。

8.根据权利要求6所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块还包括高动态范围图像处理单元、镜头阴影校正单元及统计单元;

所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像;

所述镜头阴影校正单元用于校正所述第二高动态彩色原始图像以得到高动态彩色校正图像,校正所述第二高动态全色原始图像以得到高动态全色校正图像;

所述统计单元用于处理所述高动态彩色校正图像及所述高动态全色校正图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

9.根据权利要求1所述的高动态范围图像处理系统,其特征在于,同一所述子单元中的全部所述全色感光像素以第三曝光时间曝光;

所述高动态范围图像处理模块用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像;

所述图像融合模块用于将所述第一高动态彩色原始图像与所述第一全色原始图像融合为所述第一高动态范围图像。

10.根据权利要求9所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块还包括高动态范围图像处理单元及亮度映射单元;

所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像;

所述亮度映射单元用于对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像。

11.根据权利要求9所述的高动态范围图像处理系统,其特征在于,所述高动态范围图像处理模块还包括高动态范围图像处理单元、镜头阴影校正单元及统计单元;

所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像;

所述镜头阴影校正单元用于校正所述第二高动态彩色原始图像以得到高动态彩色校正图像;

所述统计单元用于处理所述高动态彩色校正图像及所述第一全色原始图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

12.根据权利要求1所述的高动态范围图像处理系统,其特征在于,所述图像融合模块及所述高动态范围图像处理模块均集成在所述图像传感器中。

13.一种高动态范围图像处理方法,用于高动态范围图像处理系统,其特征在于,所述高动态范围图像处理系统包括图像传感器,所述图像传感器包括像素阵列,所述像素阵列包括多个全色感光像素和多个彩色感光像素,所述彩色感光像素具有比所述全色感光像素更窄的光谱响应,所述像素阵列包括最小重复单元,每个所述最小重复单元包含多个子单元,每个所述子单元包括多个单颜色感光像素及多个全色感光像素;所述高动态范围图像处理方法包括:

所述像素阵列曝光,其中,对于同一所述子单元中的多个感光像素,至少一个所述单颜色感光像素以第一曝光时间曝光,至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光,至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光;其中,以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像,以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像,以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像;及

对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像,所述第一高动态范围图像包含多个彩色图像像素,多个所述彩色图像像素呈拜耳阵列排布,所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。

14.根据权利要求13所述的高动态范围图像处理方法,其特征在于,同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光,其余所述全色感光像素以所述第三曝光时间曝光,所述第四曝光时间小于或等于所述第一曝光时间,且大于所述第三曝光时间,并且以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像;所述对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像,包括:

对所述第一彩色原始图像与第二全色原始图像融合为第一中间图像,将所述第二彩色原始图像与所述第一全色原始图像融合为第二中间图像;及

将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像。

15.根据权利要求14所述的高动态范围图像处理方法,其特征在于,所述将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像包括:

将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像;及

对所述第三高动态范围图像进行亮度映射以得到所述第一高动态范围图像。

16.根据权利要求14所述的高动态范围图像处理方法,其特征在于,所述高动态范围图像处理方法,还包括:

将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像;

对所述第三高动态范围图像以得到高动态范围校正图像;及

处理所述高动态范围校正图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

17.根据权利要求14所述的高动态范围图像处理方法,其特征在于,所述高动态范围图像处理方法,还包括:

处理所述第一中间图像及所述第二中间图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

18.根据权利要求13所述的高动态范围图像处理方法,其特征在于,同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光,其余所述全色感光像素以所述第三曝光时间曝光,所述第四曝光时间小于或等于所述第一曝光时间,且大于所述第三曝光时间,并且以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像;所述对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像,包括:

将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像;及

将所述第一高动态彩色原始图像与所述第一高动态全色原始图像融合为所述第一高动态范围图像。

19.根据权利要求18所述的高动态范围图像处理方法,其特征在于,所述将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像,包括:

将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像;及

对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像,对所述第二高动态全色原始图像进行亮度映射以得到所述第一高动态全色原始图像。

20.根据权利要求18所述的高动态范围图像处理方法,其特征在于,所述将高动态范围图像处理方法,还包括:

将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像,将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像;

校正所述第二高动态彩色原始图像以得到高动态彩色校正图像,校正所述第二高动态全色原始图像以得到高动态全色校正图像;及

处理所述高动态彩色校正图像及所述高动态全色校正图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

21.根据权利要求13所述的高动态范围图像处理方法,其特征在于,同一所述子单元中的全部所述全色感光像素以第三曝光时间曝光;所述对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像,包括:

将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像;及

将所述第一高动态彩色原始图像与所述第一全色原始图像融合为所述第一高动态范围图像。

22.根据权利要求21所述的高动态范围图像处理方法,其特征在于,所述将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像,包括:

将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像;及

对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像。

23.根据权利要求21所述的高动态范围图像处理方法,其特征在于,所述高动态范围图像处理方法,还包括:

将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像;

校正所述第二高动态彩色原始图像以得到高动态彩色校正图像;及

处理所述高动态彩色校正图像及所述第一全色原始图像以获得统计数据,所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。

24.一种电子设备,其特征在于,包括:

镜头;

壳体;及

权利要求1至12任意一项所述的高动态范围图像处理系统,所述镜头、所述高动态范围图像处理系统与所述壳体结合,所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。

25.一种包含计算机程序的非易失性计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行权利要求13至23任意一项所述的高动态范围图像处理方法。


技术总结
本申请公开了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备和非易失性计算机可读存储介质。高动态范围图像处理系统包括图像传感器、图像融合模块和高动态范围图像处理模块。图像传感器中的像素阵列曝光。其中,同一子单元中至少一个单颜色感光像素以第一曝光时间曝光,至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光,至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光。图像融合模块和高动态范围图像处理模块用于对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理及融合算法处理以得到第一高动态范围图像。

技术研发人员:杨鑫
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2020.04.03
技术公布日:2020.07.31
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1