图像颜色校正方法、装置、存储介质与电子设备与流程

文档序号:31627071发布日期:2022-09-24 00:54阅读:53来源:国知局
1.本公开涉及计算机视觉
技术领域
:,尤其涉及一种图像颜色校正方法、图像颜色校正装置、计算机可读存储介质与电子设备。
背景技术
::2.对图像进行颜色校正通常应用于图像美化,图像成像等场景,通过对图像进行颜色校正,可以使图像呈现更好的视觉效果,使得图像在屏幕中的显示效果与人眼保持一致,或者使图像达到理想显示效果,例如,可以通过对图像进行颜色校正,使得图像中蓝天的颜色更蓝,达到美化图像的目的。3.相关技术中,通常只对需要进行颜色校正的图像区域进行调色处理,以实现对图像的颜色校正;然而,该方法容易使得校正后的图像颜色不均匀,,导致图像颜色校正效果较差。技术实现要素:4.本公开提供了一种图像颜色校正方法、图像颜色校正装置、计算机可读存储介质与电子设备,进而至少在一定程度上改善图像颜色校正效果差的问题。5.本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。6.根据本公开的第一方面,提供一种图像颜色校正方法,包括:获取目标图像以及通过多个光谱传感器采集的多个检测区域的光谱数据;每个光谱传感器对应一个检测区域,每个检测区域对应所述目标图像中的一个子区域;通过对所述每个检测区域的光谱数据进行解析,得到所述每个检测区域对应的每个子区域的局部光照数据;所述局部光照数据用于表征所述子区域的局部光照条件;根据所述每个子区域的局部光照数据,确定所述每个子区域的目标颜色校正参数;利用所述每个子区域的目标颜色校正参数对所述目标图像进行颜色校正。7.根据本公开的第二方面,提供一种图像颜色校正装置,包括:数据获取模块,被配置为获取目标图像以及通过多个光谱传感器采集的多个检测区域的光谱数据;每个光谱传感器对应一个检测区域,每个检测区域对应所述目标图像中的一个子区域;光谱数据解析模块,被配置为通过对所述每个检测区域的光谱数据进行解析,得到所述每个检测区域对应的每个子区域的局部光照数据;所述局部光照数据用于表征所述子区域的局部光照条件;目标颜色校正参数确定模块,被配置为根据所述每个子区域的局部光照数据,确定所述每个子区域的目标颜色校正参数;颜色校正模块,被配置为利用所述每个子区域的目标颜色校正参数对所述目标图像进行颜色校正。8.根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的图像颜色校正方法及其可能的实现方式。9.根据本公开的第四方面,提供一种电子设备,包括:处理器;存储器,用于存储所述处理器的可执行指令。其中,所述处理器配置为经由执行所述可执行指令,来执行上述第一方面的图像颜色校正方法及其可能的实现方式。10.本公开的技术方案具有以下有益效果:11.本公开首先获取了需要进行颜色校正的目标图像以及多个光谱传感器所采集的目标图像子区域的光谱数据,再根据每个子区域的光谱数据获取每个子区域的局部光照数据,基于每个子区域的局部光照数据对目标图像进行颜色校正。一方面,本公开根据每个子区域的局部光照数据获取每个子区域的目标颜色校正参数,再根据每个子区域的目标颜色校正参数对目标图像进行颜色校正,增强了目标图像中各子区域的色彩融合度,提高了校正后的目标图像的色调一致性;另一方面,本公开基于目标图像的每个子区域进行颜色校正处理,提高了图像颜色校正精确度,使得校正后的图像各子区域间颜色过渡均匀,进一步改善了用户的视觉体验。12.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明13.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。14.图1示出一种刘海遮挡面部的示意图;15.图2示出本示例性实施方式运行环境的系统架构;16.图3示出本示例性实施方式中一种图像颜色校正方法的流程示意图;17.图4示出本示例性实施方式中检测区域的示意图;18.图5示出本示例性实施方式中获取目标颜色校正参数的过程示意图;19.图6示出本示例性实施方式中计算参考喜好颜色校正参数的过程示意图;20.图7示出本示例性实施方式中根据目标颜色校正参数进行颜色校正的过程示意图;21.图8示出本示例性实施方式中一种图像颜色校正的流程图;22.图9示出本示例性实施方式中一种图像颜色校正装置的结构示意图;23.图10示出本示例性实施方式中一种摄像模组的结构示意图;24.图11a示出传统拜耳阵列排布的示意图;25.图11b示出四拜耳阵列排布的示意图;26.图12示出本示例性实施方式中一组光谱分光器与一组光谱传感器的示意图;27.图13示出本示例性实施方式中光谱传感器的排布阵列示意图;28.图14示出本示例性实施方式中光源分布与窗口划分的示意图;29.图15a示出对参考图像进行全局颜色校正处理后的图像;30.图15b示出对参考图像进行局部颜色校正处理后的图像;31.图16示出本示例性实施方式中3×3提取模板的示意图;32.图17示出本示例性实施方式中另一种摄像模组的结构示意图;33.图18示出本示例性实施方式中一种电子设备的结构示意图;34.图19示出本示例性实施方式中一种移动终端的结构示意图。具体实施方式35.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。36.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。37.相关技术中,通常在图像中提取出需要进行颜色校正的区域在yuv域进行调色处理,从而实现对图像颜色的校正;例如,可以将图像中的蓝天、绿色植物,以及人物肤色等从图像中提取后调色。38.然而,当从图像中所提取的被校正区域轮廓不精确,在对图像进行调色后,容易使得图像中的颜色过渡不均匀,例如,如图1所示,当需要对有刘海的面部进行肤色调整时,若无法将未被刘海遮挡的面部完全提取,则会导致调色后的刘海处肤色不均。由于相关技术中将需要进行颜色校正的区域提取后进行调色处理,可能会使得图像中被调色区域与未调色区域的色调出现明显差别,降低被调色区域与未调色区域的融合度,从而导致图像颜色校正的效果较差,降低了用户的视觉体验度。39.鉴于上述一个或多个问题,本公开示例性实施方式首先提供一种图像颜色校正方法。下面结合图2对本示例性实施方式运行环境的系统架构进行说明。40.参考图2所示,系统架构200可以包括终端设备210和服务器220。终端设备210可以是智能手机、平板电脑、相机等电子设备,终端设备210可以包括多个光谱传感器,该多个光谱传感器可以集成于终端设备210的摄像模组中,用于采集目标图像的光谱数据。服务器220泛指提供本示例性实施方式中图像颜色校正相关服务的后台系统,如可以是实现图像颜色校正方法的服务器。服务器220可以是一台服务器或多台服务器形成的集群,本公开对此不做限定。终端设备210与服务器220之间可以通过有线或无线的通信链路形成连接,以进行数据交互。41.在一种实施方式中,终端设备210可以首先获取到目标图像,以及由多个光谱传感器所采集的多个检测区域的光谱数据,其中,每个光谱传感器对应获取一个检测区域的光谱数据,每个检测区域对应目标图像中的一个子区域;根据每个检测区域的光谱数据得到目标图像中每个子区域的局部光照数据;再根据每个子区域的局部光照数据确定每个子区域的目标颜色校正参数;最后利用颜色校正参数对目标图像进行颜色校正。42.在一种实施方式中,可以由终端设备210获取到目标图像以及多个检测区域的光谱数据后,将目标图像与光谱数据发送至服务器220,服务器220接收到终端设备210发送的多个检测区域的光谱数据后,根据每个检测区域的光谱数据得到目标图像中每个子区域的局部光照数据;再根据每个子区域的局部光照数据确定每个子区域的目标颜色校正参数;最后利用颜色校正参数对目标图像进行颜色校正。43.由上可知,本示例性实施方式中的图像颜色校正方法可以由上述终端设备210或服务器220执行。44.下面结合图3对图像颜色校正方法进行说明。图3示出了图像颜色校正方法的示例性流程,包括以下步骤s310至s340:45.步骤s310,获取目标图像以及通过多个光谱传感器采集的多个检测区域的光谱数据;每个光谱传感器对应一个检测区域,每个检测区域对应目标图像中的一个子区域;46.步骤s320,通过对每个检测区域的光谱数据进行解析,得到每个检测区域对应的每个子区域的局部光照数据;局部光照数据用于表征子区域的局部光照条件;47.步骤s330,根据每个子区域的局部光照数据,确定每个子区域的目标颜色校正参数;48.步骤s340,利用每个子区域的目标颜色校正参数对目标图像进行颜色校正。49.基于上述方法,一方面,本公开根据每个子区域的局部光照数据获取每个子区域的目标颜色校正参数,再根据每个子区域的目标颜色校正参数对目标图像进行颜色校正,增强了目标图像中各子区域的色彩融合度,提高了校正后的目标图像的色调一致性;另一方面,本公开基于目标图像的每个子区域进行颜色校正处理,提高了图像颜色校正精确度,使得校正后的图像各子区域间颜色过渡均匀,进一步改善了用户的视觉体验。50.下面对图3中的每个步骤进行具体说明。51.参考图3,在步骤s310中,获取目标图像以及通过多个光谱传感器采集的多个检测区域的光谱数据;每个光谱传感器对应一个检测区域,每个检测区域对应目标图像中的一个子区域。52.其中,目标图像可以是需要进行颜色校正的图像,可以包括一种或多种光源,目标图像可以是终端设备310中已存储的图像,也可以是由成像设备拍摄的图像,本公开对目标图像的来源不作特殊限定,例如,目标图像可以是手机相册中存储的图像。53.光谱传感器可以是用于采集目标图像的光谱数据的传感器,该光谱传感器的系统结构可以包括光学部分和控制/显示部分。其中,光学部分可以包括成像光学元件和利用分光镜划分光谱的分光元件划分光谱时,通常需要用到探测器,因此,光谱传感器通常包括多个探测器,用于探测图像中的多种光谱;而图像中的每种光谱可以对应于图像中的一个通道。本公开对光谱传感器可以探测的光谱波段不作特殊限定,例如,该光谱传感器可以包括一个像素和七个探测器,该七个探测器总共可覆盖的光谱的波长范围可以是350~1000nm,该七个探测器可以探测主波长为430nm,450m,500nm,530nm,575nm,650nm,850nm,半波宽至少在20nm以上的七种光谱;因此,该光谱传感器可以基于目标图像中的一个像素点进行分光处理,以获取该像素点七个通道的光谱数据。54.在一种实施方式中,可以采用多个光谱传感器进行组合以获取对整个目标图像的光谱数据。本公开对多个光谱传感器的个数和排列方式不作特殊限定,例如,可以将多个光谱传感器按照六行八列的方式排列以获取整个目标图像的光谱数据。55.在一种实施方式中,可以根据目标图像中所拍摄的的目标类别确定光谱传感器的数量和组合方式,例如,当目标图像中所拍摄的目标类别是人的面部时,由于面部的皮肤部分在整个目标图像中占比通常较低,可以使用更多的光谱传感器进行组合,以得到更多的检测区域对目标图像进行更精细的划分,从而获取到精度更高的光谱数据,例如,可以按照8*10,11*13等其他组合方式对光谱传感器进行组合,以获取精度更高的光谱数据。在本示例性实施方式中,当目标图像中所拍摄的目标类别是蓝天,夕阳等在目标图像中面积占比较高且颜色相近的对象时,则可以适当减少光谱传感器的使用,例如,可以将多个光谱传感器按照4*3的分布方式进行排列采集目标图像的光谱数据。56.光谱数据可以是光谱传感器根据对应的目标图像的子区域所采集的光谱分布数据。本公开对光谱数据的具体内容不作特殊限定,在一种实施方式中,光谱数据可以包括单光谱数据和多光谱数据;在生成多光谱数据时,光谱传感器可以对应多个探测器,每个探测器可以探测到检测区域中不同波段的光谱,该不同波段的光谱可以组成该检测区域中的多光谱数据。57.此外,光谱传感器还可以用于光谱相机,光谱相机可以覆盖的光谱波段更广泛,可以探测的光谱种类更多,例如,光谱相机覆盖的波段可以是300nm~2000nm,可以探测的光谱种类为6~40种,其分辨率可以低于上述图像传感器,但是大于网络主屏分辨率(quartervideographicsarray,qvga)。58.上述检测区域是光谱传感器所检测的图像区域,在一种实施方式中,每个光谱传感器可以采集其对应的检测区域的光谱数据。本公开对检测区域的形状、大小、排列方式及个数不作特殊限定。59.上述目标图像的子区域是目标图像的一部分,例如,可以将目标图像划分为64*48个子区域以进行颜色校正。本公开对子区域的形状、大小、排列方式及个数不作特殊限定。在一种实施方式中,每个检测区域对应目标图中的一个子区域。例如,可以将48个光谱传感器按照6*8的方式排列,可以将该48个按照6*8的分布光谱传感器近似成为一个有6*8个像素,且视角为120度的光谱相机。本示例性实施方式中,可以使用多摄对齐的技术进行视角标定,例如,可以使每个光谱传感器的检测区域与成像传感器的像素对应,以实现光谱传感器的检测区域对应目标图像中的一个子区域,如图4所示,可以根据该检测区域的分布将目标图像划分为48个子区域,每个检测区域对应目标图像中的一个子区域,因此,每个光谱传感器可以对应检测一个子区域的光谱分布情况。60.继续参考图3,在步骤s320中,通过对每个检测区域的光谱数据进行解析,得到每个检测区域对应的每个子区域的局部光照数据;局部光照数据用于表征子区域的局部光照条件;61.其中,局部光照数据可以是每个子区域的光源分析结果,例如,局部光照数据可以说是色温(correlatedcolortemperature,cct)或色偏差值(duv)等其他可以表征子区域局部光照条件的指标值,或是多种表征局部光照条件的指标值的组合,本公开对局部光照数据的具体内容不作特殊限定。在一种实施方式中,目标图像中每个子区域的局部光照数据可以包括对应的目标图像中每个子区域的色温(correlatedcolortemperature,cct),可以对每个检测区域的光谱数据进行解析,根据光谱数据的解析结果得到每个子区域的色温,作为子区域的局部光照数据。62.在获取到每个子区域的局部光照数据后,继续参考图3,可以在步骤s330中,根据每个子区域的局部光照数据,确定每个子区域的目标颜色校正参数;63.其中,目标颜色校正参数可以是对图像进行颜色校正的依据,本公开对目标颜色校正参数的具体内容不作特殊限定,例如,目标颜色校正参数可以包括颜色校正矩阵(colorcorrectionmatrix,ccm)中的一种或多种,颜色校正矩阵通常是3*3的矩阵,其特点是每行的三个系数相加的结果需要保持为1,其作用是在灰度值不变的情况下,将一组rgb值转换为另一组rgb值;目标颜色校正参数还可以包括3dlut(look-up-table),基于色调饱和值(huesaturationvalue,hsv)的2dlut以及基于lab色域的椭圆模型等其他颜色参数。在一种实施方式中,可以根据局部光照数据获取每个子区域的ccm,以作为每个子区域的目标颜色校正参数。在一种实施方式中,还可以根据所有局部光照数据的均值获取目标图像的全局ccm,再将目标图像的每个子区域的ccm和全局ccm加权融合的结果作为目标颜色校正参数。64.在一种实施方式中,上述根据每个子区域的局部光照数据,确定每个子区域的目标颜色校正参数,如图5所示,可以包括下述步骤s510~s520:65.步骤s510,对于任一子区域i,根据子区域i中的拍摄目标的类别与子区域i的局部光照数据,获取拍摄目标在子区域i的局部光照条件下对应的喜好颜色校正参数,以作为子区域i的喜好颜色校正参数;66.步骤s520,基于子区域i中的拍摄目标的占比,对常规颜色校正参数与子区域i的喜好颜色校正参数进行融合,得到子区域i的目标颜色校正参数。67.本文中,以子区域i表示目标图像中的任一子区域。68.其中,上述拍摄目标的类别是目标图像中主要拍摄的对象,本公开对拍摄目标的具体类别和类别个数不作特殊限定,例如,拍摄目标的类别可以是蓝天,人脸等其他对象。69.喜好颜色可以是在色卡中对拍摄目标的类别所偏向的色块进行亮度适配后的颜色;例如,拍摄目标的类别为蓝天时,其偏向的色块可以是蓝色块;当拍摄目标的类别为绿植时,其偏向的色块为绿色快。本公开对喜好颜色的获取方式不作特殊限定。喜好颜色校正参数是基于喜好颜色和局部光照数据得到的颜色校正参数,本公开对喜好颜色校正参数的具体内容不作特殊限定,例如,喜好颜色校正参数可以是ccm,3dlut或2dlut。70.在一种实施方式中,如图6所示,可以根据下述步骤s610~s620基于喜好颜色计算参考喜好颜色校正参数。71.步骤s610,以喜好颜色替换标准色卡中喜好颜色对应的标准颜色,得到喜好色卡72.步骤s620,基于喜好色卡的理论颜色与喜好色卡在参考光照条件下的实际拍摄颜色,计算参考喜好颜色校正参数。73.其中,上述喜好色卡可以是用喜好颜色替换标准色卡中的标准颜色所得到的色卡,标准色卡可以包括24色卡,sg色卡等其他色卡,本公开对生成喜好色卡所使用的标准色卡不作特殊限定。74.参考光照条件可以包括上述局部光照数据所表征的局部光照条件中的一个或多个,本公开对参考光照条件的获取方式不作特殊限定。在一种实施方式中,可以根据目标图像中拍摄目标出现的状态从局部光照条件中选取参考光照条件,例如,当拍摄目标是蓝天,局部光照数据可以包括每个子区域的cct时,则根据蓝天通常出现在日光状态下,可以选择7500k,6500k,5500k,5000k,4500k,3800k这六种表征日光条件的cct作为参考光照条件。75.参考喜好颜色校正参数是基于参考光照条件生成的喜好颜色校正参数,可以基于每个参考光照条件对应生成一个参考喜好颜色校正参数,本公开对参考喜好颜色校正参数的具体内容不作特殊限定,例如,参考喜好颜色校正参数可以是ccm,3dlut等颜色指标值。在一种实施方式中,参考颜色校正参数可以包括基于参考光照条件和喜好颜色生成的ccm,例如,可以在7500k的参考光照条件下,对拍摄目标为蓝天的目标图像求取ccm,以作为该目标图像的参考喜好颜色校正参数。76.在步骤s610中,以喜好颜色替换标准色卡中喜好颜色对应的标准颜色,得到喜好色卡。在一种实施方式中,可以使用24色卡作为标准色卡,参考光照条件可以是cct为5000k,拍摄目标的类别可以是蓝天,则喜好颜色可以是蓝天在5000k光源下达到理想显示效果时对应的rgb值;在本示例性实施方式中,可以首先在5000k的光源下获取24色卡中灰色块的rgb值,根据公式0.3r+0.6g+0.1b=y得到归一化亮度系数y;根据拍摄目标的类别蓝天在5000k光源下对应的rgb目标值(13,34,135)确定24色卡中需要被替换的色块为蓝色块,在24色卡中根据5000k光源下蓝色块的rgb值得到归一化亮度系数y1,根据y与y1的比值得到归一化系数a;根据归一化系数a和蓝色块的rgb值的乘积确定喜好颜色,将24色卡中原有的蓝色块替换为喜好颜色,以得到喜好色卡。77.获取到喜好色卡后,在步骤s620中,基于喜好色卡的理论颜色与喜好色卡在参考光照条件下的实际拍摄颜色,计算参考喜好颜色校正参数。在一种实施方式中,可以选取喜好色卡中部分色卡的rgb值作为理论颜色,将喜好色卡在参考光照条件下的实际拍摄的颜色的rgb值作为原始颜色,根据理论颜色与原始颜色的商确定颜色校正矩阵,以作为参考喜好颜色校正参数。例如,参考光照条件可以是5000k,拍摄目标可以是蓝天,所用到的色卡可以是上述24色卡,则可以选取24色卡中的前18个彩色的rgb值作为理论颜色矩阵;将5000k光照条件下拍摄的24色卡经过去阴影处理,白平衡处理,以及解马赛克处理后得到原始色卡,在原始色卡中选取前18个彩色的rgb值作为原始颜色矩阵;再根据理论颜色矩阵和原始颜色矩阵的商得到ccm,以作为参考喜好颜色校正参数;可以通过最小二乘法或其他计算方法求取两个矩阵的除法运算结果。78.在一种实施方式中,上述根据子区域i中的拍摄目标的类别与子区域i的局部光照数据,获取拍摄目标在子区域i的局部光照条件下对应的喜好颜色校正参数,以作为子区域i的喜好颜色校正参数,可以包括下述步骤:79.根据子区域i的局部光照数据与参考光照数据的关系,从拍摄目标的参考喜好颜色校正参数中选取子区域i的喜好颜色校正参数,或者根据拍摄目标的多组参考喜好颜色校正参数计算子区域i的喜好颜色校正参数;参考喜好颜色校正参数用于将拍摄目标的颜色校正为拍摄目标在参考光照数据所表征的参考光照条件下的喜好颜色。80.其中,参考光照数据可以包括局部光照数据中的一个或多个,每个参考光照数据可以表征一个子区域的参考光照条件,可以基于每个参考光照条件对应生成一个喜好颜色校正参数,以作为参考喜好颜色校正参数。本公开对参考光照数据的选取方式不作特殊限定。81.在一种实施方式中,可以在得到目标图像中每个子区域的局部光照数据后,根据目标图像中拍摄目标的类别从局部光照数据中挑选一个或多个作为参考光照数据,再根据参考光照数据获取对应的参考喜好颜色校正参数;当目标图像中的子区域的局部光照数据低于参考光照数据中的最小值,可以采用参考光照数据最小值对应的参考喜好颜色校正参数作为该子区域的喜好颜色校正参数;当目标图像中的子区域的局部光照数据高于参考光照数据中的最大值,可以采用参考光照数据最大值对应的参考喜好颜色校正参数作为该子区域的喜好颜色校正参数;当目标图像中的子区域的局部光照数据处于参考光照数据中的最小值与最大值之间时,可以采用与该子区域的局部光照数据接近的参考光照数据对应的参考喜好颜色校正参数的插值运算结果作为该子区域的喜好颜色校正参数82.举例而言,当拍摄目标为蓝天时,由于蓝天通常出现在日光下,因此可以在局部光照数据中选取7500k,6500k,5500k,5000k,4500k,3800k作为参考光照数据,以求取对应的参考喜好颜色校正参数,其中参考光照数据的最大值为7500k,最小值为3800k;在目标图像中,当某个子区域的的局部光照数据为4000k,处于3800k和4500k之间,则该子区域的喜好颜色校正参数可以根据3800k和4500k对应的两个喜好颜色校正参数的插值运算结果确定;当某个子区域的的局部光照数据为7800k,高于参考光照数据中的最大值7500k,则直接使用7500k对应的参考喜好颜色校正参数作为该子区域的喜好颜色校正参数;当某个子区域的的局部光照数据为3000k,低于参考光照数据中的最小值3800k,则直接使用3800k对应的参考喜好颜色校正参数作为该子区域的喜好颜色校正参数,由此可以获取目标图像中每个子区域的喜好颜色校正参数。83.在一种实施方式中,参考光照数据还可以根据局部光照数据的范围进行确定,例如,局部光照数据的范围可以是3500k~7500k,则可以根据局部光照数据的范围确定参考光照数据为3500k,4500k,5500k,6500k,7500k。84.获取目标图像中每个子区域的喜好颜色校正参数后,在步骤s520中,可以基于子区域i中的拍摄目标的占比,对常规颜色校正参数与子区域i的喜好颜色校正参数进行融合,得到子区域i的目标颜色校正参数。85.其中,上述拍摄目标的占比可以是目标图像子区域中拍摄目标的一部分对于整个子区域的占比,本公开对拍摄目标在子区域中所占据的像素点的计算方式不作特殊限定,例如,可以直接计算拍摄目标在子区域中占据的像素点,也可以对目标图像中的拍摄目标覆盖图像掩膜,再根据图像掩膜覆盖区域的像素点计算每个子区域中拍摄目标的占比。86.在一种实施方式中,上述常规颜色校正参数包括全局常规颜色校正参数与局部常规颜色校正参数,在本示例性实施方式中,常规颜色校正参数和上述喜好颜色校正参数属于同一种颜色校正参数,只是计算方法不同,可以根据下述步骤计算全局常规颜色校正参数与局部常规颜色校正参数:87.根据每个子区域的局部光照数据,确定目标图像的全局光照数据;88.基于标准色卡的理论颜色与标准色卡在全局光照数据所表征的全局光照条件下的实际拍摄颜色,计算目标图像的全局常规颜色校正参数;89.基于标准色卡的理论颜色与标准色卡在子区域i的局部光照条件下的实际拍摄颜色,计算子区域i的局部常规颜色校正参数。90.在一种实施方式中,可以根据目标图像中所有子区域的局部光照数据的均值确定目标图像的全局光照数据,还可以根据目标图像中所有子区域的局部光照数据的插值运算结果确定上述全局光照数据,本公开对全局光照数据的获取方式不作特殊限定。91.本示例性实施方式中,获取到目标图像的全局光照数据后,可以基于标准色卡,如24色卡中部分彩色色卡的rgb值,以及全局光照条件下实际拍摄的标准色卡中部分彩色色卡的rgb值分布确定理论颜色和实际拍摄颜色,再根据理论颜色和实际拍摄颜色确定全局常规颜色校正参数;可以根据标准色卡的理论颜色,以及标准色卡在每个子区域的局部光照条件下所拍摄的色卡的实际拍摄颜色确定每个子区域的局部常规颜色校正参数。92.例如,当拍摄目标为蓝天,局部光照数据为cct,颜色校正参数为ccm时,全局光照数据可以是目标图像中所有子区域的cct的均值,如全局光照数据可以是4800k,当某一子区域的局部光照数据为4300k时,则可以首先根据参考光照数据4500k,3800k所对应的参考喜好色校正参数确定该子区域的喜好色校正参数;根据全局光照数据4800k和24色卡确定该子区域的全局常规颜色校正参数;根据该子区域的局部光照数据4300k和24色卡确定该子区域的局部常规颜色校正参数。93.在一种实施方式中,上述基于子区域i中的拍摄目标的占比,对常规颜色校正参数与子区域i的喜好颜色校正参数进行融合,得到子区域i的目标颜色校正参数,可以包括下述步骤:94.若子区域i中的拍摄目标的占比高于预设比例阈值,则将全局常规颜色校正参数与子区域i的喜好颜色校正参数进行加权融合,得到子区域i的目标颜色校正参数;95.若子区域i中的拍摄目标的占比低于预设比例阈值,则根据子区域i中的拍摄目标的占比确定全局常规颜色校正参数的权重、子区域i的局部常规颜色校正参数的权重与子区域i的喜好颜色校正参数的权重,将全局常规颜色校正参数、子区域i的局部常规颜色校正参数与子区域i的喜好颜色校正参数进行加权融合,得到子区域i的目标颜色校正参数。96.其中,上述预设比例阈值可以是一个百分数,表示某一子区域中拍摄目标所占据的像素点的比例,本公开对预设比例阈值的具体数值不作特殊限定,例如,预设比例阈值可以是5%等其他百分数。97.在本示例性实施方式中,当子区域i中的拍摄目标的占比高于预设比例阈值,可以将全局常规颜色校正参数与子区域i的喜好颜色校正参数以及局部常规颜色校正参数进行加权融合,本公开对多种颜色校正参数进行加权融合的具体权重不作特殊限定,例如,可以使全局常规颜色校正参数与子区域i的喜好颜色校正参数的融合权重都设为50%,以获取目标颜色校正参数;此外,本公开对多种颜色校正参数的融合方式不作特殊限定,例如,可以对多种颜色校正参数进行插值运算实现多种颜色校正参数的融合,以获取目标颜色校正参数。98.在一种实施方式中,在将全局常规颜色校正参数与子区域i的喜好颜色校正参数进行加权融合,或者将全局常规颜色校正参数、子区域i的局部常规颜色校正参数与子区域i的喜好颜色校正参数进行加权融合时,全局常规颜色校正参数的权重固定为预设权重,本公开对预设权重的具体数值不作特殊限定,如,预设权重可以是50%或其他权重数值。在本示例性实施方式中,将全局常规颜色校正参数的权重固定为预设权重可以确保校正后的目标图像中各子区域间颜色过渡均匀。99.在一种实施方式中,当子区域i中的拍摄目标的占比低于预设比例阈值,则可以根据子区域i中的拍摄目标的占比确定全局常规颜色校正参数的权重、子区域i的局部常规颜色校正参数的权重与子区域i的喜好颜色校正参数的权重,在本示例性实施方式中,全局常规颜色校正参数的权重可以为预设权重50%;子区域i的喜好颜色校正参数的权重和局部常规颜色校正参数的权重可以根据子区域i中的拍摄目标的占比确定,子区域i的喜好颜色校正参数的权重可以在0~50%间浮动,当子区域i中的拍摄目标的占比为0时,则该子区域喜好颜色校正参数的权重可以为0,当子区域i中的拍摄目标的占比大于预设比例阈值时,该子区域喜好颜色校正参数的权重可以设置为50%,以防止拍摄目标的漏检;该子区域局部常规颜色校正参数的权重为扣除全局常规颜色校正参数的权重与该子区域喜好颜色校正参数的权重之后的剩余权重。100.例如,预设比例阈值可以设置为5%,目标图像中某子区域的拍摄目标占比为3%,低于预设比例阈值,则该子区域中全局常规颜色校正参数的权重可以为预设权重50%,该子区域的喜好颜色校正参数的权重可以为30%,该子区域中局部常规颜色校正参数的权重可以是1-50%-30%=20%,则该子区域的目标颜色校正参数可以是对50%的全局常规颜色校正参数,30%的该子区域的喜好颜色校正参数以及20%的该子区域的局部常规颜色校正参数进行插值运算的结果。101.由于目标图像中每个子区域的目标颜色校正参数都是基于每个子区域的局部光照信息得到,避免了现有技术中只对拍摄目标进行颜色校正而出现的校正效果差的问题,使得校正后的目标图像色调一致,且提高了目标图像中的拍摄目标与其周围环境的融合度。102.继续参考图3,获取到每个子区域的目标颜色校正参数后,在步骤s340,可以利用每个子区域的目标颜色校正参数对目标图像进行颜色校正。103.在一种实施方式中,如图7所示,上述利用每个子区域的目标颜色校正参数对目标图像进行颜色校正,可以包括下述步骤s710~s730:104.步骤s710,将每个子区域的目标颜色校正参数分别作为每个子区域内的参考点的目标颜色校正参数;105.步骤s720,通过对相邻的子区域内的参考点的目标颜色校正参数进行插值,得到目标图像中每个像素点的目标颜色校正参数;106.步骤s730,利用每个像素点的目标颜色校正参数对目标图像进行颜色校正。107.其中,参考点可以是目标图像中子区域的某个像素点,本公开对参考点具体位置不作特殊限定,例如,参考点可以是目标图像子区域的中心像素的像素点。108.在一种实施方式中,获取到每个子区域的目标颜色校正参数后,可以将每个子区域的目标颜色校正参数作为子区域的中心像素的目标颜色校正参数,再根据相邻子区域的中心像素的目标颜色校正参数的插值运算结果确定目标图像中每个像素点的目标颜色校正参数,最后基于每个像素的的目标颜色校正参数对目标图像进行颜色校正,可以使得校正后的目标图像子区域间颜色过渡均匀,避免子区域间的颜色出现分层现象。109.基于上述方法,本公开增强了目标图像中的拍摄目标所在子区域与其他子区域的融合度,提高了图像颜色校正精确度,使得校正后的图像颜色过渡均匀,改善了用户的视觉体验。110.在一种实施方式中,本公开的图像颜色校正方法的一种示例性流程如图8所示,可以根据步骤s801~s812对目标图像进行颜色校正。111.步骤s801,获取目标图像;112.步骤s802,将多个光谱传感器的检测区域与目标图像的子区域一一对应;113.步骤s803,光谱传感器采集对应的检测区域的光谱数据;114.步骤s804,解析光谱数据,以获取目标图像中每个子区域的局部光照数据;115.步骤s805,根据每个子区域的局部光照数据和拍摄目标类别确定参考光照数据所对应的子区域的参考喜好颜色校正参数;116.步骤s806,根据任一子区域的局部光照数据与参考光照数据的关系确定任一子区域的喜好颜色校正参数;117.步骤s807,计算目标图像的全局常规颜色校正参数和局部常规颜色校正参数;118.步骤s808,任一子区域中的拍摄目标的占比是否低于预设比例阈值;若是,跳转至步骤s809,否则,跳转至步骤s810;119.步骤s809,根据任一子区域中的拍摄目标的占比确定全局常规颜色校正参数的权重、任一子区域的局部常规颜色校正参数的权重与任一子区域的喜好颜色校正参数的权重;120.步骤s810,将全局常规颜色校正参数与任一子区域的喜好颜色校正参数进行加权融合,得到任一子区域的目标颜色校正参数;121.步骤s811,将全局常规颜色校正参数、任一子区域的局部常规颜色校正参数与任一子区域的喜好颜色校正参数进行加权融合,得到任一子区域的目标颜色校正参数;122.步骤s812,利用每个子区域的目标颜色校正参数对目标图像进行颜色校正。123.在一种实施方式中,上述目标图像的拍摄目标可以属于蓝天类别,上述颜色校正参数可以是ccm,上述每个子区域的局部光照数据可以是cct,则可以通过本公开的图像颜色校正方法对该目标图像进行颜色校正。124.可以使用分布方式为6*8的多个光谱传感器获取目标图像每个检测区域对应的光谱数据,其中每个检测区域对应目标图像中的一个子区域;使用图像掩膜覆盖目标图像中的拍摄目标;解析每个检测区域的光谱数据,以获取目标图像中每个子区域的cct;由于拍摄目标属于蓝天类别,且蓝天通常出现在日光下,因此选取的参考光照数据为7500k,6500k,5500k,5000k,4500k,3800k;再基于每个参考光照数据生成对应的参考喜好颜色校正参数,以5000k的光照条件为例,可以首先在5000k的光源下获取24色卡中灰色块的rgb值,根据公式0.3r+0.6g+0.1b=y得到归一化亮度系数y;根据拍摄目标的类别蓝天在5000k光源下对应的rgb目标值(13,34,135)确定24色卡中需要被替换的色块为蓝色块,在24色卡中根据5000k光源下蓝色块的rgb值得到归一化亮度系数y1,根据y与y1的比值得到归一化系数a;根据归一化系数a和蓝色块的rgb值的乘积确定喜好颜色,将24色卡中原有的蓝色块替换为喜好颜色,以得到喜好色卡;再选取喜好色卡中的前18个彩色的rgb值作为目标颜色矩阵dstrgb;将5000k光照条件下拍摄的原始的24色卡经过去阴影处理,白平衡处理,以及解马赛克处理后得到原始色卡,在原始色卡中选取前18个彩色的rgb值作为原始颜色矩阵srcrgb;根据最小二乘法计算公式m*srcrgb=dstrgb中的m矩阵,m矩阵即为5000k光照条件下对应的参考喜好颜色校正参数。125.在获取到六个参考光照数据对应的六个参考喜好颜色校正参数后,当目标图像中的子区域的局部光照数据大于7500k时,可以将7500k光照条件对应的参考喜好颜色校正参数作为该子区域的喜好颜色校正参数;当目标图像中的子区域的局部光照数据小于3800k时,可以将3800k光照条件对应的参考喜好颜色校正参数作为该子区域的喜好颜色校正参数;当目标图像中的子区域的局部光照数据处于3800k~7500k之间时,可以将该子区域的局部光照数据相近的参考光照数据对应的参考喜好颜色校正参数的插值运算结果作为该子区域的喜好颜色校正参数。126.在获取到每个子区域的颜色校正参数后,可以根据所有子区域的cct的均值获取全局光照数据,基于全局光照数据获取全局常规颜色校正参数;根据每个子区域的cct获取每个子区域的局部颜色校正参数。127.然后计算目标图像中每个子区域中图像掩膜的占比,当某个子区域中图像掩膜的占比高于5%时,将全局常规颜色校正参数固定占比50%,以及该区域的喜好颜色校正参数占比50%的插值运算结果作为该子区域的目标颜色校正参数;当某个子区域中图像掩膜的占比低于5%时,全局常规颜色校正参数固定占比50%,该子区域的喜好颜色校正参数和该子区域的局部常规颜色校正参数共占比剩余的50%,对加权后的全局常规颜色校正参数,该子区域的喜好颜色校正参数和该子区域的局部常规颜色校正参数进行插值运算,以得到该子区域的目标颜色校正参数。128.根据上述方法得到目标图像中每个子区域的目标颜色校正参数后,可以将每个子区域的目标颜色校正参数作为每个子区域的中心像素点的目标颜色校正参数;再根据相邻子区域的中心像素点的目标颜色校正参数的插值运算结果确定目标图像中其余像素点的目标颜色校正参数;最后根据目标图像所有像素点的目标颜色校正参数对整个目标图像进行颜色校正,以获取颜色校正后的目标图像。129.本公开的示例性实施方式还提供一种图像颜色校正装置。如图9所示,该图像颜色校正装置900可以包括:130.数据获取模块910,被配置为获取目标图像以及通过多个光谱传感器采集的多个检测区域的光谱数据;每个光谱传感器对应一个检测区域,每个检测区域对应目标图像中的一个子区域;131.光谱数据解析模块920,被配置为通过对每个检测区域的光谱数据进行解析,得到每个检测区域对应的每个子区域的局部光照数据;局部光照数据用于表征子区域的局部光照条件;132.目标颜色校正参数确定模块930,被配置为根据每个子区域的局部光照数据,确定每个子区域的目标颜色校正参数;133.颜色校正模块940,被配置为利用每个子区域的目标颜色校正参数对目标图像进行颜色校正。134.在一种实施方式中,上述根据每个子区域的局部光照数据,确定每个子区域的目标颜色校正参数,可以包括:135.对于任一子区域,根据任一子区域中的拍摄目标的类别与任一子区域的局部光照数据,获取拍摄目标在任一子区域的局部光照条件下对应的喜好颜色校正参数,以作为任一子区域的喜好颜色校正参数;136.基于任一子区域中的拍摄目标的占比,对常规颜色校正参数与任一子区域的喜好颜色校正参数进行融合,得到任一子区域的目标颜色校正参数。137.在一种实施方式中,上述根据任一子区域中的拍摄目标的类别与任一子区域的局部光照数据,获取拍摄目标在任一子区域的局部光照条件下对应的喜好颜色校正参数,以作为任一子区域的喜好颜色校正参数,可以包括:138.根据任一子区域的局部光照数据与参考光照数据的关系,从拍摄目标的参考喜好颜色校正参数中选取任一子区域的喜好颜色校正参数,或者根据拍摄目标的多组参考喜好颜色校正参数计算任一子区域的喜好颜色校正参数;参考喜好颜色校正参数用于将拍摄目标的颜色校正为拍摄目标在参考光照数据所表征的参考光照条件下的喜好颜色。139.在一种实施方式中,图像颜色校正装置还可以包括参考喜好颜色校正参数计算模块,该参考喜好颜色校正参数计算模块被配置为:140.以喜好颜色替换标准色卡中喜好颜色对应的标准颜色,得到喜好色卡;141.基于喜好色卡的理论颜色与喜好色卡在参考光照条件下的实际拍摄颜色,计算参考喜好颜色校正参数。142.在一种实施方式中,上述常规颜色校正参数包括全局常规颜色校正参数与局部常规颜色校正参数;上述图像颜色校正装置还可以包括常规颜色校正参数计算模块,被配置为:143.根据每个子区域的局部光照数据,确定目标图像的全局光照数据;144.基于标准色卡的理论颜色与标准色卡在全局光照数据所表征的全局光照条件下的实际拍摄颜色,计算目标图像的全局常规颜色校正参数;145.基于标准色卡的理论颜色与标准色卡在任一子区域的局部光照条件下的实际拍摄颜色,计算任一子区域的局部常规颜色校正参数。146.在一种实施方式中,上述基于任一子区域中的拍摄目标的占比,对常规颜色校正参数与任一子区域的喜好颜色校正参数进行融合,得到任一子区域的目标颜色校正参数,可以包括:147.若任一子区域中的拍摄目标的占比高于预设比例阈值,则将全局常规颜色校正参数与任一子区域的喜好颜色校正参数进行加权融合,得到任一子区域的目标颜色校正参数;148.若任一子区域中的拍摄目标的占比低于预设比例阈值,则根据任一子区域中的拍摄目标的占比确定全局常规颜色校正参数的权重、任一子区域的局部常规颜色校正参数的权重与任一子区域的喜好颜色校正参数的权重,将全局常规颜色校正参数、任一子区域的局部常规颜色校正参数与任一子区域的喜好颜色校正参数进行加权融合,得到任一子区域的目标颜色校正参数。149.在一种实施方式中,上述利用每个子区域的目标颜色校正参数对目标图像进行颜色校正,可以包括:150.将每个子区域的目标颜色校正参数分别作为每个子区域内的参考点的目标颜色校正参数;151.通过对相邻的子区域内的参考点的目标颜色校正参数进行插值,得到目标图像中每个像素点的目标颜色校正参数;152.利用每个像素点的目标颜色校正参数对目标图像进行颜色校正。153.上述装置中各部分的具体细节在方法部分实施方式中已经详细说明,因而不再赘述。154.本公开的示例性实施方式还提供了一种摄像模组。参考图10所示,摄像模组1000可以包括:图像滤镜1010,图像传感器1020,k组光谱分光器1030,k组光谱传感器1040。下面对每个组件进行说明。155.图像滤镜1010是将单色滤光片按照阵列排布所形成的滤镜,可以位于图像传感器1020的入射光路上,使得图像传感器1020能够接收经过图像滤镜1010的单色光。例如,图像滤镜1010可以由rgb单色滤光片组成,可以过滤出r、g、b三种不同光谱范围的光(即红、绿、蓝单色光)。本公开对于图像滤镜1010的排布方式不做限定。156.在一种实施方式中,图像滤镜1010可以是拜耳滤镜,例如参考图11a所示,拜耳滤镜采用传统拜耳阵列排布方式,或者参考图11b所示,拜耳滤镜采用四拜耳(quad-bayer)阵列排布方式。157.图像传感器1020是将光信号转换为电信号的传感器,通过对光信号进行定量表征来实现成像。本公开对于图像传感器1020的具体类型不做限定,如可以是cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)或ccd(chargecoupleddevice,电荷耦合器件)传感器。本示例性实施方式中,图像传感器1020位于图像滤镜1010的出射光路上,用于感测经过图像滤镜1010的光信号,生成拍摄对象的目标图像。拍摄对象是指位于摄像模组1000正前方的被拍摄的场景、物体或人等对象,目标图像即是摄像模组1000拍摄该拍摄对象所得到的图像,可以是原始图像,如raw图像,也可以是经过isp(imagesignalprocessor,图像信号处理器)处理后的rgb图像或yuv图像等。158.一般的,图像传感器1020由一定数量的感光元件按照阵列排布而成,每个感光元件对应目标图像的一个像素。感光元件的数量可表示图像传感器1020的分辨率,例如,感光元件按照h×w阵列排布,h表示行数,w表示列数,则图像传感器1020的分辨率可以是h×w,所生成的目标图像的尺寸也是h×w,在该尺寸中h表示图像高度,w表示图像宽度。示例性的,h为3000,w为4000。159.光谱分光器1030用于从入射光线中分离出特定波段的光,可以位于光谱传感器1040的入射光路上,使得光谱传感器1040能够接收经过光谱分光器1030后的特定波段的光,从而感测到光谱数据。相比之下,图像滤镜1010通常仅能提供可见光范围内的红、绿、蓝三种单色光,而光谱分光器1030能够在更大的光谱范围内(如350~1000nm,覆盖紫外到红外波段)提供种类更多的不同波段的光。将光谱分光器1030的分光种类数称为光谱分光器1030或光谱传感器1040的通道数。160.光谱分光器1030可以是滤镜、棱锥体等类型的光学器件。以滤镜为例,在一种实施方式中,每一组光谱分光器1030可以包括l个具有不同峰值波长(或中心波长)的滤光片,使得入射光线经过光谱分光器1030后被分离为l种不同波段的光,光谱分光器1030的通道数为l。若l为1,即光谱分光器1030的通道数为1,则光谱分光器1030为单光谱分光器;若l为不小于2的正整数,即光谱分光器1030的通道数大于或等于2,则光谱分光器1030为多光谱分光器。示例性的,l可以是13。161.在一种实施方式中,每一组光谱分光器1030中的l个滤光片可以按照p×q的阵列排布,p表示行数,q表示列数,l=p×q。图12示出了一组光谱分光器1030的示意图,其通道数为3×4,该光谱分光器包括按照3×4阵列排布的12个滤光片,分别记为c1~c12,表示用于过滤c1~c12通道的光,每个通道的光的峰值波长(peakwavelength)与半高宽(fullwidthathalfmaximum,fwhm)可以参考表1所示,其覆盖了350~1000nm范围内的12个重要波段。162.表1[0163][0164][0165]光谱传感器1040可以位于光谱分光器1030的出射光路上,用于感测经过光谱分光器1030的光信号,得到拍摄对象中的特定检测区域的光谱数据。本公开对于光谱传感器1040的具体类型不做限定,如可以是cmos或ccd传感器,其与图像传感器1020的类型可以相同,也可以不同。[0166]在一种实施方式中,每一组光谱传感器1040可以包括l个感光元件,分别用于感测光谱分光器1030中对应的l个滤光片所滤过的光信号,得到l个通道的响应数据,即l个波段的光谱数据。若l为1,即光谱传感器1040的通道数为1,则光谱传感器1040为单光谱传感器;若l为不小于2的正整数,即光谱传感器1040的通道数大于或等于2,则光谱传感器1040为多光谱传感器。[0167]在一种实施方式中,每一组光谱传感器1040中的l个感光元件可以按照p×q的阵列排布,p表示行数,q表示列数,l=p×q。例如,参考图12所示,光谱传感器1040可以包括3×4个感光元件,分别记为z1~z12,其与光谱分光器1030的滤光片c1~c12一一对应,分别接收12个通道的光信号,得到12个通道的响应数据。[0168]需要说明的是,可以将光谱分光器1030与光谱传感器1040作为一个整体,称为光谱传感器。本文为统一表述,仍将光谱分光器1030与光谱传感器1040作为两个组件。[0169]摄像模组1000还可以包括支架1050,用于固定拜耳滤镜1010、图像传感器1020、光谱分光器1030、光谱传感器1040中的一个或多个。[0170]本示例性实施方式中,可以在摄像模组1000内设置k组光谱分光器1030与k组光谱传感器1040,k为不小于2的正整数,即摄像模组1000包括至少两组光谱分光器1030与至少两组光谱传感器1040。示例性的,k可以是12或48。[0171]每一组光谱分光器1030对应一组光谱传感器1040,并对应一个检测区域。检测区域是指拍摄对象中的一个局部区域,在拍摄过程中,每一个检测区域所反射的光线入射至摄像模组1000中,经过其对应的一组光谱分光器1030进行分光,最终入射至其对应的一组光谱传感器1040,使得光谱传感器1040感测该检测区域所反射的经过光谱分光器1030分光的光信号,得到该检测区域的光谱数据。光谱分光器1030与光谱传感器1040可以对应设置,例如可以沿光轴方向设置光谱分光器1030与光谱传感器1040的位置一一对应,使得每一组光谱传感器1040接收其对应的那一组光谱分光器1030所透过的光线(在一些情况下,每一组光谱传感器1040还可能接收到少量的相邻位置的光谱分光器1030所透过的光线,可以通过算法消除其影响)。[0172]每一个检测区域可以对应目标图像中的一个子区域。例如,通过k组光谱传感器1040分别检测k个检测区域的光谱数据,该k个检测区域相当于将拍摄对象划分为k块,而图像传感器1020对同一拍摄对象拍摄得到目标图像,该目标图像也可以被划分为k个子区域,每一个检测区域对应一个子区域。[0173]由此,通过检测k个检测区域的光谱数据,实际得到目标图像中的k个子区域的光谱数据。一方面,本示例性实施方式中的摄像模组,能够在常规拍摄目标图像的基础上,提供光谱数据,有利于提高图像质量或拓宽图像应用范围。例如,基于光谱数据能够较为充分地表征图像拍摄场景的光照情况,进而能够对图像进行准确地颜色校正等优化处理;又例如,基于目标图像的rgb数据与光谱数据,能够实现较为准确地目标检测、工业监控等,以应用于测绘、工业检测等领域。另一方面,摄像模组中设置多组光谱分光器与多组光谱传感器,以细化到检测子区域的局部化光谱数据,有利于对目标图像进行更为精细地优化处理,例如可以对目标图像中不同子区域的不同光照情况分别进行表征,进而针对不同子区域采用不同的处理,或者提供更加细化的信息,例如基于目标图像中不同子区域的光谱数据,可以监测拍摄场景中不同部分的温度信息或缺陷信息等。[0174]k可视为光谱传感器1040的分辨率,每一组光谱传感器1040输出一个检测区域的光谱数据,可视为光谱数据的一个像素,k组光谱传感器1040可输出像素为k的光谱数据。也就是说,光谱数据的一个像素相当于目标图像的一个子区域。本示例性实施方式中,k《h×w,即光谱传感器1040的分辨率低于图像传感器1020的分辨率。其中,图像传感器1020用于成像,高分辨率的图像传感器1020可生成高清晰度的目标图像;而光谱传感器1040用于检测光谱数据,光谱数据的检测无需精细化到图像像素那样的程度,通过k组光谱传感器1040检测目标图像中k个子区域的光谱数据,表征出目标图像中不同局部之间的差异,这样已能够满足使用需求。因此,本示例性实施方式中的摄像模组1000可以结合图像传感器1020进行高清成像与光谱传感器1040进行光谱信息检测的两方面特点,既能得到高清晰度的目标图像,又能得到较为丰富、精细的光谱信息。并且,提高光谱传感器1040的分辨率,会导致摄像模组1000的制造成本升高,将光谱传感器1040的分辨率控制在低于(一般是远低于)图像传感器1020的分辨率水平,有利于控制成本。[0175]在一种实施方式中,k组光谱传感器1040可以按照m×n的阵列排布,m表示行数,n表示列数,则k=m×n。应当理解,k组光谱分光器1030也可以按照m×n的阵列排布。图13示出了光谱传感器1040的排布阵列示意图,其中m=6,n=8,即摄像模组1000包括48组光谱分光器1030与48组光谱传感器1040。每一组光谱传感器1040又可以包括3×4个感光元件,以输出12个通道的响应数据。[0176]在一种实施方式中,h/w=m/n,即图像传感器1020与m×n组光谱传感器1040的比例相同。例如,图像传感器1020的分辨率为3000*4000,48组光谱传感器1040按照6×8的阵列排布,两者的宽高比例相同。由此使得m×n个检测区域与目标图像中的子区域更容易对应起来。例如,每一组光谱传感器1040对应一个检测区域,该检测区域对应目标图像中500*500大小的子区域,6×8个检测区域分别对应目标图像中的6×8个子区域。[0177]在一种实施方式中,若光谱数据用于检测拍摄对象中的光照情况,一般的,拍摄对象中存在超过5个光源的情况较少。在拍摄目标图像时,参考图14所示,5个光源在画面中分布的最为均匀的情况,是5个光源分布在画面的四角与中心,这样通过3×3=9个窗口能够将画面中光照情况不同的区域完全划分开。在其他情况下,5个光源中存在两个或两个以上光源分布得较为集中,则通过少于9个窗口即可将画面中光照情况不同的区域完全划分开。因此,在设置光谱传感器1040时,考虑检测光照情况的需求,可以设置m与n均为不小于3的正整数,这样可以将目标图像划分为至少9个子区域,检测每个子区域的光谱数据,进而确定每个子区域的光照情况,从而充分检测出拍摄对象中不同局部的不同光照情况,满足实际使用需求。[0178]一般的,光谱传感器1040的分辨率越高,即m和n越大,则对于局部光谱数据的检测越精细。然而,考虑到对图像处理的影响,并不是光谱传感器1040的分辨率越高越好。采集单光源下存在大面积混淆色的参考图像,如在房间室内拍摄场景中,墙壁、天花板的大面积纯色可能会对光源的检测造成干扰,属于混淆色。将参考图像划分为图像块,如划分为6×8个图像块。每个图像块的fov(fieldofvision,视场角)较小,容易集中到大面积混淆色上。图15a示出了对参考图像检测全局光谱数据,并进行全局颜色校正处理后的图像;图15b示出了对参考图像检测局部光谱数据(即每个图像块单独检测光谱数据),并进行局部颜色校正处理后的图像。通过对比,图15b的框内出现一定的颜色异常,原因是该图像块包括大面积的墙壁黄色,被误认是光源,进行局部颜色校正处理时颜色明显偏冷。为了降低光照分析错误导致图像处理异常的风险,可以控制光谱传感器1040的分辨率不超过6×8。[0179]此外,参考图16所示,在对目标图像进行提取特征等操作时,可能使用3×3的提取模板(即3×3个子区域),方便对3×3范围内的rgb数据或光谱数据进行滤波、均值、取边等操作,有利于实现光照分析的精细化等效果。为了便于使用3×3的提取模板,可以将光谱传感器1040的分辨率设置为6×8,即摄像模组1000可以包括48组光谱传感器1040,其按照6×8的阵列排布。[0180]在一种实施方式中,每一组光谱分光器1030包括l个具有不同峰值波长的滤光片;每一组光谱传感器1040包括l个感光元件,分别用于感测对应的l个滤光片所滤过的光信号;每一个检测区域的光谱数据包括l个通道的响应数据。其中,l为不小于2的正整数,即光谱分光器1030或光谱传感器1040通道数至少为2。参考上述图12所示,l个滤光片可以按照p×q的阵列排布,l个感光元件也可以按照p×q的阵列排布,p表示行数,q表示列数。[0181]在一种实施方式中,考虑到一般光源的光照强度按照圆扩散的方式逐渐衰减,可以设置p=q,即每一组光谱传感器1040按照正方形阵列排布其感光元件,以符合光照强度的圆扩散规律,便于更加准确地检测每一个检测区域(或子区域)的光谱数据。[0182]在一种实施方式中,可以根据摄像模组1000的使用场景确定光谱传感器1040的通道数。例如,在遥感领域,可以设置光谱传感器1040的通道数为40(如4×5),覆盖350~2000nm的光谱范围。[0183]在一种实施方式中,参考图17所示,摄像模组1000还可以包括第一透镜1060和第二透镜1070。其中,第一透镜1060设置于拜耳滤镜1010的入射光路上,透过第一透镜1060的光线入射至拜耳滤镜1010,进而入射至图像传感器1020。第二透镜1070设置于光谱分光器1030的入射光路上,透过第二透镜1070的光线入射至光谱分光器1030,进而入射至光谱传感器1040。由此,通过设置两个透镜,增加了总的进光量,并且拜耳滤镜1010与光谱分光器1030对应不同的透镜,能够改善图像成像与光谱数据检测相互之间的干扰,从而提高图像质量以及光谱数据的准确性。[0184]在一种实施方式中,摄像模组1000可以包括第一摄像头与第二摄像头。其中,第一摄像头是用于成像的摄像头,包括第一透镜1060、拜耳滤镜1010与图像传感器1020;第二摄像头是用于检测光谱数据的摄像头,包括第二透镜1070、k组光谱分光器1030与k组光谱传感器1040。在实际使用中,可以根据具体需求单独开启其中的一个摄像头,从而进一步拓宽摄像模组1000的使用场景。[0185]在一种实施方式中,可以对第一摄像头与第二摄像头进行标定,得到两摄像头之间的标定参数,该标定参数可用于确定每一组光谱传感器1040与图像的子区域之间的对应关系。在摄像模组进行实际拍摄时,可以将每一组光谱传感器1040的光谱数据与目标图像的子区域进行关联,有利于实现更加快速、高质量的图像优化处理或检测。[0186]本公开的示例性实施方式还提供一种电子设备。参考图18所示,电子设备1800可以包括:壳体1810,主电路板1820,摄像模组1830。其中,主电路板1820位于壳体1810内。摄像模组1830可以是本示例性实施方式中的任意一种摄像模组,如可以是上述摄像模组1000。摄像模组1830与主电路板1820电连接,以实现摄像模组1830与主电路板1820之间的信号或数据传输。例如,摄像模组1830可以设置于主电路板1820上,或者通过柔性电路板等介质连接于主电路板1820,以形成电连接。[0187]示例性的,电子设备1800可以是手机、相机、平板电脑、可穿戴设备、无人机等需要拍摄功能的设备。在摄像模组1830内,每一组光谱传感器的面积可以在1cm×1cm以内,这样整个摄像模组1830的体积不会过大,其集成在电子设备1800中,不会占用过多空间。而通过集成摄像模组1830,可以提高电子设备1800的图像处理性能,或者使电子设备1800实现更多的基于图像与光谱检测的相关功能,如测绘、工业监控等。[0188]在一种实施方式中,电子设备1800还可以包括主处理器与图像信号处理器(isp)(图中未示出)。主处理器、isp均与主电路板1820电连接。示例性的,主处理器可以设于主电路板1820上,可以是cpu(centralprocessingunit,中央处理单元)或ap(applicationprocessor,应用处理器)等。isp可以设于主电路板1820上,作为独立于摄像模组1830的器件,也可以设于摄像模组1830内,作为集成在摄像模组1830内部的器件。摄像模组1830的图像传感器生成的目标图像可以是raw图像,其用于输入至isp以进行处理。摄像模组的光谱传感器检测的光谱数据可用于输入至主处理器。例如,光谱传感器可以通过i2c(inter-integratedcircuit,串行半双工总线)、spi(serialperipheralinterface,串行外设接口)等接入主处理器,光谱数据的数据量通常远小于图像数据的数据量,其适合于通过i2c、spi的相关协议进行传输。由此,可以使光谱数据的处理流程绕开isp,无需对isp进行改造使其具备处理光谱数据的功能,并且光谱数据的处理也无需占用isp的接口(如mipi(mobileindustryprocessorinterface,移动产业处理器接)等),从而降低了电子设备1800的制造成本。[0189]下面参考图19,以移动终端的形式对电子设备进行示例性说明。应当理解,图19显示的电子设备1900仅仅是一个示例,不应对本公开实施方式的功能和使用范围带来限制。[0190]参考图19所示,电子设备1900可以包括:处理器1901、存储器1902、移动通信模块1904、无线通信模块1905、显示屏1906、摄像模块1907、音频模块1908、电源模块1909与传感器模块1910。[0191]处理器1901可以包括一个或多个处理单元,例如:处理器1901可以包括中央处理器(centralprocessingunit,cpu)、ap(applicationprocessor,应用处理器)、调制解调处理器、显示处理器(displayprocessunit,dpu)、gpu(graphicsprocessingunit,图形处理器)、isp(imagesignalprocessor,图像信号处理器)、控制器、编码器、解码器、dsp(digitalsignalprocessor,数字信号处理器)、基带处理器和/或npu(neural-networkprocessingunit,神经网络处理器)等。本示例性实施方式中的用于图像颜色校正方法可以由cpu执行,在一种实施方式中,摄像模块1907采集目标图像,并基于多个光谱传感器采集多个检测区域的光谱数据,其中,每个光谱传感器对应一个检测区域,每个检测区域对应目标图像中的一个子区域,cpu接收到上述每个检测区域的光谱数据后,对每个检测区域的光谱数据进行解析,得到每个检测区域对应的每个子区域的局部光照数据,在获取到目标图像中每个子区域的局部光照数据后,可以根据每个子区域的局部光照数据确定每个子区域的目标颜色校正参数,再利用每个子区域的目标颜色校正参数实现对目标图像的颜色校正。[0192]存储器1902可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器1901通过运行存储在存储器1902的指令,执行电子设备1900的各种功能应用以及数据处理。存储器1902还可以存储应用数据以及各种中间数据,例如存储器1902可以存储图像,视频,以及上述光谱数据,局部光照数据等。[0193]电子设备1900的通信功能可以通过移动通信模块1904、天线1、无线通信模块1905、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1904可以提供应用在电子设备1900上3g、4g、5g等移动通信解决方案。无线通信模块1905可以提供应用在电子设备1900上的无线局域网、蓝牙、近场通信等无线通信解决方案。[0194]显示屏1906用于实现显示功能,如显示用户界面、图像、视频等,在一种实施方式中,显示屏1906可以用于显示本公开实施方式图像颜色校正方法对目标图像进行颜色校正后的显示结果。摄像模块1907用于实现拍摄功能,如拍摄图像、视频等,例如,摄像模块1907可以包括图像传感器和上述光谱传感器,图像传感器可以用于采集目标图像,将多个光谱传感器进行组合可以更精确的获取目标图像的光谱数据,以提高对图像的局部光照数据的检测精度和检测效率。音频模块1908用于实现音频功能,如播放音频,采集语音等。电源模块1909用于实现电源管理功能,如为电池充电、为设备供电、监测电池状态等。传感器模块1910可以包括一种或多种传感器,其用于获取电子设备1900各个方面的状态评估。[0195]应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。[0196]所属
技术领域
:的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域
:中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。[0197]应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1