自动白平衡检测系统的制作方法

本发明涉及一种自动白平衡检测系统。

背景技术：

白平衡(whitebalance)在当前的数码影像世界中，特别是在摄影和图像领域中，是非常重要的因素，对图像色彩的再现性影响很大。

白平衡的本质，是因为人脑的“memorycolor”-c.j.bartleson(1960)记忆色。即在任何照明环境下，或者说无论照明光怎么变化，需要把眼睛看到“白色”补正到人的记忆色中的白色。眼睛看到“白色”---实际上是白色物体对光源的反射，而数字相机/摄像机的图像传感器把白色物体反射的光线变成图像。在没有进行白平衡处理图像是真实的物理量的反映，且因光源的变化而变化，但这种变化与人的记忆色中白色不变而矛盾。

有关解决这种矛盾的白平衡的算法近年来提出很多，主要的大致可以归类为以下几种方式：

如图1所示的b/g和r/g坐标中的黑体曲线近似区域方法。(r：红色，g：绿色，b：蓝色)

如飞利浦公司(cn200580044593)，株式会社尼康(cn200810095706)和corelogic，inc.(jpa2012518361)等为主要代表。飞利浦公司限定预定颜色空间且黑体辐射曲线，图中1-1，是已知的，通过左，右模拟近似黑体曲线的，图中1-2，计算白平衡；尼康公司在黑体辐射曲线上或近旁，图中1，划分几个区域，如图1中的1-3，计算白平衡；corelogic公司，则是划分了更多的光源区域，如图1中的1-4，而每个区域经过镜头暗角(shading)补正参考点选取，计算白平衡。

图2rgb值进行色彩空间转换色差区域方式。

如展讯通信有限公司(cn200610117166)，株式会社东芝(cn200710185785，cn201210320233)，华中科技大学(cn201410197703)，三星电机株式会社(cn200810146275)，高通股份有限公司(cn200780039526)等为主要代表。展讯公司通过将rgb转换成ycbcr，平均色差是否落入预定义光源下范围内，依据距离加权重，图中2-4，进行计算；东芝公司通过将rgb转换成yuv，计算判定门(区域)，图中2-3，判定白色，判定门限对根据白平衡增益确定的每个光源划定作为白平衡调整的对象的色温度范围；华中科技大学转换成uv，采用一定亮度以上的拟合uv曲线，图中2-1，进行计算；三星公司通过将rgb转换成lab，考虑到亮度l和ab区间关系，对亮度分段计算；高通公司通过将rgb转换成ycbcr，统计四边形区域的cr/cb，图中2-2，进行计算。

需要说明的，把rgb进行色彩空间转换成yuv/ycrcb/lab，基本相似。图3常用灯箱spectralightiii(后续说明)的光源的18％灰卡的uv和ab坐标位置图，图3左边3-1为yuv，右边3-2为lab。如图所示，uv和ab基本相似。各种文献中，只有三星公司考虑到亮度即lab中的l，并对亮度进行分段计算。而其它文献则基本排除亮度的影响，如华中科技大学采用一定亮度以上的拟合uv曲线，以及corelogic公司建议镜头暗角补正后的参考点选择，有关亮度的影响将在后续进行说明。

另外，以上2种方式之外的其它方式，如grayworld/颜色恒常性等的优缺点，在上述文献中都有记载在此不再罗列。总之白平衡的算法可以归结为：模拟黑体放射曲线，选取参考光源白点，设定曲线和参考点区域，进行近似/权重判断，在这些步骤中都存在不足之处。

首先，黑体曲线误差影响因素---频谱变化的影响。如图4所示，黑体放射在可视光谱范围附近的色温代表曲线。4-1为色温2500k，4-2为色温3500k，4-3为色温5500k，4-4为色温7500k的曲线。可以看出黑体放射曲线频谱连续变化，色温低的在光线波长长的区域要高于波长短的区域，色温高的则反之，光线波长短的区域要高于波长长的区域。而常用光源的频谱则有着峰值变化。如图5所示，常用灯箱spectralightiii的光源频谱。图中5-1为h光源(2300k)，5-2为a光源(2856k)，5-3为cwf光源(4150k)，5-4为tl84光源(4100k)，5-5为d65光源(6504k)。各光源具体名称和色温值在cie1931或1964(国际照明委员会)都有规定，这里不再详细叙说。从照明光源与黑体放射频谱曲线比较，低色温的a和h光源黑体放射曲线一致，中间色温的cwf和tl84光源有很大的峰值变化，高色温d65光源也有峰值变化但总体上与黑体较为近似。另外，国际照明委员会cie虽然对照明的各种光源的相对光谱功率分布有标准频谱/色温等的提示，实际上光源生产厂家依据标准生产时，模拟光谱所添加物质的差别会产生差异，导致最终用户测定和使用时，会产生色温等差异。而此差异的影响，会导致调好白平衡产品，在其他类似场景发生偏移。

其次，数字相机/摄像机的图像传感器(ccd---charge-coupleddevice或cmos---complementarymetal-oxidesemiconductor)对黑体曲线的影响。准确的来说，装有图像传感器的摄像头模块的影响。摄像头模块的影响主要可分为：图像传感器特性的影响，ircf(infraredraycutfilter)红外截止滤波片特性的影响和镜头特性的影响。如图6所示，图像传感器中rgb的相对光谱感度图。图中6-1为蓝色，图中6-2为绿色(注：gr和gb的平均值)，图中6-3为红色，图中的波形为rgb频谱各个波长的感度值与绿色中最大感度值的比，绿色光谱中最大感度值的比定义为1。图像传感器的rgb感光特性，因厂家和型号的不同而不同。如图中6-2绿色，主要表现在绿色的峰值6-4和波宽6-5不同。蓝色6-1和红色6-2与所示绿色6-2波形一样，频谱上的峰值和波宽也会不同。因此会导致摄像头模块，即使其它组成部件和光源环境都相同情况下，也会产生不同的图像---即白平衡的增益值不同。

ircf特性的影响主要表现在ircf的滤波曲线。如图7所示，各种常用ircf在可见光谱范围中的滤波特性分布。ircf滤波特性图7如与光源图5重合可以看出，在波长长的领域可是光靠近红外领域的ircf滤波效果较大。不同的ircf，在组成部件和光源环境都相同情况下，也会产生不同的图像。

镜头特性的影响主要表现在镜头的透过率曲线和镜头(shading)暗角影响。如图8所示，镜头在可见光谱范围中的透过特性分布。与ircf一样，不同的镜头具有不同的透过曲线和镜头(shading)暗角，不同的镜头，在组成部件和光源环境都相同情况下，也会产生有差异的图像。

图9是两个摄像头在相同光源环境d65下，拍摄的24块色卡(macbeth)的r/g和b/g的分布图实例。横轴为r/g，竖轴为b/g。光源参考点d75，d65，d55，tl84，图中9-3，以及光源参考点cwf，a，h，图中9-4，左右相同，采用左边的摄像头的数据。两个摄像头具有相同图像传感器和镜头，但采用不同的ircf。图中左边的9-1摄像头的grayworld点与图中右边的9-2摄像头的grayworld的点相比较可以看出，左边的9-1摄像头的grayworld点，与参考点d65光源相同，而有右边9-2摄像头的grayworld的点高于左边d75参考点，两者有着很大的差异。左右两个摄像头差只有ircf不同。我们知道黑体的放射曲线公式是不变的，因此，由于光源和摄像头的特性，不适合用不变的黑体曲线来作为参考标准，进行在黑体曲线周围划分区域来判定。

对于r/g和b/g白点参考点的选取，现在常用的参考点选取采用柯达公司18％的灰卡或者24块色卡(macbeth)较多。前述文献中也基本采用这两种方式，并且对于选取范围，基本为多边性封闭区域。如图10所示，常用灯箱光源下，拍摄18％灰卡所得参考点r/g和b/g关系的实用例。横轴为r/g，竖轴为b/g。所拍摄的图像没有进行暗角(shading)补正处理，从图中可以看出，图中10-1的d75和d65光源之间，图中10-2的cwf和tl84光源之间，图中10-2的a和h光源之间，具有重合部分。因此，无论怎样的划分多个区域，对于图中10-1，10-2和10-3这样的来连续区域来说，无法有效地区分开来。图10中的10-4与前图9中的9-3一样，为光源参考点d75，d65，d55，tl84区域，图10中的10-5与前图9中的9-4一样，为光源参考点cwf，a，h区域。图10中的10-4和10-5如果比较密集采取参考点的话，这些光源的r/g和b/g将连在一起无法区分。前述三星公司以外的文献，都基本都排除亮度的影响，来确认参考点的区域。现实上，亮度的变化是连续变化，是图像重要的表现。忽视亮度的影响，会对白平衡有着很大的影响。其次，大多数的文献的参考区域为封闭区间，光源连续和重合的特性势必也会影响白平衡的判断精度。

图11为常用测试图(左边)，在d65光源下各个分块区域的r/g和b/g坐标关系(右图)。横轴为r/g，竖轴为b/g。图中11-1为图像grayworld的点。11-2为光源参考点d75，d65，d55，tl84区域，11-3为为光源参考点cwf，a，h区域。图11的11-1所示区域与图10的d65参考点区域的grayworld相同。11-2区间，d65参考点上下区域是连续的，要分辨出这些连续区域对应右图中的白色和其它颜色是比较困难。虽然通过在r/g和b/g坐标中白色参考点的周围设定限定参数或者调节距离等权重，可以产生“正确”的判断，但是这种“正确”判断是暂时且不稳定的，参数设定会相当繁杂而且需要反复多次调试，严重影响效率。况且光源时时刻刻都会发生变化，每次场景的变化，都会再次影响调试效果。需要说明的是常用测试图应为图像中含有各种色彩的成份，刚好此图像的grayworld的点与光源d65比较接近。

技术实现要素：

针对上述光源频谱特性和图像传感器的摄像头模块中的图像传感器的特性，ircf特性和镜头的特性，本发明采用两部分，暖色光源区，如图9中9-4，和冷色光源区域，如图9中9-3，取代单一的黑体近似的方法。暖色光源区域依据光源频谱，特别是在频谱波长较长的范围，能量较大，主要代表为：cwf光源，a光源，h光源。冷色光源区域，频谱波长较短的范围能量为主的范围，主要代表为：tl84光源和d系列(d50/d65/d75)光源。当然，本发明不限两个部分，依据图像传感器的摄像头模块特性，可以采用更多的光源区域分区。

针对上述因亮度变化参考点区域连续即重合，无法区分的问题如图10中的10-1，10-2，10-3所示，本发明采用非封闭，横坐标r/g方向采取最大和最小区域。在纵坐标b/g方向上，采取开放方式，不限制b/g的上下阈值，如图10中的10-4冷色光源区域和图10中的10-5暖色光源区域中实线所示。同样，本发明不限上述方式，也可以依据图像传感器的摄像头模块，也可以b/g方向采取最大和最小区域，不限制r/g的上下阈值的方式。图10中的10-4冷色光源区域的横坐标r/g方向，10-6为最小值近似曲线，10-7为最大值近似曲线。图10中的10-5暖色光源区域的横坐标r/g方向，10-8为最小值近似曲线，10-9为最大值近似曲线。需要说明的是在图10中的10-4冷色光源区域和图10中的10-5暖色光源区域有重合部分，本发明的特征没有采用对进入区域部分进行统计/权重等常用直接运算，因此没有影响。从前图常用测试图像在d65光源的图11中可以看出，图像中r/g，b/g的绝大部分，落入在11-2冷色光源区域的最大曲线11-5和最小曲线11-4之间，且跨度从d75一直连续到tl84，一部分进入11-3暖色光源区域的最大曲线11-7和最小曲线11-6之间。这些连续的部分，包括了彩色部分和非彩色部分即白色/灰色部分，分清采用彩色和非彩色部分，对白色/灰色做白平衡处理比较困难，彩色的影响在后面实例中说明。

针对上述现存的问题，本发明要解决的技术问题是提供一种能够自动白平衡检测系统，通过对改善现有平台的各色温的参考点选择方式，利用摄像头自身的特性与黑体曲线特性相结合，用找出白色(无彩色)区域取代现有区域和权重算法，提高白平衡的判定的准确率，同时可以减少现有参数的设定，提高调试效率。

本发明采用了以下的技术方案：

本发明采用了独特的构成。利用摄像头自身的特性与黑体曲线特性相结合，用找出灰色点取代现有区域和权重算法。首先，采用暖色光源和冷色光源的两个区域计算。第二，采用可变图像分区技术变化计算r/g和b/g的信息作为判定元素。一般，图像分区采用固定形较多，固定的图像分区在数码图像初期就已广泛采用，图像分区可以在图像传感器输出的后端进行，比较容易实现，同时比起利用每个像素计算的方式来说，可以减少内部的逻辑电路；减少因像素信号噪声的影响。第三，采取参考点的r/g和b/g的信息作为判定元素。参考点的区域，非封闭可调节方式，确定以可变的最大和最小近似曲线的方式。

本发明的具体的采用技术方法和利点，下面将结合附图进行说明。

附图说明

图1现有白平衡的黑体曲线近似区域方法总括。

图2现有白平衡的色差区域方法总括。

图3常用灯箱下18％灰卡的uv和ab坐标位置图

图4黑体放射在可视光谱范围附近的色温代表曲线。

图5常用灯箱的光源频谱

图6图像传感器中rgb的相对光谱感度图

图7常用ircf在可见光谱范围中的滤波特性分布

图8镜头在可见光谱范围中的透过特性分布

图9摄像头在d65光源下24块色卡的r/g和b/g的分布图实例

图1018％灰卡参考点r/g和b/g关系的实用例

图11常用测试图d65光源下r/g和b/g坐标实例

图12图像传感器摄像模块简易构成示意图

图13本发明的自动白平衡检测系统流程图

图14本发明的自动白平衡检测系统判断流程图

图15本发明的自动白平衡检测系统检测结果对比例1

图16本发明的自动白平衡检测系统检测结果对比例2

具体实施方式

图12图像传感器摄像模块简易构成示意图。图中12-1为ae(autoexpose自动曝光)，awb(autowhitebalance自动白平衡)，af(autofocus自动对焦)，俗称3a控制。通常3a中的awb自动白平衡在图像处理中，如手机平台的图像调试时间中占有很大部分。自动白平衡的准确性直接影响图像的色彩再现性，同时自动白平衡的结果会影响镜头的暗角(shading)补正以及图像处理中如colormatrix的调用，因此会影响图像的画质。

图13本发明的自动白平衡检测系统流程图。图13中的13-0接受由图12中的图像传感器发出的经过ae/af控制的去掉黑基准ob(opticalblack)的原始安定图像。图中13-1，依据图13中的a的初期参数设定进行图像分区域计算r/g和b/g值以及范围。当中，图13中的a的初期参数设定包括：白色区域最小数，检测色温范围，图像分割数，检测色温精度，曲线最大值和最小值，单色范围规定值，绿色/肤色/蓝色范围等等，这些初期参数的设定极为重要，依照图像的大小，参考点选取的结果而变化，从而提高检测效率和检测精度。图中13-2，对图像的r/g，b/g范围与初期参数设定的单色范围规定值比较，如果小于单色范围规定值，说明图像图像比较色彩单调，可以扩大图像分割数，这样有利于提高检测效率。图13中的13-3对于图像各个区域的r/g，b/g值是否在冷色光源和暖色光源曲线最大值和最小值范围内，曲线最大值和最小值范围外的区域，比较明显的是有色区域不做白平衡处理，而曲线最大值和最小值范围内的区域，包括白色/灰色和以及彩色区域。作为参考图中13-4以灰色世界方式计算出r，b的增益和色温作为备份。图中13-5，依据检测色温范围/检测色温精度对各个区域进行色温计算，排除排除色温区域中的有色区域和排除亮度中的的有色区域，图中13-6对排除有色区域后的白色/灰色区域个数最终判断，图中13-7对判定白色/灰色区域进行计算r，b增益和色温，并且把判定结果在图中13-8进行判定。

白平衡在实际运用中，白平衡不准和白平衡震荡为主要问题。图14为图13中的13-8结果判定运用的一个实施例。图13对每帧接受都图像进行白平衡判断。为减少白平衡震荡，判定结果在图14中依次记录下来。图14所示的为3帧图像为白平衡的判断周期---实施r，b增益的时序。3帧只是一个实例，可以采用更多作为帧图像。图中14-1，判断当前图像是否为第3帧，不是的话，图中14-2判断是否为第二帧，图中14-2的否为第一帧图像，3帧图像都有是否有白色区域检出的判断，图中14-3。第一和第二帧图像，图中14-4和14-5，会记录有白色区域的图13中的13-7的计算结果。当第3帧图像时，图中14-6，如果检测到白色/灰色区域，并且判断计算结果在色温范围内的话，则使用当前的计算结果图中14-8，并且更行计算结果的记录。如果第3帧图像没有检测到白色/灰色区域的话，则进入单色判定图中14-7，进行绿色图中14-10，蓝色图中14-11，肤色图中14-12单色判定。这里的单色判定也只一个应用实施例。可以有更多其它单色判定。而单色的所比较范围在图13的初期参数设定中设定。图中14-13，记录单色判定结果，作为后端图像处理的标志。对于单色图像，会判断有无记录计算结果图中14-14，即第1/第2帧图像的计算结果，如果有历史记录则采用前回记录计算结果图中14-15，没有的采用初期定义值图中14-16。

图15本发明的自动白平衡检测系统检测结果对比例。图15中间的图的拍摄环境为室内光源，背景为木制深红色书架，粉色墙壁，浅黄木地板，黄色玩偶猴子，白色花盆和绿色植被。左边为市面上销售的手机平台的图像结果。右边为本发明的自动白平衡检测系统检测结果。图15中的上方为各区域的r/g，b/g的分布图。图中15-1为手机的加权判定白平衡点，图中15-2为本发明的判定结果。从图中可以看出，图中15-1手机的加权判定白平衡点的上方和下方都是连续变化的，且图中15-1上方的点的个数明显小于图中15-1下方的个数，对个数多的来说，权重比较大，对比本发明的判定点图中15-2可见，本发明的点并没有偏向个数多的。对比图中15-3所示的断面rgb的值，图15下方，可以看出图中15-4的所对应的白色花盆的rgb三色没有重合---白平衡不准，而本发明的自动白平衡检测系统检测结果，图中15-5所对应的白色花盆的rgb三色完全重合。

图16本发明的自动白平衡检测系统检测结果对比例。图16中间的图的拍摄环境为室外光源，背景蓝天和稀疏的白云---亮度较亮，绿色的树叶---亮度较暗，电线杆---亮度较暗。这种亮度变化比较大，有其他彩色影响的场景容易产生”紫色天空”的问题---白云不白，颜色发紫，蓝天不蓝。左边为市面上销售的手机平台的图像结果。右边为本发明的自动白平衡检测系统检测结果。图16中的上方为各区域的r/g，b/g的分布图。图中16-1为手机的加权判定白平衡点，图中16-2为本发明的判定结果。16-1手机的加权判定白平衡点的左下方---为绿色，都是连续变化的，虽然左下方的绿色大多数部分被16-6加以限制，但是，在限制区域和判定点之间还是有许多绿色点，这些绿色的点被加以权重参与白平衡计算，使得白平衡不准确。正如前面图11中叙述中提到，虽然通过在r/g和b/g坐标中白色参考点的周围设定限定参数或者调节距离等权重，可以产生“正确”的判断，但是这种“正确”判断是暂时且不稳定的，参数设定会相当繁杂而且需要反复多次调试，严重影响效率。对比图中16-3所示的断面rgb的值，图16下方，可以看出图中16-4的所对应的白云的rgb三色没有重合---白平衡不准，而本发明的自动白平衡检测系统检测结果图中16-2，图中16-5所对应的白云的rgb三色完全重合。

如上述所述，本发明通过对参考点的选取，通过划分冷色光源和暖色光源的最大值和最小值的近似曲线特征，利用摄像头自身的特性与黑体曲线特性相结合，用找出白色(无彩色)区域取代现有区域和权重算法，提高白平衡的判定的准确率，同时可以减少现有参数的设定，提高调试效率。