专利名称:信号处理方法和设备、计算机程序产品、计算系统和摄影机的制作方法
技术领域:
本发明涉及信号处理方法,其中,提供图像传感器的传感器信号作为输入,并且该输入在一个滤波器中被重构,以建立一个用于进一步处理的输出,其中,所述滤波器包含从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的至少一个重构滤波器,其中,该输入包含多个像素,一个像素提供被赋予红色、绿色或蓝色中至少之一的一个颜色值。本发明也涉及一种特别适合于执行所述方法的信号处理设备,其包含一个用于提供传感器信号作为输入的图像传感器和一个用于重构该输入以建立用于进一步处理的输出的滤波器,其中,所述滤波器包含从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的至少一个重构滤波器,其中,该输入包含多个像素,一个像素提供被赋予红色、绿色或蓝色中至少之一的一个颜色值。本发明进一步涉及适于信号处理的计算机程序产品、计算系统和摄影机。
基于例如数字和静止图像的数字信号图像传感的数字摄影机可有利地配备一个包含一个红-绿-蓝(RGB)拜尔(Bayer)颜色滤波器阵列的图像传感器。在这样一个RGB拜尔颜色滤波器阵列中,每个像素检测一个预先确定的图案(pattern)中的红、绿或蓝原色(primarycolor)。这个图案是由交错的绿/红列和绿/蓝列构成的。这样一个传感器与对于每个原色使用一个单独的图像传感器的摄影机相比,可能具有有限的分辨率。然而,一个带有三个图像传感器的摄影机与单一的RGB拜尔-传感器相比,具有三倍的对分辨率有贡献的像素。由于应用的成本和大小要求,使用三个传感器对多数应用来说是不利的。另一方面,当使用一个单一的图像传感器在一个单一的阵列(有利的是RGB拜尔颜色滤波器阵列)中检测所有红、绿、蓝三原色时,有必要重构某些颜色的缺失的(missing)像素,以处理一个一致的完整画面。由于RGB拜尔结构,分别对应于绿、红和蓝色的不同的奈奎斯特域(Nyquist-domains)产生一个依赖于颜色的分辨率并且可能产生混叠的(aliasing)图案。不过,RGB拜尔结构仍是表现最佳的信号颜色阵列之一。
可以提供几种插值(interpolation)方案来提高信号质量。在WO99/39504中相当概括地描述了一种传统的插值方法,其中,在不存在给定颜色的信号的位置插值一个中间颜色信号,并生成一个给定颜色的平均。
另一个信号处理方法使用一个如在WO99/04555中和在尚未公开的申请号为EP 01 200 422.2的欧洲专利申请中描述的更有利的插值方案。然而,这样的方法仍然遭受例如自由亮度信号混叠或进一步的信号失真。这样的信号失真尤其导致虚假颜色(false colors)在图像中的错误生成。
在WO 99/04555中已经描述了一种用于RGB拜尔图像传感器的绿色重构方法,该方法只涉及绿颜色的重构,红色和蓝色依然被以传统方式重构。仅仅是缺失的绿色像素被重构。缺失的绿色像素的重构,是通过一个分类(sorting)三个特定变量的中值(median)滤波器执行的其中两个变量得自绿色,第三个变量得自红色或蓝色。这个方法的一个缺点是,对于高度饱和的彩色边缘来说,引入了看起来像邮票边沿的假象(artifacts)。在WO 99/04555中公开的算法将被称作smartgreen1算法。该算法所根据的概念是,在靠近白色场景部分时,分辨率损失在高频下被最好地观察到,而在靠近彩色部分不太好观察。记住这一点,红色和蓝色像素的贡献被用来帮助确定缺失的绿色像素的重构值。Smartgreen1重构的目的是最大化绿色的分辨率。为此,按照以下述方式应用中值滤波器算法自然地,由一个红色(R)或蓝色(B)像素占据的位置是一个缺失的绿色像素的位置。在smartgreen1重构算法中,一个3×3像素阵列的中心值(也称中值),被应用于缺失的绿色像素的重构。因此,用于绿色的简单的中值滤波器仅仅代替传统的绿色重构插值概念,而传统的红色和蓝色重构方法继续是简单的插值。亮度滤波、颜色滤波和轮廓(contour)滤波也被限于对绿色的滤波。虚假颜色的检测仅仅根据传统的绿色重构插值概念,同样,传统的红色和蓝色重构方法继续是简单的插值。
这样的smartgreen1重构方法借助一个红色和/或蓝色像素信息提高水平方向和垂直方向上的绿色像素的分辨率。这个传统的方法依赖于插值颜色样本,该颜色样本要依赖于相同颜色的相邻颜色样本和仅仅来自相同位置的不同颜色的样本被插值。因此,所重构的信号遭受红色和/或蓝色的混叠。垂直和水平的彩色边缘在相应的方向上遭受像邮票的边沿一样的绿色强度调制。
在EP 01200422.2中概述的进一步的改进(这里称作smartgreen2重构算法)能显著改善分辨率,但是不能除去所提到的信号失真和信号混叠的缺点。特别地,在边缘和高频率下,仍然可见一些信号失真,诸如与邻近像素交替的颜色。假象的黑点和白点被错误地生成。
这是本发明的切入点,本发明的目的是规定一种信号处理方法和设备、用于信号处理的计算机程序产品、计算系统和适于信号处理以改善信号质量的摄影机。特别地,应当针对信号失真和混叠来改善信号,但是该信号仍然提供足够的分辨率。
所述方法的目的是通过在介绍部分提及的方法实现的,其中,按照本发明,该方法进一步包含以下步骤-把重构滤波器应用于一个预定阵列大小的、包含多个像素的像素阵列,其中,所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的,所述多个像素的至少一个是由一个被赋予蓝色的蓝色像素构成的,并且所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的;以及-在亮度重构滤波器后,应用包含一个用来消除输入中的虚假颜色的虚假颜色滤波器的颜色重构滤波器。
在一个优选的配置中,进一步包含用一个绿色参数加权(weightening)该阵列的红色和/或蓝色像素的步骤。
在另一个优选配设置中,进一步包含把该阵列的像素总合成一个输出像素和/或把该输出像素在该阵列中居中(centering)的步骤。
所述设备的目的是通过在介绍部分提及的设备实现的,其中,按照本发明提出-重构滤波器适于被应用于一个预定阵列大小的、包含多个像素的像素阵列,其中,所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的,-所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的,并且所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的;以及-在亮度重构滤波器后,应用一个颜色重构滤波器,该颜色重构滤波器包含一个用来消除输入中的虚假颜色的虚假颜色滤波器。
一个优选的配置也包含用于用一个绿色参数加权红色和/或蓝色像素的装置。
另一个优选实施例包含用于把该阵列的像素总合成一个输出像素的装置,并且/或者可以提供用于把该输出像素在该阵列中居中的装置。
这里使用的术语“像素”特别是指信号中的颜色样本值。
本发明来自为图像重构提供一种灵活设计的概念的构思。主要的构思是应用一个在一个颜色重构滤波器中实现的虚假颜色滤波器。从根本上说,该构思是通过在亮度滤波器后应用颜色重构滤波器实现的,其中,颜色重构滤波器中包含一个被合并在其中的虚假颜色滤波器以用来消除输入中的虚假颜色。
取决于光传输(optical transfer)和矩阵,按照奈奎斯特法则,所重构的RGB信号仍然可能遭受彩色混叠。为了再减少在亮度重构滤波器后的剩余的混叠量,应用颜色重构滤波器。按照本发明,颜色重构滤波器包含一个用来消除输入中的虚假颜色的虚假颜色滤波器。虚假颜色滤波器原则上是从WO 99/04555中获知的,但是这个已知的传统类型的虚假颜色滤波器是被单独地应用的,因此不是在颜色重构滤波器中实现的。提供包含虚假颜色滤波器的颜色重构滤波器的本发明构思具有一些重要优点。特别是所提出的本发明概念允许以优选的方式用绿色参数加权所有的像素。
优选地,把虚假颜色滤波器应用于一个最小可能的绿色像素阵列。特别地,虚假颜色滤波器包含下列步骤,其中用绿色参数加权该最小可能的绿色像素阵列中的红色和蓝色像素,以及由一个中值滤波器连同该阵列中的一个或多个绿色像素的平均一起总合所加权的红色和蓝色像素。可通过一个平均滤波器取得该阵列中的一个或多个绿色像素的平均。特别地,可取得垂直方向上的绿色像素的平均和水平方向上的绿色像素的平均。将被中值滤波的像素与最小可能的绿色像素阵列的被低频滤波的像素比较,由此消除输入中的虚假颜色。
这种方案有利地允许可调整的虚假颜色滤波器,特别地,颜色重构滤波器和/或虚假颜色滤波器被应用于一个优选阵列大小为2×2或最优选是3×3的最小可能的绿色像素阵列。如果需要的话,这样的预定的小阵列甚至还可以是5×5大小或者更大的。这样的调整独立于光学低通滤波器(optical low pass filter)。然而这样的阵列应当包含至少四个像素,其中包含两个绿色像素、一个红色像素和一个蓝色像素。
优选地,被应用的颜色重构滤波器有3×3或5×5的阵列大小。特别地,在有一个重(heavy)传感器矩阵的情况下,优选的是5×5的阵列大小。可以把对应的滤波器函数(filter function)的系数选择为光传输和矩阵的一个函数,所述这种滤波器函数的系数特别在国际文档号ID 606638-I的专利申请的详细说明部分的第4章中有概述,该申请与本申请同日提交,特此引用作为参考。这样的方法最大化对于普通场景来说似乎是最重要的引人注目的部分的接近白色的颜色的分辨率。特别是在最小化信号失真量的同时提供足够的分辨率。特别在详细说明部分的3.3章关于一个优选实施例概述了定义3×3和5×5RGB颜色重构滤波器的滤波系数的规则。虚假颜色滤波器的进一步的优点在详细说明部分的3.1章中作了概述。
所提出的方法以及所概述的的该方法的进一步发展的配置的一个特别的优点是,绿色重构以及红色和蓝色重构(即RGB-重构)完全独立于3×3绿色虚假颜色阵列。RGB重构滤波器的大小可以是3×3或5×5。所提出的方法的一个特别的优点是,虚假颜色函数(functions)独立于颜色重构函数。
特别地,在颜色重构滤波器中只在虚假颜色滤波器内可以使用一个、两个或其它数量的绿色参数。
在另一个优选的配置中,应用一个后置滤波器(post-filter),以便在其输出中维持相对先前已经应用了的重构滤波器的输出的一个相位。有利地在虚假颜色滤波器之后应用该后置滤波器,即把该后置滤波器应用到在RGB重构滤波器后面的虚假颜色滤波器的输出。重构滤波器也可以是个亮度滤波器。特别地,通过在虚假颜色滤波器之后应用2×2阵列大小的后置滤波器固定了所述相位,通过所述后置滤波器把最小可能的绿色像素阵列的中央输出像素定位成与一个白色像素同相。该白色像素本身被相对于已对其应用了亮度重构滤波器的同一阵列居中。特别地,信号被基于3×3或5×5阵列大小RGB重构,并将由于所述2×2的后置滤波器而得到与经白补偿的亮度信号相同的相位。在这个配置中,虚假颜色滤波器不影响相位是个特别的优点。后置滤波器还有利地消除图像传感器的绿色不均匀性。红色和蓝色像素将有与绿色像素相同的相位。在对优选实施例的详细说明中,专门关于附图中的图5和3.4和3.5章对此作了概述。
另外,作为一种选择,在一个被称作smartgreen4重构方法的另一个优选实施例中,为了3×3或5×5RGB颜色重构滤波器的使用,可以省略后置滤波器。这允许简单和高效的处理,因此对于低成本应用来说是有益的。
作为所提出的概念的另一个构思,信号重构根据的是经白补偿的亮度重构。最优选的配置是通过用绿色参数加权红色和/或蓝色像素而实现的,而现有技术的概念仅仅依赖缺失的绿色像素的重构。所提出的重构滤波器被设计成要被应用于一个预定的阵列大小的像素阵列。因此以有利的方式对这个阵列进行滤波。传统的方法依赖根据相邻样本或相同位置的样本的简单插值,而所提出的概念提供经特别适配的考虑了阵列的所有像素的重构滤波器。即使在没有光学低通滤波器的摄影机的情况中,在样本频率的多倍频率下,所提出的白补偿的概念也有益地产生一个无混叠的亮度信号。此外,这个经白补偿的亮度信号没有信号失真。所提出的基本方法和设备适合于提供一个宽而灵活的扩展。有可能提供例如可根据光学系统的光传输和/或图像传感器的传感器矩阵选择和调整的若干个不同的重构滤波器。所提出的方法和设备能够保持对于光学低通滤波器的相当的独立性。这是特别有益的,因为潜在客户的摄影机设计可能不同。所提出的方法和设备能够如下文所概述的那样以各种方式简单地实现可调整的虚假颜色滤波器。用绿色参数加权红色和/或蓝色像素,对于由虚假颜色滤波器处理的像素特别有益。在一个具体实施例中,绿色参数可以只在虚假颜色滤波器中被使用。
在从属权利要求中描述了该方法的继续发展的配置。所提出的设备可以通过执行该方法的对应装置得到改善。
特别地,优选地将一个在一个第一滤波器之后的第二滤波器的中央输出像素定位成与输出像素同相,特别是将该中央输出像素居中放在与输出像素相同的阵列中央位置。这最好可以通过一个附加的后置滤波器进行,特别是通过一个如下文进一步描述的后置滤波器进行。
在一个优选配置中,重构滤波器由一个亮度重构滤波器构成,并且阵列的像素一同被相加在作为输出像素的白色像素中。最优选地根据图像传感器的传感器矩阵选择所述绿色参数或多个绿色参数。最优选地提供两个绿色参数。此外,所述绿色参数或多个绿色参数可根据向图像传感器提供图像信号的光学系统的光传输被选择。由此,用可作为摄影机的光传输与传感器矩阵重量(heaviness)的组合的函数而被选择的滤波器权重(weights)有益地重构RGB颜色信号。由此实现图像质量的应用特定的改善。
以上用一个或多个优选配置描述的亮度重构的基本概念在下文被称作RGB拜尔图像传感器的“经白补偿的亮度重构”,或简称“RGB重构”。绿色参数也被称作″smartgreen参数″。如所提出的方法及其进一步发展的配置所定义的也与红色和/或蓝色像素一起使用smartgreen参数,将被称作″smartgreen3″重构方法。确定绿色参数的特定方式也在WO 99/04555和EP 01200422.2中描述,并且可在smartgreen3内被应用和使用。
所提出的方法的对滤波器和滤波器大小的特定种类的安排导致无混叠的信号,特别是也导致没有绿-绿差异(green-greendifferences)。在详细说明的第2章中将结合一个优选实施例并参照附图对细节作进一步概述。
具体来说,将一个亮度重构滤波器应用于一个具有2×2或4×4或6×6或更大的阵列大小的阵列的像素。在一个特定的优选配置中,将亮度重构滤波器应用于一个2×2或4×4大小的阵列。滤波器大小可以被选择成光传输的一个函数。相应滤波器的权重也可以被不同地选择。此外,可以由被应用于分别是2×2或4×4大小的阵列的光学低通滤波器有益地生成一个低通亮度信号。在一个有益的配置中,分别将4×4或6×6光学低通滤波器分别与2×2或4×4亮度重构滤波器组合,以建立一个单一的滤波器。所生成的信号都不遭受由传感器引起的绿色不均匀性假象。
提供另外的各种颜色重构滤波器用于应用。特别地,对于2×2亮度重构滤波器应用3×3颜色重构滤波器,或者对于4×4亮度重构滤波器应用5×5颜色重构滤波器。
在上述的整个处理链(即RGB重构)中,特别包含-用于相位匹配的后置滤波器的实现;
-亮度信号处理;-颜色重构信号处理,包含一个虚假彩色滤波器以及特别是一个另外的后置滤波器的实现;以及-轮廓信号处理,信号失真量被限定到极低的水平。
这对最终的JPEG转换也成立。在一个优选的配置中,也可以进行按列或按行的处理,以按照所提出的方法执行smartgreen3重构算法。这在详细说明部分的3.2章中针对一个优选实施例作概述。这样的处理有益地减少内部存储器的存储量和与外部存储器交换的数据量。这将支持处理效率和速度。如果所有数据传输都被旋转90°,这样的措施也成立。
所提出的方法有益地在上文所提出的设备上执行,特别是在计算系统和/或半导体器件上执行。这样的系统可有益地包含一个位于图像传感器和处理芯片之间的中间存储器接口。由此有利地不再限制要被滤波的像素阵列的长度和行数,与外部存储器交换的数据量当然也不应过多地延迟处理时间。因此没有任何作为中间接口的存储器的实时处理仍然是可能的。所述计算系统可以是任何种类的处理器单元或系统或计算机。
优选地在没有任何作为中间接口的存储器时也可以进行实时处理。然而,在这种情况中,出于成本的原因,可以限制可用的行延迟的总量,特别地限制到两个。这可导致只有三个垂直抽头(taps)可用于RGB重构以及用于轮廓信号的实现。
本发明进一步导致一个可存储在一个可由计算系统读取的介质上的计算机程序产品,其包含一个软件代码段,当所述程序产品在计算系统上、特别是在摄影机的计算系统上被执行时,所述软件代码段执行所提出的方法。
详细说明部分将参照附图进行例示和描述。尽管将展示和说明的被认为是本发明的优选实施例,当然应当明白,在不偏离本发明的精神的情况下可以在形式上或细节上作出各种修改和改变。因此不应把本发明限定于这里所展示和说明的精确形式和细节,也不应将其限定于少于如本文这里所公开的和此后所要求保护的本发明的整体。另外,无论单独地还是组合地考虑,在说明书和附图以及公开本发明的权利要求书中所描述的特征,对本发明来说都是十分重要的。
伴随附图的详细说明提供以下章节1.白补偿的亮度重构方法的处理流程2.经白补偿的亮度信号3.RGB颜色重构3.1 用于3×3和5×5RGB颜色重构的虚假颜色消除器3.2 对列包(column packages)的处理3.3 RGB颜色重构的起点3.4 3×3颜色重构滤波器3.5 5×5颜色重构滤波器4.结论附录1传感器矩阵对OLPF的传输的影响附录2没有内部行存储器的2×2后置滤波器附录3传统重构的传输特性附录44×4和6×6颜色重构4.1 4×4 RGB颜色重构4.2 6×6 RGB颜色重构4.3 对4×4和6×6相位重构滤波器的评估附图表示本发明的优选实施例,列举如下
图1RGB重构和轮廓重构在基于存储器的体系结构中的位置;图2smartgreen3重构的基本框图;(关于用smartgreen参数与红色和蓝色的相乘的方框的特定信息可从WO 99/04555中获得。)图3经白补偿的亮度像素Yn的实现;图4几个白补偿的亮度重构滤波器;(图3和4表示一个有益地没有绿-绿差异的优选实施例的经白补偿的亮度信号。绿-绿差异可以通过恢复拜尔图像的绿色均匀性而被去除,其允许在维持拉普拉斯(即smartgreen)RGB重构方法并且没有可见的分辨率损失的情况下消除绿色信号中的绿-绿差异。绿-绿差异也可以通过防止RGB拜尔图像传感器的并行轮廓信号中的绿色不均匀性而去除,这是可以通过开发一种用来消除由图像传感器引起的绿-绿差异的二维并行轮廓滤波器而进行的。)
图5smartgreen1/2(加虚假颜色消除器)与Yn之间的相位差;图6在3×3或5×5低频RGB信号和2×2后置滤波器中的虚假颜色消除;(关于带有虚假颜色检测器和虚假颜色消除器的方框的具体信息也可以从WO99/04555中取得。图6中的虚假颜色滤波器在颜色滤波器和2×2后置滤波器中的实现表示一个优选实施例。)图7如例如WO99/04555中所述的那样通过使用三个垂直行中的smartgreen1信号的虚假颜色检测;图8通过2×2后置滤波器的颜色信号相位恢复的参考实施例;图9通过2×2后置滤波器消除绿色不均匀性;(绿-绿差异可以通过恢复拜尔图像的绿色均匀性而被去除,其允许在维持拉普拉斯(或smartgreen)RGB重构方法并且没有可见的分辨率损失的情况下消除绿色信号中的绿-绿差异。绿-绿差异也可以通过防止RGB拜尔图像传感器的并行轮廓信号中的绿色不均匀性而去除,这是可以通过开发一种用来消除由图像传感器引起的绿-绿差异的二维并行轮廓滤波器而进行的。)图10表示在一个行方向(左)和一个列方向上(右)的数据包传输的图;图11采用从外部存储器的按列的包传输的2×2后置滤波器的基本框图;图12采用按列的数据传输的2×2后置滤波器的内部存储器;图13带有传感器数据和带有垂直传输选项的内部包存储器;(图10至13表示一个优选实施例。当所有数据传输被旋转90°时按列处理的概念也适用,产生具有相同的好处的按行的处理。)图14当存在一个中央绿色时一个3×3绿色重构的值;图15当不存在一个中央绿色时一个3×3绿色重构传输的值;图16在一个2×2后置滤波器之后的一个3×3绿色重构的值;图17对于传统的重构(左)的和对于更好的匹配的绿色重构(右)的呈绿色的对角线干涉;图18利用传统的绿色重构(顶)的和利用更好的匹配的绿色重构(底)的虚假颜色消除器假象;(图14至18表示一个优选实施例。)
图19对于存在绿色的拉普拉斯5×5绿色重构;图20对于不存在绿色的拉普拉斯5×5绿色重构;图21对于存在红色/蓝色的拉普拉斯5×5红色/蓝色重构;图22对于空的红色/蓝色中央行和列的拉普拉斯5×5红色/蓝色重构;图23对于不存在红色/蓝色中央像素和空的红色/蓝色中央列的拉普拉斯5×5红色/蓝色重构;图24对于不存在红色/蓝色中央像素和空的红色/蓝色中央行的被旋转的红色/蓝色滤波器的值;图25总的绿色(左)和总的红色/蓝色(右)滤波器的权重;图26总的绿色(左)和总的(但是修改了的)红色/蓝色(右)滤波器的权重;图27在左侧显示绿色与红色/蓝色传输之间的失配和在右侧显示确实匹配的传输的例子;(图19至27表示一个优选实施例。)图28三个轮廓滤波器的传输特性;(图28表示一个优选实施例,即无混叠的并行轮廓信号。这或者可以通过对拜尔图像传感器的并行轮廓处理实现,该处理允许使用来自图像传感器中的绿色信号来与RGB颜色重构并行地生成二维的轮廓信号。其优点是不需要额外的行延迟,而在串行轮廓处理的情况中或者对于RGB拜尔图像传感器的无混叠的轮廓则需要额外的行延迟,该RGB拜尔图像传感器基于一个独有的5×5并行轮廓滤波器,它在无需光学低通滤波器的情况下在第一RGB样本频率下有一个零通过量。它的信号失真几乎是零,导致一个没有可见的假象的轮廓信号。迄今已知的轮廓滤波器也放大传感器的奈奎斯特域以外的反折的(backfolded)和不希望有的频率。这将导致失真并因此导致多余的混叠分量在画面中更好的能见度。这个独有的5×5滤波器防止那些混叠假象,此外还消除在图像传感器的绿色通道中产生的绿-绿差异。)图29表示在RGB样本频率周围的、作为传感器矩阵的一个函数的混叠量的例子;图30在带有一个统一矩阵(unity matrix)(顶部)和没有统一矩阵(底部)的波带片(zone plate)场景的中间行的水平的彩色混叠;
图31通过同时处理两行数据避免2×2后置滤波器行存储器的方案;图32通过向外部存储器交换行数据避免2×2后置滤波器行存储器的方案;图33传统RGB重构的基本要素;图34传统3×3绿色重构滤波器的值;图352×2后置滤波器之后的绿色传输的值;图36对应空的红色/蓝色中央行和列的红色/蓝色的传统重构的值;图37对应只有红色/蓝色行数据不存在的红色/蓝色的传统重构的值;图38对应只有中央红色/蓝色列数据不存在的红色/蓝色的传统重构;图392×2后置滤波器之后的四个不同的红色/蓝色重构传输的值;图40表示作为一个4×4统一阵列的开始位置的函数的重构的红色像素的相位的图;图41表示作为一个红色和一个蓝色的函数的不同中央像素的图;图42表示维持作为开始位置的函数的4×4重构的红色相位的图;图43图42的开始位置1的4×4红色传输特性;图44三个4×4绿色重构滤波器;图45分别应用了图44的第一(顶部)、第二(中间)或第三(底部)绿色滤波器的例子;图46彩色瞬变(transients);-顶部利用4×4统一RGB滤波器的绿色-品红和红色-蓝色瞬变,-底部利用R/B相位校正和第三G滤波器的相同瞬变;图47表示维持作为开始位置的函数的6×6重构的红色相位的图;图48图42的开始位置1的6×6红色传输特性;图49一个适当的6×6绿色滤波器的权重;
图50表示一个6×6相位校正滤波器的对角线瞬变改善的例子;图51表示利用4×4(左)和3×3(右)彩色滤波器的虚假颜色消除的例子;图52表示一个人工波带片的带宽的例子;-左上最佳的3×3,右上最佳的5×5颜色滤波器(包括一个2×2后置滤波器,-左下最佳的4×4,右下最佳的6×6相位校正颜色滤波器;图53彩色对角线边沿的例子;-左上最佳的3×3,右上最佳的5×5滤波器(包括一个2×2后置滤波器,-左下最佳的4×4,右下最佳的6×6相位校正滤波器;(图29至53表示一个优选实施例,特别是关于后滤波的。)1.白补偿的亮度重构方法的处理流程在图1中,表示了一个带有中央总线和外部存储器接口的集成电路的总体体系结构的一部分。通过中央总线向外部存储器提供一个传感器信号。为了RGB颜色重构和并行轮廓重构的实现,通过中央总线从外部存储器检索传感器数据用于重构。在重构之后,数据被直接发送到处理块或发送回外部存储器。
处理块或多或少含有一些标准化的如矩阵、白平衡(whitebalance)、拐点调整(knee)和伽马(gamma)之类的摄影机功能。向所述处理直接发送重构的数据是一个重要的问题,因为为了获得对静止画面或视频数据快速的执行时间,应当限制向存储器或从存储器的耗时的数据交换量。
在图2中,表示了所提出的方法的一个优选实施例的更详细的框图,以下称该方法为″smartgreen3″信号重构。通过中央总线,传感器数据被以小包(packets)的形式从外部存储器发送到重构块中的小内部存储器阵列。从图2中的这个[1S×64H×6V]阵列(例如含有1个信号(16位)和64水平×6垂直像素(768字节)),原始传感器数据能被随机地检索以供重构。特别地,一行传感器数据能按(64-2*ho)的倍数的像素被处理,其中,ho是滤波器阵列的水平偏移(horizontaloffset)。对于一个n×m重构阵列(其中″n″是水平的像素、″m″是垂直的像素),偏移是ho=n div 2,″div″的意思是向零取整到最接近的整数。因此,成立以下关系n=3则ho=1,n=4或n=5则ho=2,n=6则ho=3。第一个能被重构的像素位于位置1+ho,最后一个位于位置N-ho,其中N是一个传感器行中的像素的总数。重构一个完整的传感器行需要把N/(64-2*ho)个包发送到重构块。在图2的下部,RGB颜色信号被用原始传感器数据重构。通过选择滤波器权重,(低)频率传输取决于摄影机的光传输。是否使用虚假颜色消除器和2×2后置滤波器也取决于光传输。在图2的上部将R和B像素与smartgreen参数相乘。Smartgreen参数例如可按照在WO 99/04555或EP 01 200 422.2中公开的方法检索。利用这个特定的信号,三个无混叠的亮度信号被重构轮廓信号、经白补偿的亮度信号Yn和低频亮度信号Ylf。后一个具有与所重构的RGB信号大约相同的传输特性。通过从经白补偿的亮度信号Yn中减去低频信号Ylf,生成一个高频亮度分量(Yn-Ylf)。认识这样的事实是重要的,即在此优选实施例中,为了防止更高频率下的不想要的虚假颜色,如果可能的话,不应当比在处理块中的矩阵和白平衡功能以后更早地将(Yn-Ylf)信号加到每个颜色信号。对轮廓信号来说这也完全一样。防止所提及的不想要的虚假颜色,是重构块的总输出由四个或分别地三个信号组成的原因。除了尽可能最快的执行时间之外,这是为什么优选地直接向处理块发送所有信号的第二个原因。第三个原因可能是这让两倍的[4S×64H×1V]内部存储器成为多余,其中一个在重构块中用于向外部存储器发送四个信号,一个在处理块中用于再次检索所述信号。[4S×64H×1V]内部存储器代表一个垂直行的(64-2*ho)个水平像素的四个(16位)信号的存储,其在凑整到64个像素时含有总共640个字节。
如果例如对于通过CPU借助特定的软件进行的耗时的重构和/或处理需要设计的最大灵活性,则应当应用两个[4S×64H×1V]内部存储器,一个用于重构,一个用于处理。
在图2的上部,实现无混叠的轮廓,紧接着是过冲(overshoot)控制处理器,其防止在低频下的过冲和下冲(undrshoot)。使用二维分步瞬时信号(step transient signal)的二维清晰度改善,是通过实现一个适于控制过冲的二维检测信号而达成的。这个所谓的分步瞬时信号能被用于若干过冲(和下冲)控制方法,产生非常吸引人的清晰度改善,而没有夸大的、看起来不自然的过冲。允许把轮廓信号和(Yn-Ylf)信号相加成一个单一的信号,并向内部[4S×64H×1V]存储器发送。
可以对以下章节概括如下。
在第2章中,描述利用2×2和4×4滤波器实现无混叠和零失真的亮度信号Yn。在第3章中接着利用虚假颜色消除器实现低频RGB重构。也可以应用利用了4×4和6×6光学低通滤波器阵列的低频亮度信号。在内部文档号为ID606638-I的专利申请的详细说明的第3章特别对细节作了解释,该申请与本申请同日提交,在此引用作为参考。也可以实现4×4和6×6无混叠轮廓信号,作为对5×5无混叠轮廓重构滤波器的替代或附加。轮廓重构滤波器的细节在内部文档号为ID606638-III的专利申请中公开,该申请与本申请同日提交,在此引用作为参考。所提出概念可灵活地被适配为光传输和传感器矩阵的一个函数。在内部文档号为ID606638-I的专利申请的详细说明的第4章特别对细节作了解释,该申请与本申请同日提交,在此引用作为参考。
2.经白补偿的亮度信号经白补偿的亮度信号是基于smartgreen参数的计算。在WO99/04555和EP 01 200 422.2中示出了例子。SmartGcntrlR和SmartGcntrlB参数被分别称作wbr和wbb。图3显示,红色和蓝色像素被乘以smartgreen参数。然后,四个像素被相加在一起,产生一个经白补偿的亮度像素Yn。考虑作为第一个像素的R像素,Yn像素的中央被向右和向底移位半个像素。结果是,所有其它必须被重构的信号(即红-绿-蓝和轮廓)都应当获得与这个Yn信号相同的中央位置。
经白补偿的亮度信号Yn的优点与5×5无混叠轮廓信号的完全相同。RGB拜尔图像传感器的一个无混叠的轮廓是基于一个独有的5×5并行轮廓滤波器,其在不需要光学低通滤波器的情况下,在第一RGB样本频率有一个零通过量。它的信号失真几乎是零,导致一个没有可见的假象的轮廓信号。迄今已知的轮廓滤波器也放大传感器的奈奎斯特域以外的反折的和不希望有的频率。这将导致失真并因此导致多余的混叠分量在画面中更好的能见度。这个独有的5×5轮廓滤波器防止那些混叠的假象,此外还消除在图像传感器的绿色通道中产生的绿-绿差异。具体优点是1.在不需要OLPF(光学低通滤滤器)的情况下,Yn信号在第一RGB样本频率有一个零通过量,因此它在这些点将不产生混叠。在样本频率的第二和更高的倍数下通过量低,但是透镜的低通和传感器的调制传输功能(MTF)在这里也将是有效的。
2.信号失真几乎是零,导致一个没有可见的假象的亮度信号Yn。
以下将解释为什么2×2白补偿的亮度滤波器特别有益。
1.对于消除图像传感器的顺序RGB拜尔颜色信号中的调制颜色信息和消除由图像传感器引起的绿色不均匀性,需要2×2的统一矩阵(unity)。避免RGB拜尔图像传感器的并行轮廓信号中的绿色不均匀性,是通过一个开发用来消除由由图像传感器引起的绿-绿差异的二维并行轮廓滤波器的方法实现的。用于拜尔图像传感器的并行轮廓处理允许利用来自图像传感器中的绿色信号以便与RGB颜色重构并行地生成二维轮廓信号。
优点是不像在串行轮廓处理中那样需要额外的行延迟。应当注意的是,无论使用了什么OLPF类型,它既不影响大的饱和颜色区域中的这个颜色调制,也不影响绿色不均匀性。
2.为了消除矩阵和/或环境色温的影响,需要乘以smartgreen参数,其中,矩阵的系数的总和不等于统一值。
这是为什么计算smartgreen参数的两个原因。如果这些参数不统一,颜色传感器将不起黑白传感器的作用。
经2×2白补偿的亮度信号Yn的微小缺点可能是,当应用光学低通滤波器(OLPF)时,分辨率将降低。然而,这可通过应用4×4滤波器重构Yn而得到补偿。根据OLPF的低通传输的量,可选择具有更重权重的Yn滤波器。在图4的左侧,表示了已经描述过的2×2 Yn滤波器。在中间和右侧,表示了两个4×4 Yn滤波器。右边的是“最重的”滤波器。除了用于补偿OLPF的传输损失,它们也能被应用于透镜的传输损失的补偿。
3.RGB颜色重构在这个优选实施例中描述的重构方法应当适合带有任意的光学低通滤波器(OLPF)的或者根本不带有OLPF的摄影机。选择一个适当的OLPF不是一个简单的事情。在多数情况中,这是在清晰度的损失与接受一定量的混叠或优选地没有混叠之间的一个折衷。相关的参数是1.透镜的光传输;
2.包括一个可能的像素微透镜的、确定光敏感的参数的传感器的调制传输函数(MTF);3.由传感器的颜色阵列确定的传感器矩阵。如附录1中所解释的那样,由矩阵的重量引起的额外的混叠量,影响OLPF传输的规定;4.一个给定的重构算法(它当然也导致一定的传输特性),导致需要通过OLPF或多或少地减少混叠。
如果在摄影机中这四个参数的一个已经被修改,应当考虑对OLPF的适配。这里产生的一个问题是,OLPF一般是在不考虑所提及的全部四个参数的情况下规定的。因此在此优选实施例中,试图根据现有的或优选的摄影机设计(即光学器件(pt.1)和传感器(pt.2和3))预期一个提供某种灵活性的重构方法(pt.4)。重构滤波器的传输可通过选择某些滤波器权重而被改变,但是最重要的是应用一个虚假颜色消除器的可能性。
这一章中解释RGB颜色重构滤波器一个使用3×3阵列,一个具有5×5阵列。这两个都可以与虚假颜色消除器一起被应用。首先解释如何实现重要的虚假颜色消除器,以及为什么与如分别在WO 99/04555和EP 01 200 422.2中概述的那样和smartgreen1/2一起应用的虚假颜色消除器相比,它几乎不产生或不产生可见的假象(黑和白点)。
3.1用于3×3和5×5 RGB颜色重构的虚假颜色消除器如果已经应用了一个弱的光学低通滤波器或没有应用光学低通滤波器,则使用虚假颜色消除器应当是可能的。在这个实施例中,虚假颜色消除器的检测器的一个必然要求是,为了获得最高可能的绿色分辨率,它应当基于最小可能的绿色重构阵列。直到现在,所发现的最佳阵列特别是按照smartgreen1/2方法的3×3中值滤波器。然而当与smartgreen3的6×6阵列结合地使用3×3阵列时,这意味着在smartgreen1的重构的绿色中央像素与smartgreen3的经白补偿的亮度像素之间将有一个相位差。
图5表示这个相位差smartgreen1的中央绿色已经被向右和向下(因此向东南方向)移位半个像素。当然,其它三个方向也是有可能的,但是以后将会变得清楚,东南方向是故意选择的。
为了保持smartgreen1或smartgreen2信号的相位及其虚假颜色消除器,必须应用3×3或5×5颜色重构滤波器。在这样的情况下,所产生的RGB信号与smartgreen3的经白补偿的亮度信号Yn的相位差将和smartgreen1/2信号相同。这个相位差问题,可通过在重构的颜色信号和它们的虚假颜色消除器之后应用一个2×2后置滤波器而得到解决,如图6中所示的那样。低频输出颜色信号Ro、Go和Bo于是将与经白补偿的亮度信号Yn匹配。
在图6的上部,表示了虚假颜色检测器的路径。这里可选择两类虚假颜色检测器。第一类是使用方法1的,第二类是使用方法2的,分别用于绿色的存在和不存在。这里已经选择了只使用方法2的稍好的第二类检测器。如图7中所示,这个检测器在同时需要三个相邻行,每个行内有一个smartgreen信号。图7的行2到6中的红色和蓝色像素首先被乘以smartgreen参数。然后,用一个中值滤波器在行3中以行2至4中的数据重构一个smartgreen1/2信号,在行4中以行3至5中的数据重构一个smartgreen1/2信号,最后在行5中以行4至6中的数据重构一个smartgreen1/2信号。这三个smartgreen1/2信号和FCsigmaG信号被提供到虚假颜色检测器。FCsigmaG是围绕中央绿色像素的四个绿色像素的值的和除以4。
例水平像素延迟水平方向上的smartgreen1/2信号的重构需要四个水平像素延迟。以中央像素为参照(有两个像素的延迟),这意味着所重构的RGB信号也应当有两个像素的延迟。同样,图2中所示的三个亮度信号Yn、Ylf和轮廓,应当在维持适当相位的情况下获得两像素的延迟。这例如可通过以两个像素的延迟开始它们的重构而实现。对水平延迟方面将不详述,因为他们能通过在正确位置开始的像素延迟而解决。
图6的下部中表示RGB颜色重构,其细节将在下一章作进一步讨论。向虚假颜色消除器提供三个低频颜色信号Rlf、Glf和Blf。借助三个行存储器,这三个颜色信号被一个2×2后置滤波器滤波,然后,恢复与经白补偿的亮度信号的相位关系。在图8中显示了为什么在图5中故意选择将在行4和列4中生成中央smartgreen1/2像素(或Rlf、Glf和Blf像素)。通过一个单一行和一个单一像素延迟,可以把以前生成的颜色信号相加,以被2×2后滤波。
尽管尚未解释RGB颜色重构的细节,在这里仍将提到为什么smartgreen3的虚假颜色消除器(已经在上文被称作虚假颜色滤波器)比smartgreen1/2的更好的理由1.优选地,在低频重构的RGB信号上进行虚假颜色消除,导致较少的假象。
2.万一发生虚假颜色消除器的假象,它们将被2×2后置滤波器减少。绿色不均匀性也被后置滤波器消除,例如如图9中所示的那样。
3.经白补偿的亮度信号的高频贡献将屏蔽可能的虚假颜色消除器假象。
4.如图7中所示的那样,类似于方法2使用周围的smartgreen像素的虚假颜色检测器,在性能上比方法1的稍微更好。
当应用传统的RGB颜色重构时,第1项不再有效,然而这最好不被smartgreen3应用排除。可视为smartgreen3的一个优点的是,即使没有真实的低通颜色信号,在基于smartgreen1或2的虚假颜色检测器之间也没有多少差别。在最后的smartgreen3重构后,使用传统重构滤波器的结果可能是完全可以接受的,因为它几乎没有假象。
关于虚假颜色检测器所应该说的是,它使用某个水平,超过这个水平虚假颜色就被消除。低于该水平的虚假颜色(例如由于光学低通传输的小幅度的虚假颜色)将不被消除。对于smartgreen3而言,虚假颜色检测器的调整远没有对于smartgreen1/2那样重要。
关于颜色和亮度假象,smartgreen3的一个主要优点是,现有技术的方法的看起来像邮票的边沿消失了。其原因是smartgreen1/2信号完全未被应用在颜色和亮度信号中。取代混叠的smartgreen1/2信号,应用无失真的经白补偿的亮度信号Yn。
图9的左手边表示使用传统重构方法的绿色不均匀性。在右手边一个2×2后置滤波器显示该不均匀性的消除。
3.2利用列包的处理在解释了为了匹配RGB颜色信号与经白补偿的亮度信号的相位而需要2×2后置滤波器后,很明显最好不应在硬件中实现行存储器。将描述三个实现这一点的解决方案。其中有两个在附录2中解释,最有意思的一个在这里解释。
到现在为止一直假设在行方向上从外部存储器向重构块传输传感器数据的64像素宽的包。在图10的左手端,显示了这个按行的包传输。到达第一行的末尾时,包传输在第2行的开头开始,如此等等。然而这个水平传输需要能用用于2×2后置滤波器的完整的行存储器。
然而在给定完整画面的传感器数据已经被存储在外部存储器的条件下,也有可能在列方向上应用一个包传输。在图10的右手端显示这个按列的包传输。在发送第一行的第一个包后,第二行的第一个包被发送。这个程序一直持续到最后一行。然后,发送向右移位(64-2*ho)个像素的第一行的第二个包,然后该程序再次开始,一直到最后一行中的所有水平像素最后都被重构为止。
对于按行和按列这两种方式的包传输来说,信号重构在每个包内是在水平方向上执行的。通过在具有所述包宽度的内部存储器中存储RGB颜色信号,以及然后转移到下一行,它的数据能被用于2×2后置滤波器。按列包传输的优点是它不需要一个完整的行存储器。具有一个包的宽度的内部存储器宽得足以独立于传感器的水平像素的个数。
在图11中表示的是按列的包传输的基本框图,它包括2×2后置滤波器所需要的、只有64像素宽的内部存储器。注意到图11几乎与图32(附录2)相同,只是不需要[3S×64H×1V]后置滤波器存储器与中央总线和外部存储器的互联。如将要在附录2中所要解释的那样,这将有益地防止66%的向外部存储器的数据交换。
图12显示,内部的后置滤波器存储器是一个只有64像素宽的FIFO(先进先出)存储器。如果前一行的一个像素已经被发送到后置滤波器,它的存储地点的空间变得可用。实际被重构的RGB数据于是能被存储在该初始的空闲空间上。因此对于此优选实施例中的这个目的来说,[3S×64H×1V]内部存储器是足够的。16位RGB数据存储的字节总数多达384。
3.2.1减少来自外部存储器的传感器数据传输量如果传感器数据的内部[1S×64H×6V]输入存储器能如图13中所示的那样在垂直方向上向下移位,则来自外部存储器的包仅需要有高度为单一行的64像素的宽度[1S×64H×1V]。每次需要重构下一行的数据时,内部存储器中的数据被向下移位一行。之后,只有上一行被来自外部存储器的数据填充。
后面紧接着被使用按列包传输的、不要求在内部存储器中的垂直传输选项的处理的重构所需要的单元(units)的数量为●从外部到内部存储器的传感器数据[1S×64H×6V]或6个传输单元●从处理块到外部存储器的RGB数据[3S×64H×1V],是3个传输单元总共 9个传输单元●如果包括垂直传输选项,这变成[1S×64H×1V],或1个传输单元●保留到外部存储器的三个RGB数据单元3个传输单元总共 4个传输单元因此用于重构和处理的数据交换量已经被减少56%以上。
一个传输单元被认为相当于1S×64H×1V,即1个64水平像素的信号。
3.3RGB颜色重构的起点对于此优选实施例中的smartgreen3的RGB颜色重构来说,一般必须考虑到三个特定的起点。
1.如果利用具有更大的带宽的滤波器(像传统的RGB重构一样),则各单一颜色的传输特性之间的差别将引起在更高的黑白场景(scene)频率下的彩色干涉(interferences)。这是由在它们的样本频率的每个倍数下的不同传输特性的反折引起的。因为在拜尔传感器上有数量是红色或蓝色像素的两倍的绿色像素,绿色传输的更好匹配具有第一优先权。将要表明的是,最佳匹配的绿色特性由于假象而不在边缘处呈现最佳性能。对这个现象上还没有真正的解释。在下面各章中提及的系数,已经在大量试验和错误中被发现并已经被实验所证明。
2.如果利用像5×5滤波器那样具有低于奈奎斯特频率的带宽的滤波器,当然在样本频率的倍数周围将有混叠。只有适当的OLPF能防止这种混叠。如果那些低频RGB滤波器不是足够地匹配,则将发生黑白低场景频率的彩色再现。将要表明的是,矩阵系数的重量(heaviness)在这里起着非常重要的作用。
3.应当选择也防止由RGB拜尔图像传感器引起的绿色不均匀性问题的绿色系数。图9表明,就3×3或5×5 RGB滤波器而言,2×2后置滤波器已经消除绿色不均匀性。然而如果3×3和5×5滤波器也消除绿-绿差异,则是有益的。
3.43×3颜色重构滤波器附录3中表示了传统RGB颜色重构滤波器的传输特性。图14和15中表示一个3×3绿色重构滤波器的更好的匹配特性。左上角显示滤波器权重。
尽管2×2后置滤波器也将消除绿-绿差异,图14和15的绿色重构滤波器将已经消除绿-绿差异。也可以应用一个用于开发一个消除由图像传感器引起的绿-绿差异的二维并行轮廓滤器的方法。
有这样一条规则成立“相邻对角线滤波系数的相减应产生一个零贡献。这将平均并因此消除绿色像素的绿-绿差异”。
这个规则也适用于如在第2章中对经白补偿的亮度信号的描述中所解释的亮度重构滤波器。然而,如果滤波器不能解决绿色不均匀性,这将被明确地提及。
图16展现在2×2后置滤波器之后的fa绿色传输。在左手端所显示的传输对应于“绿色存在”,在右手端所显示的传输对应于“绿色不存在”。要注意的是,低频混叠的量是由第一滤波器(即重构滤波器)决定的。后置滤波器仅仅减少高频分量。更好匹配的绿色滤波器的优点是●它们在更高对角线频率下将引起更少的呈绿色的干涉,这从图17中可见,●将产生更少的虚假颜色消除器假象,这从图18中可见,●在边缘处没有假象,这也从图18中可见。
在图17中,一个经低通滤波的波带片场景(zone plate scene)已经被与一个统一传感器矩阵一起应用,即没有应用smartgreen3处理,没有虚假颜色消除器,没有2×2后置滤波器。图17展示3×3重构滤波器之后的颜色信号。除了在右手端的呈绿色的对角线干涉的降低外,也可以看到分辨率的损失。后来在这个处理中这个损失也可以通过对Yn信号的适当选择而得到补偿。
在图18中,显示一个方块的MacBeth颜色方格图(color checkerchart)的虚假颜色消除器假象,该图在这里被放大四倍。尽管没有显示,该方块是黄色的。图中表示了3×3传统(顶部)和smartgreen3(底部)重构的颜色信号。对于后者来说,既没有应用smartgreen3高频处理,也没有应用2×2后置滤波器。用于二者的虚假颜色检测器只按照检测方法2使用传统的smartgreen1信号。
要注意的是,与martgreen1/2重构方法的一个差别是,smartgreen3不把smartgreen信号当作颜色信号应用。它仅被用于虚假颜色检测器。下部的假象的缺少,主要是由绿色传输特性引起的。尽管它们比传统的重构方法更好地匹配,它们仍然是不同的。然而,它们在彩色和黑白边缘提供令人惊讶地完美的重构。这使图14和15的绿色滤波器组合非常独特和优越。
这种滤波器也可被应用于被称作smartgreen4的重构概念。在内部文档号为ID606638-III的专利申请的详细说明的第5章特别对细节作了解释,该申请与本申请同日提交,在此引用作为参考。
3.5.5×5颜色重构滤波器图19和20中表示一个5×5绿色重构滤波器的传输特性。左上角中显示滤波器的权重。要注意的是,图19中的滤波器单独地并不消除绿-绿差异。在图21、22、23和24中,表示5×5红色和蓝色滤波器的传输特性。
为了有可能进行拉普拉斯滤波,对于总的绿色滤波器,有必要将每个滤波器的权重乘以这样一个整数因子,使得两个滤波器的总权重变得相等。对应于绿色的存在的权重被乘以因子3,对应于绿色的不存在的权重被乘以因子5,这从图25的左手端可见。对于总部的红色/蓝色滤波器来说,通过对于图22乘以因子6和对于图22和23乘以因子2,权重已经被匹配,如在图25的右手端可见的那样。
为了实现3.3章中的第2点(低频下的RGB传输匹配),应当非常仔细地选择权重。图27在右手端表示使用上述滤波器权重的波带片的结果,在左手端表示利用如以下在图26中所示的经修改的红色/蓝色权重的结果。呈绿色的低频颜色的原因是绿色和红色/蓝色传输之间的失配以及使用像FT19(3000×2000像素)类型的传感器所具有的那样的相当重的矩阵。这将在附录1中详细表示。要注意的是,原始的波带片场景在被传输到FT19传感器信号之前已经被低通滤波,以便模拟特定的光传输,以及防止由于重的矩阵而引起的被扩大的混叠量。原始的波带片已经独立于频率地被以100%的幅度实现。尽管“绿色存在”和“不存在”之间的更好匹配的传输特性是可能的,图19和20的滤波器在彩色以及黑白边缘几乎没有假象,而更好的匹配则有。与前面提及的3×3绿色滤波器有一个相似之处它并不是理想匹配的,但是它在边缘几乎没有假象。尽管有这些小的假象以及此5×5绿色滤波器的绿色不均匀性,2×2后置滤波器将减少和分别消除它们。
为了最好地看到差别,最好先盖住图27的左手端,然后盖住右手端。
附录4中对于4×4或6×6阵列解释RGB颜色重构。
●已经描述了两个有趣的重构滤波器,一个有3×3阵列,一个有5×5阵列。当应用按列的处理时,为了与经白补偿的亮度信号有适当相位关系而必须的2×2后置滤波器不是真的问题。此外,这些滤波器原则上可与虚假颜色消除器一起应用或者不用虚假颜色消除器。
●4×4和6×6滤波器较不适合与虚假颜色检测器一起应用,这是由于它们之间较不合宜的相位关系,但是应用是可能的。
4.结论与smartgreen1和smartgreen2相比,用smartgreen3实现以下特定优点●它是一个灵活的设计。根据传感器矩阵的重量,可以在两个颜色重构滤波器之间作出一个选择。因此,能够特定于应用地定义(低通)亮度滤波器。能选择几个高频亮度滤波器,并作为摄影机的光传输的函数调整所述高频亮度滤波器。
●由于取决于所选择的颜色重构的虚假颜色消除器,它几乎没有或者根本没有可见的假象(黑白点)。其原因是使用了比smartgreen1和smartgreen2更强的经低通滤波的颜色重构。
●根本没有由smartgreen重构引起的假象,其简单的原因是,smartgreen概念只被用于虚假颜色检测,而不被用作颜色信号。为了补偿分辨率的损失,生成一个高频亮度信号。
●取决于所选择的颜色重构,反折的彩色混叠的带宽比smartgreen1和smartgreen2的小。
●红色、绿色和蓝色重构滤波器的传输以这样的方式被匹配,即比起传统的smartgreen1和smartgreen2滤波器,在更高的对角线频率下将发生较少的或者不发生呈绿色的干涉。
●颜色重构滤波器在颜色和亮度边缘没有看起来像邮票边沿一样的假象。
●通过与滤波器权重结合的所谓亮度白补偿,所有生成的亮度信号都没有混叠和失真。
●这里所提出的smartgreen3设计的所有滤波器消除由传感器引起的绿色不均匀性。特别地,5×5绿色重构滤波器借助2×2后置滤波器最终构成这一点。
总之,由于其灵活性、没有信号失真以及其虚假颜色消除器,smartgreen3很适合对数字静止图像和带有拜尔颜色滤波器阵列的传感器的邻近视频像素的重构和处理。
附录1传感器矩阵对OLPF的传输的影响如以上概述的那样,传感器矩阵在光学低通滤波器(OLPF)的传输特性的规定中起作用。对于以单一的代表参数表达混叠的量,将不作详细的概述。但是上述陈述将借助表示人工生成的波带片的结果的图29和30而表明。
图29的左上部分被假设为在给定一个具有一定的传输的(模拟的)OLPF的条件下在清晰度的损失与可接受的混叠量之间的一个折衷。其中使用传统的重构方法和统一传感器矩阵。
右下部分表示完全相同的OLPF和重构方法,,唯一的区别是应用了一个Philips FT19传感器矩阵。现在通过适配OLPF的传输能最佳地达到作为首要目标的折衷。
图30的上部表示当使用一个统一矩阵时波带片场景的中间行的RGB信号。其中使用了与图29的相同的OLPF和重构方法。图30的下部表示当使用Philips FT19传感器的矩阵时的相同行的结果。
在为了找到在清晰度的损失与可接受的混叠量之间的一个折衷而定义一个OLPF时,对传感器矩阵加以考虑是明智的。如已经表明的那样,对于重构方法同样如此。
判断传感器矩阵的重量的经验法则在给定矩阵参数的情况下,几乎不可能判断它是否是一个重矩阵。因此,已经发展了以下的经验法则“对于一个或多个颜色来说,如果除原色值以外的所增加的颜色的一个或两个的逆矩阵值大于该原色值的一半,则该矩阵可被视为引起许多额外的混叠和额外的彩色噪声的(相当)重的矩阵。”因为场景的色温影响逆矩阵值,优选地应当在白平衡范围的中间一点的色温处定义传感器矩阵。对于3000至7000K(开尔文)的范围来说,5000K左右的色温将是合适的。
FT19矩阵的参数红色 2.1610 -1.7720 0.6120绿色 -0.15802.0830-0.9240蓝色 -0.0190-0.6910 1.7090FT19矩阵的逆参数红色 0.4858 0.4420 0.0815绿色 0.0486 0.6285 0.3223蓝色 0.0252 0.2590 0.7162察看逆红色矩阵值,向红原色(0.4858)增加的绿色的量(0.4420)几乎超出经验法则的两倍。对于逆绿色矩阵来说,向绿原色增加的蓝色的量也不满足经验法则,但是可以认为是可以接受的。逆蓝色矩阵是唯一的清楚地增加了远远低于蓝原色值(0.7162)的一半的红色和绿色值的量的矩阵。特别是基于红色参数,FT19矩阵可被视为是一个重矩阵。
就独立于光传输的重矩阵而言,应当总是应用一个5×5颜色重构滤波器。在本附录中已经解释过使用逆矩阵值的2倍因子标准。作为一个合乎逻辑的结果,应用一个5×5颜色滤波器和图28的6×6Ylf滤波器是明智的。
附录2没有内部行存储器的2×2后置滤波器参看3.1章,在这个附录中解释两个避免非想望的用于2×2颜色后置滤波器的行存储器的方法。
第一个方法使用以行3和行4两个行作为中央行的同时颜色处理。图31显示,上部使用来自行1至5的数据作为输入,在中央行3产生RGB颜色数据。在下部,使用来自行2至6的输入数据。在中央行4产生RGB数据。信号R3-G3-B3和R4-G4-B4被提供到2×2后置滤波器,后者为了能够执行2×2后滤波而使用一个用于6个颜色信号的内部像素延迟用于这个同时颜色处理的额外电路的量,可通过可用信号的智能组合而最小化。这样,只需要一个额外的smartgreen1中值滤波器(导致它们的总数是4个而不是3个)、一个额外的虚假颜色消除器和一个额外的RGB重构滤波器。该额外的中值滤波器和虚假颜色消除器所需的芯片面积极小。这3个颜色重构滤波器将消耗额外面积的最大部分。
第二个方法用外部存储器存储所述三个重构的低频RGB颜色信号的行数据。因此,如图32中所示,使用一个内部存储器作为与中央总线的接口,用于存储和检索重构的颜色行数据。其大小是[3S×64×1](即3个64水平像素的信号),对于16位信号是384个字节。这个方法的一个微小缺点是耗费时间的颜色数据的交换,它将增加一个传感器画面的总执行时间。
为了2×2后滤波,与内部存储器中位于位置(x,y-1)的数据一起使用位于位置(x,y)的实际被重构的颜色像素的数据。水平位置是x,行号是y,因此y-1是前一行。第一印象可能是内部存储器应当含有用于两行的两个64像素包RGB颜色数据一个用于前一行,一个用于正在被重构并要被发送到外部存储器的行。因此是[6S×64H×1V],它比图32中所示的大两倍。然而,如果前一行的一个像素已经被发送到后置滤波器,它在内部存储器中的空间就变得空闲。实际被重构的RGB数据于是能被存储在该特定空间中。这意味着一个[3S×64H×1V]的内部存储器就足够。
关于数据交换的数量,适用不同的规则。首先,必须把前一行的颜色数据的包发送到内部存储器。在该包被后置滤波器使用后,必须把带有实际行的颜色数据的包发送到外部存储器。所以,为了后滤波一个数据包,必须交换两个包。假设重构的输出直接连接到处理,对于增加数据交换量并从而增加执行时间,这意味着以下●从外部到内部存储器的传感器数据[1S×64H×6V]或6个传输单元●从处理块到外部存储器的RGB数据[3S×64H×1V]或3个传输单元没有后滤波,相对的总交换量是9个传输单元●有后滤波,需要2×[3S×64H×1V]的额外包,因此6个传输单元结果,总的交换量是15个传输单元由于基于存储器的后滤波,交换量的增加是(15/9)*100%-100%=66%一个传输单元被视为1S×64H×1V,即1个64水平像素的信号。
附录3传统重构的传输特性图33与smartgreen1相比有各种新特性。所增加的特别是传统的RGB颜色重构的每个可能的起始位置的对应的3D传输(3Dtransfer)。对于绿色,有两个不同的传输特性,对于红色和蓝色,甚至有四个。
对于传统的绿色重构来说,如果中央绿色存在,则绿色传输是统一的,如果中央绿色不存在,则绿色传输是按照图34下面的3D图。
绿色重构传输中的差异,将引起由在绿色样本频率的每个倍数下的不同的绿色传输的反折引起的在更高的对角线频率下的呈绿色的调制。
这个绿色重构滤波器的另一个微小缺点是,它遭受由RGB拜尔图像传感器引起的绿色不均匀性。然而2×2后置滤波器将解决这个问题。它允许消除传感器的绿色信号中的绿-绿差异,同时维持拉普拉斯或smartgreen RGB重构方法并没有可见的分辨率损失。
图35中显示,在2×2后滤波后绿色传输特性变得更为等同。在左手端表示对应绿色的存在的传输,在右手端表示对应绿色的不存在的传输。
要注意的是,低频混叠的量主要是由第一重构滤波器决定的。后置滤波器仅仅减少高频分量。不过在更高对角线频率下的呈绿色的调制将被减少。
对于传统的红色/蓝色重构来说,四个不同的传输特性发挥作用1.如果存在中央红色/蓝色,则传输是统一(unity)的。
2.如果没有红色/蓝色中央像素并且中央行以及中央列不含红色/蓝色像素,则图36的传输是结果。
3.如果没有红色/蓝色中央像素并且中央列不含红色/蓝色像素,则图37的传输成立。
如果没有红色/蓝色中央像素并且中央行不含有红色/蓝色像素,则图38的传输成立,其等于图37的传输,但是被旋转90°。
在图39中,表示了在2×2后滤波之后的4个不同的红色/蓝色传输。要注意的是,低频混叠的量主要由第一重构滤波器确定。后置滤波器仅仅减少高频分量。
附录44×4和6×6颜色重构乍一看,优选地,如果不需要虚假颜色消除器,应用一个4×4或6×6 RGB颜色重构滤波器是吸引人的,因为预期重构的像素的相位将是与如图3中所示的经白补偿的亮度信号的相位相同的。在此情况中,不需要后置滤波器。在本附录的下两章中将要解释,对于4×4颜色重构阵列以及对于6×6颜色重构阵列来说,在四个起始位置上平均的红色和蓝色相位将对应于经白补偿的亮度信号的相位,但是对于每个起始位置来说,相位将是不同的。
4×4 RGB颜色重构为了简要,假设一个具有统一权重的4×4红色(和蓝色)重构滤波器,如图40的左手端所示的那样。在图40中,连同重构所涉及的红色像素和被重构的红色像素一起表示了不同的红色起始位置。没有对应于哪个起始位置的重构的红色像素与经白补偿的亮度像素的相位一致。只有作为重构的红色像素的起始位置的函数的四个位置的平均值,将有所期望的像素匹配。因为重构涉及对假象非常敏感的静止摄影画面,所以所平均的相位几乎没有任何意义。除了所提及的一个单一红色或蓝色的相位失配外,在三个重构的RGB像素之间也有一个相对相位差,如图41中所示的那样。对于绿色来说,假设一个4×4统一滤波器,它的重构的像素与经白补偿的亮度信号有一个适当的相位匹配。
图42中表明,利用特定的滤波器系数,可以把重构的红色(或蓝色)像素的位置保持得与经白补偿的亮度信号的相位一致。这个滤波器将被称作红色/蓝色相位校正滤波器。如在图42中可见的那样,红色/蓝色重构只涉及三个有关的像素。
图43中表示图42的起始位置1的传输特性。
按照在第3.3章中提及的颜色重构滤波器的起始点,应当小心地定义绿色系数。两个绿色传输特性都应当有一定的匹配,并且它们应当与红色/蓝色滤波器足够地匹配。此外,优选地消除绿色不均匀性。
图44中表示了三个4×4绿色重构滤波器,其中,独立于起始位置,重构的绿色像素与经白补偿的亮度信号有一个适当的相位匹配。它们进一步消除由图像传感器引起的绿色不均匀性。如在第2章中概述的那样,省略对这三个滤波器的绿色不均匀性恢复的解释。进一步,一个二维并行轮廓滤波器可消除由图像传感器引起的绿-绿差异。
确定重构的绿色的位置有几种方式。例如,图44中的虚线的黑色印刷的滤波器系数代表第一绿色起始位置,无虚线的绿色滤波器系数代表第二绿色起始位置。当在图44的左边部分中的列a和c中增加虚线的黑色系数时,它们的重构的像素被定位在列b和行p中。当在列b和d中增加虚线的黑色系数时,结果被定位在列c和行q中。组合位于位置(b,p)和(c,q)的像素,得到最终被重构的绿色像素的位置。对于无虚线的绿色印刷的滤波系数来说,类似的解释得到完全相同的重构的绿色位置。
假设所有的权重统一,首先要确定图44中的第二个绿色滤波器的重构的绿色的位置。该位置于是将与第一个绿色滤波器的相同。为了包括因数为2的权重,对于位于位置(b,p)和(c,q)的虚线黑色权重,像素值必须被再次增加。这再次得到一个具有与重构的绿色完全相同的位置的像素。可以以类似的方式确定无虚线的绿色系数的位置。
对于第三个绿色滤波器来说,增加虚线的黑色系数将得到想要的重构绿色位置。
首先将通过使用一个人工波带片和FT19的传感器矩阵,检查这三个绿色滤波器中的哪个具有与图42(和43)的红色/蓝色相位校正滤波器的最佳匹配。因为不想要为这个检查应用一个虚假颜色消除器,应当选择与最佳灰色信息组合的滤波器。在图45的顶部应用一个统一绿色滤波器,在中间应用第二个。上述两个都有一个朝向中间频率的紫色偏移。显然,使用第三个绿色滤波器的底部画面是最佳的画面。如在附录1中已经解释过的那样,在中间的干涉是由矩阵系数引起的。由于利用统一矩阵,它们完全消失。在波带片的第7个“白”环上,颜色偏移(color shift)被挑出来,并在图45的右边部分中的方块中放大显示。要注意的是,没有应用过高频亮度处理。这个结果仅仅是因为颜色重构。
可以用统一RB滤波器和三个绿色滤波器进行类似的测试,但是都有不可接受的低频假象,并且用第三个绿色滤波器的测试有强的呈绿色的颜色偏移。因此,为了显示4×4红色/蓝色相位校正滤波器的改善,替代波带片场景,对角线和垂直的彩色边缘将被显示。
最难的边缘是绿色-品红和红色-蓝色瞬变,它们在这里来自这种情况中的一个理想的分步函数。在图46中明显可以看到经相位校正的红色和蓝色重构的改善。所述瞬变已经被放大6倍,另外已经应用了统一传感器矩阵。在图46的下部,明显可以看到经相位校正的红色和蓝色重构的改善。
6×6 RGB颜色重构与4×4阵列的类似的措施可以应用于6×6 RGB重构滤波器,同样为了简要,该6×6重构滤波器具有统一权重。被重构的红色(或蓝色)的位置与红色(或蓝色)的起始位置有关。与前一章中的说法不同的是,重构的红色像素的位置变得与最靠近经白补偿的亮度像素的位置的红色像素的位置相等,但是然后被沿对角线在白补偿的亮度像素的位置上被移位一个像素,这在图40中同样明显。红色和蓝色重构像素的最后位置也将互相相对,就像已经在图41中所示的那样。
利用如图47中所示的滤波器系数可以把重构的红色(或蓝色)像素的位置保持得与经白补偿的亮度信号的相位一致。
图48中表示对应图42的起始位置1的6×6传输特性。
低的红色/蓝色带宽使得不太难找到一个适当的绿色重构滤波器。图49中表示这些绿色滤波器中的一个的权重。
图50中表示对角线传输改善,在左手端是一个统一滤波器,在右手端是经相位校正的重构。
对4×4和6×6相位重构滤波器的评估将把本附录的前一章的最好的4×4和最好的6×6相位重构滤波器分别与3.4和3.5章中的最好的3×3和5×5滤波器做比较。后两个滤波器后面紧随统一2×2后置滤波器。
首先检查4×4(或6×6)滤波器是否能与虚假颜色消除器一起应用,而忽略二者之间的相位差。在图51的左手端,表示利用4×4颜色滤波器的消色,在右手端,表示利用后面紧随一个2×2后置滤波器的3×3滤波器的消色。两个人工波带片场景都被用FT19矩阵处理。可以看到两个重要的方面。当察看中间和更高频率区域中的差别时,在左手端的消色假象与右手端相比是相当严重的。进一步,这说明对于两个方法来说,颜色消除器对接近红色/蓝色样本频率的虚假颜色不起作用。这是因为对于虚假颜色检测器来说传感器信号太小。后来,这个信号被颜色矩阵强烈地放大。
图52中用一个人工黑白(即无色的)波带片表示四个利用FT19矩阵的颜色重构方法的带宽。显然,3×3滤波器提供最佳分辨率。尽管5×5和4×4看起来相当等同,5×5滤波器在中间频率下显示较少的假象。可以认为6×6颜色滤波器的带宽是相当低的。
在图53中对于4个使用统一矩阵的重构方法显示放大6倍的对角线绿色-品红边缘。仔细检查表明,在6×6滤波器(右下)中颜色分辨率损失太高。3×3滤波器有最清晰的颜色边缘,随后的是5×5和4×4滤波器。
关于4×4和6×6重构滤波器的结论●只有利用非常特定的滤波系数才有可能保持具有经白补偿的亮度像素的重构的红色或蓝色的位置。
●6×6滤波器的分辨率太低。对于4×4滤波器来说,这可能是可以接受的。即使是随后有2×2后置滤波器的5×5滤波器比4×4滤波器有更好的分辨率。
●4×4和6×6滤波器不太适合与虚假颜色检测器一起应用。
作为附录4的结论,6×6滤波器的颜色带宽更不可接受。因此,利用一个3×3和5×5重构滤波器的重构块是足够的,因为4×4滤波器也不提供实际的好处。当应用按列的处理时,3×3和5×5滤波器所需的2×2后置滤波器不是一个实际问题。此外,这些滤波器原则上能与虚假颜色消除器一起应用,或者无需虚假颜色消除器。
权利要求
1.一种信号处理方法,其中,提供图像传感器的传感器信号作为输入,并且该输入在一个滤波器中被重构,以建立一个用于进一步处理的输出,其中,所述滤波器包含至少一个从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的重构滤波器,其中,—该输入包含多个像素,一个像素提供被赋予红色、绿色或蓝色中至少之一的一个颜色值,其特征在于—把亮度重构滤波器应用于一个具有预定阵列大小的、包含多个像素的像素阵列,其中,所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的,所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的,所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的,以及—在亮度重构滤波器之后,应用包含一个用来消除输入中的虚假颜色的虚假颜色滤波器的颜色重构滤波器。
2.如权利要求1中所要求的方法,其特征在于,用一个绿色参数来加权红色和/或蓝色像素。
3.如权利要求1中所要求的方法,其特征在于,把所述阵列的像素总合成一个输出像素,并把该输出像素在该阵列中居中,特别是与输出像素同相位地定位第一滤波器之后的第二滤波器的中央输出像素,特别是通过把中央输出像素居中而把它居中在阵列的与所述输出像素相同的中央位置。
4.如权利要求1中所要求的方法,其特征在于,把所述虚假颜色滤波器应用到一个预定大小的绿色像素阵列,特别是应用到一个预定的小的绿色像素阵列,该阵列具有四个像素的大小,包含至少两个绿色像素、一个红色像素和一个蓝色像素。
5.如权利要求1或4中所要求的方法,其特征在于,所述虚假颜色滤波器包含以下步骤—用一个或多个另外的绿色参数分别加权一个预定的小的绿色像素阵列中的红色和/或蓝色像素;—向阵列中的一个或多个绿色像素应用一个平均滤波器;—通过一个中值滤波器来总合被加权的红色和蓝色像素以及阵列中的一个或多个绿色像素的平均;—比较被中值滤波的像素与预定的小的绿色像素阵列的被低频滤波的像素,由此从输入中消除虚假颜色。
6.如权利要求4或5中的任一条所要求的方法,其特征在于, 所述预定的小的绿色像素阵列具有3×3的阵列大小。
7.如前述权利要求的任何一项中所要求的方法,其特征在于,所应用的颜色重构滤波器具有3×3或5×5的阵列大小,特别是在重传感器矩阵的情况中具有5×5的阵列大小。
8.如前述权利要求的任何一项中所要求的方法,其特征在于,在一个虚假颜色滤波器之后应用一个后置滤波器,以保持相对于一个以前应用的亮度重构滤波器的一个相位。
9.如权利要求8中所要求的方法,其特征在于,在一个虚假颜色滤波器之后应用一个2×2阵列大小的后置滤波器,以把一个预定的绿色像素阵列的中央输出像素定位成与一个白色像素同相位,该白色像素相对于与一个亮度重构滤波器已经被应用到的矩阵相同的矩阵作为输出-像素而被居中。
10.如前述权利要求的任何一项中所要求的方法,其特征在于,对于矩阵或者按列或者按行处理。
11.一种信号处理设备,特别适于执行如权利要求1至10中所要求的方法,该设备包含一个用于提供传感器信号作为输入的图像传感器和一个用于重构该输入以建立用于进一步处理的输出的滤波器,其中,该滤波器包含至少一个从由亮度重构滤波器、红-绿-蓝颜色重构滤波器和轮廓重构滤波器组成的组中选择的重构滤波器,其中,—该输入包含多个像素,一个像素提供一个被赋予红色、绿色或蓝色中的至少一个的颜色值,其特征在于—亮度重构滤波器适于被应用于一个具有预定阵列大小的、包含多个像素的像素阵列,其中,所述多个像素中的至少一个是由一个被赋予红色的红色像素构成的,所述多个像素中的至少一个是由一个被赋予蓝色的蓝色像素构成的,所述多个像素中的至少一个是由一个被赋予绿色的绿色像素构成的;并且其中—颜色重构滤波器在亮度重构滤波器之后被应用,并且颜色重构滤波器包含一个用来消除输入中的虚假颜色的虚假颜色滤波器。
12.如权利要求11中所要求的设备,其特征在于,一用具有一个绿色参数的阵列来加权红色和/或蓝色像素的装置,和/或—用于把该阵列的像素总合成一个输出像素的装置,和/或—用于把该输出像素在该阵列中居中的装置。
13.一个可存储在可由计算系统、特别是摄影机的计算系统读取的介质上的计算机程序产品,其包含一个软件代码段,当所述产品在计算系统上、特别是在摄影机的计算系统上被执行时,该软件代码段使该计算系统执行如权利要求1至11的任何一项中所要求的方法。
14.一种计算系统和/或半导体器件、特别是摄影机的计算系统,用于执行和/或存储如权利要求13中所要求的计算机程序产品。
15.一种包含一个光学系统、一个图像传感器和一个如权利要求11或12中所要求的设备或一个如权利要求14中所要求的计算系统的摄影机。
全文摘要
提出一种基于白补偿的亮度量构并使用被称作smartgreen参数的滤波器权重的重构方法。即使在样本频率的倍数下以及在摄影机没有光学低通滤波器的情况下也能实现无混叠的亮度信号。此外,这个经白补偿的亮度信号还没有信号失真。所提出的方法允许增加或者组合一个适当的光学低通滤波器,并特别适于实现各种无混叠的颜色和轮廓滤波器。利用可作为传感器矩阵的重量以及摄影机的光传输的函数而选择的滤波器权重而重构RGB颜色信号。重构的RGB信号可进一步按照奈奎斯特法则在彩色混叠方面进一步被改善。虚假颜色滤波器在颜色量构滤波器中实现,并被应用来消除虚假颜色以及从而减少颜色混叠的量。也提出了用于低成本应用的发展。
文档编号H04N1/48GK1666228SQ03815775
公开日2005年9月7日 申请日期2003年6月24日 优先权日2002年7月4日
发明者C·A·M·贾斯佩斯 申请人:皇家飞利浦电子股份有限公司