使用数字成像系统再现来自物体的可供选择形式的光的制作方法

专利名称：使用数字成像系统再现来自物体的可供选择形式的光的制作方法
专利说明使用数字成像系统再现来自物体的可供选择形式的光 发明领域 本发明一般涉及数字成像，更具体地说，涉及使用数字成像再现来自物体的可供选择形式的光。
版权通告/允许
本专利文件的部分公开内容含有受版权保护的材料。在其出现在专利商标局的专利文档或记录中时，版权所有人不反对由任何人对所述专利文件或所述专利公开内容作传真复制，但版权所有人保留所有的版权权益，无论是什么权益。以下通告适用于下述和附图中的软件和数据Copyright
2003，Sony Electronics，Inc.，AllRights Reserved。
背景 传统的数字彩色成像系统，例如数字式摄像机或数字式摄录一体机使用一个或三个图像传感器(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))，这是本专业的技术人员所熟知的。例如，典型的消费数字式摄像机包括一个CCD，而典型的数字式摄录一体机包括三个CCD。具有一个CCD的数字式摄像机可具有单个三色滤光器。三色滤光器由红、绿和蓝滤光器组成，使用本专业的技术人员所熟知的过程再现场景中的彩色光谱。具有一个CCD的数字式摄像机的彩色分辨率不如具有三个CCD的数字式摄录一体机那样高。具有三个CCD的数字式摄录一体机通常在每个CCD上包括一个滤光器。第一CCD上的第一滤光器仅仅让红色光谱透过，第二CCD上的第二滤光器仅仅让绿色光谱透过，而第三CCD上的第三滤光器仅仅让蓝色光谱透过。
虽然消费者享受这些摄像机的三色再现能力的优点，但这些摄像机总是伴有一些严重的缺点，例如由对施照体的无限选择引起的施照体估算和彩色校正。而且，传统的数字成像系统缺乏在多种照明条件下(诸如物体的表面反射系数)捕获可供选择形式的光的能力。反射系数是在可见光谱范围内表面上的入射光通量被重新辐射的比率。有许多图像装置可以捕获和再现物体的表面反射，但这些成像装置由于成本和捕获图像的速度等原因不适于包括在市售消费数字式摄像机或摄录一体机中。例如，传统的分光辐射谱仪可以再现物体的表面反射，但捕获场景的完整光谱图像通常要用比几分钟要长得多的时间。这对大多数数字市售成像系统来说是不可行的，因为场景中的物体会要移动。物体的任何移动都会引起像素不重合，而使最终图像模糊不清。
发明实施例概述 根据本发明的一个实施例，描述一种数字成像系统，它具有用于捕获第一和第二组波长可见光的色度信息的滤光器。对捕获的色度信息进行处理以便再现场景中物体的表面反射。
附图简要说明

图1图解说明根据本发明实施例的数字成像装置。
图2图解说明根据本发明一个实施例的三色滤光器。
图3图解说明可见光波长图的一个实施例。
图4图解说明用于再现物体表面反射的过程流程的一个实施例。
详细说明 在对本发明实施例的以下详细说明中，要参阅附图，图中相同的参考编号表示类似的元件，且图中以图示方式示出可以实现本发明的具体实施例。对这些实施例都作了足够详细的说明，以使本专业的技术人员能够实现本发明，且应理解在不背离本发明范围的前提下，其它实施例也可以使用且可作逻辑的、机械的、电的、功能的以及其它更改。所以，不应认为以下的详细说明有限制意义，且本发明的范围仅由所附权利要求书定义。
现说明使用数字成像系统再现物体的表面反射。根据一个实施例，数字成像系统包括(但不限于)两个成像传感器和两个三色滤光器，以便提供6个成像通道。两个三色滤光器设计成捕获各种波长的色度信息以便再现可供选择形式的光，如场景中物体的表面反射。虽然以下将说明包括三色滤光器的数字成像系统的实施例，但是本专业的技术人员会理解，滤光器可用来提供不同数量的到成像传感器的成像通道，如以下将详细描述的。
图1图解说明根据本发明实施例的数字成像装置100。数字成像装置100包括三色滤光器110、三色滤光器120、分光器115、电荷耦合器件(CCD)130、CCD 140、模拟-数字变换器(ADC)150、以及处理器160。数字成像装置100还包括本专业的技术人员已熟知的附加部件和电路，但为不使本详细说明模糊不清而未于示出。以下对图1所示的装置100作简要概述。
三色滤光器110和三色滤光器120分别对射向CCD 130和CCD 140的可见光滤光，以便捕获用于再现场景的数字表示的色度信息，以下将详述。如图所示，用分光器115将光分成两个分量。
CCD 130和CCD 140是成像传感器，它们包括称为摄影站点(photosites)的光敏二极管的集合，这些摄影站点将光(光子)转换为电子(电荷)。每个摄影站点的主要功能是吸收光，产生与射到其上的光强度成正比的电荷。这样，当光穿过三色滤光器110和三色滤光器120时摄影站点就跟踪打到其表面上的光的总强度。
ADC 150将在CCD 130和CCD 140中建立的电荷转换成数字信号。
处理器160将数字信号处理成场景的数字图像表示。处理器160可以例如是众所周知的数字信号处理器(DSP)。在一个实施例中，处理器160为每个摄影站点处理每个数字信号，以便确定数字图像中像素的颜色。处理器160还可以校正和增强数字图像的白平衡、对比度、彩色、以及其它众所周知的视觉特性。处理器160还可以将数字图像引导到连接到数字成像装置100的本机显示器(如LCD显示器)上，或将数字图像通过有线或无线网络连接(未示出)引导到远程显示器上。而且，处理器160还可压缩数字图像，如本专业的技术人员所熟知的。
对数字成像装置100提供了简要概述后，现说明三色滤光器110和三色滤光器120的实施例。图2图解说明根据本发明一个实施例的三色滤光器110。三色滤光器110包括红色(210)和绿色(215)滤光器行205与绿色(215)和蓝色(220)滤光器行206交替的图案。这样，三色滤光器110向CCD 130提供一组三个光成像通道(如RGB)。三色滤光器110的一个实例是本专业的技术人员熟知的Bayer滤光器，但是显然，本发明不限于使用Bayer滤光器。
众所周知，可见光是波长在大约400毫微米(nm)和800nm之间的那部分彩色光谱。不同的波长被人脑解释为各种颜色，从最长波长的红色到最短波长的紫色。图3图解说明用于可见光的波长图300的一个实施例。波长310图解说明红色的范围和灵敏度曲线。波长320图解说明绿色的范围和灵敏度曲线。波长330图解说明蓝色的范围和灵敏度曲线。光灵敏度曲线是在每个波长下滤光器透射率、透镜透射率、红外截止透射率、以及电子传感器响应度的乘积，这是本专业的技术人员所熟知的。
在一个实施例中，把三色滤光器110设计成红色滤光器210对大约570到620nm的那些波长最敏感，如图3所示；绿色滤光器215对大约520到560nm的那些波长最敏感，如图3所示；而蓝色滤光器230对大约420到470nm的那些波长最敏感，如图3所示。
在一个实施例中，将三色滤光器120设计成捕获除三色滤光器110所捕获的那些波长之外的一组波长的可见光。例如，图3中的波长340图解说明对于小于蓝色滤光器波长330的偏移色W的大致波长范围和灵敏度曲线；图3中的波长350图解说明对于在绿色和蓝色滤光器波长之间的偏移色X的大致波长范围和灵敏度曲线；图3中的波长360图解说明对于在绿色和红色滤光器波长之间的偏移色Y的大致波长范围和灵敏度曲线；以及图3中的波长370图解说明对于大于红色滤光器波长的偏移色Z的大致波长范围和灵敏度曲线。
现有技术的数字式摄像机和摄录一体机仅提供三个成像通道(如RGB)，不论所使用的CCD数量如何。数字成像装置100中的三色滤光器120提供对于CCD 140的三个附加成像通道，每个通道具有的波长都与三色滤光器110捕获到CCD 130的波长分隔开。附加的三个通道和最初的三个通道一起工作，以便计算可供选择形式的光的光谱再现，见下述。在一个实施例中，数字成像装置100可以用来提取物体的光谱辐射或反射的信息。一旦获取到反射光谱信息，就可实现在任何观看施照体下的色度信息转换。
一般来说，自然物体的反射光谱可以用根据主成分分析(PCA)或独立分量分析(ICA)的有限数量的基本函数来表示。使用宽带技术的典型光谱成像应用三个到九个基本函数来再现自然物体的反射光谱。宽带方法基于对待捕获物体的光谱分析。已表明三个基本函数通常不足以表示物体的反射光谱，但六个基本函数在大多数情况下就能精确地表示物体的反射光谱。
例如，图4图解说明用处理器，如处理器160再现物体表面反射的过程流程400的一个实施例。在框430，处理器160接收来自ADC150的数字信号。
在框435，处理器160基于六个成像通道计算物体的光谱信息。在这种方式中，使用两个CCD和两个滤光器的数字成像装置既提供高速又提供光谱再现能力。光谱复原方法可以是主成分分析(PCA)、独立分量分析(ICA)、或Wiener估算。对于光谱再现，其直接简单的度量标准就是所述测量和复原的物体表面反射的均方光谱差。在一个实施例中，首先定义度量标准以便确定用于光谱再现的光谱灵敏度的最佳设计。定义光谱差的候选度量标准为 候选1反射光谱的均方误差 式中R为测量的基准光谱反射，

为复原的光谱反射；以及 候选2反射光谱的加权均方误差 式中ωλ是以对角矩阵出现的加权函数，其对角元素来自有关人体视觉系统的加权函数的抽样，例如q系数曲线强调人体视觉系统的主要波长。
如上述，有数种方法可以复原物体的表面反射光谱和归一化度量标准。例如，用主成分分析时，一个已知的事实是大多数自然发生的光谱反射可以从对代表性反射样本的主成分分析中获得的有限数量的主本征矢量来代表。数字成像系统100的输出可以写为 tc＝STLcR＝STLcBα (3) 式中S表示摄像机光谱灵敏度，Lc表示拍摄施照体的对角形式，B表示从光谱反射样本的训练组中通过PCA或ICA获得的主成分矢量，以及α表示用于主成分的权重(R≌Bα)。α可以使用伪逆运算获得 α＝(STLcB)-1tc (4) 所以，把复原的光谱反射表示为 光谱差的最小均方误差为 MSE＝E‖R-(STLcB)-1tc‖2} (6) 当使用Weiner估算来复原物体的表面反射光谱和归一化度量标准时，数字成像装置100的输出信号表示为 tc＝STLcR＝GTR+η (7) 式中η表示成像噪声。R的估算由下式给出 式中F是未知的线性转换矩阵。将方程(1)中的MSE最小化，F的显式用下式给出 F＝KRG(GTKRG+Kη)-1 (9) 式中KR和Kη分别为表面反射光谱集合和噪声的相关矩阵。
噪声相关矩阵Kη可以从对实际使用的CCD摄像机的噪声详细测量中进行估算，且 Kη＝E[ηηT] (11) 式中nsample是光谱反射集合中的样本数目。
所以，方程(1)中的最小均方误差可以表示为 式中 α(R)＝trace[KR](14) τ(R，G，η)＝trace[KRG(GTKRG+Kη)-1GTKR] (15) α(·)和τ(·)的意义可解释为物体的总光谱信息和物体的复原光谱信息。对应于最小MSE的归一化度量标准 将称为光谱质量系数，或用于光谱再现的质量系数。
除了作为主度量标准的光谱反射的均方误差外，在具体施照体下的平均色差可以作为用于光谱再现的滤光器最佳设计的次级度量标准对待。用主度量标准产生的最佳候选的小集合可以利用次级度量标准改善。
在一个实施例中，可以通过将方程(2)的MSEW最小化来使用具有加权函数的Wiener估算，反射光谱被估算为 且光谱的最小均方误差为 式中 τ(R，G，η，wλ)＝trace[wλKRG(GTKRG+Kη)-1GTKR] (21) 因此，归一化度量标准可定义为 下面将指出，在不背离本发明范围的前提下，可将多一些或少一些过程结合到图4所示的方法中，且本文所示和所描述的过程框的安排并不意味有特定的顺序。下面还将指出，结合图4所述的方法可以在机器可执行指令，如软件中实施。指令可用于使有这些指令编程的通用或专用处理器进行上述运算。或者，这些运算可以由含有用于进行这些运算的硬布线逻辑的特定硬件部件来实现，或由已编程的计算机部件和定制硬件部件的任何组合来实现。所述方法可以作为计算机编程产品提供，所述产品可包括机器可读介质，其上存储可用来编程计算机(或其它电子装置)以实现上述方法的指令。在本说明书中，术语”机器可读介质”应认为包括能够存储或编码供机器执行且能使机器实现本发明任一种方法的指令序列的任何介质。术语”机器可读介质”应相应地认为包括但不限于固态存储器、光盘和磁盘、以及载波信号。而且，在本专业通常以一种或另一种形式说到软件(如程序、步骤、过程、应用、模块等)就是指采取一个动作或产生一种结果。这种表达只不过是”由计算机执行软件导致计算机的处理器进行一个动作或产生一个结果”的一种简化说法而已。
这样，以上已对具有两个成像传感器和两个滤光器、提供多成像通道的新型数字彩色成像系统作了说明。来自两个CCD的图像对准比来自三个CCD系统的图像对准更快和更有效。数字成像装置100的新配置基本上不增加单芯片数字式摄像机的尺寸，因为对于两个成像传感器来说只是滤光器图案不同而已。不过，很显然本发明不限于数字式摄像机和摄录一体机，而是可用于本专业的技术人员熟知的任何成像装置。
应当指出，三色滤光器110和三色滤光器120不限于仅是三色滤光器。而是，在备选实施例中，三色滤光器110可以包括两种波长的绿色，提供四个成像通道。而且，三色滤光器120可以提供除三个之外的任何数量的彩色成像通道(如，一个、两个、或四个)，每个通道具有的波长都不同于三色滤光器110。这样，数字成像系统100可以对每个波长产生多个彩色成像通道。
虽然已就数个实施例对本发明作了说明，但是，本专业的技术人员会理解，本发明不限于上述实施例。可以利用在本发明范围内的修改和变更来实践本发明的方法和设备。因此所述说明应被认为是说明性的而不是对本发明的限制。
权利要求
1.一种数字成像系统，它包括
第一成像传感器；
第二成像传感器，所述第二成像传感器耦合到所述第一成像传感器；
耦合到所述第一成像传感器的第一滤光器，其中所述第一滤光器让第一组波长的光透过；以及
耦合到所述第二成像传感器的第二滤光器，其中所述第二滤光器让第二组波长的光透过，所述第一组波长的光不同于所述第二组波长的光。
2.如权利要求1所述的数字成像系统，其中还包括
处理器，它计算物体的基于所述第一组波长和所述第二组波长的表面反射系数。
3.如权利要求1所述的数字成像系统，其中所述第一成像传感器是电荷耦合器件(CCD)或互补金属氧化物半导体。
4.如权利要求1所述的数字成像系统，其中所述第二成像传感器是电荷耦合器件(CCD)或互补金属氧化物半导体。
5.如权利要求1所述的数字成像系统，其中所述第一滤光器是三色滤光器。
6.如权利要求1所述的数字成像系统，其中所述第二滤光器是三色滤光器。
7.如权利要求1所述的数字成像系统，其中所述第一滤光器提供三个成像通道。
8.如权利要求1所述的数字成像系统，其中所述第一滤光器提供四个成像通道。
9.如权利要求1所述的数字成像系统，其中所述第二滤光器提供三个成像通道。
10.如权利要求1所述的数字成像系统，其中所述第二滤光器提供四个成像通道。
11.如权利要求1所述的数字成像系统，其中所述第二滤光器提供两个成像通道。
12.如权利要求1所述的数字成像系统，其中所述第二滤光器提供一个成像通道。
13.一种数字成像设备，它包括
用于捕获色度信息的第一装置；
用于捕获色度信息的第二装置，用于捕获色度信息的所述第一装置耦合到用于捕获色度信息的所述第二装置；
第一滤光装置，它耦合到所述第一成像传感器装置，其中所述第一滤光装置让第一组波长的光透过；以及
第二滤光装置，它耦合到所述第二成像传感器装置，其中所述第二滤光装置让第二组波长的光透过，所述第一组波长不同于所述第二组波长。
14.如权利要求13所述的数字成像设备，其中还包括
处理装置，它计算物体的基于所述第一组波长和所述第二组波长的表面反射系数，所述处理装置耦合到用于捕获色度信息的所述第一装置和用于捕获色度信息的所述第二装置。
15.一种具有使机器执行一种方法的指令的机器可读介质，所述方法包括
接收第一组波长的光；
接收第二组波长的光；以及
处理所述第一组波长和所述第二组波长以便计算物体的表面反射系数。
16.如权利要求15所述的机器可读介质，其中所述第一组波长提供三个成像通道。
17.如权利要求15所述的机器可读介质，其中所述第一组波长提供四个成像通道。
18.如权利要求15所述的机器可读介质，其中所述第二组波长提供三个成像通道。
19.如权利要求15所述的机器可读介质，其中所述第二组波长提供四个成像通道。
20.如权利要求15所述的机器可读介质，其中所述第二组波长提供一个成像通道。
21.如权利要求15所述的机器可读介质，其中所述第二组波长提供两个成像通道。
22.如权利要求15所述的机器可读介质，其中所述计算所述表面反射系数的步骤包括执行主成分分析。
23.如权利要求15所述的机器可读介质，其中所述计算所述表面反射系数的步骤包括执行独立成分分析。
24.如权利要求15所述的机器可读介质，其中所述计算所述表面反射系数的步骤包括执行Wiener估算。
25.一种方法包括
接收第一组波长的光；
接收第二组波长的光；以及
处理所述第一组波长和所述第二组波长以便计算物体的表面反射系数。
26.如权利要求25所述的方法，其中所述第一组波长提供三个成像通道。
27.如权利要求25所述的方法，其中所述第一组波长提供四个成像通道。
28.如权利要求25所述的方法，其中所述第二组波长提供三个成像通道。
29.如权利要求25所述的方法，其中所述第二组波长提供四个成像通道。
30.如权利要求25所述的方法，其中所述第二组波长提供一个成像通道。
31.如权利要求25所述的方法，其中所述第二组波长提供两个成像通道。
32.如权利要求25所述的方法，其中所述计算所述表面反射系数的步骤包括执行主成分分析。
33.如权利要求25所述的方法，其中所述计算所述表面反射系数的步骤包括执行独立成分分析。
34.如权利要求25所述的方法，其中所述计算所述表面反射系数的步骤包括执行Wiener估算。
全文摘要
根据本发明的一个实施例，描述一种数字成像装置，它具有用于捕获第一组和第二组波长的可见光的色度信息的滤光器。对捕获的色度信息进行处理，以便再现场景中物体的表面反射。
文档编号H04N1/48GK101300854SQ200580009414
公开日2008年11月5日 申请日期2005年3月30日 优先权日2004年3月31日
发明者S·全 申请人:索尼电子有限公司