专利名称：用于光学异常的电子校正的系统和方法
技术领域：
本发明涉及一种光学异常的电子校正，更具体而言涉及失真、横向色差、亮度不均匀性、色度不均匀性的电子校正，这种电子校正可与一般的图象变换(例如缩放变换和几何变换)结合在一起。
背景技术：
传统的图象俘获或显示装置容易产生各种形式的光学异常。这些异常对于各种光学元件的非理想性能而言以及对于装配的精确度和容差而言是固有的。各种光学或其它的元件(传感器、显示器、透镜、棱镜、反射镜和光源)以及其定向可引入其自身特有的光学异常，例如失真、倾斜、横向色差、亮度或色度不均匀性。用语“光学象差”通常用于指称任何会导致非理想图象形成的效果。
光学象差包括衍射效应(由于光的波特性)，色差(由光色散或光的不同波长产生的不同折射所引起)，和单色差(其中球面象差、慧形象差以及象散与点目标形成点像的失效有关，场弯曲和失真与有限目标垂直于主轴以形成良好聚焦的平面图象的失效有关)。也可大致将光学象差分为两类，一类影响图象质量，一类影响图象形状。前一类会降低图象的清晰度，即图象模糊，和/或聚焦不良，和/或具有彩色边纹。这种类型的象差包括球面象差、象散、慧形象差、场弯曲和轴向色差。后一类象差影响图象形状，它可部分地由前一种象差引起或由前一种象差的校正和优化引起。在这种情况下，目标平面中的点与象平面中的理想成像相比而被移位或扭曲。在理想的成像中，像平面中的目标将显现为与目标平面中的一样，并可具有一致的比例变化。例如，图象会在靠近边缘处出现弯曲或出现旋转。该第二类中的象差包括失真(例如枕形失真/桶形失真效果)和横向色差。
除了色差以外，所有其它光学象差都存在于单色(一种颜色)光中。当处理多色光(多种颜色)时出现色差。简而言之，折射率取决于波长，这意味着红色、绿色和蓝色分量在光学界面处不同程度地弯曲。这导致轴向(纵向)和/或横向色差效果。在轴向色差中，三个分量聚焦在图象空间中的不同平面上，这导致色彩模糊效果。换句话说，轴向色差是由于焦距随波长(颜色)变化引起的。在横向色差中，彩色分量从单点聚焦在同一图象空间上的不同点处。这具有将三种颜色不同程度地放大的效果并可目视为“彩色边纹”。因此横向色差可被视为放大率随波长变化而引起的效果。这三种颜色也可因非光学效果而失配。在三色显示系统中，如果显示器未正确地对准，则可看到彩色缺陷。用语“色彩未汇聚用于指色彩失配效果，无论是否是光学的(如色差)。在传统的光学教材中可找到对光学象差的进一步讨论，例如Robert Guenther所著的《现代光学》，John Wiley&Sons于1990年出版，该教材通过引用而结合于本文中。
在传统的图象俘获或显示设备中的另一重要的光学失真是亮度不均匀性。亮度不均匀性导致在整个图象上的亮度变化。通常的原因包括可变(亮度)光源、在象平面上的可变光路、不一致的传感器响应和面板(例如LCD、LCOS等)的不规则。大规模和小规模的不均匀性都是存在的。在三色系统中，不同色彩的亮度变化是不同的，从而导致色度不均匀性。
大量的现有技术试图校正影响图象形状的象差同时又不会引入图象模糊，即校正失真、横向色差和亮度或色度(亮度)不均匀性。一般而言，这种现有技术的尝试朝着一种特定类型的偏差来调整。
例如，通常采用专门的光学元件来校正(降低)横向色差，这些光学元件通常包括棱镜/透镜的组合和/或特殊材料涂层，这些涂层例如公开于授予Cross的美国专利4943155，授予Usui的美国专利5086338，授予Chen等人的美国专利5499139，授予Kreitzer的美国专利6023375，授予Brown的美国专利6111701，授予Bryars等人的美国专利6144498和授予Hashizume等人的美国专利6172815中。然而，公开于这些引用文献中的解决方案的物理工具是昂贵且笨重的。另外，这些设计的专属特性使它们不得不限于专门类型的应用。一般而言，这些方法旨在用于显示/投影系统或顶部/顶部安装的显示系统。
已经提出了大量的电子解决方案，例如公开于授予shiota等人的美国专利5838396，授予Munib等人的美国专利5870505，授予shiota等人的美国专利6288756，授予Tsujihara等人的美国专利5200815，授予Haseltine等人的美国专利5369450，授予Chen等人的美国专利5889625和授予Enomoto等人的美国专利6323934中。所有的这些方法依靠一些类型的图象“扭曲”。对图象扭曲的讨论可在IEEE计算机学会出版社于1988年出版的George Wolberg所著的“数字图象扭曲”中找到，该文献通过引用而结合于本文中。
扭曲数据(即描述图象如何被变换的数据)可用于调整数字图象(例如在Haseltine等人的美国专利5369450和Chen等人的美国专利5889625中所述)，或调整用于显示/投射图象的电子器件的操作(例如美国专利5200815中所述)。这些电子解决方案集中于特定的失真如亮度校正(例如shiota等人的美国专利5838396，Woeber等人的美国专利5870505，shiota等人的美国专利6288756中所述)，失真和色差(例如Tsujihara等人的美国专利5200815，Haseltine等人的美国专利5369450，Chen等人的美国专利5889625和Enomoto等人的美国专利6323934中所述)或特定类型的系统，如顶部安装的显示器。这些确实校正了所有三种偏差的解决方案(例如Enomoto等人的美国专利6323934中所述)本质上不是实时的。现有技术的电子解决方案的其它限制是不能进行专用的“校正”(即与光学异常校正不符的校正)，和/或不能提供动态的异常校正。例如，在某些视频应用中，将异常校正(亮度不均匀性和枕形失真)与梯形畸变校正(由离轴投影引起)以及用于平面/曲面的曲率校正结合起来是比较理想的。
发明内容
本发明一方面提供了用于校正与具有特定几何形状的光学俘获和显示设备所处理的光学图象的俘获和显示相关的多种光学异常的电子校正方法，这是通过补偿与光学图象相关的数字图象象素数据来进行的，所述方法包括(a)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异常，并将其作为光学异常网格数据集；(b)识别和表示俘获和显示光学部件的理想性能，并将其作为理想网格数据集；(c)比较光学偏差网格数据集和理想网格数据集，并确定异常校正变换网格数据集，这是通过进行从理想网格数据集到异常变换的倒置空间变换使得带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格数据集来进行的；(d)将异常校正变换网格数据集应用到图象象素数据上以产生看上去没有光学异常的校正图象象素数据。
本发明另一方面提供了用于校正与具有特定几何形状的光学俘获和显示设备所处理的光学图象的俘获和显示相关的多种光学异常的电子校正系统，这是通过补偿与光学图象相关的数字图象象素数据来进行的，所述系统包括图象处理器，其用于(e)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异常，作为光学异常网格数据集；(f)识别和表示图象数据处理链的理想性能，作为理想网格数据集；(g)比较光学异常网格数据集和理想网格数据集，并确定异常校正变换网格数据集，进行从理想网格数据集到异常变换的倒置空间变换，使得带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格数据集；(h)将异常校正变换网格数据集应用到图象象素数据上，以生成看上去没有光学异常的校正图象象素数据。
本发明另一方面提供了具有体现于本文中的计算机可读编码的计算机可读媒体，用于校正与具有特定几何形状的光学俘获和显示设备所处理的光学图象的俘获和显示相关的多种光学异常，通过以如下步骤来补偿与光学图象相关的数字图象象素数据(j)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异常，作为光学异常网格数据集；(k)识别和表示图象数据处理链的理想性能，作为理想网格数据集；(l)比较光学异常网格数据集和理想网格数据集，并确定异常校正变换网格数据集，进行从理想网格数据集到异常变换的倒置空间变换，使得带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格数据集；
(m)将异常校正变换网格数据集应用到图象象素数据上，以生成看上去没有光学异常的校正图象象素数据。
从以下介绍并结合附图，可以了解本发明的其它方面和优点。在附图中图1是显示了传统的现有技术的集成式俘获和显示光学装置及其相应的图象处理链的示意图；图2是显示了详细的处理链和代表图1所示现有技术的集成式俘获和显示光学装置中的光学缺陷的各种变换的示意图；图3是显示了存在任何光学缺陷时的理想处理链的示意图；图4是本发明的电子校正系统的示例的示意图；图5是图4所示电子校正系统的校正模块的示意图，其中校正模块适于校正失真和色度不均匀性；图6是本发明的可执行几何变换的电子校正系统的另一示例的示意图；图7是图6所示电子校正系统的校正模块的示意图，其中校正模块适于实施特定的几何变换应用；图8是本发明的可校正光学异常、执行几何变换和实现动态校正的电子校正系统的另一示例的示意图；图9是显示了本发明的电子校正方法的主要步骤的流程图。
具体实施例方式
图1显示了传统的俘获和显示光学装置10的主要部件和存在于相应的表示为图象(即象素水平)变换的图象处理链中的光学异常。如图所示，通过图象处理链使处于目标平面中的目标O被映射在象平面中的目标O’上。俘获/显示装置10包含各种部件，包括光学部件(如透镜、棱镜、反射镜等)和非光学部件(如电子传感器和显示面板)12和14，该非光学部件的全部或部分可如图所示地将光学异常引入图象处理链中。俘获/显示装置10还包括如图所示的存储器(内存)16和18。
各光学异常作用于立体空间(影响成象物体的形状)中和/或颜色空间(影响成象物体的亮度/颜色)中。这些影响可被表示为(a)象素位置和(b)象素颜色的变换或映射，并被施加在存储面(空间)16和18以及相应的目标平面/象平面之间的某位置。因此，这些变换规定了光学异常。应当理解，当前的表示并不将不同的焦距异常视为不能通过电子校正的不同焦距问题。
图1显示了处理链，其中映射表示俘获侧(由下标c表示)上fc和显示侧(由下标d表示)上fd所表示的所有异常的集合效应。俘获/显示装置10内存在的光学异常由这些映射来表示。与存储面的储存有关的映射I表示恒等映射，它表示没有任何图象变化，如存储面16和18不会引入任何异常。应当注意的是，用语“光学异常”指的是任何会导致非理想成象的效果，特别是包括象差和亮度不均匀性。
图2显示了映射fc如何可被进一步分成fcs和fcc，其中fcs表示空间异常(上标s)，fcc表示色彩偏差(上标c)。由于各彩色分量可进行不同的变换，因此fcs和fcc应被fcrs、fcgs、fcbs代替，其中fcrc、fcgc、fcbc用于红色、绿色和兰色分量(第二下标r，g，b)。当所有三个分量一起起作用时，将使用符号fcs和fcc。同样，表示显示侧上的异常的空间/色彩映射由fds和fdc表示，其带有其彩色分量fdrs、fdgs、fdbs、fdrc、fdgc和fdbc。应当注意的是，存储面的特征(尺寸、类型等)是取决于系统的，并且所示存储面表示用于各种映射的概念范围而非存储的实际硬件实现。特别是，显示侧上的存储面显示为虚线轮廓，以表示它不必存在于具体装置中，相反所俘获的图象可直接显示而无须存储。如果在俘获/显示装置10的显示部分中进行另外的处理(例如帧速率变换)，则要求一些物理存储的形式。另外，俘获侧上的存储面不必是全帧的。
目标平面中的目标O由其2D位置矢量 (从一点)和其RGB彩色值(Or，Og，Ob)所定义。在其数字形式中，点目标近似为一个象素。由于色差，该目标的彩色分量将被映射到象平面中的不同点处。一般而言，单点将被映射成三点，这是因为三种色彩将被聚焦成不同的点(同一平面上)。因此，象平面上的目标图象将由三个位置矢量 和相应的彩色值(Or’，Og’，Ob’)来描述。还可将符号 引入目标平面中的三色的空间坐标，我们的理解是对于给定点而言，x→=xr→=xg→=xb→.]]>总之，在存在光学异常的情况下通过俘获/显示装置10来处理点目标O(或象素)可通过作为矢量函数的以下映射(所有的空间映射都表示为矢量函数，虽然为了使标注简单化而省略了矢量箭头)来表达(x→,Or,Og,Ob)→(xr→',xg→',xb→',Or',Og',Ob')---(1)]]>xr→'=fdrs(fcrs(x→))---(2)]]>xg→'=fdgs(fcgs(x→))---(3)]]>xr→'=fdbs(fcbs(x→))---(4)]]>Or’＝fdrc(fcrc(Or)) (5)Og’＝fdgc(fcgc(Og)) (6)Ob’＝fdbc(fcbc(Ob)) (7)在图2中显示了相应的图象处理链。对于映射q和变量z，符号q(z)表示q仅用于修改z，将其改变到同一类型的新的值(即新的位置值或新的色彩值)。映射q也可取决于其他变量，然而为了简化符号，这些修改都未示出。例如，z’＝q(z，w)被写成z’＝q(z)。一般而言，所有的空间映射仅取决于空间变量，而色彩映射可取决于空间和色彩变量，这将进一步介绍。
图3显示了俘获/显示装置10的理想状态。为了校正不同的光学异常，我们还需要介绍没有任何偏差的“理想”俘获/显示装置。校正映射将力图恢复该理想状态。在没有任何侧向色差时，我们将具有以下关系xr→'=xg→'=xb→'=x→'---(8)]]>其中 表示所有三种色彩的共同矢量。另外，在没有任何失真的情况下，希望得到以下关系x→'=kx→---(9)]]>其中俘获/显示装置10仅在目标平面上线性地按比例缩放目标。“k”值表示空间缩放比例常量。因此，缩放操作不被视为失真(当这种操作对每种色彩是相同的时候)。最后，对于均匀的亮度/色度而言，希望得到以下关系Or’＝sOr+m(10)Og’＝sOg+m(11)Ob’＝sOb+m(12)其中各彩色分量的相同变化在整个图象中产生(与 无关)。“s”和“m”值分别表示均匀的亮度/色度增益和所加的补偿值。在没有任何光学异常的情况下通过俘获/显示装置10对点目标O(象素)的处理可通过以下映射(用h表示理想映射)表示(x→,Or,Og,Ob)→(x→',Or',Og',Ob')---(13)]]>x→'=hds(hcs(x→))---(14)]]>
Or’＝hdc(hcc(Or)) (15)Og’＝hdc(hcc(Og))(16)Ob’＝hdc(hcc(Ob))(17)其中hds、hdc、hds和hdc受方程(9)-(12)约束，并且是fcis、fcic、fdis和fdic的限制形式，i＝r，g，b。在消除异常的限制中，具有fcis→hcs，fcic→hcc，fdis→hds，fdic→hcc，i＝r，g，b(18)应当理解，也可规定其它形式的理想状态，上述方程即(9)-(12)只是一个代表性示例。
图4显示了根据本发明制造的电子校正系统50的主要部件。电子校正系统50采用图象处理器51来消除图象俘获/处理装置共有的光学异常，这是通过在上述处理链中引入另外的“倒置”变换来进行的。如以上一样，电子校正系统50包括光学元件(如透镜、棱镜、反射镜等)和非光学元件(如电子传感器和仪表板)52和54，非光学元件的部分或全部可将光学异常引入所示图象处理链中；还包括存储面56和58，其被假定为不会引入任何光学异常。尽管同时显示了俘获和显示装置，然而应当理解，本发明可容易地单独适用于俘获或显示装置。
如以上图2所述，方程(2)至(7)描述了在空间域或色域中的变换时的光学异常。图象处理器51将任意的几何(空间)和彩色变换应用到数字图象上。空间变换是众所周知的，应当理解类似的变换可被用于实现彩色变换。可通过图象处理器51并采用各种可买到的图象扭曲电路(例如美国加利福尼亚州San Jose的Silicon Optix公司生产的sxW1集成电路)来实施这些空间变换，其中一定的电路在所述空间域中工作，其它电路也可用于彩色变换。
图象处理器51独立地处理来自图象的各种色彩，允许三个通道的变换是不同的。图象处理器51设置在所示俘获-显示界面处的处理链中。图象处理器51所进行的变换将由fwrs、fwgs和fwbs(第一下标w)来表示三个空间映射，fwrc、fwgc和fwbc表示三个彩色映射。图4所示处理链现在修改成(x→,Or,Og,Ob)→(xr→',xg→',xb→',Or',Og',Ob')---(19)]]>xr→'=fdrs(fwrs(fcrs(x→)))---(20)]]>xg→'=fdgs(fwgs(fcgs(x→)))---(21)]]>xb→'=fdbs(fwbs(fcbs(x→)))---(22)]]>Or’＝fdrc(fwrc(fcrc(Or)))(23)Og’＝fdgc(fwgc(fcgc(Og)))(24)Ob’＝fdbc(fwbc(fcbc(Ob)))(25)为了消除光学偏差，图象处理器51中所用的变换选择成使得方程(19)至(25)减少至(13)至(17)。比较方程(19)至(25)与(13)至(17)，得出(应当理解下式中的相乘意味着函数组合)fwrs=fdrs-1hdshcsfcrs-1---(26)]]>fwgs=fdgs-1hdshcsfcgs-1---(27)]]>fwbs=fdbs-1hdshcsfcbs-1---(28)]]>fwrc=fdrc-1hdchccfcrc-1---(29)]]>fwgc=fdgc-1hdchccfcgc-1---(30)]]>fwbc=fdbc-1hdchccfcbs-1---(31)]]>通过使适当的等式(19)至(25)以及(13)至(17)来得到上述方程。例如，为了推导出(26)，设定fdrs(fwrs(fcrs(x→)))=hds(hcs(x→)),]]>这在函数水平上意味着fdrsfwrsfcrs＝hdshcs。然后同时在左边乘以fdrs-1，在右边乘以fcrs-1，消去逆元，得出(26)式。可类似地推导出其它方程。
当图象处理器51应用了方程(26)至(31)中的变换时，可以消除失真、色彩不汇聚(包括轴向色差)和亮度(色度)不均匀性的光学异常。
变换(26)至(31)中隐含的是伴随有任何图象扭曲的过滤。在应用了几何变换fwrs、fwgs和fwbs之后，需要(所有三个通道的)重新取样以产生新的图象或象素数据。在图象处理器51中，这些过滤操作通常产生于彩色变换fwrc、fwgc和fwbc之前。然后对新的过滤后象素数据应用彩色映射，这意味着异常校正变换(29)至(31)需要基于新的图象数据。
图5显示了图象处理器51中所产生的特定处理顺序，其中空间滤波器47进行F所表示的过滤操作。用于各输出象素的所接收的几何数据被空间滤波器47用于得到大量的输入象素，以便用于通过FIR滤波器而变换到输出象素值。另外，增益和偏移级49用于保证上述一致的亮度/色度结果。作为特例，变换(29)将校正亮度不均匀性，如果映射分量fcrc-1选择成符合以下关系的话fcrc-1(F(fcrc(Or)))=Or,---(32)]]>或者等同式hcc(fcrc-1(F(fcrc(Or))))=hcc(Or),---(33)]]>等等用于其它情况。这里空间滤波器47用于将F同fcrc-1组合起来以消除俘获侧的亮度异常。过滤F内含在包括有图象扭曲电路的所有处理链或方程中，也隐含着通过滤波，彩色变换直接连接到空间变换上这意味着在空间变换中的变化将使过滤后的象素数据变化，这反过来可能要求不同的彩色变换。空间映射也可直接地与彩色映射相互作用。可以预期，图象处理器51可设置成允许根据所产生的空间数据(例如位置/推导的信息)来进行彩色映射的动态调制。图5中虚线箭头所示的该选项运行在空间映射元件与彩色映射元件之间。空间映射的产生可通过相连的或脱机(即未处于图象处理器51内)的程序块来进行操作，并按图5中以几何变换网格数据集57和彩色变换网格数据集59来描述的方式进行存储。
图6显示了另一示例性电子校正系统100，其采用图象处理器101来执行变换(26)至(31)的进一步推广，以包括专用“校正”或扭曲分量(即独立于校正光学缺陷用分量的分量)。如上一样，电子校正系统100包括光学元件(如透镜、棱镜、反射镜等)和非光学元件(如电子传感器和显示板)102和104，非光学元件的部分或全部可将光学偏差引入所示图象处理链中；还包括存储面106和108，其被假定为不会引入任何光学异常。
专用映射用fas和fac(下标a)标明，方程(26)至(31)变成fwrs=fdrs-1hdsfashcsfcrs-1---(34)]]>fwgs=fdgs-1hdsfashcsfcgs-1---(35)]]>fwbs=fdbs-1hdsfashcsfcbs-1---(36)]]>fwrc=fdrc-1hdcfachccfcrc-1---(37)]]>fwgc=fdgc-1hdcfachccfcgc-1---(38)]]>fwbc=fdbc-1hdcfachccfcbs-1---(39)]]>通过专用分量，方程(33)变成fac(hcc(fcrc-1(F(fcrc(Or)))))=fac(F(hcc(Or))),---(40)]]>其中“有效过滤”F，表示在没有任何光学异常时的伴随有fas的过滤。现在F在消除异常和应用由fas所引起的专用过滤方面起了一定作用。过滤F(和/或F)通过正确地选择fwis和fwic来确定，i＝r，g，b。
一般而言，映射fas和fac对于三种色彩而言是不同的，为了最实用目的，这些映射对所有色彩而言都是相同的。应当理解，使fas在三种色彩上不同等同于“人为地”引入横向色差。应当注意，fas和fac并不用于校正光学异常，它们的输入/输出被假定为是没有异常的。因此，消除了偏差的有效处理链显示于图6中。一旦图象处理器101已经消除了光学异常，则图象处理器101可有效地用作专用图象扭曲电路。图7显示了位于图象处理器101内的有效处理链。
电子校正系统100(即俘获/显示装置)的一个示例应用了变换(34)至(39)并摄取(俘获)了画面并将其投射(显示)在弯曲的屏幕上。在这种情况下，fas和fac将校正当投射到弯曲屏幕上时产生的失真(位置的和/或色彩的)。其它映射分量将校正由于俘获/显示用光学/电子元件所引起的光学异常。该其它映射分量是取决于装置的映射，使得如果屏幕形状改变的话，则只有fas和fac变化，而取决于装置的映射不会变化。也就是说，映射fcis-1、fdis-1、fcic-1、fdic-1、hcs、hds、hcc和hdc对于给定的装置配置而言只需要计算一次。可能要求用于各色彩的不同fac映射的一个应用是色彩匹配。在其中两个重叠图象投射到屏幕上的情况下，所得到的图象要求在重叠区域(即要求将大的画面分成由若干投影仪投射)连续的情况下，需要单个地调整重叠区域中的三种色彩(在各图象中)以呈现平滑过渡。
如上所述，用于表示和计算各种映射的方法是取决于应用/装置的。映射的更常用描述是网格数据集。网格数据集给出了象素的输入/输出位置和色彩值的代表集。可采用各种方法来产生网格数据集。对于光学元件而言，可利用光线跟踪程序来确定输入和输出象素的位置。试验图象也可用于通过系统来确定色彩漂移。输入和输出亮度水平的数据可确定描述了亮度校正映射的网格数据集(在色空间中)。
对于专用的变换(梯形、圆柱形、球形等)而言，可根据分析利用数学模型来产生网格数据集。因此，用于变换(34)至(39)中的反函数的网格数据集可通过使来自变换(2)至(7)中的“向前”映射中的网格数据集倒置过来计算。
一旦单个网格数据集(与(34)至(39)右边的五个分量函数相对应)确定了后，可将这些网格数据集级连起来以给出各变换(34)至(39)所用的网格数据集。级连可以用几种方式进行，一种途径是首先通过2D表面如样条函数等配入或插入单个网格数据集，然后这些表面可函数式地组合起来并以正确顺序来求值，以得到最终的网格数据集。对于各变换(34)至(39)来重复该过程。组合/求值操作仅仅采用一个表面的界限来按照顺序地作为下一个表面的域。一旦我们具有了最终的六个网格数据集，然后将它们转换成基于可代表任何变换的函数格式的统一2D表面，具有将该统一函数格式应用于(基于象素的)网格数据集格式的实质性益处。最终的结果是(34)至(39)可表达为fwis(x,y)=Σm,nαimnxmyn---(41)]]>fwic(Oi，x，y)＝αi(x，y)Oi+βi(x，y) (42)αi(x,y)=Σm,nAimnxmyn---(43)]]>βi(x,y)=Σm,nBimnxmyn---(44)]]>与空间变化即(41)有关的传统理解可被用于确定((42)至((44)。彩色映射(42)的系数被配入(43)至(44)中，以代替图象位置(如(41)所示)。彩色影射(42)的系数适合于(43)至(44)，以与(41)完全相同的方式来确定表面((43)至(44))；只有界限的意义是不同的。在((42)中，彩色映射被视为线性的；尽管并不清楚高阶表面的物理重要性，但仍可采用高阶函数。图象处理器51(图5)和101使((42)在Oi中被视为线性的，并且使((43)和((44)在x和y中被视为线性的。
图8显示了另一示例性电子校正系统150，其采用图象处理器151来实现动态光学校正和图象扭曲。如图所示，可采用映象发生器162来计算出规定了动态序列的不同变换并将其储存在外部存储器160中。如同以前一样，电子校正系统150包括光学元件(如透镜、棱镜、反射镜等)和非光学元件(如电子传感器和仪表板)152和154，非光学元件的部分或全部可将光学异常引入所示图象处理链中；还包括存储器(储存面)156和158，其被假定为不会引入任何光学异常。
电子校正系统150采用图象处理器151来储存不同的映射(即一组以上的函数(41)至((44))。通过该方法，光学异常(和/或专用扭曲)随时间变化(在合理的比率下)的的位置可以被访问。这符合适应性异常校正，其中映射适应变化的异常。可根据动态变化来预先计算函数并之后根据需要装载。也可包括动态专用效果，例如随时间变化的梯形校正。虽然已经假定映射是离线计算的，然而也可不必这样。如果赋予足够的计算功率，映射也可在线(即在集成电路内)计算，这将取消储存各种映射的存储块。
以上(41)至((44)所讨论的函数可储存在图象处理器51、101和151中，并依次应用到数字图象数据中。整体效果是可恢复理想的特性并只保存专用扭曲。这提供了有效的电子解决方案来校正光学异常，随着益处的增加，也可包括任何专用的图象扭曲。专用扭曲的任何变化不会影响异常校正映射。
上述光学异常校正的电子解决方案大大降低了系统成本。特别是，可以取消昂贵的光学元件或采用较便宜的元件来替代。电流电路可校正失真、横向色差和亮度/色度不均匀性，以及应用任何专用的图象扭曲。电子校正系统150的主要市场是用于高清电视、PC显示器、投影电视等等中的高分辨率象素显示系统领域。
图9是显示了与本发明的电子校正方法200相关的、根据本发明来进行的主要处理步骤的流程图。如上详细所述，电子校正方法200消除了图象俘获/显示装置共有的光学异常。
在步骤(202)中，离线电路或可能是图象处理器51、101和151识别各种光学异常并集中将它们表示为象素数据的变换。变换可以是立体的(位置的)空间或色彩的空间，如上所述，确定变换的最通用方式是通过网格数据集，其给出了象素的输入/输出位置和色彩值的代表集。在步骤(204)中，处理链的理想特性也被识别并表示为网格数据集。
在步骤(206)中，计算出异常校正变换(即以网格数据集的形式)。这可通过从以前的步骤中倒置网格数据集来进行计算。在步骤(208)中，计算出任何专用变换(网格数据集)。在步骤(210)中，异常校正和专用变换，或网格数据集被级连在一个网格数据集中。这为每个独立的象素变量给出了一个网格数据集，其规定了将被电子式应用的完整的“扭曲”映射。有六个独立的象素变量，即RGB位置值和RGB色彩值。
在步骤(212)中，采用各种可买到的图象扭曲电路(例如美国加利福尼亚州San Jose的Silicon Optix公司生产的sxW1集成电路)来将级连的网格数据集转换成装置专用的函数格式。该函数描述能够以适合于实时、子象素精确、图象处理的方式来描述非常常见的变换，最后，在步骤(214)中，根据预先计算的函数描述，通过sxW1集成电路，象素数据被数字化变换。结果，已经通过了俘获/扭曲/显示处理链的最终图象没有任何异常，并仅显示了专用的图象扭曲。
电子校正系统50、100和150以及电子校正方法200提供了有效的并且成本高效的对象差的实时电子校正，其不会影响图象锐度即失真和色彩不汇聚(不包括轴向色差)以及亮度(色度)不均匀性。各个这些效果被作为立体(位置)空间或色空间中的变换而建模。也就是说，一旦象差被表达为象素变换(影响象素位置或象素的彩色含量)，它就可通过应用相反的变换来消除。该同样的方法也提供了专用的图象处理以及动态的异常校正。电子校正方法200不限于显示/投影装置或俘获装置，而是可连同任何含有显示和/或俘获元件的图象处理链一起使用。所有的这些校正被表示为作用在立体空间或色空间中的网格数据集或函数，其允许在函数组合中级连各种不同的校正。
本领域的技术人员可以理解，在不偏离本发明的前提下，可以进行上述结构的各种修改和适应，本发明的范围由所附权利要求限定。
权利要求
1.一种电子校正方法，用于校正多种光学异常，所述光学异常与具有特定几何形状的光学俘获和显示元件所处理的光学图象的俘获和显示相关，通过补偿与所述光学图象相关的数字图象象素数据来进行，所述方法包括(a)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异常，并将其作为光学异常网格数据集；(b)识别和表示俘获和显示光学部件的理想性能，并将其作为理想网格数据集；(c)比较光学异常网格数据集和理想网格数据集，并确定异常校正变换数据集，通过进行从理想网格数据集到异常变换的倒置空间变换，使得带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格数据集；(d)将异常校正变换数据集应用到所述图象象素数据上，以生成看上去没有光学异常的校正图象象素数据。
2.根据权利要求1所述的方法，其特征在于，所述光学异常从组失真、色彩不均匀性、亮度不均匀性和色度不均匀性中选出。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括计算出可表示从包括球形、圆柱形和梯形变换的组中选出的图象缩放和几何变换的专用网格数据集，并将光学异常网格数据集与专用网格数据集级连起来，其中(d)包括将光学异常网格数据集与专用网格数据集的级连应用到象素图象数据中。
4.根据权利要求1所述的方法，其特征在于，所述异常校正变换数据集被转换成装置专用的函数表达式。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括储存变换顺序以实现动态的异常校正。
6.根据权利要求1所述的方法，其特征在于，所述异常校正变换数据集被限定在至少位置空间和色空间的其中之一中。
7.根据权利要求1所述的方法，其特征在于，所述异常校正变换数据集定义了一组校正几何变换和一组校正彩色变换。
8.根据权利要求8所述的方法，其特征在于，步骤(d)包括(i)应用校正几何变换组；(ii)应用过滤操作组；和(iii)应用校正彩色变换组。
9.根据权利要求1所述的方法，其特征在于，所述象素图象数据与至少一个俘获和显示装置相关联。
10.一种电子校正系统，用于校正多种光学异常，所述光学异常与具有特定几何形状的光学俘获和显示元件所处理的光学图象的俘获和显示相关，通过补偿与所述光学图象相关的数字图象象素数据来进行，所述系统包括图象处理器，用于(e)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异常，并将其作为光学异常网格数据集；(f)识别和表示俘获和显示光学部件的理想性能，并将其作为理想网格数据集；(g)比较光学异常网格数据集和理想网格数据集，并确定异常校正变换数据集，通过进行从理想网格数据集到异常变换的倒置空间变换，使得带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格数据集；(h)将异常校正变换数据集应用到图象象素数据上，以生成看上去没有光学异常的校正图象象素数据。
11.根据权利要求10所述的系统，其特征在于，所述光学异常从组失真、色彩不均匀性、亮度不均匀性和色度不均匀性中选出。
12.根据权利要求10所述的系统，其特征在于，所述系统还包括应用模块，所述运用模块提供可表示从包括球形、圆柱形和梯形变换的组中选出的图象缩放和几何变换的专用网格数据集，所述图象处理器适于将光学异常网格数据集与专用网格数据集级连起来，所述图象处理器还适于将光学异常网格数据集与专用网格数据集的级连应用到象素图象数据中。
13.根据权利要求10所述的系统，其特征在于，所述图象处理器适于将所述异常校正变换数据集转换成装置专用的函数表达式。
14.根据权利要求10所述的系统，其特征在于，所述图象处理器适于储存变换顺序以实现动态的异常校正。
15.根据权利要求10所述的系统，其特征在于，所述光学异常网格数据集被限定在至少位置空间和色空间的其中之一中。
16.根据权利要求10所述的系统，其特征在于，所述异常校正变换数据集定义了一组校正几何变换和一组校正彩色变换。
17.根据权利要求16所述的系统，其特征在于，所述图象处理器适于(iv)应用校正几何变换组；(v)应用过滤操作组；和(vi)应用校正彩色变换组。
18.根据权利要求10所述的系统，其特征在于，所述系统还包括与所述图象处理器耦合，以显示所述图象象素数据的图象显示装置。
19.根据权利要求10所述的系统，其特征在于，所述系统还包括与所述图象处理器耦合，以俘获所述图象象素数据的图象俘获装置。
20.一种具有计算机可读编码的计算机可读媒体，用于校正多种光学异常，所述光学异常与具有特定几何形状的光学俘获和显示设备所处理的光学图象的俘获和显示相关，，通过以如下步骤来补偿与所述光学图象相关的数字图象象素数据(j)识别和表示与俘获和显示光学部件的物理和几何特征相关的光学异常，并将其作为光学异常网格数据集；(k)识别和表示图象数据处理链的理想性能，并将其作为理想网格数据集；(l)比较光学异常网格数据集和理想网格数据集，并确定异常校正变换数据集，通过进行从理想网格数据集到异常变换的倒置空间变换，使得带有光学异常网格数据集的异常校正变换的函数组合减少至理想网格数据集；(m)将异常校正变换网格数据集应用到图象象素数据上，以生成看上去没有光学异常的校正图象象素数据。
21.根据权利要求20所述的计算机可读媒体，其特征在于，所述光学异常从组失真、色彩不均匀性、亮度不均匀性和色度不均匀性中选出。
22.根据权利要求20所述的计算机可读媒体，其特征在于，所述计算机可读媒体还包括步骤计算出可表示从包括球形、圆柱形和梯形变换的组中选出的图象缩放和几何变换的专用网格数据集，并将光学异常网格数据集与专用网格数据集级连起来，其中(m)包括将光学异常网格数据集与专用网格数据集的级连应用到象素图象数据中。
23.根据权利要求20所述的计算机可读媒体，其特征在于，所述异常校正变换数据集被转换成装置专用的函数表达式。
24.根据权利要求20所述的计算机可读媒体，其特征在于，所述计算机可读媒体还包括储存变换顺序以实现动态的异常变换。
25.根据权利要求20所述的计算机可读媒体，其特征在于，所述异常校正变化数据集被限定在至少位置空间和色空间的其中之一中。
26.根据权利要求20所述的计算机可读媒体，其特征在于，所述异常校正变化数据集定义了一组校正几何变换和一组校正彩色变换。
27.根据权利要求26所述的计算机可读媒体，其特征在于，(m的)包括(vii)应用校正几何变换组；(viii)应用过滤操作组；和(ix)应用校正彩色变换组。
全文摘要
一种用于校正光学异常，即失真、色彩不汇聚(不包括轴向色差)以及亮度(或色度)不均匀性的电子校正系统和方法。各效果被作为立体(位置)空间或色空间中的变换而建模。将这些效果表示为数字象素数据，可允许在共同的框架即图象“扭曲”的框架内解决不同的异常。然后通过电子式应用倒置变换来消除已被表示为象素变换的异常。该过程等同于在位置和/或色空间内数字式操纵或扭曲图象，因此这可通过商业上已知的扭曲电路来实现。另外，变换也可含有元件来另外进行任何专用的图象扭曲(例如缩放和几何变换)。最后，通过储存变换顺序，可以实现适应性的异常校正和动态效果。
文档编号G06T3/00GK1659592SQ03813600
公开日2005年8月24日 申请日期2003年6月12日 优先权日2002年6月12日
发明者巴锡·佐拉沃·S, 李·路易, 拉马钱德兰·戈帕尔 申请人:奥普提克斯晶硅有限公司