一种图像转换和多视图输出系统及方法
【专利说明】
【背景技术】
[0001]数字成像系统通常包括一个或多个透镜和数字图像传感器。该数字图像传感器从经由透镜被成像的对象或场景而将光加以捕捉，并将光转换成电子信号。前述电子信号被数字化并被储存在半导体内存中的作为数字图像数据。这样的数字成像系统被用于在各种消费性产品、工业和科学应用，包括移动电话、数字静止图像和视频摄影机、网络摄影机以及其他设备，以产生静止图像和/或视频。
[0002]现今大多数的图像传感器是由互补金属氧化物半导体(CMOS)图像传感器或电荷耦合装置(CCD)图像传感器所组成的二维像素阵列。现今的数字图像传感器可包括数以百万计的像素，以提供高分辨率的图像。
[0003]数字图像，包括由数字成像系统所产生的静态图像和视频图像，其质量可取决于各种因素。在具有广角摄影镜(例如鱼眼镜头)的数字成像系统，镜头扭曲可显著影响数字图像的质量。镜头扭曲会造成在场景中被拍摄到的直线或物体于影像中出现弯曲。扭曲最常见的形式是径向对称，径向对称是从透镜的对称性而产生。径向扭曲可被分类为两种主要类型中之一者:桶形失真和枕形失真。桶形失真是由广角镜头所拍摄的常见图像，而枕形失真通常是存在于由缩放或远摄镜头所拍摄的图像。
[0004]在桶形失真中，图像的放大倍数随着至光轴的距离而减小。其效果是图像看起来被映射至球体或桶之周围。在枕形失真中，图像放大倍率随着至光轴的距离而增大。视觉上的效果是未经过图像中心的线条会向内弯、朝向图像的中心，就像一个针垫。复合失真，其为桶形失真和枕形失真的组合，始于如靠近图像中心发生的桶形失真，且逐渐变为朝向图像边缘的枕形失真。
[0005]在一般的数字成像系统中，由透镜失真所产生的误差可借由形成于半导体芯片晶粒上的图像信号处理器(ISP)进行信号处理而校正。ISP接收来自数字图像传感器的数字图像数据，数字图像传感器也普遍地形成在半导体芯片晶粒上。为启动失真数字图像数据的校正程序，大量的缓冲内存用于储存几百行的失真图像数据。所需的内存必须够大且不能被包括在作为ISP的芯片的一部分里。因此，额外的内存芯片是必要的，例如动态随机存取内存(DRAM)装置。前述附加装置会影响数字图像系统的大小与成本。另外，前述附加装置存取内存时会造成延迟，并使内存存取带宽问题复杂化。
【发明内容】
[0006]在一实施例中，图像转换和多视图输出方法是从原始图像产生输出视图。原始图像被接收，且输出视图中的每个像素的坐标是借由使用坐标映射而被逆映射到原始图像的位置。坐标映射校正原始图像中(a)透视和(b)失真中的至少一者。输出视图中每个像素的强度是根据原始图像相应的映射像素位置信息而决定的。
[0007]在另一实施例中，图像转换和多视图输出系统是从原始图像产生输出视图。该系统包括查找表，其储存在非挥发性记忆器中，包含将输出视图坐标映射至原始图像；以及逆映射器，其供借由查找表的使用从原始图像产生输出视图。坐标映射校正原始图像中的(a)透视和(b)失真中的至少一者。
[0008]在另一实施例中，提供一种用以产生储存在查找表中且被图像转换和多视图输出系统所使用之坐标映射的方法，前述系统具有成像透镜；图像传感器，用于从透镜捕捉的原始图像；以及输出装置，用于显示校正后的图像。接收包括成像透镜的失真曲线和失真中心之图像转换和多视图输出系统的参数。逆透视校正是根据摄影镜头的光轴相对于主光线从透镜视野中的物体入射到透镜的角度方位而决定的。逆失真校正是根据失真曲线和失真中心的一或两者而决定。根据逆透视校正和逆失真校正产生坐标映射；其中坐标映射包括供转换和多视图输出系统使用的逆转换，借以从原始图像产生输出视图。
【附图说明】
[0009]图1显示在一个实施例中配置有具有后视摄影机、显示器以及可选多视图选择开关之一车辆的示例性图像转换和多视图输出系统。
[0010]图2更详细地显示在图1实施例中的图像转换和多视图输出系统的示意图。
[0011]图3显示由图1的摄影机所成像且由图1的图像转换和多视图输出系统所处理的示例性线栅。
[0012]图4显示成像配置图，其中图1的摄影机是捕捉物体的原始图像数据。
[0013]图5显示由图4的摄影机所捕捉到图3物体的原始图像。
[0014]图6显示借由图1的图像转换和多视图输出系统从图5的原始图像所产生的输出视图。
[0015]图7显示在一实施例中一种示例性的图像转换和多视图输出方法。
[0016]图8显示由图1的图像转换和多视图输出系统所产生的示例性原始图像和三个示例性输出视图。
[0017]图9显示一失真的原始图像和由图1系统执行图7的透视和失真校正方法所产生的输出视图。
[0018]图10系为显示一实施例中供产生图2的查找表所使用的坐标映射产生器之示意图。
[0019]图11显不在一实施例中用于产生图2查找表的方法。
【具体实施方式】
[0020]在采用宽视角的透镜视频成像系统中，例如对汽车驾驶辅助摄影机，图框与图框间的延迟会降低系统的实用性。延迟会降低观看者适当响应由系统所捕捉图像的能力。从这样的延迟所造成的不连贯或溅射视频流会阻止潜在使用者，如驾驶，观看到完整的图像。因此，如配合图1到图11与下文所述者，校正失真图像的同时又能以「平稳」的图框速率显示图像的能力，是该等视频技术所具有价值的功能。
[0021]已有涉及逆映射的失真去除方法辅助视频技术。逆映射将输出图像中的像素映射回原始失真图像的位置。在正向映射算算法中，在失真图像中的每个像素被映射到在校正后图像中的像素。然而，这样的算法在计算上的效率并不高，因为许多失真图像中的像素不会被映射到校正后的图像。考虑到在原始图像中只映射像素的情况，逆映射法不仅更有效、更快速，且比正向映射法需要更少的计算资源。
[0022]一种在成像系统中加快失真移除的方式是将逆映射预先进行计算且将结果储存查找表上。例如，包括一个CMOS图像传感器的成像系统可在的芯片上对每一拍摄图像执行映射算法(正向或逆向)，然后将转换后的图像加以显示。用包含前述算法结果的查找表替换前述算法能减少图像失真修正的所需时间，且能应用于其他的图像转换。
[0023]对于从具有失真的拍摄图像，例如那些由鱼眼摄影透镜捕捉的图像，产生直播无失真视频串流的快速图像转换是重要的。对于某些成像应用，如下所述，具有一种“多视图”功能的优点在于此功能可让用户选择和查看一个原始图像中一个或多个转换的区域。例如，汽车后视摄影机和监视视频系统，其因使用广角摄像透镜而造成明显的失真将会从此等选择和转换所得益。以计算昂贵的失真移除算法，从被捕捉视频提供一多视图的功能将会限制视频框率，因而导致不连贯的视频输出。此不连贯的输出会使观看视频的质量降低且妨碍用户对现有信息快速反应的能力。先前技术的图像失真修正系统缺乏多个可转换图像与动态(或「实时」)可重组多视图输出的组合。
[0024]本发明所揭露是关于供将原始数字图像加以转换以去除图像伪影的方法和相关系统，例如与由广角镜头如鱼眼镜头所拍摄的图像有关的失真和透视误差。一个能实现多视图视频串流的图像校正且选择子视图区域的示例性方法，使得多个显示视图的选择能实时更改。
[0025]图1显不配置成具有后视摄影机110、显不器120和可选多视图选择开关122的汽车102的示例性图像转换和多视图输出系统100。摄影机110具有成像透镜112和图像传感器116。成像透镜112是广角镜头，例如以鱼眼镜头为例。图像传感器116例如可在CMOS中加以实施，但也可以其他技术而不悖离本发明范围的情况下加以实施。系统100例如可在单个集成电路中加以实施，其中其可被配置于摄影机110或显示器120中。
[0026]在一操作实例中，成像透镜112将其视野113中的物体成像至图像传感器116，其产生原始图像数据117并将其发送至图像转换和多视图输出系统100。图像转换和多视图输出系统100将原始图像数据117的至少一部分转换为输出视图数据121，其是作为输出视图123而被显示于显示器120。若包括于其中，可选多视图选择开关122可使用在对由图像转换和多视图输出系统100所产生的视图作替代输出视图的选择，且将相应原始图像数据117的转换版本显示在显示器120上。图像转换和多视图输出系统100还可从原始图像数据117同时将输出视图123中的多个视图产生且显示于显示器120。
[0027]数字图像数据可借由含有二维像素阵列的图像传感器加以捕捉。图