处理来自多层传感器的图像中的超分辨率的制作方法
【专利说明】处理来自多层传感器的图像中的超分辨率
[0001]相关申请的交叉引用
[0002]本专利申请要求于2013年10月30日提交的美国临时专利申请N0.61/897，773的优先权，针对所有目的，该美国临时专利申请的公开内容以引用方式并入本文。
技术领域
[0003]本发明一般涉及一种成像装置及其相关方法，具体地，涉及一种利用超分辨率对图像进行处理的成像装置及其相关方法。
【背景技术】
[0004]现代成像装置使用像素获取图像。像素将输入图像划分为各个元素，并且获取图像的各个元素的值。通过各种技术获取图像的这些值，诸如在短暂的曝光时间之后的每像素的电子数。无论是彩色的还是黑白的输出图像通常都由获取的值构成。
【发明内容】
[0005]本说明书提供了装置、计算机和方法的实例，它们的使用可有助于克服现有技术的问题和限制。
[0006]在一些实施例中，阵列的各个像素可针对输入图像获取值。获取的值可对应于获取这些值的各个像素的像素中心点。还可通过获取的值来计算关于输入图像的一个或多个额外值。这些额外值中的至少一些对应于可与任何像素中心点不同的额外中心点。可通过获取的值与额外值一起构成输出图像。这些值可一起存储和/或作为输出图像一起显示。
[0007]实施例的优点在于可通过比由可用数量的像素获取的那些值的总数更多的值来产生输出图像。这种图像处理可被称作超分辨率，并且可应用于针对静止图片、视频和运动图片等的成像装置中的图像处理。
【附图说明】
[0008]通过提供以下参照附图描述的【具体实施方式】，本说明书的这些和其它特点和优点将变得更加容易理解，其中:
[0009]图1是根据实施例制备的成像装置的框图；
[0010]图2是根据实施例的具有用于计算额外值的额外示例选择位置的示例像素阵列的示图；
[0011]图3是根据实施例的计算机的示图；
[0012]图4是示出根据实施例的方法的流程图；
[0013]图5是图2的像素阵列的可能的单层传感器实施例的区块的示图；
[0014]图6是根据实施例制备的可能的二层堆叠的传感器阵列的区块对的示图；
[0015]图7是根据实施例制备的可能的三层堆叠的传感器阵列的四区块的示图；
[0016]图8是根据实施例制备的二层错开堆叠的传感器阵列部分的示图；
[0017]图9是根据旋转的实施例制备的二层错开堆叠的传感器阵列部分的示图；
[0018]图10是根据实施例制备的三层错开堆叠的传感器阵列部分的示图；
[0019]图11是根据旋转的实施例制备的三层错开堆叠的传感器阵列部分的示图；
[0020]图12是根据实施例制备的三层错开堆叠的传感器阵列部分的示图；
[0021]图13描绘了用于成像装置的基于控制器的系统，该成像装置使用了根据实施例制备的成像阵列；
[0022]图14是根据实施例的物理二层错开堆叠的传感器阵列部分的示图；
[0023]图15是根据实施例的物理示例图像构造网格的一部分的示图；
[0024]图16是根据实施例的示例图像构造网格的一部分的示图；
[0025]图17是根据实施例示出单层传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
[0026]图18是根据实施例示出三层堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
[0027]图19是根据实施例示出二层堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
[0028]图20是根据实施例示出二层错开堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；
[0029]图21根据实施例示出了描绘从图20的阵列部分至图像构造网格的另一进程的序列图；
[0030]图22根据实施例示出了描绘收集获取的值的序列图，该获取的值用于计算针对图14的阵列部分中的额外中心点的额外值；
[0031]图23根据实施例示出了描绘收集获取的值的序列图，该获取的值用于计算针对图14的阵列部分中的不同的额外中心点的额外值；
[0032]图24根据实施例示出了可用于计算R、G、B图像值的等式；
[0033]图25A、图25B、图25C和图2?根据实施例示出了可用于计算亮度和色度图像值的等式；
[0034]图26是用于描述根据实施例的滤波器训练操作的示图；
[0035]图27是示出了根据实施例的滤波器训练方法的流程图；
[0036]图28根据实施例示出了可用于直接利用RGB值训练滤波器的等式；
[0037]图29A、图29B、图29C和图29D根据实施例示出了可用于首先通过亮度和色度值训练滤波器的等式；
[0038]图30是示出根据实施例的图像操作的示图；
[0039]图31是根据实施例示出了输出图像相对于输入图像改变尺寸的示图；
[0040]图32是示出根据实施例的额外合成图像操作的示图；以及
[0041]图33是示出根据实施例的特定合成图像操作的示图。
【具体实施方式】
[0042]如上所述，本说明书是关于可执行特定类型的图像处理的装置、计算机和方法。现在更加详细地描述实施例。
[0043]图1是根据实施例制备的成像装置100的框图。成像装置100具有外壳102。诸如LED的光源105可设置在外壳102上。开口 OP设置在外壳102中。透镜LN可以可选地设置在开口 OP中，但是这不是必要的。
[0044]成像装置100还具有根据实施例制备的像素阵列110。像素阵列110构造为通过开口 OP接收光，从而成像装置100可获取对象OBJ、人或景物的图像。有时，通过光源105辅助图像获取。可以看出，像素阵列110和开口 OP限定了标称视场F0V-N。当然，视场FOV-N和对象OBJ是三维的，而图1将它们显示为二维的。此外，如果实际设置了透镜LN，则所得的实际视场可与标称视场FOV-N不同。将成像装置100校直以使得待成像的对象OBJ、人或景物处于实际视场中。
[0045]像素阵列110的各个像素可获取图像的各个元素。在许多实施例中，像素阵列110具有二维像素阵列。阵列可按照多行多列排列。
[0046]成像装置100可通过由像素获取的元素来呈现图像。可选地，成像装置100还包括显示器180，其可包括可显示所呈现的图像或其变化形式的屏幕或触摸屏。
[0047]成像装置100还包括控制器120，其用于控制像素阵列110和成像装置100的其它组件的操作。控制器120可以可选地与像素阵列110—体形成，并且还可与成像装置100的其它组件一体形成。
[0048]根据实施例，成像装置100可另外包括图像处理器125，其用于处理输入图像。更具体地说，图像处理器125可处理通过像素阵列110的各个像素获取的输入图像的值，以产生构成输出图像的值。图像处理器125可以可选地与控制器120、像素阵列110和/或成像装置100的其它组件一体形成。
[0049]成像装置100可以可选地包括存储器140。存储器140可存储输入图像，即由像素阵列110的各个像素针对输入图像的各个元素获取的值。根据实施例，存储器140还可存储输出图像的各方面，例如针对输出图像计算的值。
[0050]图2是示例像素阵列210的示图。像素阵列210具有像素232，为了清楚起见，仅示出了其中的几个像素，并且标记了更少的像素。像素232可由无机材料和/或有机材料制成。
[0051]像素232示为方形，但这仅出于描述的目的。实际上，像素232可具有不同的形状，并且它们的感光区域可小于整个像素的区域。因此，像素232的感光区域加在一起不一定覆盖像素阵列210的整个区域。实际上，在一些实施例中，成像在像素232的感光区域之间的输入图像的元素会没有被成像，这意味着会没有获取到针对这些元素的值。
[0052]像素232按照矩形图案沿着各行222和各列224布置，但这仅是出于示例而非限制的目的。如稍后将在本文中的其它示例中看出的那样，可存在布置像素的多种图案。
[0053]在图2中，仅示出了一层像素232，但情况不一定是这样。如稍后将在本文中的其它示例中看出的那样，可存在多层(诸如两层或更多层)像素，它们可堆叠。通常，一对这种层的特征可在于下层和竖直堆叠在下层上的上层，存在或不存在中间层。
[0054]另外，可为像素232定义像素中心点236。更具体地说，可按照合适的(优选地，一致的)方式定义像素中心点236，诸如位于像素232的感光区域的中心。如果这些感光区域(也称作图素(photo-site))是例如矩形的，则可在感光区域的两条对角线的交叉点处找到中心。在该示例中，有利地选择各行222和各列224以使得像素中心点236位于它们的交叉点处。出于构成输出图像的数学目的，通过像素232获取的值可对应于获取这些值的各个像素232的像素中心点236。
[0055]此外，在图2中，还可选择额外中心点239。在图2的示例中，示出的额外中心点239都没有位于各行222和各列224的交叉点处，但这不是必要的。
[0056]如先前所述，在实施例中，为输出图像计算在获取的值以上和以外的额外值。这种额外值可对应于额外中心点239。由于额外中心点239不位于各行222和各列224的交叉点，因此这些额外值可用于输入图像的额外元素，这些额外元素不是通过像素232中的一个所获取。因此，当根据实施例针对输入图像计算出额外值中的一个时，该额外值可用于帮助在通过物理像素232针对输入图像获取的值以上和以外构成最终输出图像。
[0057]在图2中，像素中心点236以实心点画出，而不同的是，额外中心点239以圈画出。这种不同之处旨在帮助记住像素中心点236是针对通过像素232获取的值而定义的，而额外中心点239是针对计算的额外值而定义的。因此，输出图像可具有针对点的位置以及圈的位置的值。
[0058]除图2的示例以外，选择的额外中心点239中的一个或多个可与像素中心点236中的一个一致。这样对于例如校正坏的像素会是有用的。
[0059]如上所述，根据实施例，可计算对应于额外中心点的额外值。在本文档中稍后示出了这种计算的更详细的示例。可通过图像处理器(诸如图像处理器125)进行这种计算。可替换地，可通过计算机执行计算。现在描述一个示例。
[0060]图3是根据实施例的计算机310的示图。计算机310可为接收一个或多个输入图像并产生输出图像的一个实施例。输入图像可为无关或相关的，诸如视频或运动图片的那些图像。
[0061]计算机310可通过包括逻辑电路的一个或多个装置实施。计算机310可为独立的装置或计算机，诸如通用计算机，或具有一个或多个额外功能的装置的一部分。逻辑电路可包括处理器320，处理器320可为可编程的以用于通用或者专用目的，诸如微控制器、微处理器、数字信号处理器(DSP)等。逻辑电路还可包括诸如存储器330之类的存储介质。这种介质包括(但不限于)易失性存储器、非易失性存储器(NVM)、只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、智能卡、闪速存储器装置等。这些存储介质中的任一个可为非临时性计算机可读介质。这些存储介质在单独或与其它存储介质结合的情况下可在其上存储数据334。另外，这些存储介质可存储处理器320能够读取和执行的程序332。更具体地说，程序332可包括处理器320在读取时能够执行的代码形式的指令。所述执行的步骤通过物理量的物理操纵来执行，并且可导致待执行的功能、处理、行为和/或方法，以及/或者处理器320使得其它装置或部件或块执行所述功能、处理、行为和/或方法。
[0062]返回图1，如果实际上