专利名称：用于处理由二进制图像传感器捕获的数字图像的设备和方法
技术领域：
本发明涉及处理数字图像。
背景技术：
二进制图像传感器可以包括例如多于IO9个被布置为二维阵列的单独的光检测器。每个单独的光检测器仅具有两个可能状态未曝光“黑色”状态和曝光“白色”状态。因此，单独的检测器不再生不同的灰色阴影。二进制图像传感器的单独的光检测器的尺寸可以小于由数码相机的成像光学器件所可以提供的焦点的最小尺寸。使用该检测器可以有助于避免例如由于色彩滤镜阵列导致的色彩失真问题。然而，由于巨大的数据尺寸，像这样的二进制数字图像的存储和传输可能是困难或者不可能的。可能需要若干次曝光和读取来达到足够的信噪比。所产生的图像数据可能甚至大到使得在数码相机中或甚至台式计算机中的二进制图像数据的存储和处理变得不可行。
发明内容
本发明的目的是提供一种图像处理设备。本发明的目的还在于提供用于处理图像的方法。根据本发明的第一方面，提供了一种如权利要求1所述的编码方法。根据本发明的第二方面，提供了一种如权利要求13所述的解码方法。根据本发明的第三方面，提供了一种如权利要求18所述的计算机程序代码。根据本发明的第四方面，提供了一种如权利要求19所述的计算机可读存储介质。根据本发明的第五方面，提供了一种如权利要求21所述的编码设备。根据本发明的第六方面，提供了一种如权利要求M所述的解码设备。可以将二进制数字图像编码成参数集合，该参数包括关于所述二进制数字图像的像素组内的曝光像素的相对密度的信息，并且包括关于所述二进制数字图像的像素组内的曝光像素的分布的信息。因此，可以将图像数据的尺寸降低例如94%。这有助于该图像数据的存储、传输和
/或处理。然后可以通过基于以前确定的参数从图像元素阵列中选择空间不均勻的图像元素，将该参数编码成输出图像。通过下文给出的描述和示例，并且还通过所附权利要求，本发明的实施方式和它们的优点对于本领域的技术人员将变得明显。
在下文的示例中，将参考附图来更详细地描述本发明的实施方式，其中图1示出了成像设备，图2示出了由二进制图像传感器捕获的图像，图3示出了作为曝光的函数的二进制图像中的白色像素的密度，图如以示例的方式示出了女孩的图像，图4b示出了对应于图如的图像的二进制图像，图5示出了将输入图像编码成参数阵列的集合，并且随后将所述参数阵列解码成输出图像，图6示出输出图像的、与输入图像的像素的位置相对的图像部分的位置，图7a示出了确定在像素组内的白色像素的密度，以及确定所述像素组中的白色像素的分布，图7b示出了基于密度信息、基于分布信息并且基于希望的输出分辨率(在解码中)确定图像元素，图7c示出了具有不同的分辨率的图像元素，图7d示出了用于解码的图像元素阵列，图7e示出了与图7a中所示出的输入图像相对应的输出图像的放大部分，图8示出了用于处理图像的方法步骤，图9a示出了由基于密度信息所确定的均勻图像元素组成的输出图像，图9b示出了由图像元素组成的输出图像，其中基于密度信息并且基于分布信息从图像元素阵列中选择所述图像元素，图9c示出了通过内插密度信息所提供的输出图像，以及图10示出了用于图像捕获、编码和解码的方法步骤。
具体实施例方式参考图1，成像设备500可以包括用于捕获对象的二进制数字输入图像IMG 1的成像光学器件10和图像传感器100。设备500还可以被称为“装置”。设备500可以包括用于基于由图像传感器100所提供的输入图像IMGl来生成一个或多个参数阵列DM1、匪1、匪1的信号处理单元200。该参数阵列的生成可以被称为编码阶段。在一个实施方式中，信号处理单元200可以被布置为提供包括密度信息D (i，j)和分布信息m(i，j)、n(i，j)的参数阵列的集合。成像设备500可以包括布置为基于密度信息并且基于分布信息来提供输出图像 IMG2的解码器300。从密度信息和分布信息生成输出图像IMG2可以被称为解码阶段。输入图像IMGl可以描绘对象，例如风景、人脸或动物。输出图像IMG2可以描绘同一对象但是具有更低的分辨率。图像传感器100可以是包括光检测器的二维阵列的二进制图像传感器。可以将该检测器布置成例如多于10000列并且多于10000行。图像传感器100可以包括例如多于IO9 个单独的光检测器。由图像传感器100捕获的输入图像IMGl可以包括例如被布置成41472 列和31104行的像素。(尺寸为1. 3X IO9比特的图像数据)。
用于生成对应的输出图像IMG2的参数阵列可以包括例如被布置在例如2592列和 1944行中的多个密度值D(i，j)和分布值m(i，j)、n(i，j)。可以通过使用例如8个比特来表示每个密度值D (i，j)，可以通过使用例如4个比特来表示每个分布值m (i，j)，并且可以通过使用例如4个比特来表示每个分布值η (i，j)。因此，参数阵列的总数据尺寸可以等于 2592X 1944X (8比特+4比特+4比特)=8X107比特。因此，可以将数据尺寸降低例如16 倍(=1. 3X 109/8X 107)。二进制输入图像IMGl的数据尺寸可以例如大于或等于对应的参数阵列的总数据尺寸的4倍，其中，可以在例如描述图像信息所需要的比特的总数中指示该数据尺寸。利用更大的数据降低，输入图像IMGl的数据尺寸可以比对应的参数阵列的数据尺寸大10倍、大 20倍或者甚至大50倍。可以将参数阵列存储在例如存储器MEM3中。成像设备500还可以包括用于存储输入图像IMGl的缓冲存储器MEMl。输入存储器MEMl可以至少临时存储输入图像IMGl的像素Pl的至少一些行或一些列。因此，输入存储器可以被布置成存储至少输入图像IMGl的一部分。成像设备可以包括例如用于在图像处理步骤期间存储数据的操作存储器MEM2。可以经由接口 250向一个或多个外部设备(未示出)发送该参数阵列的元素值。 外部设备可以是例如外部存储器EXTMEM。可以经由因特网和/或经由移动电话网络发送信肩、ο可以将输出图像IMG2存储在存储器MEM5中。成像设备500可以包括用于存储图像元素数据E(D，m, η)的存储器ΜΕΜ4。在设备500的实施方式中，可以通过使用图像元素E(D，m, η)，将该参数阵列中所包括的密度信息和分布信息转换成输出图像MG2。这可以被称为解码阶段。替代于从存储器中获取图像元素Ε，它们也可以被实时计算。成像设备500还可以包括用于显示输出图像IMG2的显示器400。并且，还可以显示输入图像IMG1。然而，由于输入图像IMGl的尺寸可能非常大，所以可能一次仅能够以完全分辨率显示输入图像IMGl的一小部分。如果希望的话，可以向一个或多个外部设备(未示出)发送输出图像IMG2。成像设备500的用户可以使用接口 240来例如选择图像捕获模式、曝光时间、光学变焦(即光学放大)、数字变焦(即数字图像的剪裁)和/或输出图像IMG2的分辨率。成像设备500还可以包括用于控制成像设备500的操作的控制单元220。控制单元220可以被布置为向图像传感器100发送信号，例如以便设置曝光时间，以便开始曝光和 /或以便重置图像传感器100的像素。控制单元220可以被布置为向成像光学器件10发送信号例如用于执行聚焦，用于光学变焦和/或用于调整光圈。解码器300可以是信号处理单元200的一部分。解码器300还可以与成像设备 500分离。还可以将解码器300实现为在例如便携式计算机中。成像设备500还可以包括用于存储计算机程序代码以执行图像处理操作(例如编码、求平均和/或解码)的存储器ΜΕΜ6和存储器ΜΕΜ7。存储器ΜΕΜ1、ΜΕΜ2、ΜΕΜ3、ΜΕΜ4、 ΜΕΜ5、ΜΕΜ6和/或ΜΕΜ7可以是分离的，或者它们可以是实现在单个物理组件内的存储区域。
成像光学器件10可以是例如聚焦透镜。多亏了根据本发明的图像处理，输出存储器MEM3和/或外部存储器EXTMEM可以存储用于获取比没有所述处理时有可能的数量更大量的输出图像IMG2的数据。备选地或此外，存储器MEM3和/或外部存储器EXTMEM的尺寸可以比没有所述处理器时的尺寸更小。 也可以使用更低的数据传输速率。参考图2，图像传感器100可以是被布置为提供二进制图像IMGl的二进制图像传感器。图像传感器100可以包括光检测器的二维阵列，使得每个光检测器的输出仅具有两个逻辑状态。所述逻辑状态在此被称为“黑色”状态和“白色”状态。可以将该图像传感器初始化为使得全部检测器最初处于黑色状态。通过将单独的检测器曝光，可以将其切换到白色状态。因此，由图像传感器100提供的二进制图像IMGl可以包括像素P1，像素Pl可以分别处于黑色状态或白色状态中的任意一个。“白色像素”和“像素是白色的”的表述指处于白色状态的像素。“黑色像素”的表述指处于黑色状态的像素。像素Pl可以被布置在行和列中，即可以通过相应的列的索引k和相应的行的索引 1来定义输入图像IMGl的每个像素Pl的位置。例如，图2中示出的像素Pl(3，9)是黑色的，并且Pl(5，9)是白色的。例如通过提供具有非常高的转换增益(低容量)的常规(成比例的)光检测器， 可以实现二进制光检测器。其他可行的方法包括使用雪崩或碰撞电离，或者使用量子点来提供像素增益。图3示出了作为曝光H的函数的白色像素Pl的密度D的估计。可以在对数标尺中展示曝光H。密度D意味着图像IMGl的一个部分内的白色像素Pl的数量与所述部分中的像素Pl的总数的比率。密度值100%意味着该部分内的全部像素处于白色状态。密度值 0%意味着该部分内的全部像素处于黑色状态。曝光H与光学密度和曝光时间成比例。在零曝光H处，密度D是0%。密度随着曝光的增加而增加，直到该密度开始饱和到接近上限 100%为止。预定像素Pl从黑色到白色的转换是随机现象。当图像IMGl内的部分包括大量像素Pl时，图像IMGl的该部分内的白色像素Pl的实际密度遵循图3的曲线。在单独的像素的情况下，图3的曲线还可以理解为表示当预定像素Pl的状态在预定的曝光H之后从黑色状态转换到白色状态的情况的概率。当曝光曲线的斜率AD/Δ Iog(H)足够高(大于或等于预定值)时，输入图像IMGl 正常曝光。通常，当曝光H大于或等于第一预定界限民_，并且小于或等于第二预定界限Hhkh 时，达到该状态。因此，当曝光H小于第一预定界限Hot时，输入图像可能曝光不足，并且当曝光H大于第二预定界限Hhkh时，输入图像可能过度曝光。当曝光H小于第一预定界限Hra或大于第二预定界限Hhkh时，输入图像IMGl的信噪比或输入图像IMGl的较小部分的信噪比可能低得无法接受。在这些情况中，降低有效空间分辨率以增加信噪比是可以接受的。可以例如基于输入图像IMGl的一部分内的白色像素Pl的密度来估计该部分的曝光状态。图像的一部分中的白色像素的密度取决于所述部分内的黑色像素的密度。图4以示例的方式示出了女孩的图像。图4b示出了对应于图如的图像的二进制图像。图4b的图像具有大像素尺寸以便强调黑色和白色像素结构。
参考图5，可以将二进制输入图像IMGl编码成参数阵列的集合，以助于图像数据的传输，和/或以便降低存储图像数据所需要的存储器空间的尺寸。参数阵列的集合可以包括例如3个阵歹Ij DMl、MMl、NMl。然后可以通过使用图像元素阵列EBl的元素，将参数阵列DM1、^1、W1解码成对应的输出图像IMG2。图6示出了二进制输入图像IMGl和对应的输出图像IMG2。输入图像IMGl包括二进制输入像素P1，可以由坐标k，1来定义该像素的位置。可以将输入图像IMGl分割成多个输入像素组G。可以由坐标i，j定义每个输入像素组G的位置。 每个输入像素组G可以包括例如布置成4X4阵型的相邻的输入像素Pl，即每个输入像素组G可以包括布置成4行和4列的16个像素Pl。备选地，每个输入像素组G可以包括例如布置成8 X 8、16 X 16或32 X 32阵型的像素。每个输入像素组G可以优选地包括多于15个像素Pl。可以基于每个输入像素组G，确定参数集合。全部输入像素组G的参数可以构成参数阵列DM1( “密度矩阵”)、参数匪1( “m矩阵”)和参数阵列匪1( “η矩阵”)。然后可以解码参数阵列DM1、^1、W1的集合以形成输出图像IMG2。输出图像IMG2包括多个输出图像部分P2，其中，可以基于具有坐标i，j的输入像素组G的参数来提供位于所述坐标i，j处的每个部分P2。wl表示相邻输入像素Pl的中心之间的水平距离。hi表示相邻输入像素Pl的中心之间的垂直距离。w2表示相邻输出图像部分P2的中心之间的水平距离。h2表示相邻输出图像部分P2的中心之间的垂直距离。参考图7a，可以将二进制输入图像IMGl分割成位于坐标i，j处多个输入像素组 G0输入像素组G可以包括例如被布置成16 X 16阵列的256个输入像素Pl。可以由水平坐标m和垂直坐标η定义输入像素组G中每个输入像素Pl的位置。可以基于每个输入像素组Gl来确定参数D(i，j)、m(i，j)和n(i，j)。具体而言， 可以基于像素Pl的第一组G(i2，j2)确定第一参数集合D(i2，j2)、m(i2，j2)和n(i2，j2)，并且可以基于像素Pl的第二组G(i3，j2)确定第二参数集合D (i3，j2)、m(i3，j2)和n(i3，j2)。密度参数D(i，j)可以例如等于位于坐标i，j处的输入像素组内的白色输入像素 Pl的数量。第一分布参数m(i，j)可以例如指示位于坐标i，j处的输入像素组中的白色输入像素Pl的重心的水平坐标。第二分布参数n(m，n)可以例如指示位于坐标i，j处的输入像素组内的白色输入像素Pl的重心的水平坐标。换句话说，坐标m，η指示组G内的白色像素的平均位置。参数阵列的数量取决于所选择的编码方法。因此，可以对输入图像IMGl编码以形成一个、两个或三个参数阵列，或者形成四个或更多个参数阵列。在存储器中还可以用除了常规阵列之外的一些其他形式来表示阵列中所包括的图像信息。例如，备选地，可以通过具有结构化的元素的单个阵列来表示多个阵列。图像数据还可以具有除了阵列之外的其他数据结构。通常，可以通过参数集合来表示图像数据。还能够例如通过使用某些压缩方法来存储所述参数集合。替代参数阵列DM1、MM1和/或NMl或者除了参数阵列DM1、MM1和/或NMl之外还可以确定若干个其他类型的参数阵列。例如，可以确定包括关于第一输入像素组中的白色像素的数量与第二输入像素组中的白色像素的数量之间的差的信息的参数阵列。在图7a的情况中，位于坐标J2处的输入像素组G具有99个白色像素，并且所述组内的白色像素的重心位于第11行和第8列的交点处。因此，参数值可以为例如如下 D(h, j2) = 99, m(ii; j2) = 8, n(ii; j2) = 11。可以将与位置(i，j)相关联的参数D(i，j)、m(i，j)和n(i，j)的组DIX(i，j)称为“动态像素(dixel)”。如果输入像素组G包括256个像素P1，那么可以通过使用具有8个比特的字来表示所述组内的白色像素的数量。可以通过使用4个比特表示m坐标，也可以通过使用4个比特表示η坐标。相应的动态像素DIX(i，j)包括16个比特(=8+4+4)。因此，动态像素 DIX(i，j)可以仅占用存储原始输入像素组G(i，j)所需要的存储器空间的6%。更准确地说，所述输入像素组G内的白色像素的数量的范围可以在0到256之间。 利用8个比特仅能够覆盖0到255的范围(或者1到256的范围)。然而，为了实践的目的，可以将像素数量256截断成值255。如果希望的话，也可以使用9个比特来定义密度参数D。参考图7b，可以基于动态像素DIX(i，j)的参数D、m和η的值，从图像元素阵列 EBl选择图像元素E(D，m，n)。备选地，可以实时计算图像元素E(D，m，n)。例如可以通过双线性插值或者通过计算抛物面(非线性插值)的值来生成图像元素E (D，m，η)。可以使用与动态像素DIX(i，j)相对应的图像元素E(D，m, η)作为位置(i，j)处的输出图像IMG2的部分P2(i，j)。图像元素E(D，m，n)和输出图像部分P2 (i，j)可以包括一个或多个灰色阴影。图像元素E(D，m，n)和输出图像部分P2 (i，j)无需是空间均勻的。然而，如果希望的话，则可以将图像元素E(D，m，n)和对应的输出图像部分P2 (i，j)分割成若干个空间均勻的子像素 SP，以便针对输出图像IMG2提供更高的分辨率，其中至少一个图像元素(E)可以包括表示第一阴影的第一子像素(SP)，和表示第二阴影的第二子像素，其中第一阴影与第二阴影不同。参考图7c，可以将图像部分P2(i，j)分割成例如1、4、64或256个子像素SP。可以将子像素SP布置成1X1、2X2、4X4、8X8或16X16的阵型。图7d示出了图像元素阵列EB1。图像元素阵列EBl实际上是三维阵列，因为可以基于三个不同的参数，即基于密度参数D、基于第一分布参数m，并且基于第二分布参数η来选择元素值E(D，m，η)。还有可能使用二维阵列，并且可以例如通过使用密度参数D作为用于亮度的基值来实时计算三维的变化。要注意到，在图像元素阵列EBl的角落附近只有可能有非常有限数量的条目参数 D，m，n组合。例如，组合m= 1并且η= 16意味着在图像元素阵列EBl的角落处只存在一个白色像素，并且密度参数D必须等于1。这意味着如果希望的话，可以通过使用合适的数据压缩或编码技术，进一步压缩动态像素DIX(i，j)的数据。例如，可以通过仅使用10个比特表示动态像素DIX(i，j)中所包括的原始的16个比特。参考图7e，可以使用与动态像素DIX(i，j)相对应的输出图像部分P2 (i，j)来表示在相应位置(i，j)处示出的原始输入像素组G(i，j)。
例如，第一输出图像部分P2(i2，j2)可以表示输入像素组G(i2，j2)。第二输出图像部分P2(i3，j2)可以表示输入像素组G (i3，j2)。如果希望的话，可以将每个部分P2(i，j)进一步分割成多个空间均勻的子像素 SP(见图 7b)。图8示出了用于编码和解码的方法步骤。在步骤910中，用户选择希望的曝光时间、曝光模式、编码图像分辨率和/或数字变焦(剪裁)。在步骤915中，可以由图像传感器100捕获二进制输入图像IMG1。在步骤920中可以检查曝光等级。例如，如果全部像素Pl的超过90%的像素是黑色的，那么控制单元220可以被布置为增加曝光H，只要该曝光时间可以保持在由用户设置的界限之内。如果全部像素Pl的超过90%的像素是白色的，那么控制单元220可以被布置为减少曝光H。例如，可以通过改变曝光时间和/或成像光学器件10的光圈来调整曝光H。在步骤932、934、936中可以相应确定参数阵列DM1、MM1、NM1。在步骤915、920、932、934和/或936中可以利用由用户选择的数字变焦值。如果外围图像区域在由用户选择的图像区域之外，在该处理期间可以省略外围图像区域。如果用户已选择“求平均”模式，那么可以确定若干个后续的输入图像IMGl的参数。在步骤940中可以对若干后续的输入图像IMGl的参数求平均或求积分。在步骤950 中可以将包括平均的或积分的参数的参数阵列(例如参数D，m，n)存储在存储器中或对其进行传输。例如，可以对8个连续的输入图像IMGl中的特定输入像素组G的密度参数D求平均，以便改善信噪比。可以相应地对8个连续的输入图像IMGl中的所述特定输入像素组G 的坐标m求平均。可以相应地对8个连续的输入图像IMGl中的所述特定输入像素组G的坐标η求平均。在步骤912中，当用户希望例如查看与输入图像IMGl相对应的再生图像IMG2时， 他可以选择输出图像IMG2的希望的输出分辨率，和/或他可以再次设置数字变焦值。在解码步骤970中，可以基于DIX(i，j)，确定图像元素E(D，m，η)。在步骤980中可以例如存储、传输或显示所生成的输出图像IMG2。图9a通过示例的方式示出了眼睛的图像，其中，所述图像由多个空间均勻的像素组成。图9b示出了眼睛的图像，其中，所述图像由图像部分P2组成，图像部分P2是基于动态像素DIX确定的。使用从图像元素阵列EBl中选择的图像元素E作为图像部分P2。因此，还可以将图9b的输出图像解释为由图像元素E组成。图9c显示了眼睛的图像，其中所述图像是由插值图9a的灰度值来提供的。要注意，与图9a和9c相比，将特定的可视特征(例如瞳孔)再生地更清晰。然而，在更复杂的方法中，可以基于与特定的输入像素组G(i，j)相关联的参数D， m，n，并且基于每个相邻输入像素组G(i，j_l)、G(I，j+l)、G(i_l，j)、G(i+l，j)的参数D， m，n，确定图像元素Ε。因此，可以基于例如15个不同的参数确定在位置(i，j)处应用的图像元素E。这可能去除相邻的输出图像部分P2之间的灰度等级的可能的不连续。还可以通过相邻的输出图像部分P2之间的线性或非线性插值来去除该可能的不连续。可以以这样一种方式处理输入图像IMG1，该方式使得输入像素组G在输入图像 IMGl的第一部分中比在输入图像IMG2的第二部分中更大。例如，与完全曝光的图像区域相比，可以通过使用更大的输入像素组G来处理输入图像IMGl的曝光不足或过度曝光的区域。在该情况中，可以存储并且/或者传输其他参数阵列，即包括关于每个输入像素组G的尺寸的信息的参数阵列。因此，当由解码器300再生输出图像时，可以设置每个对应的输出图像部分P2的尺寸。每个动态像素DIX(i，j)可以包括关于对应的输入像素组G(i，j)的尺寸和/或形式的信息。不用成像光学器件10和图像传感器100也可以实现设备500。在该情况中，设备 500被布置为处理以前捕获的输入图像IMGl，并且将其存储在输入存储器MEMl中。设备500还可以包括例如数据处理单元、存储器和通信单元，以提供到移动电话网络、因特网或局域网的访问。设备500可以是从以下列表选择的设备或设备的一部分可连接到其他设备的成像模块、便携式设备、具有无线通信能力的设备、成像设备、移动电话、 游戏设备、(基于例如MP3格式的)音乐录制/播放设备、测量器具、目标找寻设备、瞄准设备、导航设备、个人数字助理(PDA)、通信器、便携式因特网电器、手持式计算机、移动电话的配件。设备500可以被布置为处理输入图像IMGl的数据，输入图像IMGl是例如图形或文本。二进制图像传感器的单独的光检测器的尺寸可以小于可以由数码相机的成像光学器件10提供的焦点的最小尺寸。使用具有如此小的检测器的成像传感器100可以帮助避免例如由于色彩滤镜阵列导致的色彩失真问题。二进制图像传感器100的单独的光检测器尺寸甚至可以小于成像光学器件10的衍射点的最小尺寸。例如，最小焦点可以覆盖多于40个检测器。因此，最小焦点的直径可以对应于比二进制输入图像IMGl的7个相邻的像素的组合宽度更大的宽度。因此，通过空间平均可以一定程度地降低图像噪声，而不会丢失所捕获图像的重要细节。可以将输入像素组G(i，j)的尺寸选择为基本上等于焦点的尺寸。因此，可以将参数阵列DM1、匪1、匪1的尺寸最小化，而仍然保持输入图像IMGl的有关可视特征。与二进制图像传感器100的使用相关联的一个优点还在于能够容忍相当大数量的瑕疵光检测器，而不会显著降低输出图像IMG2的质量。例如可以通过在工厂的标度测量来确定图像传感器100的瑕疵光检测器的位置，并且例如可以通过将滤镜阵列FAl的元素的值与对应的修正系数相乘来补偿瑕疵光检测器的影响，其中特定滤镜阵列FAl的每个元素乘以相同的预定系数。可以将该修正系数布置成例如修正阵列。因此，可以调整滤镜阵列FAl的元素的值，以使得在由具有瑕疵光检测器的图像传感器100捕获具有基本上均勻的表面的图像的情况中，输出图像IMG2具有基本上均勻的亮度。只要瑕疵光检测器基本上均勻地分布在操作检测器之中，则瑕疵光检测器的相对分数可以例如高达10%，而不会显著恶化输出图像的质量。像素组G(i，j)无需是矩形的。例如，可以使用六角形或三角形像素组。
像素组G(i，j)无需是均勻分布的，和/或它们无需具有相同的尺寸。相应地，输出图像部分P2(i，j)无需是均勻分布的，和/或它们无需具有相同的尺寸。然而，在该情况中，参数质量还应该包括关于像素组G(i，j)的尺寸和/或关于像素组G(i，j)的位置的信肩、ο例如，像素组G(i，j)可以更加密集地分布在输入图像IMGl中的、包括可视边缘的那些区域中。在输入图像IMGl的基本上均勻的那些区域中，相邻的像素组G(i，j)之间的距离可能更大。例如可以通过使用光线色彩滤镜来提供彩色图像。滤镜可以提供例如红色(R)、绿色(G)和蓝色(B)。成像设备500可以包括例如3个图像传感器100，以捕获不同颜色的图像，其中可以通过具有不同颜色的滤镜来过滤入侵到每个传感器100上的光。然后可以组合由不同的图像传感器提供的图像，以形成彩色图像。备选地，色彩滤镜阵列可以放在单个图像传感器上。因此，由该传感器捕获的图像的不同的像素组可以表示不同的颜色。不同颜色的像素组可以彼此分离，以便形成输入图像的集合。可以独立地处理输入图像，并且可以组合所产生的输出图像以形成经处理的彩色图像。图10示出了用于图像捕获、编码和解码的方法步骤(还参见图8)。设备500可以包括用于执行图10中所示出的方法步骤的装置。在步骤910中，用户可以选择成像参数，例如优选曝光模式(即单个图像或多个图像的积分)、编码分辨率、数字变焦(剪裁)，和/或最大曝光时间(长曝光时间可能导致模糊的图像)。在步骤914中，可以根据由用户设置最大允许曝光时间，配置图像传感器100和/ 或成像光学器件10。基于该成像参数，设备500可以被布置为当经由接口图1)激活设备500时捕获第一输入图像IMG1。设备500可以包括例如被布置为启动图像捕获程序的按钮。可以从图像传感器100向信号处理器200(图1)读取所捕获的输入图像IMGlJf 号处理器200被布置为在步骤932、934、936中“编码”该图像，即基于输入图像IMGl来提供一个或多个参数阵列DMl、NMl、MMl。取决于例如所希望的编码分辨率，可以将数据尺寸降低例如4到100倍。在步骤 938中可以将所产生的参数阵列DM1、匪1、匪1的集合存储到存储器(例如存储器MEM2)中。参数阵列DM1、匪1、匪1可以比原始二进制图像IMGl耗费小得多的存储器空间和
/或数据传递容量。所确定的参数集合，特别是参数阵列DM1、匪1、匪1比仅输入图像IMGl的平均特性表示更详细的信息。因此，所述参数阵列的集合的总的数据尺寸可以例如大于或等于二进制输入图像(IMGl)的数据尺寸的100倍。如果用户已选择积分模式，那么在步骤940中可以对多个连续的输入图像的参数阵列进行积分或求平均，直到已经处理设定数量的输入图像IMGl为止。在步骤950中可以提供经积分或求平均的参数阵列INTG。可以将该经积分或求平均的参数阵列(即编码图像数据)存储在存储器中(例如存储器MEM3中)，或者经由传输路径(例如经由因特网)进行传输。
因此，成像装置(500)可以包括被布置为捕获二进制输入图像(IMGl)的二进制图像传感器(100)，以及被布置为基于所述二进制输入图像(IMGl)来提供参数集合(DM1、 MMUNM1)的信号处理单元000)。信号处理单元(200)可以被布置为通过对针对第一输入图像(IMGl)确定的第一参数和针对第二输入图像(IMGl)确定的第二参数求平均来提供其他参数集合(INTG)。装置(500)还可以包括被布置为通过使用所述其他参数集合来生成输出图像(IMGW的解码器(300)。在多次曝光期间，信号处理器200可以被布置为基于以前的输入图像来调整输入图像IMGl的曝光。如果用户已选择单个曝光模式，那么可以省略积分步骤940。当求平均或者积分时，信号处理器200还可以被布置为校准与连续的输入图像 IMGl相关联的参数阵列的元素，以便补偿连续的图像IMGl之间的运动。例如可以通过对索引i，j增加取决于时间的值，或者通过从索引i，j中减去取决于时间的值来校准元素。信号处理器200还可以被布置为通过移动相对于图像传感器100的检测器的读取窗的位置，或者通过移动相对于连续的输入图像IMGl的像素Pl的读取窗的位置来补偿连续的图像IMGl之间的估计的运动。信号处理器200还可以被布置为基于检测的照明等级并且基于由用户设置的最大曝光时间来计算连续的曝光的数量。例如，如果用户允许特定曝光时间(例如0. 02s)，并且如果信号处理器200检测到可以在2毫秒内获得合适的曝光H，那么设备500可以被布置为求10个(=0. 02s/0. 002s)连续的输入图像(IMGl)的参数的平均。接下来，解码器300可以基于参数阵列DM1、W1、^1生成输出图像IMG2。解码器 300可以基于用户设置来设置输出图像IMG2的分辨率和/或裁剪(步骤912)。解码器300 可以基于参数值D(i，j)、m(i，j)和n(i，j)确定图像元素E(D，m, η)，并且使用它们作为输出图像IMG2的对应的位置(i，j)处的输出图像部分P2(i，j)。以低分辨率，每个输出图像部分P2可以包括例如2X2个子像素SP(见图7c)。以高分辨率，每个输出图像部分P2可以包括例如16X16个子像素SP(见图7b)。编码器使得能够获得非常高的分辨率。但是， 由于存储器限制，输出图像IMG2仅有部分生成可以可能具有完全分辨率。可以将单个输入图像IMGl的参数阵列存储在同一存储器(例如MEM2)中作为多次曝光的积分参数阵列，以便节省存储器空间。附图是示意性的。对于本领域的技术人员，将清楚地认识到根据本发明的设备、方法和数据结构的修改和变形。以上参考附图所描述的特定实施方式仅是说明性的，并且并非意图限制本发明的范围，本发明的范围由所附权利要求限定。
权利要求
1.一种用于处理图像数据的方法，所述方法包括基于二进制数字图像(IMGl)确定参数集合(DMl，MMl，匪1)，从而使得所述参数集合包括关于所述二进制数字图像(IMGl)的第一像素组(G)的白色和/或黑色像素(Pl)的密度(D)的信息，以及关于所述二进制数字图像(IMGl)的第二像素组(G)的白色和/或黑色像素(Pl)的密度(D)的信息。
2.根据权利要求1所述的方法，其中所述参数集合(DM1、MM1、匪1)包括关于在所述第一像素组(G)中的白色和/或黑色像素的分布的信息，以及关于所述第二像素组(G)中的白色和/或黑色像素的分布的信息。
3.根据权利要求1或2所述的方法，其中所述二进制输入图像(IMGl)的数据尺寸大于或等于所述参数集合(DM1、MM1、W1)的总数据尺寸的四倍。
4.根据权利要求3所述的方法，其中所述二进制输入图像(IMGl)的数据尺寸大于或等于所述参数集合(DM1、匪1、匪1)的总数据尺寸的100倍。
5.根据权利要求1到4中的任意一项所述的方法，还包括通过二进制图像传感器 (100)和成像光学器件(10)来捕获所述二进制数字图像(IMGl)。
6.根据权利要求5所述的方法，其中所述二进制图像传感器(100)的单独的检测器小于所述成像光学器件(10)的最小焦点。
7.根据权利要求5或6所述的方法，其中通过移动相对于所述图像传感器(100)的检测器的读取窗的位置，补偿连续的图像(IMGl)之间的估计的运动。
8.根据权利要求5到7中的任意一项所述的方法，其中基于以前捕获的图像的曝光 (H)，设置所述二进制输入图像(IMGl)的曝光时间。
9.根据权利要求1到8中的任意一项所述的方法，还包括对从两个或多个二进制数字图像(IMGl)生成的参数求平均。
10.根据权利要求9所述的方法，其中基于检测到的曝光(H)，确定用于所述求平均的二进制数字图像(IMGl)的数量。
11.根据权利要求1到10中的任意一项所述的方法，其中所述参数集合被布置成一个或多个参数阵列，并且对准与连续的输入图像(IMGl)相关联的参数阵列的元素，以便补偿所述连续的图像IMGl之间的运动。
12.根据权利要求1到11中的任意一项所述的方法，其中相邻的像素组(G)之间的距离(w2，h2)取决于图像(IMGl)的一部分中的白色或黑色输入像素(Pl)的所述密度(D)。
13.一种用于生成数字图像(IMG2)的方法，所述方法包括通过使用参数集合(DM1、 匪1、匪1)确定空间不均勻的图像元素(E)，其中所述参数集合(DM1、^1、W1)包括关于所述二进制数字图像(IMGl)的第一像素组(G)的白色和/或黑色像素(Pl)的相对密度(D) 的信息，以及关于所述二进制数字图像(IMGl)的第二像素组(G)的白色和/或黑色像素 (Pl)的相对密度(D)的信息。
14.根据权利要求13所述的方法，其中所述参数集合(DM1、MM1、匪1)还包括关于在所述二进制数字图像(IMGl)的所述第一像素组(G)内的白色和/或黑色像素(Pl)的分布的 fn息ο
15.根据权利要求13或14所述的方法，其中从图像元素阵列(EBl)中选择所述图像元素(E)。
16.根据权利要求13或14所述的方法，其中在运行时通过计算确定所述图像元素㈤。
17.根据权利要求13-16中的任意一项所述的方法，其中所述图像元素(E)包括多个空间均勻的子像素(SP)，其中至少一个图像元素(E)包括用于表示第一阴影的第一子像素 (SP)，和用于表示第二阴影的第二子像素(SP)，其中所述第一阴影与所述第二阴影不同。
18.一种用于执行根据权利要求1-17中的任意一项所述的方法的计算机程序。
19.一种包括程序代码的计算机可读介质(MEM6、MEM7)，其中当所述程序代码被数据处理器执行时，执行根据权利要求1-17中的任意一项所述的方法。
20.一种被布置为执行根据权利要求1-17中的任意一项所述的方法的设备(500)。
21.一种设备(500)，包括信号处理单元000)，所述信号处理单元(200)被布置为 基于二进制数字图像(IMGl)确定参数集合(DMl、MMl、匪1)，从而使得所述参数集合(DM1、 匪1、匪1)包括关于所述二进制数字图像(IMGl)的第一像素组(G)的白色和/或黑色像素 (Pl)的密度(D)的信息，以及关于所述二进制数字图像(IMGl)的第二像素组(G)的白色和 /或黑色像素(Pl)的密度(D)的信息。
22.根据权利要求21所述的设备(500)，还包括二进制图像传感器(100)。
23.根据权利要求21或22所述的设备(500)，其中所述参数集合还包括关于所述第一像素组(G)中的白色和/或黑色像素的分布的信息，以及关于所述第二像素组(G)中的白色和/或黑色像素的分布的信息。
24.一种设备(500)，包括解码器(300)，所述解码器(300)被布置为通过使用参数集合(DM1、^1、W1)确定空间不均勻的图像元素(E)，其中所述参数集合(DM1、^1、W1)包括关于所述二进制数字图像(IMGl)的第一像素组(G)内的白色和/或黑色像素(Pl)的相对密度⑶的信息，以及关于所述二进制数字图像(IMGl)的第二像素组(G)内的白色和/ 或黑色像素(Pl)的相对密度的信息。
25.根据权利要求M所述的设备，其中所述参数集合(DM1、MM1、匪1)进一步包括关于所述第一像素组(G)中的白色和/或黑色像素的分布的信息，以及关于所述第二像素组(G) 中的白色和/或黑色像素的分布的信息。
全文摘要
一种用于处理图像数据的方法包括基于二进制数字图像(IMG1)确定参数集合(DM1、MM1、NM1)，从而使得所述参数集合包括关于所述二进制数字图像(IMG1)的第一像素组(G)的白色和/或黑色像素(P1)的密度(D)的信息，以及关于所述二进制数字图像(IMG1)的第二像素组(G)的白色和/或黑色像素(P1)的密度(D)的信息。
文档编号H04N1/48GK102449663SQ201080023874
公开日2012年5月9日 申请日期2010年6月16日 优先权日2009年6月24日
发明者J·尼屈拉, S·科斯基南, T·里萨 申请人:诺基亚公司