专利名称：图像处理方法
技术领域：
示例性实施例涉及一种图像处理方法，更具体地讲，涉及一种确定输入深度图像中的深度折叠区域，并将该深度折叠区域进行深度打开(depth-unfold)的图像处理方法。
背景技术：
目前，在各种应用中广泛使用关于三维(3D)图像的信息。通常，3D信息包括几何信息和颜色信息。可通过使用深度图像来获得几何信息。可通过使用被称为计算机视觉技术的软件来间接获得深度图像，或可通过使用诸如深度相机的硬件装置来直接获得深度图像。根据深度相继的原理，例如，诸如红外(IR)光的光照射到对象，通过感测反射的光来测量飞行时间(TOF)，以测量从深度相机到对象的每个部分的距离(深度)。在计算TOF和深度的方法中，测量入射波和反射波之间的相衬，以计算特定光(例如，IR)的T0F。然而，当相衬超过360度时，可能会错误地计算返回驱动时间。以上描述的现象被称为范围折叠。具体地讲，与通过深度相机获得的深度图像有关的现象被称为深度折叠。可通过在深度相机中引用具有不同频率的多个光源来克服深度折叠。然而，这种方法会增加硬件复杂度。
发明内容
技术问题示例性实施例可提供这样一种图像处理方法，所述图像处理方法确定输入深度图像的深度折叠区域，从而可通过深度打开提高三维(3D)几何信息的准确度。其他示例性实施例还可提供一种能够对输入深度图像的深度折叠区域进行深度打开的图像处理方法。技术方案示例性实施例可提供一种图像处理设备，所述图像处理设备包括第一像素组提取单元，从输入深度图像的每个像素中提取具有空间变化的像素作为第一像素组，所述空间变化大于第一阈值；深度折叠区域确定单元，基于与第一像素组有关的信息来确定输入深度图像的深度折叠区域。根据其他的示例性实施例，所述图像处理设备还可包括深度折叠行确定单元，基于输入深度图像的梯度来确定输入深度图像的深度折叠行，并且深度折叠区域确定单元可基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。示例性实施例可提供一种图像处理方法，所述图像处理方法包括计算输入深度图像的每个像素的空间变化；以及从输入深度图像的每个像素中提取具有大于第一阈值的空间变化的像素作为第一像素组。根据其他的示例性实施例，所述图像处理方法还可包括基于与第一像素组有关
5的信息来确定输入深度图像的深度折叠区域。在该实例中，可基于输入深度图像的梯度来确定输入深度图像的深度折叠行，可基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定深度折叠区域。根据其他示例性实施例，可基于输入深度图像的梯度和与输入深度图像相关的输入强度图像的梯度来确定输入深度图像的深度折叠行。根据其他示例性实施例，可基于输入深度图像的梯度和与输入深度图像相关的输入颜色图像的梯度来确定输入深度图像的深度折叠行。在该实例中，可基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息中的至少一个来执行区域分割，以确定输入深度图像的深度折叠区域。根据其他示例性实施例，可将输入深度图像的深度折叠区域的每个像素的深度值加上预定的第一深度值，并可更新输入深度图像的深度值。根据其他示例性实施例，可提供一种图像处理方法，所述图像处理方法包括从输入深度图像的每个像素中提取第一像素组，所述第一像素组包括具有大于第一阈值的空间变化的像素；从与输入深度图像相关的输入强度图像的每个像素中提取第二像素组，所述第二像素组包括具有小于第二阈值的强度的像素；以及基于与第一像素组和第二像素组有关的信息来确定输入深度图像的深度折叠区域。根据其他示例性实施例，可提供一种图像处理方法，所述图像处理方法包括计算与单个对象相关的多个输入深度图像的每个像素的时域变化；从所述多个输入深度图像的每个像素中提取具有大于第三阈值的时域变化的像素作为第一像素组；以及基于与第一像素组有关的信息来确定所述多个输入深度图像的深度折叠区域。示例性实施例的另外的方面、特征和/或优点将在下面的描述中被部分地阐述， 部分从描述将是清楚的，或者可通过实施所述示例性实施例被获知。
从下面结合附图的描述，示例性实施例的这些和/或其他方面将变得清楚，并更容易理解，其中图1是示出根据示例性实施例的图像处理方法的流程图；图2是示出根据示例性实施例的从输入深度图像提取第一像素组的操作的流程图；图3是示出根据示例性实施例的确定输入深度图像的深度折叠行的操作的流程图；图4示出根据示例性实施例的与输入深度图像相关的对象的图像；图5示出根据示例性实施例的输入深度图像；图6示出根据示例性实施例的计算图5的输入深度图像的空间变化的结果图像；图7示出根据示例性实施例的计算图5的输入深度图像的时域变化的结果图像；图8示出根据示例性实施例的计算图5的输入深度图像的梯度的结果图像；图9示出根据示例性实施例的输入强度图像；图10示出根据示例性实施例的计算图9的输入强度图像的梯度的结果图像；
图11示出根据示例性实施例的计算输入颜色图像的梯度的结果图像；图12示出根据示例性实施例的图像处理方法被应用于图5的输入深度图像的结果图像；图13示出根据示例性实施例的图像处理设备的结构。
具体实施例方式现在将对附图中示出的示例性实施例进行详细阐述，其中，相同的标号始终表示相同的部件。下面通过参照附图描述示例性实施例以解释公开。图1是示出根据示例性实施例的图像处理方法的流程图。在操作S110，输入深度图像。在输入深度图像的对象中发生深度折叠。对象位于最大测量距离之外。在操作S120，从输入深度图像中提取发生深度折叠的深度折叠像素。以下，将深度折叠像素称为第一像素组。根据示例性实施例，可通过使用输入深度图像的每个像素的空间变化(spatial variance)来提取第一像素组。提供了第一阈值，所述第一阈值是深度相机的最大测量距离中的空间变化。在该实例中，在最大测量距离内不发生深度折叠。可提取输入深度图像中具有大于第一阈值的空间变化的像素作为第一像素组。根据其他示例性实施例，可通过使用输入深度图像的每个像素的时域变化 (temporal variance)来提取第一像素组。提供了第三阈值，所述第三阈值是深度相机的最大测量距离中的时域变化。可提取输入深度图像中具有大于第三阈值的时域变化的像素作为第一像素组。另外，可提取具有大于第一阈值的空间变化和大于第三阈值的时域变化的像素作为第一像素组。当输入了强度图像时，可将输入强度图像的每个像素的强度与第二阈值进行比较。所述第二阈值是深度相机的最大测量距离中的平均强度值。在该实例中，具有小于第二阈值的强度的像素被确定为第一像素组。另外，具有大于第一阈值的空间变化、大于第三阈值的时域变化、且小于第二阈值的强度的像素可被确定为第一像素组。在操作S130，确定输入深度图像的深度折叠行(line)。根据示例性实施例，从输入深度图像中提取具有高梯度的像素的行，该行被确定为深度折叠行。当输入了强度图像时，可将输入深度图像的梯度与输入强度图像的梯度进行比较。当输入深度图像中存在这样的像素(在所述像素，深度图像的梯度为高，且与深度图像相应的输入强度图像的梯度为低)时，该像素可位于发生深度折叠的区域和未发生深度折叠的区域之间的边界区域中。因此，以上描述的像素的行可被确定为输入深度图像的深度折叠行。另外，当输入了与输入深度图像匹配的颜色图像时，可将输入深度图像的梯度和输入颜色图像的梯度进行比较。当输入深度图像中存在这样的像素(在所述像素，深度图像的梯度为高，且与深度图像相应的输入颜色图像的梯度为低)时，该像素可位于发生深度折叠的区域和未发生深度折叠的区域之间的边界区域中。因此，以上描述的像素的行可被确定为输入深度图像的深度折叠行。另外，可将输入深度图像、输入强度图像和输入颜色图像的梯度进行比较。在这种情况下，误差会减小。在操作S140，执行输入深度图像的区域分割。由于确定的第一像素组或深度折叠行可能不是连续的，并且发生深度折叠的区域和未发生深度折叠的区域可能由于误差而不能被精确地分割，所以区域分割将被执行。可基于与第一像素组有关的信息来执行区域分割。另外，可基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来执行区域分割。例如，可通过不连续的深度折叠行或第一像素组中的洞填充来更准确地执行区域分割。另外，可通过使用马尔可夫随机场参照与像素的邻近像素有关的信息来提高区域分割的准确性。在操作S150，确定输入深度图像的深度折叠区域。可基于区域分割的结果通过使用与第一像素组有关的信息和/或与深度折叠行有关的信息来确定深度折叠区域。在操作S160，更新深度信息(例如，输入深度图像的深度值)。根据示例性实施例，将与最大测量距离相应的深度值加到在操作S150确定的深度折叠区域的每个像素，并从而为深度打开更新了深度值。在操作S170，针对输入深度图像执行后处理滤波，其中，在操作S160已对所述输入深度图像执行了深度打开。在深度折叠行周围(在确定的深度折叠区域和另一区域之间的除了深度折叠行之外的边界)可存在没有执行深度打开的像素，尽管所述像素被包括在深度折叠区域中。 另外，即使执行了深度打开的像素没有被包括在深度折叠区域中，但在确定的深度折叠行周围可存在所述像素。因此，通过后处理滤波从输入深度图像中去除异常值，从而可获得更准确的结果。例如，所述滤波可以是中值滤波。在操作S180，输出执行后处理滤波的结果深度图像。图2是示出根据示例性实施例的从输入深度图像提取第一像素组的操作的流程图。在操作S210，计算输入深度图像的每个像素的深度变化(cbpth-variance)。当使用飞行时间(TOF)深度相机时，随着深度相机和对象之间的距离增加，由于反射波的减少导致测量的深度值的变化增加。通常，当输入单个深度图像时，可计算空间变化。空间变化与像素的深度值和邻近像素的深度值之间的差有关。当输入关于相同对象的多个深度图像时，可计算每个像素的深度值的时域变化。在操作S220，输入强度图像。在获得深度图像的同时，可通过从深度相机的传感器单元感测反射的光的强度来获得强度图像。由于在与位于距深度相机近的对象相应的区域中反射光的强度相对高，所以该区域被明亮地显示。另外，由于在与距深度相机远的对象相应的区域中反射光的强度相对低， 所以该区域为暗。因此，可通过使用强度图像来确定对象是否与深度相机邻近。在操作S230，从输入深度图像中提取发生深度折叠的第一像素组。
8
根据示例性实施例，可通过使用输入深度图像的每个像素的空间变化来提取第一像素组。提供了作为深度相机的最大测量距离中的空间变化的第一阈值。在该实例中，在最大测量距离中不发生深度折叠。可提取输入深度图像中的具有大于第一阈值的空间变化的像素作为第一像素组。根据其他示例性实施例，可通过使用输入深度图像的每个像素的时域变化来提取第一像素组。提供了作为深度相机的最大测量距离中的时域变化的第三阈值。可提取输入深度图像中的具有大于第三阈值的时域变化的像素作为第一像素组。另外，可提取具有大于第一阈值的空间变化并具有大于第三阈值的时域变化的像素作为第一像素组。可将输入强度图像的每个像素的强度与第二阈值进行比较。第二阈值是深度相机的最大测量距离中的平均强度值。在该实例中，具有小于第二阈值的强度的像素可被确定为第一像素组。另外，具有大于第一阈值的空间变化、具有大于第三阈值的时域变化、并且具有小于第二阈值的强度的像素可被确定为第一像素组。图3是示出根据示例性实施例的确定输入深度图像的深度折叠行的操作的流程图。在操作S310，计算输入深度图像的梯度。在深度值明显改变的区域中，输入深度图像的梯度为高。因此，具有高梯度值的区域可能是深度值明显改变的区域，从而具有高梯度值的区域可以是深度折叠行。在操作S320，输入强度图像。输入强度图像包括关于对象是否位于与深度相机邻近的信息。在操作S330，计算输入强度图像的梯度。在深度值明显改变的区域或者由于诸如照明的各种因素导致强度明显改变的区域中，输入强度图像的梯度为高。因此，输入强度图像的具有低梯度的区域可能不是深度值明显改变的区域。在操作S340，输入颜色图像。颜色图像可具有与输入深度图像相同的视点和分辨率。然而，当视点或分辨率不同时，需要进行匹配处理。在操作S350，计算输入颜色图像的梯度。在深度值明显改变的区域或者由于各种因素(例如，对象的颜色、亮度等)导致颜色值明显改变的区域中，输入颜色图像的梯度为高。因此，输入颜色图像的具有低梯度的区域可能不是深度值明显改变的区域。在操作S360，确定输入深度图像的深度折叠行。根据示例性实施例，提取输入深度图像的具有高梯度的像素的行，并确定该行为深度图像的深度折叠行。然而，梯度值在除了深度折叠行之外的区域中可能为高。在这种情况下，可将在操作S310中计算的输入深度图像的梯度和在操作S330中计算的输入强度图像的梯度进行比较。当在输入深度图像中存在这样的像素(在所述像素，深度图像的梯度为高，并且与深度图像相应的输入强度图像的梯度为低)时，所述像素可位于发生深度折叠的区域和未发生深度折叠的区域之间的边界区域。因此，上述像素的行可被确定为输入深度图像的深度折叠行。类似地，可将在操作S310中计算的输入深度图像的梯度和在操作S350中计算的输入颜色图像的梯度进行比较。当在输入深度图像中存在这样的像素(在所述像素，深度图像的梯度为高，并且与深度图像相应的输入颜色图像的梯度为低)时，所述像素可位于发生深度折叠的区域和未发生深度折叠的区域之间的边界区域。因此，上述像素的行可被确定为输入深度图像的深度折叠行。另外，可将输入深度图像、输入强度图像和输入颜色图像的梯度进行比较。在这种情况下，误差会减小。图4示出根据示例性实施例的与输入深度图像相关的对象的图像。使用单光(例如，红外(IR)光)的深度相机的说明书提供了与可在没有由于范围折叠或深度折叠导致的误差的情况下测量的最大距离有关的信息。根据示例性实施例，当假设深度相机的最大测量距离是7. 5M时，在图4的对象中存在位于距深度相机7. 5M内的区域410。另外，存在位于7. 5M之外的区域430。区域410和区域430的边界是线420。图5示出根据示例性实施例的与图4的对象有关的输入深度图像。在图5中，具有高亮度的区域对应于位于距深度相机相对近的区域，具有低亮度的区域对应于位于距深度相机相对远的区域。区域510对应于图4的区域510。因此，区域510指示位于最大测量距离内的对象的深度。另外，区域520对应于图4的区域420，并且是位于最大测量距离之外的对象的区域。因此，区域520将比周围区域暗。然而，由于深度折叠，区域520比周围区域亮。因此，当区域520被确定为深度折叠区域时，可对深度折叠进行深度打开。另外， 深度折叠开始的深度折叠行530被确定，从而可更准确地执行深度打开。图6示出根据示例性实施例的计算图5的输入深度图像的空间变化的结果图像。在图6中，随着输入深度图像的每个像素的深度值和邻近像素的深度值之间的差增加，区域变得越来越暗。未发生深度折叠的区域610中的每个像素的深度值与邻近像素的深度值没有明显不同。因此，区域610相对较亮。然而，当使用TOF深度相机时，因为由于反射波随着深度相机和对象之间的距离增加而减少，从而导致测量的深度值的变化增加， 所以区域620相对较暗。根据示例性实施例，提供了作为最大测量距离中的空间变化的第一阈值。可随深度相机的硬件说明书提供第一阈值，并可通过测试来确定所述第一阈值。当提供了第一阈值时，具有大于第一阈值的空间变化的区域可被确定为输入深度图像中的深度折叠区域。 深度折叠区域位于最大测量距离之外。另外，具有大于第一阈值的空间变化的像素可被确定为第一像素组，可基于第一像素组来执行输入深度图像的区域分割，因此可确定深度折叠区域。另外，在深度折叠区域620中存在具有小于第一阈值的空间变化的区域640。在未发生深度折叠的区域610中存在具有大于第一阈值的空间变化的区域650。区域640和区域650是确定深度折叠区域时的误差因素。图7示出根据示例性实施例的当输入了与图4的对象相关的多个输入深度图像时
10计算深度值的时域变化的结果图像。在图7中，在所述多个输入深度图像中示出了深度值的改变。在不同时间从单个视点由单个深度相机来获得所述多个输入深度图像。根据示例性实施例，暗区域对应于具有高时域变化的区域。由于未发生深度折叠的区域710的每个像素的时域变化不高，所以区域710相对较亮。然而，因为由于反射波随对象和深度相机之间的距离增加而减少导致测量的值的变化为高，所以区域720相对较暗。根据示例性实施例，提供了作为最大测量距离的时域变化的第三阈值。可随深度相机的硬件说明书提供第三阈值，并可通过测试来确定第三阈值。另外，在输入深度图像中，具有大于第三阈值的空间变化的区域被确定为位于最大测量距离之外的深度折叠区域。具有大于第三阈值的空间变化的像素被确定为输入深度图像中的深度折叠像素 (第一像素组)，基于深度折叠像素来执行输入深度图像的区域分割。然后，可确定深度折叠区域。在深度折叠区域720中存在具有小于第三阈值的变化的区域740，在未发生深度折叠的区域710中存在具有大于第三阈值的变化的区域750。区域740和区域750可能是确定深度折叠区域时的误差因素。图8示出根据示例性实施例的计算图5的输入深度图像的梯度的结果图像。在图8中示出的梯度图像中，未发生深度折叠的区域810的亮度和深度折叠区域 820的亮度相对较亮。然而，包括区域810和深度折叠区域820之间的深度折叠行的区域 830的亮度为低。尽管区域840存在于未发生深度折叠的区域810中，但由于对象的物理特性而导致区域840的亮度相对较低。可使用梯度图像来确定输入深度图像的深度折叠行。根据示例性实施例，具有高梯度值的区域中包括的像素的深度折叠行可被确定。然而，存在误差因素(例如，不包括深度折叠行的区域840)，为了更准确的深度折叠行的确定，会需要另外操作。图9示出根据示例性实施例的输入强度图像。在获得深度图像的同时，可通过在深度相机的传感器单元中感测的反射光的强度来获得强度图像。区域910对应于图5的区域510。由于区域910距深度相机相对近，所以反射光的强度相对较高。因此，区域910为亮。区域920对应于图5的区域520。由于区域910距深度相机相对远，因此反射光的强度相对较低。因此，区域920为暗。强度图像可受照明以及对象的纹理、颜色和反射特性的影响。因此，距深度相机相对远的区域930和区域940可能为亮，而距深度相机相对近的区域950可能为暗。然而，通常，当使用强度图像时，可确定对象距深度相机是否近。根据示例性实施例，可提供作为深度相机的最大测量距离中的平均强度值的第二阈值。可将输入强度图像的每个像素的强度和第二阈值进行比较。具有小于第二阈值的强度的像素被确定为发生深度折叠的第一像素组。可在基于与第一像素组的有关信息执行了关于输入深度图像的区域分割之后，来确定深度折叠区域。然而，根据其他示例性实施例，在不执行上述比较的情况下，具有小于第二阈值的强度的区域可被确定为深度折叠区域。图10示出根据示例性实施例的计算图9的输入强度图像的梯度的结果图像。与图8的梯度图像相比，与包括深度折叠行的区域830相应的区域1010的梯度为低，这指示在区域1010中输入深度图像明显改变，而输入强度图像没有明显改变。因此，区域1010可包括深度折叠行。相反，区域1020的梯度相对高。区域1020对应于不包括深度折叠行的区域840。 由于输入深度图像和输入强度图像在区域1020中明显改变，所以对象的几何信息可能不失真。因此，区域1020可能不包括深度折叠行。根据示例性实施例，如上所述可将输入深度图像的梯度与输入强度图像的梯度进行比较，因此可确定输入深度图像的深度折叠行。图11示出根据示例性实施例的计算输入颜色图像的梯度的结果图像。与图8的梯度图像相比，与包括深度折叠行的区域830相应的区域1110的梯度为低，这指示在区域1110中输入深度图像明显改变，而输入颜色图像没有明显改变。因此，区域1110可包括深度折叠行。相反，区域1120的梯度相对较高。区域1120对应于不包括深度折叠行的区域840。 由于在区域1120中输入深度图像和输入强度图像明显改变，所以对象的几何信息可能不失真。因此，区域1120可能不包括深度折叠行。根据示例性实施例，如上所述可将输入深度图像的梯度与输入颜色图像的梯度进行比较，因此可确定输入深度图像的深度折叠行。另外，可将输入深度图像、输入强度图像和输入颜色图像的梯度进行比较，以确定输入深度图像的深度折叠行。图12示出根据示例性实施例的图像处理方法被应用于图5的输入深度图像的结果图像。为了进行深度打开，将深度值加到输入深度图像的确定的深度折叠区域的每个像素。深度值对应于最大测量距离。对发生深度折叠的区域1210进行深度打开，因此，输入深度图像可包括更准确的关于对象的几何信息。根据示例性实施例，可将与最大测量距离相应的深度值加到输入深度图像的深度折叠区域的每个像素，因此，可更新深度折叠区域的每个像素的深度值。另外，执行了各种后处理，因此，可获得更准确的结果。例如，在更新深度值之后，可应用中值滤波。图13示出根据示例性实施例的图像处理设备1300的结构。图像处理设备1300可包括第一像素组提取单元1310、深度折叠行确定单元1320、 深度折叠区域确定单元1330、深度信息更新单元1340和滤波器单元1350。第一像素组提取单元1310可从输入深度图像中提取发生深度折叠的深度折叠像素。以下，将深度折叠像素称为第一像素组。根据示例性实施例，第一像素组提取单元1310可通过使用输入深度图像的每个像素的空间变化来提取第一像素组。提供了作为深度相机的最大测量距离中的空间变化的第一阈值。在该实例中，在最大测量距离中没有发生深度折叠。可提取输入深度图像中的具有大于第一阈值的空间变化的像素作为第一像素组。
根据其他示例性实施例，第一像素组提取单元1310可通过使用输入深度图像的每个像素的时域变化来提取第一像素组。提供了作为深度相机的最大测量距离中的时域变化的第三阈值。可提取输入深度图像中的具有大于第三阈值的时域变化的像素作为第一像素组。另外，可提取具有大于第一阈值的空间变化和大于第三阈值的时域变化的像素作为
第一像素组。当输入了强度图像时，可将输入强度图像的每个像素的强度与第二阈值进行比较。所述第二阈值是深度相机的最大测量距离中的平均强度值。在该实例中，第一像素组提取单元1310可确定具有小于第二阈值的强度的像素为第一像素组。另外，具有大于第一阈值的空间变化、大于第三阈值的时域变化、且小于第二阈值的强度的像素可被确定为第一像素组。以上已参照图2更详细地描述了由第一像素组提取单元1310提取第一像素组的方法。深度折叠行确定单元1320可确定输入深度图像的深度折叠行。根据示例性实施例，深度折叠行确定单元1320可提取具有高梯度值的像素的行， 并将该行确定为深度折叠行。当输入了强度图像时，可将输入深度图像的梯度与输入强度图像的梯度进行比较。当输入深度图像中存在这样的像素(在所述像素，深度图像的梯度为高，且与深度图像相应的输入强度图像的梯度为低)时，该像素可位于发生深度折叠的区域和未发生深度折叠的区域之间的边界区域中。因此，深度折叠行确定单元1320可确定以上描述的像素的行为输入深度图像的深度折叠行。另外，当输入了与输入深度图像匹配的颜色图像时，可将输入深度图像的梯度和输入颜色图像的梯度进行比较。当输入深度图像中存在这样的像素(在所述像素，深度图像的梯度为高，且与深度图像相应的输入颜色图像的梯度为低)时，该像素可位于发生深度折叠的区域和未发生深度折叠的区域之间的边界区域中。因此，深度折叠行确定单元 1320可确定以上描述的像素的行为输入深度图像的深度折叠行。另外，可将输入深度图像、输入强度图像和输入颜色图像的梯度进行比较。在这种情况下，误差会减小。以上已参照图3更详细地描述了由深度折叠行确定单元1320确定深度折叠行的方法。深度折叠区域确定单元1330可确定输入深度图像的深度折叠区域。根据示例性实施例，深度折叠区域确定单元1330可执行输入深度图像的区域分割。由于确定的第一像素组或深度折叠行可能不是连续的，并且发生深度折叠的区域和未发生深度折叠的区域可能由于误差不能被精确地分割，所以区域分割将被执行。可基于与第一像素组有关的信息来执行区域分割。另外，可基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来执行区域分割。例如，可通过不连续的深度折叠行或第一像素组中的洞填充来更准确地执行区域分割。另外，可通过使用马尔可夫随机场参照与像素的邻近像素有关的信息来提高区域分割的准确性。根据示例性实施例，深度折叠区域确定单元1330可基于区域分割的结果，通过使用与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。深度信息更新单元1340可更新与输入深度图像有关的深度信息。根据示例性实施例，深度信息更新单元1340课将与最大测量距离相应的深度值加到由深度折叠区域确定单元1330确定的深度折叠区域的每个像素，从而可更新深度信息(例如，用于深度打开的深度值)。滤波器单元1350可针对输入深度图像执行后处理滤波，其中，对所述输入深度图像已执行了深度打开。在深度折叠行周围(在确定的深度折叠区域和另一区域之间的除了深度折叠行之外的边界)可存在没有执行深度打开的像素，尽管所述像素被包括在深度折叠区域中。 另外，即使执行了深度打开的像素没有被包括在深度折叠区域中，但在确定的深度折叠行周围可存在所述像素。因此，通过后处理滤波从输入深度图像中去除异常值，从而可获得更准确的结果。例如，所述滤波器单元1350可以是中值滤波器。可将根据上述示例性实施例的图像处理方法记载在包括程序指令的计算机可读介质中，以实现由计算机实现的各种操作。所述介质还可单独包括或组合包括程序指令、数据文件、数据结构等。计算机可读介质的示例包括磁介质，例如，硬盘、软盘和磁带；光介质，例如，⑶ROM盘和DVD ；磁光介质，例如，光盘；和被专门配置用于存储和执行程序指令的硬件装置，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等。计算机可读介质还可以是分布式网络，以使程序指令以分布式方式被存储和执行。所述程序指令可被一个或多个处理器执行。所述计算机可读介质还可在至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中被执行和/或实现。程序指令的示例包括机器代码(例如，由编译器产生的机器代码)和文件二者，所述文件包含可通过使用解释器由计算机执行的更高级代码。尽管已显示和描述了几个示例性实施例，但示例性实施例并不限于此。而是，本领域的技术人员应该理解，在不脱离公开的原理和精神的情况下，可对这些示例性实施例进行改变，所述公开的范围由权利要求及其等同物限定。
权利要求
1.一种图像处理设备，所述图像处理设备包括第一像素组提取单元，从输入深度图像的每个像素中提取具有空间变化的像素作为第一像素组，所述空间变化大于第一阈值；深度折叠区域确定单元，基于与第一像素组有关的信息来确定输入深度图像的深度折叠区域。
2.如权利要求1所述的图像处理设备，所述图像处理设备还包括深度折叠行确定单元，基于输入深度图像的梯度来确定输入深度图像的深度折叠行， 其中，深度折叠区域确定单元基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
3.如权利要求2所述的图像处理设备，其中，深度折叠区域确定单元基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息中的至少一个来执行区域分割， 以确定输入深度图像的深度折叠区域。
4.如权利要求1所述的图像处理设备，所述图像处理设备还包括深度折叠行确定单元，基于输入深度图像的梯度和与输入深度图像相关的输入强度图像的梯度来确定输入深度图像的深度折叠行，其中，深度折叠区域确定单元基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
5.如权利要求4所述的图像处理设备，其中，深度折叠区域确定单元基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息中的至少一个来执行区域分割， 以确定输入深度图像的深度折叠区域。
6.如权利要求1所述的图像处理设备，所述图像处理设备还包括深度折叠行确定单元，基于输入深度图像的梯度和与输入深度图像相关的输入颜色图像的梯度来确定输入深度图像的深度折叠行，其中，深度折叠区域确定单元基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
7.如权利要求6所述的图像处理设备，其中，深度折叠区域确定单元基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息中的至少一个来执行区域分割， 以确定输入深度图像的深度折叠区域。
8.如权利要求1所述的图像处理设备，所述图像处理设备还包括深度信息更新单元，将输入深度图像的深度折叠区域的每个像素的深度值加上预定的第一深度值，并更新输入深度图像的深度信息。
9.如权利要求8所述的图像处理设备，所述图像处理设备还包括 滤波器单元，针对更新的输入深度图像执行后处理滤波。
10.一种图像处理方法，所述图像处理方法包括 计算输入深度图像的每个像素的空间变化；以及 从输入深度图像的每个像素中提取具有大于第一阈值的空间变化的像素作为第一像素组。
11.如权利要求10所述的图像处理方法，所述图像处理方法还包括 基于与第一像素组有关的信息来确定输入深度图像的深度折叠区域。
12.如权利要求11所述的图像处理方法，所述图像处理方法还包括 基于输入深度图像的梯度来确定输入深度图像的深度折叠行，其中，确定深度折叠区域的步骤基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
13.如权利要求11所述的图像处理方法，所述图像处理方法还包括基于输入深度图像的梯度和与输入深度图像相关的输入强度图像的梯度来确定输入深度图像的深度折叠行，其中，确定深度折叠区域的步骤基于与第一像素组有关的信息和与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
14.一种图像处理方法，所述图像处理方法包括从输入深度图像的每个像素中提取第一像素组，所述第一像素组包括具有大于第一阈值的空间变化的像素；从与输入深度图像相关的输入强度图像的每个像素中提取第二像素组，所述第二像素组包括具有小于第二阈值的强度的像素；以及基于与第一像素组和第二像素组有关的信息来确定输入深度图像的深度折叠区域。
15.如权利要求14所述的图像处理方法，所述图像处理方法还包括基于输入深度图像的梯度和与输入深度图像相关的输入颜色图像的梯度来确定输入深度图像的深度折叠行，其中，确定深度折叠区域的步骤基于与第一像素组和第二像素组有关的信息以及与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
16.如权利要求14所述的图像处理方法，所述图像处理方法还包括基于输入深度图像的梯度和与输入深度图像相关的输入强度图像的梯度来确定输入深度图像的深度折叠行，其中，确定深度折叠区域的步骤基于与第一像素组和第二像素组有关的信息以及与输入深度图像的深度折叠行有关的信息来确定输入深度图像的深度折叠区域。
17.如权利要求14所述的图像处理方法，所述图像处理方法还包括将预定的第一深度值加到输入深度图像的深度折叠区域的每个像素的深度值，并更新输入深度图像的深度值。
18.如权利要求17所述的图像处理方法，所述图像处理方法还包括 针对更新的输入深度图像执行后处理滤波。
19.一种图像处理方法，所述图像处理方法包括计算与单个对象相关的多个输入深度图像的每个像素的时域变化； 从所述多个输入深度图像的每个像素中提取具有大于阈值的时域变化的像素作为第一像素组；以及基于与第一像素组有关的信息来确定所述多个输入深度图像的深度折叠区域。
20.一种计算机可读记录介质，所述计算机可读记录介质存储有用于实现图像处理方法的指令，所述指令包括计算输入深度图像的每个像素的空间变化的指令集；从输入深度图像的每个像素计算具有大于第一阈值的空间变化的像素作为第一像素组的指令集；以及基于与第一像素组有关的信息来确定输入深度图像的深度折叠区域的指令集。
全文摘要
一种确定输入深度图像中的深度折叠区域并将该深度折叠区域进行深度打开的图像处理方法。可基于输入深度图像的变化、梯度图像等来确定输入深度图像的深度折叠区域。可将预定的第一深度值加到确定的深度折叠区域的每个像素的深度值，并可更新输入深度图像的深度信息。
文档编号G06T7/00GK102216955SQ200980119331
公开日2011年10月12日 申请日期2009年4月28日 优先权日2008年7月15日
发明者姜柄敏, 李基彰, 林和燮, 金成珍 申请人:三星电子株式会社