专利名称：全深度图采集的制作方法
技术领域：
本发明涉及用于从3D场景采集基本上完整的深度图的方法。本发明进一步涉及这种方法的使用和根据这种方法提供图像处理的集成电路。
背景技术：
3D视频的采集在图像处理中仍然是挑战。能通过专用摄像机、多个照相机和处理，或2D至3D转换过程完成。后一计算机视角任务在从2D到3D的转换中非常重要，因为它允许引入3D视频同时重新使用现有的2D视频记录和传输体系结构。同样地，这些方法仍距生成用于任意自然内容(natural content)的高质量3D视频的目标较远。
有关人体3D感知的知识在3D视频系统设计中起关键作用。例如，已知提供显示具有比真实性更低的3D的场景可能仍然非常满意或甚至感受更自然。关于人体感知，人们通常对差异比绝对度量更敏感。
还有许多用于2D到3D转换的算法。它们的结果可以具有不同的模态以及可以具有非常不同的精度。关于模态，在产生深度值的定量方法和仅产生深度排序的定性方法间存在差异。所获得的值的模态可以是值或其第一或更高阶导数。
每当必须获得3D静态图像或视频，首先通过传统的照相机或昂贵的深度照相机(depth camera)俘获相应的2D图像。为从所述2D图像检索3D图像，必须适当地处理这些2D图像。这一处理很复杂，并要求高计算努力。此外，在由深度照相机摄取图像的情况下，记录场景的拓扑复杂度受到限制。仅俘获单个正面视图，其中，不能俘获前台物体后的物体。仅通过从不同角度获取场景，可以俘获更复杂的物体。深度照相机直接记录3D图像。3D信息可以直接驱动3D显示器，但3D质量不合格。
3D图像处理的一个主要焦点是来自运动检索的结构，其是定量方法并依赖于图像内的运动，从而将不可应用于静止图像。
定性算法的例子是使用遮挡语义(occlusion semantics)，例如通过检查视频内的物体的消失和再现的那些算法，和所谓的用于静止图像的T-junction分析的算法。
两种方法提供不完整的深度信息。定量方法具有不确定间隔，定性方法仅提供深度排序信息。
发明内容
本发明的目的是提供用于3D图像采集的方法，由局部深度图提供全3D深度图。本发明的另一目的是提供用于3D图像采集的方法，其考虑到用于处理的感性约束。
通过用于从3D场景获取基本上完整深度图的方法解决这些和其他目的，具有步骤有从所述3D场景获取局部深度图；从所述场景获取深度信息的导数；通过将不相关信息增加到所述局部深度图上，扩展所述局部深度图，创建空间与所述局部深度图和所述深度信息的导数一致的像素密集全深度图。
本发明基于人体具有对于亮度本身和它的空间/时间导数的传感器的理解。用于直接亮度传感器的事实是即使缺少任何纹理(空间导数为零，例如当由纸盖住我们的眼睛时)，我们仍能看见是亮还是暗。另外，人们不能看见纹理，除非亮度始终随时间改变即，具有非零时间导数。为看见静止图像，人眼以无意识方式始终进行微运动。然后，将由纹理产生的空间亮度导数转换成能测量的时间导数。
此外，人们仅能感知与3D信息有关的部分图像。所述局部深度信息具有有关图像内的深度的信息，其具有高精度。在图像的一些区域中，深度信息比在其他区域中更精确。
根据本发明，第一步骤是检索图像内最相关深度信息。这些区域可以至少是具有深度不连续的区域。在下一步骤中，将获得所述深度信息的导数。
所述局部深度图内的局部深度信息和深度信息的导数允许计算全深度图。通过使用不同模态的深度信息，可以重模拟深度感知，并且检索的全深度图与人们由实际3D场景感知的深度信息匹配良好。全深度图是像素密集的，这导致用于深度图内的基本上任何像素的深度信息。
该不相关数据可以使物体由一个不连续平滑到另一不连续。所述全深度图可以表示检索的深度不连续、其导数和物体内的平滑度间的最佳匹配。
在提供如权利要求2所述的方法的情况下，可以检索所得到的像素密集深度图。通过获取局部深度图和深度导数，所得到值包括由于噪声的变异。使用例如马尔可夫随机场模型将使得可以找出与所测量的深度值空间一致的像素密集全深度图。可以通过Gibbs/马尔可夫随机场模型定义能量函数U。该模型表示像素密集像素图内的所有像素。最大化概率P等于最小化能量U。优点在于方程式更简单，以及U的动态范围远小于P的。最小化U产生最佳匹配像素密集深度图，可以通过人深度感知的特性建模。
提出如权利要求3所述的另一图像处理。通过从定量处理提取深度信息，可得到具有不确定范围的深度值。为允许将不相关信息增加到图像上，使用具有低不确定性值的深度值。这些是出现深度不连续或图像纹理高的区域。从这些深度值，可以使用不连续来获得全深度图，其中，物体内的未知深度值与产生所述不相关数据的深度值匹配。不相关信息允许处理具有感知全深度图的图像，从而产生3D图像。
当具有高纹理的区域允许提取具有低不确定性的深度值时，优选根据权利要求4的方法。
为允许获得局部深度信息，提出权利要求5所述的方法。定性图像处理允许确定深度不连续，并可能确定不连续的方向。通过此，可以检测物体，以及有关所述物体的深度排序的排序信息。定性图像处理可以使用物体分割以及T形检测。通过使用图像分割，可以检索图像内的物体的数量和大小。通过应用T形检测，可以检索所检测的物体间的可能排序。然后，根据本发明的方法将任何深度值填充到符合所找出的深度排序的像素密集深度图中。
可以将整个图像的深度选择为N单元。根据一些标准，可以选择与特定显示设备的深度性能匹配，或者在发射机端执行图像处理的情况下。通常，可以获得像素密集深度图以便在不同可能的深度图和物体排序中，选择填充有从排序规则最符合平滑度和局部深度信息的不相关数据的特定深度图。
提出了根据权利要求6的物体分割。能过将对象分割应用于图像，可以检测物体。例如通过T形检测可以进一步提取物体的排序。通过有关物体的信息和物体排序，不相关数据可以完成局部深度图。这可以通过计算其像素值与估计的像素值最匹配的像素密集深度图来完成。可以由已知深度信息、已知深度导数和深度模型，模拟人的深度感知，计算这些估计像素值。该模型可以考虑变异、噪声和不同因素。该模型与像素密集深度图相比。最佳匹配像素密集深度图导致最小化能量或最大化Gibbs/马尔可夫随机场。
进一步提出如权利要求7所述的方法。通过不同深度传感器，可以模拟人深度感知。每个模型导致像素密集深度图和不同最佳匹配像素密集深度图的不同能量值。人深度感知的传感器可以包括Gaussian噪声、空间变量或不变量、非Gaussian噪声、负指数噪声、传感器饱和度、双态传感器噪声或饱和的双态传感器噪声。
传感器数据处理算法的任务是基于用于深度和其导数的传感器度量作为输入数据isens和isens，计算具有深度值iperc的像素密集深度图，这可以根据权利要求8计算。为计算最佳匹配深度图，要求所有深度值上的U(i)的最小化。U(i)可以是马尔可夫随机场模型。
这可以通过所谓的模拟退火(SA)算法来完成。该算法仅以一些初始估计i开始，例如i0＝isens，因此，通过一系列ik，直到达到会聚到最小U为止。在从ik到ik+1的每个转变，在每个像素位置p，单独地对i进行随机扰动，每个导致U改变一些U。只要扰动导致U＜0(较低或较好U)，接受像素p处的扰动。只要U＞0(较高或较差U)，仅通过随U快速降低的概率，接受扰动。
SA算法的特征允许它有效地找出U的最小值，而避免局部最小量。SA算法要求两个参数，调整扰动的大小的σperturb和调整如何接受导致最差U的扰动的所谓温度T。
为显著加速算法，可以以所谓的分层形式应用。首先，计算输入数据isens和isens的较低分辨率版本，然后，再次运行SA算法以便获得结果iperc的较低分辨率版本。在此之后，通过上移一个等级的分辨率，但现在将在前结果iperc用作初始估计值，执行相同操作。这继续直到达到原始、全分辨率为止。可以将用于SA算法的随机扰动噪声选择为具有方差σperturb的Guassian。
本发明的另一方面是根据上述方法提供静止和/或运动图像的图像处理的集成电路。本发明的另一方面是将上述方法用在消费电子设备、电视机和计算机视觉产品中。
参考下述附图，将了解和阐明本发明的这些和其他方面。在图中表示图1是获得局部深度信息的方法；图2是定性深度处理；图3是定量深度处理。
具体实施例方式
图1a描述用于定量深度处理的方法。所描述的是墙2b前的物体2a。另外描述的是照相机4、定量处理6和以局部深度图8的形式的定量处理6的结果，以及深度信息8a和深度不确定性8b。
由照相机4俘获物体2。照相机4通过处理两个图像，俘获深度信息连同它们的2D图像。可以不由两个照相机4检索精确的深度信息。局部深度精确度由因素中的图像纹理的局部量而定。可以从深度不连续性检索另外的深度信息。定量深度处理6的结果是局部深度信息8的曲线，以及深度数据8a和不确定性范围8b。
在图3a内表示场景的实际深度信息。定量深度处理的结果如图3b所示。实际深度值8a的曲线如图3b所示。在某一空间位置16，深度信息具有不连续性。由于不同物体间的变化，会产生这些不连续性16。在这些不连续性16的附近中的深度信息的精度很高。
如图3b所示，通过范围8b，表示深度信息的精度。在不连续和大量局部纹理的情况下，精度很高，不确定性很小。
如图3c所示，根据本发明的方法的结果导致具有遵从局部深度信息，诸如所述不连续16的平滑深度剖面图的像素密集深度图。深度不连续16的深度值拷贝到所得到深度图，以及在具有高图像纹理18的位置的高精度的深度信息。所得到深度图与从由照相机4俘获的局部深度图检索的局部深度信息16、18一致。通过不相关的数据扩展局部深度信息16以便实现平滑深度图20。这可以通过扰动深度图内的深度值以便找出与空间深度信息、深度导数和深度感模型相比最佳匹配像素密集深度图，模拟人的深度感来完成。
为通过非相关数据，扩充高精度的局部深度信息16、18，应用Markov Random Field(MRF)方法。局部深度信息为Dalg，其不确定性为ΔDalg。深度图本身为D。ΛS4表示包含两个水平相邻像素对PQ1和PQ2间的所有边缘Q的栅格。Λ1是所有像素栅格位置集。平滑度Usmoothness的能量函数U和深度值Ucopy可以是Usmoothness=αΣQ∈ΛS4|D(PQ2)-D(PQ1)|2]]>Ucopy=βΣP∈Λ1|D(P)-Dalg(P)ΔDalg(P)|2]]>Ucopy的最小化仅使深度图D成为Dalg的副本。将小值增加到分母防止它变为零。Usmoothness的最小化仅在整个图像实施平滑深度图D，而没有任何深度信息。Usmoothness和Ucopy的最小化提供平滑度和拷贝约束间的折衷，用α和β给出。通过将非相关信息增加到局部深度图上，可以构造全深度图，允许来自2D图像的场景的3D感知。通过将具有不同不相关深度信息的像素密集深度图和局部深度信息、深度导数和人深度感知的感知模型进行比较，可以检索该不相关深度信息。
在图1b中，描述深度信息的定性处理。由照相机10俘获物体2a、2b和2c。在所俘获的图像上执行图像分割和T形检测。通过定性处理12，可以确定图像内的位置13处的深度不连续14。第一不连续14a的方向是未知的。下述不连续14b、14c的方向是已知的。通过图像分割12a，可以提取物体的形状，展现两个六边形2a、2c和墙2b。定性处理展现六边形2c在六边形2a的前面，以及在墙2b的前面。所得到的深度信息是不完整的。它包括深度值的导数。
所述定性处理如图2所示。首先分割所俘获的图像22。图像分割24的结果展现两个六边形。通过T形检测，提取深度排序，其结果如26所示。排序信息是不完整的。已知A在B前。C和B的排序是未知的。通过应用根据本发明的扩展，在图像中填充服从所找出的深度排序的任意深度值。物体A分配表示A是B和C前N个“深度单位”的深度值。所得图像28具有遵从所找到的深度排序的增加到物体的深度信息。在循环深度排序的情况下，不可能找出用于物体的深度的单个值。在这些情况下，填充允许感知深度在物体内平滑改变的不相关信息是适当的。可以找出一个深度图符合局部深度信息和平滑度约束。
找出这种深度图的方法可以是Markov Random Field(MRF)方法。经包含在整个图像上扩展的局部深度信息的处理可以获得深度扩展。在整个深度图D上最小化能量函数Usmoothness和Uordering。通过作为从图像分割检索的分割图的S，在物体区内为0以及在物体边缘为1，N为深度单位数，以及V是每个不连续的方向，其可以为-1，0，1。对于最小化，所谓的模拟退火算法可以是适当的。能量函数可以是Usmoothness=αΣQ∈S4(1-S(Q))|D(PQ2)-D(PQ1)|2]]>Ucopy=βΣP∈Λ1S(Q)|D(PQ2)-D(PQ1)-NV(Q)|2]]>Usmoothness的最小化仅在每个物体内实施平滑深度图D。Uordering的最小化仅使深度图具有不连续，以及任意深度大小N。Usmoothness和Uordering的最小化提供平滑度和排序约束间的折衷。取决于更强调的方面(取决于α和β)，所得深度图将包含仅沿物体边缘的不连续和从边缘到物体中的小的空间扩展，或包含具有扩展几十像素的深度边缘的更平滑结果。
许多通量函数是可用的，具有不同最小化结果。除使用平方值|x|2外，如上面已经提到过，可以使用绝对值|x|，或不对称函数，诸如|x|-x。
在定性和定量深度值均可用的情况下，Usmoothness、Ucopy和Uordering的任何线性组合可以用于最小化。通过此，会影响扩展的深度图的特性。在不连续值S和V不可用的情况下，通过下述，能从Dalg和ΔDalg检索它们S(Q)=1|Dalg(PQ2)-Dalg(PQ1)|>T+ΔDalg(PQ1)+ΔDalg(PQ2)0]]>或V(Q)＝S(Q)sign(Dalg(PQ2)-Dalg(PQ1))其中，T是确定某一深度跳跃是否归因于不连续的阈值。
通过将本发明方法应用于2D图像，可以产生符合物体平滑度和物体不连续的场景的3D感知。
权利要求
1.一种用于从3D场景获取基本上完整深度图的方法，包括步骤a)从所述3D场景获取局部深度图；b)从所述场景获取深度信息的导数；c)通过将不相关信息增加到所述局部深度图上，扩展所述局部深度图，创建与所述局部深度图和所述深度信息的所述导数空间一致的像素密集全深度图。
2.如权利要求1所述的方法，其特征在于，通过最大化包含所述不相关信息、所述局部深度图和所述深度图的所述导数的概率函数，计算扩展所述深度图的所述不相关信息。
3.如权利要求1所述的方法，其特征在于，通过定量图像处理，获得所述局部深度信息和深度信息的所述导数。
4.如权利要求1所述的方法，其特征在于，通过检测局部图像纹理量，以及由空间高纹理区确定深度，获得所述局部深度信息。
5.如权利要求1所述的方法，其特征在于，通过定性图像处理，获得所述局部深度信息和深度信息的所述导数。
6.如权利要求1所述的方法，其特征在于，通过物体分割以确定所述图像内的物体以及通过检测物体的排序，获得所述局部深度信息。
7.如权利要求1所述的方法，其特征在于，通过深度传感器模拟人体深度感知，以及基于所述深度传感器的属性计算所述像素密集全深度图。
8.如权利要求1所述的方法，其特征在于，通过扰动不是由所述局部深度图和所述深度图的所述导数定义的像素值以及最小化所述概率函数，计算所述像素密集全深度图。
10.提供如权利要求1所述的静止和/或运动图像的图像处理的集成电路。
11.如权利要求1所述的方法用在消费电子设备、电视机和计算机视觉产品中。
全文摘要
本发明涉及用于从3D场景获取基本上完整深度图的方法。可以使用深度值和深度值的导数来计算像素密集深度图，包括的步骤有，通过从所述3D场景获取局部深度图，从所述场景获得深度信息的导数，以及通过将不相关信息增加到所述局部深度图，扩展所述局部深度图，创建与所述局部深度图和深度信息的所述导数一致的像素密集全深度图。
文档编号G06T7/00GK1739119SQ200380108833
公开日2006年2月22日 申请日期2003年12月10日 优先权日2003年1月17日
发明者P·-A·雷德特, C·W·A·M·范奥维德 申请人:皇家飞利浦电子股份有限公司