专利名称：使用自适应联合双边滤波器生成稠密深度图的设备和方法
技术领域：
本发明的实施例一般涉及深度图生成，更具体地涉及使用自适应联合双边滤波器生成稠密深度图的设备和方法。
背景技术：
一般地，双边滤波器被用于图像处理以提供图像的保持边缘的平滑。双边滤波器提供图像的域(domain)滤波和范围(range)滤波两者以平滑图像内容，而仍维持图像内对象的边缘。但是，由于双边滤波涉及通过在大片邻居像素上估计像素值的加权和来更新像素值，因此这种滤波需要相当大的计算资源和长时间来完成计算。此外，深度图表示相对于给定的焦平面的图像中的深度。焦平面通常位于图像的主要物体上，但是该平面(即当任意选择时的基准平面)可以位于场景内的任意位置。深 度图则将相对于该平面的对象距离表示为正或负值，值的大小表示离平面的距离，符号表示对象位于基准平面之前还是之后。深度图通常是使用诸如激光或超声测距仪之类的测距技术以及诸如视差处理之类的成像技术来创建的。深度图可使用联合双边滤波来增强。联合双边滤波的目的是既通过平坦区域中深度值的平滑来去除反常深度值又改进深度图的空间分辨率和深度分辨率。一般地，双边滤波比较慢，并且现有的优化处理的方法采用大量额外存储器，或者采用可能产生错误结果的近似。某些图像处理技术利用深度图来增强图像处理结果。例如，深度图在前景/背景分解、面部识别、对象跟踪等方面有用。深度图提供能够用于将图像分解成与其在图像内的深度有关的组成成分的深度信息。然而，使用低分辨率深度图来进行图像处理导致处理的精度和质量的严重损失。因此，存在对用于高效地生成稠密深度图的设备和方法的需要。
发明内容
实施例一般包括用于生成稠密深度图的设备和方法。在一个实施例中，该方法包括将联合双边滤波器应用于第一深度图以生成第二深度图，其中联合双边滤波器的至少一个滤波器权重基于由第一深度图表示的图像的内容来适配，并且其中第二深度图具有比第一深度图更高的分辨率。沣释DLijj :较低分辨率深度图中坐标(i，j)的像素的深度值DHijj :较高分辨率深度图中坐标(i，j)的像素的深度值X，Y :较高分辨率深度图中当前像素的坐标i, j :较低分辨率深度图中细化窗口中的像素的坐标IHx,Y :来自较高分辨率图像的当前像素(X，Y)的像素强度ILiij :来自较低分辨率图像的像素(i，j)的强度WDmj :基于像素(X，Y)和像素(i，J)之间的距离的权重
DDmj :像素(X，Y)和像素U，j)之间的距离项DImj :用于像素(X，Y)和像素(i，J)之间的强度差的差项WIx^j :基于像素(X，Y)和像素(i，J)之间的强度差的权重Lxjyjijj :像素(X，Y)和像素(i，j)之间的强度差M :用于第一细化方法的尺寸调整因子N :用于第二细化方法的尺寸调整因子P :将图像带入深度图的分辨率的尺寸调整因子hsl :用于第一细化方法的细化窗口的一半尺寸
hs2 :用于第二细化方法的细化窗口的一半尺寸
所以，上面概述的发明的更具体描述、本发明的上述特征能够被详细理解的方式可参考实施例来获得，其中某些实施例在附图中示出。然而注意，附图仅例示了发明的典型实施例，因此不应理解为限制其范围，因为发明可承认其他等效实施例。图I是根据一个或多个实施例的使用自适应双边滤波器来生成稠密深度图的系统的框图。图2是表示根据一个实施例的深度图细化方法的功能框图。图3是例示了根据一个实施例的用于处理深度图以生成稠密深度图的方法的流程图。图4是例示了根据一个实施例的第一细化方法的流程图。图5是例示了根据实施例的用于第一均勻性(uniformity)测试的方法的流程图。图6是表示根据实施例的在第一细化方法中使用的子采样图像的功能框图。图7是例示了根据一个实施例的第二细化方法的流程图。图8是例示了根据实施例的用于第二均匀性测试的方法的流程图。图9是表示根据实施例的在第二细化方法中使用的子采样图像的功能框图。
具体实施例方式图I是根据一个或多个实施例的使用自适应双边滤波器来生成稠密深度图的系统100的框图。系统100包括计算机110和图像源112以及深度图源114。计算机110包括中央处理单元(CPU) 120、支撑电路130和存储器140。CPU 120可包含一个或多个市面上买得到的辅助数据处理和存储的微处理器或微控制器。各种支撑电路130辅助CPU 120的操作并且可包括时钟电路、总线、电源、输入/输出电路等。存储器140包括只读存储器、随机存取存储器、盘驱动存储器、光存储装置、可移除存储装置等。存储器140包括操作系统150、深度图处理器160、图像处理器170、中间(interim)深度图182、第一深度图180、第二深度图184、图像190和子采样版图像192。计算机110与图像源112和深度图源114通信以分别获得图像190和第一深度图180。图像源112是捕捉图像的设备，例如数字相机、视频相机等。深度图源114是生成与图像190有关的第一深度图180的电路或设备。深度图源114可以是诸如激光或超声测距电路之类的深度传感器电路。在其他实施例中，源114可以是使用视差(parallax)处理从两个或更多个图像计算深度的电路。用于深度图生成的其他基于软件和/或硬件的技术可被使用。从深度图源114获得的第一深度图180和从图像源112获得的图像190被存储在存储器140中。深度图处理器160例如参考图2由深度图细化方法200实施。深度图处理器160生成中间深度图182和稠密深度图184 (这里也称为第二深度图)。第一深度图180是由深度图处理器160例如通过实施深度图细化方法200来细化的，以生成相继具有更高分辨率的深度图、中间深度图182然后是第二深度图184。第一深度图180是例如表示相对于焦平面的图像190中的深度的低分辨率深度图。在其他实施例中，深度图可按绝对深度来表示，并且任意平面可被视为基准平面。在当前的实施方式中，焦平面通常位于图像190的主要物体上。然而，焦平面可位于任意位置。表示焦平面之后的对象或面的所有像素位置被分配极性或符号(例如，负)和表示离焦平面的距离的值。表示焦平面之前的对象的所有像素位置被分配极性(例如，正)和表示离焦平面的距离的值。 图像处理器170生成子采样版图像192。图像处理器170通过实施子采样对图像190进行编码，以生成低分辨率子采样版图像192。本领域技术人员将理解，子采样可通过诸如基于块的像素平均等各种已知子采样技术来实施。子采样版图像192包括变化分辨率的子采样图像(图I中未示出)，例如具有高分辨率1/P的子采样图像192a、例如具有中分辨率1/PN的子采样图像192b、例如具有低分辨率1/PMN的子采样图像192c (其中M、N和P是整数值)。在发明的一个实施例中，子采样图像被用于引导(适配)细化处理，所述细化处理用于从第一(输入)深度图创建稠密深度图。更具体地，子采样图像被用于适配双边滤波器，所述双边滤波器用于细化低分辨率深度图以形成稠密深度图。作为示例，M = 4, N = 2, P = 8,所以高分辨率对应于输入图像的1/4分辨率,中分辨率对应于输入图像的1/16分辨率，并且低分辨率对应于输入图像的1/64分辨率。图2是表示根据一个实施例的深度图细化方法200的功能框图。深度图细化方法200的输入是全分辨率图像190和第一深度图180。在图2例示的示例中，全尺寸图像190在步骤202被按1/P子采样以形成第一子采样图像192a(l/P图像)。第一子采样图像192a在步骤204被按1/N子采样以形成第二子采样图像192b (1/PN图像)。第二子采样图像192b在步骤206被按1/M子采样以形成第三子采样图像192c(l/PMN图像)。最低分辨率子采样图像192c具有与第一深度图180的低分辨率相匹配的分辨率。本领域技术人员将理解，子采样图像192c的分辨率与使用深度细化方法200细化的深度图的分辨率相称。在块208a和208b，子采样图像192c和第一深度图180按需要被用像素填充，以创建相等数目像素的图像。例如，由于子采样图像192c和第一深度图180具有相同的分辨率1/PMN,因此子采样图像192c和第一深度图180 二者被分别用近似图像和深度图边界的若干像素和深度图值填充，以使得在像素和深度图值中测得的每个图像的尺寸相同。在某些实施例中，填充不是必需的。经填充的子采样图像210和第二子采样图像192b被用于通过第一信号处理214来细化经填充的第一深度图212。下面参考图4来详细描述步骤214处的第一细化处理。第一细化处理214产生具有比第一深度图180高的分辨率的中间深度图182。中间深度图182的分辨率例如是1/PN，即，与第二子采样图像192b相同的分辨率。在步骤216，中间深度图182按需要被填充，并且在步骤218，第二子采样图像192b被填充以生成具有与中间深度图182中包含的深度图值相同像素数目的图像。经填充的深度图220和经填充的图像222被耦合到第二细化步骤224。在第二细化步骤224，经填充的图像222和第一子采样图像192a被用于细化经填充的中间深度图220。下面参考图7来详细描述第二细化处理224。第二细化处理224产生第二深度图184。第二深度图184具有比第一深度图180和中间深度图182 二者高的深度图值密度，即与第一子采样图像192a的分辨率相等的分辨率。如果必要的话，第二深度图184和第一子采样图像192a可分别在步骤226和228被填充以分别形成经填充的深度图230和经填充的图像232。虽然，在图2例示的实施例中仅示出两个细化步骤，但是深度细化方法200可被任何数目的额外细化步骤扩展，如进一步细化处234所指示的。进一步细化处理234涉及针对每个所需的额外细化重复第二细化步骤。重复处理可涉及额外的自适应参数调谐和/或分辨率改变。图3是例示了根据一个实施例的用于处理深度图以生成稠密深度图的方法300的流程图。方法300开始于步骤302并前进到步骤304。在步骤304，图像(例如，图I的图 像190)被从存储器访问(或从图像源递送)。在步骤306，图像被子采样以生成子采样版图像(例如，图I的子采样版图像192)。在步骤308，子采样版图像被存储在存储器中。在步骤310，适当的子采样图像被从子采样版本中选择。根据某些实施例，子采样图像是根据要细化的深度图的分辨率来选择的。例如，第三子采样图像192c和第二子采样图像192b被选择以细化具有1/PMN分辨率的第一深度图(例如，图I的深度图180)。在步骤312，被选择的第三子采样图像192c可按需要被填充。在步骤314，第一深度图180被从存储器访问，或者由深度图源提供。在步骤316，第一深度图180可按需要被填充以生成经填充的第一深度图。在步骤318，例如与图2的步骤214处的第一细化类似的第一细化方法被执行。下面参考图4来详细描述第一细化方法。在步骤320，由第一细化方法生成的中间深度图(例如，图I的中间深度图182)可按需要被填充。在步骤322，其他适当的子采样图像(图像192b和192a)被从子采样版图像中选择。子采样图像是根据中间深度图的分辨率来在步骤322选择的。例如，具有1/P分辨率的子采样图像192a被选择以引导中间深度图182的细化。在步骤324，被选择的子采样图像192b可按需要被填充。在步骤326，第二细化方法(例如，图2的步骤224处的细化方法)被执行。下面参考图7来详细描述第二细化方法。在步骤328，由第二细化方法生成的第二深度图(例如，图I的第二深度图184)可按需要被填充。在步骤330，经填充的第二深度图被存储以供进一步处理并且方法300结束于步骤332。图4是例示了根据一个实施例的实施图3的步骤326的第一细化方法400的流程图。第一细化方法400开始于步骤402并前进到步骤404。在步骤404，细化窗口在子采样图像(例如，图2的第二子采样图像192b和第三子采样图像192c)中被建立。在步骤404，相应的细化窗口(双边滤波窗口)在第一深度图(例如，第一深度图180)中被定位。在步骤407，计数器被设为零。该计数器值被用于下面将描述的第二均匀性测试。在步骤406，第一均匀性测试被可选地执行。可执行第一均匀性测试来判断深度图内的细化窗口是否包含均匀的一组深度图值。下面参考图5来描述第一均匀性测试的方法。如果方法400认为窗口内容是均匀的，则方法400前进到步骤410。如果窗口内容被认为不均匀，则方法400前进到步骤418 (或者可选地，步骤409)而不更新深度图值。可选的平滑检查和实施的方法在下面详细描述。在步骤410，用于双边滤波器的强度权重WI被计算，并且在步骤412，用于双边滤波器的距离权重WD被计算。就此而论，使用在子采样图像中建立的细化窗口来计算强度权重WI和距离权重WD。下面参考图6来详细描述WI和WD的计算方法。然而，本领域技术人员将理解，由于要处理的像素数目在低分辨率子采样图像中较小，因此使用具有低分辨率的子采样图像来计算WI和WD降低了计算时间和成本。通过步骤406至422，使用双边滤波器公式(更一般的版本由公式I给出)来计算细化窗口中心处的深度图值。在步骤416，更新后的深度图值被临时存储。随着窗口中的每个深度图值被处理，中心位置值的存储值被更新。在步骤418，判断细化窗口中是否存在更多的深度图值待处理。如果细化窗口中存在更多的深度图值(选项“是”)，则在步骤420获得下一深度图值，方法400返回并重复步骤408至416。在该实施例中，窗口尺寸为离中心值土hsl (对于第二细化方法，土hs2) 的位置。通过这种方式，窗口内的深度图值被加权并求和以提供用于更密的深度图的新值。如果细化窗口中再没有深度图值了(选项“否”)，则方法400前进到步骤422。此时(选项“否”)，416中存储的值由下面的项给出
X/M+hsl Y /M+hsl、
Σ Σ (DLU X WWj X WDxxiJ
i=X/M-hsl j二Y/M-hsl( I )在步骤422，使用以下公式来归一化来自416的更新后的深度图值
X/M+hsl Y/M+hsl、
Σ Z(dlMxwiX^jXwdwj)
_ i^X/M-hsl j=Y/M-hsl_
UHx Y —X/M+hslY/M+hsl'
Σ Z(WIX，Y，UXWDX，YJ (2)
i=X/M-hsl j=Y/M-hsl在步骤424，归一化后的深度图值被存储为中间深度图的值。在步骤426，判断第一深度图是否完成。如果第一深度图未完成(选项“否”)，则方法400前进到步骤428。在步骤428，细化窗口在第一深度图中被重新定位，并且下一中心位置的值被计算。在一个实施例中，方法400将窗口移动预定距离并继续计算下一新的深度图值。该预定距离决定中间深度图的像素密度。例如，如果预定距离是第一深度图的深度图值间距的1/2，则分辨率将以因子2增加。如果第一深度图完成(选项“是”)，则方法400前进到步骤430结束。图5是例示了根据实施例的用于第一均匀性测试(图4的步骤408)的方法500的流程图。如上所述，第一均匀性测试被用于确定细化窗口内深度图值的均匀性。就此而言，深度图包括具有或正或负的深度图值以分别指示焦平面之前或之后的距离的像素。细化窗口中深度图值的均匀性是通过将细化窗口中的深度值DLi, j与细化窗口中心处的深度值DLx/m, y/m作比较来确定的。具有与中心位置的深度图值大不相同的深度图值的位置被从第一细化方法中排除，从而不贡献于应用到深度图上的双边滤波处理。在下面的段落中详细描述第一均匀性测试的方法500。方法500开始于步骤504并前进到步骤506。在步骤506，细化窗口的中心位置的深度图值DLX/M,Y/M被确定。低分辨率处的中心像素的坐标被表示为X/M，Y/M。图6中，中心位置在此仅被描述为针对细化窗口执行的均匀性测试的基准位置的示例，而非限制。细化窗口中的任何位置都可被用作基准位置。在步骤508，坐标位置的深度图值DLi,」被确定，其中(i，j)是中心位置以外的细化参考中当前位置的坐标。在步骤510，方法500计算DLx,Y和DLi,」之差DIFF。值IdiffI在步骤512的均匀性测试中被使用。在步骤512，判断|diff|是否高于预定的均匀性阈值“threshold_UT”以及DLi, j的符号是否与DLX/M,Y/M的符号相反。如果
DIFFI小于thresholcLUT或者DLiij的符号不与DLX/M,Y/M的符号相反(选项“否”)，则方法500认为当前位置处的值是均匀的并返回到图4中步骤410处的方法400。如果|DIFF|的 值高于thresholcLUT并且DLiij的符号与DLX/M,Y/M的符号相反(选项“是”)，则该区域被认为是不均匀的并且方法500前进到步骤514，在步骤514，值COUNT ( “计数”)被递增I并存储在存储器(例如，寄存器)中。方法500随后返回到图4的步骤409或418。与中心值差别大的深度图值表示深度图中的边界。使用窗口中的这种不连续性可能导致反常的滤波器结果。为此，该深度图值被从公式(I)的计算中排除。如下所述，在第一均匀性测试中生成的值“计数”在第二细化方法(例如，图3的第二细化方法326)中被访问和使用。该计数表示与中心值符号相反且不均匀、即表示窗口中的深度边界的深度图值的个数。图6是子采样图像620和610的示意性表示。子采样图像620具有比图像610的分辨率相对低的分辨率。例如，子米样图像620例如与子米样图像192c类似,并且子米样图像610例如与子采样图像192b类似。在一个实施例中，子采样图像620具有58X42的分辨率并且子采样图像610具有232X 171的分辨率。尺寸为(2*hsl/M+l) X (2*hsl/M+l)个像素的细化窗口 622在子采样图像620中被建立，这与在目标分辨率图像610中获得尺寸为(2*hsl+l) X (2*hsl+l)的细化窗口 612的效果类似。M是2个子采样图像620和610的分辨率比。例如，如果hsl为8且M为4，则仅通过在较低分辨率图像620中获得5X5的窗口，本方法就可在较高分辨率图像610中覆盖17X17的区域。就此而言，双边滤波器的强度权重WImj是使用子采样图像620和细化窗口 622来计算的。虽然前述说明采用了针对X轴和y轴二者相等的尺寸调整因子M(以及针对其他子采样图像的N和P)，但是在其他实施例中，尺寸调整因子可针对每个轴而不同，例如，以Mx、MY、Nx、NY、Px和Py来进行子采样。在图像620是以Y，Cr, Cb格式(亮度、蓝/黄、红/绿)给出的情况中，可以按下式给出的那样在三个通道中计算强度差DImj = wYX I IHYx,Y-ILYi, J +WcbX I IHCbxJ-ILCbi, j | +wCrX I IHCrxjy-ILCrijj(3)wY，wcb, wCr分别为Y，Cb和(；的权重系数。在其他实施例中，图像可以被转换成诸如L*a*b之类的另一亮度/色度空间，并且可以使用已知的ΔΕ感知差(perceptualdifference)或类似的距离度量来在这种空间中计算该距离。如果图像是灰度格式的，则以上公式变为DImj — | Ηχ,γ_Ι1^,』| (4)DIm」可以随时计算或者该计算可经由类似于图670中的WIm」的查找表来实现，以找出将在第一细化方法的细化窗口 612中使用的级别权重WIx, γ, i,」。WImj表的内容形成应用到窗口 612中的深度值上的一维滤波器函数。在一个实施例中，该函数是线性的(如所示)。在其他实施例中，取决于所需滤波器效果，该函数是非线性的。另外，如果图5的均匀性测试已指示均匀性损坏，则被WIx,Y,U设为零，并且不需要为该深度图位置计算WImj值。此外，如上面参考图2所描述的，与中间深度图的分辨率相对应的分辨率的子采样图像(例如，子采样图像192b)被输入到第一细化方法。距离权重WD例如是使用子采样图像192b来计算的。使用以下公式来计算DDmj
权利要求
1.一种用于生成稠密深度图的计算机实现的方法，包括 将联合双边滤波器应用于第一深度图以生成第二深度图，其中所述双边滤波器的至少一个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图 具有比所述第一深度图高的分辨率。
2.根据权利要求I所述的方法，其中所述图像的内容由所述图像的子采样版本来表/Jn ο
3.根据权利要求2所述的方法，其中所述应用步骤包括 使用已基于所述图像的内容来适配的所述联合双边滤波器的至少ー个第一滤波器权重来执行所述第一深度图的第一细化，以生成中间深度图，其中所述中间深度图具有比所述第一深度图高的分辨率；以及 使用已基于所述图像的内容来适配的所述联合双边滤波器的至少ー个第二滤波器权重来执行所述中间深度图的第二细化，以生成所述第二深度图。
4.根据权利要求3所述的方法，其中执行所述第一细化包括 在所述第一深度图中定位细化窗ロ； 在所述细化窗口中针对每个深度图值执行第一均匀性测试； 使用已基于所述图像的内容来适配的所述双边滤波器的所述至少ー个第一滤波器权重来更新所述中间深度图的深度图值；以及 在所述第一深度图中重新定位所述细化窗ロ，执行所述第一均匀性测试并更新所述中间深度图的深度图值，其中所述细化窗ロ被重新定位直到所述第一深度图完成。
5.根据权利要求4所述的方法，还包括在所述第一均匀性测试将所述细化窗ロ判定为不均匀后对所述细化窗ロ应用平滑检查。
6.根据权利要求5所述的方法，其中所述平滑检查包括确定与所述细化窗口中的深度图值有关的置信度測量或边缘强度。
7.根据权利要求5所述的方法，其中若平滑被认为是必需的，则在所述细化窗ロ中应用平整滤波器。
8.根据权利要求4所述的方法，其中执行所述第一均匀性测试包括 若一深度图值与所述细化參考的基准深度图值大不相同，则从所述第一细化步骤排除该深度图值；以及 維持所述细化窗口中被排除并且不属于焦平面同一侧的深度图值的计数。
9.根据权利要求8所述的方法，其中从所述第一细化步骤排除深度图值包括 若所述深度图值和中心像素的深度图值之差超过预定均匀性阈值，则将零值分配给所述深度图值的所述至少ー个第一滤波器权重。
10.根据权利要求3所述的方法，其中执行所述第二细化包括 在所述中间深度图和与所述中间深度图分辨率类似的子采样图像中定位细化窗ロ； 对所述细化窗ロ执行第二均匀性测试； 使用已基于所述图像的内容来适配的所述双边滤波器的所述至少ー个第一滤波器权重来更新所述细化窗口中的深度图值；以及 在所述中间深度图中重新定位所述细化窗ロ，执行所述第二均匀性测试并更新所述细化窗口中的深度图值，其中所述细化窗ロ被重新定位直至所述第二深度图完成。
11.根据权利要求10所述的方法，其中执行所述第二均匀性测试包括 若所述细化窗口中从所述第一细化步骤排除并且不属于焦平面同一侧的深度图值的计数超过预定计数阈值，则从所述第二细化步骤排除深度图值。
12.根据权利要求11所述的方法，其中从所述第二细化步骤排除深度图值包括 访问所述计数；以及 若所述计数超过预定计数阈值，则将所述至少ー个第二滤波器权重设为大于一的预定值。
13.根据权利要求11所述的方法，还包括在所述第二均匀性测试将所述细化窗ロ判定为不均匀后对所述细化窗ロ应用平滑检查
14.根据权利要求13所述的方法，其中所述平滑检查包括确定与所述细化窗口中的深度图值有关的置信度測量或边缘强度。
15.根据权利要求13所述的方法，其中若平滑被认为是必需的，则在所述细化窗口中应用平整滤波器。
16.一种用于生成稠密深度图的设备，所述设备包括 图像源和第一深度图； 图像处理器，用于处理所述图像并生成所述图像的至少ー个子采样版本；以及深度图处理器，用于通过将联合双边滤波器应用于所述第一深度图以生成第ニ深度图来处理所述第一深度图和生成第二深度图，其中所述联合双边滤波器的至少ー个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。
17.一种用于存储软件的计算机可读介质，所述软件当被计算系统运行时令计算系统 将联合双边滤波器应用于第一深度图以生成第二深度图，其中所述联合双边滤波器的至少ー个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。
18.根据权利要求17所述的计算机可读介质，其中所述应用步骤包括 使用已基于所述图像的内容来适配的所述双边滤波器的至少ー个第一滤波器权重来执行所述第一深度图的第一细化，以生成中间深度图，其中所述中间深度图具有比所述第一深度图高的分辨率；以及 使用已基于所述图像的内容来适配的所述双边滤波器的至少ー个第二滤波器权重来执行所述中间深度图的第二细化，以生成所述第二深度图。
19.根据权利要求18所述的计算机可读介质，其中所述第一细化包括 在所述第一深度图中定位细化窗ロ； 在所述细化窗口中针对每个深度图值执行第一均匀性测试； 使用已基于所述图像的内容来适配的所述双边滤波器的所述至少ー个第一滤波器权重来更新所述细化窗口中的深度图值；以及 在所述第一深度图中重新定位所述细化窗ロ，执行所述第一均匀性测试并更新所述细化窗口中的深度图值，其中所述细化窗ロ被重新定位直到所述第一深度图完成。
20.根据权利要求19所述的计算机可读介质，其中所述第二细化包括 在所述中间深度图中定位细化窗ロ； 对所述细化窗ロ执行第二均匀性测试； 使用已基于所述图像的内容来适配的所述双边滤波器的所述至少ー个第一滤波器权重来更新所述细化窗口中的深度图值；以及 在所述中间深度图中重新定位所述细化窗ロ，执行所述第二均匀性测试并更新所述细化窗口中的深度图值， 其中所述细化窗ロ被重新定位直至所述中间深度图完成。
全文摘要
本发明提供了使用自适应联合双边滤波器生成稠密深度图的设备和方法。所述方法包括将联合双边滤波器应用于第一深度图以生成第二深度图，其中所述联合双边滤波器的至少一个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。
文档编号G06T5/00GK102682446SQ201210013409
公开日2012年9月19日 申请日期2012年1月13日 优先权日2011年1月28日
发明者咖兹·阿力, 宫城健辅, 弗洛瑞娜·瑟瑞亚, 松下伸行, 锅迫英辉 申请人:索尼公司