利用深度信息对深度噪声进行滤波的方法及设备的制作方法

专利名称：利用深度信息对深度噪声进行滤波的方法及设备的制作方法
技术领域：
—个或多个实施例涉及一种处理三维(3D)图像的图像处理，更具体地讲，涉及一 种能够对根据深度而出现的深度噪声进行滤波的深度噪声滤波方法和设备。
背景技术：
随着对三维(3D)图像的需求的增加，市场上出现了能够采集3D图像的3D相机。 3D相机可获得与对象关联的颜色信息和深度信息，以便为二维(2D)图像提供3D效果。可 以基于对象与3D相机之间的距离来确定深度信息。 由于3D相机的图像采集特性，包括在深度信息中的深度噪声的特性会依据与对 象的距离而不同。当基于包含大量深度噪声的深度信息来构造3D图像时，3D图像的品质会变差。 因此，需要一种能够根据对象和相机之间的距离去除深度噪声的方法。

发明内容
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法包括获得构成三维(3D)图像的滤波目标帧的区域的深度信息；利用所述深度信息 生成用于所述区域的空间滤波器；通过将所述空间滤波器应用于所述区域的深度信息来对 3D图像执行深度噪声滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中 深度信息对应于对象与图像采集设备之间关于所述区域的距离，生成步骤包括基于深度 信息确定将应用于所述区域的空间滤波器的大小和空间滤波器的系数中的至少一个。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 生成步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小测量距 离和在最大测量距离下的空间滤波器的最大大小中的至少一个，确定基于深度信息的空间 滤波器的大小。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 生成步骤包括通过参照存储有空间滤波器信息的表来生成对应于深度信息的空间滤波 器，所述空间滤波器信息与基于深度信息预先确定的空间滤波器的大小和空间滤波器的系 数中的所述至少一个关联。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
生成步骤进一步包括当深度信息对应于较短距离时，减小空间滤波器的大小。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
生成步骤进一步包括当深度信息对应于 短距离时，增加空间滤波器的系数的减小速率，在从空间滤波器的中心向空间滤波器的四周靠近的同时，空间滤波器的系数减小。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
所述区域是构成滤波目标帧的像素或块中的任何一个。 根据一个或多个实施例的另一方面，可提供一种对深度噪声进行滤波的方法，所 述方法包括获得构成3D图像的滤波目标帧的区域的深度信息；利用所述深度信息计算与 所述区域关联的参考帧的数量；基于计算的参考帧的数量更新滤波目标帧中的所述区域的 深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法进一步包括将空间滤波器应用于所述深度信息，计算步骤包括，利用应用所述空间滤 波器的深度信息计算参考帧的数量。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法进一步包括对所述获得的深度信息执行时间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法进一步包括对所述更新的深度信息执行空间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法进一步包括利用所述更新的深度信息生成空间滤波器；所述空间滤波器应用于所述 更新的深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法对所述深度信息执行空间滤波后执行时间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法对所述深度信息执行时间滤波后执行空间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，所述 方法进一步包括将权重应用于关于所述参考帧的每个区域的更新的深度信息，所述权重 基于所述计算的参考帧的数量被确定。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中 深度信息对应于对象与图像采集设备之间关于所述区域的距离，计算步骤包括利用深度 信息、图像采集设备的最大测量距离、图像采集设备的最小测量距离和在最大测量距离下 的参考帧的数量中的至少一个，确定基于深度信息的参考帧的数量。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
计算步骤包括当所述区域的深度信息对应于较短距离时，减少参考帧的数量。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
更新步骤包括对参考帧中的每一个的区域的深度信息进行平均，以更新滤波目标帧中的
所述区域的深度信息。 根据一个或多个实施例的另一方面，可提供一种对深度噪声进行滤波的方法，所 述方法包括获得构成3D图像的滤波目标帧的区域的深度信息；利用所述深度信息生成用 于所述区域的空间滤波器，以将所述空间滤波器应用于所述区域的深度信息；利用构成滤 波目标帧的所述区域的深度信息计算与所述区域关联的参考帧的数量，其中，所述空间滤 波器被应用于所述深度信息；基于计算的参考帧的数量更新滤波目标帧中的所述区域的深 度信息。
7
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中
深度信息对应于对象与图像采集设备之间关于所述区域的距离，生成和应用步骤包括基
于深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波器的系数中的至少一 个。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 生成步骤包括通过参照存储有空间滤波器信息的表来生成对应于深度信息的空间滤波 器，所述空间滤波器信息与基于深度信息预先确定的空间滤波器的大小和空间滤波器的系 数中的所述至少一个关联。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 生成和应用步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小 测量距离和在最大测量距离下的空间滤波器的最大大小中的至少一个，确定基于深度信息 的空间滤波器的大小。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
所述深度信息对应于对象与图像采集设备之间关于所述区域的距离，计算步骤包括利用
深度信息、图像采集设备的最大测量距离、图像采集设备的最小测量距离和在最大测量距
离下的参考帧的数量中的至少一个，确定基于深度信息的参考帧的数量。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
确定步骤包括对参考帧中的每一个的区域的深度信息进行平均，以确定滤波目标帧中的
所述区域的深度信息。 根据一个或多个实施例的另一方面，可提供一种对深度噪声进行滤波的方法，所 述方法包括利用构成3D图像的滤波目标帧的区域的深度信息，计算关于所述区域的参考 帧的数量；基于计算的参考帧的数量更新滤波目标帧中的所述区域的深度信息；利用所述 更新的深度信息生成用于所述区域的空间滤波器，以将所述区域的空间滤波器应用于所述 区域的深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中 所述深度信息对应于对象与图像采集设备之间关于所述区域的距离，计算参考帧的数量的 步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小测量距离和 在最大测量距离下的参考帧的数量中的至少一个，确定基于深度信息的参考帧的数量。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 更新步骤包括对参考帧中的每一个的区域的深度信息进行平均，以更新滤波目标帧中的 所述区域的深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 所述深度信息对应于对象与图像采集设备之间关于所述区域的距离，生成步骤包括基于 所述更新的深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波器的系数中 的至少一个。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 生成步骤包括通过参照存储有空间滤波器信息的表来生成对应于深度信息的空间滤波 器，所述空间滤波器信息与基于深度信息预先确定的空间滤波器的大小和空间滤波器的系 数中的所述至少一个关联。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 生成步骤包括利用所述更新的深度信息、图像采集设备的最大测量距离、图像采集设备的 最小测量距离和在最大测量距离下的空间滤波器的最大大小中的至少一个，确定基于深度 信息的空间滤波器的大小。 根据一个或多个实施例的另一方面，可提供一种生成空间滤波器的方法，所述方 法包括获得构成3D图像的滤波目标帧的区域的深度信息；基于所述深度信息确定用于所 述区域的空间滤波器的特性；基于空间滤波器的所述特性，生成将被应用于所述区域的空 间滤波器。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中
所述深度信息对应于对象与图像采集设备之间关于所述区域的距离，确定步骤包括基于
深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波器的系数中的至少一个。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中，
生成步骤包括通过参照存储有空间滤波器信息的表来生成对应于深度信息的空间滤波
器，所述空间滤波器信息与基于深度信息预先确定的空间滤波器的大小和空间滤波器的系
数中的所述至少一个关联。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 确定步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小测量距 离和在最大测量距离下的空间滤波器的最大大小中的至少一个，确定基于深度信息的空间 滤波器的大小。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中， 确定步骤包括当所述更新的深度信息对应于较短距离时，减小空间滤波器的大小。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的方法，其中 确定步骤包括当所述更新的深度信息对应于较短距离时，增加空间滤波器的系数的减小 速率，在从空间滤波器的中心向空间滤波器的四周靠近的同时，空间滤波器的系数减小。
根据一个或多个实施例的另一方面，可提供一种对深度噪声进行滤波的设备，所 述设备包括空间滤波器生成单元，利用构成3D图像的滤波目标帧的区域的深度信息生成 用于所述区域的空间滤波器；滤波单元，通过将所述空间滤波器应用于所述区域的深度信 息来对3D图像执行深度噪声滤波。
根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，其中
所述深度信息对应于对象与图像采集设备之间关于所述区域的距离，空间滤波器生成单元
基于深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波器的系数中的至少 一个。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，其中， 空间滤波器生成单元通过参照存储有空间滤波器信息的表来生成对应于深度信息的空间 滤波器，所述空间滤波器信息与基于深度信息预先确定的空间滤波器的大小和空间滤波器 的系数中的所述至少一个关联。 根据一个或多个实施例的另一方面，可提供一种对深度噪声进行滤波的设备，所 述设备包括帧计算单元，利用构成3D图像的滤波目标帧的区域的第一深度信息计算与所 述区域关联的参考帧的数量；深度信息决定单元，基于计算的参考帧的数量确定滤波目标
9帧中的所述区域的第二深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，其中， 深度信息决定单元对参考帧中的每一个的区域的深度信息进行平均，以确定滤波目标帧中 的所述区域的第二深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，所述 设备利用所述第二深度信息执行时间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，所述 设备利用所述第二深度信息执行空间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，其中， 深度信息决定单元，按照所述第二深度信息生成空间滤波器确定第三深度信息，且将所述 空间滤波器应用于所述第二深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，所述 设备执行空间滤波后执行时间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，所述 设备执行时间滤波后执行空间滤波。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，其中， 深度信息决定单元，将权重应用于关于所述参考帧的每个区域的更新的深度信息，所述权 重基于所述计算的参考帧的数量被确定。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，所述 设备将空间滤波器应用于深度信息，以生成所述第一深度信息。 根据一个或多个实施例的一方面，可提供一种对深度噪声进行滤波的设备，所述
设备利用与所述第一深度信息和第二深度信息不同的深度信息生成空间滤波器。 实施例另外的方面、特点和/或优点将在下面的描述中被阐述，并且部分地将通
过描述而明显，或者可通过本公开的实践而了解。


通过下面结合附图对实施例的描述，本发明的这些和/或其他方面和优点将变得 更加清楚并更容易理解，其中 图1是示出根据实施例的使用深度噪声滤波设备重构三维(3D)图像的处理的示 图； 图2是示出根据实施例的执行空间滤波以去除深度噪声的方法的流程图； 图3是示出根据实施例的执行时间滤波以去除深度噪声的方法的流程图； 图4是示出根据实施例的执行空间滤波和时间滤波以去除深度噪声的方法的流 程图； 图5是示出根据实施例的执行时间滤波和空间滤波以去除深度噪声的方法的流 程图； 图6是示出根据实施例的基于深度信息的深度噪声差异的示例的示图； 图7是示出根据实施例的基于深度信息计算空间滤波器的大小的处理的示图； 图8是示出根据实施例的基于深度信息计算空间滤波器的系数的处理的示 图9示出根据实施例的将空间滤波器应用于深度信息的示例； 图IO示出根据实施例的基于深度信息确定参考帧的数量以执行时间滤波的示 例； 图11是示出根据实施例的用于执行空间滤波的深度噪声滤波设备的构造的框 图； 图12是示出根据实施例的用于执行时间滤波的深度噪声滤波设备的构造的框 图。
具体实施例方式
现在将详细说明实施例，实施例的示例示出于附图中，在附图中，相同的标号始终 表示相同的部件。下面参照附图描述实施例以解释本公开。 图1是示出根据实施例的利用深度噪声滤波设备103重构三维(3D)图像的处理 的示图。此外，在整个说明书中，图1的深度噪声滤波设备103会是始终适用的。
参照图1，图像采集设备102可拍摄对象101以采集图像。此外，图像采集设备102 可从对象101采集3D图像，即，可获得与对象101关联的颜色信息和深度信息。这里，颜色 信息表示经图像采集设备102的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图 像传感器采集的信息。深度信息表示从图像采集设备102至对象101的每一点的距离。
例如，图像采集设备102可测量从图像采集设备102发射的光被对象101反射以 返回图像采集设备102的时间，然后测量对象101与图像采集设备102之间的距离。图像采 集设备102可通过测量的距离获得深度信息。在该实例中，获得的深度信息可包括取决于 对象101与图像采集设备102之间的距离的深度噪声。深度噪声滤波设备103可执行滤波 以去除深度信息中的深度噪声。具体地讲，深度噪声滤波设备103可利用低通滤波器(LPF) 执行滤波，从而去除深度噪声。 例如，深度噪声滤波设备103可根据深度信息执行空间滤波。此外，深度噪声滤波 设备103可根据深度信息执行时间滤波。此外，深度噪声滤波设备103可根据深度信息执 行空间滤波和时间滤波二者。此外，深度噪声滤波设备103可依次执行空间滤波和时间滤 波。 深度噪声滤波设备103可基于深度信息计算滤波器的大小或系数以生成滤波器， 并且可通过应用生成的滤波器来执行空间滤波。深度噪声滤波设备103可基于深度信息计 算参考帧的数量，以执行时间滤波。 具体地讲，可通过对滤波的深度信息和颜色信息进行重构来生成增强的3D图像 104。 如上所述，下面图2至图5中的方法可通过图1的深度噪声滤波设备103来执行， 因此可参照图l来描述。 图2是示出根据实施例的执行空间滤波以去除深度噪声的方法的流程图。
在操作S201，深度噪声滤波设备103可获得构成3D图像的滤波目标帧的区域的深 度信息。这里，所述区域可以是构成滤波目标帧的像素或块。具体地讲，深度噪声滤波设备 103可基于像素单元或块单元来执行滤波。深度信息可以指对象101与图像采集设备102 之间的距离。
11
深度噪声滤波设备103可经图像采集设备102获得深度信息，所述深度信息对应 于对象101与图像采集设备102之间的距离。 在操作S202，深度噪声滤波设备103可利用深度信息生成用于该区域的空间滤波 器。例如，深度噪声滤波设备103可基于深度信息确定将应用于该区域的空间滤波器的大 小和空间滤波器的系数中的至少一个。 在这种情况下，深度噪声滤波设备103可利用深度信息、图像采集设备102的最大 测量距离、图像采集设备102的最小测量距离以及在最大测量距离下的空间滤波器的最大 大小，来确定基于深度信息的空间滤波器的大小。例如，深度噪声滤波设备103可根据下面 的等式1确定空间滤波器的大小
[等式1]
<formula>formula see original document page 12</formula>
= (--) x max /zteraze
max Zto tan ce - min ￡fc tan ce 其中，d印th表示深度信息，size表示根据深度信息的空间滤波器的大小，
minDi stance表示图像采集设备102的最小测量距离，maxDi stance表示图像采集设备102
的最大测量距离，maxfiltersize表示在图像采集设备102的最大测量距离下的空间滤波
器的最大大小。 例如，这里假设图像采集设备102的最大测量距离为3. 5m，图像采集设备102的最 小测量距离为0. 5m，在最大测量距离下的空间滤波器的最大大小为9。另外，假设实际深度 图像在1. 5m和3m之间。当深度信息为1. 5m时，空间滤波器的大小可被确定为整数3。在 这种情况下，空间滤波器可被确定为3X3滤波器。空间滤波器的系数可被确定为1/9。此 外，当深度信息为1. 9时，空间滤波器的大小可被确定为4. 2，空间滤波器可被确定为4X4 滤波器。空间滤波器的系数可被确定为1/16。这里，空间滤波器的系数可表示将被应用于 3D图像的滤波目标帧的权重系数。 根据上面的等式1，当深度信息对应于较短距离时，深度噪声滤波设备103可减小 空间滤波器的大小。相反，当深度信息对应于较长距离时，深度噪声滤波设备103可增大空 间滤波器的大小。 例如，深度噪声滤波设备103可基于深度信息确定空间滤波器的系数。在相同的 滤波器大小的情况下，深度噪声滤波设备103可基于深度信息将空间滤波器的系数确定为 不同。 这里，在从空间滤波器的中心向空间滤波器的四周靠近时，空间滤波器的系数可 减小。空间滤波器的系数从空间滤波器的中心向空间滤波器的四周的减小速率(decrease rate)可被不同地确定。具体地讲，当深度信息对应于较短距离时，深度噪声滤波设备103 可将空间滤波器的系数的减小速率确定为较大。相反，当深度信息对应于较长距离时，深度 噪声滤波设备103可将空间滤波器的系数的减小速率确定为较小。 空间滤波器的系数的减小速率可通过例如高斯函数来表示。在这种情况下，可基 于高斯函数的sigma值来确定高斯函数的宽度。当深度信息对应于较短距离时，sigma值 可被设置为较小。相反，当深度信息对应于较长距离时，sigma值可被设置为较大。
深度噪声滤波设备103可基于深度信息同时确定空间滤波器的大小和系数。例 如，深度噪声滤波设备103可通过参照存储有空间滤波器信息的表来生成与深度信息对应的空间滤波器，所述空间滤波器信息与基于深度信息预先确定的空间滤波器的大小和空间 滤波器的系数中的至少一个相关联。具体地讲，深度噪声滤波设备103可针对特定深度信 息预先运行空间滤波器的特性，然后立即生成适合于输入的深度信息的空间滤波器。
当在表中没有设置用于生成空间滤波器的深度信息Dl时，深度噪声滤波设备103 可通过将表中现有的预定深度信息结合来生成空间滤波器。具体地讲，深度噪声滤波设备 103可在表的预定深度信息中，确定能够包含深度信息Dl的两条深度信息D2和D3。可通 过基于与深度信息Dl之差将权重应用于深度信息D2和D3每一个的空间滤波器来生成深 度信息D1的空间滤波器。 在操作S203，深度噪声滤波设备103可通过将空间滤波器应用于所述区域的深度 信息来对3D图像执行深度信息滤波。如上所述，所述区域可以是构成滤波目标帧的像素或 块。通过应用空间滤波器，可去除对应于高频分量的深度噪声。具体地讲，由于当深度信息 对应于长距离时，高频分量作为深度噪声出现，所以深度噪声滤波设备103可通过增加深 度噪声滤波的强度来去除深度噪声。稍后将参照图9详细描述应用空间滤波器的示例。
具体地讲，在构成3D图像的单个滤波目标帧中，空间滤波可以指通过将空间滤波 器应用于构成该滤波目标帧的区域来去除深度噪声。此外，随着与对象101的距离变得越 远，深度噪声会更频繁地出现。因此，随着与对象101的距离变得更远，深度噪声滤波设备 103可增大滤波强度，以去除深度噪声。 图3是示出根据实施例的执行时间滤波以去除深度噪声的方法的流程图。
在操作S301，深度噪声滤波设备103可获得构成3D图像的滤波目标帧的区域的深 度信息。在这种情况下，深度噪声滤波设备103可从图像采集设备102获得深度信息。所 述区域和深度信息与上面参照图2进行的描述相同。 在操作S302，深度噪声滤波设备103可利用深度信息计算与所述区域关联的参考 帧的数量。由于对于每一区域，深度信息是不同的，所以针对每一区域计算的参考帧的数量 也会是不同的。在这种情况下，以滤波目标帧为基准，时间上在前或在后出现的多个帧可被 确定为参考帧。 深度噪声滤波设备103可利用深度信息、图像采集设备102的最大测量距离、图像 采集设备102的最小测量距离以及在最大测量距离下的参考帧的数量中的至少一个，来计 算基于深度信息的参考帧的数量。例如，深度噪声滤波设备103可根据下面的等式2计算 参考帧的数量
[等式2]
r ， 、 t , (iep/72 _ min Zfe tan ce 、、 r ^tVww = (~~——￡:-) x max A^wo/Frowes
max ￡fe tan - min ￡fc tan 其中，d印th表示深度信息，Num2表示参考帧的数量，minDistance表示图像 采集设备102的最小测量距离，maxDistance表示图像采集设备102的最大测量距离， maxN咖ofFrames表示在图像采集设备102的最大测量距离下的参考帧的最大数量。
例如，这里假设图像采集设备102的最大测量距离为3. 5m，图像采集设备102的最 小测量距离为0. 5m，在最大测量距离下的参考帧的最大数量为9。另外，假设实际深度图像 在1. 5m和3m之间。当深度信息为1. 5m时，Num可被确定为整数3，因此参考帧的数量可为 9。此夕卜，当深度信息为1. 9m时，Num可被确定为4. 2，因此参考帧的数量可为16。
13
在这种情况下，将被应用于每一参考帧的区域的权重可被确定为与参考帧的数量 成反比。具体地讲，当参考帧的数量为9时，权重1/9可适用于9个参考帧中的每一个的区 域的深度信息。 根据上面的等式2，当深度信息对应于较短距离时，深度噪声滤波设备103可减少 参考帧的数量；相反，当深度信息对应于较长距离时，深度噪声滤波设备103可增加参考帧 的数量。 在操作S303，深度噪声滤波设备103可基于计算的参考帧的数量确定滤波目标帧 中的所述区域的深度信息。例如，深度噪声滤波设备103可对计算的参考帧的深度信息进 行平均，以确定滤波目标帧中的所述区域的深度信息。 例如，当参考帧的数量为9时，深度噪声滤波设备103可首先将权重1/9应用于与 滤波目标帧的所述区域对应的9个参考帧中的每一个参考帧的区域的深度信息。接下来， 深度噪声滤波设备103可对应用的结果进行平均，并确定滤波目标帧的所述区域的深度信息。 图4是示出根据实施例的执行空间滤波和时间滤波以去除深度噪声的方法的流 程图。 现在参照图1和图4，在操作S401，深度噪声滤波设备103可获得构成3D图像的 滤波目标帧的区域的深度信息。所述区域和深度信息可参照上面参照图2进行的描述。
在操作S402，深度噪声滤波设备103可利用在操作S401获得的深度信息生成用于 所述区域的空间滤波器，以将所述空间滤波器应用于所述区域的深度信息。这里，操作S401 和S402可表示空间滤波。与操作S401和S402有关的更详细的描述可参考上面参照图2 所进行的描述。 在操作S403，深度噪声滤波设备103可利用构成滤波目标帧的所述区域的深度信
息计算与所述区域关联的参考帧的数量。这里，空间滤波器被应用于所述深度信息。在操作S404，深度噪声滤波设备103可基于利用在操作S403获得的深度信息计算
的参考帧的数量确定滤波目标帧中的所述区域的更新的深度信息。这里，操作S403和S404
可表示时间滤波。有关操作S403和S404的更详细的描述可参考上面参照图3所进行的描述。 具体地讲，图4可示出针对3D图像首先应用空间滤波，然后应用时间滤波的示例。
图5是示出根据实施例的执行时间滤波和空间滤波以去除深度噪声的方法的流 程图。 参照图1和图5，在操作S501，深度噪声滤波设备103可获得构成3D图像的滤波 目标帧的区域的深度信息。所述区域和深度信息可参考上面参照图2进行的描述。
在操作S502，深度噪声滤波设备103可利用构成3D图像的滤波目标帧的所述区域 的深度信息计算与所述区域关联的参考帧的数量。 在操作S503，深度噪声滤波设备103可基于计算的参考帧的数量确定滤波目标帧 中的所述区域的深度信息。这里，操作S502和S503可与前面应用时间滤波的处理相关联， 因此与其有关的更详细的描述可参考上面参照图3所进行的描述。 在操作S504，深度噪声滤波设备103可利用在操作S503确定的深度信息生成所述 区域的空间滤波器，以将所述空间滤波器应用于在操作S503确定的所述区域的深度信息。
14
这里，操作S504可与前面的应用空间滤波的处理相关联，因此与其有关的更详细 的描述可参考上面参照图3所进行的描述。 具体地讲，图5可示出针对3D图像首先应用时间滤波，然后应用空间滤波的示例。
图6是示出根据实施例的基于深度信息的深度噪声差异的示例的示图。
参照图6，可根据作为对象101与图像采集设备102之间的距离的深度信息来验证 深度噪声的水平。如上面参照图1所描述的，可通过将从图像采集设备102发射的光被对 象101反射从而返回图像采集设备102的持续时间除以光速来确定深度信息。在这种情况 下，当靠近图像采集设备102布置对象101时，从对象101反射的光的光强会较大，因此深 度信息的精度会较高。相应地，随着对象101与图像采集设备102之间的距离变近，深度噪 声会相对较小。相反，当远离图像采集设备102布置对象101时，反射光的光强会较小，因 此深度信息的精度会较低。在这种情况下，依附于深度信息的深度噪声会相对较大。
具体地讲，随着对象101与图像采集设备102之间的距离变远，深度噪声会增加。 相反，随着对象101与图像采集设备102之间的距离变近，深度噪声会减少。因此，根据实 施例的图1的深度噪声滤波设备103可生成空间滤波器，以使得在从空间滤波器的中心向 空间滤波器的四周靠近的同时，空间滤波器的系数可减小。在这种情况下，深度噪声滤波设 备103可基于深度信息将空间滤波器的系数的减小速率确定为不同。例如，随着对象101与 图像采集设备102之间的距离变远，深度噪声滤波设备103可减小空间滤波器的系数的减 小速率。相反，随着对象101与图像采集设备102之间的距离变近，深度噪声滤波设备103 可增大空间滤波器的系数的减小速率。此外，随着对象101与图像采集设备102之间的距 离变远，深度噪声滤波设备103可增加用于时间滤波的参考帧的数量。
图7是示出根据实施例的基于深度信息计算空间滤波器的大小的处理的示图。
如上面参照图6所描述的，随着对象101与图像采集设备102之间的距离变远，图 1的深度噪声滤波设备103可增加用于空间滤波的空间滤波器的大小。具体地讲，当对象 101与图像采集设备102之间的距离对应于长距离时，可确定5X5空间滤波器701。当对 象101与图像采集设备102之间的距离对应于中等距离时，可确定4X4空间滤波器702。 此外，当对象101与图像采集设备102之间的距离对应于短距离时，可确定3X3空间滤波 器703。 确定空间滤波器的大小的处理可参考上面的等式1。 图8是示出根据实施例的基于深度信息计算空间滤波器的系数的处理的示图。 这里，假设空间滤波器801 、802、803和804具有相同的大小。 如上面参照图6所描述的，随着对象101与图像采集设备102之间的距离变远，图
1的深度噪声滤波设备103可减小空间滤波器的系数的减小速率。具体地讲，在从空间滤波
器的中心向空间滤波器的四周靠近的同时，深度噪声滤波设备103可减小空间滤波器的系
数。在这种情况下，深度噪声滤波设备103可基于深度信息不同地确定空间滤波器的系数
的减小速率。 当深度信息对应于较短距离时，深度噪声滤波设备103可增加空间滤波器的系数 的减小速率。在执行空间滤波时，将被应用空间滤波器的区域会较少受到相邻区域的深度 信息的影响。相反，当深度信息对应于较长距离时，深度噪声滤波设备103可减小空间滤波 器的系数的减小速率。具体地讲，在执行空间滤波时，应用了空间滤波器的区域会极大地受到相邻区域的深度信息的影响。 参照图8，可通过高斯函数来表示空间滤波器的系数的减小速率。这里，用于确定 高斯函数的宽度的sigma值表示空间滤波器的系数的减小速率，并且可基于深度信息被不 同地设置。例如，当深度信息对应于短距离时，高斯函数的sigma值可被设置为较小。相反， 当深度信息对应于长距离时，高速函数的sigma值可被设置为较大。 参照图8，随着对象101与图像采集设备102之间的距离变远，深度噪声会变强，因 此深度噪声滤波设备103可增大滤波强度。具体地讲，当滤波强度增大时，可去除深度信息 中的大量高频分量。相反，随着对象101与图像采集设备103之间距离变近，深度噪声会变 弱，因此深度噪声滤波设备103可减小滤波强度。例如，当深度信息对应于长距离时，3D图 像的高频分量可能是噪声分量。在这种情况下，深度噪声滤波设备103可调节滤波强度，以 去除对应于噪声分量的高频分量。相反，当深度信息对应于短距离时，3D图像的高频分量会 是3D图像的原始分量，而非噪声分量。因此，深度噪声滤波设备103可调节滤波强度，以保 留对应于3D图像的原始分量的高频分量。 图9示出根据实施例的将空间滤波器901应用于深度信息的示例。
空间滤波器901表示通过图1的深度噪声滤波设备103生成的空间滤波器。深度 信息902表示将被应用空间滤波器901的区域的深度信息。在这种情况下，空间滤波器901 可应用于区域e。区域e可以是像素或者由像素组成的块。 可通过将空间滤波器901应用于所述区域的深度信息902来获得另一深度信息 903。具体地讲，深度信息903对应于执行空间滤波的结果。e'表示执行了空间滤波的深度信息。 例如，可根据下面的等式3确定执行了空间滤波的深度信息e'。
[等式3] e ， = (AXa) + (BXb) + (CXc) + (DXd) + (EXe) + (FXf) + (GXg) + (HXh) + (IXi)
参照上面的等式3，可基于将被应用空间滤波器901的区域的相邻区域的深度信 息来执行空间滤波。上面的滤波处理被称为基于掩模的滤波处理。根据实施例，可基于滤 波目标区域的深度信息确定空间滤波器的大小或系数。 图IO示出根据实施例的基于深度信息确定参考帧的数量以执行时间滤波的示 例。 图10的多个帧可表示用于执行时间滤波的参考帧。这里，假设帧1001是滤波目 标帧。滤波目标帧1001可包括区域1002、 1003和1004。 此外，这里假设从图1的远离图像采集设备102布置的对象101获得区域1002的
深度信息，从与图像采集设备102相距中等距离布置的对象101获得区域1003的深度信
息，从与图像采集设备102近距离布置的对象101获得区域1004的深度信息。 根据实施例，深度噪声滤波设备103可利用深度信息计算与所述区域关联的参考
帧的数量。例如，当所述区域的深度信息对应于较长距离时，深度噪声滤波设备103可增加
参考帧的数量，相反，当所述区域的深度信息对应于较短距离时，深度噪声滤波设备103可
减少参考帧的数量。 参照图IO，在区域1004的情况下，深度信息可对应于短距离，因此可确定相对较 少数量的参考帧1007。此外，在区域1003的情况下，深度信息可对应于中等距离，因此可
16确定大于参考帧1007的数量的中等数量的参考帧1006。此外，在区域1002的情况下，深 度信息可对应于长距离，因此，可确定相对较大数量的参考帧1005。在这种情况下，可以看 出，参考帧1005的数量可大于参考帧1006或1007的数量。 具体地讲，根据实施例，在滤波目标帧1001中，当深度信息对应于较短距离时，深 度噪声滤波设备103可减少参考帧的数量，当深度信息对应于较长距离时，深度噪声滤波 设备103可增加参考帧的数量。例如，在对区域1003执行时间滤波时，深度噪声滤波设备 103可通过对与参考帧1006的数量对应的参考帧中的区域1003的深度信息进行平均，来更 新区域1003的深度信息。 图11是示出根据实施例的用于执行空间滤波的深度噪声滤波设备1103的构造的 框图。 参照图ll，深度噪声滤波设备1103可包括空间滤波器生成单元1101和滤波单元 1102。 空间滤波器生成单元1101可利用构成3D图像的滤波目标帧的区域的深度信息， 生成用于所述区域的空间滤波器。例如，空间滤波器生成单元1101可利用深度信息计算空 间滤波器的大小和系数中的至少一个。此外，空间滤波器生成单元1101可同时计算空间滤 波器的大小和系数。如上面参照图l所描述的，所述区域可以是构成滤波目标帧的像素或 块。深度信息可以对应于图像采集设备与对象之间的距离。 在这种情况下，空间滤波器生成单元1101可利用深度信息、图像采集设备的最大 测量距离、图像采集设备的最小测量距离以及在最大测量距离下的空间滤波器的最大大小 来确定基于深度信息的空间滤波器的大小。 此外，当深度信息对应于较短距离时，空间滤波器生成单元1101可减小空间滤波 器的大小，相反，当深度信息对应于较长距离时，空间滤波器生成单元1101可增加空间滤
波器的大小。此外，空间滤波器生成单元iioi可以以下述方式生成空间滤波器，即在从空
间滤波器的中心向空间滤波器的四周靠近的同时，空间滤波器的系数可减小。例如，空间滤 波器生成单元1101可根据深度信息不同地确定减小速率。具体地讲，当深度信息对应于较 短距离时，空间滤波器生成单元1101可增大空间滤波器的系数的减小速率。相反，当深度 信息对应于较长距离时，空间滤波器生成单元1101可减小空间滤波器的系数的减小速率。
具体地讲，空间滤波器生成单元1101可通过基于深度信息执行运算处理来实时 地生成空间滤波器。此外，例如，空间滤波器生成单元1101可通过参考存储有空间滤波器 信息的表来生成对应于深度信息的空间滤波器，所述空间滤波器信息与基于深度信息预先 确定的空间滤波器的大小和空间滤波器的系数中的至少一个关联。具体地讲，空间滤波器 生成单元1101可针对特定深度信息预先运行空间滤波器的特性，然后立即生成适合于输 入的深度信息的空间滤波器。 在这种情况下，当表中没有存储用于生成所述空间滤波器的深度信息Dl时，空间 滤波器生成单元1101可通过将表中现有的预定深度信息结合来生成所述空间滤波器。具 体地讲，空间滤波器生成单元1101可通过将权重应用于与能够包含深度信息D1的两条深 度信息D2和D3中的每一条对应的空间滤波器来生成根据深度信息Dl的空间滤波器。
滤波单元1102可通过将所述空间滤波器应用于所述区域的深度信息来对3D图像 执行深度噪声滤波。在这种情况下，可通过应用基于掩模的空间滤波器，基于所述区域的相邻区域的深度信息来执行深度噪声滤波。 图12是示出根据实施例的用于执行时间滤波的深度噪声滤波设备1203的构造的 框图。 参照图12，深度噪声滤波设备1203可包括帧计算单元1201和深度信息决定单元 1202。 帧计算单元1201可利用构成3D图像的滤波目标帧的区域的深度信息计算与所述 区域关联的参考帧的数量。例如，帧计算单元1201可利用深度信息、图像采集设备的最大 测量距离、图像采集设备的最小测量距离以及在最大测量距离下的参考帧的数量来计算基 于深度信息的参考帧的数量。在这种情况下，当所述区域的深度信息对应于较长距离时，帧 计算单元1201可增加参考帧的数量。相反，当所述区域的深度信息对应于较短距离时，帧 计算单元1201可减小参考帧的数量。 深度信息决定单元1202可基于计算的参考帧的数量确定滤波目标帧中的所述区 域的深度信息。例如，深度信息决定单元1202可对每一参考帧的区域的深度信息进行平 均，以确定滤波目标帧中的所述区域的深度信息。 在图11和图12中没有描述的事物可以参考上面参照图1至图10进行的描述。
根据实施例，可提供一种能够根据深度信息执行空间滤波，从而自适应地去除深 度噪声的深度噪声滤波方法和设备。 根据实施例，可提供一种能够根据深度信息执行时间滤波，从而自适应地去除深 度噪声的深度噪声滤波方法和设备。 根据实施例，可提供一种能够根据深度信息计算空间滤波器的大小或系数以便执
行空间滤波，从而根据深度信息有效去除深度噪声的深度噪声滤波方法和设备。 根据实施例，可提供一种能够基于深度信息确定参考帧的数量以便执行时间滤
波，从而根据深度信息有效去除深度噪声的深度噪声滤波方法和设备。 根据上述实施例的深度噪声滤波方法可被记录在包含程序指令的计算机可读介 质中，所述程序指令由计算机执行以实现各种操作。所述介质还可包括程序指令、数据文 件、数据结构等或者其组合。计算机可读介质的例子包括磁介质，如硬盘、软盘和磁带；光 学介质，如CD ROM盘和DVD ;磁光介质，如光盘；以及专门配置为存储和执行程序指令的硬 件装置，如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的例子包括机器 码(例如由编译器生成的机器码)和包含能够被计算机利用解释程序执行的高级代码的文 件。所描述的硬件装置可被配置为用作一个或多个软件模块，以便执行上述实施例的操作， 反之亦然。 尽管已经显示和描述了若干实施例，但是本领域技术人员应该理解的是，在不脱 离本公开的原理和精神的情况下，可对这些实施例进行改变，本公开的范围由权利要求及 其等同物限定。
权利要求
一种对深度噪声进行滤波的方法，所述方法包括获得构成3D图像的滤波目标帧的区域的深度信息；利用所述深度信息生成用于所述区域的空间滤波器；通过将所述空间滤波器应用于所述区域的深度信息来对3D图像执行深度噪声滤波。
2. 根据权利要求1所述的方法，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，生成步骤包括基于深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波 器的系数中的至少一个。
3. 根据权利要求2所述的方法，其中，生成步骤包括利用深度信息、图像采集设备的 最大测量距离、图像采集设备的最小测量距离和在最大测量距离下的空间滤波器的最大大 小中的至少一个，确定基于深度信息的空间滤波器的大小。
4. 根据权利要求2所述的方法，其中，生成步骤包括通过参照存储有空间滤波器信息 的表来生成对应于深度信息的空间滤波器，所述空间滤波器信息与基于深度信息预先确定 的空间滤波器的大小和空间滤波器的系数中的所述至少一个关联。
5. 根据权利要求2所述的方法，其中，生成步骤进一步包括当深度信息对应于较短距 离时，减小空间滤波器的大小。
6. 根据权利要求2所述的方法，其中生成步骤进一步包括当深度信息对应于较短距离时，增加空间滤波器的系数的减小 速率，在从空间滤波器的中心向空间滤波器的四周靠近的同时，空间滤波器的系数减小。
7. 根据权利要求1所述的方法，其中，所述区域是构成滤波目标帧的像素或块中的任 何一个。
8. —种对深度噪声进行滤波的方法，所述方法包括 获得构成3D图像的滤波目标帧的区域的深度信息； 利用所述深度信息计算与所述区域关联的参考帧的数量； 基于计算的参考帧的数量更新滤波目标帧中的所述区域的深度信息。
9. 根据权利要求8所述的方法，所述方法进一步包括将空间滤波器应用于所述深度 信息，计算步骤包括，利用应用所述空间滤波器的深度信息计算参考帧的数量。
10. 根据权利要求8所述的方法，所述方法进一步包括对所述获得的深度信息执行时 间滤波。
11. 根据权利要求8所述的方法，所述方法进一步包括对所述更新的深度信息执行空 间滤波。
12. 根据权利要求8所述的方法，所述方法进一步包括 利用所述更新的深度信息生成空间滤波器；所述空间滤波器应用于所述更新的深度信息。
13. 根据权利要求8所述的方法，所述方法对所述深度信息执行空间滤波后执行时间 滤波。
14. 根据权利要求8所述的方法，所述方法对所述深度信息执行时间滤波后执行空间滤波。
15. 根据权利要求8所述的方法，所述方法进一步包括将权重应用于关于所述参考帧 的每个区域的更新的深度信息，所述权重基于计算的参考帧的数量被确定。
16. 根据权利要求8所述的方法，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，计算步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小测 量距离和在最大测量距离下的参考帧的数量中的至少一个，确定基于深度信息的参考帧的 数量。
17. 根据权利要求16所述的方法，其中，计算步骤包括当所述区域的深度信息对应于 较短距离时，减少参考帧的数量。
18. 根据权利要求8所述的方法，其中，更新步骤包括对参考帧中的每一个的区域的 深度信息进行平均，以更新滤波目标帧中的所述区域的深度信息。
19. 一种对深度噪声进行滤波的方法，所述方法包括 获得构成3D图像的滤波目标帧的区域的深度信息；利用所述深度信息生成用于所述区域的空间滤波器，以将所述空间滤波器应用于所述 区域的深度信息；利用构成滤波目标帧的所述区域的深度信息计算与所述区域关联的参考帧的数量，其 中，所述空间滤波器被应用于所述深度信息；基于计算的参考帧的数量更新滤波目标帧中的所述区域的深度信息。
20. 根据权利要求19所述的方法，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，生成步骤包括基于深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波 器的系数中的至少一个。
21. 根据权利要求20所述的方法，其中，生成步进一步骤包括通过参照存储有空间滤 波器信息的表来生成对应于深度信息的空间滤波器，所述空间滤波器信息与基于深度信息 预先确定的空间滤波器的大小和空间滤波器的系数中的所述至少一个关联。
22. 根据权利要求20所述的方法，其中，生成步骤进一步包括利用深度信息、图像采 集设备的最大测量距离、图像采集设备的最小测量距离和在最大测量距离下的空间滤波器 的最大大小中的至少一个，确定基于深度信息的空间滤波器的大小。
23. 根据权利要求19所述的方法，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，计算步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小测 量距离和在最大测量距离下的参考帧的数量中的至少一个，确定基于深度信息的参考帧的 数量。
24. 根据权利要求19所述的方法，其中，更新步骤包括对参考帧中的每一个的区域的深度信息进行平均，以更新滤波目标帧中的所述区域的深度信息。
25. —种对深度噪声进行滤波的方法，所述方法包括利用构成3D图像的滤波目标帧的区域的深度信息，计算关于所述区域的参考帧的数基于计算的参考帧的数量更新滤波目标帧中的所述区域的深度信息； 利用所述更新的深度信息生成用于所述区域的空间滤波器，以将所述区域的空间滤波 器应用于所述区域的深度信息。
26. 根据权利要求25所述的方法，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，计算参考帧的数量的步骤包括利用深度信息、图像采集设备的最大测量距离、图像采 集设备的最小测量距离和在最大测量距离下的参考帧的数量中的至少一个，计算基于深度 信息的参考帧的数量。
27. 根据权利要求25所述的方法，其中，更新步骤包括对参考帧中的每一个的区域的 深度信息进行平均，以更新滤波目标帧中的所述区域的深度信息。
28. 根据权利要求25所述的方法，其中所述深度信息对应于对象与图像采集设备之间关于所述区域的距离， 生成步骤包括基于所述更新的深度信息确定将应用于所述区域的空间滤波器的大小 和空间滤波器的系数中的至少一个。
29. 根据权利要求28所述的方法，其中，生成步骤包括通过参照存储有空间滤波器信 息的表来生成对应于所述更新的深度信息的空间滤波器，所述空间滤波器信息与基于所述 更新的深度信息预先确定的空间滤波器的大小和空间滤波器的系数中的所述至少一个关 联。
30. 根据权利要求28所述的方法，其中，生成步骤包括利用深度信息、图像采集设备 的最大测量距离、图像采集设备的最小测量距离和在最大测量距离下的空间滤波器的最大 大小中的至少一个，确定基于所述更新的深度信息的空间滤波器的大小。
31. —种生成空间滤波器的方法，所述方法包括 获得构成3D图像的滤波目标帧的区域的深度信息； 基于所述深度信息确定用于所述区域的空间滤波器的特性； 基于空间滤波器的所述特性，生成将被应用于所述区域的空间滤波器。
32. 根据权利要求31所述的方法，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，确定步骤包括基于深度信息确定将应用于所述区域的空间滤波器的大小和空间滤波 器的系数中的至少一个。
33. 根据权利要求32所述的方法，其中，生成步骤包括通过参照存储有空间滤波器信息的表来生成对应于深度信息的空间滤波器，所述空间滤波器信息与基于深度信息预先确 定的空间滤波器的大小和空间滤波器的系数中的所述至少一个关联。
34. 根据权利要求32所述的方法，其中，确定步骤包括利用深度信息、图像采集设备的最大测量距离、图像采集设备的最小测量距离和在最大测量距离下的空间滤波器的最大 大小中的至少一个，确定基于深度信息的空间滤波器的大小。
35. 根据权利要求32所述的方法，其中，确定步骤包括当所述更新的深度信息对应于 较短距离时，减小空间滤波器的大小。
36. 根据权利要求32所述的方法，其中确定步骤包括当所述更新的深度信息对应于较短距离时，增加空间滤波器的系数的 减小速率，在从空间滤波器的中心向空间滤波器的四周靠近的同时，空间滤波器的系数减小。
37. —种对深度噪声进行滤波的设备，所述设备包括空间滤波器生成单元，利用构成3D图像的滤波目标帧的区域的深度信息生成用于所 述区域的空间滤波器；滤波单元，通过将所述空间滤波器应用于所述区域的深度信息来对3D图像执行深度 噪声滤波。
38. 根据权利要求37所述的设备，其中深度信息对应于对象与图像采集设备之间关于所述区域的距离，空间滤波器生成单元基于深度信息确定将应用于所述区域的空间滤波器的大小和空 间滤波器的系数中的至少一个。
39. 根据权利要求38所述的设备，其中，空间滤波器生成单元通过参照存储有空间滤 波器信息的表来生成对应于深度信息的空间滤波器，所述空间滤波器信息与基于深度信息 预先确定的空间滤波器的大小和空间滤波器的系数中的所述至少一个关联。
40. —种对深度噪声进行滤波的设备，所述设备包括帧计算单元，利用构成3D图像的滤波目标帧的区域的第一深度信息计算与所述区域 关联的参考帧的数量；深度信息决定单元，基于计算的参考帧的数量确定滤波目标帧中的所述区域的第二深 度信息。
41. 根据权利要求40所述的设备，其中，深度信息决定单元对参考帧中的每一个的区 域的深度信息进行平均，以确定滤波目标帧中的所述区域的第二深度信息。
42. 根据权利要求40所述的设备，所述设备利用所述第二深度信息执行时间滤波。
43. 根据权利要求40所述的设备，所述设备利用所述第二深度信息执行空间滤波。
44. 根据权利要求40所述的设备，其中，所述深度信息决定单元，按照所述第二深度信 息生成空间滤波器确定第三深度信息，且将所述空间滤波器应用于所述第二深度信息。
45. 根据权利要求40所述的设备，所述设备执行空间滤波后执行时间滤波。
46. 根据权利要求40所述的设备，所述设备执行时间滤波后执行空间滤波。
47. 根据权利要求40所述的设备，其中，所述深度信息决定单元，将权重应用于关于 所述参考帧的每个区域的深度信息，所述权重基于所述计算的参考帧的数量被确定。
48. 根据权利要求40所述的设备，所述设备将空间滤波器应用于深度信息，以生成所 述第一深度信息。
49. 根据权利要求48所述的设备，所述设备利用与所述第一深度信息和第二深度信息 不同的深度信息生成空间滤波器。
全文摘要
本发明公开了一种利用深度信息对深度噪声进行滤波的方法及设备。所述深度噪声滤波方法可根据深度信息执行空间滤波或时间滤波。为了执行空间滤波，深度噪声滤波方法可基于深度信息确定空间滤波器的特性。此外，为了执行时间滤波，深度噪声滤波方法可基于深度信息确定参考帧的数量。深度噪声滤波方法可根据深度信息自适应地去除深度噪声，从而提高噪声滤波性能。
文档编号G09G5/36GK101783024SQ20101000391
公开日2010年7月21日 申请日期2010年1月13日 优先权日2009年1月21日
发明者姜柄敏, 林和燮 申请人:三星电子株式会社