用于使用视点之间的相关性对图像进行处理的设备和方法
【专利摘要】一种用于使用视点之间的相关性对图像进行处理的设备和方法可包括：噪声去除单元，用于从至少一个输入的深度图像去除噪声；视点变换单元，用于执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；加权均值滤波器单元，用于从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数，并且使用产生的加权系数来产生加权均值滤波器；深度图像变换单元，用于通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像。
【专利说明】用于使用视点之间的相关性对图像进行处理的设备和方法
[0001]本申请要求于2012年9月11日提交到韩国知识产权局的第10-2012-0100237号韩国专利申请的优先权利益，其公开通过引用合并于此。
【技术领域】
[0002]下面描述的示例实施例涉及一种用于使用视点之间的相关性对图像进行处理的设备和方法，更具体地讲，涉及一种在深度图像的压缩中可支持前置滤波器(pre-filter)和环路滤波器中的恢复功能的图像处理设备和方法。
【背景技术】
[0003]三维(3D)图像压缩系统可被用于对彩色图像和深度图像(例如，深度图)进行压缩。例如，H.264/先进视频编码(AVC)方案、H.264/多视点视频编码(MVC)方案、高效率视频编码(HEVC)方案可被用于有效地对彩色图像进行压缩。然而，深度图像的图像特征与彩色图像的图像特征完全不同。
[0004]用于对图像进行压缩或编码的现有标准可包括例如H.261、H.263、运动图像专家组(MPEG) -K MPEG-2, MPEG-4, H.264 和 HEVC 等。
[0005]现有压缩标准彼此稍有不同，但通常配置有相似的结构，其中，所述结构包括运动估计、运动补偿、变换编码和熵编码。
[0006]具体地，H.264和HEVC被公知为通过在恢复的图像中最小化块边界失真来提高主观图像质量并且在运动估计和压缩处理中使得能够进行更精确的预测，从而提高总编码效率。
[0007]上面的去块滤波器在具有低比特率的图像中表现出良好的性能。然而，在高质量图像中，去块滤波器的性能可能难以表现，或者可能甚至降低编码性能。
[0008]另外，最近针对压缩标准采用的自适应环路滤波器(ALF)可被用于最小化原始图像和恢复的图像之间的误差。当ALF和去块滤波器两者被应用于高质量图像时，编码效率可增加。
[0009]典型的ALF被用作基于维纳滤波器的恢复滤波器。
[0010]最近，正提出一种用于通过在去块滤波器之后设置ALF以提高客观图像质量的方法。
【发明内容】
[0011]通过提供一种图像处理设备来实现前述和/或其他方面，其中，所述图像处理设备包括:噪声去除单元，用于从至少一个输入的深度图像去除噪声；视点变换单元，用于执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；加权均值滤波器单元，用于从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数，并且使用产生的加权系数来产生加权均值滤波器；深度图像变换单元，用于通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像，其中，变换的第三深度图像被用于对深度图像进行编码。
[0012]噪声去除单元可使用范围操作从所述至少一个输入的深度图像去除噪声。
[0013]视点变换单元可将第二深度图像变换为深度空间，并且可使用所述深度空间将第二深度图像的第二视点变换到第一视点。
[0014]加权均值滤波器单元可使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且可使用确定的阈值来产生加权系数。
[0015]还通过提供一种图像处理设备来实现前述和/或其他方面，其中，所述图像处理设备包括:视点变换单元，用于执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；加权均值滤波器单元，用于基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征来确定阈值，并且基于确定的阈值来对深度空间执行加权均值滤波；深度图像变换单元，用于将经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。
[0016]加权均值滤波器单元可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和压缩条件来确定阈值。
[0017]加权均值滤波器单元可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和量化参数(QP)，针对每个访问单元或针对每个条带来确定阈值。
[0018]通过提供一种图像处理方法来实现前述和/或其他方面，其中，所述图像处理方法包括:由噪声去除单元从至少一个输入的深度图像去除噪声；由视点变换单元执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；由加权均值滤波器单元从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数；由加权均值滤波器单元使用产生的加权系数产生加权均值滤波器；由深度图像变换单元通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像，其中，变换的第三深度图像被用于对深度图像进行编码。
[0019]执行视点变换的步骤可包括:由视点变换单元将第二深度图像变换为深度空间；由视点变换单元使用所述深度空间将第二深度图像的第二视点变换到第一视点。
[0020]产生所述至少一个加权系数的步骤可包括:由加权均值滤波器单元使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值；由加权均值滤波器单元使用确定的阈值来产生加权系数。
[0021]通过提供一种图像处理方法来实现前述和/或其他方面，其中，所述图像处理方法包括:由视点变换单元执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；由加权均值滤波器单元基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征和压缩条件来确定阈值；由加权均值滤波器单元基于确定的阈值对深度空间执行加权均值滤波；由深度图像变换单元将经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。[0022]确定阈值的步骤可包括:基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和QP，针对每个访问单元或针对每个条带来确定阈值。
[0023]确定阈值的步骤可包括:使用多个阈值对深度空间执行滤波，将所述多个阈值之中的与和原始图像的图像质量最相似的图像质量相应的阈值确定为最终阈值。
[0024]确定阈值的步骤可包括:使用多个权重对深度空间执行滤波，将所述多个权重之中的与和原始图像的图像质量最相似的图像质量相应的权重确定为最终权重。
[0025]示例实施例的另外的方面、特征和/或优点将在下面的描述中被部分阐明，还有一部分从描述中将是清楚的或可通过本公开的实施而被得知。
【专利附图】
【附图说明】
[0026]从下面结合附图对示例实施例的描述中，这些和/或其他方面和优点将变得清楚并更易于理解，其中:
[0027]图1示出根据示例实施例的作为预处理位置的视点间滤波器(inter-viewfilter)操作的图像处理设备的框图；
[0028]图2示出根据示例实施例的作为环路位置的视点间滤波器操作的图像处理设备的框图；
[0029]图3示出根据示例实施例的三维(3D)图像压缩系统的编码器的示图；
[0030]图4示出根据示例实施例的3D图像压缩系统的解码器的示图；
[0031]图5示出根据示例实施例的深度图像的视点变换的示图；
[0032]图6示出根据示例实施例的作为预处理位置的视点间滤波器操作的图像处理设备的图像处理方法的流程图；
[0033]图7示出根据示例实施例的作为环路位置的视点间滤波器操作的图像处理设备的图像处理方法的流程图。
【具体实施方式】
[0034]现在将详细参照示例实施例，其示例在附图中示出，其中，相同的标号始终指示相同的元件。下面通过参照附图来描述实施例以解释本公开。
[0035]图1示出根据示例实施例的作为预处理位置的视点间滤波器操作的图像处理设备100的框图。
[0036]图1的图像处理设备100可支持前置滤波器和环路滤波器中的恢复功能。图1与前置滤波器的功能有关，并且示出具有用于提高邻近视点之间的图像的相似度并提高图像的压缩率的预处理滤波功能的图像处理设备100。
[0037]预处理滤波可支持通过从原始图像去除各种噪声和非重要部分来最小化图像的比特率以及提高压缩率的功能，并且可支持通过提高邻近视点之间的图像的相似度来最大化图像的质量以及提高压缩率的功能。
[0038]在图1中，可提供联合视点间滤波器(JVT)方案。JVT方案可被用于当多视点深度图像被输入时，通过使用邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并提高压缩效率。
[0039]图像处理设备100可包括噪声去除单元110、视点变换单元120、加权均值滤波单元130和深度图像变换单元140。
[0040]噪声去除单元110可从至少一个输入的深度图像去除噪声。
[0041]例如，噪声去除单元110可使用范围操作(range operation)来从所述至少一个输入的深度图像去除噪声。
[0042]具体地，噪声去除单元110可使用下面的等式I从所述至少一个输入的深度图像去除噪声:
[0043][等式I]
【权利要求】
1.一种图像处理设备，包括: 噪声去除单元，适用于从至少一个输入的深度图像去除噪声； 视点变换单元，适用于执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间； 加权均值滤波器单元，适用于从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数，并且使用产生的加权系数来产生加权均值滤波器； 深度图像变换单元，适用于通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像， 其中，变换的第三深度图像被用于对深度图像进行编码。
2.如权利要求1所述的图像处理设备，其中，噪声去除单元使用范围操作从所述至少一个输入的深度图像去除噪声。
3.如权利要求1所述的图像处理设备，其中，视点变换单元将第二深度图像变换为深度空间，并且使用所述深度空间将第二深度图像的第二视点变换到第一视点。
4.如权利要求1所述的图像处理设备，其中，加权均值滤波器单元使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且使用确定的阈值来产生加权系数。
5.如权利要求1所述的图像处理设备，还包括: 预测单元，适用于使用帧内预测和帧间预测来输出预测图像；` 变换和量化单元，适用于输出差分图像； 熵编码单元； 反量化和反变换单元，适用于对差分图像执行反量化和反变换； 画面缓冲器，适用于存储第三深度图像，使得第三深度图像可被用作参考图像。
6.一种图像处理设备，包括: 视点变换单元，适用于执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间； 加权均值滤波器单元，适用于基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征来确定阈值，并且基于确定的阈值来对第一视点的深度空间执行加权均值滤波； 深度图像变换单元，适用于将第一视点的经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。
7.如权利要求6所述的图像处理设备，其中，加权均值滤波器单元基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和压缩条件来确定阈值。
8.如权利要求7所述的图像处理设备，其中，加权均值滤波器单元基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和量化参数QP，针对每个访问单元或针对每个条带来确定阈值。
9.一种图像处理方法，包括: 由噪声去除单元从至少一个输入的深度图像去除噪声； 由视点变换单元执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；由加权均值滤波器单元从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数； 由加权均值滤波器单元使用产生的加权系数产生加权均值滤波器； 由深度图像变换单元通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像， 其中，变换的第三深度图像被用于对深度图像进行编码。
10.如权利要求9所述的图像处理方法，其中，执行视点变换的步骤包括: 由视点变换单元将第二深度图像变换为深度空间； 由视点变换单元使用所述深度空间将第二深度图像的第二视点变换到第一视点。
11.如权利要求9所述的图像处理方法，其中，产生所述至少一个加权系数的步骤包括: 由加权均值滤波器单元使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值； 由加权均值滤波器单元使用确定的阈值来产生加权系数。
12.—种图像处理方法，包括: 由视点变换单元执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间； 由加权均值滤波器单元基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征和压缩条件来确定阈值； 由加权均值滤波器单元基于确定的阈值对深度空间执行加权均值滤波； 由深度图像变换单元将经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。
13.如权利要求12所述的图像处理方法，其中，确定阈值的步骤包括:基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和量化参数QP，针对每个访问单元或针对每个条带来确定阈值。
14.如权利要求12所述的图像处理方法，其中，确定阈值的步骤包括:使用多个阈值对深度空间执行滤波，将所述多个阈值之中的与和原始图像的图像质量最相似的图像质量相应的阈值确定为最终阈值。
15.如权利要求12所述的图像处理方法，其中，确定阈值的步骤包括:使用多个权重对深度空间执行滤波，将所述多个权重之中的与和原始图像的图像质量最相似的图像质量相应的权重确定为最终权重。
【文档编号】H04N19/597GK103686192SQ201310412382
【公开日】2014年3月26日 申请日期:2013年9月11日 优先权日:2012年9月11日
【发明者】任一淳, 魏浩千, 李在濬 申请人:三星电子株式会社