一种基于云计算的媒体解码方法及解码器的制造方法
【专利摘要】本发明实施例提供了一种基于云计算的媒体解码方法及解码器，方法简单易行，对计算资源要求低，并可适用于各种媒体资源。该方法包括：提取待解码的媒体码流的表征特征；根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象；利用匹配得到的媒体对象或匹配的对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段。
【专利说明】—种基于云计算的媒体解码方法及解码器【技术领域】
[0001]本发明涉及编解码技术，特别涉及一种基于云计算的媒体解码方法及解码器。
技术背景
[0002]现有技术中，通常采取有损压缩的方式进行编码，在压缩标准相同的情况下，压缩比的提高和损失程度加大正相关。其解码质量完全取决于编码压缩时采用的方法及参数设定(并最终表现在压缩码流中)。
[0003]为了提高解码端的图像视频质量，现有技术通常通过数学计算的方式，来弥补有损压缩中损失的像素点，从而获得更高质量的图像/视频。然而，要获得更好的效果，算法通常非常复杂，对解码端的计算能力要求较高，难以实际应用推广。再则，这种方法的实质是利用原始图像视频本身包含的有限信息估计损失的部分，再对于质量较原始图像视频质量较差时难以取得有效的效果不佳。
[0004]为此，需要一种新的解码方法及解码器，在计算复杂度不太高的情况下，能够对各种图像视频实现更好的质量提升。
【发明内容】
[0005]有鉴于此，本发明实施例提供一种基于云计算的媒体解码方法及解码器，方法简单易行，并且可适用于各种媒体资源。
[0006]本发明实施例提供的一种媒体解码方法包括:
[0007]提取待解码的媒体码流的表征特征；
[0008]根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象；
[0009]利用匹配得到的媒体对象或匹配的对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段。
[0010]其中，所述提取待解码的媒体码流的表征特征包括:
[0011]直接从待解码的媒体码流中获取编码时存储在其中的表征特征；或
[0012]根据待解码的媒体码流计算所述待解码的媒体码流的表征特征。
[0013]其中，所述待解码的媒体码流的表征特征为局部特征；所述根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象包括:
[0014]将所述的待解码的媒体码流的局部特征与云中一候选媒体对象的局部特征进行对比，获得局部特征对；
[0015]计算所述局部特征对分别在待解码媒体和候选媒体对象中的几何分布；
[0016]检测所述局部特征对在两者中的几何分布是否一致；如果一致，则认为所述候选媒体对象为所述待解码媒体的匹配对象。
[0017]其中，在所述将所述的待解码的媒体码流的局部特征与云中一候选媒体对象的局部特征进行对比之前，进一步包括:
[0018]根据所述待解码媒体的局部特征生成全局特征，根据所述待解码媒体的全局特征，利用特征匹配的方式在云中寻找与所述全局特征匹配的候选媒体对象。
[0019]其中，所述待解码媒体的局部特征为SIFT。
[0020]其中，所述利用匹配得到的媒体对象或匹配得到的媒体对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段包括:
[0021]将匹配得到的媒体对象进行变形处理，以符合待解码媒体的形状；
[0022]将经变形处理后的媒体对象进行亮度调整；
[0023]利用经亮度调整后的媒体对象融合出最优的媒体对象来填充、替换或改善待解码媒体中的局部区域或片段。
[0024]其中，所述待解码的媒体为图像、视频、音频。
[0025]本发明实施例还提供了一种解码器，包括:
[0026]特征提取模块:用于提取待解码的媒体码流的表征特征；
[0027]特征匹配模块:用于根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象；
[0028]图像处理模块，用于利用匹配得到的媒体对象或匹配的对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段。
[0029]其中，所述特征提取模块包括:
[0030]获取单元，用于直接从待解码的媒体码流中获取编码时存储在其中的表征特征；
[0031]计算模块，用于根据待解码的媒体码流计算所述待解码的媒体码流的表征特征。
[0032]其中，所述特征匹配模块包括:
[0033]局部特征对查找单元，用于将特征提取模块获取的表征特征与云中一候选媒体对象的局部特征进行对比，获得局部特征对；
[0034]几何分布计算单元，用于计算该局部特征对分别在待解码媒体和候选媒体对象中的几何分布；
[0035]判断单元，用于检测所述局部特征对在两者中的几何分布是否一致；如果一致，则认为所述候选媒体对象为所述待解码媒体的匹配对象。
[0036]其中，所述特征匹配模块进一步包括:
[0037]全局特征匹配模块，用于根据待解码媒体的局部特征生成全局特征，根据所述待解码媒体的全局特征，利用特征匹配的方式在云中寻找与所述全局特征匹配的候选媒体对象；
[0038]则所述局部特征对查找单元，用于将特征提取模块获取的表征特征与全局特征匹配模块匹配出的候选媒体对象的局部特征进行对比。
[0039]其中，所述图像处理模块包括:
[0040]媒体对象变换单元，用于将匹配得到的媒体对象进行变形处理，以符合待解码媒体的形状；
[0041]媒体对象亮度调整单元，用于对经媒体对象变换单元处理后的媒体对象进行亮度调整；
[0042]媒体对象融合单元，用于利用经媒体对象亮度调整单元调整后的媒体对象融合出最优的媒体对象来填充、替换或改善待解码媒体中的局部区域或片段。
[0043]利用本发明实施例提供的媒体解码方法及解码器，无论收到的编码码流是何种形式，或者其原始图像视频的分辨率如何，通过获取该媒体的表征特征，利用获取的表征特征在云中寻找与待解码媒体全局或局部具有相似性的媒体对象，利用该匹配的媒体对象包含的更丰富的信息来增强待解码媒体的质量。
【专利附图】
【附图说明】
[0044]图1是本发明实施例中一种基于云计算的媒体解码方法的流程示意图。
[0045]图2是本发明实施例中一种表征特征匹配方法的流程示意图。
[0046]图3是本发明实施例中一种解码器的结构示意图。
【具体实施方式】
[0047]为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
[0048]图1是本发明实施例中一种基于云计算的媒体解码方法的流程示意图。如图1所示，该方法包括:
[0049]步骤100:提取待解码的媒体码流的表征特征。
[0050]该待解码的媒体码流可以是图像、视频、音频以及其它任何供使用者通过视听等感知通道进行体验的媒体形态。这里媒体码流可以是利用各种编码标准编码的压缩码流，也可以是利用各种传感装置采集获取的第一手媒体内容，还可以是因多种原因造成的不完整的媒体码流片段。
[0051]在该步骤中，可以是编码该媒体码流时预先提取其表征特征，并将该表征特征放置在码流内的，解码端直接从码流中获取该提取的表征特征。也可以是解码端直接从获得的媒体码流中自行提取。
[0052]这里的表征特征可以是局部特征和/或全局特征。其中，全局特征描述如颜色直方图、颜色矩、灰度共生矩阵等，这些特征描述反映的是图像的全局信息，而无法体现图像中所包含的对象或物体。局部特征从图像的内容出发，提取出感兴趣的内容。局部特征具有足够的描述能力和区分度，可以用于描述媒体特征的目的。通常局部特征可以是一个圆形区域。
[0053]步骤200:根据获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象。
[0054]在互联网云中存在大量的媒体对象，这些媒体对象都有对应的表征特征信息。为了提高后续特征匹配步骤的效率，也可以预先提取、针对性选择这些媒体对象。
[0055]步骤300:利用匹配得到的媒体对象或匹配的对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段，从而增强待解码媒体的质量。
[0056]首先将匹配得到的媒体对象进行形状的缩放、旋转等变形处理；之后，还可以进一步对变形后的媒体对象进行亮度调整，包括对比度扩展、均值偏移等；然后再对处理后的媒体对象来填充、替换或改善待解码媒体中的局部区域或片段。
[0057]在本发明一实施例中，当有多个匹配的媒体对象时，在对多个媒体对象进行变形处理和亮度调整后，可以通过失真准则，选择最优的媒体对象或者融合出最优的媒体对象来填充、替换或改善待解码媒体中的局部区域或片段。
[0058]即使解码效果从传统意义上是完整的(例如电视机完整解码并恢复了一个高清电视画面)，利用本发明实施例提供的解码方法，也可以对解码结果进一步进行质量提升(例如将前述高清电视画面提升为超高清电视画面)。
[0059]在本发明一实施例中，根据获取到的表征特征通过特征匹配的方式获得匹配媒体对象方法可以如图2所示，该方法包括:
[0060]步骤201:提取待解码媒体的局部特征。这里，采用SIFT作为待解码媒体的局部特征。该步骤与步骤100可能重复，当步骤100中已经获得了待解码媒体的局部特征时，该步骤可以省略。
[0061]步骤202:将提取的局部特征与云中一候选媒体对象的局部特征进行对比，获得局部特征对。该局部特征对指的是分别位于待解码媒体和候选媒体对象的两个相同或足够相似的局部特征。其中，所谓足够相似的局部特征是指两个局部特征其相似度在一定阈值范围内，这时也认定为一对匹配的局部特征对。
[0062]步骤203:计算该局部特征对分别在待解码媒体和候选媒体对象中的几何分布。
[0063]步骤204:检测该局部特征对在两者中的几何分布是否一致，如果不一致，则该候选媒体对象不是待解码媒体的匹配对象；如果一致，则认为该候选媒体对象为该待解码媒体的匹配对象。
[0064]举例说明，如果从待解码媒体中提取到1000个局部特征，从某一候选媒体对象中提取到800个局部特征，通过特征对比发现两者具有200个局部特征对；那么进一步获得这200个局部特征对在待解码媒体和候选媒体对象中的几何分布；如果这200个局部特征在这两个媒体中的分布相似，则认为该候选媒体对象为待解码媒体的匹配对象。匹配的媒体对象可能携带比待解码对象更丰富的细节信息，从而可以用该候选媒体对象提高解码媒体对象的质量。
[0065]在本发明一实施例中，为了提高局部特征匹配的效率，可以先根据待解码媒体的局部特征生成全局特征，根据该待解码媒体的全局特征，利用特征匹配的方式在云中寻找与该全局特征匹配的候选媒体对象；再将待解码媒体的局部特征与经全局特征匹配获得的候选媒体对象进行局部特征匹配。这种方法可以提高匹配效率。
[0066]本发明实施例提供的方法可以用于多种场景。比如待解码的媒体是标准清晰度视频，通过获得的相似内容提升解码质量，解码后为高清晰度视频。
[0067]还比如，对于经有损压缩方式获得的视频流，利用获得的匹配媒体对象，可以弥补压缩时造成的损失，更逼近原始图像或视频的质量。为了保真(不形成超出原始图像或视频的额外信号)，在本发明一实施例中，还可以将用来增强的相似媒体对象(图像或视频)控制在编码器和解码器可共享的有限集合内。
[0068]本发明一实施例还提供了一种解码器，如图3所示，该解码器包括:特征提取模块:用于提取待解码的媒体码流的表征特征；特征匹配模块:用于根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象；图像处理模块，用于利用匹配得到的媒体对象或匹配的对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段。[0069]其中，为了加快表征特征提取速度，该特征提取模块包括两个单元:获取单元，用于直接从待解码的媒体码流中获取编码时存储在其中的表征特征；计算模块，用于根据待解码的媒体码流计算该待解码的媒体码流的表征特征。
[0070]这里，特征匹配模块又包括:局部特征对查找单元，用于将特征提取模块获取的表征特征与云中一候选媒体对象的局部特征进行对比，获得局部特征对；几何分布计算单元，用于计算该局部特征对分别在待解码媒体和候选媒体对象中的几何分布；判断单元，用于检测该局部特征对在两者中的几何分布是否一致；如果一致，则认为该候选媒体对象为该待解码媒体的匹配对象。该特征匹配模块还进一步包括:全局特征匹配模块，用于根据待解码媒体的局部特征生成全局特征，根据该待解码媒体的全局特征，利用特征匹配的方式在云中寻找与该全局特征匹配的候选媒体对象；此时局部特征对查找单元，用于将特征提取模块获取的表征特征与全局特征匹配模块匹配出的候选媒体对象的局部特征进行对比。
[0071]这里，图像处理模块又包括:媒体对象变换单元，用于将匹配得到的媒体对象进行变形处理，以符合待解码媒体的形状；媒体对象亮度调整单元，用于对经媒体对象变换单元处理后的媒体对象进行亮度调整；媒体对象融合单元，用于利用经媒体对象亮度调整单元调整后的媒体对象融合出最优的媒体对象来填充、替换或改善待解码媒体中的局部区域或片段。
[0072]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种基于云计算的媒体解码方法，其特征在于，包括: 提取待解码的媒体码流的表征特征； 根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象； 利用匹配得到的媒体对象或匹配得到的媒体对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段。
2.如权利要求1所示的方法，特征在于，所述提取待解码的媒体码流的表征特征包括: 直接从待解码的媒体码流中获取编码时存储在其中的表征特征；或 根据待解码的媒体码流计算所述待解码的媒体码流的表征特征。
3.如权利要求1所示的方法，特征在于，所述待解码的媒体码流的表征特征为局部特征；所述根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象包括: 将所述的待解码的媒体码流的局部特征与云中一候选媒体对象的局部特征进行对比，获得局部特征对； 计算所述局部特征对分别在待解码媒体和候选媒体对象中的几何分布； 检测所述局部特征对在两者中的几何分布是否一致；如果一致，则认为所述候选媒体对象为所述待解码媒体的匹配对象。
4.如权利要求3所示的方法，特征在于，在所述将所述的待解码的媒体码流的局部特征与云中一候选媒体对象的局部特征进行对比之前，进一步包括: 根据所述待解码媒体的局部特征生成全局特征，根据所述待解码媒体的全局特征，利用特征匹配的方式在云中寻找与所述全局特征匹配的候选媒体对象。
5.如权利要求3所示的方法，特征在于，所述待解码媒体的局部特征为SIFT。
6.如权利要求1所示的方法，特征在于，所述利用匹配得到的媒体对象或匹配得到的媒体对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段包括: 将匹配得到的媒体对象进行变形处理，以符合待解码媒体的形状； 将经变形处理后的媒体对象进行亮度调整； 利用经亮度调整后的媒体对象融合出最优的媒体对象来填充、替换或改善待解码媒体中的局部区域或片段。
7.如权利要求1所示的方法，特征在于，所述待解码的媒体为图像、视频、音频。
8.一种解码器，其特征在于，包括: 特征提取模块:用于提取待解码的媒体码流的表征特征； 特征匹配模块:用于根据特征提取模块获取的表征特征，利用特征匹配的方法，在云中寻找与待解码媒体码流具有相似性的媒体对象； 图像处理模块，用于利用匹配得到的媒体对象或匹配的对象中的一部分来填充、替换或改善待解码媒体中的局部区域或片段。
9.如权利要求8所示的解码器，特征在于，所述特征提取模块包括: 获取单元，用于直接从待解码的媒体码流中获取编码时存储在其中的表征特征；和/或 计算模块， 用于根据待解码的媒体码流计算所述待解码的媒体码流的表征特征。
10.如权利要求8所示的解码器，特征在于，所述特征匹配模块包括: 局部特征对查找单元，用于将特征提取模块获取的表征特征与云中一候选媒体对象的局部特征进行对比，获得局部特征对； 几何分布计算单元，用于计算该局部特征对分别在待解码媒体和候选媒体对象中的几何分布； 判断单元，用于检测所述局部特征对在两者中的几何分布是否一致；如果一致，则认为所述候选媒体对象为所述待解码媒体的匹配对象。
11.如权利要求10所示的解码器，特征在于，所述特征匹配模块进一步包括: 全局特征匹配模块，用于根据待解码媒体的局部特征生成全局特征，根据所述待解码媒体的全局特征，利用特征匹配的方式在云中寻找与所述全局特征匹配的候选媒体对象；则所述局部特征对查找单元，用于将特征提取模块获取的表征特征与全局特征匹配模块匹配出的候选媒体对象的局部特征进行对比。
12.如权利要求8所示的解码器，特征在于，所述图像处理模块包括: 媒体对象变换单元，用于将匹配得到的媒体对象进行变形处理，以符合待解码媒体的形状； 媒体对象亮度调整单元，用于对经媒体对象变换单元处理后的媒体对象进行亮度调整； 媒体对象融合单元，用于利用经媒体对象亮度调整单元调整后的媒体对象融合出最优的媒体对象来填充、替换或改善`待解码媒体中的局部区域或片段。
【文档编号】H04N19/20GK103561264SQ201310551685
【公开日】2014年2月5日 申请日期:2013年11月7日 优先权日:2013年11月7日
【发明者】黄铁军, 高文, 田永鸿 申请人:北京大学