一种视频处理方法及装置的制造方法
【技术领域】
[0001] 本发明设及多媒体处理技术领域，尤其设及一种视频处理方法及装置。
【背景技术】
[0002] 随着多媒体技术和互联网的快速发展，视频信息越来越多。相应的，对视频的处理 显得越来越重要。视频编码是其中的一种关键技术，近年来受到人们越来越多的关注和重 视。
[0003] 为了提高视频编码的效率，现有技术中存在一种基于图像库进行视频编码的方 法，即将待编码视频中的图像与图像库中的预存储图像进行比较得到区别图像及相同图 像，然后对区别图像进行编码W及相同图像所对应的属性信息进行编码。
[0004] 但是，上述方法中提到的图像库通常是预先对各种类型的人物、物体或动画、片段 等数据进行采集，获取大量丰富的图片或图像的数据并存储在数据库中形成的。该图像库 中的数据与待编码视频中的图像的相关性较小，且该图像库中的数据容易出现多个数据之 间存在较高相关性的问题，即图像库中的数据冗余较大。另外，将该样的图像库传输到解码 端，将会耗费大量比特。因此，基于该样的图像库进行视频编码时，依旧会限制视频编码的 效率。
【发明内容】
[0005] 本发明的实施例提供一种视频处理方法及装置，通过分析待编码视频，构建出与 待编码视频相关性较大且内部数据之间冗余较小的知识库，进而利用该知识库对待编码视 频进行编码，可有效的解决视频编码效率较低的问题。
[0006] 为达到上述目的，本发明的实施例采用如下技术方案：
[0007] 第一方面，本发明实施例提供了一种视频处理方法，该方法包括；
[0008] 将待编码视频分割为至少两段场景；
[0009] 将各段场景划分为至少两个场景类别；
[0010] 从所述至少两个场景类别中的至少一个场景类别中分别选取出至少一幅图像；
[0011] 保存选取出的图像，W生成知识库。
[0012] 在第一方面的第一种可能的实现方式中，所述选取出的图像中任意两幅图像之间 的相似度低于第一预设阔值。
[0013] 在第一方面的第二种可能的实现方式中，所述将各段场景划分为至少两个场景类 另0，包括：
[0014] 每段场景为一个场景类别；
[0015] 或者，
[0016] 检测至少一段场景和其不相邻场景的相似度，并将相似度大于或等于第二预设阔 值的场景划分为同一个场景类别。
[0017] 结合第一方面的第二种可能的实现方式，在第一方面的第=种可能的实现方式 中，所述检测至少一段场景和其不相邻场景的相似度，包括：
[001引从各段场景中分别选取一幅代表图像；
[0019] 计算任意两段不相邻场景的代表图像之间的相似度；所述相似度使用两幅图像之 间的图像差、特征描述子相似度或运动补偿残差中的一种来衡量。
[0020] 在第一方面的第四种可能的实现方式中，所述从所述至少两个场景类别中的至少 一个场景类别中分别选取出至少一幅图像，包括：
[0021] 选取第一场景类别中任意一段场景的第一预设位置的图像，所述第一场景类别为 所述至少一个场景类别中的任意一个场景类别；
[002引或者，
[0023]根据所述第一场景类别中各段场景的活动性选取图像，所述活动性使用运动矢量 强度、图像差、运动补偿残差或者图像特征变化中的至少一种来衡量；其中，所述图像特征 至少包括亮度直方图、色度直方图、特征描述子中的一种，所述特征描述子至少包括尺度不 变转换SIFT特征描述子、加速稳健特征SURF特征描述子中的一种。
[0024] 结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式 中，所述第一预设位置属于所述待编码视频中的随机访问点。
[0025]在第一方面的第六种可能的实现方式中，所述保存选取出的图像，W生成知识库， 具体包括：
[0026]对选取出的图像进行编码，生成重建图像；
[0027]保存重建图像，W生成知识库。
[0028] 结合第一方面的第四种可能的实现方式，在第一方面的第走种可能的实现方式 中，所述根据所述第一场景类别中各段场景的活动性选取图像，包括：
[0029] 计算所述第一场景类别中每段场景的活动性；
[0030]根据所述每段场景的活动性，确定每段场景中需要选取图像的数量；
[0031] 采用第一预设选取规则，在每段场景中选取图像，所述选取图像的数量与所述需 要选取图像的数量相同。
[0032] 结合第一方面的第走种可能的实现方式，在第一方面的第八种可能的实现方式 中，当第一场景类别中只包含有一段场景，且在该段场景中需要选取图像的数量为零时，贝U 将所述第一场景类别需要选取图像的数量修改为一；
[0033]当所述第一场景类别中包含至少两段场景，且所有场景中需要选取图像的数量均 为零时，则将所述第一场景类别中其中一段场景需要选取图像的数量修改为一。
[0034] 结合第一方面的第走种可能的实现方式或第八种可能的实现方式，在第一方面的 第九种可能的实现方式中，每段场景中需要选取图像的数量和该段场景的活动性呈单调递 增关系，但每段场景中需要选取图像的数量不超过第=预设阔值。
[0035] 结合第一方面的第走种可能的实现方式，在第一方面的第十种可能的实现方式 中，所述采用第一预设选取规则，在每段场景中选取图像，包括：
[0036]根据选取图像的数量，等间隔或近似等间隔地从场景中选取出相应数量的图像。
[0037] 结合第一方面的第四种可能的实现方式，在第一方面的第十一种可能的实现方式 中，所述根据所述第一场景类别中各段场景的活动性选取图像，包括：
[0038] 计算所述第一场景类别中位于第二预设位置的图像的活动性；
[0039] 根据各个位于第二预设位置的图像的活动性和第二预设选取规则，选取所述第一 场景类别中的图像。
[0040] 结合第一方面的第十一种可能的实现方式，在第一方面的第十二种可能的实现方 式中，所述根据各个位于第二预设位置的图像的活动性和第二预设选取规则，选取所述第 一场景类别中的图像，包括：
[0041] 从第一幅位于第二预设位置的图像开始，累积各幅位于第二预设位置的图像的活 动性；
[0042] 当活动性累积达到第四预设阔值时，选取对应位置的图像；
[0043] 将活动性清零，从选取出的图像所在位置的下一个第二预设位置开始重复上述累 积活动性、达到第四预设阔值时选取对应位置图像的过程，直到遍历完所述第一场景类别 中所有位于第二预设位置的图像。
[0044] 结合第一方面的第十一种可能的实现方式，在第一方面的第十=种可能的实现方 式中，所述第二预设位置属于所述待编码视频中的随机访问点。
[0045] 结合前述第一方面或第一方面的第一种可能的实现方式至第十=种可能的实现 方式中的任意一种可能的实现方式，在第一方面的第十四种可能的实现方式中，所述选取 出的图像属于所述待编码视频中的随机访问点所在的图像。
[0046] 结合第一方面的第五种可能的实现方式或第十=种可能的实现方式至第十四种 可能的实现方式中的任意一种可能的实现方式，在第一方面的第十五种可能的实现方式 中，所述待编码视频中的随机访问点所在的图像采用帖内编码，或者仅参考知识库中的至 少一幅图像采用帖间编码。
[0047] 结合前述第一方面或第一方面的第一种可能的实现方式至第十五种可能的实现 方式中的任意一种可能的实现方式，在第一方面的第十六种可能的实现方式中，所述方法 还包括：
[0048] 获取当前图像，所述当前图像为所述待编码视频中至少一幅图像；
[0049] 从所述知识库中选择所述当前图像的至少一幅参考图像；
[0050] 根据所述至少一幅参考图像对所述当前图像进行编码。
[0051] 结合第一方面的第十六种可能的实现方式，在第一方面的第十走种可能的实现方 式中，所述当前图像至少包括所述待编码视频中至少一个随机访问点所在的图像。
[0052] 结合第一方面的第十六种可能的实现方式，在第一方面的第十八种可能的实现方 式中，从所述知识库中选择所述当前图像的至少一幅参考图像，包括：
[0053] 将所述当前图像和所述知识库中至少一幅图像进行相似度比较；
[0054] 选取相似度超过第五预设阔值的N幅图像作为当前图像的参考图像，其中N为大 于等于1的整数。
[00巧]第二方面，本发明实施例提供了一种视频处理装置，包括：
[0056] 分割单元，用于将待编码视频分割为至少两段场景，W及用于将各段场景划分为 至少两个场景类别；
[0057] 选取单元，用于从所述至少两个场景类别中的至少一个场景类别中分别选取出至 少一幅图像；
[0058] 存储单元，用于保存所述选取单元选取出的图像，W生成知识库。
[0059] 在第二方面的第一种可能的实现方式中，所述选取出的图像中任意两幅图像之间 的相似度低于第一预设阔值。
[0060] 在第二方面的第二种可能的实现方式中，所述分割单元，具体用于将每段场景划 分为一个场景类别；
[006 U或者，
[0062] 所述分割单元，具体用于检测至少一段场景和其不相邻场景的相似度，并将相似 度大于或等于第二预设阔值的场景划分为同一个场景类别。
[0063] 结合第二方面的第二种可能的实现方式，在第二方面的第=种可能的实现方式 中，所述选取单元，具体用于从各段场景中分别选取一幅代表图像；
[0064] 所述视频处理装置还包括计算单元；
[0065] 所述计算单元，用于计算任意两段不相邻场景的代表图像之间的相似度；所述相 似度使用两幅图像之间的图像差、特征描述子相似度或运动补偿残差中的一种来衡量。
[0066] 在第二方面的第四种可能的实现方式中，所述选取单元，具体用于选取第一场景 类别中任意一段场景的第一预设位置的图像，所述第一场景类别为所述至少一个场景类别 中的任意一个场景类别；
[0067] 所述选取单元，具体用于根据所述第一场景类别中各段场景的活动性选取图像， 所述活动性使用运动矢量强度、图像差、运动补偿残差或者图像特征变化中的至少一种来 衡量；其中，所述图像特征至少包括亮度直方图、色度直方图、特征描述子中的一种，所述特 征描述子至少包括尺度不变转换SIFT特征描述子、加速稳健特征SURF特征描述子中的一 种。
[0068] 结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式 中，所述第一预设位置属于所述待编码视频中的随机访问点。
[0069] 在第二方面的第六种可能的实现方式中，所述视频处理装置还包括处理单元；
[0070] 所述处理单元，还用于对选取出的图像进行编码，生成重建图像；
[0071] 所述存储单元，具体用于保存所述处理单元生成的重建图像，W生成知识库。
[0072] 结合第二方面的第四种可能的实现方式，在第二方面的第走种可能的实现方式 中，所述计算单元，还用于计算所述第一场景类别中每段场景的活动性；
[0073] 所述视频处理装置还包括确定单元；
[0074] 所述确定单元，用于根据所述计算单元计算的每段场景的活动性，确定每段场景 中需要选取图像的数量；
[0075] 所述选取单元，还用于采用第一预设选取规则，在每段场景中选取图像，所述选取 图像的数量与所述需要选取图像的数量相同。
[0076] 结合第二方面的第走种可能的实现方式，在第二方面的第八种可能的实现方式 中，当第一场景类别中只包含有一段场景，且在该段场景中需要选取图像的数量为零时，贝U 将所述第一场景类别需要选取图像的数量修改为一；
[0077] 当所述第一场景类别中包含至少两段场景，且所有场景中需要选取图像的数量均 为零时，则将所述第一场景类别中其中一段场景需要选取图像的数量修改为一。
[0078] 结合第二方面的第走种可能的实现方式或第八种可能的实现方式，在第二方面的 第九种可能的实现方式中，每段场景中需要选取图像的数量和该段场景的活动性呈单调递 增关系，但每段场景中需要选取图像的数量不超过第=预设阔值。
[0079] 结合第二方面的第走种可能的实现方式，在第二方面的第十种可能的实现方式 中，所述选取单元，还用于根据选取图像的数量，等间隔或近似等间隔地从场景中选取出相 应数量的图像。
[0080] 结合第二方面的第四种可能的实现方式，在第二方面的第十一种可能的实现方式 中，所述计算单元，还用于计算所述第一场景类别中位于第二预设位置的图像的活动性；
[0081] 所述选取单元，还用于根据所述计算单元计算的各个位于第二预设位置的图像的 活动性和第二预设选取规则，选取所述第一场景类别中的图像。
[0082] 结合第二方面的第^^一种可能的实现方式，在第二方面的第十二种可能的实现方 式中，所述处理单元，还用于从第一幅位于第二预设位置的图像开始，累积各幅位于第二预 设位置的图像的活动性；
[0083] 所述选取单元，还用于当活动性累积达到第四预设阔值时，选取对应位置的图像。
[0084] 结合第二方面的第十一种可能的实现方式，在第二方面的第十=种可能的实现方 式中，所述第二预设位置属于所述待编码视频中的随机访问点。
[0085] 结合前述第二方面或第二方面的第一种可能的实现方式至第十=种可能的实现 方式中的任意一种可能的实现方式，在第二方面的第十四种可能的实现方式中，所述选取 出的图像属于所述待编码视频中的随机访问点所在的图像。
[0086] 结合第二方面的第五种可能的实现方式或第十=种可能的实现方式至第十四种 可能的实现方式中的任意一种可能的实现方式，在第二方面的第十五种可能的实现方式 中，所述待编码视频中的随机访问点所在的图像采用帖内编码，或者仅参考知识库中的至 少一幅图像采用帖间编码。
[0087] 结合前述第二方面或第二方面的第一种可能的实现方式至第十五种可能的实现 方式中的任意一种可能的实现方式，在第二方面的第十六种可能的实现方式中，所述视频 处理装置还包括获取单元；
[0088] 所述获取单元，用于获取当前图像，所述当前图像为所述待编码视频中至少一幅 图像；
[0089] 所述选取单元，还用于从所述知识库中选择所述当前图像的至少一幅参考图像；<