一种视频编解码方法及设备与流程

本发明涉及视频编解码及压缩领域，尤其涉及参考图像编码技术。

背景技术：

视频编解码技术在具备数字视频能力的装置中存在广泛应用，比如数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等等。常见的视频编解码技术有由mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高级视频编解码(avc)、itu-th.265高效率视频编解码(hevc)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，从而更高效地发射及接收数字视频信息。通过实施视频编解码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。

在视频编解码领域中，帧的概念是指一副完整的图像，由一帧一帧的图像按照一定的次序和帧速率组成视频格式后即可播放。由于视频序列相邻图像之间存在很大的时间相关性，可将图像序列的每帧图像分成若干互不重叠的图像块，并认为编码块内所有像素点的运动矢量都相同，以图像块为单位分配运动矢量。在对当前编码图像中的当前编码块进行帧间预测时，将已重建的编码图像作为参考图像，对当前编码块在参考图像中一定搜索区域内进行运动搜索，找到与当前编码块满足匹配准则的块，即为匹配块。当前编码块与参考图像中匹配块之间空间位置相对偏移量即为运动矢量(motionvector,mv)，得到运动矢量的过程被称为运动估计(motionestimation,me)。对视频进行压缩编码时，将参考图像信息、运动矢量信息以及残差值进行编码后发送到解码端，所述残差值指匹配块重建像素值与当前块原始像素值之间的差异。解码端从已解码的参考图像中找到运动矢量所指向位置的块，和残差值相加后恢复出当前块。利用运动估计可去除视频序列的帧间冗余，使视频传输的比特数大为减少。

景物之间相互遮挡、新内容的进入、场景变化以及相机移动等问题可能导致当前块在其邻近图像中无法找到匹配块，因此引入了多参考图像码技术，对编码性能的提升有很大影响。如图1所示，当前编码图像中的当前编码块可以在当前图像之前已编码的k个参考图像中分别进行运动搜索找到匹配块。

在avc、hevc等视频编码标准中，均规定有两种类型的参考图像：短期参考图像和长期参考图像。短期参考图像一般是指距离当前图像相对较近的已重建的编码图像，短期参考图像中存在与当前图像中相似的景物；长期参考图像一般是指距离当前图像相对较远的已重建的编码图像。使用参考图像列表管理参考图像，当前编码块在寻找其匹配块时，从参考图像列表中的第一个参考图像开始，在一定搜索区域内找到匹配误差最小的运动矢量，再继续在下一个参 考图像中进行运动搜索，直到完成使用参考图像列表中所有参考图像进行运动搜索之后，确定其最佳的运动矢量及所使用的参考图像，一般情况下，匹配误差最小的运动矢量认为是最佳的运动矢量。

标准中规定，一段完整的视频码流为一个cvs(codedvideosequence)，一个cvs以一个随机访问点(randomaccesspoint)图像开始，随机访问点图像为帧内编码图像，所述帧内编码图像即图像中所有分块均使用帧内预测进行编码，随机访问点图像出现的周期由编码端设定。在编码生成一个cvs或解码处理一个cvs时，会初始化并维护一个dpb(decodedpicturebuffer)用来存放已重建编码图像，这些重建图像可以作为短期参考图像和长期参考图像，用于预测编码当前编码图像和后续编码图像。其中，短期参考帧的更新操作通常基于滑窗机制，来控制加入新的重建图像和移除过时的重建图像；长期参考帧则可在一段较长的时间内存储在dpb中。在编码/解码过程中遇到随机访问点图像时，会清空dpb，以保证随机访问点之后的图像不能参考随机访问点之前的图像。

现有的视频编码方案中存在一种长期参考机制，将重要的编码图像长期存储在dpb中，供后续多个编码图像作为长期参考图像进行帧间预测编码操作。通常情况下，参考图像质量越高，帧间预测编码效率越高。特别的，在监控视频编码等应用中，因为视频内容的背景区域长时间保持不变，通常使用背景图像作为长期参考图像。背景图像可以使用时域均值滤波、高斯建模等方式构造得到，也可以从采集视频图像序列中基于运动能量最小等原则选取得到。因此长期图像会用作后续多个图像的参考，重要性高，所以应尽可能进行高质量编码，来提高整段视频内容的压缩效率。

需注意的是，在已有编码方案中，无论短期参考图像还是长期参考图像都不能跨随机访问点使用。在监控视频编码等一些应用中，需要以1秒或2秒为间隔设置随机访问点，而有效长期参考图像，例如背景图像的更新周期则远远大于随机访问周期。如果想要使用背景图像作为参考，则需要在以随机访问点图像区隔的每段cvs中都加入背景图像压缩码流传输到解码端。而考虑到背景图像重要性，通常进行高质量编码，因此这种重复编码传输高质量背景图像的处理方式将增加额外编码开销，抵消高质量背景图像带来的大部分编码增益。

另外，在实时监控等应用中，因传输信道带宽受限，通常采用2:1或3:1的峰均比来约束压缩码率时域波动。而在高质量编码背景图像时，将在压缩码流中形成一个陡峭的峰值，如图2所示，其峰均比通常在5:1以上甚至可达10:1。此时该背景图像码流速率超过信道传输能力，无法实时传输到解码端，会引起解码播放的停顿等待并触发丢帧操作，造成观看体验恶化和重要信息丢失。

由上可知，在已有编码方案中，背景图像码流速率超过信息传输能力时，解码端无法实时地接收背景图像码流，造成解码端在使用背景图像解码时因为等待背景图像而引起解码播放的停顿、等待或触发丢帧操作等，影响用户体验。

技术实现要素：

为解决现有技术中使用背景图像解码时因为未及时获得背景图像引起解码播放的停顿、等待并触发丢帧操作的问题，本发明提供一种视频编码、解码的方法及装置，同步编码端与解码端背景图像的使用。

根据本发明的第一方面，一种视频编码方法，由编码端执行，所述方法包括：确定将作为参考图像使用的背景图像，对所述背景图像进行编码处理生成背景图像码流，传输所述背景图像码流；生成并发送背景图像指示信息，所述背景图像指示信息用于指示开始使用背景图像作为参考图像的时刻，从所述背景图像指示信息指示的时刻开始将所述背景图像作为参考图像对待编码视频图像进行编码生成主码流，传输所述主码流。本发明第一方面提供的方案中，通过背景图像指示信息，指示开始使用背景图像作为参考图像对待编码视频图像进行编码的时刻，编码端从背景图像指示信息指示的时间开始使用背景图像作为参考图像进行编码。使得编码端与解码端使用参考图像的时间可以通过所述背景图像指示信息同步。基于该同步机制，可以灵活的传输背景图像码流，而无需规定其必须在下一个编码图像处理前传输完成。从而避免高质量背景图像传输过载带来的停顿、等待以及触发丢帧操作等情况的发生。

根据本发明第一方面的一种可能的实现中，从所述背景图像指示信息指示的时刻开始将所述背景图像作为参考图像对待编码视频图像进行编码生成主码流，具体实现时可以是，所述主码流含随机访问片段，从所述背景图像指示信息指示的时刻开始将所述背景图像作为所述主码流中的一个或多个随机访问片段的参考图像。这样，背景图像在所述背景图像指示信息的时刻开始作为参考图像使用，而不需要在每个随机访问片段重复传输背景图像，也即所述背景图像即可以跨越随机访问点使用，避免背景图像的重复传输，减小编码开销。

根据本发明第一方面的一种可能的实现中，所述确定将作为参考图像使用的背景图像，可以是使用时域均值滤波、高斯建模等方式构造得到背景图像；或者是从采集的视频图像序列中基于运动能量最小等原则选取得到的视频图像确定为背景图像；或者是从待编码视频图像序列中选取符合预设规则的视频图像作为背景图像。

根据本发明第一方面的一种可能的实现中，对所述背景图像进行压缩编码处理生成背景图像码流可以是对背景图像单独进行高质量压缩编码处理获得高质量背景图像压缩码流。所述高质量背景图像的图像质量高于所述常规编码背景图像，从所述背景图像指示信息指示的时刻开始将所述背景图像作为参考图像对待编码视频图像进行编码生成主码流包括：在背景图像延迟使用时间所指示的时间或者背景图像初始使用标记出现的时间，识别dpb(decodedpicturebuffer)中对应的常规编码的背景图像并将其替换为所述高质量背景图像，从而开始使用高质量背景图像作为参考图像对待编码视频图像进行编码。所谓高质量压缩编码处理指选取适当的编码器参数，例如较高的目标码率或较小的量化参数，对待编码图像进行编码处理，从而获得相对于常规编码重建图像来说与原始未编码图像更为接近的编码重建图像。

根据本发明第一方面的一种可能的实现中，从所述背景图像指示信息指示的时刻开始将所述背景图像作为参考图像对待编码视频图像进行编码生成主码 流包括：从所述背景图像指示信息指示的时刻开始，将所述背景图像作为参考图像对待编码视频图像进行编码得到编码图像，在所述编码图像的头信息中设置背景图像参考标记，所述背景图像参考标记用于标识当前编码图像是否使用所述背景图像作为参考图像。

根据本发明的第二方面，一种视频解码方法，由解码端执行，所述方法包括：接收背景图像指示信息、背景图像码流和主码流,所述背景图像指示信息用于指示开始使用背景图像作为参考图像的时刻，所述背景图像码流包含对背景图像进行编码得到的码流，所述主码流包含使用所述背景图像作为参考图像编码的视频图像的编码码流；根据背景图像指示信息指示的时刻开始使用所述背景图像作为参考图像对所述主码流进行解码。本方案中，通过背景图像指示信息，指示开始使用背景图像作为参考图像的时刻，解码端从背景图像指示信息指示的时间开始使用背景图像作为参考图像进行解码。使得解码端与编码端使用参考图像的时间可以通过所述背景图像指示信息同步。基于该同步机制，可以灵活的传输背景图像码流，而无需规定其必须在下一个编码图像处理前传输完成。从而避免高质量背景图像传输过载带来的停顿、等待以及触发丢帧操作等情况的发生。

根据本发明第二方面的一种可能的实现中，所述主码流包含一个以上的随机访问片段，所述根据背景图像指示信息指示的时刻开始使用所述背景图像码作为参考图像对所述主码流进行解码，在实现时，可以是根据背景图像指示信息指示的时刻开始使用所述背景图像作为主码流中每一个随机访问片段的参考图像对主码流进行解码。这样，背景图像在所述背景图像指示信息的时刻开始作为参考图像使用，而不需要在每个随机访问片段重复传输背景图像，也即所述背景图像即可以跨越随机访问点使用，避免背景图像的重复传输，减小开销。

根据本发明第二方面的一种可能的实现中，所述根据背景图像指示信息指示的时刻开始使用所述背景图像码作为主码流中每一个随机访问片段的参考图像对主码流进行解码，具体实现时可以是：根据背景图像指示信息指示的时刻开始将背景图像码流插入到主码流中的每个随机访问片段中的开始位置得到合并后的码流，对合并后的码流进行解码。

根据本发明第二方面的一种可能的实现中，所述根据背景图像指示信息指示的时刻开始使用所述背景图像作为主码流中每一个随机访问片段的参考图像对主码流进行解码，具体实现时可以是：解码背景图像码流获得重建背景图像；根据背景图像指示信息指示的时刻开始以所述重建背景图像作为主码流中每一个随机访问片段的参考图像对主码流进行解码。

根据本发明第二方面的一种可能的实现中，所述背景图像码流为单独编码的高质量背景图像码流，所述根据背景图像指示信息指示的时刻开始使用所述背景图像作为参考图像对所述主码流进行解码，具体实现时可以是：对所述背景图像码流进行解码获得高质量背景图像，在所述背景图像指示的时刻开始识别dpb(decodedpicturebuffer)中对应的常规编码的背景图像并将所述常规编码的背景图像替换为所述高质量背景图像，使用所述高质量背景图像作为参考图像对所述主码流进行解码，所述高质量背景图像的图像质量高于所述常规编 码背景图像。

根据本发明第二方面的一种可能的实现中，所述根据背景图像指示信息指示的时刻开始使用所述背景图像作为参考图像对所述主码流进行解码，具体实现时，可以是：从背景图像指示信息指示的时刻开始，根据主码流中的编码图像头信息中的背景图像参考标记确定当前编码图像是否使用背景图像作参考图像，如果确定是使用背景图像作为参考图像，则在构造初始参考图像列表后，将背景图像插入该参考图像列表中。

根据本发明第二方面的一种可能的实现中，根据背景图像指示信息指示的时刻开始使用所述背景图像作为参考图像对所述主码流进行解码，具体实现时，可以是从背景图像指示信息指示的时刻开始使用所述背景图像作为所述主码流中的每一幅编码图像的可选参考图像对所述主码流进行解码。根据本发明的第三方面，一种视频编码设备，该视频编码设备设计于执行本发明第一方面的视频编码方法及其可能的实现中的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的器件、单元或模块。

根据本发明第三方面，所述视频编码设备包括：编码器，用于用于确定将作为参考图像使用的背景图像，对所述背景图像进行编码处理生成背景图像码流；生成背景图像指示信息，所述背景图像指示信息用于指示开始使用背景图像作为参考图像的时刻；从所述背景图像指示信息指示的时刻开始将所述背景图像作为参考图像对待编码视频图像进行编码生成主码流；输出接口，用于输出所述背景图像码流、所述主码流以及所述背景图象指示信息。

根据本发明第三方面的一种可能的实现中，所述编码器包括：背景图像码流生成单元，用于确定将作为参考图像使用的背景图像，对所述背景图像进行编码处理生成背景图像码流，通过所述输出接口传输所述背景图像码流；背景图像指示信息生成单元，生成背景图像指示信息，通过所述输出接口发送所述背景图象指示信息，所述背景图像指示信息用于指示开始使用背景图像作为参考图像的时刻；主码流编码单元，用于从所述背景图像指示信息指示的时刻开始将所述背景图像作为参考图像对待编码视频图像进行编码生成主码流，通过所述输出接口传输所述主码流。

根据本发明的第四方面，一种视频解码设备，该解码设备设计于执行本发明第二方面的视频解码方法及其可能的实现中的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的器件、单元或模块。

根据本发明第四方面，所述视频解码设备包括：输入接口，用于接收背景图像指示信息、背景图像码流和主码流,所述背景图像指示信息用于指示开始使用背景图像作为参考图像的时刻，所述背景图像码流包含对背景图像进行编码得到的码流，所述主码流包含使用所述背景图像作为参考图像编码的视频图像的编码码流；解码器，用于根据背景图像指示信息指示的时刻开始使用所述背景图像作为参考图像对所述主码流进行解码。

根据本发明第四方面的一种可能的实现中，所述解码器包括：码流合并单 元，用于根据背景图像指示信息指示的时刻开始将背景图像码流插入到主码流中的每个随机访问片段中的开始位置得到合并后的码流，以及主码流解码单元，用于对合并后的码流进行解码。

根据本发明第四方面的一种可能的实现中，所述解码器包括：背景图像解码单元，用于解码背景图像码流获得重建背景图像；以及主码流解码单元，用于根据背景图像指示信息指示的时刻开始以所述重建背景图像作为主码流中每个随机访问片段的参考图像对主码流进行解码。

根据本发明第四方面的一种可能的实现中，所述背景图像码流为单独编码的高质量背景图像码流，所述背景图像解码单元用于对所述背景图像码流进行解码获得高质量背景图像，所述主码流解码单元用于在所述背景图像指示的时刻之后识别dpb(decodedpicturebuffer)中对应的常规编码的背景图像并将所述常规编码的背景图像替换为所述高质量背景图像，使用所述高质量背景图像作为参考图像对所述主码流进行解码，所述高质量背景图像的图像质量高于所述常规编码背景图像。

根据本发明第四方面的一种可能的实现中，所述主码流解码单元用于从背景图像指示信息指示的时刻开始，根据主码流中的编码图像头信息中的背景图像参考标记确定当前编码图像是否使用背景图像作参考图像，如果确定是使用背景图像作为参考图像，则在构造初始参考图像列表后，将背景图像插入该参考图像列表中。

根据本发明第四方面的一种可能的实现中，所述主码流解码单元从背景图像指示信息指示的时刻开始以所述重建背景图像作为主码流中每一幅编码图像的可选参考图像对主码流进行解码。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像指示信息是基于当前传输信道带宽状况与背景图像压缩码流大小确定的。因此，在背景图像码流速率超过信道传输能力而无法实时传输的情况下，可以在指示信息指示的时刻之前完成传输即可，进而减少或避免因为无法实时传输带来的解码播放的停顿、等待以及丢帧等情况的发生。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像指示信息指背景图像延迟使用时间，所述根据背景图像指示信息指示时刻开始指从背景图像延迟使用时间指示的时间开始；或，所述背景图像指示信息指背景图像初始使用标记，所述根据背景图像指示信息指示的时刻开始指从背景图像初始使用标记出现之时开始。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像指示信息是背景图像延迟使用时间。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像延迟使用时间指从背景图像初次被编码处理到其被用作待编码视频图像的参考图像的时间间隔。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像延迟使用时间信息可以携带在背景图像头信息中或者设置在sei(supplementalenhancementinformation)message中或者pps(pictureparameterset)中。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像延迟使用时间可以通过以下方式中的任一种表示：1)以毫秒或秒计的时间间隔；2)当前编码图像的视频编码序列cvs(codedvideosequence)计数与初次使用该背景图像的编码图像的cvs计数的差值；以及3)背景图像poc(pictureordercount)与初次使用该背景图像的编码图像的poc的差值，其中poc是一个与每一个压缩编码图像相关联的数字，按照视频图像序列的播放顺序计数，可用于识别每一个压缩编码图像。

在本发明的一个或多个方面所提供的技术方案中，以及在本发明的一个或多个方面的可能的实现中，优选地，所述背景图像指示信息指背景图像初始使用标记，解码端在完成背景图像码流接收之后，向编码端发送反馈信息，所述反馈信息用于指示所述背景图像码流传输结束；编码端发送背景图像指示信息是指编码端收到解码端发送的反馈信息后发送背景图像初始使用标记，解码端接收背景图像指示信息指在发送所述反馈信息之后接收来自编码端的所述背景图像初始使用标记。

根据本发明的第五方面，一种存储有指令的计算机可读存储介质，所述指令在被执行时使用于对视频数据进行视频编码的设备的一个或多个处理器执行本发明第一方面的视频解码方法以及其可能的实现。

根据本发明的第六方面，一种视频编码设备，包括一个或多个处理器，基于所述处理器执行本发明第一方面的视频解码方法以及其可能的实现，通过输出接口输出所述背景图像码流、主码流及背景图像指示信息。

根据本发明的第七方面，一种存储有指令的计算机可读存储介质，所述指令在被执行时使用于对视频数据进行视频解码的设备的一个或多个处理器执行本发明第二方面的视频解码方法以及其可能的实现。

根据本发明的第八方面，一种视频解码设备，包括一个或多个处理器，通过输入接口接收所述背景图像码流、主码流及背景图像指示信息，基于所述处理器执行本发明第二方面的视频解码方法以及其可能的实现。

本发明实施例中，使用背景图像作为参考图像，在编码端可以理解为，使用背景图像作为参考图像对待编码视频图像进行编码，也就是待编码视频图像中的每一幅待编码图像可以选择所述背景图像作为参考图像进行编码。在解码端可以理解为，使用背景图像作为参考图像对主码流进行解码，具体而言，所述背景图像作为可选参考图像对主码流中的每一幅编码图像进行解码，也就是主码流中的每一幅编码图像可以选择所述背景图像作为参考图像进行解码。

为方便描述，本文中使用背景图像作为参考图像，即指使用背景图像的重建图像作为参考图像。背景图像编码后即可得到背景图像的重建图像，该重建图像即可被选择用作参考图像对后续待编码图像进行帧间预测编码操作。

由上可知，根据本发明一个或多个方面，通过背景图像指示信息，指示开始使用背景图像作为参考图像对待编码视频图像进行编码的时刻，解码端从背景图像指示信息指示的时间开始使用背景图像作为参考图像进行解码。使得解码端与编码端使用参考图像的时间可以通过所述背景图像指示信息同步，使得背景图像在所述指示信息指示的时刻之前完成传输即可，减少或避免解码播放时因等待背景图像而引起停顿、等待以及触发丢帧操作等情况的发生。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是视频编解码技术中运动估计过程中参考帧之间的关系图；

图2是编码中含背景图像以及不含背景图像时的码率波动图；

图3是本发明实施例中编码端编码处理示意图；

图4是本发明实施例中编码端码流处理示意图；

图5是本发明实施例中解码端码流处理示意图；

图6是根据本发明实施例的视频编解码系统的示意性框图；

图7是根据本发明实施例的一种视频编码设备的示意性框图；

图8a是根据本发明一实施例的视频解码设备的示意性框图；

图8b是根据本发明另一实施例的视频解码设备的示意性框图；

图9是根据本发明实施例的另一种视频编码设备的示意性框图；

图10是根据本发明实施例的另一种视频解码设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提的视频编解码方法可应用于多种视频编解码场景中，比如视频会议和监控视频，在这些场景中，使用背景图像作为参考图像，可以显著提高编码效率。但本发明的应用并不局限于背景图像，也可以是其它重要参考图像，对本发明中的背景图像的概念可以理解为一切重要参考图像，所谓重要参考图像即包含但不限于如下特性区域中的一种：a)序列中被前景反复遮挡和露出的背景区域；b)场景中新引入的内容，例如由于摄像机镜头抖动或缩放或平移等引入的新的背景内容，或者新进入背景并保持静止的前景内容；c)场景长期保持不变，可用作后续多个待编码图像的参考图像；等等。背景图像或重要参考图像可以从待编码视频图像序列中选取，也可合成得到，本发明并不做限定。本发明中的实施例可以应用于h.265、h.264等编码标准以及标准外的其它视频压缩编码方案，在此不做限定。

本文中提到的将背景图像作为参考图像对待编码视频图像进行编码可以理 解为待编码视频图像中的每一幅待编码图像可以选择所述背景图像作为参考图像进行编码”；本文中提到的从背景图像指示信息指示的时刻开始将背景图像作为参考图像对待编码视频图像进行编码可以理解为，从背景图像指示信息指示的时刻开始，将所述背景图像作为可选参考图像对待编码视频图像中的每一幅待编码图像进行编码得到编码图像。在解码端可以理解为，使用背景图像作为参考图像对主码流进行解码，具体而言，所述背景图像可作为可选参考图像对主码流中的每一幅编码图像进行解码，也就是主码流中的每一幅编码图像可以选择所述背景图像作为参考图像进行解码。在实际应用中，采用背景图像作为高质量参考图像长期使用较为常见，尤其是在实时的视频应用场景中，为描述方便，实施例中以背景图像作为参考图像进行举例说明。容易理解的是，其它高质量参考图像适用于本发明方案，待编码视频图像的参考图像的选用不作任何限定。

实施例1

编码端

请参考图3，本发明提供的实施例1中，编码端执行以下方法：

步骤a，确定背景图像，所述背景图像将作为参考图像使用。背景图像可以使用时域均值滤波、高斯建模等方式构造得到，可以从采集视频图像序列中基于运动能量最小等原则选取得到，也可以依据其它原则从待编码视频图像序列中选取。本实施例中，优选地，当背景内容发生变化时，需要重新获取背景图像。

步骤b，对所述背景图像进行压缩编码处理生成背景图像码流，并传输所述背景图像码流。本实施例中，可以使用任何已有帧内预测编码技术对所述背景图像进行压缩编码处理。背景图像并不用于显示，而只作为待编码视频图像的参考图像使用，将得到的背景图像压缩码流进行传输。注意，背景图像编码后即可得到背景图像的重建图像，该重建图像即可被选择用作参考图像对后续待编码图像进行帧间预测编码操作。为方便描述，本文中使用背景图像作为参考图像，即指使用背景图像的重建图像作为参考图像。

本实施例中将背景图像作为一个随机访问片段的首个待编码图像进行编码操作时，特别的，如果与视频标准结合，例如h.264和h.265等标准，需要将其poc设置为0，参见所述标准可以知道，poc是一个与每一个压缩编码图像相关联的数字，按照视频图像序列的播放顺序计数，可用于识别每一个压缩编码图像。

因为解码端需要识别背景图像码流，所以需要对背景图像码流进行标记。可以在该背景图像压缩码流的头信息中进行标识。例如如果与h.265标准结合可以在naluheader中增添新字段(例如添加bg_ref_flag)或者在已有字段例如nalutype中增添新的类别(例如，如果和h.26x标准结合，可选择未使用的nalutype数值例如50)来标识。还可以添加新的seimessage来标识一个图像码流为背景图像码流。例如，如果和h.26x标准结合，可在背景图像的 sei_message()中添加新的sei_payloadbg_ref_flag说明该编码图像为背景图像。可选的，背景图像码流可以单独打包传输，从而通过系统层标识进行识别。例如，基于isobasefileformat标准协议增加新的背景图像信息描述box用于描述背景图像信息并承载背景图像编码码流。

步骤c，生成并发送背景图像指示信息，所述背景图像指示信息用于指示开始使用背景图像作为参考图像的时刻。使用背景图像作为参考图像，在编码端可以理解为，从所述背景图像指示信息指示的时刻开始使用背景图像作为参考图像对待编码视频图像进行编码，也就是待编码视频图像中的每一幅待编码图像可以选择所述背景图像作为参考图像进行编码。所述背景图像指示信息可以是背景图像延迟使用时间或者背景图像初始使用标记。所述背景图像指示信息用于同步发送端和解码端用背景图像作为参考图像进行编码的操作。

所述背景图像延迟使用时间指从背景图像初次编码处理到其被用作待编码视频图像的参考图像的时间间隔。它可以是发送端与解码端的一个预置值，也可以由发送端确定并告知给解码端。编码端可根据当前传输信道带宽状况与背景图像压缩码流大小来决定背景图像延迟使用时间。编码端与解码端需配合以保证在该时间间隔内完成背景图像码流传输。

背景图像延迟使用时间可以有多种表示方法，它可以是以毫秒或秒计的时间间隔，它可以是当前编码图像的cvs(codedvideosequence)计数与初次使用该背景图像的编码图像的cvs计数的差值，它还可以是背景图像poc(pictureordercount)与初次使用该背景图像的编码图像的poc的差值。本文中全文关于cvs与poc的含义参考相关视频标准中的定义，例如h.264,h.265,视频标准中规定，一段完整的视频码流为一个cvs(codedvideosequence)，一个cvs以一个随机访问点(randomaccesspoint)图像开始，随机访问点图像出现的周期可由编码端设定。poc是一个与每一个压缩编码图像相关联的数字，按照视频图像序列的播放顺序计数，可用于识别每一个压缩编码图像。因为poc会在随机访问点重置，因此使用poc号的表示方法适用于在单个随机访问片段内使用背景图像的情况。背景图像延迟使用时间信息可以携带在按编码处理次序或播放次序与背景图像相邻近的或接近的编码图像的头信息中，例如与h.26x标准结合时可以在所述待编码图像的第一个slice的sliceheader中添加延迟时间字段delayed_ref_duration来表示。背景图像延迟使用时间信息可以携带在所述编码图像的seimessage中，例如，如果和h.26x标准结合，可在所述待编码图像的sei_message()中添加新的sei_payloaddelayed_ref_duration来表示。背景图像延迟使用时间信息还可以携带在主码流pps(pictureparameterset)中，例如，如果和h.26x标准结合，可在pps中添加新的字段delayed_ref_duration。背景图像延迟使用时间信息还可以携带在除上述位置外的其它位置。本文中，全文提及的seimessage以及pps的定义及说明可参见相关视频标准，例如h.264,h.265。标准中定义了附加增强信息(supplementalenhancementinformation，sei)，其中包含视频画面定时等信息，交织在视频序列图像的码流数据之中。

本文中所说的发送背景图像指示信息可以如下理解，可以直接发送或随同主码流发送。

背景图像初始使用标记由发送端发送给解码端，告知解码端的解码器可以开始使用背景图像作为参考图像来处理后续编码图像。发送端发送该标记前，需确认解码端已经正确接收背景图像码流，这可以通过解码端的背景图像码流传输结束反馈信息实现。背景图像初始使用标记用于指示所述初始使用标记出现后的编码图像可以使用背景图像作为参考图像。背景图像初始使用标记可以携带在初次使用该背景图像作为参考图像的编码图像头信息中。例如与h.26x标准结合时可以在上述编码图像的第一个slice的sliceheader中添加延迟时间字段delayed_ref_active_flag来表示。背景图像初始使用标记可以携带在所述待编码图像的seimessage中，例如，如果和h.26x标准结合，可在所述待编码图像的sei_message()中添加新的sei_payloaddelayed_ref_active_flag来表示。背景图像初始使用标记还可以携带在主码流pps(pictureparameterset)中，例如，如果和h.26x标准结合，可在pps中添加新的字段delayed_ref_active_flag表示。背景图像初始使用标记还可以携带在除上述位置外的其它位置。

若使用背景图像延迟使用时间作为背景图像指示信息，则须在所述背景图像延迟使用时间内完成背景图像码流传输，从而使得解码器在使用背景图像作为参考图像之前可以正确的完成背景图像的解码。除此之外，背景图像码流与主码流传输次序并无约束。

若使用背景图像初始使用标记作为背景图像指示信息，则发送端在接收到解码端发送的背景图像码流传输结束反馈信息后，开始使用背景图像作为待编码图像的参考图像对待编码图像进行帧间预测操作。与此同时，编码端将背景图像初始使用标记发送给解码端告知解码端的解码器开始使用背景图像作为参考图像来处理后续编码图像。从而保证编解码端在背景图像的使用上同步。所述背景图像码流传输结束反馈信息是解码端在正确接收背景图像码流后发送给解码端的，告知解码端的编码器开始使用该背景图像作为后续编码图像的参考图像。在解码端收到多个背景图像码流的情况下，会为每一个背景图像码流发送一个反馈信息。

步骤d，在所述背景图像指示信息指示的时刻之后，开始使用所述背景图像作为参考图像对待编码视频图像进行编码得到主码流，并传输所述主码流。具体可以是，从背景图像指示信息指示的时刻开始，将所述背景图像作为可选参考图像对待编码视频图像中的每一幅待编码图像进行编码得到编码图像。

结合参考图4，根据上述背景图像指示信息，编码端开始使用背景图像作为待编码视频图像的参考图像，对待编码视频图像进行压缩编码得到主码流，将所述主码流传输给解码端。

从背景图像延迟使用时间所指示的时间开始或者在发送背景图像初始使用标记之后，将背景图像作为其后每个随机访问片段中第一个图像进行编码处理。 具体的，编码器将待编码背景图像插入待编码图像序列，放置在每个随机接入点图像之前，接着对新构造的待编码图像序列进行压缩编码，在编码完成后需要将产生的压缩码流中的背景图像压缩码流部分移除得到主码流。压缩编码可以使用任一已有技术方案。在编码处理待编码背景图像时，需要采用与前面步骤b完全相同的方式产生相同的背景图像压缩码流和重建背景图像。可以将背景图像标记为长期参考图像，将其作为整个随机接入片段中的所有编码图像的参考图像使用。也可以基于率失真优化为每个编码图像确定是否使用背景图像作为参考图像。

可选的，为避免待编码背景图像的重复编码操作，还可以跳过该待编码背景图像的编码操作，但是需要将之前步骤b产生的重建背景图像放入dpb中用作后续待编码图像的参考图像。在编码生成一个cvs或解码处理一个cvs时，会初始化并维护一个dpb(decodedpicturebuffer)用来存放对待编码图像进行编码操作后得到的对应的重建图像，这些重建图像可以作为短期参考图像和长期参考图像，用于预测编码当前编码图像和后续编码图像。本文中全文关于dpb的含义均可照此理解。

解码端

请结合参考图5，图5所示为解码端对码流的处理，解码端在步骤a，解码端接收背景图像码流、背景图像指示信息和主码流，所述背景图像指示信息用于指示开始使用所述背景图像作为参考图像的时刻，所述主码流中包含使用所述背景图像作为参考图像编码的视频图像编码码流。使用所述背景图像作为参考图像，在解码端可以理解为，使用背景图像作为参考图像对主码流进行解码，具体而言，所述背景图像可作为可选参考图像对主码流中的每一幅编码图像进行解码，也就是主码流中的每一幅编码图像可以选择所述背景图像作为参考图像进行解码。

若使用背景图像延迟使用时间作为背景图像指示信息，则编码端必须在所述背景图像延迟使用时间内完成背景图像码流传输，也即解码端在背景图像延迟使用时间内能获得背景图像码流，从而保证解码端在使用背景图像作为参考图像之前可以正确的完成背景图像的解码操作。除此之外，背景图像码流与主码流传输次序并无约束。

若使用背景图像初始使用标记作为背景图像指示信息，则解码端在正确接收背景图像码流后，发送背景图像码流传输结束反馈信息给编码端。编码端收到所述结束反馈信息则确认解码端已完成背景图像码流的接收。此时，编码端可以开始使用该背景图像作为后续编码图像的参考图像，在开始使用背景图像作为后参考图像对待编码视频编码时，编码端发送背景图像初始使用标记给解码端。解码端收到多个背景图像码流的情况下，会为每一个背景图像码流发送一个反馈信息。

解码端可根据naluheader中新增字段或者seimessage中新增字段，也即背景图像码流标识信息，来识别背景图像码流。可选的，也可以通过系统层 的标识来识别背景图像码流。因编解码约定使用相同的表示方法，此处可参考实施例中编码端相关描述。

步骤b根据背景图像指示信息将背景图像码流插入主码流得到合并后的码流。

若使用背景图像延迟使用时间作为背景图像指示信息，则将接收到的背景图像码流插入其背景图像延迟使用时间所指示时间之后的每个随机访问片段的第一个编码图像码流之前。

若使用背景图像初始使用标记作为背景图像指示信息，则在接收到该标记后，将最新的背景图像码流插入后续的每个随机访问片段的第一个编码图像码流之前。

步骤c对所述合并后的码流进行解码操作。对合并后的码流进行解码操作。解码背景图像仅用于后续编码图像的参考图像，而不用于显示播放。

因编解码约定遵循相同码流规范，因此关于背景图像码流标识信息与背景图像指示信息，编解码端亦遵循相同的定义。

实施例2

在本发明提供的实施例2与实施例1相同的部分不再赘述，实施例2与实施例1不同的在于，解码端在执行完步骤a接收背景图像指示信息、背景图像码流和主码流之后，解码端执行以下步骤：

步骤b：解码背景图像码流获得重建背景图像。

步骤c：根据背景图像指示信息与重建背景图像解码对主码流中编码图像进行解码。

具体可以是，从背景图像指示信息指示的时刻开始以所述重建背景图像作为主码流中每一幅编码图像的可选参考图像对主码流进行解码。

具体可以是，在背景图像指示信息指示的时刻之后，使用所述重建背景图像作为参考图像对主码流中的编码图像进行解码。本实施例中，所述编码图像包括多个随机访问片段时，则在背景图像指示信息指示的时刻之后，将所述背景图像作为编码图像中包含的每个随机访问片段片段的参考图像进行解码。

若使用背景图像延迟使用时间作为背景图像指示信息，则在解码背景图像延迟使用时间所指示时间之后的每个随机访问片段的第一个编码图像之前，将重建背景图像放入dpb中(decodedpicturebuffer)。编解码过程中，在编码生成一个cvs或解码处理一个cvs时，会初始化并维护一个dpb(decodedpicturebuffer)用来存放已重建图像，这些重建图像可以作为短期参考图像和长期参考图像，用于预测编码当前编码图像和后续编码图像。

若使用背景图像初始使用标记作为背景图像指示信息，则在解码所述背景图像初始使用标记出现后的每个随机访问片段的第一个编码图像码流之前，将重建背景图像放入dpb中。

可以理解的，实施例1中解码端先把主码流和背景图像码流(未解码的)拼接起来,然后按照单一码流的形式解码；实施例2的解码端是先解背景图像码流得到重建背景图像,然后主码流解码时在使用参考图像的时候会调用所述重建背景图像。

实施例3

编码端

步骤a确定将作为参考图像使用的背景图像，所述背景图像可从待编码视频图像或采集的视频序列中获取得到。背景图像从待编码视频图像序列中选取得到，背景图象自身需要在解码端显示播放。背景图像也可从采集视频图像序列中基于运动能量最小等原则选取得到，也可以依据其它原则从待编码视频图像序列中选取。本发明实施例中任意时刻仅使用一个有效背景图像，当背景内容发生变化时，重新获取背景图像。

步骤b对背景图像进行压缩编码处理生成背景图像压缩码流，并传输所述背景图像压缩码流。此步骤中，优选地对背景图像单独进行高质量压缩编码处理获得高质量背景图像码流，将所述高质量压缩码流传输给解码端。所谓高质量压缩编码处理指选取适当的编码器参数，例如较高的目标码率或较小的量化参数，对待编码图像进行编码处理，从而获得相对于常规编码重建图像来说与原始未编码图像更为接近的编码重建图像。

所述高质量压缩编码处理可使用任何已有编码技术。例如，可以对其进行帧内预测编码，也可以使用常规编码背景图像作为参考图像对其进行帧间预测编码。在对背景图像进行高质量压缩编码之前，编码端可以已经对含背景图像的视频图像进行了常规编码并传输给解码端，也即编码端已经将常规编码背景图像传输给解码端，这里的常规编码可以选择帧内预测编码也可以选择帧间预测编码。可以理解的，所述高质量背景图像的图像质量高于所述常规编码背景图像。

因为解码端需要识别高质量背景图像码流，所以需要对其进行标记。可以在该背景图像压缩码流的头信息中进行标识。例如如果与h.265标准结合可以在naluheader中增添新字段(例如添加bg_ref_flag)或者在已有字段例如nalutype中增添新的类别(例如，如果和h.26x标准结合，可选择未使用的nalutype数值例如50)来标识。还可以添加新的seimessage来标识一个图像码流为背景图像码流。例如，如果和h.26x标准结合，可在背景图像的sei_message()中添加新的sei_payloadbg_ref_flag说明该编码图像为背景图像。可选的，背景图像码流可以单独打包传输，从而通过系统层标识进行识别。例如，基于isobasefileformat标准协议增加新的背景图像信息描述box用于描述背景图像信息并承载背景图像编码码流。

此外，解码端还需要识别与高质量背景图像对应的常规编码背景图像。可以通过在常规编码背景图像头信息中新添背景图像标记字段来实现。例如，如 果和h.26x标准结合，可以在sliceheader中新增bg_ref_low_quality_flag来标记。还可以通过将高质量版本背景图像的poc号设置为常规编码时背景图像的poc号码来实现。因为poc会在随机访问点重置，因此使用poc表示方法适用于在单个随机访问片段内使用高质量背景图像的情况。而在信息中新添背景图像标记字段来实现，例如，前面所述的在sliceheader中新增bg_ref_low_quality_flag来标记的方式，可以跨越随机访问点使用高质量背景图像。

步骤c发送背景图像指示信息，所述背景图像指示信息用于指示开始使用所述背景图像作为参考图像的时刻。使用背景图像作为参考图像，在编码端可以理解为，从所述背景图像指示信息指示的时刻开始使用背景图像作为参考图像对待编码视频图像进行编码，也就是待编码视频图像中的每一幅待编码图像可以选择所述背景图像作为参考图像进行编码。

所述背景图像指示信息可以是背景图像延迟使用时间或者背景图像初始使用标记。所述背景图像指示信息用于同步发送端和解码端的背景图像处理操作。

所述背景图像延迟使用时间指从背景图像初次编码处理到其被用作待编码视频图像的参考图像的时间间隔。背景图像常规编码处理总是在背景图像高质量编码处理之前，本实施例中，背景图像从待编码图像中选取得到，因此背景图像的常规编码版本，也即常规背景图像，在对待编码图像进行编码时可获得。因此，所述背景图像延迟使用时间可以具体描述为从背景图像常规编码处理到其高质量版本被用作待编码视频图像的参考图像的时间间隔。所述背景图像延迟使用时间可以是编码端与解码端的一个预置值，也可以由编码端确定并告知给解码端。编码端可根据当前传输信道带宽状况与高质量背景图像压缩码流大小来决定背景图像延迟使用时间。编码端与解码端需配合以保证在该时间间隔内完成背景图像码流传输。

背景图像延迟使用时间可以有多种表示方法，它可以是以毫秒或秒计的时间间隔，它可以是常规编码背景图像cvs(codedvideosequence)计数与初次使用高质量背景图像的编码图像的cvs计数的差值，它还可以是常规版本背景图像poc(pictureordercount)与初次使用高质量背景图像的编码图像的poc的差值。poc是一个与每一个压缩编码图像相关联的数字，按照视频图像序列的播放顺序计数，可用于识别每一个压缩编码图像。因为poc会在随机访问点重置，因此该表示方法适用于在单个随机访问片段内使用背景图像的情况。背景图像延迟使用时间信息可以携带在常规背景图像的编码图像头信息中或者新添加seimessage中或者pps(pictureparameterset)中等位置。

背景图像初始使用标记由编码端发送给解码端，告知解码端可以开始使用背景图像作为参考图像来处理后续编码图像。编码端发送该标记前，需确认解码端已经正确接收背景图像码流，这可以通过解码端的背景图像码流传输结束反馈信息实现。背景图像初始使用标记用于指示所述初始使用标记出现后的编码图像可以使用背景图像作为参考图像。背景图像初始使用标记可以携带在初次使用该背景图像作为参考图像的编码图像头信息中。背景图像初始使用标记 还可以携带在所述待编码图像的seimessage中，主码流pps(pictureparameterset)中，或码流中其它位置。

步骤d在背景图像指示信息指示的时刻之后，使用所述高质量背景图像作为参考图像对待编码视频图像进行编码得到主码流，传输所述主码流。

根据上述背景图像指示信息，编码端开始使用高质量背景图像作为待编码视频图像的参考图像，对待编码视频图像进行压缩编码操作，所述编码操作得到的视频图像码流称为主码流，需要传输到解码端。所述主码流可以使用常规编码方法进行压缩编码操作得到。所述主码流中包含背景图像指示信息所指示时刻之后的使用所述高质量背景图像作为参考图像编码的视频图像的压缩码流。

具体的，在背景图像延迟使用时间所指示的时间或者背景图像初始使用标记出现的时间，编码器识别dpb中常规编码的背景图像并将其替换为重建的高质量背景图像，从而开始使用高质量背景图像作为其后编码图像的参考图像。之后可继续使用已有技术对后续待编码图像进行压缩编码处理。可以将背景图像标记为长期参考图像，将其作为后续多个编码图像的参考图像使用。也可以基于率失真优化为后续每个编码图像确定是否使用背景图像作为参考图像。，结合h.265中的标准，可以通过rps(referencepictureset)相关字段列举当前编码图像的参考图像。

解码端

步骤a接收背景图像码流、背景图像指示信息和主码流，本实例中，所述背景图像码流为高质量背景图像的编码码流，所述背景图像指示信息用于指示主码流中开始使用所述背景图像作为参考图像的时刻，所述主码流包含使用高质量背景图像作为参考图像编码的视频图像的编码码流。使用所述背景图像作为参考图像，在解码端可以理解为，使用背景图像作为参考图像对主码流进行解码，具体而言，所述背景图像可作为可选参考图像对主码流中的每一幅编码图像进行解码，也就是主码流中的每一幅编码图像可以选择所述背景图像作为参考图像进行解码。

所述主码流中使用所述高质量背景图像作为参考图像编码的视频图像包括一个或多个随机访问片段。

若使用背景图像延迟使用时间作为背景图像指示信息，则必须在所述背景图像延迟使用时间内完成高质量背景图像码流传输，从而保证解码端在使用高质量版本背景图像作为参考图像之前可以正确的完成背景图像的解码操作。除此之外，高质量背景图像码流与主码流传输次序并无约束。

若使用背景图像初始使用标记作为背景图像指示信息，则在正确接收高质量背景图像码流后，发送传输结束反馈信息给编码端，告知编码端可以开始使用该高质量背景图像作为后续编码图像的参考图像。在解码端收到多个高质量背景图像码流的情况下，会为每一个背景图像码流发送一个反馈信息。解码端 在发送了传输结束反馈信息给编码端之后，接收到编码端发送背景图像初始使用标记。

解码端可根据naluheader中新增字段或者seimessage中的标识信息来识别高质量背景图像码流。可选的，也可以通过系统层方式的标识来识别高质量背景图像码流。因编解码约定使用相同的表示方法，此处可参考编码端相关描述。

步骤b对所述背景图像码流进行解码操作获得高质量背景图像。

步骤c使用所述高质量背景图像作为参考图像对主码流进行解码操作。

具体地，在所述背景图像指示的时刻之后使用高质量背景图像码替换对应的常规编码背景图像，所述常规编码背景图像存放于所述解码端的dpb中，所述高质量背景图像的图像质量高于所述常规编码背景图像。

比如，在背景图像延迟使用时间所指示的时间或者接收到背景图像初始使用标记之后，解码端根据编码图像头信息的中背景图像标记字段或者高质量背景图像头信息中的poc号来识别dpb中的常规编码背景图像，并使用解码的高质量背景图像替换该常规编码背景图像，从而开始使用高质量版本背景图像作为其后编码图像的参考图像。可根据高质量背景图像的编码方法进行对应的解码操作。本实施例解码操作的是在指定时刻将dpb中常规编码背景图像替换为高质量背景图像。

实施例四

发送端

步骤a确定将作为参考图像使用的背景图像。

背景图像可以使用时域均值滤波、高斯建模等方式构造得到，可以从采集视频图像序列中基于运动能量最小等原则选取得到，也可以依据其它原则从待编码视频图像序列中选取。该本发明方案中任意时刻仅使用一个有效背景图像，当背景内容发生变化时，可重新获取背景图像。

步骤b对背景图像进行压缩编码处理得到背景图像码流并传输所述背景图像码流。

可使用任何已有帧内预测编码技术对背景图像进行压缩编码处理。背景图像并不用于显示，而只作为待编码视频图像的参考图像使用。将得到的背景图像码流进行传输。

因为解码端需要识别背景图像码流，所以需要对背景图像码流进行标记。例如如果与h.265标准结合可以在naluheader中增添新字段(例如添加bg_ref_flag)或者在已有字段例如nalutype中增添新的类别(例如，如果和h.26x标准结合，可选择未使用的nalutype数值例如50)来标识。还可以添 加新的seimessage来标识一个图像码流为背景图像码流。例如，如果和h.26x标准结合，可在背景图像的sei_message()中添加新的sei_payloadbg_ref_flag说明该编码图像为背景图像。可选的，背景图像码流可以单独打包传输，从而通过系统层标识进行识别。例如，基于isobasefileformat标准协议增加新的背景图像信息描述box用于描述背景图像信息并承载背景图像编码码流。

步骤c发送背景图像指示信息，所述背景图像指示信息用于指示开始使用所述背景图像作为参考图像的时刻。所述背景图像指示信息可以是背景图像延迟使用时间或者背景图像初始使用标记，该指示标记用于同步发送端和解码端的背景图像处理操作。使用背景图像作为参考图像，在编码端可以理解为，从所述背景图像指示信息指示的时刻开始使用背景图像作为参考图像对待编码视频图像进行编码，也就是待编码视频图像中的每一幅待编码图像可以选择所述背景图像作为参考图像进行编码。

所述背景图像延迟使用时间指从背景图像初次编码处理到其被用作待编码视频图像的参考图像的时间间隔。所述背景图像延迟使用时间可以是编码端与解码端的一个预置值，也可以由编码端确定并告知给解码端。编码端可根据当前传输信道带宽状况与背景图像压缩码流大小来决定背景图像延迟使用时间。解码端与编码端需配合以保证在该时间间隔内完成背景图像码流传输。

所述背景图像延迟使用时间可以有多种表示方法，可以是以毫秒或秒计的时间间隔，可以是当前编码图像cvs计数与初次使用该背景图像的编码图像的cvs计数的差值，还可以是背景图像poc(pictureordercount)与初次使用该背景图像的编码图像的poc的差值。poc是一个与每一个压缩编码图像相关联的数字，按照视频图像序列的播放顺序计数，可用于识别每一个压缩编码图像。因为poc会在随机访问点重置，因此用poc表示适用于在单个随机访问片段内使用背景图像的情况。背景图像延迟使用时间信息可以携带在按编码处理次序或播放次序与背景图像相邻近或接近的编码图像的头信息中，例如与h.26x标准结合时可以在所述待编码图像的第一个slice的sliceheader中添加延迟时间字段delayed_ref_duration来表示。背景图像延迟使用时间信息可以携带在所述待编码图像的seimessage中，例如，如果和h.26x标准结合，可在所述待编码图像的sei_message()中添加新的sei_payloaddelayed_ref_duration来表示。背景图像延迟使用时间信息还可以携带在主码流pps(pictureparameterset)中，例如，如果和h.26x标准结合，可在pps中添加新的字段delayed_ref_duration。背景图像延迟使用时间信息还可以携带在除上述位置外的其它位置。

背景图像初始使用标记由编码端发送给解码端，告知解码端可以开始使用背景图像作为参考图像来处理后续编码图像的解码操作。编码端发送该标记前，需确认解码端已经正确接收背景图像码流，这可以通过解码端反馈的背景图像码流传输结束反馈信息实现。背景图像初始使用标记用于指示所述初始使用标记出现后的编码图像可以使用背景图像作为参考图像。背景图像初始使用标记 可以携带在初次使用该背景图像作为参考图像的编码图像头信息中。例如与h.26x标准结合时可以在上述编码图像的第一个slice的sliceheader中添加延迟时间字段delayed_ref_active_flag来表示。背景图像初始使用标记可以携带在所述编码图像的seimessage中，例如，如果和h.26x标准结合，可在所述待编码图像的sei_message()中添加新的sei_payloaddelayed_ref_active_flag来表示。背景图像初始使用标记还可以携带在主码流pps(pictureparameterset)中，例如，如果和h.26x标准结合，可在pps中添加新的字段delayed_ref_active_flag表示。背景图像初始使用标记还可以携带在除上述位置外的其它位置

步骤d根据背景图像指示信息对待编码视频图像进行压缩编码操作得到主码流，并传输所述主码流。可以理解为，从背景图像指示信息指示的时刻开始，使用所述背景图像作为参考图像对待编码视频图像进行编码得到主码流。也即待编码视频图像中的每一幅编码图像可以选择使用所述背景图像作为参考图像进行编码。根据上述背景图像指示信息，编码器开始使用背景图像作为待编码视频图像的参考图像，对待编码视频图像进行压缩编码操作得到主码流。将主码流进行传输。在本实施例中，从背景图像指示信息指示的时刻开始指从背景图像延迟使用时间所指示的时间开始或者在发送背景图像初始使用标记之后。可以从背景图像延迟使用时间所指示的时间开始或者在发送背景图像初始使用标记之后，将重建背景图像放入编码器dpb中，每一个编码图像可以基于率失真优化的准则来选择是否使用背景图像作为参考图像。可选的，可以在编码图像头信息中新增一个背景图像参考标记，指示是否使用背景图像作为参考图像。

具体而言，从所述背景图像指示信息指示的时刻开始，将所述背景图像作为可选参考图像对待编码视频图像中的每一幅待编码图像进行编码得到编码图像；具体可以通过编码端决策机制确定是否使用所述背景图像对待编码图像进行编码，并根据所述确定的结果设置所述编码图像的头信息中的背景图像参考标记，所述背景图像参考标记用于标识当前编码图像是否使用所述背景图像作为参考图像。所述编码端的决策机制可以由编码端设定，比如可以是可以基于率是真优化的准则来选择是否使用背景图像作为参考图像。

本实施例中，编码图像头信息中背景图像参考标记，指示不使用背景图像作为参考图像。即若当前编码图像没有选择使用背景图像作为参考图像，则无需将重建背景图像插入参考图像列表的操作。

解码端

步骤a接收背景图像指示信息、背景图像码流和主码流，所述主码流中包含使用所述背景图像作为参考图像编码的视频图像的编码码流。

编码端若使用背景图像延迟使用时间作为背景图像指示信息，则必须在所述背景图像延迟使用时间内完成背景图像码流传输，从而保证解码端在使用背景图像作为参考图像之前可以正确的完成背景图像的解码操作。除此之外，背景图像码流与主码流传输次序并无约束。

若使用背景图像初始使用标记作为背景图像指示信息，则解码端在正确接收背景图像码流后，发送背景图像码流传输结束反馈信息给发送端，告知编码端可以开始使用该背景图像作为后续编码图像的参考图像。在解码端收到多个背景图像码流的情况下，会为每一个背景图像码流发送一个反馈信息。

解码端可根据naluheader中新增字段或者seimessage中新增字段，也即背景图像码流标识信息，来识别背景图像码流。可选的，也可以通过系统层的标识来识别背景图像码流。因编解码约定使用相同的表示方法，此处可参考编码端相关描述。

步骤b解码背景图像码流获得重建背景图像。

对背景图像码流进行解码操作获得重建背景图像。注意，解码操作需要接收到完整的背景图像码流后执行。可以有多种方法确认解码端是否收到完整的背景图像码流，例如在背景图像延迟使用时间所指示的时间或者接收到背景图像初始使用标记之后即可确认解码端端获得完整背景图像码流。再例如，可以由传输层传输背景图像码流完成后，将该信息送至编解码层。

步骤c根据所述背景图像指示信息的指示，将所述重建背景图像作为参考图像对主码流进行解码操作。

将重建背景图像放入解码器dpb中，在背景图像延迟使用时间所指示的时间或者接收到背景图像初始使用标记之后，在构造每一个编码图像的参考图像列表时，将背景图像放置在预置的位置，比如前向参考图像列表的第一个位置或最后一个位置。注意，构造参考图像列表的操作需与编码端相同。

将所述重建背景图像作为参考图像对主码流进行解码操作，可以从背景图像指示信息指示的时刻开始以所述重建背景图像作为主码流中每一幅编码图像的可选参考图像对主码流进行解码。可选的，编码端还可以在编码图像的头信息中增加背景图像参考标记来标识当前编码图像是否使用背景图像作为参考图像，则解码端在构造参考图像列表的操作之前，根据主码流中的编码图像头信息中的背景图像参考标记确定当前编码图像是否使用背景图像作为参考图像解码。如果确定是使用背景图像作为参考图像，则在构造初始参考图像列表后，将背景图像插入该参考图像列表中。若确定使用，具体地，在构造该编码图像的参考图像列表时，将背景图像放置在预置的位置，比如前向参考图像列表的第一个位置或最后一个位置。

本发明实施例中，通过背景图像指示信息，指示开始使用背景图像作为参考图像的时刻，编码端从背景图像指示信息指示的时间开始使用背景图像作为参考图像进行编码。使得编码端与解码端使用参考图像的时间可以通过所述背景图像指示信息同步。基于该同步机制，可以灵活的传输背景图像码流，而无需规定其必须在下一个编码图像处理前传输完成。从而避免高质量背景图像传输过载带来的停顿、等待以及触发丢帧操作等情况的发生。在本发明的一些实施例中，根据所述背景图像指示信息指示的时刻，使用所述背景图像作为参考图像，所述背景图像可以作为编码视频图像中多个随机访问片段中的编码图像的参考图像使用，也即所述背景图像即可以跨越随机访问点使用，而不需要重 复传输。

本发明的一些实施例中，通过背景图像指示信息指示可以开始使用背景图像作为参考图像进行编码或解码的时间，所述背景图像指示信息根据当前传输信道带宽状况与背景图像压缩码流大小确定的。因此避免背景图像码流速率超过信道传输能力而无法实时传输到接收端时，引起解码播放时因等待背景图像导致停顿、等待或触发丢帧操作，造成观看体验恶化和重要信息丢失的情况。

系统架构

本发明实施例中提供的编解码技术应用于视频编解码系统中，可以是具备视频能力的各种设备。图1是根据本发明实施例的视频编解码系统10的示意性框图。如图1所示，视频编解码系统10包含源装置12及目的地装置14。

源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。

源装置12及目的地装置14可包括广泛范围的具备视频能力的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者。

目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中，信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制编码后的视频数据，且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体，例如射频(rf)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，不同的是，信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、dvd、cd-rom、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。

在另一实例中，信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含web服务器(例如，用于网站)、文件传送协议(ftp)服务器、网络附加存储(nas)装置，及本地磁盘 驱动器。

目的地装置14可经由标准数据连接(例如，因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，dsl、缆线调制解调器等)，或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用场景，示例性的，可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频编解码系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源接口18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源接口18可包含视频俘获装置(例如，视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口，及/或用于产生视频数据的计算机图形系统，或上述视频数据源的组合。

视频编码器20可编码来自视频源接口18的视频数据。在一些实例中，源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说，显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置，例如液晶显示器(lcd)、等离子体显示器、有机发光二极管(oled)显示器或其它类型的显示装置。

本发明实施例中的编码端也称为编码设备可以由源装置12实现，源装置12可以用于实现本发明实施例中的编码方法，例如实施例1-4中编码方法，本发明实施例中的解码端也称为解码设备可以由目的地装置14实现，目的地装置14可以用于实现实施例中的解码方法，例如实施例1-4中解码方法。

源装置12中的所述视频源接口18用于给视频编码器20提供待编码的视频数据，也就是实施例1-4中提到的采集的视频图像序列或待编码的视频图像由视频源接口18提供给视频编码器20。

源装置12中的视频编码器20在不同的实施例中，可分别对应地执行实施例1-4中编码端的方法，即：

在本发明实施例1中，所述编码器20用于执行前述的实施例1中编码端执行的步骤a、b、c及d。

本发明的实施例2中，所述编码器20用于执行前述实施例2中编码端执行的步骤a、b、c及d。

本发明的实施例3中，所述编码器20用于执行实施例3中编码端执行的步 骤a、b、c及d。

本发明的实施例4中，所述编码器20用于执行实施例4中编码端执行的步骤a、b、c及d。

其中，上述实施例1-4中背景图像码流的传输、主码流的传输以及背景图像指示信息的发送，在编码设备中实现时，由编码器码器20通过输出接口22输出，具体可以编码器20通过输出接口22经由信道16实现。

请参见图7，所述源装置12的一种具体实现中，其中所述编码器20包括主码流编码单元206、背景图像码流生成单元204及以及背景图像指示信息生成单元202。所述背景图像码流生成单元204用于执行实施例中的步骤a及步骤b，所述背景图像指示信息生成单元202用于执行实施例中的步骤c，所述主码流编码单元206用于执行实施例中的步骤d。背景图像指示信息生成单元202执行本文中所说的发送背景图像指示信息可以直接发送，也可以将所述背景图像指示信息携带在主码流中，随主码流传输。

请参见图9，源装置12的另一种具体实现中，编码器20可以基于处理器实现，处理器读取存储介质中的计算机程序指令，执行对应实施例中编码器20执行的编码方法，在此不再赘述。

目的装置14中的解码器30通过输入接口28从信道16获得待解码的压缩码流，在具体实现时，解码器30通过输入接口28获得实施例1-4中提到的背景图像码流、主码流以及背景图像指示信息。

目的装置14中的视频解码器30可用于执行实施例1-4中解码端执行的方法，即：

在本发明实施例1中，所述解码器30用于执行前述的实施例1中编码端执行的步骤a、b及c。

本发明实施例2中，所述解码器30用于执行前述的实施例2中解码端执行的步骤a、b及c。

本发明实施例3中，所述解码器30用于执行前述的实施例3中解码端执行的步骤a、b及c。

本发明的实施例4中，所述解码器30用于执行前述的实施例4中解码端执行的步骤a、b及c。

请参见图8a，所述目的装置14的一种具体实现中，所述解码器30包括码流合并单元311和解码单元312，所述码流合并单元311通过所述输入接口28接收到背景图像码流、背景图像指示信息以及主码流后，执行实施例1中解码端执行的步骤b，所述解码单元312执行实施例1中解码端执行的步骤c。

请参见图8b，所述目的装置14的另一种具体实现中，其中所述解码器30包括背景图像解码单元302及主码流解码单元301，背景图像解码单元302在通过输入接口28接收到背景图像码流后，执行实施例2，3，4中解码步骤中的步骤b，主码流解码单元301根据背景图像指示信息和背景图像解码单元302输出的重建背景图像对主码流执行解码操作，也即所述主码流解码单元301执行实施例2，3，4中的步骤c。码流传输时可以先经过背景图像解码单元302再经主码流解码单元301，也可以背景图像和主码流分别经由背景图像解码单元302和 主码流解码单元301(如图中虚线所示)，本实施例对此无限制。

请参见图10，所述目的装置14的另一种具体实现中，所述解码器30可以基于处理器实现，处理器读取存储介质中的计算机程序指令，执行对应实施例中解码器30执行的步骤，在此不再赘述。

本发明实施例中提及的常规帧内或帧间压缩编码技术是指视频编码器20及视频解码器30可根据但不限于视频压缩标准(例如，高效率视频编解码h.265标准)而操作，且可遵照hevc测试模型(hm)。h.265标准的文本描述itu-th.265(v3)(04/2015)于2015年4月29号发布，可从http://handle.itu.int/11.1002/1000/12455下载，所述文件的全部内容以引用的方式并入本文中。

或者，视频编码器20及视频解码器30可根据其它专属或行业标准而操作，所述标准包含itu-th.261、iso/iecmpeg-1visual、itu-th.262或iso/iecmpeg-2visual、itu-th.263、iso/iecmpeg-4visual，itu-th.264(还称为iso/iecmpeg-4avc)，包含可分级视频编解码(svc)及多视图视频编解码(mvc)扩展。应理解，本发明的技术不限于任何特定编解码标准或技术。

此外，本发明的技术可应用于未必完整包含编码装置与解码装置的系统内，可应用于任何数据通信的视频编解码应用，单侧的视频编码或视频解码。在其它实例中，从本地存储器检索数据，经由网络流式传输数据，或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器，及/或解码装置可从存储器检索数据且解码所述数据。在许多实例中，通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。

视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施，则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中，且可使用一个或多个处理器执行硬件中的指令以执行本发明的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中，其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(codec))的部分。

视频编码器20将某一信息“用信号发送”或“传输”到另一装置(例如，视频解码器30)。术语“用信号发送”“传输”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时以编码后得到的二进制数据将语法元素存储到计算机可读存储媒体时发生，所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。

在一个或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一个或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体而发送，且通过基于硬件的处理单元执行。 计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非瞬时的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或多个计算机或一个或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

通过实例而非限制，某些计算机可读存储媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接可适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(dsl)或无线技术(例如，红外线、无线电及微波)而从网站、服务器或其它远程源发送指令，则同轴电缆、光缆、双绞线、dsl或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是有关非瞬时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字影音光盘(dvd)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。以上各物的组合还应包含于计算机可读媒体的范围内。

可由例如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其它等效集成或离散逻辑电路等一个或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。

本发明的技术可以广泛地由多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(ic)或ic集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。确切地说，如上文所描述，各种单元可组合于编解码器硬件单元中，或通过交互操作性硬件单元(包含如上文所描述的一个或多个处理器)的集合结合合适软件及/或固件来提供。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本申请所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。