专利名称：视频编码的制作方法
技术领域：
本发明涉及具体但不排他地针对利用帧间差分编码的视频编码器的 视频编码。本发明涉及监测系统差错。
背景技术：
例如丰艮据Martini, M.G. & Chiani， M., "Joint source-channel error detection with standard compatibility for wireless video transmission"， Wireless Communications and Networking Conference, 2002.WCNC2002. 2002正EE， Volume 1, 17-21 March 2002 Page(s):215-219，已知的是，根据 编码信号生成诸如循环冗余校验(CRC)的校验信号，该校验信号可以 与在解码器处接收到的信号进行比较。然而，这种方法只能检测到在传 输路径上发生的那些差错。另一方面，Rane, S. et al, "Systematic Lossy Forward Error Protection for error-Jlesilient Digital Video Broadcasting", Proceedings of the SP正，vol.5308， no.l (20th January 2004) pp.588-595中描 述了一种系统，在该系统中发送器利用第一编码器来对视频信号进行编 码并产生本地解码视频信号，接着利用使用粗量化(quantisation)的第 二视频编码器对该本地解码视频信号进行重新编码，接着进行里德-所罗 门(Reed-Solomon)编码。将里德-所罗门奇偶校验符号发送给接收器。 在出现差错的情况，接收器对接收到的第一编码信号进行解码，利用粗 量化对经解码的信号进行重新编码，应用里德-所罗门纠错并对该纠错结 果进行解码。该系统没有以明示方式产生差错告警，更重要的是，许多 差错被粗量化所掩蔽从而无法被检测到，这点是无法令人满意的。
发明内容
根据本发明的一个方面，提供了用于对视频信号进行编码的装置，
该装置包括视频编码单元、用于产生本地解码图像的本地解码单元和校 验信号产生单元，该校验信号产生单元用于产生作为所述本地解码图像 的所有位的函数的校验信号，使得在存在任何单个差错的情况下获得的 校验信号始终与从无差错图像中获得的校验信号不同。
在另一方面，本发明提供了发送视频信号的方法，该方法包括以下 步骤在发送器处，产生编码视频信号，对所述编码视频信号进行解码 以产生本地解码图像，产生作为所述本地解码图像的所有位的函数的校 验信号，使得在存在任何单个差错的情况下获得的校验信号始终与从无 差错图像中获得的校验信号不同，以及向接收器发送该差分信号
(difference signal)禾口校验信号。
在从属权利要求中对本发明的其他方面进行阐述。
现在将参照附图通过举例来对本发明的一些实施方式进行说明，其
中
图1是根据本发明的编码器的框图；以及 图2是对应的解码器的框图。
具体实施例方式
图1示出了视频编码器。在输入1处接收到视频信号(通常为数字 形式)。减法器2形成该输入和来自帧存储器3的预测信号之间的差值， 接着在框4处对该差值进行编码。这里进行的编码并非本发明的要点， 该编码例如可以包括阈值处理(以抑制零差或微差发送)量化、变换编 码和/或可变长度编码。帧存储器的输入是在加法器5中形成的预测信号 与在本地解码器6中解码的经编码的差分信号的和(从而使得在编码和 解码处理中的信息损失包括在预测环路中)。
差分编码实质上是在帧间编码，可是偶尔也可以(针对整个帧或针 对该帧的多个选定块)使用帧内编码，以限制发送差错的传播。所述预 测可以仅由帧存储器3提供的一帧延迟构成；然而，如图所示，还包括有运动估计器7。运动估计器7对正被编码的图像的帧与位于帧存储器3 中的前一帧进行比较。针对(认为图像被划分成的)当前帧的每个块， 识别前一帧中与该块最相似的区域。识别出的区域和受关注块之间在位 置上的矢量差被称为运动矢量(因为运动矢量通常表示在电视画面所呈
现的场景中的物体的运动)，并将该矢量差施加给运动补偿单元8，该运 动补偿单元8用于将前一帧的识别出的区域移动到当前帧中的相关块的 位置，从而产生更好的预测。这使得由减法器2形成的差值的平均值更 小，并且允许编码器4使用与其他情况下相比更低的比特率来对图像进 行编码。
图2示出了解码器。首先，在框6'(与图1中的框6相同)中逆向 执行在框4中进行的任何编码操作以产生帧间差分信号。接着，在从编 码器中接收运动矢量的运动补偿单元8'中进行运动补偿后，将帧间差分 信号与来自帧存储器3'的预测信号相加。加法器5'的输出形成解码器输 出，并且还被提供给帧存储器3'的输入。
尽管未示出，但和常规方式一样，可以在编码器输出和解码器输入 处提供缓冲，以允许通过恒定比特率信道进行传输。
如到目前为止所述，这些设置均为常规设置。然而，编码器另外包 括校验位发生器9，该校验位发生器9又从加法器5接收各本地解码帧并 生成一个或更多个校验位，该生成的一个或更多个校验位连同编码数据 与运动矢量一起被发送给解码器。
解码器具有校验单元9'，该校验单元9'接收校验位和来自加法器5'
的各本地解码帧，并验证它们是否一致。该过程可以简单地包括以下步 骤使用和编码器相同的方法来生成本地校验位；以及将该结果与从编 码器接收到的校验位进行比较。如果它们不匹配，则产生告警信号。
可以使用任意形式的校验位所需要的是这样的信号，该信号是存 储在帧存储器3 (或3')中的位的函数，并且如果产生该信号的帧含有差 错则该信号是不同的。单个的奇偶校验位可执行该功能，但是因为单个 的奇偶校验无法在同一帧中出现两个差错时登记差错，所以只有在差错 率很低时这种奇偶校验才有价值。 另一个选择是使用散列函数。优选地是，使用循环冗余校验(CRC )。
这里用M位来表示帧存储器中的帧，并且认为该M位是M位二进制数， 通过发生器多项式G对该M位二进制数进行以2为模的除法运算。该除 法运算后的余数为所需的校验位串。 一个合适的CRC示例为在MPEG-2 标准ISO/正C 13818-1:1996的附件A (第81页)中所述的32位CRC。
本发明将与广泛的视频编码器一起工作。然而，应注意的是，对于 使用没有被限定为位准确(bit-exact)处理的变换编码的系统可能出现问 题。其中一个示例是根据MPEG-2标准工作的系统。如果在单元6和6' 中的解码相同，则不存在困难，但是通常这种情况仅出现在例如由同一 制造商或使用同一芯片组来实现单元6和6'时。
通常，同时符合所述标准的编码器和解码器可以使用在两端产生略 微不同的舍入误差的不同的定点运算或浮点运算，来自加法器5和5'的 两个经解码的帧将会略有不同。尽管这对于图像的观众来说并非显而易 见的，但是它会导致CRC校验产生差错信号。指定位准确运算的系统(例 如，H.264)则不会经受这种问题。注意，H.264标准包括"补充增强信 息"(SEI)消息的规范，其用于例如保持图像质量。尽管这些消息没有 具体地包括图像校验和的信息，但是它们允许用户定义的消息(可选地 可以经由ITU定义的处理来登记这些消息)。SEI消息还提供用于将附加 信息与相关图像相关联的机制。因此，该SEI机制可用于发送并使用图 像校验和的信息。
如果需要的话，还可以对发送和接收的比特流进行奇偶校验、CRC 校验或其他校验。然而，因为尽管对比特流的校验在差错发生时可识别 到差错，但是它未指出在帧存储器3'中是否存在差错，所以这并未消除 对在9'处进行校验的需求。这种差错一旦存在，当然会一直持续到接收 到内部编码帧(或块)的时刻。
实际上，如果需要的话，可以将差错信号发送回发送器端。通过使 用校验和可以实现针对图像正确性的高置信度。典型的方案为
编码器系统使用图像中的各Y、 U和V像素的值来计算关于每个 重构图像的(例如)32位校验和，
将校验和连同比特流一起发送给机顶盒，并利用充分的信息使校 验和能够与相关图像相关联，
机顶盒中的解码器对图像进行解码。机顶盒计算解码图像的校验 和，并将该校验和与编码器产生的校验和进行比较，
如果所述值匹配，则机顶盒使计数器递增诸如正确的解码图像的
数量，
，如果校验和不匹配，则已经出现差错。机顶盒向中央管理功能发 布差错通知，中央管理功能对这种信息进行比对并且在认为必要时采取 纠错动作。
注意在某些系统中，并不是将所有的帧都用作对其他帧进行编码的 预测因子例如，在MPEG-2标准中，B-帧尽管使用帧间差分编码技术 进行编码，但其本身从未被用作为用于对另一帧进行编码的参考帧。因
此，因为常规的MPEG-2编码器不需要该结果，所以该常规的MPEG-2 编码器不必对B-帧进行编码。在这种情况下，实质上存在两种选择。一 种选择是仅针对为了预测目的而在任何情况下都被解码的那些帧在编码 器处生成校验位(以及在解码器处进行校验)。这意味着并非针对正确性 而对所有图像进行校验，非参考图像对于图像质量来说当然不太重要， 因为它们含有的差错不会持续。另一种选择是即使校验位对于任何其他 目的来说是不必要的，但仍然对并非进行预测所需的那些帧进行解码， 并且对它们产生校验位。
具体地说，可以设想一系统，在该系统中，针对帧间编码不使用帧 间预测帧(inter-predicated frame)作为参考帧(例如，交替发送帧内编 码帧和帧间编码帧的系统)，在这种情况下，为了生成校验位而仅在编码 器端处进行本地编码。
实际上，可以在根本不使用预测编码的系统中使用本发明。从而对 于任意形式的视频编码，可以在编码器处对编码后的视频信号进行本地 解码，并且使用经本地解码的图像来生成CRC或其他校验信号以发送给 接收器作为验证之用。因为可以标记由于在编码处理或解码处理时的问 题引起的差错以及由发送差错引起的差错，所以这与仅对发送的比特流
进行校验相比提供了更高的安全度。
诸如H.263和H.264的一些标准允许使用环路滤波器。这是在编码 环路的内部进行操作的滤波器。其设置在加法器5 (或5')的输出和帧存 储器3 (或3')的输入之间。通常从滤波器的输出获得向观众显示的图像。 尽管实际上可以选择经滤波的信号或未经滤波的信号(只要在编码器处 和解码器处进行同样的操作即可)，但是优选的是，对经滤波的信号执行 CRC操作。
还应注意的是，可以从帧存储器3或3'的输出(或实际上从运动补 偿单元8、 8'的输出)中获取针对CRC处理的输入，尽管自然地这不适 合非参考帧，因为不存储非参考帧。
根据以上描述，按每帧一次的方式生成CRC或其他校验信号。然而， 这并非必需的可以按更低的频度(或许按每对帧或每组帧一次的方式) 来生成CRC或其他校验信号。与此相反，可以按更高频度(例如，按每 个宏块一次的方式)或者通过针对每个帧提供用于运动矢量和差分数据 的单独CRC，来生成所述CRC或其他校验信号。
这里所述的校验适于端对端系统验证。即，用于检测发送问题和包 括存在一些缺陷(或不能一直保持充分处理能力)的解码器的接收端问
题。CRC技术例如可以允许含有解码器的机顶盒将统计数据反馈给服务 器(ACK类型和NACK类型)，因此服务器可以保持接收器已向观众呈 现内容的质量记录。如果用户对质量提出意见，则该系统将使服务供应 商可以区分发送问题和解码问题，这些与包括在服务器上对内容不良编 码在内的所有其他问题或接收端处的其他设备的问题截然不同。
权利要求
1、一种用于对视频信号进行编码的装置，该装置包括视频编码单元(2，4，7)、用于产生本地解码图像的本地解码单元(3，5，6，8)和校验信号产生单元(9)，该校验信号产生单元用于产生作为所述本地解码图像的所有位的函数的校验信号，而使得在存在任何单个差错的情况下获得的校验信号始终与从无差错图像中获得的校验信号不同。
2、 根据权利要求l所述的装置，其中，所述校验信号为循环冗余校 验信号。
3、 根据权利要求1或2所述的装置，其中，所述视频编码单元被设 置为使用预测编码。
4、 根据权利要求l所述的装置，其中，所述视频编码单元包括用于 存储本地解码图像的帧存储器(3)以及用于产生差分信号的帧间编码单 元(2， 4， 7， 8)，该差分信号表示要发送的图像和基于存储的本地解码 图像的预测图像之间的差别。
5、 根据权利要求4所述的装置，其中，仅针对要被用作对另一帧的 预测编码的基础的图像产生所述校验信号。
6、 根据权利要求4所述的装置，其中，所述帧间编码单元用于对未 被用作对另一帧进行预测编码的基础的图像执行预测编码，所述本地解 码单元被设置为对这种非参考图像进行解码，以使得所述校验信号产生 单元可以产生针对所述非参考图像的校验信号。
7、 一种发送视频信号的方法，该方法包括以下步骤 在发送器处，产生编码视频信号，对所述编码视频信号进行解码以产生本地解码图像，并产生作为所述本地解码图像的所有位的函数的校 验信号，而使得在存在任何单个差错的情况下获得的所述校验信号始终 与从无差错图像中获得的校验信号不同，并且向接收器发送所述差分信 号和所述校验信号。
8、 根据权利要求7所述的方法，该方法还包括以下步骤在接收器 处，对接收到的信号进行解码以产生解码图像，将该解码图像与所述校 验信号进行比较，并且如果所述解码图像和校验信号不一致，则产生差 错信号。
9、 根据权利要求7或8所述的方法，其中，所述校验信号为循环冗 余校验信号。
10、 根据权利要求7、 8或9所述的方法，其中，所述视频编码使用 预测编码。
11、 根据权利要求7到10中的任何一项所述的方法，其中，所述编 码视频信号包括差分信号，该差分信号表示要发送的图像和基于存储的 本地解码图像的预测图像之间的差别。
12、 根据权利要求ll所述的方法，其中，仅针对要被用作对另一帧 的预测编码的基础的图像产生所述校验信号。
13、 根据权利要求ll所述的方法，该方法还包括对未被用作对另一 帧的预测编码的基础的图像执行预测编码的步骤，并且包括对这种非参 考图像进行本地解码以及产生针对所述非参考图像的校验信号的步骤。
全文摘要
本发明涉及视频编码。通过在发送器处产生差分信号(2)来对视频信号进行编码，该差分信号表示要发送的图像和基于存储的本地解码图像的预测图像之间的差别。该视频信号被解码(5，6)以生成新的本地解码图像。发送器还生成诸如CRC的校验信号，该校验信号是本地解码图像的函数。接收器对差分信号进行解码以生成解码图像。接收器对解码图像与校验信号进行比较，并且如果二者不一致，则生成差错信号。
文档编号H04N7/66GK101194516SQ200680020448
公开日2008年6月4日 申请日期2006年6月1日 优先权日2005年6月8日
发明者蒂莫西·拉尔夫·杰布 申请人:英国电讯有限公司