专利名称：高效能视频信号编码译码系统及相关方法
技术领域：
本发明涉及一种视频信号处理系统及相关方法，特别是涉及一种高效能视频信号编码译码系统及相关方法。
背景技术：
随着电子电路运算速度的提升，耗费大量系统资源的运算(如视频信号处理)遂成为电子装置的发展重点的一。一般视频信号处理的规格中通常包含有若干编码型态，以适应各种视频信号数据的编码需求。以活动图像编码专家组(MPEG，Moving Picture Coding Experts Group)规格为例，其对于一画面的编码方式具有内编码(Intra)、预测编码(Predictive)、与双向预测编码(Bidirectionally Predictive)等编码方式。一内编码画面为独立编码的一画面，无须参考前后的画面即可进行该内编码画面的编码或译码。一预测编码画面是由时间轴上最近过去的参考画面(一内编码画面或一预测编码画面)进行顺向预测编码而得，因此该预测编码画面在译码的时候，必须从过去的参考画面读取顺向预测数据才能进行译码。另外一双向预测编码画面是由时间轴上过去与未来的参考画面分别进行顺向与逆向预测编码而得，因此该双向预测编码画面在译码的时候，必须从过去与未来的参考画面读取顺向与逆向预测数据才能进行译码。
根据以上关于图像画面的种类说明得知，该内编码画面因为不需要参考前后的画面即可进行编码或译码的操纵，因此其在编码或译码过程使用最小的存储器频宽。而该预测编码画面因为需要参考过去的参考画面以进行编码或译码的操纵，因此其在编码或译码过程使用较大的存储器频宽。同理该双向预测编码画面因为需要参考过去与未来的参考画面以进行编码或译码的操纵，因此其在编码或译码过程使用最大的存储器频宽。
另外一画面包含有多个宏区块(macroblock)，其中该画面是以所述宏区块为单位进行编码或译码的操纵。在一画面中的每一宏区块具有一宏区块型态(macroblock type)参数，用来表示该宏区块的编码型态。以活动图像专家团体第二型(MPEG2)规格为例，一内编码画面的宏区块的编码型态为内编码，而一预测编码画面的宏区块的编码型态可以是内编码或顺向位移补偿编码(forward motion compensation)，另外一双向预测编码画面的宏区块的编码型态可以是内编码、顺向位移补偿编码、逆向位移补偿编码(backwardmotion compensation)、或双向位移补偿编码(bidirectional motion compensation)。其中顺向位移补偿编码或逆向位移补偿编码宏区块可统称为一单向位移补偿宏区块(unidirectional motion compensation macroblock)，由于一内编码宏区块为独立编码的一宏区块，无须参考前后的画面即可进行该内编码宏区块的编码或译码。而一单向位移补偿宏区块必须从过去或未来的参考画面读取预测数据才能进行编码或译码。另外一双向位移补偿宏区块必须从过去与未来的参考画面读取顺向与逆向预测数据才能进行编码或译码。
根据以上关于宏区块的编码型态说明得知，该内编码宏区块因为不需要参考前后的画面即可进行编码或译码的操纵，因此其在编码或译码过程使用最小的存储器频宽。而该单向位移补偿宏区块因为需要参考过去或未来的参考画面以进行编码或译码的操纵，因此其在编码或译码过程使用较大的存储器频宽。同理该双向位移补偿宏区块因为需要参考过去与未来的参考画面以进行编码或译码的操纵，因此其在编码或译码过程使用最大的存储器频宽。
请参考图1，图1为已知的视频信号处理系统100的示意图。视频信号处理系统100包含有一编码器102、一译码器104、一存储器接口电路106、与一存储器108。编码器102与译码器104共享同一存储器接口电路106来存取同一存储器108所存储的数据以进行编码或译码。其中编码器102进行编码时将图像数据压缩成一内编码画面、一预测编码画面、或一双向预测编码画面的顺序与译码器104同时在进行译码的比特流对应于一内编码画面、一预测编码画面、或一双向预测编码画面的顺序并无任何关系。已知的编码顺序是按照视频信号处理系统100预定的顺序，例如该预定的顺序为内编码、预测编码、双向预测编码、双向预测编码、内编码、预测编码、双向预测编码、双向预测编码、……的顺序，则编码器102即按照上述预定的顺序进行编码。然而当编码器102正在进行一第一双向预测编码画面的编码时，一旦译码器104恰巧同时进行一第二双向预测编码画面的译码，则编码器102与译码器104便同时进入消耗最大存储器频宽的运算模式，因此，所需要的存储器频宽突然大增，又其共享同一个存储器接口电路和同一个存储器装置，于是造成瞬间系统100所提供的存储器频宽无法满足同时编码该第一双向预测编码画面以及译码该第二双向预测编码画面所需，也就是说编码或译码运算速度降低，而使系统100无法实现实时编码或译码的要求。
另外已知的视频信号处理系统100的编码器102决定一画面中的每一宏区块的编码型态(内编码宏区块、单向位移补偿宏区块、或双向位移补偿宏区块)的顺序与译码器104同时在进行译码的宏区块的编码型态(内编码宏区块、单向位移补偿宏区块、或双向位移补偿宏区块)的顺序并无任何关系。当编码器102正在进行一第一双向位移补偿宏区块的编码时，一旦译码器104恰巧同时进行一第二双向位移补偿宏区块的译码，则编码器102与译码器104便同时进入消耗最大存储器频宽的运算模式，因此，所需要的存储器频宽突然大增，又其共享同一个存储器接口电路和同一个存储器装置，于是造成瞬间系统100所提供的存储器频宽无法满足同时编码该第一双向位移补偿宏区块以及译码该第二双向位移补偿宏区块所需，也就是说编码或译码运算速度降低，而使系统100无法实现实时编码或译码的要求。
由上述可知，已知的视频信号处理系统在共享同一个存储器接口电路与同一存储器情况下，一旦其中的编码器与译码器同时进入消耗最大存储器频宽的运算模式，便造成所需要的存储器频宽突然大增而减低编码与译码的效能，因此已知的视频信号处理系统无法持续地实现实时编码或译码的要求。
发明内容
因此本发明的主要目的在于提供一种高效能视频信号编码译码系统及相关方法，以解决上述问题。
本发明的较佳实施例中提供了一种视频信号处理系统。该系统用来依据一译码比特流的特性对一编码比特流进行编码。该系统具有一存储装置(在该实施例中为一存储器)，用来存储该译码比特流与该编码比特流的数据。该系统还具有一编码器，电连接于该存储装置，用来依据该译码比特流的编码型态对该编码比特流进行编码。该系统还包含有一译码器，电连接于该存储装置，用来译码该译码比特流并将该译码比特流的编码型态传递给该编码器。该编码比特流的编码型态对应于该译码比特流的编码型态，以实现限制该编码器与该译码器共同所需最大存储器频宽的目的。
本发明在提供上述视频信号处理系统的同时，亦对应地提供一种视频信号编码译码方法，用来依据一译码比特流的特性对一编码比特流进行编码。该方法包含有检查该译码比特流的编码型态以决定该编码比特流所允许的至少一编码型态，以实现限制视频信号编码与译码共同所需最大存储器频宽的目的。该方法还包含有利用前述步骤中所决定的至少一编码型态中的一第一编码型态进行该编码比特流的编码。其中该译码比特流与该编码比特流共享同一存储器接口电路。
本发明的好处之一是，本发明的视频信号处理系统在共享同一个存储器接口电路与存储装置情况下，其中的编码器与译码器不会同时进入消耗最大存储器频宽的运算模式，就不会而造成所需要的存储器频宽突然大增而减低编码与译码的效能，因此本发明的视频信号处理系统及相关方法能够持续地实现实时编码或译码的要求。
本发明的另一好处是，本发明的视频信号处理系统在共享同一个存储器接口电路与存储装置情况下，其中的编码器的编码型态根据与其中的译码器的编码型态而决定，因此本发明的视频信号处理系统及相关方法能够平衡地分配编码或译码所需要的存储器频宽而增进编码与译码的效能。
图1为已知的视频信号处理系统的示意图；图2为本发明的视频信号处理系统的示意图；图3为图2的视频信号处理系统的编码顺序示意图；以及图4为图2的视频信号处理系统的编码流程示意图。
附图符号说明
具体实施方式
请参考图2，图2为本发明的视频信号处理系统200的示意图。视频信号处理系统200用来依据一译码比特流214的特性对一编码比特流212进行编码。该系统包含有一存储装置208(在本实施例中即图2所示的存储器208)，用来存储译码比特流214与编码比特流212的数据；一编码器202，经由一存储器接口电路206存取存储装置208，用来依据译码比特流214的编码型态对编码比特流212进行编码；一译码器204，经由一存储器接口电路206存取存储装置208，用来译码译码比特流214并将译码比特流214的编码型态传递给编码器202(后面将进一步说明译码比特流214的编码型态的传递途径)；以及一存储器接口206(在图2标示为存储器接口电路206)，用来管理存取存储器208的操纵。其中编码比特流212的编码型态对应于译码比特流214的编码型态，以实现限制编码器202与译码器204共同所需最大存储器频宽的目的。
前述的编码比特流212与译码比特流214的编码型态为内编码(Intra)、预测编码(Predictive)、与双向预测编码(Bidirectionally Predictive)。为了实现限制该编码器与该译码器共同所需最大存储器频宽的目的，本发明编码比特流212的编码型态对应于译码比特流214的编码型态，例如，为了实现限制最大存储器频宽的目的而限制当译码比特流214的编码型态为双向预测编码时，编码比特流212的编码型态不可为预测编码、或双向预测编码。或当译码比特流214的编码型态为预测编码时，编码比特流212的编码型态不可为双向预测编码的情况下，本发明编码比特流212允许的编码型态如下，当译码比特流214的编码型态为内编码时，编码比特流212的编码型态为内编码、预测编码、或双向预测编码。当译码比特流214的编码型态为预测编码时，编码比特流212的编码型态为内编码或预测编码。当译码比特流214的编码型态为双向预测编码时，编码比特流212的编码型态为内编码。如以上所述，虽然本发明的编码比特流212于译码比特流214的不同的编码型态下有若干对应的编码型态可供选择，在以下说明中将提出编码比特流212的编码型态的较佳选择。
请同时参考图2与图3，图3为图2的视频信号处理系统200的编码顺序示意图。其中“I”、“P”、或“B”分别代表内编码画面、预测编码画面、或双向预测编码画面。而标示于“I”、“P”、与“B”等之后的数字0、1、2、……、11代表编码或译码画面的顺序编号。另外以括号标示的数字(0)、(1)、与(2)则分别代表内编码画面“I”、预测编码画面“P”、与双向预测编码画面“B”的编码或译码过程中，编码器202或译码器204通过存储器接口电路206读取存储于存储器208的参考画面(一内编码画面或一预测编码画面)数据所对应的平均存储器频宽负载。也就是说内编码画面“I”、预测编码画面“P”、与双向预测编码画面“B”对应的平均存储器频宽负载分别为零单位、一单位、与二单位。前述以括号标示的数字(0)、(1)、与(2)的数值大小为象征性的举例，其中所述数值彼此的大小关系依据以下说明而定义。首先内编码画面“I”在编码或译码过程中因为不需要参考前后的画面而使用最小的存储器频宽。其次预测编码画面“P”在编码或译码过程中需要参考过去的参考画面而使用较大的存储器频宽。同理双向预测编码画面“B”在编码或译码过程中需要参考过去与未来的参考画面而使用最大的存储器频宽。
在图3所示的实施例中，起始画面皆以内编码“I”作为初始状态。除了起始画面之外的每一瞬间的编码比特流的编码型态与译码比特流的编码型态皆按照下列规则配置。当译码比特流214的编码型态为内编码“I”时，编码比特流212的编码型态为双向预测编码“B”。当译码比特流214的编码型态为预测编码“P”时，编码比特流212的编码型态为预测编码“P”。当译码比特流214的编码型态为双向预测编码“B”时，编码比特流212的编码型态为内编码“I”。
如图3所示，译码比特流214的编码型态的顺序为I0、P1、B2、I3、P4、B5、I6、P7、B8、I9、P10、B11的顺序，而编码比特流212的编码型态的顺序则为I0、P1、I2、B3、P4、I5、B6、P7、I8、B9、P10、I11的顺序。图3的最下面一列数字0、2、2、……、2显示，除了起始画面之外，编码所需平均存储器频宽负载(第三列各栏中括号内的数字)与译码所需平均存储器频宽负载(第二列各栏中括号内的数字)的总和恒为二单位。因此编码器202与译码器204不会同时进入消耗最大存储器频宽的运算模式而造成瞬间系统200所提供的存储器频宽无法满足同时编码以及译码所需，同时充分利用系统200于进行译码过程所剩余的存储器频宽作为编码所需的存储器频宽，而增进系统200的编码或译码的效能。
关于译码器204将译码比特流214的编码型态传递给编码器202的传递途径另说明如下。首先译码器204分析译码比特流214的编码型态，并且将所得知的编码型态暂存于存储器208；其次由编码器202读取前述暂存于存储器208的编码型态，作为编码器202对编码比特流212进行编码的依据。然而此架构为设计上的选择，并不限定本发明的范围。在本发明的另一实施例中，本发明的视频信号处理系统200还包含有一传输路径203，分别电连接于编码器202与译码器204，用来将译码比特流214的编码型态由译码器204传输至编码器202。
请参考图4，图4为图2的视频信号处理系统200的编码流程示意图。在以下的说明中，图4表达的范围将被限缩为图2的视频信号处理系统200对一画面的编码流程示意图。本发明在提供前述的视频信号处理系统200的同时，亦对应地提供一种视频信号编码译码方法，用来依据一译码比特流214的特性对一编码比特流212进行编码。编码比特流212为对应于一画面的编码比特流212，并且译码比特流214与编码比特流212共享同一存储器接口电路206。该方法的步骤说明如下。
步骤410检查译码比特流214的编码型态以决定编码比特流212所允许的至少一编码型态，以实现限制视频信号编码与译码共同所需最大存储器频宽的目的；步骤412利用步骤410中所决定的至少一编码型态中的一第一编码型态进行该编码比特流的编码。
其中所述编码型态为内编码、预测编码、与双向预测编码。为了实现限制该编码器与该译码器共同所需最大存储器频宽的目的，本发明编码比特流212的编码型态对应于译码比特流214的编码型态，例如，为了实现限制最大存储器频宽的目的而限制当译码比特流214的编码型态为双向预测编码时，编码比特流212的编码型态不可为预测编码、或双向预测编码。或当译码比特流214的编码型态为预测编码时，编码比特流212的编码型态不可为双向预测编码的情况下，本发明编码比特流212允许的编码型态如下，当译码比特流214的编码型态为内编码时，编码比特流212所允许的编码型态为内编码、预测编码、或双向预测编码。当译码比特流214的编码型态为预测编码时，编码比特流212所允许的编码型态为内编码或预测编码。当译码比特流214的编码型态为双向预测编码时，编码比特流212所允许的编码型态为内编码。
请再参考图4。在以下的说明中，图4表达的范围将被限缩为图2的视频信号处理系统200对一宏区块的编码流程示意图。由于一内编码画面的宏区块的编码型态为内编码；而一预测编码画面的宏区块的编码型态可以是内编码或顺向位移补偿编码(forward motion compensation)；另外一双向预测编码画面的宏区块的编码型态可以是内编码、顺向位移补偿编码、逆向位移补偿编码(backward morion compensation)、或双向位移补偿编码(bidirectionalmotion compensation)；因此本发明在提供前述的视频信号处理系统200的同时，亦对应地提供一种视频信号编码译码方法，用来依据一译码比特流214的特性对一编码比特流212进行编码。编码比特流212为对应于一画面的一区块(在本实施例为一宏区块-macroblock)的编码比特流212，并且译码比特流214与编码比特流212共享同一存储器接口电路206。该方法的步骤说明如下。
步骤410检查译码比特流214的编码型态以决定编码比特流212所允许的至少一编码型态，以实现限制视频信号编码与译码共同所需最大存储器频宽的目的；步骤412利用步骤410中所决定的至少一编码型态中的一第一编码型态进行该编码比特流的编码。
其中该区块的编码型态为内编码、顺向位移补偿编码、逆向位移补偿编码、或双向位移补偿编码。该方法还包含有当该画面的编码型态为内编码时，以内编码的编码型态进行该区块的编码；当该画面的编码型态为预测编码时，以内编码或顺向位移补偿编码的编码型态进行该区块的编码；当该画面的编码型态为双向预测编码时，以内编码、顺向位移补偿编码、逆向位移补偿编码、或双向位移补偿编码的编码型态进行该区块的编码。另外当该画面的编码型态为双向预测编码时，内编码的编码型态并不适用于特定视频信号的编码需求，因此该方法还包含有当该画面的编码型态为双向预测编码时，以顺向位移补偿编码、逆向位移补偿编码、或双向位移补偿编码的编码型态进行该区块的编码，当然上述不同编码型态的画面所允许的区块编码型态，除了受该画面的编码型态所限制之外，本发明可以为了实现限制该编码器与该译码器共同所需最大存储器频宽的目的，进一步限制当译码比特流214区块的编码型态为某种编码型态时，编码比特流212区块的编码型态不可为对应的若干编码型态，例如，限制当译码比特流214区块的编码型态为双向位移补偿编码时，编码比特流212区块的编码型态不可为单向位移补偿编码、或双向位移补偿编码。或当译码比特流214区块的编码型态为单向位移补偿编码时，编码比特流212区块的编码型态不可为双向位移补偿编码。
根据本发明提供的方法，视频信号处理系统200于每一区块(在此该区块可以是一宏区块)编码之前，先进行各种不同编码型态的编码测试，并且找出使用最少编码位的编码型态，再将该宏区块以该最少编码位的编码型态进行编码。由于该区块的各像素(pixel)亮度的平均值或变异量(variance)等统计数值的大小是反应该区块图像复杂的程度，也反应该区块最节省存储容量的编码型态，亦即一最少编码位的编码型态。也就是说该编码测试可以根据编码器202对该区块进行各像素亮度的平均值或变异量等统计数值的大小来决定一最适合的编码型态。因此本发明的方法还包含有利用步骤410中所决定的至少一编码型态分别对编码比特流212进行编码测试以决定该第一编码型态。
相较于已知技术，本发明的视频信号处理系统在共享同一个存储器接口电路与存储装置情况下，其中的编码器与译码器不会同时进入消耗最大存储器频宽的运算模式，就不会造成所需要的存储器频宽突然大增而减低编码与译码的效能，因此本发明的视频信号处理系统及相关方法能够持续地实现实时编码或译码的要求。
本发明的另一好处是，本发明的视频信号处理系统在共享同一个存储器接口电路与存储装置情况下，其中的编码器的编码型态根据与其中的译码器的编码型态而决定，因此本发明的视频信号处理系统及相关方法能够平衡地分配编码或译码所需要的存储器频宽而增进编码与译码的效能。
以上所述仅为本发明的较佳实施例，凡依本发明的权利要求所做的均等变化与修饰，皆应属本发明专利的涵盖范围。
权利要求
1.一种视频信号处理系统，用来依据一译码比特流的特性对一编码比特流进行编码，该系统包含有一存储装置，用来存储该译码比特流与该编码比特流的数据；一编码器，电连接于该存储装置，用来依据该译码比特流的编码型态对该编码比特流进行编码；其中该编码比特流的编码型态对应于该译码比特流的编码型态。
2.如权利要求1所述的系统，其中该系统还包含有一译码器，电连接于该存储装置，用来译码该译码比特流并将该译码比特流的编码型态传递给该编码器。
3.如权利要求2所述的系统，其中该编码比特流的编码型态对应于该译码比特流的编码型态，以实现限制该编码器与该译码器共同所需最大存储器频宽的目的。
4.如权利要求3所述的系统，其中所述编码型态为内编码、预测编码、与双向预测编码。
5.如权利要求4所述的系统，其中当该译码比特流的编码型态为内编码时，该编码比特流的编码型态为内编码、预测编码、或双向预测编码。
6.如权利要求4所述的系统，其中当该译码比特流的编码型态为预测编码时，该编码比特流的编码型态为内编码或预测编码。
7.如权利要求4所述的系统，其中当该译码比特流的编码型态为双向预测编码时，该编码比特流的编码型态为内编码。
8.如权利要求1所述的系统，其中该存储装置为一存储器，该系统还包含有一存储器接口，用来管理存取该存储器的操纵。
9.一种视频信号编码译码方法，用来依据一译码比特流的特性对一编码比特流进行编码，该方法包含有(a)检查该译码比特流的编码型态以决定该编码比特流所允许的至少一编码型态；(b)利用步骤(a)中所决定的至少一编码型态中的一第一编码型态进行该编码比特流的编码。
10.如权利要求9所述的方法，其中步骤(a)，检查该译码比特流的编码型态以决定该编码比特流所允许的至少一编码型态，以实现限制视频信号编码与译码共同所需最大存储器频宽的目的。
11.如权利要求10所述的方法，其中所述编码型态为内编码、预测编码、与双向预测编码。
12.如权利要求11所述的方法，其中当该译码比特流的编码型态为内编码时，该编码比特流所允许的编码型态为内编码、预测编码、或双向预测编码。
13.如权利要求11所述的方法，其中当该译码比特流的编码型态为预测编码时，该编码比特流所允许的编码型态为内编码或预测编码。
14.如权利要求11所述的方法，其中当该译码比特流的编码型态为双向预测编码时，该编码比特流所允许的编码型态为内编码。
15.如权利要求9所述的方法，其中该译码比特流与该编码比特流共享同一存储器接口电路。
16.如权利要求9所述的方法，其中该编码比特流为对应于一画面的编码比特流。
17.如权利要求9所述的方法，其中该编码比特流为对应于一画面的一区块的编码比特流。
18.如权利要求17所述的方法，其中该区块为一宏区块。
19.如权利要求17所述的方法，其中该区块的编码型态为内编码、顺向位移补偿编码、逆向位移补偿编码、或双向位移补偿编码。
20.如权利要求17所述的方法，该方法还包含有当该画面的编码型态为内编码时，以内编码的编码型态进行该区块的编码。
21.如权利要求17所述的方法，该方法还包含有当该画面的编码型态为预测编码时，以内编码或顺向位移补偿编码的编码型态进行该区块的编码。
22.如权利要求17所述的方法，该方法还包含有当该画面的编码型态为双向预测编码时，以内编码、顺向位移补偿编码、逆向位移补偿编码、或双向位移补偿编码的编码型态进行该区块的编码。
23.如权利要求17所述的方法，该方法还包含有当该画面的编码型态为双向预测编码时，以顺向位移补偿编码、逆向位移补偿编码、或双向位移补偿编码的编码型态进行该区块的编码。
24.如权利要求9所述的方法，该方法还包含有利用步骤(a)中所决定的至少一编码型态分别对该编码比特流进行编码测试以决定该第一编码型态。
全文摘要
一种视频信号处理系统及相关方法。该系统用来依据一译码比特流的特性对一编码比特流进行编码。该系统具有一存储装置，用来存储该译码比特流与该编码比特流的数据。该系统还具有一编码器，电连接于该存储装置，用来依据该译码比特流的编码型态对该编码比特流进行编码。该系统还包含有一译码器，电连接于该存储装置，用来译码该译码比特流并将该译码比特流的编码型态传递给该编码器。该编码比特流的编码型态对应于该译码比特流的编码型态，以实现限制该编码器与该译码器共同所需最大存储器频宽的目的。
文档编号H04N7/24GK1595983SQ03158489
公开日2005年3月16日 申请日期2003年9月11日 优先权日2003年9月11日
发明者朱启诚 申请人:联发科技股份有限公司