用于执行图像处理控制的方法和装置与流程

本发明涉及视频解码，且特别地，涉及用于执行图像处理控制的方法和装置。

背景技术：

VP9视频压缩技术可依赖基于片(tile-based)的分割，这将有助于提高解码性能。然而，一些问题，例如，一些副作用会产生。例如，可存在某些片和其上方的一片(即位于该些片之上的片)之间的依赖性，这将导致一些关于解码的限制。更特别地，关于片的垂直依赖性，当解码一个当前超级块时，现有的解码器不能识别上方超级块(即，位于当前超级块之上的超级块)的块宽度和变换大小(transform size)直到上方超级块已经解码完毕(或解包装)。此外，尽管所有帧中的片的起始位置在提取了此帧的帧头后是可用的，片的垂直依赖性限制解码器仅仅并行处理的相同行的一些片，而不是完全并行处理此帧中所有片。

技术实现要素：

有鉴于此，本发明特提供以下技术方案：

本发明提供一种用于执行图像处理控制的方法，方法应用于至少包含电子装置的电子系统，方法包含对至少一个帧的图像信息执行图像编码，以生成至少一个帧的编码后的数据，其中，在编码后的数据中，至少一个帧的特定帧包含多个片，且多个片的每个片包含多个超级块；以及生成承载至少一个帧的编码后的数据的比特流，其中多个片的特定片中的每个超级块的至少分割类型和变换大小，是可从对应于编码后的数据中的特定片的信息派生的，不需要从对应于编码后的数据中的多个片的另一片的信息派生分割类型和变换大小。

本发明还提供一种用于执行图像处理控制的装置，装置包含电子装置的至少一个部分，装置包含编码电路，用于在至少一个帧的图像信息上执行图像编码，以生成至少一个帧的编码后的数据，其中在编码后的数据中，至少一个帧的特定帧包含多个片，且多个片的每个片包含多个超级块；以及片包装电路，耦合到编码电路，用于生成承载至少一个帧的编码后的数据的比特流，其中多个片的特定片中的每个超级块的至少分割类型和变换大小，是可从对应于编码后的数据中的特定片的信息派生的，不需要从对应于编码后的数据中的多个片的另一片的信息派生分割类型和变换大小。

本发明还提供一种用于执行图像处理控制的装置，装置包含电子装置的至少一个部分，装置包含接收电路，用于接收承载直接或间接从另一电子装置获得的信息的输入信号，其中另一电子装置在至少一个帧的图像信息上执行图像编码，以生成至少一个帧的编码后的数据，并生成承载至少一个帧的编码后的数据的比特流，其中在编码后的数据中，至少一个帧的特定帧包含多个片，多个片的每个片包含多个超级块，其中接收电路恢复来自输入信号的比特流；以及解码电路，耦合到接收电路，用于以并行的方式解码由恢复后的比特流承载的编码后的数据的至少一个部分，其中解码电路从对应于编码后的数据中的特定片的信息，获得多个片的特定片中的每个超级块的至少分割类型和变换大小，而不是从对应于编码后的数据中的多个片的其他片的信息来获得分割类型和变换大小。

本发明通过以上方案，可以增强整体性能且可以有效节省用于冗余片的比特的成本。

【附图说明】

图1是根据本发明的实施例用于执行图像处理控制的装置的示意图，其中此装置可包括电子装置的至少一个部分，例如，视频编码装置的至少一个部分(例如，部分或所有)。

图2是根据本发明另一实施例的用于执行图像处理控制的装置的示意图，其中此装置可包括电子装置的至少一个部分，例如，视频解码装置的至少一个部分(例如，部分或所有)。

图3是根据本发明的实施例的电子系统的示意图。

图4图示根据本发明的实施例的用于执行图像处理控制的方法的流程图。

图5图示根据本发明的实施例的涉及显示于图4中的方法的编码架构。

图6图示根据本发明的实施例的与当前超级块关联的一些相邻超级块。

图7图示根据现有技术的一般编码器系统的现有的分片控制方案。

图8图示根据本发明的实施例的涉及显示于图4中的方法的优化分片控制方案。

图9图示根据现有技术的一般编码器系统的现有的分片控制方案。

图10图示根据本发明的另一实施例的涉及显示于图4中的方法的优化分片控制方案。

【具体实施方式】

某些术语遍及以下的描述和权利要求，指代特定部件。如本领域的技术人员所意识的，电子设备制造商可用不同的名称来指代部件。此文档不打算区别功能相同但名称不同的部件。在以下的描述和权利要求中，词语“包括”和“包含”用于开放式的，且由此应该解释为“包含但不限于”。而且，术语“耦合”表示直接或间接电连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连接。

图1是根据本发明的实施例的用于执行图像处理控制的装置100的示意图，其中此装置可包括电子装置的至少一个部分，例如，视频编码装置的至少一个部分(例如，部分或所有)。例如，装置100可包括此电子装置(例如，视频编码装置)的部分，且更特别地，可以是至少一个硬件电路，例如，此电子装置中的至少一个集成电路(IC)。在另一示例中，装置100可以是整个此电子装置(例如，视频编码装置)。在另一示例中，装置100可包括包含此电子装置的电子系统(例如，包含视频编码装置的电子系统)。此电子装置的示例可包含，但不限于，移动电话(例如，多功能移动电话)、平板电脑以及个人计算机，例如，膝上计算机或台式计算机。

如图1所示，装置100可包括编码电路110和耦合到编码电路110的片包装电路120。更特别地，编码电路110配置用于执行图像编码，例如，与帧的优化分片关联的图像编码操作。此外，片包装电路120配置用于执行片包装，以生成符合特定标准(例如，VP9视频压缩标准)的比特流。此仅仅是说明性的目的，且不意味着作为本发明的限制。根据一些本发明的实施例，显示于图1中的部件的至少一个部分(例如，编码电路110和/或片包装电路120)可以用运行一些程序代码的处理器来实施。例如，此处理器可以是计算机处理器，例如，中央处理单元(CPU)或图形处理单元(GPU)。

图2是根据本发明的另一实施例的用于执行图像处理控制的装置200的示意图，其中此装置可包括电子装置的至少一个部分，例如，视频解码装置的至少一个部分(例如，部分或所有)。例如，装置200可包括此电子装置(例如，视频解码装置)的部分，且更特别地，可以是至少一个硬件电路，例如，此电子装置中的至少一个集成电路(IC)。在另一示例中，装置200可以是整个此电子装置(例如，视频解码装置)。在另一示例中，装置200可包括包含此电子装置的电子系统(例如，包含视频解码装置的电子系统)。此电子装置的示例可包含，但不限于，移动电话(例如，多功能移动电话)、平板电脑以及个人计算机，例如，膝上计算机或台式计算机。

如图2所示，装置200可包括接收电路210和耦合到接收电路210的解码电路220。更特别地，接收电路210配置为用于接收输入信号205，输入信号205承载直接或间接地从另一电子装置(例如，以上提及的视频编码装置)获得的信息。此外，接收电路210可从输入信号205恢复在图1中示出的实施例中提及的比特流。此外，解码电路220配置为用于执行图像解码，例如，对应于在图1示出的实施例中提及的图像编码操作的图像解码操作，以并行的方式解码恢复的比特流。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。根据一些本发明的实施例，显示于图2中的部件的至少一个部分(例如，接收电路210和/或解码电路220)可以用运行一些程序代码的处理器来实施。例如，此处理器可以是计算机处理器，例如，CPU或GPU(Graphics Processing Unit)。

图3是根据本发明的实施例的电子系统300的示意图。如图3所示，电子系统300可包括视频编码装置310，其可作为在图1中示出的实施例中提及的视频编码装置的示例，其中视频编码装置310可包括显示于图1中的架构中的部件。此外，电子系统300还可包含视频解码装置320，其可作为在图2中示出的实施例中提及的视频解码装置的示例，其中视频解码装置320可包括显示于图2中的架构的部件。

在实践中，视频解码装置320的输入信号205可承载直接或间接地从视频编码装置310获得的信息。例如，信息可以从视频编码装置310通过因特网发送到视频解码装置320。在另一示例中，信息可以从视频编码装置310通过通信网络发送到视频解码装置320。在另一示例中，视频编码装置310可在存储介质(例如，硬盘(HD)或数字多功能盘(DVD))中储存信息，，且视频解码装置320可存取存储介质以获得信息。

图4是根据本发明的实施例的用于执行图像处理控制的方法400的流程图。显示于图4中的方法400可以应用于显示于图1中的装置100和显示于图1中的实施例的电子装置，例如，视频编码装置310，且更特别地，可以应用于显示于图2中的装置200和显示于图2中的实施例的电子装置，例如，视频解码装置320。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。方法可以描述如下。

在步骤410中，编码电路110在至少一个帧(例如，一个或多个帧，例如，显示于图1的输入帧)的图像信息上执行图像编码，以生成前述至少一个帧的编码后的数据，其中在编码后的数据中，前述至少一个帧的特定帧可包括多个片，且多个片的每个片可包括多个超级块。

在步骤420中，片包装电路120生成承载前述至少一个帧的编码后的数据的比特流，例如，在图1中示出的实施例中提及的比特流，其中多个片的特定片中的每个超级块的至少分割类型和变换大小，是可从对应于编码后的数据中的特定片的信息中派生，不需要从对应于编码后的数据中的多个片的另一片的信息中派生分割类型和变换大小。例如，分割类型和变换大小是从对应于编码后的数据中的特定片的信息获得的，而不是从对应于编码后的数据中的其它片的信息获得的。根据本实施例，比特流可符合VP9视频压缩标准。

更特别地，方法200还可包含：利用在图2中示出的实施例中提及的电子装置，例如，电子系统300中的视频解码装置320，以恢复比特流以及由此来解码。例如，接收电路210可接收承载直接或间接地从视频编码装置310获得的信息的输入信号205，且可从输入信号205恢复比特流，且解码电路220可以并行的方式，解码由恢复后的比特流承载的编码后的数据的至少一个部分(例如，部分或所有)。此外，解码电路220可从对应于编码后的数据中的特定片的信息，获得该特定片中的每个超级块的分割类型和变换大小，而不是从对应于相同帧的编码后的数据中(更特别地，在可包括多个片的特定帧的编码后的数据中)的其他片的信息获得分割类型和变换大小。在实践中，编码后的数据的前述至少一个部分一般包含对应于特定片的信息。

如上提及的，关于步骤420的操作，至少特定片中的每个超级块的分割类型和变换大小是可从对应于编码后的数据中的该特定片的信息派生的，不需要从对应于相同帧的编码后的数据中的其他片的信息来派生分割类型和变换大小。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。根据一些本发明的实施例，特定片中的每个超级块的一个或多个其它解码参数可以是从对应于编码后的数据中的特定片派生的，不需要从对应于相同帧的编码后的数据中的其他片的信息来派生前述一个或多个其它解码参数。

根据一些实施例，解码电路220可开始同时处理多个片的多片。即，当生成编码后的数据时，帧不水平地分割为片，以便属于此帧的所有片可以并行地解码。更特别地，解码电路220可开始同时处理多个片中的多组片，其中多组片中的每组片是多个片中的一列片。

图5根据本发明的实施例图示涉及显示于图4中的方法400的编码架构500，其中编码架构500可以被称作优化分片编码器。根据本实施例，编码架构500可包括编码器510、分析器512(可包括一些逻辑部件，例如，一些逻辑门)、决定单元514(例如，决定逻辑电路)、超级块(SB)信息缓冲器516和片包装电路520，其中编码器510可包括运动估计(ME)单元、运动补偿(MC)单元、变换(T)单元、量化(Q)单元、逆变换(IT)单元以及逆量化(IQ)单元(在图5中分别标签为“ME”、“MC”、“T”、“Q”、“IT”和“IQ”)。编码器510、分析器512、决定单元514和超级块信息缓冲器516的组合可作为编码电路110的示例，以及片包装电路520可作为片包装电路120的示例。

请注意，编码器510中的单元的操作可以根据现有技术来实施，除非，在片包装电路520执行片包装之前，分析器512分析编码器510中的数据，以生成关于特定片中的每个超级块的分片特性的分析后的结果，以及决定单元514根据分析后的结果确定特定片中的每个超级块的参数log2_tile_width和log2_tile_height，用于执行片包装控制的使用。因此，片包装电路520可执行对应于由决定单元514根据分析后的结果确定的参数log2_tile_width和log2_tile_height的片包装控制。作为通过利用显示于图5中的编码架构500编码的结果，特定片的分割类型和变换大小可以独立地由解码电路220解码，其中在解码特定片的分割类型和变换大小的过程中，解码电路220不需要多个片中的其它片的信息，例如，对应于以上提及的其它片的信息。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。

根据一些本发明的实施例，在片包装电路520执行片包装之前，分析器512分析编码器510中的数据，以生成关于特定片中的每个超级块的分片特性的分析后的结果，且决定单元514能够根据分析后的结果，从多个预定分片控制方案中选择特定预定分片控制方案。更特别地，分析器512可收集超级块信息，且决定单元514可通过评估多个预定分片控制方案中的所有可能的分片方案，确定具体预定分片控制方案。例如，以下测试操作可以执行。基于由分析器512收集的超级块信息，决定单元514可在所有片边缘检查每个超级块，且更特别地，可检查在正测试的预定分片控制方案中是否存在此超级块和其跨过片边缘(tile edge)的邻近超级块之间的依赖性。当检测到此依赖性存在于正被测试的预定分片控制方案时，决定单元514可用拒绝旗标标记对应边缘，拒绝旗标可指示正被测试的预定分片控制方案不建议用于分片，并因此，正被测试的预定分片控制方案被拒绝。对于多个预定分片控制方案中可用的分片控制方案，例如，没有用拒绝旗标标记的预定分片控制方案，决定单元514可估计这些预定分片控制方案的比特率，并从这些预定分片控制方案中选择一个对应于最小比特率的作为特定预定分片控制方案。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。

根据一些本发明的实施例，关于决定单元514，对于靠近片边界(tile boundary)的每个超级块，需要使一些解码参数(例如，分割类型和变换大小(例如，所有片的那些))能够并行的解码，而不需要用到邻近超级块。例如，假设当解码特定片中的超级块的分割类型时，例如，当前超级块SB_C(未示出于图5)，片边界存在于当前超级块SB_C之上。在解码当前超级块SB_C的分割类型时，如果上面的超级块SB_A(未示出于图5)的偏移参数offset_above没有确定，则决定单元514可确定依赖性存在，于是对应片边界不存在；否则，决定单元514可确定片边界存在。决定单元514也是以类似的方式来确定当前超级块SB_C的左边的片边界是否存在。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。

根据一些本发明的实施例，显示于图5中的编码架构500可变化。例如，在一种情况中，省略分析器512、决定单元514和超级块信息缓冲器516的至少一个部分(例如，部分或所有)，编码器510可利用一组预定值分别作为特定片中的每个超级块的参数log2_tile_width和log2_tile_height，并直接发送参数log2_tile_width和log2_tile_height(即此组预定值，在此示例中)到片包装电路520，用于执行片包装控制的使用，其中编码器510可作为编码电路110的示例，以及片包装电路520可作为片包装电路120的示例。因此，片包装电路520可执行对应于参数log2_tile_width和log2_tile_heigh的片包装控制，其中参数由此示例的编码器510设置为此组预定值。通过利用此示例的编码架构500编码的结果是特定片的分割类型和变换大小可以独立地由解码电路220来解码，其中在解码特定片的分割类型和变换大小的过程中，解码电路220不需要多个片中的其它片的信息，例如，对应于以上提及的其它的片的信息。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。

根据一些本发明的实施例，显示于图5中的编码架构500可变化。例如，在一种情况中，省略分析器512、决定单元514和超级块信息缓冲器516的至少一个部分(例如，部分或所有)，基于至少一个查找表(LUT)，编码器510可利用一组LUT值分别作为特定片中的每个超级块的参数log2_tile_width和log2_tile_height，并直接发送参数log2_tile_width和log2_tile_height(即此组LUT值，在此示例中)到片包装电路520，用于执行片包装控制的使用，其中编码器510可以作为编码电路110的示例，以及片包装电路520可作为片包装电路120的示例。因此，片包装电路520可执行对应于参数log2_tile_width和log2_tile_height的片包装控制，其中参数由此示例的编码器510设置为此组LUT值。通过利用此示例的编码架构500编码的结果是特定片的分割类型和变换大小可以独立地由解码电路220来解码，其中在解码特定片的分割类型和变换大小的过程中，解码电路220不需要多个片的其他片的信息，例如，对应于以上提及的其它的片的信息。此仅仅是用于说明性的目的，且不意味着作为本发明的限制。

图6图示了根据本发明的实施例的与当前超级块关联的一些相邻超级块。在实践中，当在编码特定片中超级块的分割类型时，例如，当前超级块SB_C，编码电路110可需要其上或其左边的超级块的分割大小，例如，图6中显示的上面的超级块SB_A和左边的超级块SB_L，其中当前超级块SB_C的分割类型可以与参数Prob_offset关联，其可以表达如下：

Prob_offset＝offest_above+offset_left*2；

其中参数offset_above和offset_left可以通过分别将上面的超级块SB_A和左边的超级块SB_L的分割大小与当前超级块SB_C的分割大小比较来派生。例如，如果位于当前超级块SB_C上面的超级块SB_A中的任何上面的相邻分割具有比当前超级块SB_C更小的宽度，则参数offset_above等于1；否则，参数offset_above等于0。在另一示例中，如果位于当前超级块SB_C的左边的超级块SB_L的任何左边相邻分割具有比当前超级块SB_C更小的高度，则参数offset_left等于1；否则，参数offset_left等于0。然而，如果左边的超级块SB_L和当前超级块SB_C位于不同的片，则参数offset_left等于0。请注意，即使上面的分割位于不同的片(即，不同于当前超级块SB_C位于的片)，参考仍然有效。

关于变换大小依赖性，当在编码特定片中前述超级块的变换大小时，例如，当前超级块SB_C，编码电路110可从多个概率组中选择特定概率组，以确定其变换大小，其中表示当前超级块SB_C的最大可允许变换大小的参数Maximum_tx_size可在从多个概率组中选择特定概率组的过程中使用。例如，参数Maximum_tx_size可以与参数Tx_size_above和Tx_size_left关联。更特别地，如果应用NOT运算符于上面的超级块SB_A的跳过因子(skip coefficient)skip_coeff的运算结果是真(例如，逻辑值1)，则参数Tx_size_above等于上面的超级块SB_A的变换大小(或Tx大小)；否则，参数Tx_size_above等于参数Maximum_tx_size。此外，如果应用NOT运算符于左边的超级块SB_L的跳过因子skip_coeff的运算结果是真(例如，逻辑值1)，则参数Tx_size_left等于左边的超级块SB_L的参数变换大小(或Tx大小)；否则，参数Tx_size_left等于参数Maximum_tx_size。此外，如果参数Tx_size_above和Tx_size_left的总和大于参数Maximum_tx_size(即，Tx_size_above+Tx_size_left>Maximum_tx_size)，则编码电路110使用概率组#1；否则，编码电路110使用概率组#0。对于关于概率组#1和概率组#0的一些实现细节，请参考VP9视频压缩标准。

在实践中，会有一些分片的限制或要求。首先，每个片行的数目和片列的数目应该为2的幂次(例如2ⁿ，其中符号“n”可以是大于或等于零的整数)，其中在分片的过程中，帧可以水平地或垂直地由2、4、8的任何一个来分割。此外，片的每个最小宽度和最小高度等效于256个像素。例如，包含(1280*720)像素的“1280x720”帧最大可以分割为(4*2)片。在另一示例中，包含(1920*1080)像素的“1920x1080”帧最大可以分割为(4*4)片。典型地，要求装置100(例如，图3示出的实施例中的视频编码装置310)将帧中所有片的偏移增加到此帧的帧头上，以便装置200(例如，图3示出的实施例中的视频解码装置320)可在提取了帧头后定位片的所有子比特流。

图7图示了根据现有技术的一般编码器系统的现有的分片控制方案。例如，当处理一些“1280x720”帧时，每帧包含(1280*720)像素，现有技术的一般编码器系统可在每帧上执行现有的分片操作以编码这些帧，其中每帧可分割为(4*2)片，例如，图7中所显示的片(例如，在图7中以垂直和水平虚线图示的片)。请注意，由此一般编码器系统执行的片包装典型地导致以上提及的现有技术中的问题。

图8图示根据本发明的实施例的涉及显示于图4中的方法的优化分片控制方案。例如，当处理一些“1280x720”帧时，每帧包含(1280*720)像素，本实施例的编码电路110可在每帧上执行优化分片，以编码这些帧，其中每帧可以分割为(4*1)片，例如，显示于图8中的片(例如，在图8中以垂直虚线图示的片)。此外，本实施的编码电路110可控制片包装电路120，以执行对应于本实施的优化分片的片包装。与显示于图7中的现有的分片控制方案比较，由于没有垂直方向的片，所以片不存在垂直依赖性，显示于图8中的优化分片控制方案可防止现有技术中的问题。

图9图示根据现有技术的一般编码器系统的现有的分片控制方案。例如，当处理一些“1920x1080”帧时，每帧包含(1920*1080)像素，现有技术的一般编码器系统可在每个帧上执行现有的分片操作，以编码这些帧，其中每个帧可分割为(4*4)片，例如，显示于图9中的片(例如，在图9中以垂直和水平虚线图示的片)。请注意，由此一般编码器系统执行的片包装典型地导致以上提及的现有技术中的问题。

图10图示根据本发明的另一实施例的涉及显示于图4中的方法400的优化分片控制方案。例如，当处理一些“1920x1080”帧时，每个帧包含(1920*1080)像素，本实施例的编码电路110可在每个帧上执行优化分片，以编码这些帧，其中每个这些帧可分割为(4*1)片，例如，显示于图10中的片(例如，在图10中以垂直虚线图示的片)。此外，本实施例的编码电路110可控制片包装电路120，以执行对应于本实施例的优化分片的片包装。与显示于图9中的现有的分片控制方案比较，由于没有垂直方向的片，所以片不存在垂直依赖性，显示于图10中的优化分片控制方案可防止现有技术中的问题。

根据一些实施例，还提供非暂时性计算机可读介质，其中非暂时性计算机可读介质可储存一组指令。当由处理器(例如，以上的一个或多个实施李忠提及的处理器)执行此组指令时，此处理器可根据图像处理方法(例如，显示于图4中的实施例的方法400或任何上述一些相关的实施例的方法400)执行操作。因此，此组指令配置为指示此处理器以控制放置处理器的电子装置，以根据图像处理方法来操作。更特别地，此图像处理方法可包括步骤：对视频内容的多个帧的每个帧执行编码过程，以生成多个帧的每个帧的标记化的因子；并将多个帧的每个帧包装为多个片，以生成视频内容的比特流，防止每个帧沿着预定方向分割，以保证所述帧的特定片的多个超级块的每个的至少分割类型和变换大小仅仅从对应于特定片的信息来派生。

例如，对视频内容的多个帧的每个帧执行编码过程以生成多个帧的每个帧的标记化的因子的步骤，可包括在包装帧之前执行的对于帧的所有操作。此外，防止多个帧的每个帧沿着预定方向分割的实现细节可变化。例如，基于一些配置设置，参数log2_tile_width和log2_tile_height可以确定，以防止多个帧的每个帧沿着预定方向分割。在另一示例中，基于显示于图5中的架构，分析器512和决定单元514可控制此架构的操作，以防止多个帧的每个帧沿着预定方向分割。

根据一个或多个这些实施例，预定方向可以是水平的。因此，在包装后，多个帧的每个帧中可能仅仅只有一个片行，其中以下提及的术语“片行”可表示单个片或水平排布的片的组合，例如，图示于分别显示于图8和图10中的任何实施例。根据一个或多个这些实施例，比特流可符合VP9视频压缩标准。属于由比特流承载的一个帧的多个片的每个是并行的可解码的。即，属于由比特流承载的一个帧的多个片的每个可以并行的方式来解码。例如，由比特流承载的任何超级块的分割类型和变换大小在相同帧的任何两个片之间可不具有依赖性。

本领域技术人员容易观察到，在保留本发明的教导下，可以对装置和方法进行许多修改和替换。因此，以上揭示应该解释为仅仅由所附的权利要求的范围和界限来限制。