基于图片划分结构的图像/视频编译方法及设备与流程

1.本公开涉及一种基于图片的分区结构对图像/视频进行编译的方法和设备。


背景技术：

2.最近，在各种领域中对诸如4k或8k或以上超高清晰度(uhd)图像/视频的高分辨率、高质量图像/视频的需求在增加。随着图像/视频分辨率或质量变得更高，与对于常规图像/视频数据相比，发送相对更多量的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质来发送或者被存储在传统存储介质中，则容易增加用于传输和存储的成本。
3.此外，对虚拟现实(vr)和人工现实(ar)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。


技术实现要素：

5.技术问题
6.本公开的技术目的是提供一种用于增加图像/视频的编译效率的方法和设备。
7.本公开的另一技术目的是提供一种用于有效地用信号发送关于拼块内的切片的信息的方法和设备。
8.本公开的又一个技术目的是提供一种用于在递送(或者传送)关于拼块内的切片的信息时减少信令开销的方法和设备。
9.本公开的又一个技术目的是提供一种用于有效地递送(或者传送)与拼块内的切片的数量和高度相关的信息的方法和设备。
10.技术方案
11.根据本公开的实施例，本文提供了一种由视频解码设备执行的视频解码方法。该方法可以包括以下步骤：从比特流解析与当前图片的拼块内的其每个切片高度被显式地用信号发送的切片的数量相关的数量信息；基于数量信息从比特流中解析与其每个切片高度被显式地用信号发送的切片的高度相关的高度信息；以及基于数量信息和高度信息对当前图片进行解码，其中高度信息可以包括与数量信息的值相同数量的语法元素，其中，基于数量信息值等于n，可以基于语法元素导出拼块内的第0切片到第(n-1)切片的高度，其中可以基于第(n-1)切片的高度来导出拼块内的第n切片的高度，并且其中可以基于从拼块的高度减去拼块内的其他切片的高度之后的剩余高度导出拼块内的最后切片的高度。
12.根据本公开的另一实施例，本文提供一种由视频编码设备执行的视频编码方法。该方法可以包括以下步骤：导出当前图片的拼块内的切片；基于导出的切片执行帧内预测或帧间预测中的至少一个，并且生成预测相关信息；基于所导出的切片生成与拼块内的其
每个切片高度被显式地用信号发送的切片的数量相关的数量信息以及与其每个切片高度被显式地用信号发送的切片的高度相关的高度信息；以及对包括预测相关信息、数量信息和高度信息的图像信息进行编码，其中，基于数量信息的值等于n，高度信息可以包括n个语法元素，每个语法元素分别指示拼块内的第0切片到第(n-1)切片的高度，其中可以基于第(n-1)切片的高度来导出拼块内的第n切片的高度，并且其中可以基于从拼块的高度减去拼块内的其他切片的高度之后的剩余高度导出拼块内的最后切片的高度。
13.根据本公开的又一实施例，本文提供一种计算机可读数字记录介质，具有存储在其中的使视频解码方法由视频解码设备执行的信息。视频解码方法可以包括以下步骤：从视频信息解析与当前图片的拼块内的其每个切片高度被显式地用信号发送的切片的数量相关的数量信息；基于数量信息从视频信息中解析与其每个切片高度被显式地用信号发送的切片的高度相关的高度信息；以及基于数量信息和高度信息对当前图片进行解码，其中高度信息可以包括与数量信息的值相同数量的语法元素，其中，基于数量信息值等于n，可以基于语法元素导出拼块内的第0切片到第(n-1)切片的高度，其中可以基于第(n-1)切片的高度来导出拼块内的第n切片的高度，并且其中可以基于从拼块的高度减去拼块内的其他切片的高度之后的剩余高度导出拼块内的最后切片的高度。
14.有益效果
15.根据本公开的实施例，可以增强图像/视频的整体压缩效率。
16.根据本公开的实施例，可以有效地用信号发送关于拼块内的切片的信息。
17.根据本公开的实施例，当递送(或传送)关于拼块内的切片的信息时，可以减少信令开销。
18.根据本公开的实施例，可以有效地用信号发送与拼块内的切片的数量和高度相关的信息。
附图说明
19.图1示意性地示出可应用本公开的实施例的视频/图像编译系统的示例。
20.图2是示意性地图示可应用本公开的实施例的视频/图像编码设备的配置的图。
21.图3是示意性地图示可应用本公开的实施例的视频/图像解码设备的配置的图。
22.图4示出图片解码过程的示例。
23.图5示出图片编码过程的示例。
24.图6示出编码设备中的残差处理的示例。
25.图7示出解码设备中的残差处理的示例。
26.图8和图9分别示出根据本公开的实施例的视频/图像编码方法和相关组件的一般示例。
27.图10和图11分别示出根据本公开的实施例的视频/图像解码方法和相关组件的一般示例。
28.图12示出可以应用本公开的实施例的内容流传输系统的示例。
具体实施方式
29.可以各种形式修改本公开的公开内容，并且将在附图中描述和图示其具体实施
例。在本公开中使用的术语仅用于描述具体实施例，而不旨在限制本公开中的所公开的方法。单数的表达包括“至少一个”的表达，只要它被清楚地不同地解读。诸如“包括”和“具有”的术语旨在指示存在文档中使用的特征、数量、步骤、操作、元素、组件或其组合，并且因此应当理解，不排除存在或添加一个或多个不同特征、数量、步骤、操作、元素、组件或其组合的可能性。
30.此外，本文档中描述的附图的每个配置是用于解释作为彼此不同的特征的功能的独立图示，并且不意味着每个配置由相互不同的硬件或不同的软件实现。例如，可将两种或更多种配置组合以形成一种配置，并且还可将一种配置分成多种配置。在不脱离本公开的所公开的方法的主旨的情况下，组合和/或分离配置的实施例包括在本公开的公开内容的范围内。
31.在本文档中，术语“/”和“，”应解释为指示“和/或”。例如，表达“a/b”可以意指“a和/或b”。此外，“a、b”可以意指“a和/或b”。此外，“a/b/c”可以意指“a、b和/或c中的至少一个”。此外，“a/b/c”可以意指“a、b和/或c中的至少一个”。
32.此外，在文档中，术语“或”应解释为指示“和/或”。例如，表达“a或b”可以包括1)仅a、2)仅b和/或3)a和b这两者。换句话说，本文档中的术语“或”应解释为指示“附加地或替代地”。
33.此外，本说明书中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示将“帧内预测”作为“预测”的示例提出。换句话说，本说明书中的术语“预测”不限于“帧内预测”，并且可以指示将“帧内预测”作为“预测”的示例提出。此外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示将“帧内预测”作为“预测”的示例提出。
34.在本文档中，在一个附图中单独解释的技术特征可以单独实施或同时实施。
35.本文档涉及视频/图像编译。例如，本文档中公开的方法/实施例可以应用于通用视频编译(vvc)标准中公开的方法。此外，本文档中公开的方法/实施例可以应用于基本视频编译(evc)标准、aomedia视频1(av1)标准、第二代音频视频编译标准(avs2)或下一代视频/图像编译标准(例如，h.267、h.268等)。
36.与视频/图像编译相关的各种实施例在本文档中呈现，并且实施例可以彼此组合，除非另有说明。
37.在本文档中，视频可能指的是一段时间内的一系列图像(image)。图片(picture)通常指的是在特定时间帧表示一个图像的单元，并且切片(slice)/拼块(tile)指的是在编译方面组成图片的一部分的单元。切片/拼块可以包括一个或多个编译树单元(ctu)。一个图片可以由一个或多个切片/拼块组成。一个图片可以由一个或多个拼块组(tile group)组成。一个拼块组可以包括一个或多个拼块。图块(brick)可以表示图片中的拼块内的ctu行的矩形区域。拼块可以分区成多个图块，其每个由该拼块内的一个或多个ctu行组成。未分区成多个图块的拼块也可以被称为图块。图块扫描是分区图片的ctu的特定顺序排序，其中ctu在图块中的ctu光栅扫描中被连续排序，在拼块内的图块在拼块的图块的光栅扫描中被连续排序，而在图片中的拼块在图片的拼块的光栅扫描中被连续排序。拼块是图片中特定拼块列和特定拼块行内的ctu的矩形区域。拼块列是ctu的矩形区域，其高度等于图片的高度并且宽度由图片参数集中的语法元素指定。拼块行是ctu的矩形区域，其高度由图片参数集中的语法元素指定并且宽度等于图片的宽度。拼块扫描是分区图片的ctu的特定顺序
排序，其中ctu在拼块中的ctu光栅扫描中被连续排序，而图片中的拼块在图片的拼块的光栅扫描中被连续排序。切片包括整数个的图片的图块，其可以排他地被包含在单个nal单元中。切片可以由多个完整的拼块组成，或者仅由一个拼块的完整图块的连续序列组成。在本文档中，拼块组和切片可以互换使用。例如，在本文档中，拼块组/拼块组报头可以被称为切片/切片报头。
38.像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
39.单元可以表示图像处理的基本单位。单元可以包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可以包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。可替选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
40.在一些情况下，单元可以与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
41.在下文中，将参考附图详细描述本文档的实施例。另外，在所有附图中，相同的附图标记可用于指示相同的元件，并且将省略对相同元件的相同描述。
42.图1图示可应用本公开的实施例的视频/图像编译系统的示例。
43.参照图1，视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送至接收装置。
44.源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部部件。
45.视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可以包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可以包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
46.编码设备可以对输入视频/图像进行编码。为了压缩和编译效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可以按比特流的形式输出。
47.发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可以包括用于通过预定文件格式生成
媒体文件的元件，并且可以包括用于通过广播/通信网络传输的元件。接收器可以接收/提取比特流并且将所接收的比特流发送至解码设备。
48.解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程对视频/图像进行解码。
49.渲染器可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
50.本文档涉及视频/图像编译。例如，本文档中公开的方法/实施例可以应用于通用视频编译(vvc)标准中公开的方法。此外，本文档中公开的方法/实施例可以应用于基本视频编译(evc)标准、aomedia视频1(av1)标准、第二代音频视频编译标准(avs2)或下一代视频/图像编译标准(例如，h.267、h.268等)。
51.与视频/图像编译相关的各种实施例在本文档中呈现，并且实施例可以彼此组合，除非另有说明。
52.在本文档中，视频可能指的是一段时间内的一系列图像。图片通常指的是在特定时间帧表示一个图像的单元，并且切片/拼块指的是在编译方面组成图片的一部分的单元。切片/拼块可以包括一个或多个编译树单元(ctu)。一个图片可以由一个或多个切片/拼块组成。一个图片可以由一个或多个拼块组组成。一个拼块组可以包括一个或多个拼块。图块可以表示图片中的拼块内的ctu行的矩形区域。拼块可以分区成多个图块，其每个由该拼块内的一个或多个ctu行组成。未分区成多个图块的拼块也可以称为图块。图块扫描是分区图片的ctu的特定顺序排序，其中ctu在图块中的以ctu光栅扫描被连续排序，在拼块内的图块以拼块的图块的光栅扫描被连续排序，而在图片中的拼块以图片的拼块的光栅扫描被连续排序。拼块是图片中特定拼块列和特定拼块行内的ctu的矩形区域。拼块列是ctu的矩形区域，其高度等于图片的高度并且宽度由图片参数集中的语法元素指定。拼块行是ctu的矩形区域，其高度由图片参数集中的语法元素指定并且宽度等于图片的宽度。拼块扫描是分区图片的ctu的特定顺序排序，其中ctu在拼块中以ctu光栅扫描被连续排序，而图片中的拼块以图片的拼块的光栅扫描被连续排序。切片包括整数个的图片的图块，其可以排他地被包含在单个nal单元中。切片可以由多个完整的拼块组成，或者仅由一个拼块的完整图块的连续序列组成。在本文档中，拼块组和切片可以互换使用。例如，在本文档中，拼块组/拼块组报头可以被称为切片/切片报头。
53.像素或像元(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以用作与像素对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
54.单元可以表示图像处理的基本单位。单元可以包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可以与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可以包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。可替选地，样本可以意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可以意指频域中的变换系数。
55.在一些情况下，单元可以与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可以表示由m列和n行组成的样本或变换系数组。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，并且也可以仅表示色度分量的像素/像素值。样本可以被用作与配置一个图片(或者图像)的像素或像元的对应的术语。
56.图2是示意性地图示本公开的实施例可以应用于的视频/图像编码设备的配置的图。在下文中，被称为视频编码设备的设备可以包括图像编码设备。
57.参照图2，编码设备200包括图像分区器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施方式，图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件部件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(dpb)，或者可以由数字存储介质配置。硬件部件还可以包括存储器270作为内部/外部部件。
58.图像分区器210可以将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理单元。例如，处理单元可以被称为编译单元(cu)。在这种情况下，编译单元可以根据四叉树二叉树三叉树(qtbttt)结构从编译树单元(ctu)或最大编译单元(lcu)递归地分割。例如，一个编译单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编译单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。可替选地，可首先应用二叉树结构。可基于不再分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，根据图像特性基于编译效率等，最大编译单元可用作最终编译单元，或者如果需要，编译单元可以被递归地分割成深度更深的编译单元并且具有最优大小的编译单元可用作最终编译单元。这里，编译过程可以包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理单元还可以包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元中的每个可以从上述最终编译单元分割或分区。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
59.编码设备200可以从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可以确定在当前块或cu的单元中应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可以生成关于预测的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可以由熵编码器240编码并且以比特流的形式输出。
60.帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。例如，非定向模式可以包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可以包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器222可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
61.帧间预测器221可以基于参考图片上运动矢量所指定的参考块(参考样本阵列)来
推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可以被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片可以被称为并置图片(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可以不发送残差信号。运动矢量预测(mvp)模式可以通过使用邻近块的运动矢量作为运动矢量预测器并且用信号通知运动矢量差来指示当前块的运动矢量。
62.预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器220可以应用帧内预测或帧间预测来预测一个块，并且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(ciip)。此外，预测器可以基于帧内块复制(ibc)预测模式或基于调色板模式以用于预测块。ibc预测模式或调色板模式可用于游戏等的内容的图像/视频编译，例如屏幕内容编译(scc)。ibc基本上在当前图片中执行预测，但是它可以与帧间预测类似地执行在于在当前图片中推导参考块。也就是说，ibc可以使用本文档中描述的帧间预测技术中的至少一个。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息用信号通知图片中的样本值。
63.通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或可以用于生成残差信号。
64.变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括以下中的至少一个：离散余弦变换(dct)、离散正弦变换(dst)、基于图形的变换(gbt)或条件非线性变换(cnt)。这里，当像素之间的关系信息被图示为图形时，gbt意指从图形获取的变换。cnt意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外，变换处理还可以应用于具有相同大小的正方形的像素块，或者还可以应用于不是正方形的可变大小的块。
65.量化器233量化变换系数并且将量化的变换系数发送到熵编码器240，并且熵编码器240编码量化的信号(关于量化的变换系数的信息)并且输出编码的信号作为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序以一维向量形式重新排列具有块形式的量化的变换系数，并且还基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。
66.熵编码器240可以执行诸如例如指数哥伦布(golomb)、上下文自适应可变长度编译(cavlc)、和上下文自适应二进制算术编译(cabac)等的各种编码方法。熵编码器240还可以一起或单独地对除了量化的变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)进行编码。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(nal)为单位被发送或存储。视频/图像信息还可以包括关于各种参数集的信息，例如适配参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/
图像信息还可以包括一般约束信息。在该文档中，可以在视频/图像信息中包括从编码设备用信号通知/发送到解码设备的信息和/或语法元素。视频/图像信息可以通过前述编码过程来编码并且因此包括在比特流中。比特流可以通过网络被发送或者可以被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。用于发送从熵编码器240输出的信号的发送单元(未示出)和/或用于存储该信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元也可以被包括在熵编码器240中。
67.从量化器233输出的量化的变换系数可以用于生成预测信号。例如，可以通过解量化器234和逆变换单元235将解量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本阵列)。诸如在应用跳过模式时，当针对处理目标块不存在残差时，预测块可用作重构块。加法器250可以被称为恢复器或恢复块生成器。所生成的重构信号可以用于当前图片内的下一个处理目标块的帧内预测，并且，还可以在滤波之后用于下一图片的帧间预测，如下所述。
68.同时，也可以在图片编码和/或重构处理期间应用亮度映射与色度缩放(lmcs)。
69.滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种类型的信息并且将所生成的信息传送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可以由熵编码器240编码并以比特流的形式输出。
70.发送到存储器270的修改的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配并且可以改善编译效率。
71.存储器270的dpb可以存储修正后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且可以将重构样本传送到帧内预测器222。
72.图3是用于示意性地解释可应用本公开的实施例的视频/图像解码设备的配置的图。
73.参照图3，解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。根据实施方式，熵解码310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件部件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(dpb)或者可以由数字存储介质配置。硬件部件还可以包括存储器360作为内部/外部部件。
74.当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2所示的编码设备中处理视频/图像信息的过程而重构图像。例如，解码设备300可以基于从比特流获
得的块分区相关信息来推导单元/块。解码设备300可以使用应用于编码设备的处理单元来执行解码。因此，例如，用于解码的处理单元可以是编译单元，并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。可以从编译单元推导一个或多个变换单元。此外，通过解码设备300解码和输出的重构图像信号可以通过再现设备被再现。
75.解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且可以通过熵解码器310对接收的信号进行解码。例如，熵解码器310可以解析比特流来推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如适配参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集和/或一般约束信息的信息来解码图片。稍后将在本文档中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程解码且从比特流获取。例如，熵解码器310可以基于诸如指数golomb编译、上下文自适应可变长度编译(cavlc)、或上下文自适应二进制算术编译(cabac)的编译方法解码比特流内的信息，并且输出图像重构所需的语法元素和用于残差的变换系数的量化值。更具体地，cabac熵解码方法可以接收与比特流中的每个语法元素相对应的bin，通过使用解码目标语法元素信息、解码目标块的解码信息或者在先前阶段中解码的符号/bin的信息来确定上下文模型，并且通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，cabac熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310所解码的信息之中与预测有关的信息可以被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310已经执行熵解码的残差值(即，量化的变换系数和相关参数信息)可以被输入到残差处理器320。
76.残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，由熵解码器310解码的信息之中关于滤波的信息可以被提供给滤波器350。同时，用于接收从编码设备输出的信号的接收器(未示出)还可以被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。同时，根据该文档的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括以下中的至少一个：解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331。
77.解量化器321可以将量化后的变换系数解量化并输出变换系数。解量化器321可以按二维块形式重排量化后的变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行解量化并且获得变换系数。
78.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
79.在本文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当省略量化/解量化时，量化的变换系数可以被称为变换系数。当省略变换/逆变换时，变换系数可以被称为系数或残差系数，或者为了表达的一致性，仍可以被称为变换系数。
80.在本文档中，量化的变换系数和变换系数可以分别称为变换系数和缩放的变换系
数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编译语法用信号发送。可以基于残差信息(或关于变换系数的信息)导出变换系数，并且可以通过对变换系数的逆变换(缩放)来导出缩放的变换系数。可以基于缩放的变换系数的逆变换(变换)来导出剩余样本。这也可以在本文档的其他部分中被应用/表达。
81.预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或帧间预测并且确定特定帧内/帧间预测模式。
82.预测器330可以基于下述各种预测方法来生成预测信号。例如，预测器可以应用帧内预测或帧间预测以用于预测一个块，而且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(ciip)。另外，预测器可以基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可以用于诸如游戏等的内容的图像/视频编译，例如屏幕内容编译(scc)。ibc可以基本上执行当前图片中的预测，但是可以与帧间预测相似地执行，使得在当前图片内推导参考块。即，ibc可以使用该文档中描述的至少一个帧间预测技术。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以包括在视频/图像信息中并且用信号通知。
83.帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块附近或者可以与当前块隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
84.帧间预测器332可以基于参考图片上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于相邻块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括关于帧间预测方向(l0预测、l1预测、bi预测等)的信息。在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。例如，帧间预测器332可以基于相邻块来构造运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。
85.加法器340可以通过将所获取的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果针对处理目标块不存在残差，例如应用跳过模式的情况，预测块可以用作重构块。
86.加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
87.此外，具有色度缩放的亮度映射(lmcs)还可以被应用于图片解码处理。
88.滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修正后的重构图片，并将修正后的重构图片存储在存储器360中，具体地，存储在存储器360的dpb中。各种滤波方法可以包括例
如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
89.存储在存储器360的dpb中的(修改的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从其中推导(解码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。存储的运动信息可以被传送到帧间预测器260，以用作空间相邻块的运动信息或时间相邻块的运动信息。存储器360可以存储当前图片内的重构块的重构样本，并且将所重构样本传送到帧内预测器331。
90.在本文档中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例可以被同等地应用于或对应于滤波器350、帧间预测器332和帧内预测器331。
91.同时，根据本文档的视频/图像编译方法可以基于以下分区结构来执行。具体地，可以根据基于分区结构导出的ctu和cu(和/或tu和pu)来执行上述预测、残差处理((逆)变换和(解)量化)、语法元素编译和滤波的过程。块分区过程可以由上述编码设备的图像分区器210执行，并且分区相关信息可以由熵编码器240处理(编码)，并且能够以比特流的形式传送到解码设备。解码设备的熵解码器310可以基于从比特流获得的分区相关信息导出当前图片的块分区结构，并且基于此，可以执行用于图像解码的一系列过程(例如，预测、残差处理、块/图片重构、环路滤波等)。cu大小和tu大小可以彼此相等，或者多个tu可以存在于cu区域内。同时，cu大小通常可以表示亮度分量(样本)编译块(cb)大小。tu大小通常可以表示亮度分量(样本)变换块(tb)大小。可以根据按照图片/图像的颜色格式(色度格式，例如，4:4:4、4:2:2、4:2:0等)的分量比率，基于亮度分量(样本)cb或者tb大小，来导出色度分量(样本)cb或tb大小。tu大小可以基于maxtbsize导出。例如，如果cu大小大于maxtbsize，则可以从cu导出多个maxtbsize的tu(tb)，并且能够以tu(tb)为单位来执行变换/逆变换。此外，例如，在应用帧内预测的情况下，能够以cu(或cb)为单位来导出帧内预测模式/类型，并且能够以tu(或tb)为单位来执行邻近参考样本导出和预测样本生成过程。在这种情况下，一个或多个tu(或tb)可以存在于一个cu(或cb)区域中，并且在这种情况下，多个tu(或tb)可以共享相同的帧内预测模式/类型。
92.此外，在根据本文档的视频/图像编译中，图像处理单元可以具有分层结构。一个图片可以被分区成一个或多个拼块、图块、切片和/或拼块组。一个切片可以包括一个或多个图块。一个图块可以包括拼块内的一个或多个ctu行。切片可以包括图片的整数个块。一个拼块组可以包括一个或多个拼块。一个拼块可以包括一个或多个ctu。ctu可以被分区成一个或多个cu。拼块表示图片中特定拼块列和特定拼块行内的ctu的矩形区域。根据图片中的拼块光栅扫描，拼块组可以包括整数个拼块。切片报头可以承载能够被应用于相应切片(切片中的块)的信息/参数。在编码/解码设备具有多核处理器的情况下，可以并行处理拼块、切片、图块和/或拼块组的编码/解码过程。在本文档中，切片或拼块组可以交换使用。即，拼块组报头可以被称为切片报头。这里，切片可以具有切片类型之一，包括帧内(i)切片、预测(p)切片和双向预测(b)切片。在i切片中的预测块时，可以不使用帧间预测，并且可以仅使用帧内预测。当然，即使在这种情况下，也可以通过对原始样本值进行编译而不进行预测来执行信令。关于p切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测的情况下，只能使用单向预测。同时，关于b切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测的情况下，能够最大程度地使用直到双向预测。
93.编码设备可以在考虑编译效率或并行处理的情况下，或根据视频图像的特性(例
如，分辨率)来确定拼块/拼块组、图块、切片以及最大和最小编译单元大小，并且针对它们的信息或能够诱导它们的信息可以被包括在比特流中。
94.解码设备可以获得表示当前图片的拼块/拼块组、图块和切片以及是否拼块中的ctu已经被分区成多个编译单元的信息。通过仅在特定条件下获得(发送)这样的信息，能够增强效率。
95.同时，如上所述，一个图片可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，可以为一个图片中的多个切片(切片报头和切片数据的集合)进一步添加一个图片报头。图片报头(图片报头语法)可以包括能够被共同地应用于图片的信息/参数。切片报头(切片报头语法)可以包括能够被共同地应用于切片的信息/参数。自适应参数集(aps)或图片参数集(pps)可以包括能够被共同地应用于一个或多个图片的信息/参数。序列参数集(sps)可以包括能够被共同地应用于一个或多个序列的信息/参数。视频参数集(vps)可以包括能够被共同地应用于多个层的信息/参数。解码参数集(dps)可以包括能够被共同地应用于整体视频的信息/参数。dps可以包括与编译视频序列(cvs)的级联相关的信息/参数。
96.在本文档中，高级别语法可以包括aps语法、pps语法、sps语法、vps语法、dps语法、图片报头语法和切片报头语法中的至少一个。
97.另外，例如，关于拼块/拼块组/图块/切片的分区和配置等的信息可以基于高级别语法在编码设备中被配置，并且然后能够以比特流格式被递送(或传送)到解码设备。
98.图片可以被分区成一个或多个拼块行和一个或多个拼块列。拼块是覆盖图片的矩形区域的ctu的序列。拼块可以被分区成一个或多个图块，并且每个图块可以由多个ctu行来配置。未被分区成多个图块的拼块也可以被称为图块。然而，作为拼块的子集的图块不被称为拼块。切片可以包括多个拼块或拼块的多个图块。
99.图4示出图片解码过程的示例。
100.在图像/视频编译中，可以根据解码顺序对配置图像/视频的图片进行编码/解码。与解码的图片的输出顺序相对应的图片顺序可以与解码顺序不同地配置。并且，当基于配置的图片顺序来执行帧间预测时，可以执行正向预测以及反向预测。
101.图4示出能够应用本公开的实施例的图片解码过程的一般示例。在图4中，s400可以由上面在图3中描述的解码设备的熵解码器310执行，s410可以由预测器330执行，s420可以由残差处理器320执行，s430可以由加法器340执行，并且s440可以由滤波器350执行。s400可以包括在本说明书中描述的信息解码过程，s410可以包括在本说明书中描述的帧间/帧内预测过程，s420可以包括在本说明书中描述的残差处理过程，s430可以包括在本说明书中描述的块/图片重构过程，并且s440可以包括在本说明书中描述的环路滤波过程。
102.参考图4，如上面的图3中所述，图片解码过程通常可以包括(通过解码)从比特流获得图像/视频信息的过程(s400)、图片重构过程(s410到s430)以及用于重构图片的环路滤波过程(s440)。图片重构过程可以基于通过执行帧间/帧内预测过程(s410)和残差处理过程(s420，对量化的变换系数的解量化和逆变换过程)获得的预测样本和残差样本被执行。通过对通过执行图片重构过程生成的重构图片执行环路滤波过程，可以生成修改的重构图片，并且可以将修改的重构图片作为解码图片被输出，然后将其存储在解码设备的图像缓冲区或存储器360中，使得在后续过程中执行图片的解码时在帧间预测过程期间用作
参考图像。在一些情况下，可以跳过环路滤波过程。并且，在这种情况下，可以将重构图片作为解码的图片输出，然后将其存储在解码设备的解码图片缓冲区或存储器360中，使得在后续过程中执行图片的解码时在帧间预测过程中用作参考图片。如上所述，环路滤波过程(s440)可以包括去块滤波过程、样本自适应偏移(sao)过程、自适应环路滤波器(alf)过程和/或双边滤波器过程等，并且可以跳过部分或全部的环路滤波过程。另外，去块滤波过程、样本自适应偏移(sao)过程、自适应环路滤波器(alf)过程和双边滤波器过程中的一个或部分可以被顺序地应用，或者所有去块滤波过程、样本自适应偏移(sao)过程、自适应环路滤波器(alf)过程和双边滤波器过程可以被顺序地应用。例如，在将去块滤波过程应用于重构图片之后，可以执行sao过程。可替选地，例如，在将去块滤波过程应用于重构图片之后，可以执行alf过程。这也可以类似地在编码设备中执行。
103.图5示出图片编码过程的示例。
104.图5示出能够应用本公开的实施例的图片编码过程的一般示例。在图5中，s500可以由上面在图2中描述的编码设备的预测器220执行，s510可以由残差处理器230执行，并且s520可以由熵编码器240执行。s500可以包括本说明书中描述的帧间/帧内预测过程，s610可以包括在本说明书中描述的残差处理过程，并且s520可以包括在本说明书中描述的信息编码过程。
105.参考图5，如上面图2中所描述的，图像编码过程一般可以包括对用于图片重构的信息(例如，预测信息、残差信息、分区信息等)进行编码并以比特流格式输出编码的信息的过程，以及生成用于当前图片的重构图片的过程和对重构图片应用环路滤波的过程(可选)。编码设备可以通过解量化器234和逆变换器235从量化的变换系数导出残差样本(修改的)，并且然后编码设备可以基于作为s500的输出的预测样本和(修改的)残差样本来生成重构图片。如上所述生成的重构图片可以与在解码设备中生成的上述重构图片相同。可以通过对重构图片执行环路滤波过程来生成修改的重构图片，然后将其存储在解码设备的解码图片缓冲区或存储器270中。并且，正如在解码设备中一样，在对图片进行编码时，在帧间预测过程期间，可以将修改的重构图片用作参考图片。如上所述，在一些情况下，可以跳过部分或全部的环路滤波过程。当执行环路滤波过程时，(环路)滤波相关信息(参数)可以在熵编码器240中被编码，并且然后以比特流格式被发送，并且解码设备可以通过使用与基于滤波相关信息的编码设备相同的方法来执行环路滤波过程。
106.通过执行上述环路滤波过程，可以减少在对图像/运动图片图像进行编译时出现的噪声，诸如块伪影(blocking artifact)和振铃伪影(ringing artifact)，并且可以增强主观/客观的视觉质量。另外，通过使编码设备和解码设备都执行环路滤波过程，编码设备和解码设备可以导出相同的预测结果，增加图像编译的可靠性，并减少应为图像编译发送的数据的大小(或量)。
107.如上所述，可以在解码设备以及编码设备中执行图片重构过程。可以基于帧内预测/帧间预测为每个块单元生成重构块，并且可以生成包括重构块的重构图片。在当前图片/切片/拼块组是i图片/切片/拼块组时，可以仅基于帧内预测来重构当前图片/切片/拼块组中包括的块。同时，在当前图片/切片/拼块组是p或b图片/切片/拼块组时，可以基于帧内预测或帧间预测来重构当前图片/切片/拼块组中包括的块。在这种情况下，可以将帧间预测应用于当前图片/切片/拼块组内的部分块，并且可以将帧内预测应用于剩余的块。图
片的颜色分量可以包括亮度分量和色度分量。并且，除非在本说明书中显式限定(或限制)，否则本说明书中提出的方法和实施例可以应用于亮度分量和色度分量。
108.图6示出编码设备中的残差处理的示例。
109.在图6中，s600可以由编码设备200的帧间预测器221或帧内预测器222执行，并且s610、s620、s630和s640中的每一个可以分别由编码设备200的减法器231、转换器232、量化器233和熵编码器240执行。
110.编码设备可以通过对当前块的预测来导出预测样本(s600)。编码设备可以确定是否对当前块执行帧间预测或是否执行帧内预测，并且可以基于rd成本确定详细的帧间预测模式或详细的帧内预测模式。根据所确定的模式，编码设备可以对当前块导出预测样本。
111.编码设备可以通过将当前块上的原始样本与预测样本进行比较来导出残差样本(s610)。
112.编码设备可以通过对残差样本的变换过程来导出变换系数(s620)。并且，然后，编码设备可以对导出的变换系数进行量化，使得导出量化的变换系数(s630)。可以基于量化参数来执行量化。可以跳过变换过程和/或量化过程。当跳过变换过程时，可以通过残差编译方法对用于残差样本的(量化的)(残差)系数进行编译，这将稍后进行详细描述。(量化的)(残差)系数也可以被称为(量化的)变换系数，以统一这里使用的术语。
113.编码设备可以对包括预测信息和残差信息的图像信息进行编码，并且然后可以以比特流格式输出编码的图像信息(s640)。预测信息可以包括预测模式信息和关于运动信息的信息(例如，当应用帧间预测时)作为与预测过程有关的信息。残差信息可以包括与(量化的)变换系数有关的信息。可以对残差信息进行熵编译。可替选地，残差信息可以包括与(量化的)(残差)系数有关的信息，并且可以例如包括在稍后将详细描述的表中公开的信息。
114.可以通过存储介质或网络将输出的比特流递送(或传送)到解码设备。
115.图7示出解码设备中的示例残差处理。
116.参考图7，s700可以由解码设备300的帧间预测器332或帧内预测器331执行。在s700中，解码包括在比特流中的预测信息使得导出相关语法元素的值的过程可以通过解码设备的熵解码器310来执行。s710、s720、s730和s740中的每一个可以分别由解码设备300的熵解码器310、解量化器321、逆变换器322和加法器340执行。
117.解码设备可以分别执行与编码设备执行的操作相对应的操作。解码设备可以基于接收到的预测信息对当前块执行帧间预测或帧内预测，以便导出预测样本(s700)。
118.解码设备可以基于接收到的残差信息对当前块导出量化的变换系数(s710)。解码设备可以通过熵解码从残差信息中导出量化的变换系数。可以基于量化参数来执行解量化。解码设备可以对量化的变换系数进行解量化以便导出变换系数(s720)。
119.解码设备可以通过对变换系数的逆变换过程来导出残差样本(s730)。
120.可以跳过逆变换过程和/或解量化过程。当逆变换过程被跳过时，可以从残差信息导出(量化的)(残差)系数，并且可以基于(量化的)(残差)系数导出残差样本。
121.解码设备可以基于预测样本和残差样本对当前块生成重构样本，并且然后，可以基于生成的重构样本生成重构图片(s740)。此后，如上所述，可以将环路滤波过程进一步应用于重构图片。
122.同时，如上所述，可以对高级别语法(hls)进行编译/用信号发送以用于视频/图像
编译。编译的图片可以由一个或多个切片来配置。描述编译的图片的参数在图片报头内被用信号发送，并且描述切片的参数在切片报头内被用信号发送。图片报头以其自己的nal单元格式承载。并且，切片报头存在于包括切片的有效载荷(即，切片数据)的nal单元的开始(或起点)。
123.每个图片与图片报头相关联。图片可以由不同类型的切片(帧内编译的切片(即，i切片)和帧间编译的切片(即，p切片和b切片))配置。因此，图片报头可以包括图片的帧内切片和图片的帧间切片中所需的语法元素。
124.图片可以被分区成(或划分为)子图片、拼块和/或切片。子图片信令可以存在于序列参数集(sps)中。并且，拼块和方形切片信令可以存在于图片参数集(pps)中。光栅扫描切片信令可以存在于切片报头中。
125.例如，关于图片的分区，下表1中所示的语法元素可以被包括在sps语法中。
126.[表1]
[0127][0128]
下面表2中所示的语法元素可以被包括在pps语法中。
[0129]
[表2]
[0130][0131]
在表2中，num_slices_in_tile_minus1[i]+1指示当第i切片在单个拼块中包括ctu行的子集时在当前拼块内的切片的数量。num_slices_in_tile_minus1[i]的值应该在包括0到rowheight[tiley]-1的范围内。这里，tiley是包括第i切片的拼块行的索引。当pps中不存在num_slices_in_tile_minus1[i]时，num_slices_in_tile_minus1[i]的值被导出为0。
[0132]
slice_height_in_ctu_minus1[i]+1指示当第i切片在单个拼块中包括ctu行的子集时以ctu行为单位的第i矩形切片的高度。slice_height_in_ctu_minus1[i]的值应该在包括0到rowheight[tiley]-1的范围内。这里，tiley是包括第i切片的拼块行的索引。
[0133]
下表3中所示的语法元素可以被包括在切片报头语法中。
[0134]
[表3]
[0135][0136]
参考表1至表3，在当前的拼块和切片设计中，矩形切片可以包括一个或多个拼块。可替选地，矩形切片可以在单个拼块内包括整数(integer number)(或完整数(whole number))个ctu行。
[0137]
当矩形切片在单个拼块内包括整数(或完整数)个ctu行时(这对应于拼块被分区成两个或多个切片的情况)，在当前信令中，每个切片的高度被显式地用信号发送。然而，这种类型的信令并不是最佳的信令方法。
[0138]
一个拼块内的切片的布局可以包括除了最后切片之外拼块内的切片的高度是统一的情况，以及拼块内的切片的高度是不统一的情况。当除了最后切片之外拼块内的切片的高度是统一的(uniform)时，因为拼块内的排除最后切片的所有切片的高度都相同，所以可以仅用信号发送一个切片的高度而无需显式用信号发送每个切片的高度。当拼块内的切片高度不统一时，需要用信号发送拼块内每个切片的高度。
[0139]
图示以下附图以描述本说明书的详细示例。附图中指定的装置(或设备)的详细术语或信号/信息的详细术语仅是示例性的。因此，本说明书的技术特征将不仅限于以下附图中使用的详细术语。
[0140]
本说明书提供以下方法以便于解决上述问题。每种方法的项目可以单独应用，或者可以组合应用。
[0141]
例如，当一个拼块包括两个或更多个切片时，可以用信号发送在ctu行内显式地用信号发送的多个切片高度。这可以被称为语法元素num_exp_slice_in_tile。在这种情况下，可以用信号发送从0到num_exp_slice_in_tile-1的索引的语法元素(slice_row_height_minus1的数组)。这可以作为ue(v)或u(v)被用信号发送，并且用信号发送这种语法元素的比特的数量可以根据拼块内的ctu行的数量而变化。这里，ue(v)表示0阶指数哥伦布编译的语法元素，并且u(v)指示使用v个比特，其中v的值根据其他语法元素的值而变化。
[0142]
从拼块内的第一切片到第n切片的每个切片的高度分别被给出从0到num_exp_slice_in_tile-1的slice_row_height_minus1+1的值。在此，n等于显式用信号发送的拼块内切片的数量(num_exp_slice_in_tile)。
[0143]
尽管始终存在大于num_exp_slice_in_tile_minus1+1并且最后(显式地)用信号发送拼块内的剩余ctu行，但是在拼块内定义新切片。换言之，在拼块内存在没有被显式用信号发送的切片。最后切片的高度可能等于或小于最后用信号发送的num_exp_slice_in_tile_minus1+1。
[0144]
作为另一示例，当一个拼块包括两个或更多个切片时，可以用信号发送拼块中包括的多个切片。在这种情况下，可以用信号发送指示拼块内的每个切片的高度是否统一的标志。当拼块内的每个切片的高度统一时，可以根据ctu行仅用信号发送一个切片高度。拼
块内的每个切片的高度可以基于用信号发送的切片高度被导出。并且，当拼块内的每个切片的高度不统一时，可以显式地用信号发送拼块内的不包括最后切片的每个切片的高度。
[0145]
在本说明书中，关于切片和/或拼块的信息可以包括在表1至表3中公开的信息和/或语法元素。图像/视频信息可以包括在表1至表3中公开的高级别语法(hls)，并且高级别语法(hls)可以包括与切片相关的信息和/或与拼块相关的信息。与切片相关的信息可以包括指示当前图片内的一个或多个切片的信息，并且与拼块相关的信息可以包括指示当前图片内的一个或多个拼块的信息。包括一个或多个切片的拼块和包括一个或多个拼块的切片可以存在于图片中。
[0146]
作为实施例，为了表示图片的分区结构，可以将表4中所示的语法和表5中所示的语义用于pps。
[0147]
[表4]
[0148][0149]
[表5]
[0150][0151]
参考表4和表5，num_exp_slices_in_tile[i]+1表示pps中存在的exp_slice_height_in_ctu_minus1[j]的数量。当pps中不存在num_exp_slices_in_tile[i]时，将num_exp_slices_in_tile_minus1[i]的值导出为0。
[0152]
exp_slice_height_in_ctu_minus1[j]+1指示当第i切片在单个拼块中包括ctu行的子集时以ctu行为单位显式用信号发送的第j矩形切片的高度。exp_slice_height_in_ctu_minus1[j]的值应该在包括0到rowheight[tiley]-1的范围内。这里，tiley是包括切片的拼块行的索引。
[0153]
也就是说，num_exp_slices_in_tile[i]可以被称为关于其高度在当前图片的拼块内被显式地用信号发送的切片的数量的信息(数量信息)。并且，exp_slice_height_in_ctu_minus1[j]可以被称为关于其高度被显式地用信号发送的每个切片的高度的信息(高度信息)。
[0154]
数量信息和高度信息可以是指数哥伦布编译的语法元素。
[0155]
可以基于关于包括拼块的切片的宽度和高度的信息来解析数量信息。当拼块包括第i切片时，包括拼块的切片的宽度信息可以对应于语法元素slice_width_in_tiles_minus1[i]，并且包括拼块的切片的高度信息可以对应于语法元素slice_height_in_tiles_minus1[i]。第i切片可以是矩形切片，并且拼块内的切片也可以被分区成矩形切片。
[0156]
例如，编码设备可以基于关于当前图片的切片的信息来生成数量信息和高度信息。数量信息和高度信息可以被包括在图像信息中并且以比特流格式被用信号发送给解码设备。
[0157]
当从pps解析数量信息时，如表4中所示，解码设备可以基于数量信息从pps解析高度信息。例如，当数量信息的值等于n(其中n是等于或大于0的整数)时，解码设备可以从pps解析关于n个切片的高度信息(从拼块内的第0切片开始到第(n-1)切片)。高度信息可以指示编译树单元(ctu)行中的第0切片的高度到第(n-1)切片的高度中的每个。
[0158]
此后，解码设备可以基于第(n-1)切片的高度来导出拼块内的剩余切片的高度。更具体地，解码设备可以将从拼块内的第n切片开始的拼块内的排除最后切片的剩余切片的高度导出为等于第(n-1)切片的高度。为此，解码设备可以比较拼块的剩余高度，该剩余高度是通过从拼块的总高度减去从第0切片开始到第(n-1)切片的切片的高度之和来计算的，以便确定剩余高度是否等于或大于统一切片高度。这里，统一切片可以意指在拼块内具有统一高度(相同高度)的切片。即，统一切片的高度可以与第(n-1)切片的高度相同。
[0159]
当拼块的剩余高度等于或大于统一切片的高度时，第n切片的高度可以导出为统
一切片的高度。并且，当拼块的剩余高度小于统一切片的高度时，可以导出第n切片的高度作为剩余高度。另外，当拼块的剩余高度等于或大于统一切片的高度时，可以通过从剩余高度减去第n切片的高度来导出更新的剩余高度。并且，当更新的剩余高度等于或大于统一切片的高度时，解码设备可以导出第(n+1)切片的高度作为统一切片的高度。当更新的剩余高度小于统一切片的高度时，解码设备可以导出第(n+1)切片的高度的高度作为更新的剩余高度。即，排除拼块内的最后切片，从第n切片开始到最后切片的切片的高度可以被导出作为统一高度。最后切片的高度可以等于或小于每个统一切片的高度(从第(n-1)切片开始到紧接在最后切片之前的切片)的高度。
[0160]
例如，当一个拼块中包括5个切片时，并且当数量信息指示3时，可以从pps解析该拼块内的第一切片到第三切片的高度信息，并且可以导出拼块内的第四切片的高度以具有与第三切片相同的高度。在这种情况下，第五切片的高度可以大于或小于第四切片的高度。
[0161]
解码设备可以通过执行上述扫描过程来导出拼块内的切片的数量。当数量信息的值大于0时，导出关于拼块内的每个切片的高度的信息和关于拼块内的切片的数量的信息的过程可以被指示，如下表5所示。
[0162]
[表6]
[0163][0164]
在矩形切片的情况下，包括0到num_slices_in_pic_minus1范围内的i的列表numctuinslice[i]可以指示第i切片内的ctu的数量，包括0到num_slices_in_pic_minus1的范围的i和包括0到numctuinslice[i]-1的范围的j的矩阵ctbaddrinslice[i][j]指示第i切片内的第j ctb的图片光栅扫描寻址，并且可以如下表7中所示被导出。
[0165]
[表7]
[0166][0167]
作为另一实施例，为了表示图片的分区结构，可以将表8中所示的语法和表9中所示的语义用于pps。
[0168]
[表8]
[0169][0170]
[表9]
[0171]
[0172][0173]
参考表8和表9，如果uniform_slice_spacing_flag[i]的值等于1，这指示ctu行在整个拼块中均匀分布(或分散)，并通过使用语法元素uniform_slice_height_in_ctu_minus1[i]用信号发送。如果uniform_slice_spacing_flag[i]的值等于0，这指示ctu行在整个拼块中可以或者可以不均匀分布(或分散)，并通过使用语法元素num_slices_in_tile_minus1[i]和slice_height_in_ctu_minus1[i]用信号发送。
[0174]
当uniform_slice_spacing_flag[i]的值等于1时，slice_rows_height_in_ctu_minus1[i]+1指示以ctb为单位的排除拼块的最后切片的切片的高度。slice_height_in_ctu_minus1[i]的值应该在包括0到rowheight[tiley]-1的范围内。这里，tiley是包括切片的拼块行的索引。
[0175]
num_slices_in_tile_minus1[i]+1指示当第i切片在单个拼块中包括ctu行的子集并且当uniform_slice_spacing_flag[i]的值等于0时当前切片内的切片的数量。num_slices_in_tile_minus1[i]的值应该在包括0到rowheight[tiley]-1的范围内。这里，tiley是包括第i切片的拼块行的索引。当num_slices_in_tile_minus1[i]不存在时，num_slices_in_tile_minus1[i]的值被导出为0。
[0176]
slice_height_in_ctu_minus1[i]+1指示当第i切片在单个拼块中包括ctu行的子集时以ctu行为单位的第i矩形切片的高度。slice_height_in_ctu_minus1[i]的值应该在包括0到rowheight[tiley]-1的范围内。这里，tiley是包括第i切片的拼块行的索引。
[0177]
例如，编码设备可以基于关于当前图片的切片的信息来生成uniform_slice_spacing_flag、slice_rows_height_in_ctu_minus1、num_slices_in_tile_minus1和slice_height_in_ctu_minus1中的至少一个。
[0178]
当从pps解析uniform_slice_spacing_flag时，如表8中所示，解码设备可以基于uniform_slice_spacing_flag的值从pps解析slice_rows_height_in_ctu_minus1或num_slices_in_tile_minus1。例如，如果uniform_slice_spacing_flag的值等于1，则解码设备可以从pps解析slice_rows_height_in_ctu_minus1，并且然后可以基于slice_rows_height_in_ctu_minus1的值将解析结果导出作为拼块内的排除最后切片的剩余切片的高度。如果uniform_slice_spacing_flag的值等于0，则解码设备可以从pps解析num_slices_in_tile_minus1和slice_height_in_ctu_minus1，并且可以基于解析的结果来导出拼块内的切片。
[0179]
例如，与拼块内的切片的数量信息和高度信息相关的变量numslicesintileminus1[i]和sliceheightinctuminus1[i+k]可以如下所示导出。这里，k可以在包括0到numslicesintileminus1[i]的范围内。
[0180]
[表10]
[0181][0182]
在矩形切片的情况下，用于包括0到num_slices_in_pic_minus1范围内的i的列表numctuinslice[i]可以指示用于第i切片内的ctu的数量，用于包括0到num_slices_in_pic_minus1的范围的i和用于包括0到numctuinslice[i]-1的范围的j的矩阵ctbaddrinslice[i][j]指示第i切片内的第j ctb的图片光栅扫描寻址，并且可以如下表11所示被导出。
[0183]
[表11]
[0184][0185]
图8和图9分别示出根据本公开的实施例的视频/图像编码方法和相关组件的一般示例。
[0186]
图8中公开的视频/图像编码方法可以由图2和图9中公开的(视频/图像)编码设备200执行。更具体地说，例如，图8的s800可以由编码设备200的图像分区器210执行，并且s810可以由编码设备200的预测器220执行。s820和s830可以由编码设备200的熵编码器240执行。图8中公开的视频/图像编码方法可以包括在本说明书中上面描述的实施例。
[0187]
更具体地，参考图8和图9，编码设备的图像分区器210可以导出当前图片的拼块内的切片(s800)。例如，图像分区器210可以将输入图像(或图片、帧)分区成一个或多个cu。输入图像可以包括一个或多个图片。图片可以被分区成一个或多个拼块、图块、切片和/或拼块组。切片可以包括一个或多个图块、拼块和/或拼块组。图块可以包括一个或多个ctu行。
拼块组可以包括一个或多个拼块。拼块可以包括一个或多个ctu。ctu可以被分区成一个或多个cu。在当前图片内的特定切片是矩形切片时，图像分区器210可以将矩形切片分区成多个拼块，并且在多个拼块当中，图像分区器210可以分区至少一个拼块，并且然后导出多个矩形切片。
[0188]
编码设备的预测器220可以基于在图像分区器210中导出的切片对当前块执行帧内预测或者帧间预测中的至少一个，并且然后可以生成当前块的预测样本(预测块)和预测相关信息(s810)。预测器220可以以当前块或cu单位确定是否正在应用帧内预测或者是否正在应用帧间预测。预测器220可以向熵编码器240递送与预测相关的各种信息(预测相关信息)。这里，预测相关信息可以包括与帧间预测模式相关的信息和与帧内预测模式相关的信息。在当前块的预测模式是帧间预测模式时，可以在预测器220的帧间预测器221中生成预测样本。并且，在当前块的预测模式是帧内预测模式时，预测样本可以在预测器220的帧内预测器222中生成。
[0189]
编码设备的残差处理器230可以基于从预测器220生成的预测样本和原始图片(原始块、原始样本)来生成残差样本和残差信息。这里，残差信息是与残差样本相关的信息，并且残差信息可以包括与残差样本的(量化的)变换系数相关的信息。
[0190]
编码设备的加法器(或重构器)可以通过将在残差处理器230中生成的残差样本和在帧间预测器221或帧内预测器222中生成的预测样本相加来生成重构样本(重构图片、重构块、重构样本阵列)。
[0191]
编码设备的熵编码器240可以基于在图像分区器210中导出的分区结构生成与分区相关的信息。分区相关信息可以包括关于在拼块内的其每个切片高度被显式地用信号发送的切片的数量的信息(数量信息)，以及关于其每个切片高度被显式地用信号发送的切片的高度的信息(高度信息)。例如，熵编码器240可以基于在图像分区器210中导出的切片，生成与在拼块内的其每个切片高度被显式地用信号发送(提供)的切片的数量相关的数量信息，以及与其每个切片高度被显式地用信号发送(提供)的切片的高度相关的高度信息(s820)。这里，数量信息可以包括上述语法元素num_exp_slices_in_tile和/或num_slices_in_tile_minus1。高度信息可以包括上述语法元素exp_slice_height_in_ctu_minus1、slice_rows_height_in_ctu_minus1和/或slice_height_in_ctu_minus1。
[0192]
熵编码器240可以对图像信息进行编码，该图像信息包括分区相关信息，其包括数量信息和高度信息、在预测器220中生成的预测相关信息和/或在残差处理器230中生成的残差信息(s830)。在熵编码器240中编码的信息可以以比特流格式输出。比特流可以通过网络或存储介质发送到解码设备。
[0193]
例如，熵编码器240可以包括图像信息，该图像信息基于上述表4和表5包括作为数量信息的语法元素num_exp_slices_in_tile和作为高度信息的语法元素exp_slice_height_in_ctu_minus1。高度信息可以以ctu行为单位指示在拼块内的其每个切片高度被显式地用信号发送的切片的高度，并且为此，高度信息可以包括用于其每个切片高度被显式地用信号发送的切片的语法元素。包括在图像信息中的语法元素的数量可以与数量信息值相同。
[0194]
作为另一示例，熵编码器240可以基于上述表8和表9对包括语法元素uniform_slice_spacing_flag、num_slices_in_tile_minus1、slice_rows_height_in_ctu_minus1
和/或slice_height_in_ctu_minus1的图像信息进行编码。语法元素num_slices_in_tile_minus1、slice_rows_height_in_ctu_minus1和slice_height_in_ctu_minus1可以包括在或可以不包括在基于uniform_slice_spacing_flag值的图像信息中。
[0195]
熵编码器240可以通过图像信息内的图片参数集(pps)用信号发送数量信息和高度信息。在这种情况下，熵编码器240可以通过使用指数哥伦布方法来包括数量信息和/或高度信息。
[0196]
图10和图11分别示出根据本公开的实施例的视频/图像解码方法和相关组件的一般示例。
[0197]
图10中公开的视频/图像解码方法可以由图3和图11中公开的(视频/图像)解码设备300执行。更具体地说，例如，图10的s1000至s1010可以由解码设备的熵解码器310。并且，图10的s1020可以由解码设备的残差处理器320、预测器330以及加法器340来执行。图10中公开的视频/图像解码方法可以包括在本说明书中上面描述的实施例。
[0198]
参考图10和图11，解码设备的熵解码器310可以从比特流获得分区相关信息、残差信息、预测相关信息(帧间/帧内预测差分信息、帧内预测模式信息、帧间预测模式信息等)、环路滤波相关信息等。这里，分区相关信息可以包括关于在当前图片的拼块内的切片当中的其每个切片高度被显式地用信号发送的切片的数量的信息(数量信息)、关于其每个切片高度被显式地用信号发送的切片的高度的信息(高度信息)等。
[0199]
例如，熵解码器310可以从比特流中解析与在当前图片的拼块内的切片当中的其每个切片高度被显式地用信号发送的切片的数量相关的信息(数量信息)(s1000)，并且可以基于数量信息从比特流中解析与其每个切片高度被显式地用信号发送的切片的高度相关的信息(高度信息)(s1010)。更具体地，熵解码器310可以基于上述表4从比特流的图片参数集(pps)解析数量信息和高度信息。这里，可以基于关于包括拼块的切片的宽度和高度的信息来解析数量信息。此时，包括拼块的切片和/或拼块内的切片可以是矩形切片。数量信息和高度信息可以是指数哥伦布编译的语法元素。高度信息可以包括用于其每个切片高度被显式地用信号发送的切片的语法元素。语法元素的数量可以与数量信息值相同。
[0200]
例如，熵解码器310可以基于表4从图片参数集(pps)解析语法元素slice_width_in_tiles_minus1和slice_height_in_tiles_minus1，并且熵解码器310可以基于语法元素slice_width_in_tiles_minus1和slice_height_in_tiles_minus1的值从图片参数集(pps)解析语法元素num_exp_slices_in_tile。并且，熵解码器310可以从图片参数集(pps)解析与语法元素num_exp_slices_in_tile的值相等的数量的exp_slice_height_in_ctu_minus1。
[0201]
当数量信息的值等于n时，熵解码器310可以基于高度信息导出拼块内的第0切片到第(n-1)切片的高度。并且，熵解码器310可以基于第(n-1)切片的高度来导出拼块内第n切片的高度。即，第n切片的高度可以导出为与第(n-1)切片的高度相同。这里，第n切片可能不是拼块内的最后切片。换言之，熵解码器310可以导出排除拼块内的最后切片的剩余切片(不显式地用信号发送的切片)的高度具有与第(n-1)切片相同的高度。因此，从拼块内的第n切片开始到最后切片的、除了拼块内的最后切片之外的切片的高度可以是统一的。熵解码器310可以基于在从拼块的高度减去拼块内的其他切片的高度之后的剩余高度来导出拼块内的最后切片的高度。当导出拼块内的所有切片的高度时，熵解码器310可以导出拼块内的
切片的数量。这里，拼块内的切片的数量可以对应于拼块内的从第0切片开始到最后切片的切片的数量。
[0202]
解码设备300可以基于通过执行上述过程导出的当前图片的切片来解码当前图片(s1020)。更具体地，解码设备的残差处理器320可以基于从熵解码器310获得的残差信息生成残差样本。解码设备的预测器330可以基于从熵解码器310获得的预测相关信息对包括在图片内的切片中的当前块执行帧间预测和/或帧内预测使得生成预测样本。解码设备的加法器340可以基于在预测器330中生成的预测样本和在残差处理器320中生成的残差样本来生成重构样本。并且，解码设备的加法器340可以基于重构样本生成重构图片(重构块)。
[0203]
此后，可以根据需要将诸如去块滤波、sao和/或alf过程的环路滤波过程应用于重构图片，以便于增强主观/客观图片质量。
[0204]
同时，作为另一示例，熵解码器310可以基于表8从比特流的图片参数集(pps)解析语法元素slice_width_in_tiles_minus1和slice_height_in_tiles_minus1，并且熵解码器310可以基于语法元素slice_width_in_tiles_minus1和slice_height_in_tiles_minus1的值从图片参数集(pps)解析语法元素uniform_slice_spacing_flag。在这种情况下，熵解码器310可以基于语法元素uniform_slice_spacing_flag的值从图片参数集(pps)解析语法元素slice_rows_height_in_ctu_minus1或解析语法元素num_slices_in_tile_minus1。当语法元素uniform_slice_spacing_flag的值等于1时，可以解析语法元素slice_rows_height_in_ctu_minus1，并且当语法元素uniform_slice_spacing_flag的值等于0时，可以解析语法元素num_slices_in_tile_minus1。
[0205]
当语法元素slice_rows_height_in_ctu_minus1被解析时，熵解码器310可以导出拼块内的排除最后切片的剩余切片的高度作为slice_rows_height_in_ctu_minus1的值。
[0206]
当解析语法元素num_slices_in_tile_minus1时，熵解码器310可以解析与语法元素num_slices_in_tile_minus1的值相对应的语法元素slice_height_in_ctu_minus1的数量，并且可以将这些值分别各自导出作为拼块内的每个切片的高度。
[0207]
尽管已经在上述实施例中基于在其中按顺序列举步骤或框的流程图描述了方法，但是本公开的步骤不限于特定次序，并且可以相对于上述次序在不同步骤中或按不同次序或同时地执行某个步骤。此外，本领域的普通技术人员应理解，流程图中的步骤不是排他性的，并且在不对本公开的范围施加影响的情况下，可以在其中包括另一步骤或者可以删除流程图中的一个或多个步骤。
[0208]
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，tv、计算机、智能电话、机顶盒、显示装置等)中。
[0209]
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(asic)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪速存储器、存储器卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。
在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
[0210]
另外，应用本公开的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(vod)服务提供器、顶置(ott)视频装置、互联网流传输服务提供器、3d视频装置、虚拟现实(vr)装置、增强现实(ar)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，ott视频装置可以包括游戏控制台、blueray(蓝光)播放器、联网tv、家庭影院系统、智能手机、平板pc和数字视频记录仪(dvr)。
[0211]
另外，应用本公开的实施方式的处理方法能够以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本公开的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
[0212]
另外，本公开的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
[0213]
图12表示可以应用本文档的实施例的内容流传输系统的示例。
[0214]
参考图12，应用本文档的实施例的内容流传输系统一般可以包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入装置。
[0215]
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可以省略编码服务器。
[0216]
可以通过本公开的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
[0217]
流传输服务器基于用户的请求通过web服务器向用户设备传送多媒体数据，该web服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，web服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流系统中的各个设备之间的命令/响应。
[0218]
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
[0219]
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人
数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。
[0220]
可将内容流系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。