用于多个图像的单个比特流生成方法和生成设备的制造方法
【技术领域】
[0001] 本公开的一些实施方式涉及一种生成多个图像的单个比特流的方法和设备。
【背景技术】
[0002] 此部分中的声明仅提供与本公开有关的背景信息，而未必构成现有技术。
[0003]在广播服务中，可针对各个信道发送图像媒体内容;然而，近年来，提供了多信道 服务，该多信道服务允许用户在一个信道上观看四信道图像。另外，还提供了多视点服务， 该多视点服务允许用户在棒球、足球以及此类体育场地中选择性地观看多角度图像镜头， 从而使得能够通过一次显示多个图像来同时回放多个图像，就像通过图像共享所提供的一 样。尽管这种服务可在用户终端上独立地回放从各个信道接收的视频比特流，但是为接收 和回放多个信道的视频图像而分配的资源不足的用户终端通常涉及发送端将多个信道的 图像混合并且在一个信道上发送这些图像。
[0004] 另外，在视频会议呼叫或者视频群呼叫的情况下，从各个参与者接收图像以利用 硬件或软件形式的混合装置按照适合于各个参与者的方式对图像进行布局。然后图像的编 码的代码被转码（即，在解码之后编码）以便于在一个信道上传输。例如，在四个用户A、B、C 和D进行视频会议呼叫或者视频群呼叫的情况下，用户A接收将用户B、C和D的图像与用户A 自己的图像组合保存的单个图像，而用户B接收除了用户B自己以外用户A、C和D的单个组合 图像。CCTV控制系统也接收来自不同相机的图像并将其组合在画面上以便在其上统一地监 测多个图像。
[0005] 另外，在通过调节多信道输入图像的比特流的比特率来优化比特流的过程中，可 通过设定整个图像或特定图像的R0I(关注区域)来对图像进行编码或者转码;然而，R0I的 位置被固定，这要求整个图像被转码，甚至为转码重新设置的R0I也是如此。
[0006] 在这种视频会议呼叫或视频群呼叫中，需要转码以将所传送的编码的图像解码， 然后再对其进行编码。因此，不仅图像的质量可能下降，而且整个编码时间由于转码而延 迟，这导致显示时间的延迟。
【发明内容】
[0007] 技术问题
[0008] 本公开的一些实施方式提供了一种方法和设备，其在通过多个信道接收到多个输 入图像的比特流时生成多个图像的单个比特流，以提供比特流以及被更新以用于指示各个 比特流的头的信息的单个组合画面，而无需执行转码。
[0009] 技术方案
[0010] 根据本公开的一些实施方式，一种用于生成多个图像的单个比特流的设备包括： 图像获取单元，其被配置为获取多个独立视频流;图像信息提取单元，其被配置为从所述图 像获取单元所获取的各个独立视频流提取独立图像代码和独立头信息；以及比特流生成单 元，其被配置为通过重构独立图像代码以在显示图片的预定布局中与被指派给所述多个独 立视频流中的相关独立视频流的各个位置对应来生成组合图像代码，基于各个独立头信息 生成与所述组合图像代码对应的组合头信息，并且生成包括所述组合图像代码和所述组合 头信息的组合视频流。
[0011]根据本公开的一些实施方式，一种用于生成多个图像的单个比特流的方法包括以 下步骤:获取多个独立视频流;从在所述获取步骤获取的各个独立视频流提取独立图像代 码和独立头信息;通过重构独立图像代码以在显示图片的预定布局中与被指派给所述多个 独立视频流中的相关独立视频流的各个位置对应来生成组合图像代码;基于各个独立头信 息生成与所述组合图像代码对应的组合头信息；以及生成包括所述组合图像代码和所述组 合头信息的组合视频流。
[0012]有益效果
[0013] 如上所述，本公开的一些实施方式响应于通过多个信道的多个输入图像的比特 流，提供比特流和各个比特流头的信息的更新的一个组合画面图像，而无需执行转码。
【附图说明】
[0014] 图1是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的示 意图，其经由网络连接到用户终端。
[0015] 图2是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的框 图。
[0016] 图3是被分割成3X3拼块结构的显示图像的示意图。
[0017]图4是根据本公开的一些实施方式的NAL单元的的示意图。
[0018] 图5是用于描述根据本公开的一些实施方式的多比特流的同步功能的示意图。
[0019] 图6是根据本公开的一些实施方式的用于生成多个图像的单个图像比特流的方法 的流程图。
【具体实施方式】
[0020] 以下，将参照附图详细描述本公开的至少一个实施方式。在描述本公开时，诸如 "单元"、"模块"等的术语表示可由硬件、软件或其组合实现的用于处理至少一个功能或操 作的单元。
[0021] 图1是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的示 意图，其经由网络连接到用户终端。如图1所示，根据本公开的一些实施方式的用于生成多 个图像的单个比特流的设备110连接到包括第一用户终端120、第二用户终端130和第三用 户终端140的多个用户终端。
[0022]单个比特流生成设备110使得第一用户终端120能够将第二用户终端130所捕获的 图像与第三用户终端140所捕获的图像共同显示(codisplay)，并且使得第二用户终端130 能够将第一用户终端120所捕获的图像与第三用户终端140所捕获的图像共同显示。类似 地，设备110使得第三用户终端140能够将第一用户终端120所捕获的图像和第二用户终端 130所捕获的图像共同显示。设备110被配置为在第一用户终端、第二用户终端和第三用户 终端中的任一个上显示从其它用户终端输入的图像的比特流，而无需执行转码。
[0023]第一用户终端120至第三用户终端140中的每一个可以是诸如个人计算机(PC)、笔 记本计算机、平板计算机、个人数字助理(PDA)、游戏机、便携式多媒体播放器(PMP)、便携式 游戏机(PSP)、无线通信终端、智能电话、TV、机顶盒、媒体播放器等的用户终端。
[0024] 如上所述，单个比特流生成设备110不再需要转码，以借助IPTV、地面或有线TV、内 部广播、互联网广播服务等在单个画面上共同显示由多个相机输出、VoD等提供的多个图像 的比特流。
[0025] 图2是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的框 图。如图2所示，根据本公开的一些实施方式的单个比特流设备可包括图像获取单元210、图 像信息提取单元220、比特流生成单元230、拼块设定单元240、音频信道选择单元250、信道 选择输入单元260、音频解码单元280和图像请求单元290。根据实施方式，单个比特流设备 可被配置为还包括附加组件，或者从图像获取单元210、图像信息提取单元220、比特流生成 单元230、拼块设定单元240、音频信道选择单元250、信道选择输入单元260、音频解码单元 280和图像请求单元290中去除一些组件。
[0026] 图像获取单元210获取经由多个信道输入的多个独立视频流。所述多个独立视频 流通过对各个图像进行编码来生成。独立视频流具有图片单元，各个图片单元由一个或更 多个切片组成，各个切片可被配置为由一个或更多个拼块组成。
[0027] 切片和拼块被结构化为包括多个编码树块（CTB)的矩形形状并且适于通过 H. 265HEVC(高效视频编码)标准来进行编码和解码。各个拼块结构为CTB矩阵形式(例如，3 X3CTB矩阵形式），但不限于此。任何其它尺寸的CTB矩阵也是可以的。
[0028] 图像信息提取单元220从图像获取单元210所获取的各个独立视频流提取包括独 立图像代码和独立头信息的图像信息。独立图像代码表示具有实际视频编码流(VCL:视频 编码层）的NAL(网络抽象层），独立头信息包括具有头信息（例如，切片的数量、每切片的拼 块的数量、各个拼块的尺寸、图片中的像素样本的数量)的NVCL(非视频编码层）。
[0029]比特流生成单元230通过基于为显示在终端上的图像设定的布局形式以及由图像 信息提取单元220提取的图像信息执行多个独立视频流的同步来生成单个视频流。具体地 讲，在接收到从图像信息提取单元220提取的各个独立图像代码时，比特流生成单元230在 被设定为要通过同步而共同显示在单个画面上的图像的多个编码的比特流的预定布局中 将这些独立图像代码插入被指派给独立视频流中的相关独立视频流的对应位置中，然后利 用被共同显示在单个画面上的独立图像代码来生成组合图像代码。
[0030] 比特流生成单元230基于各个独立头信息来生成与组合图像代码对应的组合头信 息，然后生成包括组合图像代码和组合头信息的组合视频流。
[0031] 这里，包括在所生成的组合视频流中的组合头信息包括指示显示图片中包括多少 拼块的信息。另外，组合头信息包括关于图片内的横向方向和高度方向上的拼块的相应数 量的信息以及指示各个拼块的横向方向和高度方向上的样本的相应数量的信息。另外，各 个独立图像代码被重构为预定位置中的拼块的图像代码。
[0032]图3是被分割成3X3拼块结构的显示图像的示意