专利名称：使用相机参数对多视图画面编码和解码的设备和方法以及存储用于执行该方法的程序的 ...的制作方法
使用相机参数对多视图画面编码和解码的设备和方法以及存储用于执行该方法的程序的记录介质技术领域与本发明一致的方法和设备涉及对多视图运动画面进行编码和解码，更 具体地说，涉及使用相机参数对多视图画面进行编码和解码。
背景技术：
运动画面的编码，并且目的在于增强编码效率。然而，在诸如现实通信或虛 拟现实等的技术领域中，需要一种使用多个相机捕获场景、构建具有多视图 的三维运动画面和对构建的多视图画面进行有效地压缩编码并再现构建的多 -现图画面的方法。然而，由于现有^t支术压缩编码和再现方法涉及对通过单个相机捕获的画 面进行压缩编码和再现，因此^艮难将现有技术的压缩编码和再现方法应用于 多视图画面。
发明内容
技术问题本发明提供一种对多视图画面编码和解码的设备和方法，所述设备和方 法能够使用相机参数增强多视图画面的编码效率。本发明还提供一种存储用于执行对多视图画面进行编码和解码的方法的 程序的计算机可读记录介质，所述方法能够使用相机参数增强多视图画面的 编码效率。有益效果根据本发明的示例性实施例，提供一种对多视图画面进行编码的设备和 方法，所述设备和方法能够不对所有相机参数进行编码并且不发送所有相机 参数而仅通过选择性地对编码所必需的相机参数进行编码，来增强多视图画面编》马凌文率。另外，根据本发明的示例性实施例，提供一种对使用相机参数编码的多 视图画面进行解码的方法和设备。
通过下面参照附图对本发明的示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加明显，其中图1示出根据本发明的示例性实施例的表示相机组拍摄的多视图画面上 的相应点的示图；图2示出根据本发明的示例性实施例的表示纯位移(pure-translation)相机组拍摄的多视图画面上的相应点的示图；图3示出根据本发明的示例性实施例的多视图画面编码设备的框图； 图4是示出根据本发明的示例性实施例的多视图画面编码方法的流程图；以及图5示出根据本发明的示例性实施例的多视图画面解码设备的框图。最佳方式根据本发明的一方面，提供一种用于对多视图画面进行编码的设备，所 述设备包括多视图画面接收器，接收多视图画面和多个相机参数；相机参 数信息设置单元，从多个接收的相机参数选择用于对多视图画面进行编码的 相机参数，并且设置指示选择的相机参数的信息；以及编码器，基于设置的 信息对多视图画面进行编码。所述设备还包括相机参数分类单元，当以合成信息接收到关于相机特 性的多个相机参数时，将合成信息分别分类为包括相机排列类型、位移、旋 转角度、相机焦距和主点中的至少一个的相机参数项。相机参数信息设置单元根据多个接收的相机参数的使用或传输的频率选 择用于对多视图画面进行编码的相机参数。相机参数信息设置单元还设置指示相机参数是否已经改变的信息，并且 如果指示相机参数是否已经改变的信息指示相机参数没有改变，则编码器不 对先前发送的相机参数进行编码。指示选择的相机参数的信息是标记信息，并且以片为单位或以每个画面的宏块为单位^皮设置。当设置的信息和根据设置的信息的相机参数指示纯位移组状态时，编码 器使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当 前编码帧的预定点和第一参考帧的相应点之间的视差向量。根据本发明的另一方面，提供一种对多视图画面进行编码的方法，所述方法包括接收多视图画面和多个相机参数；从多个接收的相机参数选择用 于对多视图画面进行编码的相机参数；设置指示选择的相机参数的信息；以 及基于设置的信息对多视图画面进行编码。根据本发明的另 一方面，提供一种用于对多视图画面进行解码的设备， 所述设备包括相机参数信息提取器，从使用相机参数编码的多视图画面提 取包括对使用的相机参数设置的信息和使用的相机参数的相机参数信息；以 及解码器，基于提取的相机参数对多视图画面进行解码，其中，如果从相机 参数信息提取器提取了指示相机参数已经改变的信息，则解码器基于提取的 相机参数信息对多视图画面进行解码，如果从相机参数信息提取器提取了指 示相机参数没有改变的信息，则解码器使用先前接收的相机参数对多视图画 面进行解码。对使用的相机参数设置的信息是标记信息，并且以片为单位或以每个画 面的宏块为单位被设置。根据本发明的另一方面，提供一种对多视图画面进行解码的方法，所述 方法包括从使用相机参数编码的多视图画面提取包括对使用的相机参数设 置的信息和使用的相机参数的相机参数信息；基于提取的相机参数信息对多 视图画面进行解码，其中，对多视图画面进行解码的步骤还包括如果从编 码的多视图画面提取了指示相机参数已经改变的信息，则基于提取的相机参 数信息对多视图画面进行解码，如果从编码的多视图画面提取了指示相机参 数没有改变的信息，则使用先前接收的相机参数对多视图画面进行解码。
具体实施方式
以下，参照附图来详细描述本发明的示例性实施例。图1示出根据本发明的示例性实施例的表示相机组拍摄的多视图画面上 的相应点的示图。当三个多视图相机拍摄点时，在图1中示出三个多视图相 机拍摄的相应点的画面。在图1中，X表示画面1的相应点，X'表示画面2的相应点，X"表示画面3的相应点。在图1中，4gi殳画面1的相应点X的位置(即，在XYZ坐标系的三维 空间中预定像素位置)是X=(x, y, 1)T。这里，x和y是通过将xy坐标系中的 关于x坐标和y坐标的值归一化到与z轴相应的值而获得的值。因此，可通 过等式1和2计算画面2的相应点X'和画面3的相应点X"。X'= K'R12 K-1 X + K't12/Z (1)X" = K"R13 K" X + K"t13/Z (2)在等式1和2中，K、 K'和K"分别表示画面1、画面2和画面3的相机 固有参数，R,2和Rn分别表示画面2和画面3对于画面1的相机旋转参数， ti2和ti3分别表示画面2和画面3对于画面1的相机位移参数，Z表示图1中 示出的三个多视图相机拍摄的相应点的z坐标值。机组拍摄的多视图画面上的相应点的示图。在具有相同相机固有参数特性的多视图相机对于图2示出的预定对象沿 直线平行排列的情况下被称为"纯位移组"。在这种情况下，在等式l和等式 2中，R=I (单位矩阵)并且K=K' =K"。在图2中，X'和X"表示画面1上对于点X画面2和画面3的相应点。在 纯位移组的情况下，位置差对应于X和X'之间的视差向量dvl， X'和X"之间 的位置差对应于X'和X"之间的视差向量dv2, X和X"之间的位置差对应于X 和X"之间的视差向量dv3。在纯位移组的情况下，X、 X'和X"之间的相关性 可由下面的等式3、 4和5来表示X' = X + Kt12/Z (3)X" = X + Kt13/Z (4)X" = X' + Kt23/Z (5)从等式3和等式4导出下面的等式6:x'_x = Iii『-X) (6)tl3如果获得值t12、 113和X"-X (即dv3),则可不使用现有技术的视差搜 索方法而通过等式6获得dvl (即，X-X')。同时，可从等式3和等式5导出下面的等式7: X"-x'丄(义'-Z) (7)如果获得值tu、 123和乂'-X(即dvl)，则可不使用现有技术的视差搜索 方法而通过等式7获得dv2 (即，X" - X')。其结果是，当仅有纯位移作为多视图相机组存在并且已知相机转换参数 的值时，可使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量 来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。除了纯 位移多视图相机组之外，能够以不同的形式排列多视图相机。然而，如果当 以不同的形式排列并且正拍摄多视图画面的多视图相机时执行作为用于对多 视图画面进行编码的预处理或后处理的校正，则可构建与纯位移多视图相机 组相同的条件。因此，由于当构建纯位移多视图相机组时可如上所述估计视 差向量，因此需要使用与位移相应的相机参数对多视图画面进行编码。图3示出根据本发明的示例性实施例的多视图运动画面编码设备的框图。参照图3，多视图运动画面编码设备包括多视图画面接收器310、相机参 数信息设置单元330和编码器350。多视图画面接收器310从拍摄多视图画面的多视图相机系统接收多视图 画面和相机参数。所述相机参数是关于从多个相机接收的各个画面的相机特 性信息。所述相机参数包括属于相机的特性，诸如相机排列类型、位移、旋 转角、相机焦距、主点等。相机参数信息设置单元330选择接收的相机参数中用于对多视图画面进 行编码的相机参数。可根据预定标准选择相机参数以对多视图画面有效地进 行编码。例如，相机参数信息设置单元330可根据接收的相机参数的传输频 率选择对多视图画面进行编码的相机参数。相机参数信息设置单元330随后设置指示选择的相机参数的信息。例如， 通过Flag—CP1设置指示平行排列相机还是以曲线形式排列相机的相机排列类 型，通过Flag—CP2设置位移，通过Flag—CP3设置旋转角度，通过Flagj:P4 设置相机焦距，并通过Flag一CP5设置主点。指示相机参数的信息是指示选择 的相机参数的标记信息，并且能够以片为单位或以每个画面的宏块为单位被 设置。当各个标记被设置时，Flag—CPn可被设置为1。当相应相机参数不用 于对多视图画面进行编码时，Flagj:Pn可净皮设置为0。编码器350基于设置的信息对多视图画面进行编码，并且产生多视图画 面比特流。编码器350使用设置的标记信息和基于标记信息的相机参数对多视图画面进行编码。因此，在根据本发明的示例性实施例的多视图画面编码性地对编码所必需的相机参数进行编码，能够增强多视图画面的编码效率。存在合成从多视图相机系统发送的相机参数的情况，例如，以矩阵发送 各种相机参数。当以合成信息接收关于相机特性的相机参数时，根据本发明 的示例性实施例的多视图画面编码设备还可包括用于对合成信息进行分类的相机参数分类单元320。这是因为必须根据属于相机的项或特性对各个相机 参数进行分类，以在各种相机参数中选择用于对多视图画面进行编码的相机 参数，并且根据本发明的示例性实施例设置关于选择的相机参数的信息。相 机参数分类单元320将关于相机参数的合成信息分别分类为包括相机排列类 型、位移、旋转角度、相机焦距和主点的相机参数项中的至少一个。同时，当选择的相机参数改变成不同的相机参数并选择所述不同的相机 参数时，或者当将相机参数的值改变成与相机参数项相同时，相机参数信息 设置单元330还可设置指示相机参数已经改变的信息。例如，编码器350可 设置指示相机参数是否已经改变的标记信息。如果指示相机参数是否已经改变的标记信息指示相机参数已经改变，则 编码器350使用改变的相机参数对多视图画面进行编码。同时，如果所述标 记信息指示相机参数没有改变，则由于可使用先前从解码器发送的相机参数， 因此不需要对发送的相机参数进行编码。以这种方式，防止相机参数的重新 传输，从而增强了编码效率。另外，如果设置信息和根据设置信息的相机参数指示纯位移组状态，则 编码器350能够使用当前编码帧的预定点和第二参考帧的相应点之间的视差 向量来估计当前编码帧的预定点和第一参考帧的相应点之间的4见差向量。图4是示出根据本发明的示例性实施例的多视图运动画面编码方法的流 程图 在操作S410,接收多视图画面和相机参数。然后，在操作S420,在接 收的相机参数中选择用于对多视图画面进行编码的相机参数。在操作S410和操作S420之间，当以合成信息接收到关于相机特性的相 机参数时，还可包括这样的操作将合成信息分别分类为关于包括相机排列 类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数的特性。 在操作S420，可根据接收的相机参数的传输的频率选择用于对多视图画面进行编码的相机参数。在操作S430,设置指示选择的相机参数的信息。指示选择的相机参数的 信息是标记信息，并且能够以片为单位或以每个画面的宏块为单位被设置。在操作S440,基于设置的信息对多视图画面进行编码。在操作S440, 如果设置的信息和根据设置的信息的相机参数指示纯位移组状态，则还可执 行这样的操作使用当前编码帧的预定点和第二参考帧的相应点之间的视差 向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。同时，当设置了指示选择的相机参数的信息时，操作S430还可包^i殳置 指示相机参数是否已经改变的信息的步骤。在这种情况下，在对多视图画面 进行编码的操作S440中，如果指示相机参数是否已经改变的信息指示相机参 数没有改变，则不必对与先前发送的相机参数相同的相机参数进行编码。图5示出根据本发明的示例性实施例的多视图画面解码设备的框图。参照图5,多视图运动画面解码设备包括相机参数信息提取器510和解 码器520。相机参数信息提取器510从使用相机参数编码的多视图画面比特 流提取相机参数信息。所述相机参数信息包括对用于多视图画面编码的相机 参数设置的信息和用于多视图画面编码的相机参数。对相机参数设置的信息可包括指示多视图画面编码使用的相机参数的信 息和指示相机参数信息是否已经改变的信息。解码器520基于提取的相机参 数信息对多视图画面进行自适应地解码。将解码的多视图画面输出到显示单 元。如果从相机参数信息提取器510提取了指示相机参数已经改变的信息， 则解码器520基于提取的相机参数信息对多视图画面进行解码。如果提取了 指示相机参数没有改变的信息，例如，如果指示相机参数已经改变的信息是 无效值，则解码器520使用接收的相机参数对多视图画面进行解码。对使用 的相机参数设置的信息是标记信息，并且能够以片为单位或以每个画面的宏 块为单位被设置和接收。根据本发明的多视图画面编码方法和多视图运动解码方法还可实现为计 算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是存储其 后能够由计算机系统读取的数据的任何数据存储装置。所述计算机可读记录 介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、 CD-ROM、磁 带、软盘、光学数据存储装置和载波(诸如通过互联网的数据传输)。所述计算机可读记录介质还可分布于联网的计算机系统上，以便所述计算机可读代 码能够以分布方式被存储和执行。如上所述，根据本发明的示例性实施例，提供一种对多视图画面进行编 码的设备和方法，所述设备和方法能够不对所有相机参数进行编码并且不发强多视图画面的编码效率。另外，根据本发明的示例性实施例，提供一种对使用相机参数编码的多 视图画面进行解码的方法和设备。尽管已经参照本发明的示例性实施例具体显示并描述了本发明，但是本 领域的普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围 的情况下，可以对本发明中的形式和细节进行各种改变。
权利要求
1、一种用于对多视图画面进行编码的设备，包括多视图画面接收器，接收多视图画面和多个相机参数；相机参数信息设置单元，从多个接收的相机参数选择用于对多视图画面进行编码的相机参数，并且设置指示选择的相机参数的信息；编码器，基于设置的信息对多视图画面进行编码。
2、 如权利要求l所述的设备，还包括相机参数分类单元，当以合成信 息接收到关于相机特性的多个相机参数时，将合成信息分别分类为包括相机 排列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数特性。
3、 如权利要求1所述的设备，其中，相机参数信息设置单元根据多个接 收的相机参数的传输的频率选择用于对多视图画面进行编码的相机参数。
4、 如权利要求l所述的设备，其中，相机参数信息设置单元还设置指示 相机参数是否已经改变的信息，如果指示相机参数是否已经改变的信息指示相机参数没有改变，则编码 器不对先前发送的相^L参数进行编码。
5、 如权利要求l所述的设备，其中，指示选择的相机参数的信息是标记 信息，并且以片为单位或以每个画面的宏块为单位祐:设置。
6、 如权利要求l所述的设备，其中，当设置的信息和根据设置的信息的 相机参数指示纯位移组状态时，使用当前编码帧的预定点和第二参考帧的相 应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间 的视差向量。
7、 一种用于对多^L图画面进行编码的方法，包括 接收多 一见图画面和多个相机参数；从多个接收的相机参数选择用于对多视图画面进行编码的相机参数；设置指示选择的相机参数的信息；基于设置的信息对多视图画面进行编码。
8、 如权利要求7所述的方法，其中，当以合成信息接收到关于相机特性 的多个相机参数时，将合成信息分别分类为包括相机排列类型、位移、旋转 角度、相机焦距和主点中的至少一个的相机参数特性。
9、 如权利要求7所述的方法，其中，在从所述多个接收的相机参数选择用于对多视图画面进行编码的相机参数的步骤中，根据所述多个接收的相机 参数的传输的频率选择相机参数。
10、 如权利要求7所述的方法，其中，设置指示选择的相机参数的信息 的步骤还包括设置指示相机参数是否已经改变的信息；在对多视图画面进行编码的步骤中，如果指示相机参数是否已经改变的 信息指示相机参数没有改变，则不使用先前发送的相4几参数对多视图画面进 行编码。
11、 如权利要求7所述的方法，其中，指示选择的相机参数的信息是标 记信息，并且以片为单位或以每个画面的宏块为单位被设置。
12、 如权利要求7所述的方法，其中，基于设置的信息对多视图画面进 行编码的步骤包括当设置的信息和根据设置的信息的相机参数指示纯位移 组状态时，使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量 来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。
13、 一种用于对多视图画面进行解码的设备，所述设备包括 相机参数信息提取器，从使用相机参数编码的多视图画面提取包括对发送的相机参数设置的信息和发送的相机参数的相机参数信息； 解码器，基于提取的相机参数信息对多视图画面进行解码， 其中，如果从相机参数信息提取器提取了指示相机参数已经改变的信息，则解码器基于提取的相机参数信息对多视图画面进行解码，如果从相机参数信息提取器提取了指示相机参数没有改变的信息，则解码器使用先前接收的相机参数对多视图画面进行解码。
14、 如权利要求13所述的设备，其中，对使用的相机参数设置的信息是 标记信息，并且以片为单位或以每个画面的宏块为单位祐 没置。
15、 一种用于对多视图画面进行解码的方法，包括从使用相机参数编码的多视图画面提取包括对发送的相机参数设置的信 息和发送的相才几参#史的相4几参数信息；基于提取的相机参数信息对多视图画面进行解码，其中，对多视图画面进行解码的步骤还包括如果从编码的多视图画面 提取了指示相机参数已经改变的信息，则基于提取的相机参数信息对多视图 画面进行解码，如果从编码的多视图画面提取了指示相机参数没有改变的信 息，则使用先前接收的相机参数对多视图画面进行解码。
16、 如权利要求15所述的方法，其中，对使用的相机参数设置的信息是 标记信息，并且以片为单位或以每个画面的宏块为单位被设置。
17、 一种记录有用于执行对多视图画面进行编码的方法的计算机程序的 计算机可读记录介质，包括接收多视图画面和多个相机参数；从多个接收的相机参数选择用于对多视图画面进行编码的相机参数；设置指示选择的相机参数的信息；基于设置的信息对多视图画面进行编码。
18、 如权利要求17所述的计算机可读记录介质，还包括当以合成信息 接收到关于相机特性的多个相机参数时，将合成信息分别分类为包括相机排 列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数特性。
19、 如权利要求17所述的计算机可读记录介质，其中，在从多个接收的 相机参数选择用于对多视图画面进行编码的相机参数的步骤中，根据多个接 收的相机参数的传输的频率选择相机参数。
20、 如权利要求17所述的计算机可读记录介质，其中，设置指示选择的 相机参数的信息的步骤还包括设置指示相机参数是否已经改变的信息；在对多视图画面进行编码的步骤中，如果指示相机参数是否已经改变的 信息指示相机参数没有改变，则不使用先前发送的相机参数对多视图画面进 行编码。
21、 如权利要求17所述的计算机可读记录介质，其中，指示选择的相机 参数的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。
22、 如权利要求17所述的计算机可读记录介质，其中，基于设置的信息 对多视图画面进行编码的步骤包括当设置的信息和根据设置的信息的相机 参数指示纯位移组状态时，使用当前编码帧的预定点和第二参考帧的相应点 之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视 差向量。
23 、 一种记录有用于执行对多视图画面进行解码的方法的计算机程序的 计算机可读记录介质，包括从使用相机参数编码的多视图画面提取包括对发送的相机参数设置的信 息和发送的相机参数的相机参数信息；基于提取的相机参数信息对多视图画面进行解码，其中，对多视图画面进行解码的步骤还包括如果从编码的多视图画面 提取了指示相机参数已经改变的信息，则基于提取的相机参数信息对多视图 画面进行解码，如果从编码的多视图画面提取了指示相机参数没有改变的信 息，则使用先前接收的相机参数对多视图画面进行解码。
24、如权利要求23所述的计算机可读记录介质，其中，对使用的相机参 数设置的信息是标记信息，并且以片为单位或以每个画面的宏块为单位净皮设 置。
全文摘要
提供一种使用相机参数对多视图画面进行编码和解码的设备和方法。所述多视图运动画面编码设备包括多视图画面接收器，接收多视图画面和多个相机参数；相机参数信息设置单元，从多个接收的相机参数选择用于对多视图画面进行编码的相机参数，并且设置指示选择的相机参数的信息；编码器，基于设置的信息对多视图画面进行编码。因此，可以增强多视图画面的编码效率。
文档编号H04N7/24GK101273635SQ200680033263
公开日2008年9月24日 申请日期2006年10月10日 优先权日2005年10月11日
发明者具宰必, 河泰铉 申请人:三星电子株式会社