专利名称：多视角图像的构建方法及系统的制作方法
技术领域：
本发明是有关于一种图像的构建方法及系统，且特别是有关于一种多视角图像的构建方法及系统。
背景技术：
数字图像具有「不浪费底片、不占空间、永不褪色、容易储存、方便携带、容易编辑」 等优点，使得数字图像已经逐渐取代传统底片所拍摄的照片。随着数字图像科技的发展，各种图像编辑技术也不断的发展。通过图像编辑技术可以美化照片，或者加入有趣的图案，甚至是编辑成一多视角立体图像。然而，多视角立体图像的构建方法相当的复杂。以处理技术而言，需要有效地提升处理速度，才能使得多视角立体图像被普遍接受。
发明内容
针对上述技术问题，本发明提出一种多视角图像的构建方法及系统，以提供多视角图像的处理速度。根据本发明的一个方面，提出一种多视角图像的构建方法。多视角图像的构建方法包括以下步骤提供多张单视角图像，这些单视角图像的视角不同。对这些单视角图像进行一分辨率调整程序(Resizing)，以获得数个新分辨率图像的至少部分像素。对这些新分辨率图像的该至少部分像素进行一交错排列程序(View Interlace)，以形成一张多视角图像。根据本发明的另一个方面，提出一种多视角图像的构建系统。该多视角图像的构建系统包括一提供单元及一处理单元。提供单元用以提供多张单视角图像，这些单视角图像的视角不同。处理单元对这些单视角图像进行一分辨率调整程序(Resizing)，以获得多张新分辨率图像的至少部分像素，并对这些新分辨率图像的至少部分像素进行一交错排列程序(View Interlace)，以形成一张多视角图像。本发明利用并行计算的方式来提升多视角图像的处理速度，并利用分辨率调整程序来提升多视角图像的质量。为让本发明的上述内容能更清楚易懂，下文特举各种实施例，并配合所附附图，作详细说明如下。
图1绘示本发明第一实施例的多视角图像的构建系统的示意图。图2绘示第一实施例的多视角图像的构建方法的流程图。图3绘示第一实施例的多视角图像的构建过程的示意图。图4绘示另一实施例的多视角图像的构建过程的示意图。图5绘示第二实施例的多视角图像的构建系统的示意图。
图6绘示第二实施例的多视角图像的构建方法的流程图。图7绘示第二实施例的多视角图像的构建过程的示意图。图8绘示第三实施例的多视角图像的构建系统的示意图。图9绘示第三实施例的多视角图像的构建方法的流程图。图10绘示第三实施例的多视角图像的构建过程的示意图。主要元件符号说明100、200、300 多视角图像的构建系统110:提供单元120,220,320 处理单元121、221、321 第一线程122、222、322 第二线程223 第三线程Al 像素平移程序(Pixel Rendering)A2 像素插补程序(Hole Filling)A3 分辨率调整程序(Resizing)A4 交错排列程序(View Interlace)Ρ101、Ρ10Γ 原始图像Ρ102、Ρ102，新视角图像Ρ103 新分辨率图像Ρ104、Ρ104，多视角图像PllO 单视角图像SlOl S104、S201 S204、S301 S303 流程步骤
具体实施例方式以下提出实施例进行详细说明，实施例仅用以作为范例说明，并不会限制本发明欲保护的范围。此外，实施例中的附图省略了不必要的元件，以清楚显示本发明的技术特
点ο第一实施例请参照图1，其绘示本发明第一实施例的多视角图像Ρ104的构建系统100的示意图(多视角图像Ρ104绘示于图3)。多视角图像构建系统100包括一提供单元110及一处理单元120。提供单元110用以提供各种信息，例如是一照相机、一摄影机、一储存媒体或连接储存媒体的一连接端口。处理单元120用以执行各种处理、运算程序，例如是一中央处理器芯片(Central Processing Unit，简称 CPU)、一图形处理器芯片(Graphic Processing Unit，简称GPU)、一固件电路或存储数组程序代码的一存储媒体。本实施例的处理单元120 包括数组第一线程121及数组第二线程122。第一线程121以并行计算的方式进行各种处理、运算程序，第二线程122也是以并行计算的方式进行各种处理、运算程序。请参照图2 图3，图2绘示第一实施例的多视角图像P104的构建方法的流程图， 图3绘示第一实施例的多视角图像P104的构建过程的示意图。以下配合一流程图及一示意图说明本实施例的多视角图像P104的构建系统100的运作方式及本实施例的多视角图像P104的构建方法。然而，本发明所属技术领域中普通技术人员均可了解本实施例的多视角图像P104的构建系统100并不局限于图2的流程步骤与顺序，并且图2的多视角图像P104 的构建方法也不局限应用于图1的多视角图像P104的构建系统100。首先，在步骤SlOl中，提供单元110提供一张原始图像PlOl及原始图像PlOl的深度信息。以图3为例，原始图像PlOl的列数为640，行数为360，色域通道数为3 (例如「R」 代表红色、「G」代表绿色、「B」代表蓝色)，其分辨率为640X360X3。接着，在步骤S102中，处理单元120的第一线程121依据深度信息，以并行计算的方式对原始图像PlOl进行像素平移程序(Pixel Rendering)Al及像素插补程序(Hole Filling)A2,以形成多张新视角图像P102。以图3为例，原始图像PlOl经过像素平移程序 Al及像素插补程序A2后，形成8张新视角图像P102。其中每一张新视角图像P102的列数也是640，行数也是360，色域通道也是3 (「R」代表红色、「G」代表绿色、「B」代表蓝色)，其分辨率为640X360X3。其中，像素平移程序Al用以将原始图像PlOl的每一像素平移至适当的位置，以顺利构建出8张新视角图像P102。在像素平移过程中，新视角图像P102可能会出现缺口的现象，此时则通过像素插补程序A2来填补缺口。以图3为例，单视角图像PllO包括1张原始图像PlOl及8张新视角图像P102， 所以单视角图像Plio总共有9张，这些单视角图像PllO的视角都不相同，但分辨率都为 640X 360X 3。所以，通过步骤SlOl S102，则获得了多张单视角图像Pl 10。然后，在步骤S103中，这些第一线程121以并行计算的方式对这些单视角图像 PllO进行一分辨率调整程序(Resizing)A3，以获得数个新分辨率图像P103。以图3为例， 9张单视角图像PllO的分辨率都为640X360X3，而每一张新分辨率图像P103的列数为 1920，行数为1080，色域信道为3，其分辨率为1920X1080X3。在本实施例中，像素平移程序Al、像素插补程序A2及分辨率调整程序A3都利用第一线程121以并行计算的方式执行。以图3为例，原始图像PlOl与新视角图像P102之间的箭头表示各个第一线程执行121执行像素平移程序Al及像素插补程序A2的步骤S102的动作，所以这些第一线程121的数目为新视角图像P102的列数与这些新视角图像P102的张数的乘积(即640X8)。再者，新视角图像P102与新分辨率图像P103之间的箭头表示各个第一线程121 执行分辨率调整程序A3的步骤S103的动作，所以这些第一线程121的数目也为各个新视角图像P102的列数与新视角图像P102的张数的乘积(即640X8)。此外，原始图像PlOl与新分辨率图像P103之间的箭头表示另一分辨率调整程序A3的动作，此动作可以由另一处理单元，例如是中央处理器芯片(Central Processing Unit，简称CPU)来同步执行。接着，在步骤S104中，第二线程122以并行计算的方式对新分辨率图像P103的像素进行一交错排列程序(View Interlace)A4，以形成一张多视角图像P104。以图3为例，新分辨率图像P103的分辨率与最后欲形成的多视角图像P104的分辨率相同(都为 1920X1080X3)，因此第二线程122只需直接在新分辨率图像P103中挑选出对应位置的像素即可组成多视角图像P104(未被挑选的像素则直接舍弃)。如图3所示，新分辨率图像P103与多视角图像P104之间的箭头表示交错排列程序A4的步骤S104的动作。所以第二线程122的数目为多视角图像P104的列数、多视角图像P104的行数及色域通道的乘积(即1920 X 1080X3)。如图3所示，多视角图像P104所组成的像素都执行过分辨率调整程序A3，所以多视角图像P104的每一像素都经由单视角图像P103的数个邻近像素的浮点运算所获得。因此多视角图像P104的每一像素都能够精准地表现出此位置应该呈现的内容。请参照图4，其绘示另一实施例的多视角图像P104’的构建过程的示意图。以图 4为例，原始图像PlOl经过像素平移程序(Pixel Rendering)Al及像素插补程序(Hole Filling)A2而形成多张新视角图像P102，后，原始图像Ρ10Γ及新视角图像P102，即组成多张单视角图像P110’。这些单视角图像P110’再直接进行交错排列程序(View Interlace) A4来获得一张多视角图像P104’，而没有经过分辨率调整程序(ReSiZing)A3。由于多视角图像P104’所组成的像素未执行过分辨率调整程序A3，多视角图像P104’的每一像素由单视角图像P110’的像素直接挑选。因此多视角图像P104’的每一像素都较无法精准地表现出此位置应该呈现的内容。如此一来，画面上将呈现锯齿现象。反观图3的实施例，多视角图像P104的每一像素都经由单视角图像P103的数个邻近像素的浮点运算所获得，所以多视角图像P104的每一像素都能够精准地表现出此位置应该呈现的内容，进而使得画面上的锯齿现象可以大幅减少。第二实施例请参照图5 图7，图5绘示第二实施例的多视角图像P104的构建系统200的示意图，图6绘示第二实施例的多视角图像P104的构建方法的流程图，图7绘示第二实施例的多视角图像P104的构建过程的示意图。本实施例的多视角图像P104的构建系统200及方法与第一实施例的多视角图像P104的构建系统100与方法不同之处在于线程的执行方式的安排，其余相同之处不再重复叙述。如图5所示，本实施例的处理单元220包括数个第一线程221、数个第二线程222 及数个第三线程223。第一线程221用以执行像素平移程序(Pixel Rendering) Al及像素插补程序(Hole Filling)A2的动作，第二线程222用以执行分辨率调整程序(Resizing)A3 的动作，第三线程223用以执行交错排列程序(View hterlaceMA的动作。以下配合图6及图7详细说明本实施例的多视角图像P104的构建方法。在步骤 S201中，提供单元110提供原始图像PlOl及原始图像PlOl的深度信息。接着，在步骤S202中，处理单元220的第一线程221依据深度信息，以并行计算的方式对原始图像PlOl进行像素平移程序Al及像素插补程序A2，以形成多张新视角图像 P102。在本实施例中，像素平移程序Al及像素插补程序A2都利用第一线程221以并行计算的方式执行。以图7为例，原始图像PlOl与新视角图像P102之间的箭头表示各个第一线程221执行像素平移程序Al及像素插补程序A2的步骤S202的动作，所以这些第一线程 221的数目为新视角图像P102的列数与这些新视角图像P102的张数的乘积(即640X8)。然后，在步骤S203中，这些第二线程222以并行计算的方式对这些单视角图像 P102进行分辨率调整程序A3，以获得数个新分辨率图像P103。在本实施例中，分辨率调整程序A3利用第二线程222以并行计算的方式执行。以图7为例，单视角图像PllO (包含原始图像PlOl与新视角图像与新分辨率图像P103之间的箭头表示各个第二线程222执行分辨率调整程序A3的动作，所以这些第二线程222 的数目为各个新分辨率图像P103的列数、各个新分辨率图像P103的行数、色域通道数及这些新分辨率图像P103的张数的乘积(即1920X1080X3X9)。接着，在步骤S204中，第三线程223以并行计算的方式对新分辨率图像P103的像素进行交错排列程序A4，以形成多视角图像P104。以图7为例，新分辨率图像P103的分辨率与最后欲形成的多视角图像P104的分辨率相同，因此第三线程223只需直接在新分辨率图像P103中挑选出对应位置的像素即可组成多视角图像P104。如图7所示新分辨率图像P103与多视角图像P104之间的箭头表示交错排列程序 A4的动作。所以第三线程223的数目为多视角图像P104的列数、多视角图像P104的行数及色域通道数的乘积(即1920X1080X3)。第三实施例请参照图8 图10，图8绘示第三实施例的多视角图像P104的构建系统300的示意图，图9绘示第三实施例的多视角图像P104的构建方法的流程图，图10绘示第三实施例的多视角图像P104的构建过程的示意图。本实施例的多视角图像P104的构建系统300及方法与第一实施例的多视角图像P104的构建系统100与方法不同之处在于线程的执行方式的安排，其余相同之处不再重复叙述。如图8所示，本实施例的处理单元320包括数个第一线程321及数个第二线程 322。第一线程321用以执行像素平移程序(Pixel Rendering) Al及像素插补程序(Hole Filling)A2的动作，第二线程322用以执行分辨率调整程序(Resizing)A3及交错排列程序 (View Interlace)A4 的动作。以下配合图9及图10详细说明本实施例的多视角图像P104的构建方法。在步骤 S301中，提供单元110提供原始图像PlOl及原始图像PlOl的深度信息。接着，在步骤S302中，处理单元320的第一线程321依据深度信息，以并行计算的方式对原始图像PlOl进行像素平移程序(Pixel Rendering)Al及像素插补程序(Hole Filling)A2，以形成新视角图像P102。在本实施例中，像素平移程序Al及像素插补程序A2都利用第一线程321以并行计算的方式执行。以图10为例，原始图像PlOl与新视角图像P102之间的箭头表示各个第一线程321执行像素平移程序Al及像素插补程序A2的步骤S302的动作，所以这些第一线程321的数目为新视角图像P102的列数与这些新视角图像P102的张数的乘积(即 640X8)。然后，在步骤S303中，这些第二线程322以并行计算的方式对这些单视角图像 PllO进行分辨率调整程序(Resizing)A3及交错排列程序(View Interlace)A4，以直接获得多分辨率图像P104。 在本实施例中，第二线程322仅针对单视角图像PllO的部分像素进行分辨率调整程序A3，而没有实际完成任何一张新分辨率图像P103，因此，图10以虚线标示虚拟的新分辨率图像P103。其中虚拟的新分辨率图像P103并不完整，只有部分的像素被完成，这些像素被完成后，则直接进行交错排列程序A4安插至多视角图像P104内。单视角图像Pl 10 (包含原始图像PlOl与新视角图像P102)与多分辨率图像P104之间的箭头表示各个第二线程执行322执行分辨率调整程序A3及交错排列的步骤S303的动作，所以这些第二线程322的数目为多视角图像P104的列数、多视角图像P104的行数及色域通道数的乘积(即 1920X1080X3)。上述实施例的单视角图像PllO由原始图像PlOl经由像素平移程序(Pixel Rendering)Al及像素插补程序(Hole Filling)A2来获得新视角图像P102后所组成，然而在其它实施例中，单视角图像PllO可以直接由数个不同视角的镜头所拍摄，而不需要进行像素平移程序Al及像素插补程序A2。以上实施例有关于一种多视角图像的构建方法及系统，其利用并行计算的方式来提升多视角图像的处理速度，并利用分辨率调整程序来提升多视角图像的质量。综上所述，虽然本发明已以各种实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的更改与修正。因此，本发明的保护范围当视随附的权利要求所界定的为准。
权利要求
1.一种多视角图像的构建方法，其特征在于，包括提供多张单视角图像，这些单视角图像的视角不同；对这些单视角图像进行一分辨率调整程序，以获得多个新分辨率图像的至少部分像素；以及对这些新分辨率图像的该至少部分像素进行一交错排列程序，以形成一张多视角图像。
2.根据权利要求1所述的多视角图像的构建方法，其特征在于，这些单视角图像包括一原始图像及对应该原始图像的多张新视角图像，提供这些单视角图像的步骤包括提供该原始图像及该原始图像的深度信息；以及依据该深度信息，对该原始图像进行一像素平移程序及一像素插补程序，以获得这些新视角图像。
3.根据权利要求2所述的多视角图像的构建方法，其特征在于，该像素平移程序、该像素插补程序及该分辨率调整程序利用多个第一线程以并行计算的方式执行，该交错排列程序利用多个第二线程以并行计算的方式执行。
4.根据权利要求3所述的多视角图像的构建方法，其特征在于，这些第一线程的数目为这些新视角图像之一的列数与这些新视角图像的张数的乘积，这些第二线程的数目为该多视角图像的列数、该多视角图像的行数及色域通道数的乘积。
5.根据权利要求2所述的多视角图像的构建方法，其特征在于，该像素平移程序及该像素插补程序利用多个第一线程以并行计算的方式执行，该分辨率调整程序利用多个第二线程以并行计算的方式执行，该交错排列程序利用多个第三线程以并行计算的方式执行。
6.根据权利要求5所述的多视角图像的构建方法，其特征在于，这些第一线程的数目为该原始图像的列数与这些新视角图像的张数的乘积，这些第二线程的数目为各该新分辨率图像的列数、各该新分辨率图像的行数、色域通道数及这些新分辨率图像的张数的乘积， 这些第三线程的数目为该多视角图像的列数、该多视角图像的行数及色域通道数的乘积。
7.根据权利要求2所述的多视角图像的构建方法，其特征在于，该像素平移程序及该像素插补程序利用多个第一线程以并行计算的方式执行，该分辨率调整程序及该交错排列程序利用多个第二线程以并行计算的方式执行。
8.根据权利要求7所述的多视角图像的构建方法，其特征在于，这些第二线程是在同一步骤完成该分辨率调整程序及该交错排列程序。
9.根据权利要求7所述的多视角图像的构建方法，其特征在于，这些第一线程的数目为该原始图像的列数与这些新视角图像的张数的乘积，这些第二线程的数目为该多视角图像的列数、该多视角图像的行数及色域通道数的乘积。
10.一种多视角图像的构建系统，其特征在于，包括一提供单元，用以提供多张单视角图像，这些单视角图像的视角不同；以及一处理单元，对这些单视角图像进行一分辨率调整程序，以获得多张新分辨率图像的至少部分像素，并对这些新分辨率图像的该至少部分像素进行一交错排列程序，以形成一张多视角图像。
11.根据权利要求10所述的多视角图像的构建系统，其特征在于，这些单视角图像包括一原始图像及对应该原始图像的多张新视角图像，该处理单元依据该原始图像的深度信息，对该原始图像进行一像素平移程序及一像素插补程序，以获得这些新视角图像。
12.根据权利要求11所述的多视角图像的构建系统，其特征在于，该处理单元包括 多个第一线程，以并行计算的方式执行该像素平移程序、该像素插补程序及该分辨率调整程序；以及多个第二线程，以并行计算的方式执行该交错排列程序。
13.根据权利要求12所述的多视角图像的构建系统，其特征在于，这些第一线程的数目为这些新视角图像之一的列数与这些新视角图像的张数的乘积，这些第二线程的数目为该多视角图像的列数、该多视角图像的行数及色域通道数的乘积。
14.根据权利要求11所述的多视角图像的构建系统，其特征在于，该处理单元包括 多个第一线程，以并行计算的方式执行该像素平移程序及该像素插补程序；多个第二线程，以并行计算的方式执行该分辨率调整程序；以及多个第三线程，以并行计算的方式执行该交错排列程序。
15.根据权利要求14所述的多视角图像的构建系统，其特征在于，这些第一线程的数目为这些新视角图像之一的列数与该些新视角图像的张数的乘积，这些第二线程的数目为各该新分辨率图像的列数、各该新分辨率图像的行数、色域通道数及这些新分辨率图像的张数的乘积，这些第三线程的数目为该多视角图像的列数、该多视角图像的行数及色域通道数的乘积。
16.根据权利要求11所述的多视角图像的构建系统，其特征在于，该处理单元包括 多个第一线程，以并行计算的方式执行该像素平移程序及该像素插补程序；以及多个第二线程，以并行计算的方式执行该分辨率调整程序及该交错排列程序。
17.根据权利要求16所述的多视角图像的构建系统，其特征在于，这些第二线程是在同一步骤完成该分辨率调整程序及该交错排列程序。
18.根据权利要求16所述的多视角图像的构建系统，其特征在于，这些第一线程的数目为这些新视角图像之一的列数与这些新视角图像的张数的乘积，这些第二线程的数目为该多视角图像的列数、该多视角图像的行数及色域通道数的乘积。
全文摘要
本发明公开了一种多视角图像的构建方法及系统。该多视角图像的构建方法包括以下步骤提供多张单视角图像，这些单视角图像的视角不同；对这些单视角图像进行一分辨率调整程序(Resizing)，以获得数个新分辨率图像的至少部分像素；对这些新分辨率图像的此至少部分像素进行一交错排列程序(View Interlace)，以形成一张多视角图像。本发明利用并行计算的方式来提升多视角图像的处理速度，并利用分辨率调整程序来提升多视角图像的质量。
文档编号G06T5/50GK102567975SQ20111003573
公开日2012年7月11日 申请日期2011年2月1日 优先权日2010年12月24日
发明者刘楷哲, 黄伟豪, 黄维嘉 申请人:财团法人工业技术研究院