影像处理方法与影像处理装置制造方法
【专利摘要】本发明提供一种影像处理方法，包含：接收定义目标视差范围的视差范围设定；接收立体影像数据及辅助图形数据，其分别具有不完全落在目标视差范围内和完全落在目标视差范围外的原始视差；以及依据视差范围设定来修正立体影像数据的至少一部份，以产生包含至少一修正过的部分的修正过的立体影像数据，其所具有的修正过的视差完全落在目标视差范围内，其中至少该修正过的部分是产生自立体影像数据的至少该部份，且至少该部份所具有的视差与所接收的辅助图形数据的视差部分重叠。通过视差修正，可使立体影像数据的显示免于被辅助图形数据的显示所阻隔。本发明另提供一种影像处理装置。
【专利说明】影像处理方法与影像处理装置
【【技术领域】】
[0001]本发明关于立体(three-dimensional, 3D)影像数据与辅助图形数据的处理,尤指一种参照视差范围设定以在视差域(disparity domain)中将立体影像数据的至少一部份(例如，部份或全部)与辅助图形数据分离的方法与装置。
【【背景技术】】
[0002]用以控制平面(two-dimensional, 2D)视频/影像数据的播放的视频播放装置已广为所知。视频播放装置一般是耦接至平面显示装置，像是电视或显示器。平面视频/影像数据会从视频播放装置传送至平面显示装置，以呈现平面视频/影像内容给用户。除了平面视频/影像内容外，视频播放装置也可驱动平面显示装置去显示辅助图形数据(auxiliary graphical data),像是字幕、图形用户介面(graphical userinterface, GUI)、屏幕显不(on-screen display, OSD),或是标志(logo)。
[0003]现在，用以控制立体视频/影像数据的播放的视频播放装置被提出来，此外，也提出了用以呈现立体视频/影像内容给用户的立体显示装置。同样地，立体显示装置也可连同辅助图形数据(例如，字幕、图形用户介面、屏幕显示，或是标志)与立体视频/影像内容一起显示。一般来说，视差(disparity)被参考作为右眼影像与左眼影像之间相同点的座标差量(coordinate difference),而视差通常是用像素来测量。因此，当立体视频/影像数据的视差与辅助图形数据的视差部分重叠(overlapped)时，辅助图形数据的显示会阻隔立体视频/影像数据的显示所呈现的 立体效果。
[0004]因此，需要一种可以防止立体视频/影像数据的显示被辅助图形数据的显示所阻隔的创新设计。
【
【发明内容】
】
[0005]有鉴于此，有必要提供影像处理方法与影像处理装置。
[0006]本发明的一实施例提供了一种示范性的影像处理方法。示范性的影像处理方法包含下列步骤:接收定义一目标视差范围的一视差范围设定；接收一立体影像数据，其具有不完全落在该目标视差范围内的一原始视差；接收一辅助图形数据，其具有完全落在该目标视差范围外的一原始视差；以及依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少一部份，以产生一修正过的立体影像数据，其中该修正过的立体影像数据包含至少一修正过的部分，其所具有的一修正过的视差完全落在该目标视差范围内，其中该修正过的立体影像数据的至少该修正过的部分是产生自该立体影像数据的至少该部份，且该立体影像数据的至少该部份所具有的视差与所接收的该辅助图形数据的视差部分重叠。
[0007]本发明另一实施例揭露了另一种示范性的影像处理方法。示范性的影像处理方法包含下列步骤:接收定义一目标视差范围的一视差范围设定；接收一立体影像数据，其具有不完全落在该目标视差范围内的一原始视差；接收一辅助图形数据，其具有不完全落在该目标视差范围外的一原始视差；依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少一部份，以产生一修正过的立体影像数据，其中该修正过的立体影像数据包含至少一修正过的部分，其所具有的一修正过的视差完全落在该目标视差范围内，该修正过的立体影像数据的至少该修正过的部分是产生自该立体影像数据的至少该部份，且该立体影像数据的至少该部份所具有的视差与所接收的该辅助图形数据的视差部分重叠；以及依据该视差范围设定来修正所接收的该辅助图形数据，以产生一修正过的辅助图形数据，其所具有的一修正过的视差完全落在该目标视差范围外。
[0008]本发明的又一实施例揭露了示范性的影像处理装置。示范性影像处理装置包含一接收电路与一处理电路。该接收电路用以接收定义一目标视差范围的一视差范围设定，接收具有不完全落在该目标视差范围内的一原始视差的一立体影像数据，以及接收具有完全落于该目标视差范围外的一原始视差的一辅助图形数据。该处理电路耦接至该接收电路，用以依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少一部份，以产生一修正过的立体影像数据,其中该修正过的立体影像数据包含至少一修正过的部分,其所具有的一修正过的视差完全落在该目标视差范围内，其中该修正过的立体影像数据的至少该修正过的部分是产生自该立体影像数据的至少该部份，且该立体影像数据的至少该部份所具有的视差与所接收的该辅助图形数据的视差部分重叠。
[0009]本发明的又一实施例揭露了一示范性影像处理装置。示范性影像处理装置包含一接收电路与一处理电路。该接收电路用以接收定义一目标视差范围的一视差范围设定，接收具有不完全落在该目标视差范围内的一原始视差的一立体影像数据，以及接收具有不完全落于该目标视差范围外的一原始视差的一辅助图形数据。该处理电路耦接至该接收电路，用以依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少一部份，以产生一修正过的立体影像数据，以及依据该视差范围设定来修正所接收的该辅助图形数据，以产生一修正过的辅助图形数据；其中该修正过的立体影像数据包含至少一修正过的部分，其所具有的一修正过的视差完全落在该目标视差范围内；该修正过的立体影像数据的至少该修正过的部分是产生自该立体影像数据的至少该部份，且该立体影像数据的至少该部份所具有的视差与所接收的该辅助图形数据的视差部分重叠；以及该修正过的辅助图形数据所具有的一修正过的视差完全落在该目标视差范围外。
[0010]上述影像处理方法与影像处理装置对立体影像数据的至少一部份(例如，一部份或全部)的视差进行调整， 以在视差域中将立体影像数据的至少该部份与辅助图形数据(例如，字幕、图形用户介面、屏幕显示或是标志)分离，如此一来，因为立体影像数据的至少该部份的视差与辅助图形数据的视差不再部分重叠，立体影像数据的显示便不会被辅助图形数据的显示所阻隔。
【【专利附图】
【附图说明】】
[0011]图1为依据本发明的第一示范性实施例的影像处理装置的方块图；
[0012]图2为依据本发明的实施例对立体影像数据执行视差修正以产生修正过的立体影像数据的流程图；
[0013]图3为立体影像数据的原始视差范围与目标视差范围之间的关系的示意图；
[0014]图4为使用线性映射方法时，修正过的立体影像数据的修正过的视差范围与目标视差范围之间的关系的示意图；[0015]图5为使用非线性映射方法时，修正过的立体影像数据的修正过的视差范围与目标视差范围之间的关系的示意图；
[0016]图6为用户看见被显示在立体影像数据的内容前的平面图形数据的内容的示意图；
[0017]图7为用户看见被显示在立体影像数据的内容前的立体图形数据的内容的示意图；
[0018]图8为立体影像数据的原始视差范围、目标视差范围以及辅助图形数据的原始视差之间的关系的不意图；
[0019]图9为修正过的立体影像数据的修正过的视差范围、目标视差范围以及修正过的辅助图形数据的修正过的视差之间的关系的示意图；
[0020]图10为用户看见被显示在立体影像数据的内容前方的辅助图形数据的内容的示意图；
[0021]图11为依据本发明的示范性实施例而对辅助图形数据执行视差修正以产生修正过的辅助图形数据的方法的流程图；
[0022]图12为立体影像数据的原始视差范围、目标视差范围以及辅助图形数据的原始视差范围之间的关系的示意图；
[0023]图13为修正过的立体影像数据的修正过的视差范围、目标视差范围以及修正过的辅助图形数据的修正过的视差范围之间的关系的示意图；
[0024]图14为依据本发明的第二示范性实施例的影像处理装置的方块图。
【【具体实施方式】】
[0025]在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属领域中技术人员应可理解，制造商可能会用不同的名词来称呼同样的元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其他装置或连接手段间接地电气连接至该第二装置。
[0026]本发明的主要观念是要对立体影像数据的至少一部份(例如，一部份或全部)的视差进行调整，以在视差域中将立体影像数据的至少该部份与辅助图形数据(例如，字幕、图形用户介面、屏幕显示或是标志)分离。需要注意的是，辅助图形数据一般是显示在全部屏幕/影像的一小块区域内，因此，立体影像数据的显示只有一部份会真的与辅助图形数据的显示部分重叠。本发明的一示范性设计可对全部的立体影像数据的视差进行调整，以达到在视差域中将立体影像数据的重叠部份(立体影像数据的视差与辅助图形数据的视差部分重叠的部分)与辅助图形数据分离。本发明的另一示范性设计则可简单地只调整立体影像数据的一部分的视差，以达到在视差域中将立体影像数据的重叠部份(立体影像数据的视差与辅助图形数据的视差部分重叠的部分)与辅助图形数据分离的相同目的。如此一来，因为立体影像数据的至少该部份的视差与辅助图形数据的视差不再部分重叠，立体影像数据的显示便不会被辅助图形数据的显示所阻隔。此外，所提出的视差修正技术不需要复杂的运算，因此简化了硬体的设计并降低制造成本。进一步的细节将说明如下。
[0027]图1是本发明的第一示范性实施例的影像处理装置的方块图。举例来说(但本发明并不局限于此)，示范性影像处理装置100可被设置在视频播放器(video player)内，以控制所接收的视频/影像数据的播放。如图1所示，示范性影像处理装置100包含(但不限于)一接收电路102、一处理电路104以及一驱动电路106，其中处理电路104耦接于接收电路102以及驱动电路106之间。接收电路102用以接收视差范围设定RS、立体影像数据D1、以及辅助图形数据D2。视差范围设定RS由用户输入或预设值设定所产生，并定义目标视差范围R_target。立体影像数据Dl与辅助图形数据D2由前一级分别提供，在一实施例中，该前一级可以是同时储存立体影像数据Dl与辅助图形数据D2的数据源，而在另一实施例中，该前一级可以是一前置处理(pre-processing)电路，其接收具有立体影像数据Dl与整合于内的辅助图形数据D2 (例如，字幕是每一影像帧的一部份)的单一数据流，从该数据流撷取出辅助图形数据D2，以及通过从该数据流移除辅助图形数据D2来得到立体影像数据D1。换句话说，本发明对立体影像数据Dl以及辅助图形数据D2的来源并没有限制。
[0028]影像处理装置100可运行在第一操作情境(operational scenario)与第二操作情境的其中之一。对于第一操作情境来说，接收电路102会接收具有不完全落于目标视差范围R_target内的原始视差的立体影像数据Dl,与具有完全落于目标视差范围R_target外的原始视差的辅助图形数据D2。接下来，处理电路104用以通过依据视差范围设定RS，来修正所接收的立体影像数据Dl的至少一部份(例如，部份或全部)，以产生修正过的立体影像数据D1’，立体影像数据D1’包含具有完全落于目标视差范围R_target内的修正过的视差的至少一修正过的部分(例如，修正过的立体影像数据D1’的部分或全部)，并直接略过(bypass)所接收的辅助图形数据D2而没有对辅助图形数据D2施加任何视差修正。确切地说，所接收的立体影像数据Dl的至少该部份的视差会与所接收的辅助图形数据D2的视差部分重叠。以下是处理电路104对立体影像数据Dl所施加的视差修正的详细说明。
[0029]请参照图2，其是依据本发明的实施例的对立体影像数据Dl执行视差修正以产生修正过的立体影像数据D1’的方法的流程图。假如结果实质上是相同的，则步骤不需要完全按照图2所示的顺序来执行。假设所接收的立体影像数据包含具有右眼影像帧与左眼影像帧的至少一影像对(image pair)。施加于具有右眼影像帧与左眼影像帧的一原始影像对，以产生相对应的修正过的影像对的视差修正可包含下列步骤。
[0030]步骤200:开始；
[0031]步骤202:通过对所接收的立体影像数据Dl内的原始影像对的左眼影像帧与右眼影像巾贞执行视差估算(disparity estimation),以得到一视差图(disparity map)；
[0032]步骤204:依据该视差图得到原始影像对的至少一部份(例如，部份或全部)的原始视差范围R_original,其中原始视差范围R_original具有边界值VII,而目标视差范围R.target具有边界值V21。在示范性的视差修正要被施加于全部的立体影像数据的情形中，所得到的原始视差范围R_original为完整(full)原始影像对的视差范围。在示范性的视差修正要被施加于部份的立体影像数据的另一情形中，原始视差范围R_original是具有与辅助图形数据的视差部分重叠的视差的部分(partial)原始影像对的视差范围；
[0033]步骤206:通过至少依据边界值Vll与边界值V21之间的差量DIFF，来水平平移包含于原始影像对的至少该部份的右眼影像帧与左眼影像帧中至少其一内的像素，以产生具有完全落于目标视差范围R_target内的修正过的视差范围R_mod的至少一修正过的部分(例如，修正过的影像对的部份或全部)的修正过的影像对。在示范性的视差修正要被施加于全部的立体影像数据的情形中，包含于完整原始影像对内的右眼影像帧与左眼影像帧中至少其一的像素会被水平平移，以调整完整原始影像对的视差范围。在不范性的视差修正要被施加于部份的立体影像数据的另一情形中，只有包含于部份原始影像对内的右眼影像帧与左眼影像帧中至少其一内的像素会被水平平移，以便只对具有与辅助图形数据部分重叠的视差的部分原始影像对的视差范围进行调整；
[0034]步骤208:结束。
[0035]为求简单明了，假设以下所提到的示范性视差修正是施加于全部的立体影像数据，用以避免立体视频/影像的显示被辅助图形数据的显示所阻隔。步骤202中所产生的视差图包含了有关于原始影像对的视差值，其中每一视差值被参考作为一右眼影像帧与一左眼影像帧之间的相同点的座标差量，而座标差量通常是以像素来测量。因此，基于视差图所给的视差值，可轻易地得到原始影像对的原始视差范围R_original。图3是立体影像数据Dl的原始视差范围R_original与目标视差范围R_target之间的关系的示意图。在此例子中，前述的边界值Vll是原始视差范围1?_018；[11的低边界(lower bound),而前述的边界值V21是目标视差范围R_target的低边界。从图3可看出，原始视差范围R_original是由低边界Vll与高边界(upper bound) V12所划限,例如,低边界Vll等于-58,而高边界V12等于+70，这也意指原始影像对所具有的最小视差是-58，而原始影像对所具有的最大视差是+70。
[0036]从图3可看出，原始视差范围R_original应该被向右平移以落于目标视差范围R_target内，也就是说，原始影像对所具有的全部视差值应该都要被增大。在此例子中，边界值Vll与边界值V21之间的差量DIFF是+59 (也就是说，V21-Vl 1=+1- (-58))。当线性映射(linear mapping)方法被用来执行视差修正时，左眼影像帧内的全部像素要被向左水平平移至少59个像素，同时右眼影像帧则保持不变。在另一设计中，右眼影像帧内的全部像素要被向右水平平移至少59个像素，同时左眼影像帧则保持不变。在另一设计中，左眼影像帧中的所有像素可被向左水平平移至少M个像素，而右眼影像帧中的所有像素可被向右水平平移至少N个像素，其中M+N=59。换句话说，线性映射方法会使修正过的影像对的修正过的视差范围R_mod的大小等于原始影像对的原始视差范围R_original的大小。图4是在使用线性映射方法时，修正过的立体影像数据D1’的修正过的视差范围R_mod与目标视差范围R_target之间的关系的示意图。从图4可看出，修正过的视差范围R_mod是由低边界VII’与高边界V12’所划限，其中VII’等于+1(也就是-58+59)而V12’等于+129(也就是70+59),因此,修正过的视差范围R_mod现在完全落于目标视差范围R_target内。需要注意的是，让修正过的视差范围R_mod的低边界VII’与目标视差范围R_target的低边界V21对齐只是一个可行的实作方式，并不是本发明的限制。
[0037]另外，视差修正的实作并不限定于线性映射，例如，可使用非线性映射(nonlinearmapping)方法来执行所需要的视差修正。图5是在使用非线性映射方法时，修正过的立体影像数据D1’的修正过的视差范围R_mod与目标视差范围R_target之间的关系的示意图。修正过的视差范围R_mod是由低边界VII”与高边界V12”所划限，其中VII”等于V21，而V12”小于V12’。换句话说，非线性映射方法可使修正过的影像对的修正过的视差范围R_mod的大小不同于原始影像对的原始视差范围R_original的大小，同样达成了产生一个具有完全落于目标视差范围R_target内的修正过的视差范围R_mod的修正过的立体影像数据D1’的目的。同样地，使修正过的视差范围R_mod的低边界VII”与目标视差范围R_target的低边界V21对齐只是一个可行的实作方式，而非本发明的限制。
[0038]当辅助图形数据D2是平面图形数据(例如，平面字幕)时，辅助图形数据D2会具有落在目标视差范围R_target之外的零视差(zero disparity)。另外，辅助图形数据D2的原始视差小于修正过的立体影像数据D1’的修正过的视差。从图4/图5可看出，由于辅助图形数据D2的视差(例如，零视差)不会与修正过的立体影像数据D1’的修正过的视差范围(例如，正视差(positive disparity))部分重叠，故平面图形数据(亦即辅助图形数据D2)的显示并不会影响修正过的立体影像数据D1’的显示所提供的立体效果。因此，当驱动电路106驱动显示装置101去显示具有各自的视差设定的修正过的立体影像数据D1’与辅助图形数据D2时，用户总是会观看到位于显示屏幕所放置处的特定固定深度的平面图形数据的内容，以及总是会观看到大于该特定固定深度的不同深度的立体影像数据。换句话说，如图6所示，用户总是会看到显示在立体影像数据的内容前方的平面图形数据的内容。
[0039]另一方面，当辅助图形数据D2为立体图形数据(例如，立体字幕)时，辅助图形数据D2可能会具有完全落于目标视差范围R_target外的视差(例如，负视差(negativedisparity))。同样地，从图4/图5可看出，由于辅助图形数据D2的视差范围(例如，负视差)与修正过的立体影像数据D1’的视差范围(例如，正视差)没有部分重叠，所以立体图形数据(亦即辅助图形数据D2)的显示并不会影响到修正过的立体影像数据D1’的显示所提供的立体效果。因此，当驱动电路106驱动显示装置101去显示具有各自视差设定的修正过的立体影像数据D1’与辅助图形数据D2时，如图7所示，用户总是会看到显示在立体影像数据的内容前的立体图形数据的内容。
[0040]对于第一操作情境来说，可将示范性的视差修正施加于立体影像数据的一部分而非全部。在此一设计变化中，步骤204会被执行以通过部份原始影像对(其具有与辅助图形数据的视差部分重叠的视差)的视差范围，来决定出原始视差范围R_original ;步骤206会被执行来水平平移包含于部份原始影像对内的右眼影像帧与左眼影像帧中的至少其中之一内的像素，以便只对具有与辅助图形数据部分重叠的视差的部分原始影像对的视差范围作调整。所属领域技术人员可在读过上述对于施加在全部的立体影像数据上的示范性视差修正后，了解施加于部分的立体影像数据的示范性视差修正的操作，故进一步的说明便在此省略以求简洁。
[0041]对于第二操作情境来说，接收电路102接收具有不完全落于目标视差范围R_target内的原始视差的立体影像数据D1，以及具有不完全落于目标视差范围R_target外的原始视差的辅助图形数据D2。因此，处理电路104会依据所得到的视差范围设定RS，来修正所接收的立体影像数据Dl的至少一部份(例如，部份或全部)，以产生修正过的立体影像数据D1’，立体影像数据D1’包含具有完全落于目标视差范围R_target内的修正过的视差的至少一修正过的部分(例如，修正过的立体影像数据D1’的一部分或全部)，此外，处理电路104会依据视差范围设定RS，来修正所接收的辅助图形数据D2，以产生具有完全落于目标视差范围R_target外的修正过的视差的辅助图形数据D2’。明确来说，所接收的立体影像数据Dl的视差会与所接收的辅助图形数据D2的视差至少一部分重叠。
[0042]为求简单明了，假设示范性的视差修正会对全部的立体影像数据进行调整，以防止立体视频/影像数据的显示被辅助图形数据的显示所阻隔。假若辅助图形数据D2是平面图形数据(例如，平面字幕)，因此，辅助图形数据D2的原始视差D会具有零视差值。请参照图8,其是立体影像数据Dl的原始视差范围R_original、目标视差范围R_target以及辅助图形数据D2的原始视差D之间的关系的示意图。在此例子中，前述的边界值Vll为原始视差范围R_original的低边界,而前述的边界值V21为目标视差范围R_target的低边界。从图8可看出，目标视差范围R_target的低边界V21具有负视差值。对于原始视差范围R_original来说，其是由下边界Vll与上边界V12所划限，其中下边界Vll低于目标视差范围R.target的下边界V21。因为立体影像数据Dl具有不完全落于目标视差范围R_target内的原始视差，立体影像数据Dl是由处理电路104依据边界值Vll与边界值V21之间的差量DIFF_1来处理，如此一来，原始视差范围R_original会被向右水平平移以落于目标视差范围R_target之内，也就是说，包含于立体影像数据Dl内的原始影像对所具有的全部视差值都应该要被增大。
[0043]图9是修正过的立体影像数据D1’的修正过的视差范围R_mod、目标视差范围R.target以及修正过的辅助图形数据D2’的修正过的视差D’之间的关系的示意图。如上所述，当视差修正使用线性映射方法时，修正过的影像对的修正过的视差范围R_mod的大小等于原始影像对的原始视差范围R_original的大小。例如，上边界V12’会等于V12+DIFF_1，而下边界VII’则会等于V11+DIFF_1。然而，当视差修正使用非线性映射方法时，修正过的影像对的修正过的视差范围R_mod的大小不同于原始影像对的原始视差范围R_original的大小，例如，下边界会等于V11+DIFF_1,而上边界V12’会不同于(例如，低于)V12+DIFF_1。需要注意的是，使修正过的视差范围R_mod的低边界VII’与目标视差范围R_target的低边界V21对齐只是一个可行的实作方式，而非本发明的限制。
[0044]当辅助图形数据D2为平面图形数据(例如，平面字幕)时，原始视差D不完全落于目标视差范围R_target之外。施加于辅助图形数据D2的视差修正的一个示范性实作方式是对辅助图形数据D2执行平面到立体转换(2D-to-3D conversion)，以产生相对应的立体图形数据来作为修正过的辅助图形数据D2’(其具有落于目标视差范围R_target外的修正过的视差D’)。
[0045]从图9可看出，由于修正过的辅助图形数据D2’的视差范围不会与修正过的立体影像数据D1’的视差范围部分重叠，故修正过的辅助图形数据D2’的显示并不会影响修正过的立体影像数据D1’的显示所提供的立体效果。因此，当驱动电路106驱动显示装置101去显示具有各自视差设定的修正过的立体影像数据D1’与修正过的辅助图形数据D2’时，如图10所示，用户总是会观看到显示在立体影像数据的内容前方的辅助图形数据的内容。
[0046]考量辅助图形数据D2为立体图形数据(例如，立体字幕)而具有不完全落于目标视差范围R_target外的视差的另一情形。处理电路104施加于立体图形数据的视差修正绘示于图11。图11是本发明的示范性实施例而对辅助图形数据D2进行视差修正以产生修正过的辅助图形数据D2’的方法的流程图。假设结果实质上是相同的，则步骤不需完全依照图11所示的顺序来执行。假设所接收的辅助图形数据D2包含具有右眼影像帧与左眼影像帧的至少一图形影像对。施加于具有右眼影像帧与左眼影像帧的原始图形影像对，以产生相对应的修正过的图形影像对的视差修正包含下列步骤。
[0047]步骤1100:开始；
[0048]步骤1102:通过对所接收的辅助图形数据D2中的原始图形影像对的左眼影像帧与右眼影像帧执行视差估算，来得到一视差图；
[0049]步骤1104:依据该视差图得到原始图形影像对的原始视差范围R_original’，其中原始视差范围R_original’具有边界值V31，而目标视差范围R_target具有边界值V21 ；
[0050]步骤1106:通过至少依据边界值V31与边界值V21之间的差量DIFF_2，来水平平移包含于原始图形影像对内的右眼影像帧与左眼影像帧中的至少其一内的像素，以产生具有完全落于目标视差范围R_target外的修正过的视差范围R_mod’的修正过的图形影像对；
[0051]步骤1108:结束。
[0052]图11所示的视差修正的流程与图2所示的视差修正的流程相似。如上所述，图2所示的视差修正的流程是要让修正过的立体影像数据D1’的部分或全部具有完全落于目标视差范围内的修正过的视差，然而，对于图11所示的视差修正的流程来说，该流程是要让修正过的辅助图形数据D2’的全部都具有完全落于目标视差范围之外的修正过的视差。所属领域技术人员可在读过上述针对图2所示的视差修正的流程的段落后，轻易地了解图11所示的视差修正的流程的细节，故进一步的说明便在此省略以求简洁。
[0053]请参照图12,其是立体影像数据Dl的原始视差范围R_original、目标视差范围R_target以及辅助图形数据D2的原始视差范围R_original’之间的关系的示意图。在此例子中，前述的边界值V31是原始视差范围R_original ’的上边界，而前述的边界值V21是目标视差范围R_target的下边界。从图12可看出，原始视差范围R_original’是由低边界V32与高边界V31所划限，其中边界值V31大于边界值V21。边界值V31与边界值V21之间的差量DIFF_2会被参考以将原始视差范围R_original’向左水平平移,而落于目标视差范围R_target之外，也就是说，辅助图形数据D2内的原始图形影像对所具有的视差值全部都应该被减小。
[0054]线性映射方法与非线性映射方法的其中之一可被使用，来对辅助图形数据D2执行所需要的视差修正。请参照图13，其是修正过的立体影像数据D1’的修正过的视差范围R_mod、目标视差范围R_target以及修正过的辅助图形数据D2’的修正过的视差范围R_mod’之间的关系的示意图。从图13可看出，修正过的视差范围R_mod完全落于目标视差范围R_target之内，同时修正过的视差范围R_mod’完全落于目标视差范围R_target之外，因此，修正过的辅助图形数据D2’的修正过的视差小于修正过的立体影像数据D1’的修正过的视差。由于修正过的视差范围R_mod不会与修正过的视差范围R_mod’部分重叠，所以修正过的图形数据D2’的显示并不会影响修正过的立体影像数据D1’的显示所提供的立体效果。同样地，如图10所示，当驱动电路106驱动显示装置101去显示具有各自视差设定的修正过的立体影像数据D1’与修正过的辅助图形数据D2’时，用户总是会观看到显示在立体影像数据的内容前方的立体图形数据的内容。
[0055]需要注意的是，对于第二操作情境来说，同样可以将示范性的视差修正使用在部份的立体影像数据而非全部的立体影像数据。技术人员可在读过上述对于使用在全部的立体影像数据上的示范性视差修正的说明后，轻易了解使用在部份的立体影像数据的示范性的视差修正的操作，故更进一步的描述便在此省略以求简洁。
[0056]此外，上述的目标视差范围R_target的示范性设定只作为范例说明之用，而非对本发明设限。例如，基于实际设计上的需求/考量，目标视差范围R_target的低边界V21可以设定为正视差值、零视差值或负视差值。
[0057]在上述的示范性实施例中，影像处理装置100可被设置在视频播放器之内以控制视频/影像的播放。处理电路104的输出被传送至驱动电路106，以驱动显示装置101。然而，所提出的视差修正技术亦可被使用在其它的应用中。图14是本发明的第二示范性实施例的影像处理装置的方块图。举例来说(但本发明并不以此为限)，示范性影像处理装置1400可被设置在视频编码器(video encoder)中，以提供要被显示的视频/影像数据。如图14所示，影像处理装置1400包含(但不限于)一编码电路1406与前述的接收电路102及处理电路104。考量第一操作情境(其中接收电路102所接收的立体影像数据Dl具有不完全落于目标视差范围R_target内的原始视差,而接收电路102所接收的辅助图形数据D2具有完全落于目标视差范围R_target外的原始视差),编码电路1406用以通过对修正过的立体影像数据D1’(其包含有通过视差修正而由立体影像数据Dl的至少一部份所得到的至少一修正过的部分)与所接收的辅助图形数据D2进行编码，以产生编码过的数据D_0UT给一储存媒体(例如，光盘、硬盘或存储器装置)1401。考量第二操作情境(其中接收电路102所接收的立体影像数据Dl具有不完全落于目标视差范围R_target内的原始视差，而接收电路102所接收的辅助图形数据D2具有不完全落于目标视差范围R_target外的原始视差)，编码电路1406用以通过对修正过的立体影像数据D1’ (其包含有通过视差修正而由立体影像数据Dl的至少一部份所得到的至少一修正过的部分)与修正过的辅助图形数据D2’进行编码，以产生编码过的数据0_0爪给储存媒体1401。因为来源端(source end)所产生的编码过的数据D_0UT具有在视差域内与辅助图形数据彼此分离的立体影像数据，所以播放端(playback end)不需要执行额外的视差修正，因此，纵使视频播放器本身没有具备任何的视差修正功能，可通过使用视频播放器来接收编码过的数据D_0UT并依据编码过的数据D_0UT驱动显示装置，来同样达成避免立体视频数据的显示被辅助图形数据的显示所阻隔的目的。
[0058]以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
【权利要求】
1.一种影像处理方法，其特征在于，该影像处理方法包含: 接收定义一目标视差范围的一视差范围设定； 接收一立体影像数据，该立体影像数据具有不完全落在该目标视差范围内的一原始视差; 接收一辅助图形数据，该辅助图形数据具有完全落在该目标视差范围外的一原始视差，其中，该立体影像数据的至少一部份所具有的原始视差与该辅助图形数据的原始视差部分重叠；以及 依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少该部份，以产生一修正过的立体影像数据，其中该修正过的立体影像数据包含至少一修正过的部分，至少该修正过的部分所具有的一修正过的视差完全落在该目标视差范围内。
2.如权利要求1所述的影像处理方法，其特征在于，该影像处理方法另包含: 显示该修正过的立体影像数据以及所接收的该辅助图形数据。
3.如权利要求1 所述的影像处理方法，其特征在于，该影像处理方法另包含: 对该修正过的立体影像数据以及所接收的该辅助图形数据进行编码。
4.如权利要求1所述的影像处理方法，其特征在于，该辅助图形数据的该原始视差小于该修正过的立体影像数据的至少该修正过的部分所具有的该修正过的视差。
5.如权利要求1所述的影像处理方法，其特征在于，该立体影像数据包含至少一原始影像对，每一原始影像对具有一右眼影像帧与一左眼影像帧；以及产生该修正过的立体影像数据的步骤包含: 参照所得到的该视差范围设定来修正该原始影像对，以产生一修正过的影像对，其中该原始影像对包含于所接收的该立体影像数据内，并且具有至少一部份，至少该部份所具有的一原始视差范围并未完全落在该目标视差范围内；以及该修正过的影像对具有至少一修正过的部分，至少该修正过的部分所具有的一修正过的视差范围完全落在该目标视差范围内。
6.如权利要求5所述的影像处理方法，其特征在于，产生该修正过的影像对的步骤包含: 得到该原始影像对的至少该部分的该原始视差范围，其中该原始视差范围具有一第一边界值，而该目标视差范围具有一第二边界值；以及 依据该第一边界值与该第二边界值之间的至少一差量，来水平平移该原始影像对的至少该部分的一右眼影像帧与一左眼影像帧的至少其一内的像素，以产生该修正过的影像对。
7.如权利要求6所述的影像处理方法，其特征在于，该修正过的影像对的至少该修正过的部分的该修正过的视差范围的大小等于该原始影像对的至少该部分的该原始视差范围的大小。
8.如权利要求6所述的影像处理方法，其特征在于，该修正过的影像对的至少该修正过的部分的该修正过的视差范围的大小不同于该原始影像对的至少该部分的该原始视差范围的大小。
9.一种影像处理方法，其特征在于，该影像处理方法包含: 接收定义一目标视差范围的一视差范围设定；接收一立体影像数据，该立体影像数据具有不完全落在该目标视差范围内的一原始视差; 接收一辅助图形数据，该辅助图形数据具有不完全落在该目标视差范围外的一原始视差，其中，该立体影像数据的至少一部份所具有的原始视差与该辅助图形数据的原始视差部分重叠； 依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少该部份，以产生一修正过的立体影像数据，其中该修正过的立体影像数据包含至少一修正过的部分，至少该修正过的部分所具有的一修正过的视差完全落在该目标视差范围内；以及 依据该视差范围设定来修正所接收的该辅助图形数据，以产生一修正过的辅助图形数据，该修正过的辅助图形数据所具有的一修正过的视差完全落在该目标视差范围外。
10.如权利要求9所述的影像处理方法，其特征在于，该影像处理方法另包含: 显示该修正过的立体影像数据与该修正过的辅助图形数据。
11.如权利要求9所述的影像处理方法，其特征在于，该影像处理方法另包含: 对该修正过的立体影像数据以及该修正过的辅助图形数据进行编码。
12.如权利要求9所述的影像处理方法，其特征在于，该修正过的辅助图形数据的该修正过的视差小于该修正过的立体影像数据的至少该修正过的部分所具有的该修正过的视差。
13.如权利要求9所述的影像处理方法，其特征在于，该立体影像数据包含至少一原始影像对，每一原始影像对具有一右眼影像帧与一左眼影像帧；以及产生该修正过的立体影像数据的步骤包含: 参照所得到的该视差范围设定来修正该原始影像对，以产生一修正过的影像对，其中该原始影像对包含于所接收的该立体影像数据内，并且具有至少一部份，至少该部份所具有的一原始视差范围并未完全落在该目标视差范围内；以及该修正过的影像对具有至少一修正过的部分，至少该修正过的部分所具有的一修正过的视差范围完全落在该目标视差范围内。
14.如权利要求13所述的影像处理方法，其特征在于，产生该修正过的影像对的步骤包含: 得到该原始影像对的至少该部份的该原始视差范围，其中该原始视差范围具有一第一边界值，而该目标视差范围具有一第二边界值；以及 依据该第一边界值与该第二边界值之间的至少一差量，来水平平移该原始影像对的至少该部分的一右眼影像帧与一左眼影像帧的至少其一内的像素，以产生该修正过的影像对。
15.如权利要求14所述的影像处理方法，其特征在于，该修正过的影像对的至少该修正过的部分的该修正过的视差范围的大小等于该原始影像对的至少该部分的该原始视差范围的大小。
16.如权利要求14所述的影像处理方法，其特征在于，该修正过的影像对的至少该修正过的部分的该修正过的视差范围的大小不同于该原始影像对的至少该部分的该原始视差范围的大小。
17.如权利要求9所述的影像处理方法，其特征在于，该辅助图形数据包含至少一原始图形影像对，每一原始图形影像对具有一右眼图形影像与一左眼图形影像；而产生该修正过的辅助图形数据的步骤包含: 参照该得到的该视差范围设定来修正该原始图形影像对，以产生一修正过的图形影像对，其中该原始图形影像对包含于所接收的该辅助图形数据内，并且具有不完全落于该目标视差范围之外的一原始视差范围；以及该修正过的图形影像对具有完全落于该目标视差范围之外的一修正过的视差范围。
18.如权利要求17所述的影像处理方法，其特征在于，产生该修正过的图形影像对的步骤包含: 得到该原始图形影像对的该原始视差范围，其中该原始视差范围具有一第一边界值，而该目标视差范围具有一第二边界值；以及 依据该第一边界值与该第二边界值之间的至少一差量，来水平平移该原始图形影像对的一右眼图形影像与一左眼图形影像的至少其一中的像素，以产生该修正过的图形影像对。
19.如权利要求18所述的影像处理方法，其特征在于，该修正过的图形影像对的该修正过的视差范围的大小等于该原始图形影像对的该原始视差范围的大小。
20.如权利要求18所述的影像处理方法，其特征在于，该修正过的图形影像对的该修正过的视差范围的大小不同于该原始图形影像对的该原始视差范围的大小。
21.一种影像处理装置，其特征在于，该影像处理装置包含: 一接收电路，用以接收定义一目标视差范围的一视差范围设定，接收具有不完全落在该目标视差范围内的一原始视差的一立体影像数据，以及接收具有完全落于该目标视差范围外的一原始视差的一辅助图形数据，其中，该立体影像数据的至少一部份所具有的原始视差与该辅助图形数据的原始视差部分重叠；以及 一处理电路，耦接至该接收电路，用以依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少该部份，以产生一修正过的立体影像数据，其中该修正过的立体影像数据包含至少一修正过的部分，至少该修正过的部分所具有的一修正过的视差完全落在该目标视差范围内。
22.如权利要求21所述的影像处理装置，其特征在于，该影像处理装置另包含: 一驱动电路，耦接至该处理电路与该接收电路，用以驱动一显示装置来显示该修正过的立体影像数据以及所接收的该辅助图形数据。
23.如权利要求21所述的影像处理装置，其特征在于，该影像处理装置另包含: 一编码电路，耦接至该处理电路与该接收电路，用以对该修正过的立体影像数据以及所接收的该辅助图形数据进行编码。
24.如权利要求21所述的影像处理装置，其特征在于，该辅助图形数据的该原始视差小于该修正过的立体影像数据的至少该修正过的部分的该修正过的视差。
25.一种影像处理装置，其特征在于，该影像处理装置包含: 一接收电路，用以接收定义一目标视差范围的一视差范围设定，接收具有不完全落在该目标视差范围内的一原始视差的一立体影像数据，以及接收具有不完全落于该目标视差范围外的一原始视差的一辅助图形数据，其中，该立体影像数据的至少一部份所具有的原始视差与该辅助图形数据的原始视差部分重叠；以及一处理电路，耦接至该接收电路，用以依据所得到的该视差范围设定来修正所接收的该立体影像数据的至少该部份，以产生一修正过的立体影像数据，以及依据该视差范围设定来修正所接收的该辅助图形数据，以产生一修正过的辅助图形数据；其中该修正过的立体影像数据包含至少一修正过的部分，至少该修正过的部分所具有的一修正过的视差完全落在该目标视差范围内；以及该修正过的辅助图形数据所具有的一修正过的视差完全落在该目标视差范围外。
26.如权利要求25所述的影像处理装置，其特征在于，该影像处理装置另包含: 一驱动电路，耦接至该处理电路，用以驱动一显示装置来显示该修正过的立体影像数据以及该修正过的辅助图形数据。
27.如权利要求25所述的影像处理装置，其特征在于，该影像处理装置另包含: 一编码电路，耦接至该处理电路，用以对该修正过的立体影像数据以及该修正过的辅助图形数据进行编码。
28.如权利要求25所述的影像处理装置，其特征在于，该修正过的辅助图形数据的该修正过的视差小于该 修正过的立体影像数据的至少该修正过的部分的该修正过的视差。
【文档编号】H04N13/00GK103458258SQ201310176483
【公开日】2013年12月18日 申请日期:2013年5月14日 优先权日:2012年5月31日
【发明者】何镇在, 陈鼎匀, 朱启诚 申请人:联发科技股份有限公司