专利名称：用于确定图像序列的二维或三维显示模式的方法和设备的制作方法
技术领域：
本发明涉及二维(2D)图像和三维(3D)图像的显示。
背景技术：
2D图像序列包括从一个视点捕获的图像，而3D图像序列包括从至少两个视点捕获的图像。特别地，可以在使得图像能够投射到用户的左眼和右眼两者的3D显示设备上三维地显示包括左视点和右视点图像的3D图像序列。
当前的3D显示设备可以三维地显示输入的3D图像序列，并且也可以二维地显示输入的2D图像序列。预定的3D显示设备可以通过从输入图像序列中提取指示是二维地还是三维地显示输入图像序列的参数或标志来确定显示模式。
发明内容
技术方案 本发明提供用于确定将以二维还是以三维(2D或3D)显示模式显示图像序列的方法及设备。
根据本发明的一个示范性方面，提供一种确定二维(2D)或三维(3D)显示模式的方法，所述方法包括接收图像序列；确定图像序列中包含的当前图像是2D图像还是3D图像；并且根据确定结果来确定用于所述图像序列的显示模式是2D显示模式还是3D显示模式。
所述确定当前图像是2D图像还是3D图像的步骤可以包括通过使用包含在图像序列中的当前图像的相邻图像来确定当前图像是2D图像还是3D图像。
所述确定当前图像是2D图像还是3D图像的步骤可以包括确定所述相邻图像的特征变量和所述当前图像的特征变量；计算在所述相邻图像和所述当前图像当中的两个图像的特征变量之间的变化量；并且通过使用变化量之间的比值来确定所述当前图像是2D 图像还是3D图像。
所述确定当前图像是2D还是3D图像的步骤还可以包括存储特征变量。所述计算变化量的步骤可以包括调用所存储的特征变量以便计算在所述两个图像的特征变量之间的变化量。
所述确定特征变量的步骤可以包括将所述当前图像的前一图像的第一统计值、所述当前图像的第二统计值和所述当前图像的后一图像的第三统计值确定为特征变量。所述计算变化量的步骤可以包括计算作为所述第一和第二统计值之间的差的绝对值的第一差值、作为所述第二和第三统计值之间的差的绝对值的第二差值、以及作为所述第二和第三统计值之间的差的绝对值的第三差值。所述确定当前图像是2D还是3D图像的步骤可以包括计算所述第一差值和所述第二差值之和与所述第三差值的比值。
在确定所述第一、第二和第三统计值的步骤中，可以将所述图像序列的每一图像的预定区域的平均值、方差和标准偏差中的一个用作统计值。
所述确定特征变量的步骤可以包括当预定图像的视差(disparity)表示所述图像的预定区域相对于在所述预定图像之前的图像的预定区域的视差时，通过使用所述图像序列的图像的预定区域的视差，确定所述当前图像的前一图像的第一视差矢量、所述当前图像的第二视差矢量和所述当前图像的后一图像的第三视差矢量；并且计算与所述第一视差矢量相关的第一视差值、与所述第二视差矢量相关的第二视差值和与所述第三视差矢量相关的第三视差值作为特征变量。所述计算变化量的步骤可以包括计算作为在所述第一和第二视差值之间的差值的绝对值的第一差值、作为在所述第二和第三视差值之间的差值的绝对值的第二差值、和作为在所述第一和第三视差值之间的差值的绝对值的第三差值。所述确定当前图像是2D还是3D图像的步骤可以包括计算所述第一和第二差值之和与所述第三差值的比值。
所述计算所述第一、第二和第三视差值的步骤可以包括计算表示具有所述前一图像的第一视差矢量当中的负的第一视差矢量的块的数量与具有所述前一图像的第一视差矢量当中的正的第一视差矢量的块的数量的比值的第一视差值、表示具有所述当前图像的第二视差矢量当中的负的第二视差矢量的块的数量与具有所述当前图像的第二视差矢量当中的正的第二视差矢量的块的数量的比值的第二视差值、和表示具有所述后一图像的第三视差矢量当中的负的第三视差矢量的块的数量与具有所述后一图像的第三视差矢量当中的正的第三视差矢量的块的数量的比值的第三视差值。
所述确定所述当前图像是2D图像还是3D图像的步骤还可以包括当在所述变化量之间的比值等于或大于阈值时，将所述当前图像确定为3D图像，而在所述变化量之间的比值小于所述阈值时，将所述当前图像确定为2D图像。
所述确定用于所述图像序列的显示模式是2D还是3D显示模式的步骤还可以包括如果确定所述图像序列的当前图像是2D还是3D图像的结果与确定所述图像序列的预定数量的相邻图像是2D还是3D图像的结果不同，则将所述当前图像的显示模式变换成与所述相邻图像的显示模式相同的显示模式。
如果用于图像序列的显示模式被确定为2D显示模式，则所述确定2D或3D显示模式的方法还可以包括以2D图像格式排列所述图像序列，并且利用2D图像格式输出所述图像序列。
如果用于所述图像序列的显示模式被确定为3D显示模式，则所述确定2D或3D显示模式的方法还可以包括根据并排格式、上下格式、垂直线交织格式、水平线交织格式、帧顺序格式、和场顺序格式中的至少一种来形成具有彼此对应的左视点图像和右视点图像的帧，并输出该帧。
根据本发明的另一示范性方面，提供一种用于确定2D或3D显示模式的设备，所述设备包括图像输入单元，用于接收图像序列；2D/3D图像确定单元，用于确定所述图像序列的当前图像是2D图像还是3D图像；和2D/3D显示模式确定单元，用于根据确定当前图像是2D图像还是3D图像的结果来确定所述图像序列的显示模式是2D显示模式还是3D显示模式。
所述2D/3D图像确定单元可以通过利用包含在图像序列中的当前图像的相邻图像来确定当前图像是2D图像还是3D图像。
所述2D/3D图像确定单元可以包括特征变量确定单元，用于确定所述相邻图像的特征变量和所述当前图像的特征变量；变化量计算单元，用于计算在所述相邻图像和所述当前图像当中的两个图像的特征变量之间的变化量；和变化量比值确定单元，用于通过使用根据在变化量之间的比值来确定所述当前图像是2D图像还是3D图像。
所述设备还可以包括存储单元，用于存储特征变量。所述变化量计算单元可以计算在所述相邻图像和当前图像当中的两个图像的特征变量之间的变化量，所述特征变量存储在所述存储单元中。
根据本发明的再一示范性方面，提供一种计算机可读记录介质，其上记录有程序， 所述程序用于执行如上所述的用于确定2D或3D显示模式的方法。
技术效果 在根据本发明示范性实施例的用于确定2D或3D显示模式的方法及设备中，即使不能支持或识别3D图像的参数或标志的3D显示设备也可以通过仅仅利用与图像序列的像素值有关的信息来确定图像序列是2D图像序列还是3D图像序列，并且以合适的格式显示所述图像序列。
发送端不需要发送表示图像序列是2D还是3D图像序列的标志等，而接收端不需要从所接收的图像序列提取2D或3D图像标志。因而，甚至在使用显示系统的硬件(诸如现有图形卡)和传输线缆时，利用根据本发明示范性实施例的2D或3D显示模式确定方法及设备的3D显示设备也能够显示2D或3D图像。
通过参照附图详细描述本发明的示范性实施例，本发明的上述和其他特征将变得更加清楚，在附图中 图1是根据本发明一示范性实施例的二维/三维(2D/3D)显示模式确定设备的方框图； 图2图解了用于3D显示的3D图像格式和用于3D显示的3D显示方法； 图3是根据本发明一示范性实施例的用于确定2D或3D显示模式作为图像序列的显示模式的方法的流程图； 图4图解了根据本发明一示范性实施例的2D/3D显示设备； 图5A是示出2D图像序列的帧的平均值的分布的图； 图5B是示出3D图像序列的帧的平均值的分布的图； 图6图解了根据本发明一示范性实施例的用于执行2D/3D图像确定的帧的平均值之间的关系； 图7是示出3D图像序列的每一帧的视差矢量的方向分布的图； 图8图解了根据本发明一示范性实施例的用于执行2D/3D图像确定的每一帧的视差矢量之间的关系； 图9图解根据本发明一示范性实施例的图像序列的2D或3D显示模式的确定； 图10是根据本发明的另一示范性实施例的用于确定图像序列的2D或3D显示模式的方法的流程图；和 图11图解了根据本发明一示范性实施例的2D/3D显示模式确定设备的细节。
具体实施例方式根据本发明的一个示范性方面，提供一种确定二维(2D)或三维(3D)显示模式的方法，所述方法包括接收图像序列；确定包含在图像序列中的当前图像是2D图像还是3D 图像；并且根据确定结果来确定用于所述图像序列的显示模式是2D显示模式还是3D显示模式。
现在将参照其中示出了本发明的示范性实施例的附图全面描述本发明。
图1是根据本发明一示范性实施例的二维/三维(2D/3D)显示模式确定设备100 的方框图。参照图1，该2D/3D显示模式确定设备100包括图像输入单元110、2D/3D图像确定单元120和2D/3D显示模式确定单元130。
图像输入单元110接收图像序列。所述图像序列可以是2D图像序列或3D图像序列。可以以其中交替输入彼此对应的左视点帧和右视点帧的帧顺序格式来形成3D图像序列。
2D/3D图像确定单元120确定由图像输入单元110接收的图像序列的当前图像是 2D图像还是3D图像。下文中，由图像输入单元110接收的图像序列被称为当前图像序列。 2D/3D图像确定单元120也可以确定包括当前图像的当前图像序列是2D图像序列还是3D 图像序列。
2D/3D图像确定单元120可以通过利用诸如当前图像的前一图像和后一图像的相邻图像来确定包含在当前图像序列中的当前图像是2D图像还是3D图像。
如图11所示，2D/3D图像确定单元120可以包括特征变量确定单元140，用于确定所述当前图像和相邻图像的特征变量；变化量计算单元150，用于计算在所述相邻图像和所述当前图像当中的两个图像的特征变量之间的变化量；和变化量比值确定单元160， 用于根据在变化量之间的比值来确定所述当前图像是2D图像还是3D图像。
例如，在两个图像的特征变量之间的变化量可以是特征变量之间的差值、增加的比值或减小的比值。图6和8中示出的两个图像的特征变量之间的差值对应于特征变量之间的变化量。
该2D/3D显示模式确定设备100还可以包括存储单元162，用于存储用于确定当前图像序列的2D/3D显示模式的图像的特征变量。在示范性实施例中，特征变量确定单元 140可以确定当前图像和相邻图像的特征变量并且将它们输出到存储单元162。变化量计算单元150可以从存储单元162接收当前图像和相邻图像的特征变量，并且计算来自相邻图像和当前图像的两个图像的特征变量之间的变化量。
特征变量确定单元140可以使用图像中包含的像素的统计值或者与所述图像相对于前一图像的视差矢量相关的数字值作为所述图像的特征变量。所述统计值可以是像素的平均值、其方差或其标准偏差。所述与视差矢量相关的数字值可以是包含在所述图像中的块当中的具有负的视差矢量的块的数量与包含在所述图像中的块当中的具有正的视差矢量的块的数量的比值。
特征变量确定单元140确定所述当前图像的前一图像的第一特征变量、所述当前图像的第二特征变量和所述当前图像的后一图像的第三特征变量。
变化量计算单元150计算作为在所述第一和第二特征变量之间的差的绝对值的第一变化量，作为在所述第二和第三特征变量之间的差的绝对值的第二变化量，以及作为在所述第一和第三特征变量之间的差的绝对值的第三变化量。
变化量比值确定单元160可以包括变化量比值计算单元170，用于计算所述第一和第二变化量之和与所述第三变化量的比值。
变化量比值确定单元160可以包括差值比值比较单元180，用于比较所述变化量比值与预定阈值以确定当前图像是2D还是3D图像。
当由变化量比值计算单元170计算的所述第一和第二变化量之和与所述第三变化量的比值等于或大于阈值时，变化量比值确定单元160可以将所述当前图像确定为3D图像。另一方面，当由变化量比值计算单元170计算的与所述变化量相关的比值小于所述阈值时，变化量比值确定单元160可以将所述当前图像确定为2D图像。
下面参照图5A到8描述在2D/3D图像确定单元120中使用特征变量、变化量和变化量比值的示范性实施例。
2D/3D显示模式确定单元130根据由2D/3D图像确定单元120执行的确定结果来确定2D显示模式或3D显示模式作为当前图像序列的显示模式。如果在2D/3D图像确定单元120中确定所述当前图像序列是3D图像序列，则2D/3D显示模式确定单元130可以确定当前图像序列的显示模式是3D显示模式。另一方面，如果在2D/3D图像确定单元120中确定所述当前图像序列是2D图像序列，则2D/3D显示模式确定单元130可以确定当前图像序列的显示模式是2D显示模式。
2D/3D显示模式确定单元130可以以帧为单位或以包括帧的图像序列为单位来执行显示模式确定。
2D/3D显示模式确定单元130可以包括显示模式变换单元182，用于如果由 2D/3D图像确定单元120对当前图像执行的确定结果与对相邻图像执行的确定结果不同， 则将所述当前图像的显示模式变换成与所述相邻图像的显示模式相同的显示模式。
在通常的实时系统中，由于不存在关于将来图像的信息，所以在对当前帧的显示模式的确定上反映对一些在前帧的显示模式的确定结果。在显示模式方面与当前图像进行比较的相邻图像是属于输入图像序列的整个部分的包括当前图像的特定部分的一系列图像。下面参照图9描述其中在2D/3D显示模式确定单元130中使用显示模式变换单元的示范性实施例。
2D/3D显示模式确定设备100还可以包括3D图像格式输出单元184，用于以包括彼此对应的左视点图像信息和右视点图像信息的3D图像格式排列在2D/3D显示模式确定单元130中被确定为要以3D显示模式显示的每一图像，以及用于以3D图像格式输出每一图像以便在输出设备185上再现。
2D/3D显示模式确定设备100还可以包括2D图像格式输出单元186，用于以2D图像格式排列在2D/3D显示模式确定单元130中被确定为要以2D显示模式显示的每一图像， 以及用于以2D图像格式输出每一图像以便在输出设备185上再现。
3D图像格式的例子包括并排格式、上下格式、垂直线交织格式、水平线交织格式， 以及包括帧顺序格式和场顺序格式的翻(page-flip)格式。参照图2详细描述3D图像格式。
图2图解了用于3D显示的3D图像格式200和3D显示方法260。3D图像格式200 的示例包括并排格式210、上下格式220、线交织格式230，以及包括帧顺序格式240和场顺序格式250的翻页格式238。
并排格式210通过将左视点和右视点图像的分辨率在水平方向上减半并且横向彼此相邻(即并排)排列关于分辨率被减半的左视点图像的信息214和关于分辨率被减半的右视点图像的信息216来形成图像。
上下格式220通过将左视点和右视点图像的分辨率在垂直方向上减半并且彼此上下排列关于分辨率被减半的左视点图像的信息222和关于分辨率被减半的右视点图像的信息224来形成图像。
线交织格式230通过交替排列左视点图像线和右视点图像线来形成图像。当左视点图像的水平线252与右视点图像的水平线254交替时，形成水平线交织格式的3D图像。 当左视点图像的垂直线与右视点图像的垂直线交替时，形成垂直线交织格式的3D图像。
在翻页格式238中，按照时间交替排列左视点图像的完整页和右视点图像的完整页。在帧顺序格式240中，按照时间以帧为单位交替排列彼此对应的左视点图像信息255 和右视点图像信息256。在场顺序格式250中，按照时间交替排列左视点图像场257和右视点图像场258。
在翻页格式238中，可以使用关于其分辨率在空间上没有减小的左视点图像和右视点图像的每一个的信息，但是左视点图像和右视点图像的频率在时间上减半。
利用3D图像格式200的3D显示方法260的例子包括在数字光处理(DLP)显示设备271、等离子体显示板(PDP) 272和液晶显示器(LCD) 273中使用的显示方法270、使用偏振页的空间分割显示方法274、和在偏振类型的投影器中使用的显示方法280。
根据在包括DLP显示设备271、PDP 272和IXD 273的显示设备275中使用的显示方法270，可以利用翻页格式238 (例如帧顺序格式240或场顺序格式250)来显示3D图像。 根据空间分割显示方法274，可以利用垂直或水平线交织格式230来显示3D图像。根据在偏振类型的投影器使用的显示方法280，可以在第一设备284和第二设备286上显示经由两个通道282接收的3D图像。
图3是根据本发明一示范性实施例的用于确定图像序列的2D或3D显示模式的方法的流程图。
当在操作310中输入图像序列时，在操作320中分析输入图像序列的类型以确定该输入图像序列是否是3D图像序列。在操作330中，根据确定结果来确定所述输入图像序列是否是3D图像序列。当在操作330中确定输入图像序列是3D图像序列时，在操作340 将包含在输入图像序列中的图像排列成3D图像格式。然后，在操作350，在3D显示设备上三维地显示具有3D图像格式的图像，并且因而用户可以体验3D效果。
另一方面，当在操作330中确定输入图像序列是2D图像序列时，在操作360中以 2D图像格式来排列输入图像序列。在操作370，在3D显示设备上二维地显示具有2D图像格式的图像序列。参照图4到10描述根据本发明一示范性实施例的、通过仅仅使用关于输入图像序列的图像的信息而确定输入图像序列是2D还是3D图像序列的方法及设备。
图4图解了根据本发明一示范性实施例的2D/3D显示设备430。
2D/3D显示设备430采用根据本发明一示范性实施例的2D/3D显示模式确定方法并且可以从图形卡410接收2D图像序列415或从DVD/蓝光盘(BD)播放器420接收具有帧顺序格式的3D图像序列425。
2D/3D显示设备430包括3D图像分析单元440、3D图像格式变换单元450和显示单元460。图4的部件也可以包含在诸如BD播放器之类的图像显示设备中，或者包含在诸如3D TV或3D监视器之类的3D图像显示设备中。
3D图像分析单元440通过使用关于输入的2D图像序列415和3D图像序列425的图像信息来分析输入的2D图像序列415和3D图像序列425的类型以确定输入的2D图像序列415和3D图像序列425的图像是否是3D图像。3D图像分析单元440向3D图像格式变换单元450输出被确定为3D图像序列的图像序列并且直接向显示单元460输出被确定为2D图像序列的图像序列。
3D图像格式变换单元450以3D图像格式排列被确定为3D图像序列的图像序列的图像，并且向显示单元460输出具有3D图像格式的图像。3D图像格式变换单元450可以根据显示单元460中使用的3D显示方法以并排格式、上下格式、垂直/水平线交织格式、帧顺序格式或场顺序格式来排列所接收的图像。
根据图像格式的类型，显示单元460可以二维地显示2D图像格式的图像序列，或者三维地显示3D图像格式的图像序列。
当将2D/3D显示设备430与2D/3D显示模式确定设备100比较时，3D图像分析单元440可以充当2D/3D图像确定单元120，3D图像格式变换单元450可以充当2D/3D显示模式确定单元130。
在根据本发明示范性实施例的确定2D或3D显示模式的方法及设备中，甚至不能支持或识别3D图像的参数或标志的3D显示设备仍然可以通过仅仅使用关于图像序列的像素值的信息来确定图像序列是2D还是3D图像序列，并且以合适的图像格式来显示图像序列。
发送端不需要发送表示图像序列是2D还是3D图像序列的标志等，而接收端不需要从所接收的图像序列提取2D或3D标志。因而，甚至在使用显示系统的硬件(诸如现有图形卡)和传输线缆时，利用根据本发明示范性实施例的2D或3D显示模式确定方法及设备的3D显示设备能够显示2D或3D图像。
图5A是示出2D图像序列的帧的平均值的分布的图，而图5B是示出3D图像序列的帧的平均值的分布的图。
通过按照时间以帧为单位排列从一个视点捕获的图像来获得图5A中示出的2D图像序列。通过按照时间顺序以帧为单位交替排列从左视点和右视点捕获的图像来获得图5B 中示出的3D图像序列。
参照图5A的2D图像序列的图，在时间上相邻的帧的像素值的平均值之间的变化量不大。另一方面，参照图5B的3D图像序列的图，在时间上相邻的帧的像素值的平均值之间的变化量相当大。
由于在3D图像序列中交替排列的左视点帧和右视点帧具有不同分布的像素值， 所以图5B的图显示了在左视点帧的像素值的平均值510和紧挨着该左视点帧之前或之后的右视点帧的像素值的平均值520之间的变化量相当大。
虽然图5A和5B通过图解帧的像素值的平均值来示出在2D/3D图像序列的帧特征之间的差，但是也可以通过使用帧的像素值的方差、标准偏差等而不是使用像素值的平均值来检查在2D/3D图像序列的帧特征之间的差。
图1的2D/3D图像确定单元120可以通过使用如图5A和5B所示的帧的像素值的平均值的分布来确定输入图像序列是2D还是3D图像序列。参照图6来描述其中2D/3D图像确定单元120使用帧的像素值的平均值作为帧的特征变量的方法。
图6图解了根据本发明一示范性实施例的用于执行2D/3D图像确定的帧的平均值之间的关系。
前一帧610是在时刻t-Ι的第一左视点图像Li，当前帧620是在时刻t的右视点图像R，而后一帧630是在时刻t+Ι的第二左视点图像L2。所述前一帧610、当前帧620和后一帧630对应于在左视点图像L和右视点图像R之间的交替。所述前一帧610、当前帧 620和后一帧630是包含在3D图像序列632中的一些帧。
当每一帧的像素值的统计值被用作每一帧的特征变量时，2D/3D图像确定单元 120的特征变量确定单元140可以包括统计值确定单元634，用于确定每一帧的像素值的统计值，并且2D/3D图像确定单元120的变化量计算单元150可以包括统计值差值计算单元636，用于计算在相邻帧的统计值之间的差值。2D/3D图像确定单元120的变化量比值确定单元160可以包括统计值差值比值计算单元638，用于计算在相邻帧之间的差值的比值。
虽然在图6中示出所述前一帧610、当前帧620和后一帧630在左视点图像和右视点图像之间交替，但是2D/3D显示模式确定设备100可以通过利用所述前一帧610、当前帧620和后一帧630的像素值的统计值来确定输入图像序列是2D还是3D图像序列，而不接收表示左视点图像信息和右视点图像信息在输入图像序列中交替的信息。在图6中，使用各种类型的统计值当中的平均值作为每一帧的特征变量。
统计值确定单元634确定所述前一帧610的第一统计值、所述当前帧620的第二统计值和所述后一帧630的第三统计值。
参照图6，统计值确定单元634可以确定所述前一帧610的像素值的平均值 mean (t_l) 640、所述当前帧620的像素值的平均值mean (t) 650和所述后一帧630的像素值的平均值 mean (t+1) 660。
统计值差值计算单元636计算在所述前一帧610和当前帧620的统计值之间的第一差值、在所述当前帧620和后一帧630的统计值之间的第二差值和在所述前一帧610和后一帧630的统计值之间的第三差值。
统计值差值计算单元636通过利用差值的绝对值来计算帧的统计值之间的差值。 使用统计值之间的差值的绝对值的原因是防止差值的和由于差值的方向(例如正的值或负的值)而抵消。
参照图6，统计值差值计算单元636可以确定等于在所述前一帧610的平均值 mean (t_l) 640和所述当前帧620的平均值mean (t) 650之间的差值的绝对值的第一差值diffMl。类似地，统计值差值计算单元636可以确定等于在所述当前帧620的平均值 mean (t) 650和所述后一帧630的平均值mean (t+1) 660之间的差值的绝对值的第二差值 diffM2,以及等于在所述前一帧610的平均值mean (t-1) 640和所述后一帧630的平均值 mean (t+1) 660之间的差值的绝对值的第三差值diffM3。
统计值差值比值计算单元638计算所述第一差值和所述第二差值之和与所述第三差值的比值。通过将所述第一差值diffMl和第二差值diffM2之和除以所述第三差值 diffM3和常数c之和来获得统计值差值比值Dm。
Dm= (diffMl+diffM2)/(diffM3+c).............(1) 其中，所述常数c用于防止除数等于0。
差值比值比较单元180比较所述差值比值Dm和阈值以确定当前图像是2D还是3D 图像。例如，当阈值是1时，如果在紧紧相邻的帧之间的差值的和大于在其间具有一帧的相邻帧之间的差值(即统计值差值比值Dm > 1)，则在相邻帧的统计值之间的差较大。因而， 变化量比值确定单元160可以确定所述前一帧610、当前帧620和后一帧630包含在3D图像序列中。
另一方面，如果在紧紧相邻的帧之间的差值的和小于在其间具有一帧的相邻帧之间的差值(即统计值差值比值Dm < 1)，则在相邻帧的统计值之间的差较小。因而，变化量比值确定单元160可以确定所述前一帧610、当前帧620和后一帧630包含在2D图像序列中。
图7是示出3D图像序列的每一帧的视差矢量的方向分布的图。
通过根据帧的顺序交替地排列左视点图像信息和右视点图像信息来获得3D图像序列。如果当前帧是左视点帧，则前一帧和后一帧是右视点帧。可以通过估计帧相对于前一帧的视差来确定所述帧的视差矢量。如果提供了图像序列的视差矢量的参数，则可以利用所述图像序列的视差矢量的参数来确定所述图像序列的每一帧的视差矢量。
可以通过利用具有负方向的视差矢量的帧的块的数量810和具有正方向的视差矢量的帧的块的数量820之间的比值来确定图像序列是否在左和右视点图像之间交替。参照根据图7的视差矢量的方向的块分布，根据右视点帧(即偶数序号的帧)的视差矢量的方向的块的数量之间的比值与根据左视点帧(即奇数序号的帧)的视差矢量的方向的块的数量之间的比值存在较大的差。
2D/3D图像确定单元120可以通过比较具有负的视差矢量的预定帧的块数与具有正的视差矢量的块数之间的比值与相邻帧的比值，基于如图7所示的每个帧的视差矢量的方向，来确定输入图像序列是2D还是3D图像序列。参照图8来描述2D/3D图像确定单元 120通过其来使用每一帧的视差矢量作为每一帧的特征变量的方法。
图8图解了根据本发明一示范性实施例的用于执行2D/3D图像确定的每一帧的视差矢量之间的关系。
参照图8，图像序列902是通过交替地排列在时刻t-2的第一右视点帧910、在时刻t-Ι的第一左视点帧920、在时刻t的第二右视点帧930和在时刻t+Ι的第二左视点帧 940而获得的3D图像序列。在时刻t的第二右视点帧930是当前帧。
2D/3D显示模式确定设备100可以通过利用每一帧910、920、930和940的视差矢量的方向来确定输入图像序列是2D还是3D图像序列，而不接收表示左视点图像信息和右视点图像信息在该输入图像序列中交替的信息。特征变量确定单元140可以利用根据每一帧的视差矢量的方向的块数之间的比值作为每一帧的特征变量。
当在根据每一帧的视差矢量的方向的块数之间的比值被用作每一帧的特征变量时，2D/3D图像确定单元120的特征变量确定单元140可以包括视差矢量确定单元950， 用于确定每一帧的视差矢量；和视差值计算单元960，用于根据每一帧的视差矢量来计算视差值。2D/3D图像确定单元120的变化量计算单元150可以包括视差值差值计算单元 970，用于计算在相邻帧的视差值之间的差值。2D/3D图像确定单元120的变化量比值确定单元160可以包括视差值差值比值计算单元980，用于计算所述差值的比值。
视差矢量确定单元950可以通过估计预定帧的预定区域相对于所述预定帧的前一帧的预定区域的视差来确定预定帧的视差矢量。因而，视差矢量确定单元950可以不仅使用一帧的整个区域的视差，而且可以使用该帧的一些区域的视差。当输入了一帧的视差矢量的参数时，视差矢量确定单元950可以从该参数中提取该帧的视差矢量值。
视差矢量确定单元950可以确定作为前一帧920的视差矢量的第一视差矢量、作为当前帧930的视差矢量的第二视差矢量和作为后一帧940的视差矢量的第三视差矢量。 参照图8，视差矢量确定单元950可以确定前一帧920的第一视差矢量DVw、当前帧930的第二视差矢量DVt和后一帧940的第三视差矢量DVt+1。
视差值计算单元960计算表示根据第一视差矢量的方向的前一帧920的块数之间的比值的第一视差矢量值、表示根据第二视差矢量的方向的当前帧930的块数之间的比值的第二视差矢量值、和表示根据第三视差矢量的方向的后一帧940的块数之间的比值的第三视差矢量值。
参照图8，视差值计算单元960可以计算表示根据第一视差矢量DVw的方向的前一帧920的块数之间的比值的视差值RDV(t-l)、表示根据第二视差矢量DVt的方向的当前帧 930的块数之间的比值的视差值RDV(t)、和表示根据第三视差矢量DVt+1的方向的后一帧940 的块数之间的比值的视差值RDV(t+l)。
视差值计算单元960通过将具有负方向的视差矢量的第η帧的块数除以具有正方向的视差矢量的第η帧的块数与1之和来计算视差值Rdv(H) Rdv(η)=(具有负的视差矢量的块数)/(具有正的视差矢量的块数 +1)............(2) 其中，将1加到除数中以防止除数等于0。
视差值差值计算单元970计算所述前一帧920和当前帧930的视差值之间的第一差值、所述当前帧930和后一帧940的视差值之间的第二差值、和所述前一帧920和后一帧 940的视差值之间的第三差值。
参照图8，视差值差值计算单元970计算所述前一帧920的视差值RDV(t_l)和当前帧930的视差值RDV(t)之间的第一差值diffDVl、所述当前帧930的视差值RDV(t)和后一帧940的视差值RDV(t+l)之间的第二差值diffDV2、和所述前一帧920的视差值RDV(t_l)和后一帧940的视差值RDV(t+l)之间的第三差值diffDV3。
视差值差值比值计算单元980计算所述第一差值和第二差值之和与所述第三差值的比值。更具体地说，通过将第一差值diffDVl和第二差值diffDV2之和除以第三差值 diffDV3和常数c之和来获得视差值差值比值Dd Dd= (diffDV l+diffDV2)/(diffDV3+c)............(3) 其中，常数c用于防止除数等于0。
如上所述，差值比值比较单元180可以比较由视差值差值比值计算单元980获得视差值差值比值Dd与阈值以确定当前图像是2D还是3D图像。
图9图解根据本发明一示范性实施例的图像序列的2D或3D显示模式的确定。
由2D/3D图像确定单元120确定图像序列1100的帧是2D还是3D图像，由此获得作为确定结果的所确定的图像序列1110。如果仅仅图像序列1100的特定帧1120被确定为2D (或3D)图像并且其余帧被确定为3D (或2D)图像，则2D/3D显示模式确定单元130可以将整个图像序列1100的显示模式确定为3D(或2D)显示模式以保证图像序列1100的显示模式的统一或者增加由2D/3D图像确定单元120执行的确定结果的可靠性。
2D/3D显示模式确定单元130可以在考虑诸如系统的存储器之类的系统资源的情况下，调整在由2D/3D图像确定单元120执行的比较中使用的相邻帧的范围。
在一些情况中，如果当前图像或当前图像序列的显示模式被2D/3D显示模式确定单元130确定为3D显示模式，则需要以适合于在能够执行3D显示的图像显示设备中使用的显示方法的格式来排列和输出当前图像或当前图像序列。相应地，根据本发明另一示范性实施例的2D/3D显示模式确定设备100的输出单元以合适的3D图像格式排列3D图像序列并且输出该具有3D图像格式的3D图像序列。
如果在遵循以帧顺序格式显示图像的方法的显示设备上输出图像序列，则2D/3D 显示模式确定设备100还可以包括3D帧顺序格式输出单元，其通过以帧为单位交替与当前图像对应的左和右视点图像来形成帧顺序格式并以帧顺序格式输出当前图像。
2D/3D显示模式确定设备100还可以包括3D垂直线交织格式输出单元，其以垂直线交织格式排列左视点图像和右视点图像，并以垂直线交织格式输出左视点图像和右视点图像，在垂直线交织格式中，交替排列具有水平减半的分辨率的左视点图像和右视点图像的垂直线。
图10是根据本发明的另一示范性实施例的用于确定图像序列的2D或3D显示模式的方法的流程图。
在操作1210，输入图像序列。在示范性实施例中，甚至在表示该输入图像序列是 2D还是3D图像的信息不单独输入时，也可以仅利用该图像序列来确定所述输入图像序列是2D还是3D图像序列。
在操作1220，确定包含在图像序列中的当前图像是2D还是3D图像。更具体地，可以以帧为单位或以图像序列为单位执行该确定。可以通过利用在时间上相邻的图像或相邻图像的特征变量之间的变化量来执行该确定。例如，每一帧的特征变量可以是诸如每个帧的像素的平均值、方差或标准偏差的统计值，或者是与每一帧的视差矢量相关的信息。
在操作1230，根据在操作1220中执行的确定的结果，当前图像的显示模式被确定为2D或3D显示模式。如果在操作1220中确定当前图像是2D图像，则当前图像的显示模式被确定为2D显示模式。另一方面，如果在操作1220中确定当前图像是3D图像，则当前图像的显示模式被确定为3D显示模式。
如果对于包含在图像序列的预定区域中的图像当中的预定图像进行的确定的结果与对其他大量图像的确定的结果不同，则图像序列的显示模式可被确定为与其他大量图像的显示模式相同。在实时系统中，根据对一些在前图像的确定的结果来确定当前图像的显示模式。
在操作1240，根据在操作1230中执行的显示模式的确定结果以2D或3D图像格式来输出图像序列。甚至在图像序列的显示模式被确定为3D显示模式时，也可以根据显示设备支持的3D显示方法来确定诸如垂直线交织格式或帧顺序格式之类的3D图像格式，并且可以以3D图像格式来排列图像序列。
本发明的示范性实施例可以被编写成计算机程序并且可以被实现在利用计算机可读记录介质来执行该程序的通用数字计算机中。计算机可读记录介质的例子包括磁存储介质(例如ROM、磁盘、硬盘等)、光记录介质(例如⑶-ROM或DVD)。
示范性实施例也可以被体现为在传输介质上的计算机可读代码或指令。传输介质的例子包括载波和可以通过互联网携带数据的其他数据传输设备。
虽然已参照本发明的示范性实施例示出和描述了本发明，但是本领域普通技术人员将理解在不脱离由随后的权利要求限定的本发明的精神和范围的情况下，可以在其中进行形式上和细节上的各种变化。
权利要求
1.一种确定二维(2D)或三维(3D)显示模式的方法，所述方法包括 接收包括当前图像的图像序列；确定当前图像是2D图像还是3D图像；以及基于确定当前图像是2D图像还是3D图像的结果来确定用于所述图像序列的显示模式是2D显示模式还是3D显示模式。
2.如权利要求1所述的方法，其中，所述确定当前图像是2D图像还是3D图像的步骤包括基于包含在图像序列中的当前图像的相邻图像来确定当前图像是2D图像还是3D图像。
3.如权利要求2所述的方法，其中，所述确定当前图像是2D图像还是3D图像的步骤还包括确定所述相邻图像的特征变量和所述当前图像的特征变量；计算所述相邻图像和所述当前图像当中的两个图像的特征变量之间的变化量；以及基于变化量之间的比值来确定所述当前图像是2D图像还是3D图像。
4.如权利要求3所述的方法，还包括 存储所确定的特征变量；以及检索所存储的特征变量以计算所述两个图像的特征变量之间的变化量。
5.如权利要求3所述的方法，其中，所述相邻图像包括前一图像和后一图像，所述方法还包括将所述前一图像的第一统计值、所述当前图像的第二统计值和所述后一图像的第三统计值确定为所述特征变量；计算作为所述第一和第二统计值之间的差值的绝对值的第一差值，作为所述第二和第三统计值之间的差值的绝对值的第二差值，以及作为所述第一和第三统计值之间的差值的绝对值的第三差值；并且计算所述第一差值和所述第二差值之和与所述第三差值的比值。
6.如权利要求5所述的方法，其中，在确定所述第一、第二和第三统计值的步骤中，所述图像序列的每一图像的预定区域的平均值、方差和标准偏差中的一个被用作统计值。
7.如权利要求3所述的方法，其中，所述相邻图像包括前一图像和后一图像，所述方法还包括基于所述图像序列的图像的预定区域的视差，确定所述前一图像的第一视差矢量、所述当前图像的第二视差矢量和所述后一图像的第三视差矢量，其中，预定图像的视差表示所述图像的预定区域相对于在所述预定图像之前的图像的预定区域的视差；计算与所述第一视差矢量相关的第一视差值、与所述第二视差矢量相关的第二视差值和与所述第三视差矢量相关的第三视差值作为特征变量；计算作为所述第一和第二视差值之间的差值的绝对值的第一差值、作为所述第二和第三视差值之间的差值的绝对值的第二差值、和作为所述第一和第三视差值之间的差值的绝对值的第三差值；以及计算所述第一和第二差值之和与所述第三差值的比值。
8.如权利要求7所述的方法，其中，计算所述第一、第二和第三视差值的步骤包括计算作为具有所述前一图像的第一视差矢量当中的负的第一视差矢量的块的数量与具有正的第一视差矢量的块的数量的比值的第一视差值、作为具有所述当前图像的第二视差矢量当中的负的第二视差矢量的块的数量与具有正的第二视差矢量的块的数量的比值的第二视差值、和作为具有所述后一图像的第三视差矢量的负的第三视差矢量的块的数量与具有正的第三视差矢量的块的数量的比值的第三视差值。
9.如权利要求3所述的方法，其中确定所述当前图像是2D图像还是3D图像的步骤还包括当所述变化量之间的比值等于或大于阈值时，将所述当前图像确定为3D图像，以及当所述变化量之间的比值小于所述阈值时，将所述当前图像确定为2D图像。
10.如权利要求2所述的方法，其中，确定用于所述图像序列的显示模式是2D显示模式还是3D显示模式的步骤包括如果确定所述图像序列的当前图像是2D还是3D图像的结果与确定所述图像序列的预定数量的相邻图像是2D还是3D图像的结果不同，则将所述当前图像的显示模式变换成与所述相邻图像的显示模式相同的显示模式。
11.如权利要求1所述的方法，还包括如果用于图像序列的显示模式被确定为2D显示模式，则以2D图像格式排列所述图像序列，并且输出具有所述2D显示格式的图像序列。
12.如权利要求1所述的方法，还包括如果用于所述图像序列的显示模式被确定为3D显示模式，则根据并排格式、上下格式、垂直线交织格式、水平线交织格式、帧顺序格式、和场顺序格式中的至少一种来形成具有彼此对应的左视点图像和右视点图像的帧，并输出所形成的帧。
13.一种用于确定2D或3D显示模式的设备，所述设备包括图像输入单元，用于接收包括当前图像的图像序列；2D/3D图像确定单元，用于确定当前图像是2D图像还是3D图像；和2D/3D显示模式确定单元，用于基于确定当前图像是2D图像还是3D图像的结果来确定所述图像序列的显示模式是2D显示模式还是3D显示模式。
14.如权利要求13所述的设备，其中，所述2D/3D图像确定单元基于包含在图像序列中的当前图像的相邻图像来确定当前图像是2D图像还是3D图像。
15.如权利要求14所述的设备，其中，所述2D/3D图像确定单元包括特征变量确定单元，用于确定所述相邻图像的特征变量和所述当前图像的特征变量；变化量计算单元，用于计算所述相邻图像和所述当前图像当中的两个图像的特征变量之间的变化量；和变化量比值确定单元，用于基于变化量之间的比值来确定所述当前图像是2D图像还是3D图像。
16.如权利要求15所述的设备，还包括存储单元，用于存储所计算的特征变量。
17.如权利要求15所述的设备，其中，所述相邻图像包括前一图像和后一图像，并且其中所述2D/3D图像确定单元还包括统计值确定单元，用于将所述前一图像的第一统计值、所述当前图像的第二统计值和所述后一图像的第三统计值确定为所述特征变量；统计值差值计算单元，用于计算作为所述第一和第二统计值之间的差值的绝对值的第一差值，作为所述第二和第三统计值之间的差值的绝对值的第二差值，以及作为所述第一和第三统计值之间的差值的绝对值的第三差值；力口统计值差值比值计算单元，用于计算所述第一差值和所述第二差值之和与所述第三差值的比值。
18.如权利要求17所述的设备，其中，所述统计值确定单元将所述图像序列的每一图像的预定区域的平均值、方差和标准偏差中的一个确定为统计值。
19.如权利要求15所述的设备，其中，所述相邻图像包括前一图像和后一图像，并且其中所述2D/3D图像确定单元还包括视差矢量确定单元，用于基于所述图像序列的图像的预定区域的视差来确定所述前一图像的第一视差矢量、所述当前图像的第二视差矢量和所述后一图像的第三视差矢量，其中，预定图像的视差表示所述图像的预定区域相对于在所述预定图像之前的图像的预定区域的视差；视差值计算单元，用于计算与所述第一视差矢量相关的第一视差值、与所述第二视差矢量相关的第二视差值和与所述第三视差矢量相关的第三视差值作为特征变量；视差值差值计算单元，用于计算作为所述第一和第二视差值之间的差值的绝对值的第一差值、作为所述第二和第三视差值之间的差值的绝对值的第二差值、和作为所述第一和第三视差值之间的差值的绝对值的第三差值；和视差值差值比值计算单元，用于计算所述第一和第二差值之和与所述第三差值的比值。
20.如权利要求19所述的设备，其中，所述视差值计算单元计算作为具有所述前一图像的第一视差矢量当中的负的第一视差矢量的块的数量与具有正的第一视差矢量的块的数量的比值的第一视差值，作为具有所述当前图像的第二视差矢量当中的负的第二视差矢量的块的数量与具有正的第二视差矢量的块的数量的比值的第二视差值，和作为具有所述后一图像的第三视差矢量当中的负的第三视差矢量的块的数量与具有正的第三视差矢量的块的数量的比值的第三视差值。
21.如权利要求15所述的设备，其中所述变化量比值确定单元还包括变化量比值比较单元，用于当所述变化量之间的比值等于或大于阈值时，将所述当前图像确定为3D图像，以及当所述变化量之间的比值小于所述阈值时，将所述当前图像确定为2D图像。
22.如权利要求14所述的设备，其中，所述2D/3D显示模式确定单元还包括 显示模式变换单元，用于如果确定所述图像序列的当前图像是2D还是3D图像的结果与确定所述图像序列的预定数量的相邻图像是2D还是3D图像的结果不同，则将所述当前图像的显示模式变换成与所述相邻图像的显示模式相同的显示模式。
23.如权利要求13所述的设备，还包括2D显示模式输出单元，用于如果用于图像序列的显示模式被确定为2D显示模式，则以 2D图像格式排列所述图像序列，并且输出具有所述2D显示格式的图像序列。
24.如权利要求13所述的设备，还包括3D图像格式输出单元，用于如果用于所述图像序列的显示模式被确定为3D显示模式， 则根据并排格式、上下格式、垂直线交织格式、水平线交织格式、帧顺序格式、和场顺序格式中的至少一种来形成具有彼此对应的左视点图像和右视点图像的帧，并且输出所形成的帧。
25.一种计算机可读记录介质，其上记录有程序，其中，所述程序在由计算机运行时使得所述计算机执行用于确定2D或3D显示模式的方法，所述方法包括接收包括当前图像的图像序列；确定当前图像是2D图像还是3D图像；并且基于确定当前图像是2D图像还是3D图像的结果来确定用于所述图像序列的显示模式是2D显示模式还是3D显示模式。
全文摘要
提供一种用于确定二维(2D)或三维(3D)显示模式的方法。接收图像序列。确定在图像序列中包含的当前图像是2D图像还是3D图像。基于确定结果，确定用于图像序列的2D或3D显示模式。
文档编号H04N13/04GK102187680SQ200980141106
公开日2011年9月14日 申请日期2009年5月19日 优先权日2008年8月18日
发明者金容台, 朴相武, 金大式 申请人:三星电子株式会社