用于产生全景视频的视频处理设备及其方法
【专利说明】用于产生全景视频的视频处理设备及其方法
[0001]本申请要求于2014年8月18日提交到韩国知识产权局的第10-2014-0106795号韩国专利申请的优先权，所述韩国专利申请的全部公开通过引用包含于此。
技术领域
[0002]与示例性实施例一致的设备和方法涉及视频处理，更具体地讲，涉及一种用于产生全景视频的视频处理。
【背景技术】
[0003]近来，随着由数字图像设备显示的图像的清晰度和分辨率提高，全景视频作为在一个图像中向观看者提供更多的图像信息的尝试已得到关注。这样的关注与从传统的4:3屏幕转换为16:9屏幕以进行图像显示相关，此外，这样的关注与通过全景视频获取真实图像的视觉需要相关。
[0004]例如，全景视频适合于表示体育场中的足球运动员的形象。关于传统的体育广播，当整个体育场被显示为一个图像时，足球运动员的形象被显示得相对小，并且因体育场在水平方向上较长的形状，图像也不可避免地包含体育场之外的形象，因此，体育场的仅仅一部分而不是整个体育场被显示给观看者。然而，当全景视频用于体育广播中时，整个体育场可被同时显示给观看者。
[0005]全景视频包括多个连续全景图像。在现有技术中，为了获取全景视频，通过连接由多个相机拍摄的体育场的部分图像来产生全景视频。因此，如果没有在要求的条件(例如，要求的方向、曝光等)下执行由多个相机进行的拍摄，则难以在拍摄之后产生全景视频。
[0006]因此，需要用于更方便有效地产生全景视频的方法。
【发明内容】
[0007]示例性实施例可克服以上缺点和以上没有描述的其它缺点。此外，示例性实施例无需克服上述缺点，并且可不克服上述任何问题。
[0008]示例性实施例提供一种用于使用包含在视频中的多个关键帧来产生全景视频的视频处理设备及其方法。
[0009]根据示例性实施例的一方面，提供一种视频处理设备，所述视频处理设备可包括:存储器，被配置为存储由相机捕捉的视频；控制器，被配置为在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离，拼接分离的背景图像以产生全景背景图像，将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像，并沿时间轴组合全景图像以产生全景视频。
[0010]控制器可从在平移相机时捕捉的视频的平移区间的帧选择关键帧。
[0011]所述视频处理设备还可包括:相机，被配置为捕捉视频；运动检测传感器，被配置为检测相机的运动，其中，控制器将与由运动检测传感器检测的相机的平移运动对应的视频区间确定为平移区间。
[0012]控制器可分析包含在视频所包括的每个帧中的对象的属性，并将具有重叠背景图像的多个帧选择为关键帧。
[0013]所述视频处理设备还可包括:显示器，被配置为显示视频，其中，控制器可在再现视频时控制显示器以显示视频中的所述多个关键帧的时序显示全景图像。
[0014]控制器可产生所述多个全景图像，用全景图像来替换关键帧，并将全景图像存储在存储器中，其中，在所述多个全景图像中，目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数以表现目标对象的运动。
[0015]控制器可基于关于用于再现视频的显示器的扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比，并产生具有确定的最大宽高比的全景视频。
[0016]控制器可调整关键帧以使关键帧的背景图像对齐，并使用每个调整的关键帧来产生全景视频。
[0017]控制器可在视频被再现时在显示器上显示指示产生全景图像的指示符。
[0018]当在显示器上再现视频时，控制器可将指示符显示为与视频重叠，并根据全景视频的属性改变指示符的大小、形状、位置和颜色中的至少一个。
[0019]根据另一示例性实施例的一方面，提供一种用于产生全景视频的方法，所述方法可包括:存储由相机捕捉的视频；在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离；拼接分离的背景图像以产生全景背景图像；将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像；沿时间轴组合全景图像以产生全景视频。
[0020]可从在平移相机时捕捉的视频的平移区间的帧选择关键帧。
[0021 ] 所述方法还可包括:检测相机的运动，其中，平移区间为与在相机的运动中检测到的相机的平移运动对应的视频区间。
[0022]所述方法还可包括:分析包含在视频所包括的每个帧中的对象的属性，并将具有重叠背景图像的多个帧选择为关键帧。
[0023]所述方法还可包括:当再现视频时，以显示视频中的关键帧的时序显示包括全景图像的全景视频。
[0024]所述方法还可包括:产生全景图像，用全景图像来替换关键帧，并存储全景图像，其中，在全景图像中，目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数以表现目标对象的运动。
[0025]所述方法还可包括:基于关于用于再现视频的显示器的扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比。
[0026]产生全景视频的步骤可包括:调整关键帧以使关键帧的背景图像对齐，并使用每个调整的关键帧来产生全景视频。
[0027]显示全景视频的步骤可包括:显示指示产生全景视频的指示符。
[0028]显示全景视频的步骤可包括:当再现视频时，将指示符显示为与视频重叠，并根据全景视频的属性改变指示符的大小、形状、位置和颜色中的至少一个。
[0029]根据各种示例性实施例，即使用户在视频捕捉时间不执行捕捉用于获取全景视频的视频，也可在将来使用视频数据获取全景视频，从而提高用户便利。
[0030]本发明构思的另外和/或其它方面和优点将在下面的描述中部分地阐明，并且从描述中部分将是显然的，或者可通过示例性实施例的实施而得知。
【附图说明】
[0031]通过参照附图描述特定示例性实施例，以上和/或其它方面将更加清楚，在附图中:
[0032]图1是示出根据示例性实施例的视频处理设备的配置的示意性框图；
[0033]图2至图4是解释根据示例性实施例的用于处理视频以产生全景视频的处理的示图；
[0034]图5是示出根据另一示例性实施例的视频处理设备的配置的示意性框图；
[0035]图6是解释根据示例性实施例的用于使用平移区间产生全景视频的方法的示图；
[0036]图7是示出根据另一示例性实施例的视频处理设备的配置的示意性框图；
[0037]图8是示出根据另一示例性实施例的视频处理设备的配置的详细框图；
[0038]图9是根据示例性实施例的存储器的详细框图；
[0039]图10和图11是解释根据示例性实施例的用于使用平移区间产生全景图像的方法的示图；
[0040]图12是解释根据示例性实施例的用于显示全景视频的方法的示图；
[0041]图13是解释根据示例性实施例的用于产生全景视频的方法的流程图；
[0042]图14是解释根据另一示例性实施例的用于产生全景视频的方法的流程图。
【具体实施方式】
[0043]现在将参照附图更详细地描述示例性实施例。
[0044]图1是示出根据示例性实施例的视频处理设备100的配置的示意性框图。
[0045]参照图1，根据示例性实施例的视频处理设备100包括存储器110和控制器120。
[0046]存储器110存储由相机捕捉的视频。视频可以是由一个相机捕捉的视频或者由多个相机以不同角度捕捉的多个视频。此外，存储器110可用作用于临时存储包括在视频中的图像帧(在下文中，被称为“帧”)的缓冲器。详细地，存储器110可包括用于临时存储在产生全景视频之前的图像帧的缓冲器。此外，存储器110可存储用于处理视频以产生全景视频的各种软件模块和相关信息，并且必要时，将关于各种软件模块和相关信息的信息输出到控制器120。
[0047]捕捉的视频可被存储在联网的系统中以及存储器110中。在这种情况下，可使用通信单元(未示出)远程发送和复制视频。
[0048]控制器120控制视频处理设备100的总体操作。
[0049]具体地，控制器120可在包括在视频中的多个关键图像帧(在下文中，被称为“关键帧”)中将目标对象与背景图像分离。可从视频中的连续帧检测关键帧。可通过分析每一帧来检测关键帧。根据分析操作，视频中的具有大的变化的帧被检测为关键帧。例如，可通过分析相机运动、对象运动、背景运动等从视频检测关键帧。详细地，控制器120可分析相机运动的方向、运动向量的变化的方向和大小、对象跟踪的方向等以检测关键帧。
[0050]此外，控制器120可使用关于视频的每秒帧数(FPS)信息和关于相机的详细信息来检测关键帧。关于相机的详细信息是指关于拍摄视频的相机的位置、方向、角度等的信息。关于相机的详细信息可以是包括在视频中的信息。
[0051]目标对象是指关键帧中的与背景图像分离的运动对象。即，观看者感兴趣观看的运动对象可以是目标对象。例如，当观看者观看车辆通过安静的乡间小道的视频时，车辆是目标对象。多个目标对象可存在于视频中。例如，关于体育广播，目标对象可以是足球运动员和球。如上所述，关键帧可被提取以在减少用于处理所有帧的负担的同时充分表现目标对象的运动。
[0052]在下文中，图2至图4是解释根据示例性实施例的用于处理视频以产生全景视频的处理