的示图。
[0053]图2和图3是解释用于拼接从帧分离的背景图像以产生全景图像的处理的示图。
[0054]如图2中所示，输入视频的(与全景视频产生时间段相应的)部分可包括η帧。为了便于描述，图2仅示出从全景视频产生时间段的η帧提取的多个关键帧之中的第一帧11、中间帧12和最终帧13。输入视频是通过捕捉人14和小狗15通过公路的图像所产生的视频。在这种情况下，人14和小狗15对应于目标对象。从捕捉视频的相机的视点，目标对象的方向为从左至右的方向，在目标对象运动时背景图像沿从右至左的方向移动。
[0055]控制器120可从输入视频检测运动对象以将人14和小狗15确定为目标对象。这里，控制器120可将具有预设变化或更多变化的对象确定为运动对象。随后，控制器120在每个关键帧或每个选择的关键帧中将目标对象14和15与背景图像分离。可使用颜色和运动信息将目标对象14和15与背景图像分离。因此，可产生与目标对象14和15分离的背景图像21、22和23，控制器120可连接背景图像以产生一个全景背景图像20。在这种情况下，为了平滑地连接背景图像，可应用图像处理方法(诸如，总体匹配、图像对齐、拼接和混合)。具体地，可使用孔填充图像处理方案来填充在与目标对象14和15分离的背景图像21、22和23中产生的空区域24和25。因此，可产生在水平方向上较长的全景背景图像。
[0056]如图3中所示，从每个关键帧提取的目标对象可与背景图像分离以产生新的帧31、32和33。在这种情况下，产生的每个新的帧31、32和33是没有背景图像的提取的目标对象的图像。
[0057]图4是解释用于合成提取的目标对象和产生的全景背景图像以产生用于构成全景视频的全景图像的方法的示图。
[0058]如图4中所示，可通过将目标对象叠加在全景背景图像上来产生全景图像。在这种情况下，可应用用于平滑合成的抠图技术。因此，可产生分别与t= 1和t = η相应的全景图像41和42，其中，目标对象14和15从左至右运动而不改变背景图像。
[0059]控制器120可检测平移区间，并从包括在平移区间中的帧选择多个关键帧，其中，平移区间包括在相机被平移以产生视频时捕捉的帧。平移是指在通过使持有拍摄装置的拍摄者、拍摄者的身体部位(例如，用于持有拍摄装置的手臂)或拍摄装置绕固定位置旋转而沿直线轨迹改变拍摄方向的同时执行的拍摄。例如，可通过沿向右或向左的方向移动相机安装头或相机来执行用于显示相对侧的情况或全景场景的相机操作。可使用相机安装头水平地或竖直地移动相机头，在这点上，在该说明书中，平移包括水平移动和竖直移动中的任一个。例如，在足球广播的情况下，由相机捕捉的场景可通过缓慢地将相机的方向从体育场的中线朝向球门柱移动而改变。在这种情况下，包括在移动相机的同时捕捉的帧的帧区间为平移区间。
[0060]可使用视频的运动向量信息提取平移区间。控制器120使用运动向量信息分析视频中的运动。作为通过使用运动向量信息分析视频运动所获得的结果，当视频在视频的预定区间中示出至预定方向的运动时，控制器120可将示出运动的区间提取为平移区间。
[0061]此外，控制器120可分析一个或更多个特征点的运动以提取平移区间。例如，控制器120可提取帧的特征点并分析特征点的运动方向以提取平移区间。在这种情况下，控制器120可将图像划分为多个块，提取包含在每个划分的块中的特征点，并还从整个图像提取特征点。此外，控制器120可使用提取的特征点与一个或更多个周围像素之间的差值来分析帧的运动。
[0062]当使用以上平移区间提取方法时，可从不是由相机捕捉的视频(例如，动画、计算机图形等)提取平移区间。例如，在包括背景和对象的动画的情况下，可使用关于动画的运动向量信息来分析动画的背景的运动，或者可提取动画帧的特征点以提取与在相机平移期间进行的拍摄相同的平移区间。平移区间是指通过分析运动向量信息或背景运动的构成全景视频的视频区间以及在平移相机的同时拍摄的区间。
[0063]响应于平移区间被提取，控制器120可从包括在提取的平移区间中的帧选择多个关键帧。在这种情况下，控制器120可分析包含在构成视频的每个帧中的对象的属性，并将具有共同目标对象或共同背景图像的多个帧选择为关键帧。也就是说，为了拼接关键帧，需要帧之间的连续性，共同目标对象或共同背景图像可以是拼接标准。
[0064]此外，控制器120可产生多个全景图像，并用多个全景图像来替换关键帧，其中，在多个全景图像中，目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数。可选择地，控制器120可针对包含多个关键帧的所有帧中的每一帧产生全景图像，并使用所有帧来产生多个全景图像。例如，从平移区间获得的额外区域可与右区域和左区域或者上区域和下区域拼接，随后，视频的所有帧可被全景图像替换。在这种情况下，全景视频产生区间可以是视频的整个区间。通过用全景图像替换多个关键帧所获得的全景视频可被存储在存储器中。
[0065]控制器120可基于扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比，并产生具有确定的最大宽高比的全景视频。EDID信息可以是用于根据适合于显示设备的条件确定输出信号的信息，并且可被存储在显示设备中的非易失存储器中。当视频处理设备100包括显示器时，EDID信息可被存储在视频处理设备100的内部存储器中。EDID信息定义诸如基本显示参数和属性的数据。例如，当视频处理设备100被实施为个人计算机(PC)时，如果PC与电视(TV)连接，则PC可检测关于TV的EDID信息以根据即插即用功能的定义输出适合于TV的图像信号。控制器120可基于存储在显示设备的存储器中的EDID信息获取关于显示设备的宽高比的信息，并根据该信息确定全景视频的最大宽高比。例如，当显示设备的宽高比为16:9时，全景视频的竖直宽度减小，另一方面，水平宽度可相对进一步增加以显示添加到全景视频的区域。竖直宽度可减小，从而可在全景视频的上部和下部产生空框(letter box)。也就是说，通过提取平移区间获得的额外区域的更多部分可被显示。全景视频的宽高比可根据平移区间的范围和关键帧的选择范围的设置而改变。例如，可针对在沿向右或向左的方向平移相机的同时拍摄的帧区间的两端之间的距离来设置平移区间的范围。在这种情况下，当平移区间的范围被设置得宽时，全景视频的宽高比也可增加。此外，全景视频的宽高比可根据选择的关键帧的数量或其背景图像而改变。
[0066]多个显示设备可彼此直接同步或可通过机顶盒彼此同步，并可显示由一个显示设备显示的一个图像。当视频处理设备100连接到多个显示设备时，控制器120还可通过EDID信息识别显示设备的数量和分辨率，以确定全景图像的最大宽高比。
[0067]此外，控制器120可调整多个关键帧以使多个关键帧的背景图像对齐。例如，由于用于视频捕捉的相机不总是以统一的方式向右和向左移动或者向上和向下移动，因此，相邻帧的重叠部分可因相机的抖动和旋转而不能准确地彼此匹配。因此，控制器120可适当地移动或旋转关键帧以进行匹配来产生全景图像。例如，当将进行匹配的帧被移动或旋转时，帧可被连接以使重叠的多条颜色信息之间的相似度最大化来产生全景图像。
[0068]图5是示出根据另一示例性实施例的视频处理设备100’的配置的示意性框图。如图5所示，根据本示例性实施例，视频处理设备100’包括存储器110、控制器120、显示器130、接口 140。在下文中，这里将省略与图1相关的重复描述。
[0069]显示器130显示全景视频。具体地，当视频被再现时，显示器130可以以显示视频中的多个关键帧的时序显示全景视频。在这种情况下，用于指示产生全景视频的指示符可被显示在显示器上。例如，当视频被再现时，在视频的再现期间的全景视频产生区间可被不同地指示，并且指示符可被显示为与全景图像的一部分重叠。在这种情况下，指示符的大小、形状、位置和颜色可根据全景视频的属性而改变。例如，当全景视频的宽高比为10:3时，可以产生10:3的矩形形式的指示符，并且指示符可被显示为与视频的一部分重叠。相似地，当全景视频的宽高比为21:9时，指示符还可具有21:9的比率的矩形形状。
[0070]显示器130可被实施为液晶显示器(IXD)、有机发光二极管(0LED)等，但不限于此。此外，必要时，显示器130可被实施为柔性显示器、透明显示器等。
[0071]因此，视频处理设备100’可被实施为具有显示功能的各种类型的设备，诸如数字TV、PC、导航装置、信息亭、数字信息显示器(DID)等。当视频处理设备100’被实施为数字TV时，视频处理设备100’可被遥控器控制。
[0072]在下文中，为了方便，图5和图6示出视频处理设备100’被实施为数字TV的情况。然而，本发明构思不限于此，除了作为固定设备的数字TV之外，视频处理设备100’可被实施为能够处理图像的各种便携式显示设备，诸如各种类型的便携式媒体播放器、平板PC和电子词典。
[0073]接口 140是用于接收视频的组件。输入图像或视频可通过外部相机200被捕捉，视频处理设备100’可接收拍摄信息(诸如，外部相机200的相机姿态信息)。外部相机200可以是诸如具有拍摄功能的数字相机和蜂窝电话的成像设备。根据示例性实施例，由外部相机200捕捉的视频可通过接口 140被接收以产生全景视频。这里，捕捉视频的相机200可以是多个相机，由多个相机捕捉的视频可以是多视点图像。在这种情况下，控制器120还可根据用于产生全景视频的一般方法连接多视点图像。这样，视频处理设备100’可处理通过接口 140接收的视频以产生全景视频。