[0105]图10和图11是解释根据示例性实施例的用于使用平移区间产生全景图像的方法的示图。
[0106]在下文中，图10和图11示出视频处理设备100”被实施为便携式终端设备的示例。
[0107]图10示出使用包括在视频处理设备100”中的相机190拍摄从左向右飞行的飞机1010。如图10所示，在这种情况下，因便携式终端设备的属性，可仅拍摄水平方向上窄的范围中的背景图像。用户可从左向右平移相机以捕捉飞机1010的图像，以便防止飞机1010离开屏幕。在这种情况下，运动检测传感器160可感测视频处理设备100”的运动以检测平移区间。
[0108]图11示出在检测到的平移区间中选择的多个关键帧1110、1120、1130和1140。多个关键帧1110、1120、1130和1140可被选择为具有在平移区间中彼此重叠的背景图像的帧，并且可通过对关键帧1110、1120、1130和1140执行图像处理过程来产生全景视频。
[0109]详细地，控制器120可将选择的多个关键帧1110、1120、1130和1140的目标对象与背景图像分离。这里，目标对象可以是具有预设变化或更多变化的运动对象(飞机1010)。控制器120可提取与目标对象分离的背景图像的特征点并将提取的特征点进行匹配。随后，控制器120可使用匹配的特征点数据拼接和混合多个背景图像，并使用孔填充方案处理移除了目标对象的空区域以产生全景背景图像1150。因此，当视频处理设备100”被旋转至水平屏幕时，通过减小捕捉的视频的大小所产生的屏幕中的浪费空间可被通过平移视频处理设备100”所获取的额外区域填充。
[0110]图12是解释根据示例性实施例的用于显示全景视频的方法的示图。
[0111]如图12所示，当对捕捉的视频执行前述处理以产生全景视频区间时，用于显示全景视频的指示符1210可在再现视频期间被显示。在这种情况下，用户可触摸显示的指示符或经由操纵遥控器来选择指示符以命令对全景视频进行再现。响应于命令被输入，当在整个再现区间的一部分期间全景视频被再现或被产生时，控制器120可在屏幕下端的控制栏等上显示全景视频被产生的区间(全景视频区间)。因此，当再现帧到达全景视频区间或用户通过接口(诸如触摸板、遥控器等)选择相应区间时，全景视频1250被显示。
[0112]指示符可被显示为与视频重叠并可根据正被显示的全景视频的属性在大小、形状、位置、颜色等方面变化。例如，指示符的形状可以以与全景视频的宽高比相同的比率被显不ο
[0113]指示符的形状可不限于前述实施例，并可以以各种方法被显示。例如，指示符可以以文本或图标的形式被显示在再现列表的图像列表上。
[0114]关于全景视频是否已被产生以及全景视频区间的信息可被存储为视频文件中的元数据信息。
[0115]图13是解释根据示例性实施例的用于产生全景视频的方法的流程图。
[0116]首先，存储由相机捕捉的视频(S1310)。在这种情况下，视频可与由一个相机捕捉的视频或由多个相机以不同角度捕捉的多个视频对应。随后，在包含在视频中的多个关键帧中将目标对象与背景图像彼此分离(S1320)。这里，视频中的一系列帧中具有大的变化的帧可被检测为关键帧。还可使用关于视频的FPS信息、相机姿态信息等来检测关键帧。随后，拼接分离的背景图像，然后，将目标对象与拼接的背景图像进行组合以获取全景图像，沿时间轴组合获取的全景图像以产生全景视频(S1330)。详细地，可通过以下步骤来产生全景视频:提取与目标对象分离的背景图像的特征点并将提取的特征点进行匹配，使用匹配的特征点数据拼接多个背景图像，混合拼接的背景图像，并对混合的背景图像执行孔填充处理。
[0117]图14是解释根据另一示例性实施例的用于产生全景视频的方法的流程图。
[0118]首先，由包括在视频处理设备中的相机捕捉视频(S1410)，并检测正在捕捉图像的视频处理设备的运动(S1420)。在这种情况下，在检测到运动时由包括在视频处理设备中的相机拍摄的视频区间可被确定为平移区间。接下来，存储由相机捕捉的视频(S1430)，并从当在包括在视频中的所有帧中检测到视频处理设备的运动时捕捉的视频的区间中的帧选择多个关键帧(S1440)。在包括在视频中的多个关键帧中将目标对象与背景图像彼此分离(S1450)。拼接分离的背景图像，并随后将目标对象与拼接的背景图像进行组合以获取全景图像。沿时间轴组合获取的全景图像以产生全景视频(S1460)。
[0119]根据前述各种实施例的用于控制视频处理设备的方法可被实施为程序，并可被提供至视频处理设备。
[0120]根据示例性实施例，使用术语“视频处理设备”，所述设备处理视频以产生全景视频，但是术语“视频处理设备”还可被称为全景视频产生设备、全景图像产生设备、全景图像处理设备等。
[0121]根据示例性实施例，提供一种用于暂时存储用于执行上述处理或方法的程序的非暂时性计算机可读介质。
[0122]非暂时性计算机可读介质是指半永久地存储数据并可由装置读取的介质，而非短时间存储数据的介质(诸如寄存器、高速缓冲存储器、内存等)。详细地，前述程序可被存储和提供在非暂时性计算机可读介质(诸如致密盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等)中。
[0123]前述示例性实施例和优点仅为示例性的，而不应被解释为限制本发明构思。此外，对示例性实施例的描述意图进行说明，而不意图限制本发明构思的范围，并且许多替换、修改和变化对于本领域技术人员来说将是清楚的。
【主权项】
1.一种视频处理设备，包括: 存储器，被配置为存储由相机捕捉的视频； 控制器，被配置为在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离，拼接分离的背景图像以产生全景背景图像，将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像，并沿时间轴组合全景图像以产生全景视频。2.如权利要求1所述的视频处理设备，其中，控制器被配置为从在平移相机时捕捉的视频的平移区间的帧选择关键帧。3.如权利要求2所述的视频处理设备，还包括: 相机，被配置为捕捉视频； 运动检测传感器，被配置为检测相机的运动， 其中，控制器还被配置为将与由运动检测传感器检测的相机的平移运动对应的视频区间确定为平移区间。4.如权利要求2所述的视频处理设备，其中，控制器被配置为分析包含在视频所包括的每个帧中的对象的属性，并将具有重叠背景图像的多个帧选择为关键帧。5.如权利要求1所述的视频处理设备，还包括:显示器，被配置为显示视频， 其中，控制器还被配置为当再现视频时控制显示器以显示视频中的所述多个关键帧的时序显示全景图像。6.如权利要求1所述的视频处理设备，其中，控制器还被配置为:产生所述多个全景图像，用全景图像来替换关键帧，并将全景图像存储在存储器中，其中，在所述多个全景图像中，目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数以表现目标对象的运动。7.如权利要求1所述的视频处理设备，其中，控制器还被配置为:基于关于用于再现视频的显示器的扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比，并产生具有确定的最大宽高比的全景视频。8.如权利要求1所述的视频处理设备，其中，控制器还被配置为:调整关键帧以使关键帧的背景图像对齐，并使用每个调整的关键帧来产生全景视频。9.如权利要求5所述的视频处理设备，其中，控制器还被配置为:当再现视频时，在显示器上显示指示产生全景图像的指示符。10.如权利要求9所述的视频处理设备，其中，控制器还被配置为:当在显示器上再现视频时，将指示符显示为与视频重叠，并根据全景视频的属性改变指示符的大小、形状、位置和颜色中的至少一个。11.一种用于产生全景视频的方法，所述方法包括: 存储由相机捕捉的视频； 在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离； 拼接分离的背景图像以产生全景背景图像； 将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像； 沿时间轴组合全景图像以产生全景视频。12.如权利要求11所述的方法，还包括:从在平移相机时捕捉的视频的平移区间的帧选择关键帧。13.如权利要求12所述的方法，还包括:检测相机的运动， 其中，平移区间为与在相机的运动中检测到的相机的平移运动对应的视频区间。14.如权利要求12所述的方法，还包括:分析包含在视频所包括的每个帧中的对象的属性，并将具有重叠背景图像的多个帧选择为关键帧。15.如权利要求11所述的方法，还包括:当再现视频时，以显示视频中的关键帧的时序显示包括全景图像的全景视频。
【专利摘要】提供一种用于产生全景视频的视频处理设备及其方法。所述视频处理设备包括：存储器，被配置为存储由相机捕捉的视频；控制器，被配置为在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离，拼接分离的背景图像以产生全景背景图像，将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像，并沿时间轴组合全景图像以产生全景视频。
【IPC分类】H04N5/265, H04N5/262, G03B35/00, H04N5/232
【公开号】CN105376500
【申请号】CN201510508376
【发明人】徐周希, 金昌容, 白承秦, 许容硕
【申请人】三星电子株式会社
【公开日】2016年3月2日
【申请日】2015年8月18日
【公告号】US20160050368