视频画面拼接方法及装置与流程

本发明涉及图像处理领域，具体涉及一种视频画面拼接方法及装置。

背景技术：

目前，移动终端(例如手机)的使用越来越广泛，用户在观看视频时，有时候希望把视频中不同字幕的画面拼接在一起。现有的方法通常需要手动截取视频画面，再利用修图软件拼接而成，时间花费较多且不太方便，不便于用户查阅和分享视频中的字幕。

技术实现要素：

鉴于以上内容，有必要提出一种视频画面拼接方法，其可以对视频中不同字幕的视频画面进行拼接，方便用户查阅和分享视频中的字幕。

本申请的第一方面提供一种视频画面拼接方法，所述方法包括：

从视频文件中获取多个视频画面；

从所述多个视频画面中识别字幕不同的视频画面，其中所述字幕不同的视频画面中后一个识别得到的视频画面的字幕不同于前一个识别得到的视频画面的字幕；

对所述字幕不同的视频画面进行拼接。

另一种可能的实现方式中，所述从视频文件中获取所述多个视频画面包括：

从所述视频文件中获取每一帧视频画面；或者

以预设时间间隔从所述视频文件中获取视频画面。

另一种可能的实现方式中，所述对所述字幕不同的视频画面进行拼接包括：

按照所述字幕不同的视频画面在所述视频文件中的时间顺序对所述字幕不同的视频画面进行拼接。

另一种可能的实现方式中，所述对所述字幕不同的视频画面进行拼接包括：

对所述字幕不同的视频画面直接拼接；或者

从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。

另一种可能的实现方式中，所述对所述字幕不同的视频画面进行拼接包括：

当所述字幕不同的视频画面之间的相似度小于指定值时，对所述字幕不同的视频画面直接拼接；

当所述字幕不同的视频画面之间的相似度不小于指定值时，从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。

本申请的第二方面提供一种视频画面拼接装置，所述装置包括：

获取单元，用于从视频文件中获取多个视频画面；

识别单元，用于从所述多个视频画面中识别字幕不同的视频画面，所述字幕不同的视频画面中后一个视频画面的字幕不同于前一个视频画面的字幕；

拼接单元，用于对所述字幕不同的视频画面进行拼接。

另一种可能的实现方式中，所述获取单元具体用于：

从所述视频文件中获取每一帧视频画面；或者

以预设时间间隔从所述视频文件中获取视频画面。

另一种可能的实现方式中，所述拼接单元具体用于：

按照所述字幕不同的视频画面在所述视频文件中的时间顺序对所述字幕不同的视频画面进行拼接。

另一种可能的实现方式中，所述拼接单元具体用于：

对所述字幕不同的视频画面直接拼接；或者

从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。

另一种可能的实现方式中，所述拼接单元具体用于：

当所述字幕不同的视频画面之间的相似度小于指定值时，对所述字幕不同的视频画面直接拼接；

当所述字幕不同的视频画面之间的相似度不小于指定值时，从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。

本发明从视频文件中获取多个视频画面，从所述多个视频画面中识别字幕不同的视频画面，并根据预设规则自动对所述字幕不同的视频画面进行拼接，从而达到快速高效拼接视频画面，方便用户查阅和分享视频中的字幕。

附图说明

图1是本发明实施例一提供的视频画面拼接方法的流程图。

图2是按照字幕不同的视频画面在视频文件中的时间顺序对截取的字幕区域进行拼接的示意图。

图3是对字幕不同的视频画面从上到下进行拼接的示意图。

图4是对字幕不同的视频画面从左到右进行拼接的示意图。

图5是本发明实施例二，说明如何根据视频画面之间的相似度采用不同的拼接方式。

图6是本发明实施例三提供的视频画面拼接装置的结构图。

图7是实现视频画面拼接方法的电子设备的结构图。

主要元件符号说明

电子设备 1

视频画面拼接装置 10

存储设备 20

处理设备 30

显示设备 40

获取单元 601

识别单元 602

拼接单元 603

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

优选地，本发明的视频画面拼接方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述电子设备可以是，但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

实施例一

图1为本发明实施例一提供的视频画面拼接方法的流程图。实施例说明如何对视频文件的视频画面进行拼接。如图1所示，该方法具体包括以下步骤：

101：从视频文件中获取多个视频画面。

可以从所述视频文件中获取每一帧视频画面。例如，所述视频文件的长度为1分钟，每秒24帧图像，则获取24*60＝1440个视频画面。

还可以以预设时间间隔从所述视频文件中获取视频画面。例如，所述视频文件的长度为1分钟，每隔1秒获取一个视频画面，则获取60个视频画面。因为视频中字幕的改变并不会太快，所以一定时间间隔并不会导致数据遗漏，因此以预设时间间隔从所述视频文件中获取视频画面可以保证字幕完整的同时减少需要处理的图像的数量，减少后续的运算量，快速得到拼接画面。

本实施例从视频文件中获取所述多个视频画面。在其他的实施例中，可以从播放的视频中截取所述多个视频画面。例如，按照指定时间间隔从所述播放的视频中截取所述多个视频画面，例如每隔1秒从所述播放的视频中截取一个视频画面。

102：从所述多个视频画面中识别字幕不同的视频画面。

所述字幕不同的视频画面中后一个识别得到的视频画面的字幕不同于前一个识别得到的视频画面的字幕。

可以识别获取的视频画面的字幕，将获取的视频画面的字幕进行比较，得到所述字幕不同的视频画面。例如，从视频文件中获取到60个视频画面，根据视频播放时60个视频画面显示的先后顺序，将获取的第一个视频画面作为识别得到的第一个字幕不同的视频画面，将获取的第二个视频画面的字幕与所述第一个字幕不同的视频画面的字幕进行比较，如果第二个视频画面的字幕与所述第一个字幕不同的视频画面的字幕不同，则将获取的第二个视频画面作为第二个字幕不同的视频画面，再将获取的第三个视频画面的字幕与所述第二个字幕不同的视频画面的字幕进行比较。另外，如果第二个视频画面的字幕与所述第一个字幕不同的视频画面的字幕相同，删除第二个视频画面；然后将获取的第三个视频画面的字幕与第一个字幕不同的视频画面的字幕进行比较。以此类推，直至比较完获取的所有视频画面。

103：对所述字幕不同的视频画面进行拼接。

可以按照所述字幕不同的视频画面在所述视频文件中的时间顺序对所述字幕不同的视频画面进行拼接。例如，识别得到50个字幕不同的视频画面，按照所述50个字幕不同的视频画面在所述视频文件中的时间顺序对所述50个字幕不同的视频画面进行拼接。

可选的，在本发明实施例中，对字幕不同的视频画面进行拼接时的具体实现方式有多种，以下提供两种较优化的实现方式：

1、对所述字幕不同的视频画面进行拼接可以是对所述字幕不同的视频画面直接拼接。例如，按照所述50个字幕不同的视频画面在所述视频文件中的时间顺序直接拼接。

2、对所述字幕不同的视频画面进行拼接还可以是从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。例如，按照50个字幕不同的视频画面在所述视频文件中的时间顺序对截取的字幕区域进行拼接。参阅图2所示，是按照字幕不同的视频画面在视频文件中的时间顺序对截取的字幕区域进行拼接的示意图。图2中，左边是识别得到的字幕不同的视频画面(右上角是该视频画面在视频文件中的时间)，中间是从所述字幕不同的视频画面中截取得到的字幕区域，右边是对截取的字幕区域进行拼接得到的拼接画面。

可以指定视频画面的拼接方向，对所述字幕不同的视频画面按照指定的拼接方向进行拼接。例如，对所述字幕不同的视频画面从上到下或者从左到右进行拼接。参阅图3所示，是对所述字幕不同的视频画面从上到下进行拼接的示意图。参阅图4所示，是对所述字幕不同的视频画面从左到右进行拼接的示意图。

实施例一的视频画面拼接方法从视频文件中获取多个视频画面，从所述多个视频画面中识别字幕不同的视频画面，对所述字幕不同的视频画面进行拼接，从而实现视频中不同字幕的视频画面的拼接，方便了用户查阅和分享视频中的字幕。

基于实施例一所提供的视频图像拼接方式，本发明提供实施例二说明如何根据视频画面之间的相似度采用不同的拼接方式。如图5所示，该方法具体包括以下步骤：

501：判断所述字幕不同的视频画面之间的相似度是否小于指定值。可以采用各种图像相似度算法计算所述字幕不同的视频画面之间的相似度。例如，采用SIFT(Scale-invariant Feature Transform，尺度不变特征转换)算法、HOG(Histogram of Oriented Gradient，方向梯度直方图)算法、小波变换等计算所述字幕不同的视频画面之间的相似度。

502：如果所述字幕不同的视频画面之间的相似度小于指定值，对所述字幕不同的视频画面直接拼接。

所述字幕不同的视频画面之间的相似度小于指定值表示所述字幕不同的视频画面之间的相似度不高，此时对所述字幕不同的视频画面直接拼接，以保留每个字幕不同的视频画面。例如，将识别得到的50个字幕不同的视频画面直接拼接。

503：如果所述字幕不同的视频画面之间的相似度不小于指定值，从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。

所述字幕不同的视频画面之间的相似度不小于(如大于)指定值表示所述字幕不同的视频画面之间的相似度较高，此时从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接，以保留所述字幕不同的视频画面中的字幕区域而忽略其他区域。例如，从识别得到的50个字幕不同的视频画面中分别截取字幕区域，对截取的字幕区域进行拼接。

对截取的字幕区域进行拼接时，可以保留所述字幕不同的视频画面中的一个视频画面(如识别得到的第一个字幕不同的视频画面)，将从其他字幕不同的视频画面中截取的字幕区域与保留的视频画面(如识别的得到的第一个字幕不同的视频画面)进行拼接。

实施例二的视频画面拼接方法从视频文件中获取多个视频画面，从所述多个视频画面中识别字幕不同的视频画面，当所述字幕不同的视频画面之间的相似度小于指定值时，对所述字幕不同的视频画面直接拼接，当所述字幕不同的视频画面之间的相似度不小于指定值时，从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接，从而实现根据视频画面的相似度对视频中不同字幕的视频画面的拼接，并较少了数据冗余，方便了用户查阅和分享视频中的字幕。

实施例三

图6为本发明实施例三提供的视频画面拼接装置的结构图。如图6所示，所述视频画面拼接装置10可以包括：获取单元601、识别单元602及拼接单元603。

获取单元601，用于从视频文件中获取多个视频画面。

获取单元601可以从所述视频文件中获取每一帧视频画面。例如，所述视频文件的长度为1分钟，每秒24帧图像，则获取24*60＝1440个视频画面。

获取单元601还可以以预设时间间隔从所述视频文件中获取视频画面。例如，所述视频文件的长度为1分钟，每隔1秒获取一个视频画面，则获取60个视频画面。因为视频中字幕的改变并不会太快，所以一定时间间隔并不会导致数据遗漏，因此以预设时间间隔从所述视频文件中获取视频画面可以保证字幕完整的同时减少需要处理的图像的数量，减少后续的运算量，快速得到拼接画面。

本实施例中，获取单元601从视频文件中获取所述多个视频画面或者从播放的视频中截取所述多个视频画面。例如，按照指定时间间隔从播放的视频中截取所述多个视频画面，例如每隔1秒从所述播放的视频中截取一个视频画面。

识别单元602，用于从所述多个视频画面中识别字幕不同的视频画面。

所述字幕不同的视频画面中后一个识别得到的视频画面的字幕不同于前一个识别得到的视频画面的字幕。

识别单元602可以识别获取的视频画面的字幕，将获取的视频画面的字幕进行比较，得到所述字幕不同的视频画面。例如，从视频文件中获取到60个视频画面，根据视频播放时60个视频画面显示的先后顺序，将获取的第一个视频画面作为识别得到的第一个字幕不同的视频画面，将获取的第二个视频画面的字幕与所述第一个字幕不同的视频画面的字幕进行比较，如果第二个视频画面的字幕与所述第一个字幕不同的视频画面的字幕不同，则将获取的第二个视频画面作为第二个字幕不同的视频画面，再将获取的第三个视频画面的字幕与所述第二个字幕不同的视频画面的字幕进行比较。另外，如果第二个视频画面的字幕与所述第一个字幕不同的视频画面的字幕相同，删除第二个视频画面；然后将获取的第三个视频画面的字幕与第一个字幕不同的视频画面的字幕进行比较。以此类推，直至比较完获取的所有视频画面。

拼接单元603，用于对所述字幕不同的视频画面进行拼接。

拼接单元603可以按照所述字幕不同的视频画面在所述视频文件中的时间顺序对所述字幕不同的视频画面进行拼接。例如，识别得到50个字幕不同的视频画面，按照所述50个字幕不同的视频画面在所述视频文件中的时间顺序对所述50个字幕不同的视频画面进行拼接。

拼接单元603对所述字幕不同的视频画面进行拼接可以是对所述字幕不同的视频画面直接拼接。例如，将识别得到的50个字幕不同的视频画面按照所述50个字幕不同的视频画面在所述视频文件中的时间顺序直接拼接。

拼接单元603对所述字幕不同的视频画面进行拼接还可以是从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。例如，从识别得到的50个字幕不同的视频画面中分别截取字幕区域，并按照50个字幕不同的视频画面在所述视频文件中的时间顺序对截取的字幕区域进行拼接。

另外还可以指定视频画面的拼接方向，对所述字幕不同的视频画面按照指定的拼接方向进行拼接。例如，对所述字幕不同的视频画面从上到下或者从左到右进行拼接。

可选的，拼接单元603可以根据截取的视频画面的相似度，进行视频画面拼接方式的选择，则该拼接单元303具体用于：判断所述字幕不同的视频画面之间的相似度是否小于指定值，当所述字幕不同的视频画面之间的相似度小于指定值时，对所述字幕不同的视频画面直接拼接，当所述字幕不同的视频画面之间的相似度不小于指定值时，从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接。

拼接单元603可以采用各种图像相似度算法计算所述字幕不同的视频画面之间的相似度。例如，采用SIFT(Scale-invariant Feature Transform，尺度不变特征转换)算法、HOG(Histogram of Oriented Gradient，方向梯度直方图)算法、小波变换等计算所述字幕不同的视频画面之间的相似度。

所述字幕不同的视频画面之间的相似度小于指定值表示所述字幕不同的视频画面之间的相似度不高，此时对所述字幕不同的视频画面直接拼接，以保留每个字幕不同的视频画面。

所述字幕不同的视频画面之间的相似度不小于(如大于)指定值表示所述字幕不同的视频画面之间的相似度较高，此时从所述字幕不同的视频画面中截取字幕区域，对截取的字幕区域进行拼接，以保留所述字幕不同的视频画面中的字幕区域并省略其他内容相同的区域。

对截取的字幕区域进行拼接时，可以保留所述字幕不同的视频画面中的一个视频画面(如识别的得到的第一个字幕不同的视频画面)，将从其他字幕不同的视频画面中截取的字幕区域与保留的视频画面(如识别的得到的第一个字幕不同的视频画面)进行拼接。

实施例三的视频画面拼接装置从视频文件中获取多个视频画面，从所述多个视频画面中识别字幕不同的视频画面，对所述字幕不同的视频画面进行拼接，从而实现视频中不同字幕的视频画面的拼接，方便了用户查阅和分享视频中的字幕。

实施例四

图7为实现本发明视频画面拼接方法的电子设备的结构示意图。所述电子设备1包括视频画面拼接装置10。所述电子设备1还包括存储设备20、处理设备30及显示设备40。

优选地，本发明的视频画面拼接方法通过所述电子设备1中的视频画面拼接装置10来实现。

所述电子设备1是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述电子设备1可以是，但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

所述电子设备1所处的网络包括，但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

所述存储设备20用于存储所述视频画面拼接装置10中各个程序段的程序代码。所述存储设备20可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所述处理设备30可以包括一个或者多个微处理器、数字处理器。所述处理设备30执行所述视频画面拼接装置10的各个程序段的程序代码，从视频文件中获取多个视频画面，从所述多个视频画面中识别字幕不同的视频画面，对所述字幕不同的视频画面进行拼接，从而实现视频中不同字幕的视频画面的拼接，方便了用户查阅和分享视频中的字幕。

所述显示设备40可以是触摸屏等用于显示画面的设备，可以显示视频画面。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由同一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。