一种视频拼接方法、设备、系统和存储介质与流程

本技术涉及视频监控，尤其涉及一种视频拼接方法、设备、系统和存储介质。

背景技术：

1、随着影像技术的日新月异，拍摄装置的功能也不断丰富多样，比如多目、变焦等，其拍摄装置所拍摄的图片质量、清晰度也在不断提高。其中，影像技术可以应用于视频监控技术领域的监控设备。各视频监控厂家也会将监控设备与视频处理设备相互通信，以便用户能够随时查看监控内容、录像回放，或者对监控设备进行控制。

2、视频监控技术领域中多目摄像设备为监控设备之一。多目摄像设备上通常搭载有多个拍摄装置，能够拍摄多个角度的视频，比如全景、特写等。视频处理设备可以将来自多个拍摄装置中的视频进行拼接，以得到拼接后的目标视频。然而现有技术中在进行视频拼接时，可能会存在多个视频拼接为一个目标视频时，视频丢帧的情况，从而导致目标视频中的数据不完整。

技术实现思路

1、本技术实施例提供一种视频拼接方法、设备、系统和存储介质，该方案用于解决如何将多个视频拼接为一个目标视频时不丢帧，以保证目标视频的数据完整的技术问题。

2、第一方面，本技术实施例提供一种视频拼接方法，应用于视频处理设备，该方法包括：获取多路视频源中每路视频源对应的视频，视频包括：多个视频帧，或者多路视频源中存在至少一路视频源对应的视频包括1个视频帧，其他路视频源对应的视频包括视频帧的数量为多个。根据每个视频中的多个视频帧中每一视频帧的时间戳，拼接多个视频的视频帧，以得到一个目标视频，目标视频包括：多个目标视频帧，目标视频的帧率与第一视频的帧率相同，第一视频的帧率在多个视频中最高，一个目标视频帧包括第一视频包括的多个视频帧中的一个视频帧，以及多个视频中除第一视频外其他视频包括的多个视频帧中的一个视频帧，且不同目标视频帧所包括的第一视频的视频帧不同。

3、本技术实施例提供一种视频拼接方法，应用于视频处理设备，视频处理设备通过获取多个视频，视频包括多个视频帧，以及每一视频帧的时间戳；然后，根据每个视频中的多个视频帧以及每一视频帧的时间戳，拼接多个视频，这样可以得到拼接后的一个目标视频，目标视频包括多个目标视频帧以及每一目标视频帧的时间戳，且多个视频中的任一视频帧包含于多个目标视频帧中，这样，每个视频的任一视频帧可以在多个目标视频帧的一个目标视频帧中找到；由于目标视频的帧率与多个视频中最高的帧率相同，因此每个视频在拼接后得到的目标视频中播放时帧率不会降低，从而解决了如何将多个视频拼接为一个目标视频时不丢帧，以保证目标视频的数据完整的技术问题。

4、在本技术的一种可能的实现方式中，其他视频存在第二视频，第二视频与第一视频具有不同的帧率，第二视频包括的多个视频帧中存在至少一个视频帧分别对应第一视频中的至少两个视频帧。

5、在本技术的一种可能的实现方式中，获取多路视频源中每路视频源对应的视频之后，方法还包括：根据图像拼接方式，以多个视频中的第三视频的第一尺寸为基准，调整除第三视频外的其他视频的分辨率，以使得各个视频的第一尺寸相同，第一尺寸为多个视频的分辨率中的宽度或高度。

6、在本技术的一种可能的实现方式中，获取多路视频源中每路视频源对应的视频之后，方法还包括：统一多个视频的像素格式。

7、在本技术的一种可能的实现方式中，第一视频包括m个视频帧，第二视频包括n个视频帧，m为大于或等于2的整数，n为大于或等于1的整数，且m≠n，根据每个视频中的多个视频帧中每一视频帧的时间戳，拼接多个视频的视频帧，以得到一个目标视频，包括：拼接第一视频中的首个视频帧和第二视频中的首个视频帧，以得到首个目标视频帧。根据m个视频帧中的每一视频帧的时间戳，以及n个视频帧中的每一视频帧的时间戳，得到至少一个目标视频帧，以及目标视频帧的时间戳。根据首个目标视频帧、至少一个目标视频帧，以及各目标视频帧的时间戳，得到目标视频。

8、在本技术的一种可能的实现方式中，根据m个视频帧中的每一视频帧的时间戳，以及n个视频帧中的每一视频帧的时间戳，得到至少一个目标视频帧，以及目标视频帧的时间戳，包括：确定第一视频的第i个视频帧为第一待拼接视频帧，2≤i≤m。根据第一待拼接视频帧，从第二视频的第j个视频帧和第j-1个视频帧中确定第二待拼接视频帧，第二待拼接视频帧的时间戳离第一待拼接视频帧的时间戳最近，2≤j≤n。拼接第一待拼接视频帧和第二待拼接视频帧，以得到一个目标视频帧。根据第一待拼接视频帧的时间戳确定目标视频帧的时间戳。重复执行上述步骤，以得到至少一个目标视频帧，以及每一目标视频帧的时间戳。

9、在本技术的一种可能的实现方式中，在n＝1的情况下，则任一目标视频帧的第二待拼接视频帧相同。在第二待拼接视频帧为第n个视频帧，则目标视频中的最后至少一个目标视频帧包括第n个视频帧。

10、在本技术的一种可能的实现方式中，获取多路视频源中每路视频源对应的视频，包括：获取多路视频源。对多路视频源进行硬件解码，以得到每路视频源对应的视频。或者，在任一视频源和/或视频处理设备不支持硬件解码的情况下，对任一视频源进行软件解码，以得到任一视频源对应的视频。

11、在本技术的一种可能的实现方式中，根据每个视频中的一个或多个视频帧以及每一视频帧的时间戳，拼接多个视频，以得到一个目标视频之后，方法还包括：对目标视频进行硬件编码或软件编码，以得到编码后的目标视频。输出编码后的目标视频。

12、在本技术的一种可能的实现方式中，对目标视频进行硬件编码或软件编码，方法还包括：在目标视频和/或视频处理设备不支持硬件编码的情况下，对目标视频进行软件编码，以得到编码后的目标视频。

13、在本技术的一种可能的实现方式中，对目标视频进行硬件编码或软件编码，方法还包括：目标视频的分辨率不符合第二预设条件，则更新目标视频的分辨率为符合第二预设条件的目标分辨率。

14、第二方面，本技术实施例提供一种视频处理装置，该视频处理装置可以实现第一方面或第一方面的任意可能的实现方式中的方法，因此也能实现第一方面或第一方面任意可能的实现方式中的有益效果。该视频处理装置可以为视频处理设备，也可以为支持视频处理设备实现第一方面或第一方面的任意可能的实现方式中的方法的装置，例如应用于视频处理设备中的芯片或者控制电路。该视频处理装置可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。

15、作为一种示例，本技术实施例提供一种视频处理装置，该视频处理装置为客户端或者为应用于视频处理设备中的芯片，该视频处理装置包括：获取单元和图像处理单元。其中，获取单元，用于获取多路视频源中每路视频源对应的视频，视频包括：多个视频帧，或者多路视频源中存在至少一路视频源对应的视频包括1个视频帧，其他路视频源对应的视频包括视频帧的数量为多个。图像处理单元，用于根据每个视频中的多个视频帧中每一视频帧的时间戳，拼接多个视频的视频帧，以得到一个目标视频，目标视频包括：多个目标视频帧，目标视频的帧率与第一视频的帧率相同，第一视频的帧率在多个视频中最高，一个目标视频帧包括第一视频包括的多个视频帧中的一个视频帧，以及多个视频中除第一视频外其他视频包括的多个视频帧中的一个视频帧，且不同目标视频帧所包括的第一视频的视频帧不同。

16、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：调整单元。调整单元，用于根据图像拼接方式，以多个视频中的第三视频的第一尺寸为基准，调整除第三视频外的其他视频的分辨率，以使得各个视频的第一尺寸相同，第一尺寸为多个视频的分辨率中的宽度或高度。

17、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：统一单元。统一单元，用于统一多个视频的像素格式。

18、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：拼接单元。拼接单元，用于拼接第一视频中的首个视频帧和第二视频中的首个视频帧，以得到首个目标视频帧。

19、在本技术的一种可能的实现方式中，获取单元，还用于根据m个视频帧中的每一视频帧的时间戳，以及n个视频帧中的每一视频帧的时间戳，得到至少一个目标视频帧，以及目标视频帧的时间戳。

20、在本技术的一种可能的实现方式中，获取单元，还用于根据首个目标视频帧、至少一个目标视频帧，以及各目标视频帧的时间戳，得到目标视频。

21、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：确定单元。确定单元，用于确定第一视频的第i个视频帧为第一待拼接视频帧。

22、在本技术的一种可能的实现方式中，确定单元，还用于根据第一待拼接视频帧，从第二视频的第j个视频帧和第j-1个视频帧中确定第二待拼接视频帧，第二待拼接视频帧的时间戳离第一待拼接视频帧的时间戳最近，2≤j≤n。

23、在本技术的一种可能的实现方式中，拼接单元，还用于拼接第一待拼接视频帧和第二待拼接视频帧，以得到一个目标视频帧。

24、在本技术的一种可能的实现方式中，确定单元，还用于根据第一待拼接视频帧的时间戳确定目标视频帧的时间戳。

25、在本技术的一种可能的实现方式中，获取单元，还用于获取多路视频源。

26、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：解码单元。解码单元，用于对多路视频源进行硬件解码，以得到每路视频源对应的视频，或者，在任一视频源和/或视频处理设备不支持硬件解码的情况下，对任一视频源进行软件解码，以得到任一视频源对应的视频。

27、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：编码单元。编码单元，用于对目标视频进行硬件编码或软件编码，以得到编码后的目标视频。

28、在本技术的一种可能的实现方式中，本技术实施例所提供的视频处理装置还包括：输出单元。输出单元，用于输出编码后的目标视频。

29、在本技术的一种可能的实现方式中，编码单元，还用于目标视频的分辨率不符合第二预设条件，则更新目标视频的分辨率为符合第二预设条件的目标分辨率。

30、第三方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行如第一方面至第一方面的任意一种可能的实现方式中描述的一种视频拼接方法。

31、第四方面，本技术实施例提供一种包括指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行第一方面或第一方面的各种可能的实现方式中描述的一种视频拼接方法。

32、第五方面，本技术实施例提供一种视频处理装置用于实现上述第一方面或第一方面的任一方面的各种可能的设计中的各种方法。该视频处理装置可以为上述视频处理设备，或者包含上述视频处理设备的装置，或者应用于视频处理设备中的部件(例如，芯片)。

33、第五方面描述的视频处理装置包括实现上述方法相应的模块、单元、该模块、单元可以通过硬件实现，软件实现，或者通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块或单元。

34、第六方面，本技术实施例提供了视频处理设备，该视频处理设备包括：至少一个处理器和通信接口。其中，当该视频处理设备运行时，该处理器执行该视频处理设备中存储的计算机执行指令或程序，以使该视频处理设备执行如上述第一方面或第一方面中任一方面的各种可能的设计中的任一项的方法。例如，该视频处理设备可以为视频处理装置，或者为应用于视频处理装置中的部件。

35、应理解，上述第六方面中描述的通信装置中还可以包括：总线和存储器，存储器用于存储代码和数据。可选的，至少一个处理器通信接口和存储器相互耦合。

36、第七方面，本技术实施例提供一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现第一方面或第一方面的各种可能的实现方式中所描述的一种视频处理方法。通信接口用于与芯片之外的其它模块进行通信。

37、第八方面，本技术实施例提供了一种视频处理系统，该系统包括：视频处理设备和视频源设备，视频处理设备与视频源设备连接。其中，视频处理设备用于执行第一方面或第一方面的各种可能的实现方式中所描述的一种视频拼接方法。

38、第九方面，本技术实施例提供了一种视频处理设备，该设备包括：图像处理单元以及视频采集单元。其中，视频采集单元用于采集多路视频源，多路视频源用于确定多个视频，图像处理单元用于执行第一方面或第一方面的各种可能的实现方式中所描述的一种视频拼接方法。