视频转码方法、装置、电子设备和存储介质与流程

本技术涉及视频，具体涉及一种视频转码方法、装置、电子设备和存储介质。

背景技术：

1、在直播场景中，主播端可能需要将一些与当前直播画面相关的信息传递给观众端，直播(视频转码)过程需要保证这类信息与当前直播画面的同步，否则可能失去时效性。例如，当主播处于连麦状态时，可能需要将不同连麦方的音量、网络状态、麦克风是否关闭等实时信息传递给观众端，以便观众实时了解当前主播的连麦状态。

2、在h.264/h.265/h.266等视频编码标准中，补充增强信息(supplementalenhancement information，sei)提供了向视频码流中加入额外信息的方法。然而，目前的视频转码软件一般在转码后对sei不做保留，导致观众端无法获得视频画面的同步信息。

技术实现思路

1、本技术提供一种视频转码方法、装置、电子设备和存储介质，可以保证与视频显示相关的用户自定义信息的完整性和实时性，实现用户自定义信息与视频画面的同步。

2、第一方面，本技术实施例提供了一种视频转码方法，所述方法包括：

3、获取源视频，所述源视频中携带补充增强信息；

4、对所述源视频进行解码，获得所述源视频中各视频帧的图像数据、以及所述源视频中的补充增强信息；

5、对所述源视频中的补充增强信息进行解析，获得第一类补充增强信息，确定所述第一类补充增强信息关联的第一视频帧，所述第一类补充增强信息与视频显示相关；

6、根据所述第一视频帧的图像数据以及关联的第一类补充增强信息进行编码，获得所述第一视频帧对应的转码后数据。

7、通过上述实施例，引入了第一类补充增强信息，用于表示与视频显示相关的补充增强信息，用户可以将需要与视频画面同步显示的自定义信息作为第一类补充增强信息添加到源视频中，服务器在对源视频进行转码时，可以先对源视频进行解码得到源视频中各视频帧的图像数据以及源视频中的补充增强信息，并对源视频中的补充增强信息进行解析得到第一类补充增强信息，并确定第一类补充增强信息关联的第一视频帧，然后将第一视频帧的图像数据与关联的第一类补充增强信息一起进行重新编码，得到第一视频帧对应的转码后数据。据此，第一视频帧对应的转码后数据保留了第一类补充增强信息，从而可以保证用户自定义信息的完整性和实时性，有助于实现用户自定义信息与视频画面的同步显示。

8、在第一方面的一种可能的实施方式中，所述源视频中的补充增强信息包括至少一个视频帧关联的补充增强信息；所述对所述源视频中的补充增强信息进行解析，获得第一类补充增强信息，包括：

9、对所述至少一个视频帧中各视频帧关联的补充增强信息进行解析，获得各补充增强信息中负载数据的类型；

10、将负载数据的类型为第一类型的补充增强信息确定为第一类补充增强信息。

11、通过上述实施方式，可以解析补充增强信息中负载数据的类型，并根据负载数据的类型确定补充增强信息的类型，具体可以将负载数据的类型为第一类型的补充增强信息确定为第一类补充增强信息，如此可以快速且准确地筛选与视频显示相关的补充增强信息。

12、在第一方面的一种可能的实施方式中，所述第一视频帧对应的转码后数据包括：所述第一视频帧对应的第一编码后视频帧、以及所述第一编码后视频帧关联的补充增强信息；

13、其中，所述第一编码后视频帧关联的补充增强信息与所述第一视频帧关联的第一类补充增强信息相关；

14、所述第一编码后视频帧关联的补充增强信息相对于所述第一编码后视频帧的位置，与所述第一视频帧关联的第一类补充增强信息相对于所述第一视频帧的位置相关。

15、通过上述实施方式，第一视频帧对应的转码后数据包括第一视频帧对应的转码后视频帧以及第一类补充增强信息对应的转码后补充增强信息，使得第一视频帧对应的转码后数据保留了第一类补充增强信息，从而可以保证用户自定义信息的完整性和实时性，有助于实现用户自定义信息与视频画面的同步显示。

16、在第一方面的一种可能的实施方式中，在所述第一编码后视频帧的类型与所述第一视频帧的类型相同的情况下，所述第一编码后视频帧关联的补充增强信息包括：所述第一视频帧关联的第一类补充增强信息对应的第一编码后补充增强信息；

17、所述第一编码后补充增强信息相对于所述第一编码后视频帧的位置，与所述第一视频帧关联的第一类补充增强信息相对于所述第一视频帧的位置相同。

18、通过上述实施方式，在第一视频帧转码前后的类型相同的情况下，第一视频帧关联的第一类补充增强信息转码前后的位置也相同，如此可以保证用户自定义信息的完整性和实时性，有助于实现用户自定义信息与视频画面的同步显示。

19、在第一方面的一种可能的实施方式中，在所述第一视频帧的类型为非关键帧、且所述第一编码后视频帧的类型为关键帧的情况下，所述第一编码后视频帧关联的补充增强信息包括：所述第一视频帧关联的第一类补充增强信息对应的第一编码后补充增强信息、以及所述第一视频帧的前一关键帧关联的第一类补充增强信息对应的第二编码后补充增强信息；

20、所述第二编码后补充增强信息位于所述第一编码后视频帧以及所述第一编码后补充增强信息前面；所述第一编码后补充增强信息相对于所述第一编码后视频帧的位置，与所述第一视频帧关联的第一类补充增强信息相对于所述第一视频帧的位置相同或不同。

21、通过上述实施方式，在第一视频帧转码前后的类型由非关键帧转换为关键帧的情况下，第一视频帧关联的第一类补充增强信息转码前后的位置可以相同或不同，并且在第一编码后视频帧以及第一编码后补充增强信息的前面添加第二编码后补充增强信息，如此不仅可以保证用户自定义信息的完整性和实时性，有助于实现用户自定义信息与视频画面的同步显示，还可以提高视频转码的压缩率，从而减小转码后码流，并且有助于提高预测编码的准确性。

22、在第一方面的一种可能的实施方式中，所述方法还包括：在所述第一视频帧的类型为非关键帧的情况下，检测所述第一编码后视频帧与前一编码后视频帧的差异，其中，所述前一编码后视频帧为所述第一视频帧的前一视频帧对应的编码后视频帧；

23、当所述差异大于或等于第一差异时，确定所述第一编码后视频帧的类型为关键帧。

24、通过上述实施方式，在第一视频帧的类型为非关键帧的情况下，根据第一编码后视频帧与前一编码后视频帧的差异来确定第一编码后视频帧的类型，具体当第一编码后视频帧与前一编码后视频帧的差异大于或等于第一差异时，将第一编码后视频帧确定为一个新的关键帧，如此有助于提高预测编码的准确性。

25、在第一方面的一种可能的实施方式中，所述方法还包括：

26、根据所述第二视频帧的图像数据进行编码，获得所述第二视频帧对应的转码后数据，其中，所述第二视频帧为所述源视频中除所述第一视频帧以外的视频帧，所述第二视频帧对应的转码后数据包括：所述第二视频帧对应的第二编码后视频帧；

27、在所述第二视频帧的类型为非关键帧、且所述第二编码后视频帧的类型为关键帧的情况下，所述第二视频帧对应的转码后数据还包括：所述第二视频帧的前一关键帧关联的第一类补充增强信息对应的第三编码后补充增强信息。

28、通过上述实施方式，在第二视频帧转码前后的类型由非关键帧转换为关键帧的情况下，在第二编码后视频帧的前面添加第三编码后补充增强信息，如此不仅可以保证用户自定义信息的完整性和实时性，有助于实现用户自定义信息与视频画面的同步显示，还可以提高视频转码的压缩率，从而减小转码后码流，并且有助于提高预测编码的准确性。

29、第二方面，本技术实施例提供了一种视频转码装置，所述装置包括：

30、获取单元，用于获取源视频，所述源视频中携带补充增强信息；

31、解码单元，用于对所述源视频进行解码，获得所述源视频中各视频帧的图像数据、以及所述源视频中的补充增强信息；

32、解析单元，用于对所述源视频中的补充增强信息进行解析，获得第一类补充增强信息，确定所述第一类补充增强信息关联的第一视频帧，所述第一类补充增强信息与视频显示相关；

33、编码单元，用于根据所述第一视频帧的图像数据以及关联的第一类补充增强信息进行编码，获得所述第一视频帧对应的转码后数据。

34、在第二方面的一种可能的实施方式中，所述源视频中的补充增强信息包括至少一个视频帧关联的补充增强信息；所述解析单元在对所述源视频中的补充增强信息进行解析，获得第一类补充增强信息时，具体用于：

35、对所述至少一个视频帧中各视频帧关联的补充增强信息进行解析，获得各补充增强信息中负载数据的类型；

36、将负载数据的类型为第一类型的补充增强信息确定为第一类补充增强信息。

37、在第二方面的一种可能的实施方式中，所述第一视频帧对应的转码后数据包括：所述第一视频帧对应的第一编码后视频帧、以及所述第一编码后视频帧关联的补充增强信息；

38、其中，所述第一编码后视频帧关联的补充增强信息与所述第一视频帧关联的第一类补充增强信息相关；

39、所述第一编码后视频帧关联的补充增强信息相对于所述第一编码后视频帧的位置，与所述第一视频帧关联的第一类补充增强信息相对于所述第一视频帧的位置相关。

40、在第二方面的一种可能的实施方式中，在所述第一编码后视频帧的类型与所述第一视频帧的类型相同的情况下，所述第一编码后视频帧关联的补充增强信息包括：所述第一视频帧关联的第一类补充增强信息对应的第一编码后补充增强信息；

41、所述第一编码后补充增强信息相对于所述第一编码后视频帧的位置，与所述第一视频帧关联的第一类补充增强信息相对于所述第一视频帧的位置相同。

42、在第二方面的一种可能的实施方式中，在所述第一视频帧的类型为非关键帧、且所述第一编码后视频帧的类型为关键帧的情况下，所述第一编码后视频帧关联的补充增强信息包括：所述第一视频帧关联的第一类补充增强信息对应的第一编码后补充增强信息、以及所述第一视频帧的前一关键帧关联的第一类补充增强信息对应的第二编码后补充增强信息；

43、所述第二编码后补充增强信息位于所述第一编码后视频帧以及所述第一编码后补充增强信息前面；所述第一编码后补充增强信息相对于所述第一编码后视频帧的位置，与所述第一视频帧关联的第一类补充增强信息相对于所述第一视频帧的位置相同或不同。

44、在第二方面的一种可能的实施方式中，所述编码单元还用于：

45、在所述第一视频帧的类型为非关键帧的情况下，检测所述第一编码后视频帧与前一编码后视频帧的差异，其中，所述前一编码后视频帧为所述第一视频帧的前一视频帧对应的编码后视频帧；

46、当所述差异大于或等于第一差异时，确定所述第一编码后视频帧的类型为关键帧。

47、在第二方面的一种可能的实施方式中，所述编码单元还用于：

48、根据所述第二视频帧的图像数据进行编码，获得所述第二视频帧对应的转码后数据，其中，所述第二视频帧为所述源视频中除所述第一视频帧以外的视频帧，所述第二视频帧对应的转码后数据包括：所述第二视频帧对应的第二编码后视频帧；

49、在所述第二视频帧的类型为非关键帧、且所述第二编码后视频帧的类型为关键帧的情况下，所述第二视频帧对应的转码后数据还包括：所述第二视频帧的前一关键帧关联的第一类补充增强信息对应的第三编码后补充增强信息。

50、第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其任意一种可能的实施方式中的方法。

51、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面及其任意一种可能的实施方式中的方法。

52、第五方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面及其任意一种可能的实施方式中的方法。

53、上述第二方面至第五方面带来的有益效果，可以参考第一方面中有益效果的描述，此处不再赘述。

54、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术的技术方案。