多终端同步播放包含纯音频流时的参考时钟设计方法与流程

本发明属于流媒体制作与播放，具体涉及一种多终端同步播放包含纯音频流时的参考时钟设计方法。

背景技术：

1、多种不同类型的智能终端设备，在播放同一个节目源时，用户往往希望能实现同步播放，即任意时刻在不同播出设备上，看到的画面是同步的。而实际上，由于流媒体的传输往往经过很多环节(内容生产端-源站-内容分发-消费终端)，每个环节都会产生不同程度的延时；来自数据源的流初始携带的音视频帧的时间戳，经过多环节分发，传输过程中通常会被中间或者边缘节点的流媒体服务器改掉，另外，不同设备上的时钟并不能实现完全同步，因此缺乏用于实现同步的共同参考。这种同步的共同参考可以定义为数据源码流经过各种传输和分发环节不被改变的并且和数据源码流里当前的音视频帧对应的时间戳信息。

2、通常情况下，多终端需要同步播放的都是数据源码流经过各个传输和分发环节后的码流，同时包含音频和视频的编码数据。这种同步的共同参考可以通过在封装格式或者编码数据里自定义加入。但是对于一些特定的应用场景，某些终端待同步播放的是纯音频的流，数据源是纯音频或者参与同步的某些终端只能播音频流，并且指定了封装格式和音频编码格式，无法通过对应的封装格式和编码数据加入同步播放需要共同参考的时间戳。

技术实现思路

1、鉴于以上存在的问题，本发明提供一种多终端同步播放包含纯音频流时的参考时钟设计方法，旨在不需要对终端进行精确授时同步的情况下，提供一种时间戳的标定机制，在参与同步播放的终端包含纯音频流的情况，也能使不同终端设备的用户能够获取并采用作为共同的时间基准，作为同步播放的依据。

2、为解决上述技术问题，本发明采用如下的技术方案：

3、一种多终端同步播放包含纯音频流时的参考时钟设计方法，包括以下步骤：

4、在直播或点播任务启动的时候，获得数据源码流，指定同步基准时间戳的初始值；

5、指定输出的文件封装格式，启动一个视频流编码的任务，同步生成一条冗余视频流；

6、数据源码流解封装，解析出的内容包括音频帧，进行同步时间戳计算；

7、针对冗余视频流，在视频帧补充增强信息sei部分，按照规范自定义关于同步时间戳的载荷类型，并在载荷的内容部分写入实际的视频帧的同步时间戳的值；

8、将数据源码流中包含的音频帧，以及加入自定义同步时间戳信息的视频数据帧按照任务指定的文件格式重新封装；

9、不同终端获取到待同步播放的码流，解封装，从视频流里获取到新定义的时间戳值，作为同步播放的依据。

10、一种可能的设计中，冗余视频流用于作为同步时间戳的携带载体，不包含真正有意义的画面数据；所述冗余视频流遵守编码规范。

11、一种可能的设计中，所述冗余视频流编码参数占用尽量小的传输带宽，设置尽量低的分辨率和传输码率。

12、一种可能的设计中，数据源码流解封装，解析出每一个音频帧，进行同步时间戳计算具体包括：根据输出冗余码流指定的帧率信息计算对应的视频帧序列的时间戳信息。

13、一种可能的设计中，数据源码流解封装，解析出的内容包括视频帧，进行音频帧和视频帧的同步时间戳计算。

14、一种可能的设计中，进行音频帧和视频帧的同步时间戳计算包括：

15、音频帧对应的时间戳为timestampa1，timestampa2，…，timestampan；视频帧对应的时间戳为timestampv1，timestampv2，…，timestampvn，下标1到n表示帧序列号；

16、对于第一帧音频或第一视频的时间戳值timestampa1，timestampv1，选择其中较小的一个，若timestampa1<timestampv1，设置第一帧音频帧的同步时间戳的值为ptsat1＝ptst1，而第一帧的视频帧的同步时间戳的值为ptsvt1＝(ptst1+timestampv1-timestampa1)；反之亦然；

17、对于后续的音频帧，其同步时间戳的值为相对于前一个音频帧同步时间戳的增量；对于后续的视频帧，其同步时间戳的值为相对于前一个视频帧同步时间戳的增量。

18、采用本发明具有如下的有益效果：本发明实施例提供的参考时钟设计方法，对于多终端同步播放且数据源或者某些终端待播放的流仅包含音频流的场景，通过新添加一条小数据量的视频流，把新定义的参考时间戳固化在码流里，消除了中间环节原始时间戳被改变的风险；对于输出码流指定封装格式和音频编码格式的情况，提供了一种通用的处理方式，保证中间传输环节和最终的终端不会处理异常，并且终端按照定义的规则处理后可以作为同步播放的基准。

技术特征：

1.一种多终端同步播放包含纯音频流时的参考时钟设计方法，其特征在于，包括以下步骤：

2.如权利要求1所述的多终端同步播放包含纯音频流时的参考时钟设计方法，其特征在于，冗余视频流用于作为同步时间戳的携带载体，不包含真正有意义的画面数据；所述冗余视频流遵守编码规范。

3.如权利要求1所述的多终端同步播放包含纯音频流时的参考时钟设计方法，其特征在于，所述冗余视频流编码参数占用尽量小的传输带宽，设置尽量低的分辨率和传输码率。

4.如权利要求1所述的多终端同步播放包含纯音频流时的参考时钟设计方法，其特征在于，数据源码流解封装，解析出每一个音频帧，进行同步时间戳计算具体包括：根据输出冗余码流指定的帧率信息计算对应的视频帧序列的时间戳信息。

5.如权利要求1至4任一所述的多终端同步播放包含纯音频流时的参考时钟设计方法，其特征在于，数据源码流解封装，解析出的内容包括视频帧，进行音频帧和视频帧的同步时间戳计算。

6.如权利要求5所述的多终端同步播放包含纯音频流时的参考时钟设计方法，其特征在于，进行音频帧和视频帧的同步时间戳计算包括：

技术总结
本发明公开了一种多终端同步播放包含纯音频流时的参考时钟设计方法，包括以下步骤：在直播或点播任务启动的时候，获得数据源码流，指定同步基准时间戳的初始值；指定输出的文件封装格式，启动一个视频流编码的任务，同步生成一条冗余视频流；数据源码流解封装，解析出的内容包括音频帧，进行同步时间戳计算；针对冗余视频流，在视频帧补充增强信息SEI部分，按照规范自定义关于同步时间戳的载荷类型，并在载荷的内容部分写入实际的视频帧的同步时间戳的值；将数据源码流中包含的音频帧，以及加入自定义同步时间戳信息的视频数据帧按照任务指定的文件格式重新封装；不同终端获取到待同步播放的码流，解封装，从视频流里获取到新定义的时间戳值。

技术研发人员：张华,陈勇,裘昊,王雪辉
受保护的技术使用者：杭州当虹科技股份有限公司
技术研发日：
技术公布日：2024/1/12