延时信息的确定方法及装置与流程

本申请实施例涉及计算机，具体涉及流媒体，尤其涉及一种延时信息的确定方法、装置、计算机可读介质及电子设备。

背景技术：

1、直播或rtc(real-time communication，实时通信)流媒体全链路中的各个环节都会占用传输时延，造成直播或rtc观看延时。如何优化传输延时，一直是直播或视频会议服务优化的重要需求。而能够定位哪几个环节占用延时，并且有针对性地降低延时是目前急需解决的问题。现有技术中，主要是通过时间戳差值、音频波形波峰、视频画面时间变化等端到端的统计手段确定延时信息，并不能精准定位到每个环节。

技术实现思路

1、本申请实施例提出了一种延时信息的确定方法、装置、计算机可读介质及电子设备。

2、第一方面，本申请实施例提供了一种延时信息的确定方法，包括：在流媒体数据的传输过程中，确定流媒体数据处于流媒体传输链路中的每个环节的系统时间；基于流媒体数据中的补充增强信息帧记录系统时间；根据补充增强信息帧中记录的各个环节对应的系统时间，确定流媒体数据在流媒体传输链路中的各个环节的延时信息。

3、在一些示例中，上述基于流媒体数据中的补充增强信息帧记录系统时间，包括：在流媒体传输链路中的推流环节，采用自定义属性格式记录包括当前系统时间的补充增强信息；打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包；对于流媒体传输链路中推流环节之后的每个环节，依次将当前环节对应的系统时间追加到补充数据包中。

4、在一些示例中，上述打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包，包括：对应于流媒体数据中的关键帧，在生成关键帧对应的视频数据包之前，打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包。

5、在一些示例中，上述打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包，包括：独立于关键帧对应的视频数据包，打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包。

6、在一些示例中，上述在流媒体传输链路中的推流环节，采用自定义属性格式记录包括当前系统时间的补充增强信息，包括：在推流环节，采用“类型-长度-值”的二进制格式记录补充增强信息所包括的各种信息；采用自定义属性格式记录补充增强信息。

7、在一些示例中，上述在推流环节，采用“类型-长度-值”的二进制格式记录补充增强信息所包括的各种信息，包括：在推流环节，对于补充增强信息中采用“类型-长度-值”的二进制格式记录的各种信息，将该种信息对应的原始二进制数据转换为采用预设编码格式的数据。

8、在一些示例中，上述对于流媒体传输链路中推流环节之后的每个环节，依次将当前环节对应的系统时间追加到补充数据包中，包括：对于流媒体传输链路中推流环节之后的每个环节，解码来自前一环节、采用预设编码格式的补充数据包，得到解码后数据；在解码后数据中追加当前环节对应的系统时间，得到补充后数据；采用预设编码格式编码补充后数据，得到当前环节对应的补充数据包，并将得到的补充数据包传输至下一环节。

9、第二方面，本申请实施例提供了一种延时信息的确定装置，包括：第一确定单元，被配置成在流媒体数据的传输过程中，确定流媒体数据处于流媒体传输链路中的每个环节的系统时间；记录单元，被配置成基于流媒体数据中的补充增强信息帧记录系统时间；第二确定单元，被配置成根据补充增强信息帧中记录的各个环节对应的系统时间，确定流媒体数据在流媒体传输链路中的各个环节的延时信息。

10、在一些示例中，上述记录单元，进一步被配置成：在流媒体传输链路中的推流环节，采用自定义属性格式记录包括当前系统时间的补充增强信息；打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包；对于流媒体传输链路中推流环节之后的每个环节，依次将当前环节对应的系统时间追加到补充数据包中。

11、在一些示例中，上述记录单元，进一步被配置成：对应于流媒体数据中的关键帧，在生成关键帧对应的视频数据包之前，打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包。

12、在一些示例中，上述记录单元，进一步被配置成：独立于关键帧对应的视频数据包，打包补充增强信息，得到表征推流环节对应的补充增强信息帧的补充数据包。

13、在一些示例中，上述记录单元，进一步被配置成：在推流环节，采用“类型-长度-值”的二进制格式记录补充增强信息所包括的各种信息；采用自定义属性格式记录补充增强信息。

14、在一些示例中，上述记录单元，进一步被配置成：对于补充增强信息中采用“类型-长度-值”的二进制格式记录的各种信息，将该种信息对应的原始二进制数据转换为采用预设编码格式的数据。

15、在一些示例中，上述记录单元，进一步被配置成：对于流媒体传输链路中推流环节之后的每个环节，解码来自前一环节、采用预设编码格式的补充数据包，得到解码后数据；在解码后数据中追加当前环节对应的系统时间，得到补充后数据；采用预设编码格式编码补充后数据，得到当前环节对应的补充数据包，并将得到的补充数据包传输至下一环节。

16、第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面任一实现方式描述的方法。

17、第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。

18、本申请实施例提供的延时信息的确定方法及装置，通过在流媒体数据的传输过程中，确定流媒体数据处于流媒体传输链路中的每个环节的系统时间；基于流媒体数据中的补充增强信息帧记录系统时间；根据补充增强信息帧中记录的各个环节对应的系统时间，确定流媒体数据在流媒体传输链路中的各个环节的延时信息，从而提供了一种能够确定流媒体传输链路中的各个环节的延时信息的方法，提高了所确定的流媒体数据在流媒体传输链路中的延时信息的针对性和准确度。

技术特征：

1.一种延时信息的确定方法，包括：

2.根据权利要求1所述的方法，其中，所述基于所述流媒体数据中的补充增强信息帧记录所述系统时间，包括：

3.根据权利要求2所述的方法，其中，所述打包所述补充增强信息，得到表征所述推流环节对应的补充增强信息帧的补充数据包，包括：

4.根据权利要求3所述的方法，其中，所述打包所述补充增强信息，得到表征所述推流环节对应的补充增强信息帧的补充数据包，包括：

5.根据权利要求2所述的方法，其中，所述在所述流媒体传输链路中的推流环节，采用自定义属性格式记录包括当前系统时间的补充增强信息，包括：

6.根据权利要求5所述的方法，其中，所述在所述推流环节，采用“类型-长度-值”的二进制格式记录所述补充增强信息所包括的各种信息，包括：

7.根据权利要求6所述的方法，其中，所述对于所述流媒体传输链路中所述推流环节之后的每个环节，依次将当前环节对应的系统时间追加到所述补充数据包中，包括：

8.一种延时信息的确定装置，包括：

9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

10.一种电子设备，包括：

技术总结
本申请公开了一种延时信息的确定方法及装置。方法的一具体实施方式包括：在流媒体数据的传输过程中，确定流媒体数据处于流媒体传输链路中的每个环节的系统时间；基于流媒体数据中的补充增强信息帧记录系统时间；根据补充增强信息帧中记录的各个环节对应的系统时间，确定流媒体数据在流媒体传输链路中的各个环节的延时信息。本申请能够确定流媒体传输链路中的各个环节的延时信息，提高了所确定的流媒体数据在流媒体传输链路中的延时信息的针对性和准确度。

技术研发人员：张俊勤
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：
技术公布日：2024/1/15