用于确定直播关键帧的方法、装置、存储介质及电子设备与流程

本发明涉及计算机技术，尤其涉及一种用于确定直播关键帧的方法、装置、存储介质及电子设备。

背景技术：

1、在现有技术中，关键帧计算主要用于解决直播内容风险防控中，对所有直播进行均匀截帧后，再对截帧进行内容风险检测时量级过大带来的一系列耗时、成本等问题。但当前的关键帧计算模型服务在直播并发路数较高时，因网络带宽等导致的性能瓶颈会导致服务的响应延时显著延长，某些情况下甚至出现服务不可用的情况。

技术实现思路

1、本说明书实施例的目的是提供一种用于确定直播关键帧的方法、装置、存储介质及电子设备。

2、本说明书实施例提供了一种用于确定直播关键帧的方法，将传统关键帧计算模型服务拆分为算法链路上的特征提取模块与工程链路上的关键帧计算模块，每接收到当前截帧即可调用特征提取模块进行特征向量提取，同时读取历史截帧的特征向量在工程链路进行关键帧计算，可以做到当前截帧是否为关键帧的即时判断，避免模型下载重复截帧触发的网络带宽瓶颈，同时优化了关键帧服务的资源问题与响应延时问题，所述方法包括：

3、过特征提取模块对目标直播的当前截帧进行特征提取，获得所述当前截帧的特征向量，其中，所述当前截帧对应的帧序号为第一序号；

4、将所述当前截帧的特征向量保存至缓存中，删除所述缓存中所述当前截帧对应的目标历史截帧，其中，所述第一序号与所述目标历史截帧对应的目标序号的差值为目标数量；

5、通过关键帧计算模块从所述缓存中读取对应的帧序号从第二序号至所述第一序号的多个截帧的特征向量，根据所述多个截帧的特征向量确定至少一个关键帧，其中，所述第一序号与所述第二序号的差值为所述目标数量减一，所述第二序号对应的截帧的截取时间早于所述第一序号对应的截帧的截取时间；

6、若所述当前截帧在所述至少一个关键帧中，确定所述当前截帧为关键帧。

7、进一步地，所述方法还包括：

8、获得所述目标直播的历史截帧对应的滑动窗口，其中，所述滑动窗口的窗口长度为目标数量，所述滑动窗口的当前右边界为所述当前截帧对应的前一个历史截帧；

9、其中，所述删除所述缓存中所述当前截帧对应的目标历史截帧，包括：

10、将所述滑动窗口向右滑动一个步长，使得所述滑动窗口的当前右边界变为所述当前截帧，删除所述缓存中位于所述滑动窗口的当前左边界对应的历史截帧的前一个的目标历史截帧；

11、其中，所述通过关键帧计算模块从所述缓存中读取对应的帧序号从第二序号至所述第一序号的多个截帧的特征向量，包括：

12、所述通过关键帧计算模块基于所述滑动窗口从所述缓存中读取对应的帧序号从第二序号至所述第一序号的多个截帧的特征向量。

13、进一步地，所述将所述滑动窗口向右滑动一个步长，使得所述滑动窗口的当前右边界变为所述当前截帧，删除所述缓存中位于所述滑动窗口的当前左边界对应的历史截帧的前一个的目标历史截帧，包括：

14、获取所述缓存中当前缓存的所述目标直播的历史截帧对应的帧数量；

15、若所述帧数量大于或等于所述滑动窗口的窗口长度，将所述滑动窗口向右滑动一个步长，使得所述滑动窗口的当前右边界变为所述当前截帧，删除所述缓存中位于所述滑动窗口的当前左边界对应的历史截帧的前一个的目标历史截帧。

16、进一步地，所述方法还包括：

17、根据所述目标直播，确定所述滑动窗口的窗口长度。

18、进一步地，所述根据所述目标直播，确定所述滑动窗口的窗口长度，包括：

19、根据所述目标直播对应的主播信息和/或商品信息，确定所述滑动窗口的窗口长度。

20、进一步地，所述根据所述目标直播对应的主播信息和/或商品信息，确定所述滑动窗口的窗口长度，包括：

21、根据所述目标直播对应的主播信息和/或商品信息，并结合所述目标直播对应的观众信息，确定所述滑动窗口的窗口长度。

22、进一步地，所述方法还包括：

23、通过所述内容检测模块对所述当前截帧进行内容检测，获得所述当前截帧对应的内容检测结果。

24、进一步地，所述方法还包括：

25、根据所述当前截帧对应的内容检测结果，确定是否需要对所述滑动窗口的窗口长度进行调整；

26、若确定需要增大所述滑动窗口的窗口长度，将所述滑动窗口的当前右边界向右滑动；若确定需要减小所述滑动窗口的窗口长度，将所述滑动窗口的当前左边界向右滑动。

27、进一步地，所述根据所述当前截帧对应的内容检测结果，确定是否需要对所述滑动窗口的窗口长度进行调整，包括：

28、根据所述当前截帧对应的内容检测结果及所述目标直播对应的位于所述当前截帧之间的历史关键帧对应的内容检测结果，确定是否需要对所述滑动窗口的窗口长度进行调整。

29、本说明书实施例还提供了一种用于确定直播关键帧的装置，包括：

30、特征向量获得模块，用于通过特征提取模块对目标直播的当前截帧进行特征提取，获得所述当前截帧的特征向量，其中，所述当前截帧对应的帧序号为第一序号；

31、缓存保存模块，用于将所述当前截帧的特征向量保存至缓存中，删除所述缓存中所述当前截帧对应的目标历史截帧，其中，所述第一序号与所述目标历史截帧对应的目标序号的差值为目标数量；

32、缓存读取模块，用于通过关键帧计算模块从所述缓存中读取对应的帧序号从第二序号至所述第一序号的多个截帧的特征向量，根据所述多个截帧的特征向量确定至少一个关键帧，其中，所述第一序号与所述第二序号的差值为所述目标数量减一，所述第二序号对应的截帧的截取时间早于所述第一序号对应的截帧的截取时间；

33、关键帧确定模块，用于若所述当前截帧在所述至少一个关键帧中，确定所述当前截帧为关键帧。

34、本说明书实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。

35、本说明书实施例还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。

36、在本说明书实施例中，提出了一种用于确定直播关键帧的方法，将传统关键帧计算模型服务拆分为算法链路上的特征提取模块与工程链路上的关键帧计算模块，每接收到当前截帧即可调用特征提取模块进行特征向量提取，同时读取历史截帧的特征向量在工程链路进行关键帧计算，可以做到当前截帧是否为关键帧的即时判断，避免模型下载重复截帧触发的网络带宽瓶颈，同时优化了关键帧服务的资源问题与响应延时问题，可以解决在直播多路并发场景下，单帧是否为关键帧的计算耗时过大和单机qps(queries-per-second，每秒查询(请求)次数)受限于网络带宽较低的问题。

技术特征：

1.一种用于确定直播关键帧的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，所述将所述滑动窗口向右滑动一个步长，使得所述滑动窗口的当前右边界变为所述当前截帧，删除所述缓存中位于所述滑动窗口的当前左边界对应的历史截帧的前一个的目标历史截帧，包括：

4.根据权利要求2所述的方法，还包括：

5.根据权利要求4所述的方法，所述根据所述目标直播，确定所述滑动窗口的窗口长度，包括：

6.根据权利要求5所述的方法，所述根据所述目标直播对应的主播信息和/或商品信息，确定所述滑动窗口的窗口长度，包括：

7.根据权利要求2所述的方法，还包括：

8.根据权利要求7所述的方法，还包括：

9.根据权利要求8所述的方法，所述根据所述当前截帧对应的内容检测结果，确定是否需要对所述滑动窗口的窗口长度进行调整，包括：

10.一种用于确定直播关键帧的装置，包括：

11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～9中任意一项所述方法的步骤。

12.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～9中任意一项所述方法的步骤。

13.一种计算机程序产品，其上存储有至少一条指令，其特征在于，所述至少一条指令被处理器执行时实现权利要求1～9中任意一项所述方法的步骤。

技术总结
本说明书实施例公开了一种用于确定直播关键帧的方法、装置、存储介质及电子设备，通过特征提取模块对目标直播的当前截帧进行特征提取，获得当前截帧的特征向量，其中，当前截帧对应的帧序号为第一序号；将当前截帧的特征向量保存至缓存中，删除缓存中当前截帧对应的目标历史截帧，其中，第一序号与目标历史截帧对应的目标序号的差值为目标数量；通过关键帧计算模块从缓存中读取对应的帧序号从第二序号至所述第一序号的多个截帧的特征向量，根据多个截帧的特征向量确定至少一个关键帧，其中，第一序号与所述第二序号的差值为目标数量减一；若当前截帧在至少一个关键帧中，确定当前截帧为关键帧。

技术研发人员：朱海亮,胡宗旺
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2025/2/13