一种广播电视未按规定转播的识别方法与流程

本发明属于iptv转播监测，涉及一种广播电视未按规定转播的识别方法。

背景技术：

1、对于重大节目，如体育盛事、政治大会、重要新闻报道等，需要各电视台转播，如果没有转播则是重大的播出事故，所以对其进行监测是必要的。如果能及时识别到未转播的电视台并告警，可以挽回相当大的损失。

2、目前关于转播监测的方法大多默认已经转播，直接进行同步操作以及内容一致性的比对，比如公开号为cn112887707a的专利，其同步方式是直接对两路信号源逐帧比对，耗时太多。公开号为cn116320624a的专利简化了比对策略，但是没有同步，而且第一步异常检测方法太过简单，可能会有漏报。

3、转播监测首先应该做的是识别转播频道是否在规定时间转播，未转播则应发出告警提醒其进行转播。识别是否转播类似于两路视频流同步，即如果能匹配到相似度很高的两帧图片，则认为同步成功。但是逐帧进行比对耗时很高，实时性差，或者牺牲准确度提高效率，得不偿失。所以需要一种可以高效地实现转播状态的识别方法。

技术实现思路

1、本发明为了弥补现有技术的不足，提供了一种广播电视未按规定转播的识别方法，实现了高效地实现转播状态的识别方法，可以实时监测转播情况，减少未转播事故率。本发明是通过如下技术方案实现的：本发明提供了一种广播电视未按规定转播的识别方法，包括以下步骤，

2、步骤一，在转播开始时间，获取直播视频流和转播视频流的数据信息，解码两路视频流并进行音画同步，缓存图片和对应的音频；

3、步骤二，获取直播视频流和转播视频流的关键帧；

4、步骤三，匹配关键帧，直播流转播流关键帧列表之间计算图片相似度，图片相似度大于阈值则计算音频相似度，音频相似度也大于阈值则认为在转播中，任务结束；

5、步骤四，经过一定时间没有匹配到关键帧和音频，则认为未转播，发出告警，任务结束。

6、优选的，步骤一中解码视频流并音画同步，具体的为：创建udp网络连接，实时接收视频流数据包，基于多媒体视频处理工具ffmpeg进行视频流数据包识别，获取参数信息，分别对视频帧和音频帧解码，将图片缩放为固定分辨率，音频转换为单声道、固定采样率，得到视频帧序列和音频帧序列，根据显示时间戳同步音视频，组合为音视频帧序列，每一个音视频帧包括一张图片和其对应的音频数据，存入消息队列。

7、优选的，步骤二中获取关键帧，具体的为：首先将图片转换为灰度图，统计每个灰度的像素点数，得到灰度直方图；前后两帧计算灰度直方图之差的绝对值均值，若该值大于阈值，则判定后一帧为关键帧，加入关键帧列表。

8、优选的，步骤三中音频相似度计算具体为，基于梅尔频率倒谱系数mfcc特征和皮尔逊相关系数，进行音频相似度计算；具体步骤如下：

9、（1）首先对音频数据进行预处理，将音频数据分成短时间帧，每帧的时长为 20-40毫秒；

10、（2）对每帧音频数据应用快速傅里叶变换fft将时域信号转换为频域信号；

11、（3）在频域信号中将音频信号通过一组梅尔滤波器，计算每个滤波器组输出的对数能量；

12、（4）将上述的对数能量带入离散余弦变换dct，求出l阶的倒谱系数；

13、（5）将所有短时间音频帧的相同阶数的倒谱系数组合起来，得到l个时序特征向量；

14、（6）对l个时序特征向量分别进行平滑处理，计算皮尔逊相关系数，求均值作为最终的音频相似度；

15、（7）两路视频流的音频可能和视频同步有一定的差异，导致两组音频数据之间有一些延时，会影响音频相似度的计算。如果音频相似度小于阈值，则错位计算皮尔逊相关系数，如果大于阈值，也认为音频匹配成功。

16、本发明的有益效果是：

17、本发明提供了一种广播电视未按规定转播的识别方法，首先解码直播视频流和转播视频流，同步音视频，然后基于灰度直方图之差提取关键帧，然后基于ssim结构相似性计算直播流关键帧和转播流关键帧的相似度，大于阈值则认为匹配成功，然后提取匹配成功的关键帧之后的一段音频，计算音频相似度，如果音频相似度也大于阈值，则认为转播频道正在转播，任务结束，如果任务运行到最大匹配时间，即经过一段时间一直匹配不成功，则先判断是否关键帧太少，如果是的话重新选择关键帧，重新匹配。没有匹配成功则认为转播频道没有转播，发出告警，提醒运维人员及时按规定转播相关节目。

18、本发明通过简单有效的方法提取两路视频流关键帧，提取到关键帧后，再对关键帧进行相似度匹配，减少了计算量，可以实时监测转播情况，在转播情况下，可以快速匹配成功，方便结束任务进行下一步操作。图片匹配成功后再进行音频对比，和只进行图片匹配来比可以减少漏报。在未转播情况下，本发明可以及时发出告警，用于减少未转播事故率。

技术特征：

1.一种广播电视未按规定转播的识别方法，其特征在于，包括以下步骤，

2.根据权利要求1所述的广播电视未按规定转播的识别方法，其特征在于，所述步骤一中根据显示时间戳同步音视频，具体的为：从视频帧序列里取出一组数据，包括视频的显示时间戳和图片，然后和音频帧序列首个音频数据的显示时间戳做对比；如果视频时间戳小于音频时间戳，则删除图片，继续从视频帧序列里取出一组数据，如果视频时间戳大于音频时间戳加一个音频数据的时长，则删除该音频帧数据，继续比对直到视频时间戳落在两个音频时间戳中间，然后截取该落点之后一帧图片对应时间的音频数据，这样一帧图片和其对应的音频数据就组合为一个音视频帧。

3.根据权利要求1所述的广播电视未按规定转播的识别方法，其特征在于，所述步骤三中匹配关键帧，具体为：在判断一帧为关键帧后，计算其与另一路视频流所有关键帧的图片相似度，如果相似度大于阈值，则分别获取两帧之后n秒的音频数据，并计算音频相似度；如果音频相似度也大于阈值，则认为转播流正在转播，任务结束；否则继续提取关键帧并进行比对。

4.根据权利要求1所述的广播电视未按规定转播的识别方法，其特征在于，步骤三中图片相似度计算的具体步骤为：

5.根据权利要求1所述的广播电视未按规定转播的识别方法，其特征在于，步骤三中音频相似度计算具体为，基于梅尔频率倒谱系数mfcc特征和皮尔逊相关系数，进行音频相似度计算；具体步骤如下：

6.根据权利要求1所述的广播电视未按规定转播的识别方法，其特征在于，未转播判断标准，具体的为：如果时间到达最大匹配时间，则首先判断是否直播视频流关键帧太少；如果关键帧不少则认为没有转播，发出告警，结束任务；关键帧太少则根据灰度直方图差值排序，选择较大的几个作为关键帧，然后重新计算转播关键帧和直播关键帧的相似度，如果最大相似度大于阈值，则获取两路匹配到的关键帧之后n秒的音频，计算音频相似度，如果音频相似度也大于阈值，则认为是在转播，否则判定为没有转播，发出告警，任务结束。

技术总结
本发明公开了一种广播电视未按规定转播的识别方法，涉及IPTV转播监测技术领域。本发明包括以下步骤，步骤一，在转播开始时间，获取直播视频流和转播视频流的数据信息，解码两路视频流并进行音画同步，缓存图片和对应的音频；步骤二，获取直播视频流和转播视频流的关键帧；步骤三，匹配关键帧，直播流转播流关键帧列表之间计算图片相似度，图片相似度大于阈值则计算音频相似度，音频相似度也大于阈值则认为在转播中，任务结束；步骤四，经过一定时间没有匹配到关键帧和音频，则认为未转播，发出告警，任务结束。在未转播情况下，本发明可以及时发出告警，用于减少未转播事故率。

技术研发人员：赵儒祥,邓强,朱政,李克磊,伍广腾,李东
受保护的技术使用者：海看网络科技（山东）股份有限公司
技术研发日：
技术公布日：2024/5/8