一种直播效果监控处理方法及系统与流程

1.本发明属于直播视频技术领域，具体地说，涉及一种直播效果监控处理方法及系统。


背景技术：

2.目前，随着网络通信技术的进步和宽带网络的提速，网络直播得到了越来越多的发展和应用，在直播领域，越来越多的观众会观看主播的直播，对于主播会使用直播软件来采集摄像头的内容以及电脑内容进行直播。
3.随着直播的逐渐发展，直播涉及的内容越来越广泛，观看直播的人越来越多，直播作为一种泛娱乐文化的载体，但是直播画面很容易受网络波动和直播设备影响，导致观众的观看效果下降，使得观众流失，让直播平台的经济收益受损，因此如何及时了解主播的直播情况，发现直播内容是否符合直播标准已成为直播监控系统运行的首要迫切问题。
4.现有技术中，网络直播监管员需要24小时人工对视频播放内容进行监控，监管员每人每天需要过目海量的实时直播截图，由于人眼长期识别图片的过程中容易产生视觉疲劳，对于成千上万个直播间，依靠人工去检测监控画面是否有问题是不现实的，因此需要一种可以对直播内容画面进行监控的方法，判断当前直播画面是否符合直播标准。


技术实现要素：

5.要解决的问题
6.针对现有直播画面很容易受网络波动和直播设备影响，导致观众的观看效果下降，使得观众流失，直播监管员人眼长期识别图片的过程中容易产生视觉疲劳，不能对直播内容进行实时监督的问题，本发明提供一种直播效果监控处理方法及系统。
7.技术方案
8.为解决上述问题，本发明采用如下的技术方案。
9.一种直播效果监控处理方法，采用以下步骤：
10.步骤1：对直播内容进行录制缓存，从缓存录像中计算出直播历史关键帧图像；
11.步骤2：对历史关键帧图像进行检测，检测内容包括：亮度异常检测、偏色检测、图像噪声检测、条纹噪声检测、清晰度检测、信号丢失检测、画面冻结检测和画面滚动及抖动检测；
12.步骤3：根据检测结果进行结合判断，判断当前直播内容是否符合标准。
13.优选地，所述亮度异常检测方法如下：把关键帧图像转化为灰度图像，计算灰度化图像的平均灰度值g，预设阈值a和b，当g∈[0,a]，判断图像偏暗，当g∈[b,255]判断图像偏亮。
[0014]
优选地，所述偏色检测方法如下：提取关键帧图像的色度分量h，计算色度分量h的直方图，计算直方图最大bin在直方图中的比例，比例值计算结果为偏色值。
[0015]
优选地，所述图像噪声检测方法如下：预设四个卷积模板，卷积模板的方向分别为0°
、45
°
、90
°
和135
°
，使用四个卷积模板对关键帧图像做卷积计算，计算得到四个卷积绝对值最小值min，通过卷积绝对值最小值min检测噪声点，同时计算得到关键帧图像的灰度图gray和值滤波图median，使用灰度图gray和值滤波图median对噪声点进行判断，噪声点占关键帧图像的比例为雪花噪声率。
[0016]
优选地，所述条纹噪声检测方法如下：提取关键帧图像的色度分量，根据色度分量计算得到dft频谱图，计算dft频谱图中的异常亮点数，若异常亮点数大于预设阈值，则异常亮点数为条纹检测值。
[0017]
优选地，所述清晰度检测方法如下：将关键帧图像分割成n*m的区域，求每个区域的对比度，所有对比度的平均值为清晰度的模糊率。
[0018]
优选地，所述信号丢失检测方法如下：将关键帧图像二值化，偏黑的部分为前景，其他部分为背景，对前景进行连通区域检测，求得最大连通区域面积，最大连通区域面积在关键帧图像中占的面积比例即为信号丢失率。
[0019]
优选地，所述画面冻结检测方法如下：每隔t帧从关键帧图像抽取一帧，获取抽取帧的直方图，计算相邻两帧直方图的相似度，当相似度大于预设阈值时，认为二帧一致，当一致的帧数的数量达到预设数量值时，判断视频出现画面发生冻结。
[0020]
优选地，所述画面滚动及抖动检测方法如下：画面滚动是获取云台运动前n帧关键帧图像，进行背景建模，得到运动前背景，发送运动指令至云台，让云台进行运动，改变场景，取云台运动后n帧图像，进行背景建模，得到运动后背景，对比运动前背景和动后背景的颜色直方图相似度，当相似度大于预设数值时，认为云台运动有故障；画面抖动从关键帧图像中每个预设间隔抽取一帧，对取到的每帧图像进行特征点提取，对检测的相邻两帧进行特征点匹配，得到匹配矩阵，当匹配矩阵大于预设值时认为这两帧画面有抖动，当抖动帧数大于预设数量值时认为直播画面发生抖动。
[0021]
一种直播效果监控处理系统，包括：
[0022]
录制模块，用于录制直播视频内容；
[0023]
关键帧模块，用于从视频内容内提取出关键帧图像；
[0024]
存储模块，用于缓存录制模块录制的数据，保存关键帧模块提取出的关键帧图像；
[0025]
亮度异常模块，用于对关键帧图像的亮度进行异常检测；
[0026]
偏色模块，用于计算整体偏色值；
[0027]
图像噪声模块，用于计算噪声点在关键帧图像中的比例；
[0028]
条纹噪声模块，用于计算关键帧图像中的异常亮点数；
[0029]
清晰度模块，用于计算关键帧图像清晰度的模糊率；
[0030]
信号丢失模块，用于计算最大连通区域面积在关键帧图像中占的面积比例；
[0031]
画面冻结模块，用于计算并判断视频是否出现画面发生冻结；
[0032]
画面滚动模块，用于判断视频云台运动有故障；
[0033]
画面抖动模块，用于计算抖动帧数量值，判断直播画面是否发生抖动；
[0034]
结果判断模块，用于根据检测结果判断当前直播画面是否符合直播标准。
[0035]
一种直播效果监控处理方法及系统，通过对直播内容进行录制缓存，从缓存录像中计算出直播历史关键帧图像，再对历史关键帧图像进行检测，采用亮度异常检测、偏色检测、图像噪声检测、条纹噪声检测、清晰度检测、信号丢失检测、画面冻结检测和画面滚动及
抖动检测等多种检测方式对历史关键帧图像进行全方面检测，最后根据检测结果进行结合判断，判断当前直播内容是否符合直播标准，当不符合标准时，对主播发送提示。
[0036]
有益效果
[0037]
相比于现有技术，本发明的有益效果为：
[0038]
(1)本发明通过检测直播视频的质量，计算直播流帧的质量，从而从数据角度直观的体现直播流的质量，便于工作人员对用户观看直播视频的质量情况进行了解；
[0039]
(2)本发明通过亮度异常检测、偏色检测、图像噪声检测、条纹噪声检测、清晰度检测、信号丢失检测、画面冻结检测和画面滚动及抖动检测，对直播视频进行多角度检测，使得检测结果全面且实用，提高检测结果的可靠性；
[0040]
(3)本发明能够保证直播平台的用户量，避免因网络或设备因素造成的不良使用体验，避免客户因直播质量不佳而流失，降低用户流失率，为直播平台维持稳定的用户群体，进而为直播平台的经济收益提供保障。
附图说明
[0041]
为了更清楚地说明本技术实施例或示例性中的技术方案，下面将对实施例或示例性描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以按照这些附图示出的获得其他的附图。
[0042]
图1为本发明的步骤示意图；
[0043]
图2为本发明的流程示意图；
[0044]
图3为本发明的系统结构示意图。
具体实施方式
[0045]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例，通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0046]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例，基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0047]
实施例1
[0048]
如图1所示，一种直播效果监控处理方法，具体流程如下：
[0049]
先对直播内容进行录制缓存，从缓存录像中计算出直播历史关键帧图像。
[0050]
对历史关键帧图像进行检测，检测内容包括：亮度异常检测、偏色检测、图像噪声检测、条纹噪声检测、清晰度检测、信号丢失检测、画面冻结检测和画面滚动及抖动检测。
[0051]
亮度异常检测一般包括偏暗检测和偏亮检测，也有称过暗过亮检测。这算法简单，只需要一帧图像的亮度值作为判断就行，检测方法如下：把关键帧图像转化为灰度图像，计算灰度化图像的平均灰度值g，预设阈值a和b，当g∈[0,a]，判断图像偏暗，当g∈[b,255]判
断图像偏亮。
[0052]
偏色检测一般称为色度异常检测，即图像为某一范围颜色值分布过多而导致图像整体偏色的情况，检测方法如下：提取关键帧图像的色度分量h，计算色度分量h的直方图，计算直方图最大bin在直方图中的比例，比例值计算结果为偏色值。
[0053]
图像噪声又称雪花噪声和椒盐噪声，以前黑白电视常见的噪声现象，检测方法如下：预设四个卷积模板，卷积模板的方向分别为0
°
、45
°
、90
°
和135
°
，使用四个卷积模板对关键帧图像做卷积计算，计算得到四个卷积绝对值最小值min，通过卷积绝对值最小值min检测噪声点，同时计算得到关键帧图像的灰度图gray和值滤波图median，使用灰度图gray和值滤波图median对噪声点进行判断，噪声点占关键帧图像的比例为雪花噪声率。
[0054]
条纹噪声是带条状的噪声，检测方法如下：提取关键帧图像的色度分量，根据色度分量计算得到dft频谱图，计算dft频谱图中的异常亮点数，若异常亮点数大于预设阈值，则异常亮点数为条纹检测值。
[0055]
清晰度检测一般是摄像头焦距没调好造成的画面模糊，检测方法如下：将关键帧图像分割成n*m的区域，求每个区域的对比度，所有对比度的平均值为清晰度的模糊率。
[0056]
信号丢失检测也称无信号检测，一般当dvr/nvr某些通道没接上摄像头时，会显示黑屏无信号，而ipc无信号里无法返回任何图像信息，也就无法通过图像算法检测到，检测方法如下：将关键帧图像二值化，偏黑的部分为前景，其他部分为背景，对前景进行连通区域检测，求得最大连通区域面积，最大连通区域面积在关键帧图像中占的面积比例即为信号丢失率。
[0057]
画面冻结是由于画面场景没有变化，而仅仅是画面中的时间有变化的情况。此现象需要多帧图像才能检测出来，检测方法如下：每隔t帧从关键帧图像抽取一帧，获取抽取帧的直方图，计算相邻两帧直方图的相似度，当相似度大于预设阈值时，认为二帧一致，当一致的帧数的数量达到预设数量值时，判断视频出现画面发生冻结。
[0058]
画面滚动即ptz云台运动检测是通过配合云台运动的功能检测云台运动是否正常，检测方法如下：获取云台运动前n帧关键帧图像，进行背景建模，得到运动前背景，发送运动指令至云台，让云台进行运动，改变场景，取云台运动后n帧图像，进行背景建模，得到运动后背景，对比运动前背景和动后背景的颜色直方图相似度，当相似度大于预设数值时，认为云台运动有故障；
[0059]
当摄像头立杆不稳或因车辆引起地面振动时，视频画面就会发生抖动，画面抖动检测方法如下：从关键帧图像中每个预设间隔抽取一帧，对取到的每帧图像进行特征点提取，对检测的相邻两帧进行特征点匹配，得到匹配矩阵，当匹配矩阵大于预设值时认为这两帧画面有抖动，当抖动帧数大于预设数量值时认为直播画面发生抖动。
[0060]
最后根据检测结果进行结合判断，判断当前直播内容是否符合直播标准。
[0061]
通过上述描述可知，在本实例中，通过对直播内容进行录制缓存，从缓存录像中计算出直播历史关键帧图像，再对历史关键帧图像进行检测，采用亮度异常检测、偏色检测、图像噪声检测、条纹噪声检测、清晰度检测、信号丢失检测、画面冻结检测和画面滚动及抖动检测等多种检测方式对历史关键帧图像进行全方面检测，最后根据检测结果进行结合判断，判断当前直播内容是否符合直播标准。
[0062]
实施例2
[0063]
所述实施方法与实施例1相同，更近一步的是，从数据中计算出关键帧图像的方法流程如下：
[0064]
先预设一个最大缓存时间，只保留最大缓存时间内的缓存数据，并从中获取历史关键帧候选图片，预设一个初始图片相似度，计算历史关键帧候选图片的图片相似度，当图片相似度数值符合初始图片相似度时，保留并采用，若不符合，则不采用图片；
[0065]
接着预设一个关键帧单位时间容量，当上述保留采用的历史关键帧图片数量在单位时间内大于预设的关键帧单位时间容量时，则将采用的图片返回历史关键帧候选图片中，同时提高预设的初始图片相似度标准，重复上述步骤，直至采用的图片数量在单位时间内小于或等于关键帧单位时间容量；
[0066]
再预设最大历史关键帧数据量，当系统在最大缓存时间内采用的图片数量大于最大历史关键帧数据量时，则将采用的图片返回历史关键帧候选图片中，同时提高预设的图片初始相似度标准，重复上述步骤，直至系统采用的图片数量在最大缓存时间内关键帧图片数量小于或等于最大历史关键帧数据量；
[0067]
最后当采用的历史关键帧候选图片符合上述预设的各个条件时，作为历史关键帧图片保存至内存。
[0068]
图片相似度的计算采用欧式距离算法，算法中欧式距离表示两个图片对应位不同的数量，公式如下：
[0069]
a＝(a1,a2,...an)，b＝(b1,b2,...bn)
[0070][0071]
其中a＝(a1,a2,...an)和b＝(b1,b2,...bn)为a、b俩个点在n维空间中的坐标向量，d(a，b)为俩个点之间的距离，向量相似度越高，对应的欧式距离越小，图片相似度越接近。
[0072]
实施例3
[0073]
如图3所示，一种直播效果监控处理系统，包括：
[0074]
录制模块，用于录制直播视频内容；
[0075]
关键帧模块，用于从视频内容内提取出关键帧图像；
[0076]
存储模块，用于缓存录制模块录制的数据，保存关键帧模块提取出的关键帧图像；
[0077]
亮度异常模块，用于对关键帧图像的亮度进行异常检测；
[0078]
偏色模块，用于计算整体偏色值；
[0079]
图像噪声模块，用于计算噪声点在关键帧图像中的比例；
[0080]
条纹噪声模块，用于计算关键帧图像中的异常亮点数；
[0081]
清晰度模块，用于计算关键帧图像清晰度的模糊率；
[0082]
信号丢失模块，用于计算最大连通区域面积在关键帧图像中占的面积比例；
[0083]
画面冻结模块，用于计算并判断视频是否出现画面发生冻结；
[0084]
画面滚动模块，用于判断视频云台运动有故障；
[0085]
画面抖动模块，用于计算抖动帧数量值，判断直播画面是否发生抖动；
[0086]
结果判断模块，用于根据检测结果判断当前直播画面是否符合直播标准。
[0087]
通过上述描述可知，在本实例中，通过录制模块录制直播视频内容，使用关键帧模
块从视频内容内提取出关键帧图像，通过存储模块缓存录制模块录制的数据，保存关键帧模块提取出的关键帧图像，再使用各个图像检测模块对关键帧图像进行全方面的检测，最后使用结果判断模块根据检测结果判断当前直播画面是否符合直播标准，从数据角度直观的体现直播流的质量，便于工作人员对用户观看直播视频的质量情况进行了解。
[0088]
以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。