一种直播平台综合状态感知和内容实时监管方法及系统与流程

本发明涉及互联网直播平台监管技术领域，尤其涉及一种直播平台综合状态感知和内容实时监管方法及系统。

背景技术：

网络视频直播是当前最热门的移动互联网应用，直播平台由于直播间的大量增加导致实时数据量巨大，目前各个直播平台针对直播内容的监管，大多采取人工审核的方法，由于通过人工观看多个屏幕(甚至100个以上)，所以效率低下。另外，由于直播内容种类繁多，并且违规直播与正常直播界限模糊，传统视频图像机器识别技术对直播间进行内容审核是否违规，存在大量漏报误报情况，并且对新出现的尚未进入违规样本库的违规种类不能识别。同时，由于直播的实时性监管要求较高，视频图像识别由于需要图像采集并查询违规图像识别库进行识别，因而通常延迟高，导致监管延迟。

2016年是直播元年，出现了大量直播平台(例如陌陌、斗鱼、映客等)，形成了“百播”大战。

直播成为了一种新的移动互联网生态，从原来单纯的游戏直播，涉足到购物、旅游、广告、自媒体、教育、社交等各个用途。

直播平台内容监管，目前各大平台主要采取以下几种：

1.人工审核方式。由于直播内容数据量巨大，人工审核需要同时观看几十上百个房间效率太低，人眼疲劳，分神等，不可能做到快速反应兼顾所有直播间；

2.通过机器识别图像内容。直播内容种类繁多，机器识别对特征明显违规直播间检测效果较好，但是，直播检测的实时性要求较高，简单机器特征匹配延迟较高，且目前违规直播间，更多的是打擦边球，这类违规直播无明显特征，机器不能辨别正常直播与违规直播图像，往往会造成大量漏报情况。及时可以识别，也需要上传到一个识别库进行识别，从而导致延迟，且上传图片导致大量的带宽消耗和计算消耗，使得直播平台不堪重负。

3.大多对图像的监控多，对文字的监控少。目前对于弹幕的监控较少，没有过滤机制，只有人工管理的“踢人”和“禁言”机制。

此外，一旦出现内容问题，轻则导致直播平台的关闭，重则可能导致严重的社会影响。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中直播平台数据量巨大，采用人工监管的方式效率低下的缺陷，提供一种直播平台综合状态感知和内容实时监管方法及系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种直播平台综合状态感知和内容实时监管方法，包括以下步骤：

根据直播间的历史流量数据为每个直播间设置流量动态阈值，实时获取直播间的当前流量数据，结合当前流量数据的变化率和流量动态阈值得到直播间的流量可疑值；

根据直播间的历史弹幕数据提取违规弹幕库，根据各违规弹幕的出现频率设置对应的权重；实时获取直播间的当前弹幕数据，将其与违规弹幕库进行模糊匹配，根据匹配到的违规弹幕与对应权重得到直播间的弹幕可疑值；

对直播视频进行场景分割，并对分割后的直播视频进行场景突变检测，根据场景突变的程度得到直播间的场景突变可疑值；

综合分析流量可疑值、弹幕可疑值和场景突变可疑值得到可疑直播间，管理员查看可疑直播间判断该直播间是否违规；并根据违规判断的结果对流量动态阈值和违规弹幕库进行更新。

进一步地，本发明的方法中计算得到直播间的流量可疑值的方法为：

步骤一、建立直播间不同时间段的正常流量数据的预测模型：

p(t)＝a[d(t)-p(t-1)]+p(t-1)

其中，p(t)是时刻t的正常流程数据的预测值，p(t-1)为时刻t-1的理论预测值，d(t)是时刻t的实际流量数据的观测值，a是加权常数；

步骤二、实时获取时刻t的实际流量数据的观测值d(t)，根据预测模型计算时刻t的正常流量数据的预测值p(t)，并计算直播时观测值变化率的标准差：

其中，δ表示标准差，即流量动态阈值，n为某一直播间正常直播的总天数，随着天数的增加，n是一个逐渐增大的值，所以阈值δ是动态改变的，d(t)i该直播间正常直播的第i天t时刻的观测值，u为n天正常直播t时刻的平均值。

步骤三、若直播间某时刻|p(t)-d(t)|>δ，判断该直播间发生流量异常，并返回该直播间的流量可疑值c1＝|p(t)-d(t)|-δ。

进一步地，本发明的方法中对流量动态阈值进行更新的方法为：

管理员查看可疑直播间判断该直播间是否违规，若违规，则不更新流量动态阈值；若不违规，则自动修改加权常数a，使满足：

a’[d(t)-p(t-1)]+p(t-1)＝p[t]-d[t]＝δ

其中，a’为修改后的加权常数。

进一步地，本发明的方法中计算得到直播间的弹幕可疑值的方法为：

步骤一、获取直播间的历史弹幕数据，从历史弹幕数据中提取违规弹幕数据组成违规弹幕库，根据不同违规弹幕的出现频率，设置不同的权重；

步骤二、实时获取各个直播间的弹幕数据，将弹幕数据转换成拼音后进行模糊匹配；

步骤三、将匹配到的违规弹幕乘以对应的权重并累加，得到该直播间的可疑弹幕能量：

其中，e为可疑弹幕能量，ni为第i个违规弹幕出现的次数，wi为第i个违规弹幕对应的权重，k为违规弹幕的数量；

若e>x，x为出现弹幕异常的最小敏感弹幕能量值，则判断该直播间出现弹幕异常，返回弹幕可疑值c2＝e-x。

进一步地，本发明的方法中更新违规弹幕库的方法为：

管理员查看可疑直播间判断该直播间是否违规，若违规，将直播间出现的违规弹幕添加到违规弹幕库中，并更新弹幕对应的权重。

进一步地，本发明的方法中计算得到直播间的场景突变可疑值的方法为：

步骤一、获取各个直播间的url，解析各个直播间的直播视频的地址；

步骤二、对直播视频等间隔的进行场景分割，提取分割后的直播视频中的图像；

步骤三、比较相邻帧图像的相似度，检测是否发生场景突变，若发生场景突变，返回场景突变可疑值。

进一步地，本发明的方法中进行综合分析得到可疑直播间的方法为：

设流量可疑值为c1，弹幕可疑值为c2，场景突变可疑值为c3，设置对应的权重分别为w1、w2和w3，直播间的总可疑值c＝c1*w1+c2*w2+c3*w3，总可疑值的阈值为cm，cm的计算公式为：

其中，ci为历史数据中违规直播的总可疑值，n为出现违规直播的次数；

若总可疑值c大于阈值cm，则判断该直播间为可疑直播间。

进一步地，本发明的方法还包括对流量可疑值、弹幕可疑值和场景突变可疑值的权重进行更新的方法：

管理员查看可疑直播间判断该直播间是否违规，若不违规，则表示发生误报，对流量可疑值、弹幕可疑值和场景突变可疑值的权重进行修正；若违规，将新的违规直播间的可疑值加入阈值cm的计算中：

本发明提供一种直播平台综合状态感知和内容实时监管系统，包括以下单元：

流量监控单元，用于根据直播间的历史流量数据为每个直播间设置流量动态阈值，实时获取直播间的当前流量数据，结合当前流量数据的变化率和流量动态阈值得到直播间的流量可疑值；

弹幕监控单元，用于根据直播间的历史弹幕数据提取违规弹幕库，根据各违规弹幕的出现频率设置对应的权重；实时获取直播间的当前弹幕数据，将其与违规弹幕库进行模糊匹配，根据匹配到的违规弹幕与对应权重得到直播间的弹幕可疑值；

场景突变监控单元，用于对直播视频进行场景分割，并对分割后的直播视频进行场景突变检测，根据场景突变的程度得到直播间的场景突变可疑值；

综合分析单元，用于综合分析流量可疑值、弹幕可疑值和场景突变可疑值得到可疑直播间，管理员查看可疑直播间判断该直播间是否违规；并根据违规判断的结果对流量动态阈值和违规弹幕库进行更新。

本发明产生的有益效果是：直播平台综合状态感知和内容实时监管方法及系统，综合状态感知多重指标检测，根据反馈情况自动学习更新，准确度逐步提高，能适应不同直播平台的复杂环境，并且对新出现的违规类型的能有效监控，精确检测出直播平台海量数据中的违规内容。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统总体结构示意图；

图2是本发明实施例的异常流量监控功能模块的详细流程图；

图3是本发明实施例的基于模糊匹配的敏感文字感知功能模块的详细流程图；

图4是本发明实施例的基于帧差的直播间状态感知与分析功能模块详细流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的直播平台综合状态感知和内容实时监管方法，包括以下步骤：

根据直播间的历史流量数据为每个直播间设置流量动态阈值，实时获取直播间的当前流量数据，结合当前流量数据的变化率和流量动态阈值得到直播间的流量可疑值；

其中计算得到直播间的流量可疑值的方法为：

步骤一、建立直播间不同时间段的正常流量数据的预测模型：

p(t)＝a[d(t)-p(t-1)]+p(t-1)

其中，p(t)是时刻t的正常流程数据的预测值，p(t-1)由历史流量数据获得，p(t-1)为t-1时刻的理论预测值，这里的历史数据是，同一天前一时刻(t-1)的数据，这个步骤只涉及到一天内的数据，而后面的计算δ是涉及到不同天同一时刻。d(t)是时刻t的实际流量数据的观测值，a是加权常数，加权常数是控制前一时刻预测值p(t-1)对当前预测值p(t)的影响；

步骤二、实时获取时刻t的实际流量数据的观测值d(t)，根据预测模型计算时刻t的正常流量数据的预测值p(t)，并计算直播时观测值变化率的标准差：

其中，δ表示标准差，即流量动态阈值，n为某一直播间正常直播的总天数，随着天数的增加，n是一个逐渐增大的值，所以阈值δ是动态改变的，d(t)i该直播间正常直播的第i天t时刻的观测值，u为n天正常直播t时刻的平均值。

步骤三、若直播间某时刻|p(t)-d(t)|>δ，判断该直播间发生流量异常，并返回该直播间的流量可疑值c1＝|p(t)-d(t)|-δ。

其中对流量动态阈值进行更新的方法为：

管理员查看可疑直播间判断该直播间是否违规，若违规，则不更新流量动态阈值；若不违规，则自动修改加权常数a，使满足：

a’[d(t)-p(t-1)]+p(t-1)＝p[t]-d[t]＝δ

其中，a’为修改后的加权常数。

根据直播间的历史弹幕数据提取违规弹幕库，根据各违规弹幕的出现频率设置对应的权重；实时获取直播间的当前弹幕数据，将其与违规弹幕库进行模糊匹配，根据匹配到的违规弹幕与对应权重得到直播间的弹幕可疑值；

其中计算得到直播间的弹幕可疑值的方法为：

步骤一、获取直播间的历史弹幕数据，从历史弹幕数据中提取违规弹幕数据组成违规弹幕库，根据不同违规弹幕的出现频率，设置不同的权重；

步骤二、实时获取各个直播间的弹幕数据，将弹幕数据转换成拼音后进行模糊匹配；

步骤三、将匹配到的违规弹幕乘以对应的权重并累加，得到该直播间的可疑弹幕能量：

其中，e为可疑弹幕能量，ni为第i个违规弹幕出现的次数，wi为第i个违规弹幕对应的权重，k为违规弹幕的数量；

若e>x，x为出现弹幕异常的最小敏感弹幕能量值，则判断该直播间出现弹幕异常，返回弹幕可疑值c2＝e-x。

其中更新违规弹幕库的方法为：

管理员查看可疑直播间判断该直播间是否违规，若违规，将直播间出现的违规弹幕添加到违规弹幕库中，并更新弹幕对应的权重。

对直播视频进行场景分割，并对分割后的直播视频进行场景突变检测，根据场景突变的程度得到直播间的场景突变可疑值；

其中计算得到直播间的场景突变可疑值的方法为：

步骤一、获取各个直播间的url，解析各个直播间的直播视频的地址；

步骤二、对直播视频等间隔的进行场景分割，提取分割后的直播视频中的图像；

步骤三、比较相邻帧图像的相似度，检测是否发生场景突变，若发生场景突变，返回场景突变可疑值。

综合分析流量可疑值、弹幕可疑值和场景突变可疑值得到可疑直播间，管理员查看可疑直播间判断该直播间是否违规；并根据违规判断的结果对流量动态阈值和违规弹幕库进行更新。

其中进行综合分析得到可疑直播间的方法为：

设流量可疑值为c1，弹幕可疑值为c2，场景突变可疑值为c3，设置对应的权重分别为w1、w2和w3，直播间的总可疑值c＝c1*w1+c2*w2+c3*w3，总可疑值的阈值为cm，cm的计算公式为：

其中，ci为历史数据中违规直播的总可疑值，n为出现违规直播的次数；

若总可疑值c大于阈值cm，则判断该直播间为可疑直播间。

该方法还包括对流量可疑值、弹幕可疑值和场景突变可疑值的权重进行更新的方法：

管理员查看可疑直播间判断该直播间是否违规，若不违规，则表示发生误报，对流量可疑值、弹幕可疑值和场景突变可疑值的权重进行修正；若违规，将新的违规直播间的可疑值加入阈值cm的计算中：

本发明实施例的直播平台综合状态感知和内容实时监管系统，用于实现本发明实施例的直播平台综合状态感知和内容实时监管方法，包括以下单元：

流量监控单元，用于根据直播间的历史流量数据为每个直播间设置流量动态阈值，实时获取直播间的当前流量数据，结合当前流量数据的变化率和流量动态阈值得到直播间的流量可疑值；

弹幕监控单元，用于根据直播间的历史弹幕数据提取违规弹幕库，根据各违规弹幕的出现频率设置对应的权重；实时获取直播间的当前弹幕数据，将其与违规弹幕库进行模糊匹配，根据匹配到的违规弹幕与对应权重得到直播间的弹幕可疑值；

场景突变监控单元，用于对直播视频进行场景分割，并对分割后的直播视频进行场景突变检测，根据场景突变的程度得到直播间的场景突变可疑值；

综合分析单元，用于综合分析流量可疑值、弹幕可疑值和场景突变可疑值得到可疑直播间，管理员查看可疑直播间判断该直播间是否违规；并根据违规判断的结果对流量动态阈值和违规弹幕库进行更新。

在本发明的另一个具体实施例中：

针对目前网络直播平台监管困难的问题，本系统采用多重智能监测技术，智能识别违规直播房间。

1)自适应阈值异常流量检测方法

当一个直播间正常直播时，该直播间流量变化(房间在线人数、弹幕数、当前网络流量数、ip接入请求数、转发数等)范围总是固定在一个确定的范围内，当发生违规直播时，直播间当前观看人数往往会发生突变，弹幕数量也增多，从而导致直播间流量发生异常。可以通过检测异常流量的房间，间接定位违规直播房间。其中一个关键问题就是阈值的设置，传统方案为所有直播间设置一个固定阈值，不同时间段平台整体流量变化率不同，不同直播间本身属性不同。设置同一固定阈值会产生大量误报漏报情况。

本发明提出了一种动态阈值方案，为每个直播间不同时间段自动设置专属动态阈值，大大提高了检测的准确性。

该方法包括：

1.由于直播平台整体是动态变化的，本系统建立了一种根据最近观测值，逐渐刷新该直播间，每天正常直播的模型，该刷新机制结合当天该时段的变化率，和之前正常直播的变化率，并且并且历史数据起主要作用：

p(t)＝a[d(t)-p(t-1)]+p(t-1)

2.本系统自动获取直播平台所有直播房间的房间号(roomid)和当前时间(t)，根据该变化率的观测值d(t),计算出该直播间该时间段对应值预测p(t)，然后计算该直播间该时间段，之前正常直播时变化率观测值的标准差：

3.当|p(t)-d(t)|>δ，本系统会认为该直播间可能发生异常，系统返回一个可疑值c1给综合分析系统。

c1＝|p(t)-d(t)|

模块4)综合分析之后，该直播间的房间号会被提交给管理员，管理员审查若该直播间为违规直播间，则系统继续正常运行；若管理员反应该直播间为正常直播间，则自动修改参数a,使:

a’[d(t)-p(t-1)]+p(t-1)＝p[t]-d[t]＝δ

2)敏感弹幕模糊感知方法

网络直播平台相比传统电视多媒体相比，最大的区别就是用户可以发送弹幕，发生违规直播时弹幕数量、弹幕内容与正常直播间都会有较大不同。抓取并检测异常弹幕内容，属于文字操作，计算快，延迟低，同时采用模糊匹配扩大监管范围，定位异常直播间。

我们提出了一种弹幕感知方法，该方法包括：

1.本系统首先统计了违规直播出现时直播房间的弹幕，统计了一个出现违规直播的可能关键词列表，根据不同弹幕出现的频率不同，设置不同的权重(wi)。

2.系统模拟多个客户端连接直播平台弹幕服务器，同时获取所有直播房间弹幕流。

3.对敏感弹幕信息进行模糊匹配，包含关键词的弹幕信息，或是包含与关键词相似的弹幕，都会被本系统检测到。匹配过程首先把弹幕信息转换成拼音，然后进行匹配。有效防止了最常见的同音字绕过和插入无关字符来避开系统检测。

4.用匹配到的弹幕数量乘以该可疑弹幕的权重(n*wi)，累加得到该直播间整体的可疑弹幕能量(e):

当e>x时(x为出现违规直播时的最小敏感弹幕能量和)，定位该直播间的房间号，返回可疑值c2(c2＝e-x)给分析系统，并对发送弹幕的用户的相关信息进行本地保存。

5.模块4)综合分析之后，发现违规直播房间后，本系统自动对弹幕库扩展，并按出现频率分配不同权重。

3)帧差分析直播间状态感知方法

当一个直播间发生违规直播时，该直播间与正常直播相比必定发生了明显的场景切换，本系统该模块通过对直播视频流进行场景分割，减少了需要检测的视频和图像数量，以及减少了需要检测的图像比特数，快速定位那些场景突变的直播间，根据变化的程度返回不同的可疑值c3，给分析系统。

具体包括：

1.本系统首先自动从直播平台首页获取各个房间url，然后解析出各个房间的真实视频流地址。

2.从视频流中等间隔的获取直播间截图，对于捕获的截图本地保存(当违规直播产生不良影响时，该截图可以作为追究责任的证据)。

3.本系统通过比较相邻帧截图相似度，来判断场景的变化，当相邻帧的帧差大于阈值k时，本系统认为直播间发生了场景的变化。

4)综合分析模块

跟据以上三个模块的返回值c1.c2.c3得到该直播间总的可疑值cm(c＝c1*w1+c2*w2+c3*w3)，总的可疑值超过预设值cm时，提交该直播间房间号给管理员，其中：

其中，ci为历史数据中违规直播的总可疑值，n为出现违规直播的次数；

管理员查看直播间历史截图信息，和当前直播内容，判断该直播间是否违规。管理员确认后，反馈信息给本系统，若该直播间没有进行违规直播，即本系统发生误报，本系统自动对各个模块可疑值权重进行调整，使c1*w1+c2*w2+c3*w3＝cm。

管理员确认违规之后，cm计算过程加入最新违规直播间总的可疑能量。

根据反馈信息自动学习更新，使本系统在不同直播平台的不同环境都能有着很好的准确度。

发明整体设计的过程中，鉴于直播内容种类繁多，预设对比图不可能涵盖所有类型的违规直播，机器识别误报漏报率太大，重点放在监控违规直播出现的间接因素，三重检测，自动学习，在不断的反馈与学习的过程中，使监控过程中的漏报率大大降低，迅速精准定位违规直播间，提交给平台管理人员，让违规直播间在产生不良影响之前，对该直播间进行封禁。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。