一种基于视频监控的营业厅服务规范质检方法与流程

本发明涉及视频监控技术领域，特别是一种基于视频监控的营业厅服务规范质检方法。

背景技术：

目前，国家电网公司在各省市都有直属的电力营业厅，而对于营业厅运行的监督往往依赖于营业厅视频监控技术，由于传统的视频监控技术，只能起到监控和存储录像的功能，当出现工作人员工作失误或者客户纠纷时，只能根据时间点进行视频监控的调取和查阅，并不能实时监督各直属营业厅的服务质量，在出现异常情况时及时处理。针对该不足，国家电网公司已经将各省营业厅的视频监控图像汇聚到了公司电网统一视频监控平台，并且已经实现基本的监控功能，但是对于各营业厅的工作环境、工作人员的行为规范，还无法全面覆盖与监督，也无法实现实时告警提示，并采用紧急措施。有鉴于此，本发明通过将智能监控嵌入到视频监控服务器中，集成背景建模技术和智能行为识别算法，从而能够对画面场景中的工作人员的行为和营业厅工作环境进行识别、判断，并在适当的条件下，产生报警提示用户，从而为提升工作人员服务质量，避免客户流失，提供有效保障。

技术实现要素：

本发明的主要目的在于提供一种基于视频监控的营业厅服务规范质检方法，基于视频监控及视频分析技术，对营业厅服务质量视频进行实时轮显及主题式调阅，监测营业厅环境及工作人员行为，以改善工作人员服务质量，降低客户投诉率，并通过对工作人员服务质量数据分析发现服务质量不足，总结梳理监督改善工作人员不足之处，并有效提升工作人员服务质量，避免客户流失。

本发明所提供的技术方案为，一种基于视频监控的营业厅服务规范质检方法，包括以下步骤：

a、建立标准图像模型；

b、获取实时视频监控，确认所述视频监控中的监测目标；

c、提取所述监测目标的特征，与所述标准图像模型进行对比，根据对比结果进行服务规范质检；

d、基于所述服务规范质检的结果进行处理，并生成服务质检报告。

由上，通过在营业厅的视频监控资料库中，获取标准图像以建立标准图像模型，再通过对营业厅的工作人员和各种设备进行实时监控，将监控图像中的特征与标准图像模型进行比较，从而根据该比较的结果判定营业厅的工作环境和工作状态是否符合规范标准，当发现服务质量不足时，总结梳理监督改善工作人员不足之处，并有效提升工作人员服务质量，避免客户流失。

其中，所述步骤a包括：

获取标准图像；

基于物体跟踪技术，对所述标准图像进行特征提取；

基于提取的特征，构建标准图像模型。

由上，所述标准图像包括在正常工作环境下符合作业要求的图像，基于物体追踪技术，将前景变化区域从背景图像中提取出来。实现步骤为特征提取、特征匹配、基于区域的跟踪、基于模型的跟踪，从而将提取的特征进行组合，构建标准图像模型，为后续分析和对比提供一标准模板。

可选的，所述标准图像包括至少以下之一：

符合工作行为规范的标准工作行为图像；

工作人员的标准工服图像；

符合定置物品摆放规则的标准物品摆放图像；

各设备正常运行状态下的标准设备运行图像。

由上，可根据实际情况，进行标准图像的配备，以构建不同的标准图像模型。

其中，步骤b所述确认所述视频监控中的监测目标包括：

视频清晰化处理；

利用高斯混合模型进行背景建模，以确定背景模型和前景图像；

将所述前景图像作为所述确认的监测目标。

由上，背景建模技术是视频图像中运动目标检测的一种方法，其基本思想是对图像的背景进行建模，其原理是将当前的图像与背景模型进行某种比较，根据比较结果确定前景目标，利用高斯混合模型实现背景建模就是用来描述多模态场景的一种方法，该方法能在不断更新背景模型的同时，在新一帧图像中直接检测出属于目标的像素点，减少了计算差分图像和二值化图像等环节，有效地提高了检测速度。

其中，步骤c所述提取所述监测目标的特征包括：

在所述前景图像中进行包括人形检测、人脸检测、人脸识别、人员定位的步骤。

由上，当涉及工作人员行为的监测时，还需要对工作人员进行人脸识别或者语音识别，从而确定工作人员的身份，并进行定位，以便于后续拍照及告警信息发送等。

其中，步骤c所述进行服务规范质检包括：

根据实时视频监控中工作人员的工作行为，判定其是否符合标准工作行为规范；

根据实时视频监控中工作人员的着装，判定其是否符合规范的着装要求；

根据实时视频监控中物品摆放的情况，判定其是否符合定置的物品摆放规则；

根据实时视频监控中各设备的运行状态，判定其是否处于正常运行状态。

由上，根据上述的选择构建的标准图像，可根据实时视频监控选择不同的监控项目进行对比和判定，以符合多功能检测的要求。

其中，步骤d所述处理过程包括至少以下之一：

判断服务规范质检的结果是否符合质检标准；

对符合质检标准的事件进行正常事件记录；

对不符合质检标准的事件进行告警信息提醒、视频抓拍及采用应急预案。

由上，针对不同的质检结果，采用不同的应对方案，例如对上班时间不遵守行为规范的工作人员，可在人脸识别确定身份之后，进行视频抓拍，告警信息提醒等，针对设备运行异常，可采用紧急预案，增加人工坐席，以保证业务正常运转。

其中，步骤d所述处理过程还包括：

当实时视频监控中物品摆放的情况不符合定置的物品摆放规则时，首先进行遗留物品的检测，判定是否为客户遗留物品；

若不是客户遗留物品，判定为物品摆放异常，进行告警信息提醒、视频抓拍及采用应急预案；

若是客户遗留物品，对遗留物品进行分类处理后，采用应急预案。

由上，如果在遗留物品检测时发现有遗留物品，则需要进行人工分类，如贵重物品、易燃易爆物品等，对不同物品采取对应的应急处置方案，如对贵重物品登记备案、易燃易爆物品由公安机关立案侦查等。

进一步改进，还包括步骤e：

根据服务质检报告，进行综合分析，该分析过程包括：

基于视频分析技术，进行视频片段检索和视频调阅；

基于音频分析技术，进行音频片段检索和音频调听。

由上，该综合分析的功能可根据业务需求，上升至上一级的监控平台，以对下级各个营业厅的工作监督实现全面覆盖，同时实现横向或纵向对比，以对各个营业厅实现业绩考核，为奖惩机制提供证据。

附图说明

图1为本发明基于视频监控的营业厅服务规范质检方法的流程图；

图2为本发明营业厅中定置物品摆放监测的流程图。

具体实施方式

本发明主要提供了一种基于视频监控的营业厅服务规范质检方法，基于视频监控及视频分析技术，对营业厅服务质量视频进行实时轮显及主题式调阅，监测营业厅环境及工作人员行为，以改善工作人员服务质量，降低客户投诉率，实时监测客户异常行为以解决投诉取证问题，并通过对工作人员服务质量数据分析发现服务质量不足，总结梳理监督改善工作人员不足之处，并有效提升工作人员服务质量，避免客户流失。

上述视频监控及视频分析技术主要包括：营业厅工作人员服务质量监督和营业厅环境监督；

营业厅工作人员服务质量监督包括营业厅工作人员在岗服务行为监督和营业厅工作人员着装规范监督；

营业厅环境监督包括营业时间监控、定置物品摆放监测及遗留物品检测、营业厅设备异常监测。

下面结合附图及实施例，对本发明的工作原理进行详细描述。

如图1所示为本发明基于视频监控的营业厅服务规范质检方法的流程图，具体包括以下步骤：

s101：获取标准图像。

本实施例中，所述标准图像包括在正常工作环境下符合作业要求的图像，例如符合工作行为规范的标准工作行为图像，或工作人员的标准着装规范图像，或各设备正常运行状态下的标准设备运行图像，或营业厅大门在营业和非营业时间段的正确开启或关闭的示意图。

s102：对所述标准图像进行特征提取。

该特征提取基于物体跟踪技术，包括获取步骤s101中标准图像的物品的形状特征、颜色特征或是码放位置特征等等。

物体跟踪技术指将前景变化区域从背景图像中提取出来。实现步骤为特征提取、特征匹配、基于区域的跟踪、基于模型的跟踪。

a.特征提取

特征提取是指从景物的原始图像中提取图像的描绘特征。理想的图像特征应具备的特点是：

特征应具有直观意义，符合人们的视觉特性；

特征应具备较好的分类能力，能够区分不同的图像内容；

特征计算应该相对简单，以便于快速识别；

特征应具备图像平移、旋转、尺度变化等不变性。

目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。提取对尺度伸缩、形变和亮度变化不敏感的有效特征。

b.特征匹配

特征匹配是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。其跟踪算法包含基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。

基于特征的跟踪算法对于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；通过与滤波器(例如kalman滤波器)联合使用，也具有很好的跟踪效果。

c.基于模型的跟踪

基于模型的跟踪是通过人工标注数据对所跟踪目标建立模型，然后通过匹配跟踪目标进行特征提取与模型进行拟合计算。通过模型进行物体跟踪不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强。

s103：构建标准图像模型。

基于步骤s102所提取的特征，构建出标准图像模型，为后续分析和对比提供一标准模板。

s104：实时监控视频；

通过在营业厅的不同区域安装摄像头，实现对营业厅的全覆盖实时监控；

s105：视频处理；

本视频处理过程包括以下几个子步骤：

视频清晰化处理，使用清晰化算法对视频图像进行去噪、去雾、去模糊等预处理。

视频图像背景建模；

背景建模技术是视频图像中运动目标检测的一种方法，其基本思想是对图像的背景进行建模，其原理是将当前的图像与背景模型进行某种比较，根据比较结果确定前景目标。

利用高斯混合模型实现背景建模就是用来描述多模态场景的一种方法。该方法能在不断更新背景模型的同时，在新一帧图像中直接检测出属于目标的像素点，减少了计算差分图像和二值化图像等环节，有效地提高了检测速度。算法的基本思想是：对图像中每一个像素点的颜色值建立混合高斯模型，通过一段时间的采样观测，根据各个高斯分布的持续性和变动性的差异，判断哪一个分布更加接近于真实背景，该高斯分布就作为背景模型。如果图像中像素点的颜色值不符合该高斯分布，则被认为是目标点。具体计算方法如下。

设图像中位置为(x0,y0)的像素点在一段时间内的观测值为：

{x1，...,xt}＝{i(x0,y0,i):1≤i≤t}——式1

利用多个高斯分布对式1中的观测值进行建模，可以得到当前像素点的颜色值概率为：

其中，k为高斯分布的个数(通常取3-5)；ωi,t为权重的估计值，即t时刻该像素点属于第i个高斯分布的可能性的大小；μi,t为t时刻第i个高斯分布的均值；σi,t为第i个高斯分布的协方差矩阵；η为高斯分布概率密度函数：

为了计算简便，假定像素点颜色值的三个分量(r,g,b)相互独立，并且具有相同的方差，则式3中的协方差矩阵可以写为：

这样，就建立起了被观察像素点(x0,y0)颜色值的高斯混合模型。对于输入图像中的像素点(x0,y0,t)，将它的颜色值与已存在的k个高斯分布相比较，判断其是否和已经存在的高斯分布相匹配，如果匹配，则该像素点为背景点。所谓“匹配”，即满足式5。

|(xt-μi,t-1)|＜th×σi,t-1——式5

其中，μi,t-1为第i个高斯分布在t-1时刻的均值，th通常取2.5，σi,t-1为第i个高斯分布在t-1时刻的标准偏差。

如果没有找到匹配的高斯分布，则将输入像素的颜色值作为均值，建立一个新的高斯分布，代替之前k个高斯分布中概率最小、权重最低的分布，该分布具有较大的方差和较低的权重，从而重新建立背景模型。

如果存在匹配的高斯分布，则背景模型中各个参数进行如下更新：

ωk,t＝(1-α)ωk,t-1+α(mk,t)——式6

μt＝(1-ρ)μt-1+ρxt——式7

其中，α是模型学习速率，1/α表征了模型参数变化的速率；对于匹配的高斯分布mk,t为1，其余不匹配的高斯分布，mk,t为0；式7和式8只针对于匹配的高斯分布，其余不匹配的高斯分布对应的参数保持不变；ρ为参数学习速率，定义为：

ρ＝αη(xt|μk,σk)——式9

这样，通过式6～式9，就实现了高斯混合模型的更新。高斯混合模型的方法，能够充分表征场景的多模态特性；可以很快适应背景的变化，即使是当场景中有光照变化、小幅度重复运动时，也能检测出运动目标；如果场景中有目标进入，长时间停留而成为背景，高斯混合模型方法同样可以及时地更新背景模型。

前景目标监测；

根据上述步骤建立的背景模型，对视频图像中的前景目标进行监测，确定该视频图像中所有区别于背景模型的前景目标，所述前景目标包括营业厅中活动的工作人员，或者运行中的各种设备或者活动开启或关闭的大门等；

需要说明的是，针对营业大厅中处于运动状态的人员，本发明采用了视频动作识别的方式，对于营业厅工作人员在工位上的工作行为、营业厅中物品摆放的位置、或者营业厅各个设备的运行情况，采用了基于静态图像的识别方式。但是，诸如工作人员在工位上吃东西、电话聊天等非常小的动作在远镜头视频下识别目前还存在技术难度，因此这部分可以考虑结合近景摄像头或者语音识别等方式来实现。

所述视频动作识别的具体策略包括：

人形检测：

在智能视频监控中，自动在场景中搜索人体被视为理解人类活动的首要预处理步骤。由于人体自身姿态变化多端，衣着具有多样性以及背景、光照条件的复杂性，使得在图像中进行人体检测面临巨大的挑战。本实施例采用方向梯度直方图特征(hog，histogramoforientedgradient)来描述感兴趣目标，同时采用隐支持向量机分类器(lsvm，lagrangiansupportvectormachine)对前述方向梯度直方图特征进行训练和分类，随后运用隐支持向量机分类器对图像进行检测。在检测过程中需要手动将感兴趣目标划分为不同的区域，并且计算每个区域的尺度不变特征(sift，scale-invariantfeaturetransform)，并结合这些特点，使用迭代算法训练分类器(例如adaboost算法)来检测目标。该方法能够很好的解决目标由于运动而产生外形变化的问题，同时对于光照变化和微量偏移不敏感，能够较好检测出真实场景视频图像中的人形目标并加以标注。

物体跟踪：

物体跟踪技术指从图像序列中将前景变化区域从背景图像中提取出来。实现步骤为特征提取、特征匹配、基于区域的跟踪、基于模型的跟踪。

a.特征提取

特征提取是指从景物的原始图像中提取图像的描绘特征。理想的图像特征应具备的特点是：

特征应具有直观意义，符合人们的视觉特性；

特征应具备较好的分类能力，能够区分不同的图像内容；

特征计算应该相对简单，以便于快速识别；

特征应具备图像平移、旋转、尺度变化等不变性。

目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。提取对尺度伸缩、形变和亮度变化不敏感的有效特征。

b.特征匹配

特征匹配是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。其跟踪算法包含基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。

基于特征的跟踪算法对于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；通过与滤波器(例如kalman滤波器)联合使用，也具有很好的跟踪效果。

c.基于模型的跟踪

基于模型的跟踪是通过人工标注数据对所跟踪目标建立模型，然后通过匹配跟踪目标进行特征提取与模型进行拟合计算。通过模型进行物体跟踪不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强。

s106：实时图像特征提取；

本步骤实时图像特征提取的原理与前述步骤s102中对标准图像进行特征提取相同，根据实时监控视频的图像，进行图像特征提取，具体提取特征包括：工作人员在上班时间段内的行为特征、工作人员的着装特征、营业厅大门的开启状态、营业厅各设备的运行状态等。

其中，当需要对营业厅的工作人员进行识别和定位时，则需要借助人脸检测、人脸识别及人员定位的技术；

人脸检测：

人脸检测是人脸识别中的第一个环节，是一项关键技术。人脸检测是指假设在输入图像中存在一个或者多个人脸区域的情况下，确定图像中全部人脸的位置、大小和姿势的过程。

本申请使用的方法是基于特征提取算法(例如haar-like算法)、级联结构的迭代算法，为适应背景的复杂性，将肤色等人脸特征和迭代算法相结合的人脸检测新算法。算法实现了实时人脸检测，使人脸检测技术取得了突破性进展。算法首先结合人脸特征，利用人脸特征确定人脸的大致方向，然后用级联结构的迭代算法进行验证。

人脸识别：

本申请采用基于人工神经网络的人脸识别技术。目前使用的混合型神经网络进行人脸识别时，其中的非监督神经网络用于特征提取，而监督神经网络用于分类。将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善。由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果。这种混合神经网络方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用。

s107：判定是否符合服务规范质检标准；

将步骤s106中提取的图像特征与步骤s103构建的标准图像模型进行对比，本实施例中，可根据实时视频监控中工作人员的工作行为，判定其是否符合标准工作行为规范；或者根据实时视频监控中工作人员的着装，判定其是否符合规范的着装要求；或者根据实时视频监控中营业厅大门的开启情况，判定其是否符合营业期间的标准开启状态；或者根据实时视频监控中各设备的运行状态，判定其是否处于正常运行状态。

若对比结果的差异值小于系统设定的报警阈值，则进入步骤s108，否则进入步骤s109。

s108：符合服务规范质检标准；

当步骤s107中的对比结果的差异值小于系统设定的报警阈值，即表示通过验证，符合服务规范质检标准。

s109：异常处理；

当步骤s107中的对比结果的差异值大于系统设定的报警阈值时，则说明营业厅的服务质量不符合规范要求，由此进入异常处理步骤，根据具体情况，对此异常事件发出告警信息、进行视频抓拍，采用应急预案等。例如监测到服务人员随意使用手机、吃零食、聚众聊天的行为违规时，判定该工作人员的工作不符合规范要求，发出告警信息并视频抓拍。

s110：存储并生成服务质检报告；

将步骤s108和步骤s109中生成的分析结果进行存储，保存事件信息，并结合告警信息、视频抓拍生成服务质检报告，以便对客户投诉的营业厅问题进行调查取证。

s111：根据服务质检报告，进行综合分析。

本步骤中，该综合分析的任务可根据业务需求，上升至上一级的监控平台，以对下级各个营业厅的工作监督实现全面覆盖，该分析过程依赖于视频分析技术和音频分析技术；

所述视频分析包含视频片段检索和视频调阅：

视频片段检索主要是针对用户输入的异常特征信息、时间信息、异常位置信息、地点信息，从所有的索引文件中进行快速筛选，并返回最终的视频片段地址，用户可以对检索结果进行调阅，从而对营业厅进行相关的质量复检；

视频调阅分为三部分：实时视频调阅、异常片段调阅、完整录像调阅。实时视频调阅为客户提供了查看当前各个营业厅中视频画面的功能；异常片段调阅针对异常视频，用户可以进行调阅查看；完整录像调阅可以为用户提供调阅完整视频的功能。视频调阅包括视频播放器，视频处理详细结果展现，并在图像中标注出人体或异常物体，标注框伴随人体同步移动。

所述音频分析包含音频片段检索和音频调听：

音频片段检索主要针对采集的时间信息、监控设备信息、异常信息等，从所有的索引存储中进行快速筛选，并返回音频片段的存储地址，用户可以进行调听，从而对营业厅进行相关的质量复检。

本发明采用了实时语音转写技术，它是利用语音识别引擎对音频中的声音信号进行特征提取、语音解码、语言模型匹配，最终得到讲话内容文本的一个复杂计算过程。语音识别过程计算量大、占用计算资源多。除了采用先进的神经元网络识别算法外，提升语音识别准确率的有效措施是大量采用历史录音数据进行深度机器学习，数据需要来自本领域，即客服中心的真实数据，经过人工标注并审核后才能作为训练集，训练集越大，识别准确率越高。识别后的文本内容准确，后续的质检与分析算法才能发挥应有的作用。

在实时语音转写过程中，关键问题是如何做到及时处理每天新生成的大量语音，做到实时转写。系统部署的语音识别服务器是有限的，需要做到现有计算资源的充分利用，今后业务量增长，应允许随时进行服务扩展，不停机地完成系统转写能力的增容。

如图2所示，本发明提供的第二实施例中，通过视频分析手段，实时监控营业厅的物品摆放是否符合规范要求，保证营造整洁有序的服务环境，同时对营业厅工作环境进行检测分析，可以发现营业厅是否有客户遗失或遗留物品，具体包括以下步骤：

s201：根据定置物品摆放规则，采集营业厅标准图片信息，作为标准图像；

s202：标准图像特征提取；

提取该标准图片信息中的物品的形状特征、颜色特征或是码放位置特征等；

s203：构建标准物品摆放模型；

根据步骤s202提取的特征建立标准物品摆放模型，作为标准图像模型；

s204：实时视频监控；

s205：视频处理；

s206：物品摆放特征提取；

步骤s204～s206与前述步骤s104～s106原理一致，在此不做赘述。

s207：分析对比；

将实时监控视频中的物品摆放位置与建立的标准物品摆放模型对比，并根据比对差异与报警阈值的大小判定物品摆放是否符合定置的摆放规则，若符合，进入步骤s208，若不符合，进入步骤s209；

s208：正常摆放；

当比对差异小于报警阈值时，认为营业厅中物品摆放符合定置的摆放规则；

s209：遗留物品检测；

当比对差异大于报警阈值时，判定物品摆放不符合规则，属于异常事件，需要特别指出的是，此时首先需要进行(顾客)遗留物品检测，如没有发现遗留物品，进入步骤s210，若发现遗留物品，进入步骤s211。

s210：摆放异常；

当没有发现遗留物品，则认为营业厅物品摆放异常，对此异常事件发出告警信息、进行视频抓拍。

s211：人工分类；

如果在遗留物品检测时发现有遗留物品，则需要进行人工分类，如贵重物品、易燃易爆物品等，对不同物品采取对应的应急处置方案，如对贵重物品登记备案、易燃易爆物品由公安机关立案侦查等。

s212：存储并生成服务质检报告；

将步骤s210和步骤s211中生成的分析结果进行存储，保存事件信息，并结合告警信息、视频抓拍生成服务质检报告，以便对客户投诉的营业厅问题进行调查取证。

s213：根据服务质检报告，进行综合分析。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。