一种水电厂图像视觉识别人工智能报警方法及装置与流程

1.本发明属于涉及信息技术领域，尤其涉及一种水电厂图像视觉识别人工智能报警方法及装置。


背景技术：

2.随着社会信息化进程的发展，越来越多的领域都广泛应用了各种电子化设备；特别是各种监测、监控领域，能够极大的提高监测的实时性。但是现有的监控领域中，更多的是人工通过摄像头来进行目视远程监控，导致监控效果并不理想。


技术实现要素：

3.针对现有技术中对于电力系统的数据处理中存在的问题，本发明实施例的目的是提供一种水电厂图像视觉识别人工智能报警方法及装置。
4.为了解决上述问题，本发明实施例提供了一种水电厂图像视觉识别人工智能报警识别方法，用于在数据标注的过程中构建出自动标注工具；所述方法包括：数据集制作步骤、模型训练步骤、场景应用步骤；
5.其中，数据集制作步骤用于在制作标准数据集的过程中，构建出分类器；以实现自动标注工具标注离线样本数据，完成初始化人工标注的工作，制作标准的数据集；
6.其中，模型训练步骤用于在模型训练的过程中，构建出检测器；其中模型训练步骤中，对数据集制作步骤产生的训练集进行算法训练和用于分类器产生的测试集进行模型评估以及进一步形成目标检测模型；
7.其中，场景应用步骤在构建典型场景应用展现的过程中，构建出可视化组件；其中场景应用步骤用于水电厂图像视觉识别典型场景的推广应用。
8.其中，所述数据集制作步骤包括：
9.以人工的标注作为指导信息，根据人工标注的需求选取所需的前景或物体区域，并通过多次交互的方式得到灵活的标注结果，为图片标注提供了一种半自动化标注策略；与语义分割相比，交互式分割不仅仅需要传入图片和标签，还需要输入交互信息来进行识别，形成标注后的样本数据集；
10.初始化所有标准样本数据样例的具有相同的权值重，在此样本分布下训练出一个弱分类器，针对错分样本加大对其对应的权值，分类正确的样本降低其权值，使前一步被错分的样本得到突显，获得新的样本分布，在新的样本分布下，再次对样本进行训练，又得到一个分类器；依次循环，得到多个分类器，将这些分类器按照一定的权值组合及加权投票机制，得到最终的强分类器；
11.结合样本优化机制，将标注完成后的样本数据缩放为不同尺寸进行训练，加倍稀少目标的学习频次，做到划分为训练样本集的强化目的，达到提升训练样本集高规格的要求。
12.其中，数据集制作步骤中，数据标注采用高性能的交互式分割自动标注工具，即：
先用预训练模型对离线获取的图像样本数据进行预标注，对于标注不精准、有误差的地方，再通过一系列绿色点的正点和红色点的负点对目标对象边缘进行精准的调整，从而实现精细化标注，形成正负样本相间的标准数据集；其中该数据标注过程包括如下步骤：
13.(1)准备已经标注完成的图片及需要进行自动标注的未标注图片，将已经标注完成的图片分为分别用于训练分类网络和判别网络的两部分图片；
14.(2)搭建包含分类网络和判别网络的双深度神经网络模型；
15.(3)使用已经标注完成的图片训练双深度神经网络模型；
16.(4)使用已训练的双深度神经网络模型对未标注图片的类别进行预测；
17.(5)对未标注图片的预测结果进行处理并选择开启下一次迭代或者结束自动标注；
18.其中，分类器是一个迭代的过程，用来自适应地改变样本数据集的分布，使得基分类器聚焦在那些很难分的样本。本技术中提到的分类器，用于实现训练数据集和测试数据集的划分。根据已有固定的数据分类属性标签集合，对输入的图像，从分类属性标签集合中找出一个分类属性标签，最后把分类属性标签分配给该输入图像。对于分类属性标签为训练集的输入图像，再加以样本优化；所述分类过程包括如下步骤：
19.(1)样本数据集：给定训练样本(x1,y1),...,(xi,yi),...,(xn,yn)，其中xi表示第i个样本，yi＝0表示为负样本，yi＝1表示为正样本。n为训练样本总数。
20.(2)初始化权重：初始化样本数据集的权重
21.(3)迭代过程：第一次迭代，首先训练一弱分类器，计算弱分类器的错误率；选取合适阈值，使得误差最小；更新样本权重
22.(4)生成强分类器：经过t次循环后，得到t个弱分类器，按照评价每一个弱分类器的重要性的权重进行加权叠加，最终得到强分类器。
23.其中，所述模型训练包括：
24.结合在线困难样本挖掘，对经过分类器划分和样本优化处理的训练集，使用模型预测结果较差的区域进行学习，并进行算法训练；
25.结合软化非极大值抑制,对经过分类器划分的测试集，降低选取那些邻域里分数最高，并且抑制那些分数低的窗口的难度，进行模型评估；
26.通过算法训练，构建出目标检测模型；通过模型评估；不断对目标检测模型进行优化，实现整合对接入的视频流进行不断的检测。通过整合预测层的输出数据，得到一系列目标框，设置阈值过滤掉置信度得分低的目标框，最后对保留的目标框进行极大抑制处理，去掉重复框，选取目标类别出现概率最高的目标框，并输出其具体坐标。
27.其中，模型训练步骤的检测器是利用摄像头获得监控实时视频图像数据，进行图像分辨率缩放操作，经过图像锐化处理，实时检测视频中存在的目标；其中所述检测流程包括：
28.(1)输入视频流：读入监控视频，初始化操作，读取参数文件，解析模型，加载模型权重，进行图像数据预处理；
29.(2)获取使用目标检测网络检测目标：经过预处理的图像数据进入网络层处理，进行卷积层和池化层的处理；由于每一层中卷积核大小不固定，卷积层的值不相同，对当前帧图像进行卷积和均值池化交替处理，输出带有卷积的特征图，获取特征值数据；为了方便后
续预测层的操作，通过激活层将其特征数据范围归一化到0～1之间，同时也增强了稳定性；
30.(3)判断检测目标：获取到检测目标，一方面，做目标在上一帧位置与卡尔曼滤波预测目标在当前帧位置的关键点匹配；如果匹配对大于先前设定的阈值，得到目标在当前帧的位置；如果匹配对小于先前设定的阈值，则通过下移帧的方式获取使用目标检测网络检测目标，进行递归判断；另一方面，计算卡尔曼滤波预测目标在当前帧的位置与目标在当前帧的检测位置的相似度；如果相似度是否大于先前设定的阈值，得到目标在当前帧的位置；如果相似度是否小于先前设定的阈值，则通过下移帧的方式获取使用目标检测网络检测目标，进行递归判断；
31.(4)判定视频流：在后续的每帧中，依然通过循环进行匹配对和相似度的方式，进行检测已判定检测目标是否依旧存在；当未检测到检测目标，则对检测目标消失计时；若检测目标消失时间大于先前设定阈值，则判定检测目标消失，同时清除检测目标对应的目标坐标；
32.(5)输出到视频监控：通过预测层使用预测目标类别和坐标；对于特征图的每个网格点预测和目标置信度匹配，得到目标类别概率和目标框位置；同时，将违规的目标坐标实时画到视频监控图像上相对应的位置，用红色标注。
33.其中，所述场景应用步骤包括：
34.在充分考虑水电厂图像视觉识别区域的前提下，按照典型场景的应用进行构建可视化的展现。重点应用到上水库外围，人员翻越栏杆入侵的电子围栏功能；发电机层进门，人员安全帽，工作服检测的人员着装检测；通信电源盘室和蓄电池室，火灾/爆炸烟雾报警的烟雾烟火识别；配电盘室，开关状态监测的仪器仪表识别；水轮机层和蜗壳层，跑冒滴漏检查的跑冒滴漏检测；gis室的高处作业检测的独立和复合的场景中。
35.同时，本发明实施例还提出了一种水电厂图像视觉识别人工智能报警装置，包括：
36.自动标注模块，用于将离线获取的样本数据进行标注，形成标准的数据集；
37.分类器模块，用于将标注好的样本数据进行再次样本优化后，形成高质量的训练集和测试集；
38.检测器模块，用于将分类器产生的训练集进行算法训练和用于分类器产生的测试集进行模型评估以及进一步形成目标检测模型；
39.可视化应用模块，用于水电厂图像视觉识别典型场景应用进行可视化的展现。
40.其中，所述自动标注模块包括：
41.快速标注单元，用于图像视频标注区域的快速生成；
42.生成角点单元，用于标注区域整体轮廓的构造；
43.角点修正单元，用于整体轮廓锚点的调整；
44.格式导出单元，用于标注样本的移交。
45.其中，分类器模块，包括：弱分类器，用于初步判定标准样本的类别；投票器，用于投票弱分类器的分数；强分类器，用于投票分数加权求和的结果和平均投票结果比较得出最后的结果。
46.其中，检测器模块，包括：采集单元，用于图像数据的采集，形成图像视频流；卷积单元，用于过滤器来过滤图像的各个区域，从而提取出这个图片的大概特征；池化单元，用于对图片进行“降维打击”，只保留图中最关键的特征；全连接单元，用于数据挖掘分析，得
出相应的分析结果。
47.其中，可视化应用模块，包括：电子围栏功能、人员着装检测、烟雾烟火识别、仪器仪表识别、跑冒滴漏检测、高处作业检测。
48.本发明的有益效果在于：
49.本发明技术方案属于人工智能领域，结合人工智能技术，采用神经网络深度学习，强化人工标注离线样本数据的分类器，为算法模型的训练提供了良好的数据基础；提出的算法训练和模型评估，可以有效巩固目标检测模型，为典型场景应用提供了坚实的技术能力。其优点在于：(1)优化厂站端现场作业自动化监督管控手段；(2)提升现场安全危险行为人工智能分析能力；(3)减少厂站端巡检人员的投入，解放生产力；(4)实现厂站端全天候，360度无死角无盲区的监控。
附图说明
50.图1是本发明水电厂图像视觉识别方法示意图；
51.图2是本发明水电厂图像视觉识别自动标注原理示意图；
52.图3是本发明水电厂图像视觉识别分类器原理示意图；
53.图4是本发明水电厂图像视觉识别检测器原理示意图；
54.图5是本发明水电厂图像视觉识别装置示意图；
55.图6是本发明水电厂图像视觉识别自动标注工具模块组成示意图；
56.图7是本发明水电厂图像视觉识别分类器模块组成示意图；
57.图8是本发明水电厂图像视觉识别检测器模块组成示意图；
58.图9是本发明水电厂图像视觉识别检测器模块组成示意图。
具体实施例
59.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
60.下面结合附图及本发明的实施例的方法进一步说明。
61.如图1-图9所示的，本发明实施例提出了一种水电厂安全生产人工智能报警方法及装置。随着网络监控摄像头的普及和广泛使用，人工智能图像视觉识别技术成了水电厂安全防范领域中智能视频监控的一个重要分支，是一项横跨图像处理、模式识别、机器学习等多个学科的交叉技术。依托人工智能图像视觉识别技术能力，针对水电厂视频监控场景，预置丰富的业务技能，包含电子围栏、安全帽佩戴检测、烟火检测、陌生人检测、离岗/睡岗检测、攀高检测、车辆违停分析、人流过密预警等能力，在安全生产业务典型场景应用，提升水电厂安全生产的技术手段。
62.本发明的目的是提供一种水电厂图像视觉人工智能方法及装置，进行水电厂安全生产作业现场违章自动抓取，可以对公司各类生产作业现场施工作业实现全过程管控，对常见违章行为实现自动研判、自动告警叫停、生成违章记录等。其目标有：(1)提供一种数据快速标注的方案，构造出自动标注工具，实现数据标注的高性能的交互式分割自动化；(2)提供一种数据集制作的方案，建立分类器，可以充分提升测试数据集和训练数据集的有效
度；(3)提供一种模型训练的方案，构建出检测器，可以有效加强产出模型准备识别的检测能力；(4)提供一种场景应用的方案，解决面临多元化典型场景应用的难题，实现人工智能技能自由组合。
63.本发明结合快速预筛检处理算法、深度学习神经网络学习、视频流智能图像识别分析等人工智能技术，对现场高危安全危险行为进行人工智能分析，实现安全帽、工服、烟火、电子围栏等多种违章进行识别判断，并远程及时叫停，实现从传统防御向科技防御型的转变。
64.为了实现上述目的，结合本技术提出的技术方案，提供了一种水电厂图像视觉识别人工智能报警识别方法和装置。
65.根据本技术的水电厂图像视觉识别人工智能报警识别方法，包括：数据集制作；模型训练；场景应用。其中，在实现数据标注的过程中，构建出自动标注工具；在制作标准数据集的过程中，构建出分类器；在模型训练的过程中，构建出检测器；在构建典型场景应用展现的过程中，构建出可视化组件。其中，所述数据集制作包括：用于实现自动标注工具标注离线样本数据，完成初始化人工标注的工作，制作标准的数据集。其中，所述模型训练包括：用于分类器产生的训练集进行算法训练和用于分类器产生的测试集进行模型评估以及进一步形成目标检测模型。其中，所述场景应用包括：用于水电厂图像视觉识别典型场景的推广应用。其中，所述样本优化包括：将人工标注的离线样本数据缩放为不同尺寸进行训练，加倍稀少目标的学习频次。其中，所述在线困难样本挖掘包括：在训练的过程中，使用模型预测结果较差的区域进行学习，并进行算法训练。其中，所述软化非极大值抑制包括：降低选取那些邻域里分数最高，并且抑制那些分数低的窗口的难度。
66.本发明还提出了一种水电厂图像视觉识别人工智能报警装置，包括：自动标注模块，用于将离线获取的样本数据进行标注，形成标准的数据集；分类器模块，用于将标注好的样本数据进行再次样本优化后，形成高质量的训练集和测试集；检测器模块，用于将分类器产生的训练集进行算法训练和用于分类器产生的测试集进行模型评估以及进一步形成目标检测模型；可视化应用模块，用于水电厂图像视觉识别典型场景应用进行可视化的展现。其中，自动标注模块包括：快速标注单元，用于图像视频标注区域的快速生成；生成角点单元,用于标注区域整体轮廓的构造；角点修正单元，用于整体轮廓锚点的调整；格式导出单元，用于标注样本的移交。其中，所述分类器模块包括：弱分类器，用于初步判定标准样本的类别；投票器，用于投票弱分类器的分数；强分类器，用于投票分数加权求和的结果和平均投票结果比较得出最后的结果。其中，所述检测器模块包括：卷积单元，用于过滤器来过滤图像的各个区域，从而提取出这个图片的大概特征；池化单元，用于对图片进行“降维打击”，只保留图中最关键的特征；全连接单元，用于数据挖掘分析，得出相应的分析结果。其中，所述可视化应用模块包括：电子围栏功能、人员着装检测、烟雾烟火识别、仪器仪表识别、跑冒滴漏检测、高处作业检测等典型场景或复合场景的应用。
67.其中，所述方法具体包括：
68.(1)数据集制作
69.以人工的标注作为指导信息，根据人工标注的需求选取所需的前景或物体区域，并通过多次交互的方式得到灵活的标注结果，为图片标注提供了一种半自动化标注策略。与语义分割相比，交互式分割不仅仅需要传入图片和标签，还需要输入交互信息来进行识
别，形成标注后的样本数据集。
70.初始化所有标准样本数据样例的具有相同的权值重，在此样本分布下训练出一个弱分类器，针对错分样本加大对其对应的权值，分类正确的样本降低其权值，使前一步被错分的样本得到突显，获得新的样本分布，在新的样本分布下，再次对样本进行训练，又得到一个分类器。依次循环，得到多个分类器，将这些分类器按照一定的权值组合及加权投票机制，得到最终的强分类器。
71.结合样本优化机制，将标注完成后的样本数据缩放为不同尺寸进行训练，加倍稀少目标的学习频次，做到划分为训练样本集的强化目的，达到提升训练样本集高规格的要求。
72.(2)模型训练
73.结合在线困难样本挖掘，对经过分类器划分和样本优化处理的训练集，使用模型预测结果较差的区域进行学习，并进行算法训练。
74.结合软化非极大值抑制,对经过分类器划分的测试集，降低选取那些邻域里分数最高，并且抑制那些分数低的窗口的难度，进行模型评估。
75.通过算法训练，构建出目标检测模型；通过模型评估；不断对目标检测模型进行优化，实现整合对接入的视频流进行不断的检测。通过整合预测层的输出数据，得到一系列目标框，设置阈值过滤掉置信度得分低的目标框，最后对保留的目标框进行极大抑制处理，去掉重复框，选取目标类别出现概率最高的目标框，并输出其具体坐标。
76.(3)场景应用
77.在充分考虑水电厂图像视觉识别区域的前提下，按照典型场景的应用进行构建可视化的展现。重点应用到上水库外围，人员翻越栏杆入侵的电子围栏功能；发电机层进门，人员安全帽，工作服检测的人员着装检测；通信电源盘室和蓄电池室，火灾/爆炸烟雾报警的烟雾烟火识别；配电盘室，开关状态监测的仪器仪表识别；水轮机层和蜗壳层，跑冒滴漏检查的跑冒滴漏检测；gis室的高处作业检测的独立和复合的场景中。
78.其中，数据标注采用高性能的交互式分割自动标注工具，即：先用预训练模型对离线获取的图像样本数据进行预标注，对于标注不精准、有误差的地方，再通过一系列绿色点(正点)和红色点(负点)对目标对象边缘进行精准的调整，从而实现精细化标注，形成正负样本相间的标准数据集，如图2所示，该数据标注过程包括如下步骤：
79.(1)准备已经标注完成的图片及需要进行自动标注的未标注图片，将已经标注完成的图片分为分别用于训练分类网络和判别网络的两部分图片；
80.(2)搭建包含分类网络和判别网络的双深度神经网络模型；
81.(3)使用已经标注完成的图片训练双深度神经网络模型；
82.(4)使用已训练的双深度神经网络模型对未标注图片的类别进行预测；
83.(5)对未标注图片的预测结果进行处理并选择开启下一次迭代或者结束自动标注。
84.其中，分类器是一个迭代的过程，用来自适应地改变样本数据集的分布，使得基分类器聚焦在那些很难分的样本。本技术中提到的分类器，用于实现训练数据集和测试数据集的划分。根据已有固定的数据分类属性标签集合，对输入的图像，从分类属性标签集合中找出一个分类属性标签，最后把分类属性标签分配给该输入图像。对于分类属性标签为训
练集的输入图像，再加以样本优化。如图3所示，所述分类过程包括如下步骤：
85.(1)样本数据集：给定训练样本(x1,y1),...,(xi,yi),...,(xn,yn)，其中xi表示第i个样本，yi＝0表示为负样本，yi＝1表示为正样本。n为训练样本总数。
86.(2)初始化权重：初始化样本数据集的权重
87.(3)迭代过程：第一次迭代，首先训练一弱分类器，计算弱分类器的错误率；选取合适阈值，使得误差最小；更新样本权重
88.(4)生成强分类器：经过t次循环后，得到t个弱分类器，按照评价每一个弱分类器的重要性的权重进行加权叠加，最终得到强分类器
89.其中，检测器是利用摄像头获得监控实时视频图像数据，进行图像分辨率缩放操作，经过图像锐化处理，实时检测视频中存在的目标。如图4所示，所述检测流程包括：
90.(1)输入视频流：读入监控视频，初始化操作，读取参数文件，解析模型，加载模型权重，进行图像数据预处理。
91.(2)获取使用目标检测网络检测目标：经过预处理的图像数据进入网络层处理，进行卷积层和池化层的处理。由于每一层中卷积核大小不固定，卷积层的值不相同，对当前帧图像进行卷积和均值池化交替处理，输出带有卷积的特征图，获取特征值数据。为了方便后续预测层的操作，通过激活层将其特征数据范围归一化到0～1之间，同时也增强了稳定性。
92.(3)判断检测目标：获取到检测目标，一方面，做目标在上一帧位置与卡尔曼滤波预测目标在当前帧位置的关键点匹配。如果匹配对大于先前设定的阈值，得到目标在当前帧的位置；如果匹配对小于先前设定的阈值，则通过下移帧的方式获取使用目标检测网络检测目标，进行递归判断。另一方面，计算卡尔曼滤波预测目标在当前帧的位置与目标在当前帧的检测位置的相似度。如果相似度是否大于先前设定的阈值，得到目标在当前帧的位置；如果相似度是否小于先前设定的阈值，则通过下移帧的方式获取使用目标检测网络检测目标，进行递归判断。
93.(4)判定视频流：在后续的每帧中，依然通过循环进行匹配对和相似度的方式，进行检测已判定检测目标是否依旧存在。当未检测到检测目标，则对检测目标消失计时。若检测目标消失时间大于先前设定阈值，则判定检测目标消失，同时清除检测目标对应的目标坐标。
94.(5)输出到视频监控：通过预测层使用预测目标类别和坐标。对于特征图的每个网格点预测和目标置信度匹配，得到目标类别概率和目标框位置。同时，将违规的目标坐标实时画到视频监控图像上相对应的位置，用红色标注。
95.根据本发明实施例，还提供一种水电厂图像视觉识别人工智能报警装置；如图5所示，包括：
96.自动标注模块，用于将离线获取的样本数据进行标注，形成标准的数据集；
97.分类器模块，用于将标注好的样本数据进行再次样本优化后，形成高质量的训练集和测试集；
98.检测器模块，用于将分类器产生的训练集进行算法训练和用于分类器产生的测试集进行模型评估以及进一步形成目标检测模型；
99.可视化应用模块，用于水电厂图像视觉识别典型场景应用进行可视化的展现。
100.其中，如图6所示，自动标注模块包括：快速标注单元，用于图像视频标注区域的快
速生成；生成角点单元,用于标注区域整体轮廓的构造；角点修正单元，用于整体轮廓锚点的调整；格式导出单元，用于标注样本的移交。
101.其中，如图7所示，分类器模块，包括：弱分类器，用于初步判定标准样本的类别；投票器，用于投票弱分类器的分数；强分类器，用于投票分数加权求和的结果和平均投票结果比较得出最后的结果。
102.其中，如图8所示，检测器模块，包括：采集单元，用于图像数据的采集，形成图像视频流；卷积单元，用于过滤器来过滤图像的各个区域，从而提取出这个图片的大概特征；池化单元，用于对图片进行“降维打击”，只保留图中最关键的特征；全连接单元，用于数据挖掘分析，得出相应的分析结果。
103.其中，如图9所示，可视化应用模块，包括：电子围栏功能、人员着装检测、烟雾烟火识别、仪器仪表识别、跑冒滴漏检测、高处作业检测。
104.本发明的优点在于：(1)优化厂站端现场作业自动化监督管控手段；(2)提升现场安全危险行为人工智能分析能力；(3)减少厂站端巡检人员的投入，解放生产力；(4)实现厂站端全天候，360度无死角无盲区的监控。
105.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。