一种基于图像数据扩充技术的绝缘子检测方法及系统

文档序号:25219808发布日期:2021-05-28 14:20阅读:121来源:国知局
一种基于图像数据扩充技术的绝缘子检测方法及系统

本发明涉及图像识别领域,特别是涉及一种基于图像数据扩充技术的绝缘子检测方法及系统。



背景技术:

近年来,深度学习算法在计算机视觉领域取得显著成效,也逐渐被应用于绝缘子的自动检测研究中。然而,目前公开的绝缘子数据集稀少;绝缘子种类、长度、角度各异,航拍视角和视距变化很大,现场样本采集不全面,多样性差;不同状况的绝缘子样本数量差异大,样本分布不平衡;样本标注过程困难,因此样本集在数量和质量上均难以满足深度学习算法的要求,导致深度学习算法无法充分训练,在绝缘子识别上的准确率难以满足要求,如何克服该技术缺陷,提高深度学习算法在绝缘子识别上的准确率,成为一个亟待解决的技术问题。



技术实现要素:

本发明的目的是提供一种基于图像数据扩充技术的绝缘子检测方法及系统,以提高深度学习算法在绝缘子识别上的准确率。

为实现上述目的,本发明提供了如下方案:

一种基于图像数据扩充技术的绝缘子检测方法,所述绝缘子检测方法包括如下步骤:

获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集;

利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络;

获取绝缘子的n张虚拟场景正样本图像;

将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果;

分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵;

分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像;

将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集;

利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络;

将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。

可选的,所述获取绝缘子的n张虚拟场景正样本图像,具体包括:

采用3dsmax虚拟场景建模软件平台搭建绝缘子所在的虚拟场景;

利用keyshot软件对虚拟场景中的绝缘子进行渲染,获得渲染后的虚拟场景;

在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机;

利用所述虚拟物体自转平台和多台所述虚拟摄像机,采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式,制作多个虚拟场景动画;

利用所述keyshot软件分别截取多个虚拟场景动画中的每帧图像,作为虚拟场景正样本图像。

可选的,所述分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵,具体包括:

分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,利用公式计算每张所述虚拟场景正样本图像的响应强度矩阵r,其中,表示反向计算过程中卷积神经网络第l层第i个通道的梯度,表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度,为反向计算过程中卷积神经网络第l层第i个通道的输入,back(·)为反向传播的回传操作函数,响应强度矩阵r为当l=0时,i=1,2,3时的构成矩阵。

可选的,所述分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像,具体包括:

利用公式r'=exp(r),分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理,获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵;其中,r表示虚拟场景正样本图像的响应强度矩阵,r'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵;

分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵,利用公式对每张所述虚拟场景正样本图像进行补偿,获得n张初步补偿后的虚拟场景正样本图像;其中,po表示虚拟场景正样本图像的像素矩阵,pco表示初步补偿后的虚拟场景正样本图像的像素矩阵,运算符为哈达马积运算符;

利用公式分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理,获得n张补偿后的虚拟场景正样本图像;其中,pc表示补偿后的虚拟场景正样本图像的像素矩阵。

可选的,所述利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络,之后还包括:

获取绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集;

分别将所述测试集中的每个样本输入所述二次训练后的卷积神经网络,获得每个样本的识别结果;所述样本为正样本或负样本,所述正样本为实际场景正样本图像,所述负样本为实际场景负样本图像;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的准确率;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的精确率;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的召回率;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的fi值;

根据所述准确率、所述精确率、所述召回率和所述fi值,确定二次训练后的卷积神经网络的性能;

其中,accuracy、precision、recall和f1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和fi值,tp表示被二次训练后的卷积神经网络预测为正类的正样本,tn表示被二次训练后的卷积神经网络预测为负类的负样本,fp表示被二次训练后的卷积神经网络预测为正类的负样本,fn表示被二次训练后的卷积神经网络预测为负类的正样本。

一种基于图像数据扩充技术的绝缘子检测系统,所述绝缘子检测系统包括:

训练集获取模块,用于获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集;

一次训练模块,用于利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络;

虚拟场景正样本图像获取模块,用于获取绝缘子的n张虚拟场景正样本图像;

第一识别模块,用于将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果;

响应强度矩阵计算模块,用于分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵;

补偿模块,用于分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像;

训练集扩充模块,用于将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集;

二次训练模块,用于利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络;

第二识别模块,用于将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。

可选的,所述虚拟场景正样本图像获取模块,具体包括:

虚拟场景搭建子模块,用于采用3dsmax虚拟场景建模软件平台搭建绝缘子所在的虚拟场景;

绝缘子渲染子模块,用于利用keyshot软件对虚拟场景中的绝缘子进行渲染,获得渲染后的虚拟场景;

虚拟相机设置子模块,用于在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机;

虚拟场景动画生成子模块,用于利用所述虚拟物体自转平台和多台所述虚拟摄像机,采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式,制作多个虚拟场景动画;

图像截取子模块,用于利用所述keyshot软件分别截取多个虚拟场景动画中的每帧图像,作为虚拟场景正样本图像。

可选的,所述响应强度矩阵计算模块,具体包括:

响应强度矩阵计算子模块,用于分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,利用公式计算每张所述虚拟场景正样本图像的响应强度矩阵r,其中,表示反向计算过程中卷积神经网络第l层第i个通道的梯度,表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度,为反向计算过程中卷积神经网络第l层第i个通道的输入,back(·)为反向传播的回传操作函数,响应强度矩阵r为当l=0时,i=1,2,3时的构成矩阵。

可选的,所述补偿模块,具体包括:

第一规范化处理子模块,用于利用公式r'=exp(r),分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理,获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵;其中,r表示虚拟场景正样本图像的响应强度矩阵,r'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵;

虚拟场景正样本图像补偿子模块,用于分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵,利用公式对每张所述虚拟场景正样本图像进行补偿,获得n张初步补偿后的虚拟场景正样本图像;其中,po表示虚拟场景正样本图像的像素矩阵,pco表示初步补偿后的虚拟场景正样本图像的像素矩阵,运算符为哈达马积运算符;

第二规范化处理子模块,用于利用公式分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理,获得n张补偿后的虚拟场景正样本图像;其中,pc表示补偿后的虚拟场景正样本图像的像素矩阵。

可选的,所述绝缘子检测系统还包括:

测试集建立模块,用于获取绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集;

第三识别模块,用于分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络,获得每个样本的识别结果;所述样本为正样本或负样本,所述正样本为实际场景正样本图像,所述负样本为实际场景负样本图像;

准确率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的准确率;

精确率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的精确率;

召回率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的召回率;

fi值计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的fi值;

性能确定模块,用于根据所述准确率、所述精确率、所述召回率和所述fi值,确定二次训练后的卷积神经网络的性能;

其中,accuracy、precision、recall和f1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和fi值,tp表示被二次训练后的卷积神经网络预测为正类的正样本,tn表示被二次训练后的卷积神经网络预测为负类的负样本,fp表示被二次训练后的卷积神经网络预测为正类的负样本,fn表示被二次训练后的卷积神经网络预测为负类的正样本。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明公开了一种基于图像数据扩充技术的绝缘子检测方法,所述绝缘子检测方法包括如下步骤:获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集;利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络;获取绝缘子的n张虚拟场景正样本图像;将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果;分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵;分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像;将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集;利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络;将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。本发明通过创建虚拟场景正样本图像,对绝缘子的实际场景正样本图像进行数据扩充,并借鉴控制理论中的“闭环”机制,基于导向反向传播算法对虚拟场景正样本图像进行反馈补偿,提高虚拟场景正样本图像的质量和数据扩充的效果,得到数量与质量更佳的训练集,使得卷积神经网络的训练更加充分,进一步提升网络的绝缘子识别性能,即提高深度学习算法在绝缘子识别上的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于图像数据扩充技术的绝缘子检测方法的流程图;

图2为本发明提供的一种基于图像数据扩充技术的绝缘子检测方法的原理图;

图3为本发明提供的alexnet网络的结构图;

图4为本发明提供的二次训练后的卷积神经网络性能测试的原理图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种基于图像数据扩充技术的绝缘子检测方法及系统,以提高深度学习算法在绝缘子识别上的准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1和2所示,本发明提供一种基于图像数据扩充技术的绝缘子检测方法,所述绝缘子检测方法包括如下步骤:

步骤101,获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集。

本发明还获取了绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集,用于二次训练后的卷积神经网络的测试。

采用的实际场景图像数据集由固定摄像头拍摄或无人机航拍获得,为128×128像素的三通道图像,总计8000张,主要目标为4到16个伞裙的绝缘子串或串组;绝缘子材质包括玻璃、陶瓷、复合材料等;背景包括绿色森林、灰黄色荒野、农业用地、工业用地、未降水的天空等;光照情况随机。图像中有绝缘子的为正样本,没有绝缘子的为负样本。随机分别抽取实际场景正样本图像和负样本图像各2000张组成训练集,随机分别抽取实际场景正样本图像和负样本图像各1000张组成测试集。即,m的数值为2000,s的数值为1000。

步骤102,利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络。本发明的卷积神经网络为alexnet网络、vgg16网络、vgg11网络或vgg13网络等。其中,alexnet网络的结构如图3所示。

将训练集中的实际场景样本图像输入卷积神经网络进行训练,并保存训练完成后的网络参数。实际场景图像为实际场景正样本图像或实际场景负样本图像。

步骤103,获取绝缘子的n张虚拟场景正样本图像。

步骤103所述获取绝缘子的n张虚拟场景正样本图像,具体包括:采用3dsmax虚拟场景建模软件平台搭建绝缘子所在的虚拟场景;利用keyshot软件对虚拟场景中的绝缘子进行渲染,获得渲染后的虚拟场景;在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机;利用所述虚拟物体自转平台和多台所述虚拟摄像机,采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式,制作多个虚拟场景动画;利用所述keyshot软件分别截取多个虚拟场景动画中的每帧图像,作为虚拟场景正样本图像。

具体的,采用3dsmax虚拟场景建模软件平台,结合电力设备的标准和规范文件等先验知识确定建模参数,结合真实场景中的常见要素设定人工场景构建要素,模拟出逼真度较高的虚拟3d人工场景,通过内置虚拟摄像机和旋转平台从人工场景中获得人工图像。在绝缘子的渲染环节,依托keyshot软件的实时渲染功能,对不同材质和不同规格的电力设备在不同背景下进行渲染。设置虚拟物体自转平台和多台虚拟摄像机,采用360°旋转拍照、由远及近拍照以及自定义相机路径,制作多个小型动画,通过keyshot软件对动画每帧图像进行截取,最终得到128×128像素的三通道图像,总计1000张,目标为包含4到20个伞裙的绝缘子串;材质为乳白色陶瓷;背景为纯黑色;绝缘子大小、角度各异。即,n的数值为1000。

步骤104,将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果。

步骤105,分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵。

步骤105所述分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵,具体包括:分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,利用公式计算每张所述虚拟场景正样本图像的响应强度矩阵r,其中,表示反向计算过程中卷积神经网络第l层第i个通道的梯度,表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度,即第l+1层的输出对第l+1层第i个通道的输入的偏导,为反向计算过程中卷积神经网络第l层第i个通道的输入,为第l+1层的输出,为第l+1层第i个通道的输入,back(·)为反向传播的回传操作函数,响应强度矩阵r为当l=0时,i=1,2,3时的构成矩阵,i表示第l层的第i个通道,l=0,1,...,l,l为所有卷积神经网络的卷积层数。

具体的,将1000张虚拟场景正样本图像输入一次训练后的卷积神经网络,根据公式(1)所示的导向反向传播算法,计算图像的响应强度矩阵,记为rg,其中各元素即为响应强度值,分布于0附近。

步骤106,分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像。

步骤106所述分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像,具体包括:利用公式r'=exp(r),分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理,获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵;其中,r表示虚拟场景正样本图像的响应强度矩阵,r'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵;分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵,利用公式对每张所述虚拟场景正样本图像进行补偿,获得n张初步补偿后的虚拟场景正样本图像;其中,po表示虚拟场景正样本图像的像素矩阵,pco表示初步补偿后的虚拟场景正样本图像的像素矩阵,运算符为哈达马积运算符;利用公式分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理,获得n张补偿后的虚拟场景正样本图像;其中,pc表示补偿后的虚拟场景正样本图像的像素矩阵。

具体的,采用以自然常数e为底的指数函数,将响应强度矩阵r的各元素值由0附近变换到1附近,得到规范化处理后的响应强度矩阵exp(r)。

将输入一次训练后的卷积神经网络的虚拟场景正样本图像的像素矩阵记为po,计算po与规范化处理后的响应强度矩阵的哈达马积(hadamardproduct),得到初步补偿后的虚拟场景正样本图像pco:

其中,运算符为哈达马积运算符。

对初步补偿后的虚拟场景正样本图像pco进行规范化处理,得到补偿后的虚拟场景正样本图像pc:

步骤107,将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集。

将补偿后的虚拟场景正样本图像加入训练集中,同时加入相同数量的实际场景负样本图像,对训练集进行扩充。

步骤108,利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络。

步骤108所述利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络,之后还包括:

获取绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集;

分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络,获得每个样本的识别结果;所述样本为正样本或负样本,所述正样本为实际场景正样本图像,所述负样本为实际场景正样本图像;

根据每张实际场景样本图像的识别结果,利用公式(4)计算二次训练后的卷积神经网络的准确率;

根据每张实际场景样本图像的识别结果,利用公式(5),计算二次训练后的卷积神经网络的精确率;

根据每张实际场景样本图像的识别结果,利用公式(6),计算二次训练后的卷积神经网络的召回率;

根据每张实际场景样本图像的识别结果,利用公式(7),计算二次训练后的卷积神经网络的fi值;

根据所述准确率、所述精确率、所述召回率和所述fi值,确定二次训练后的卷积神经网络的性能;

其中,accuracy、precision、recall和f1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和fi值,tp表示被二次训练后的卷积神经网络预测为正类的正样本,tn表示被二次训练后的卷积神经网络预测为负类的负样本,fp表示被二次训练后的卷积神经网络预测为正类的负样本,fn表示被二次训练后的卷积神经网络预测为负类的正样本。

步骤109,将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。

一种基于图像数据扩充技术的绝缘子检测系统,所述绝缘子检测系统包括:

训练集获取模块,用于获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集;

一次训练模块,用于利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络;

虚拟场景正样本图像获取模块,用于获取绝缘子的n张虚拟场景正样本图像。

所述虚拟场景正样本图像获取模块,具体包括:虚拟场景搭建子模块,用于采用3dsmax虚拟场景建模软件平台搭建绝缘子所在的虚拟场景;绝缘子渲染子模块,用于利用keyshot软件对虚拟场景中的绝缘子进行渲染,获得渲染后的虚拟场景;虚拟相机设置子模块,用于在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机;虚拟场景动画生成子模块,用于利用所述虚拟物体自转平台和多台所述虚拟摄像机,采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式,制作多个虚拟场景动画;图像截取子模块,用于利用所述keyshot软件分别截取多个虚拟场景动画中的每帧图像,作为虚拟场景正样本图像。

第一识别模块,用于将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果;

响应强度矩阵计算模块,用于分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵。

所述响应强度矩阵计算模块,具体包括:响应强度矩阵计算子模块,用于分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,利用公式计算每张所述虚拟场景正样本图像的响应强度矩阵r,其中,表示反向计算过程中卷积神经网络第l层第i个通道的梯度,表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度,为反向计算过程中卷积神经网络第l层第i个通道的输入,back(·)为反向传播的回传操作函数,响应强度矩阵r为当l=0时,i=1,2,3时的构成矩阵。

补偿模块,用于分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像。

所述补偿模块,具体包括:第一规范化处理子模块,用于利用公式r'=exp(r),分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理,获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵;其中,r表示虚拟场景正样本图像的响应强度矩阵,r'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵;虚拟场景正样本图像补偿子模块,用于分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵,利用公式对每张所述虚拟场景正样本图像进行补偿,获得n张初步补偿后的虚拟场景正样本图像;其中,po表示虚拟场景正样本图像的像素矩阵,pco表示初步补偿后的虚拟场景正样本图像的像素矩阵,运算符为哈达马积运算符;第二规范化处理子模块,用于利用公式分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理,获得n张补偿后的虚拟场景正样本图像;其中,pc表示补偿后的虚拟场景正样本图像的像素矩阵。

训练集扩充模块,用于将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集;

二次训练模块,用于利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络;

第二识别模块,用于将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。

所述绝缘子检测系统还包括:测试集建立模块,用于获取绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集;第三识别模块,用于分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络,获得每个样本的识别结果;所述样本为正样本或负样本,所述正样本为实际场景正样本图像,所述负样本为实际场景正样本图像;准确率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的准确率;精确率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的精确率;召回率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的召回率;fi值计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的fi值;性能确定模块,用于根据所述准确率、所述精确率、所述召回率和所述fi值,确定二次训练后的卷积神经网络的性能;其中,accuracy、precision、recall和f1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和fi值,tp表示被二次训练后的卷积神经网络预测为正类的正样本,tn表示被二次训练后的卷积神经网络预测为负类的负样本,fp表示被二次训练后的卷积神经网络预测为正类的负样本,fn表示被二次训练后的卷积神经网络预测为负类的正样本。

与本发明最相近的方案:

(1)基于深度学习的数据扩充方法,主要有对抗攻击、生成式方法和风格迁移。对抗攻击采用对抗性的数据明确数据空间中的类别边界;生成式方法以现有数据为基础训练生成网络,产生与现有数据类似的图像,用以扩充训练集;风格迁移则通过神经网络改变图像风格的同时保留被识别目标的特征,扩充训练集。

(2)基于图像处理的数据扩充方法,包含几何变换、噪声扰动、色彩变换、内核过滤、对比度扰动、图像融合、灰度增强等。

(3)基于平行视觉理论的数据扩充方法,通过创建人工绝缘子图像对数据集进行扩充。

上述方案(1)~(3)中方案-基于深度学习的数据扩充方法、基于图像处理的数据扩充方法和基于平行视觉理论的数据扩充方法,通过生成相似图像或对现有图像进行一些较为规则的映射变化的方式,对现有真实图像数据集进行扩充,均取得了一定的效果,但这些方法均基于“开环”机制,未针对具体网络的响应及输出情况对用于扩充的图像进行评估,缺乏对图像进行针对性优化的策略,使得数据扩充的性能受限。

如图4所示,为了说明本发明的技术效果,本发明提供了如下方法,将本发明的技术方案与现有技术中的技术方案进行对比:

步骤1、不进行数据扩充的绝缘子识别

将包含4000张图像的实际场景绝缘子图像训练集输入alexnet网络进行训练,训练完成后,在包含2000张图像的实际场景绝缘子图像测试集上测试网络的绝缘子识别性能,并计算性能评价指标。

步骤2、采用未经反馈补偿的人工场景图像进行数据扩充

从人工场景图像数据集中随机抽取1000张正样本图像,从实际场景图像数据集中随机抽取1000张负样本图像,对原训练集进行扩充。将扩充后的包含6000张图像的训练集输入alexnet网络重新训练,在原测试集上实时测试网络的绝缘子识别性能,并计算性能评价指标。性能评价指标为auc值。其中,auc(areaundercurve)值为roc(receiveroperatingcharacteristiccurve,接受者操作特征曲线)曲线下的面积,其取值范围一般在0.5和1之间。auc值越大的分类器,正确率越高。其中,m为正样本数,n为负样本数,positiveclass为正样本标签,score表示每个测试样本属于正样本的概率,根据每个测试样本属于正样本的概率,将所有测试样本按照从大到小的顺序排序,ranki表示排在第i位的测试样本。

步骤3、本发明的方法进行数据扩充

用反馈补偿后的1000张人工场景绝缘子正样本图像对原训练集进行扩充,同时加入相同数量的负样本图像,将训练集扩充至6000张,输入alexnet网络进行训练。在原测试集上实时测试网络的绝缘子识别性能,并计算性能评价指标。

步骤4、采用现有方法进行数据扩充

从训练集中随机抽取1000张正样本图像,利用gan(generativeadversarialnets,生成对抗网络)网络对其进行风格迁移,将生成的图像对原训练集进行数据扩充,同时加入相同数量的负样本图像,将训练集扩充至6000张,输入alexnet网络进行重新训练。训练完成后,在测试集上实时测试网络的绝缘子识别性能,并计算性能评价指标。

步骤5、重复进行多组实验

重新从实际场景图像数据集中随机抽取2000张正样本和2000张负样本作为训练集,在测试集不变的条件下,重复步骤1~4,获得多组绝缘子识别准确率、精确率、召回率、f1值、auc数据。

步骤6、更换卷积神经网络

采用其它卷积神经网络,例如vgg16、vgg11、vgg13等,重复步骤1~5。

对比以上不同方法的绝缘子识别性能评价指标,对本文数据扩充方法的性能进行评估。实验结果可验证,本文方法具有更好的数据扩充性能,可有效提高卷积神经网络的绝缘子识别准确性和网络的分辨能力。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明通过3dsmax和keyshot建模软件创建人工场景绝缘子图像,输入卷积神经网络,借鉴控制理论中的“闭环”机制,根据网络响应,基于导向反向传播算法计算人工场景绝缘子图像的梯度回传响应强度,对人工场景图像进行反馈补偿,增强梯度回传响应强度大于0即对卷积神经网络目标识别结果有正面影响的区域,同时削弱梯度回传响应强度小于0即对卷积神经网络目标识别结果有负面影响的区域。采用反馈补偿后的人工场景绝缘子图像对实际场景绝缘子图像进行数据扩充,得到数量与质量更佳的训练数据集,重新训练卷积神经网络,提高网络的绝缘子识别性能。

本发明采用反馈补偿机制根据卷积神经网络的响应及输出情况对输入人工图像进行评估,并进行补偿优化,增强人工图像中对网络识别结果有正面影响的区域,削弱有负面影响的区域,从而提高人工图像的质量和数据扩充性能。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1