一种基于图像数据扩充技术的绝缘子检测方法及系统

文档序号:25219808发布日期:2021-05-28 14:20阅读:来源:国知局

技术特征:

1.一种基于图像数据扩充技术的绝缘子检测方法,其特征在于,所述绝缘子检测方法包括如下步骤:

获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集;

利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络;

获取绝缘子的n张虚拟场景正样本图像;

将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果;

分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵;

分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像;

将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集;

利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络;

将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。

2.根据权利要求1所述的基于图像数据扩充技术的绝缘子检测方法,其特征在于,所述获取绝缘子的n张虚拟场景正样本图像,具体包括:

采用3dsmax虚拟场景建模软件平台搭建绝缘子所在的虚拟场景;

利用keyshot软件对虚拟场景中的绝缘子进行渲染,获得渲染后的虚拟场景;

在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机;

利用所述虚拟物体自转平台和多台所述虚拟摄像机,采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式,制作多个虚拟场景动画;

利用所述keyshot软件分别截取多个虚拟场景动画中的每帧图像,作为虚拟场景正样本图像。

3.根据权利要求1所述的基于图像数据扩充技术的绝缘子检测方法,其特征在于,所述分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵,具体包括:

分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,利用公式计算每张所述虚拟场景正样本图像的响应强度矩阵r,其中,表示反向计算过程中卷积神经网络第l层第i个通道的梯度,表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度,fil为反向计算过程中卷积神经网络第l层第i个通道的输入,back(·)为反向传播的回传操作函数,响应强度矩阵r为当l=0时,i=1,2,3时的构成矩阵。

4.根据权利要求1所述的基于图像数据扩充技术的绝缘子检测方法,其特征在于,所述分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像,具体包括:

利用公式r'=exp(r),分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理,获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵;其中,r表示虚拟场景正样本图像的响应强度矩阵,r'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵;

分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵,利用公式对每张所述虚拟场景正样本图像进行补偿,获得n张初步补偿后的虚拟场景正样本图像;其中,po表示虚拟场景正样本图像的像素矩阵,pco表示初步补偿后的虚拟场景正样本图像的像素矩阵,运算符为哈达马积运算符;

利用公式分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理,获得n张补偿后的虚拟场景正样本图像;其中,pc表示补偿后的虚拟场景正样本图像的像素矩阵。

5.根据权利要求1所述的基于图像数据扩充技术的绝缘子检测方法,其特征在于,所述利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络,之后还包括:

获取绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集;

分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络,获得每个样本的识别结果;所述样本为正样本或负样本,所述正样本为实际场景正样本图像,所述负样本为实际场景正样本图像;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的准确率;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的精确率;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的召回率;

根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的fi值;

根据所述准确率、所述精确率、所述召回率和所述fi值,确定二次训练后的卷积神经网络的性能;

其中,accuracy、precision、recall和f1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和fi值,tp表示被二次训练后的卷积神经网络预测为正类的正样本,tn表示被二次训练后的卷积神经网络预测为负类的负样本,fp表示被二次训练后的卷积神经网络预测为正类的负样本,fn表示被二次训练后的卷积神经网络预测为负类的正样本。

6.一种基于图像数据扩充技术的绝缘子检测系统,其特征在于,所述绝缘子检测系统包括:

训练集获取模块,用于获取绝缘子的m张实际场景正样本图像和m张实际场景负样本图像,建立训练集;

一次训练模块,用于利用所述训练集训练卷积神经网络,获得一次训练后的卷积神经网络;

虚拟场景正样本图像获取模块,用于获取绝缘子的n张虚拟场景正样本图像;

第一识别模块,用于将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络,获得每张所述虚拟场景正样本图像的识别结果;

响应强度矩阵计算模块,用于分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,计算每张所述虚拟场景正样本图像的响应强度矩阵;

补偿模块,用于分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿,获得n张补偿后的虚拟场景正样本图像;

训练集扩充模块,用于将n张补偿后的虚拟场景正样本图像和n张实际场景负样本图像添加至所述训练集,获得扩充后的训练集;

二次训练模块,用于利用扩充后的训练集训练所述卷积神经网络,获得二次训练后的卷积神经网络;

第二识别模块,用于将待识别的实际场景图像输入二次训练后的卷积神经网络,进行绝缘子识别。

7.根据权利要求6所述的基于图像数据扩充技术的绝缘子检测系统,其特征在于,所述虚拟场景正样本图像获取模块,具体包括:

虚拟场景搭建子模块,用于采用3dsmax虚拟场景建模软件平台搭建绝缘子所在的虚拟场景;

绝缘子渲染子模块,用于利用keyshot软件对虚拟场景中的绝缘子进行渲染,获得渲染后的虚拟场景;

虚拟相机设置子模块,用于在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机;

虚拟场景动画生成子模块,用于利用所述虚拟物体自转平台和多台所述虚拟摄像机,采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式,制作多个虚拟场景动画;

图像截取子模块,用于利用所述keyshot软件分别截取多个虚拟场景动画中的每帧图像,作为虚拟场景正样本图像。

8.根据权利要求6所述的基于图像数据扩充技术的绝缘子检测系统,其特征在于,所述响应强度矩阵计算模块,具体包括:

响应强度矩阵计算子模块,用于分别根据每张所述虚拟场景正样本图像的识别结果,采用导向反向传播算法,利用公式计算每张所述虚拟场景正样本图像的响应强度矩阵r,其中,表示反向计算过程中卷积神经网络第l层第i个通道的梯度,表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度,fil为反向计算过程中卷积神经网络第l层第i个通道的输入,back(·)为反向传播的回传操作函数,响应强度矩阵r为当l=0时,i=1,2,3时的构成矩阵。

9.根据权利要求6所述的基于图像数据扩充技术的绝缘子检测系统,其特征在于,所述补偿模块,具体包括:

第一规范化处理子模块,用于利用公式r'=exp(r),分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理,获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵;其中,r表示虚拟场景正样本图像的响应强度矩阵,r'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵;

虚拟场景正样本图像补偿子模块,用于分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵,利用公式对每张所述虚拟场景正样本图像进行补偿,获得n张初步补偿后的虚拟场景正样本图像;其中,po表示虚拟场景正样本图像的像素矩阵,pco表示初步补偿后的虚拟场景正样本图像的像素矩阵,运算符为哈达马积运算符;

第二规范化处理子模块,用于利用公式分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理,获得n张补偿后的虚拟场景正样本图像;其中,pc表示补偿后的虚拟场景正样本图像的像素矩阵。

10.根据权利要求6所述的基于图像数据扩充技术的绝缘子检测系统,其特征在于,所述绝缘子检测系统还包括:

测试集建立模块,用于获取绝缘子的s张实际场景正样本图像和s张实际场景正样本图像,建立测试集;

第三识别模块,用于分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络,获得每个样本的识别结果;所述样本为正样本或负样本,所述正样本为实际场景正样本图像,所述负样本为实际场景正样本图像;

准确率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的准确率;

精确率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的精确率;

召回率计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的召回率;

fi值计算模块,用于根据每张实际场景样本图像的识别结果,利用公式计算二次训练后的卷积神经网络的fi值;

性能确定模块,用于根据所述准确率、所述精确率、所述召回率和所述fi值,确定二次训练后的卷积神经网络的性能;

其中,accuracy、precision、recall和f1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和fi值,tp表示被二次训练后的卷积神经网络预测为正类的正样本,tn表示被二次训练后的卷积神经网络预测为负类的负样本,fp表示被二次训练后的卷积神经网络预测为正类的负样本,fn表示被二次训练后的卷积神经网络预测为负类的正样本。


技术总结
本发明公开了一种基于图像数据扩充技术的绝缘子检测方法,所述绝缘子检测方法通过创建虚拟场景正样本图像,对绝缘子的实际场景正样本图像进行数据扩充,并借鉴控制理论中的“闭环”机制,基于导向反向传播算法对虚拟场景正样本图像进行反馈补偿,提高虚拟场景正样本图像的质量和数据扩充的效果,得到数量与质量更佳的训练集,使得卷积神经网络的训练更加充分,进一步提升网络的绝缘子识别性能,即提高深度学习算法在绝缘子识别上的准确率。

技术研发人员:王亚茹;张效铭;杨凯;翟永杰
受保护的技术使用者:华北电力大学(保定)
技术研发日:2021.01.28
技术公布日:2021.05.28
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1