一种保护压板图像预处理算法的制作方法

1.本发明涉及图像预处理技术，具体涉及一种保护压板图像预处理算法。


背景技术：

2.传统的保护压板自动检测技术往往忽略了前期的图像预处理操作，直接利用目标检测或分割网络实现对保护压板roi区域的提取，该方法对于现实应用中各种不同拍摄角度和光照环境所拍摄图像的泛化能力较差，无法消除同一张图像中压板由于图像畸变产生的个体差异，不利于进行批处理操作，准确率低。


技术实现要素：

3.本发明的目的在于提供一种结合多层次融合边缘增强算法、和基于形变程度曲面的图像校正算法的保护压板图像预处理算法，实现对保护压板拍摄图像的预处理，消除由于拍摄环境和角度造成的压板个体差异，有利于提高后续保护压板状态自动检测等批处理操作的准确性和效率。
4.本发明的技术方案：
5.一种保护压板图像预处理算法，结合多层次融合边缘增强算法、基于双色彩空间与光照补偿的阴影去除算法和基于形变程度曲面的图像校正算法三部分组成的保护压板图像预处理算法，在后续批处理之前的图像预处理操作；
6.多层次融合边缘增强算法从图像的不同色彩层次空间出发，采用不同边缘增强方法对其分别进行边缘增强后再融合，提高了压板roi区域与背景部分的对比度，有利于实现后续的检测分割操作；基于双色彩空间与光照补偿的阴影去除算法，使用hsv和rgb双色彩空间实现了对阴影的自动检测，并采用光照补偿方法最大程度地还原了图像的原始特征，完成了阴影的去除；
7.基于形变程度曲面的图像校正算法提出了反映图片畸变情况的压板形变程度曲面，由于不同拍摄角度造成的畸变情况，并自适应地实现对畸变的校正，通过将各压板roi图像校正至相同平面及角度，提高后续批处理的可操作性和准确度。
8.优选的，多层次融合边缘增强算法为：选择一张图片，分别将其转化为hsv模式图像和灰度图，再在两个层面进行边缘增强处理；在hsv模式中，对亮度分量进行直方图均衡化增强图像对比度，接着再对均衡化后的亮度图进行高斯-拉普拉斯变换锐化处理，增强边缘，得到处理后的亮度分量再与原本的饱和度以及色调分量叠加得到hsv模式下增强后的第一图像；在灰度图层面，分别进行了canny算子边缘提取，然后叠加到灰度图以及在灰度图中针对灰色开关的对比度拉伸变换，二者叠加到一起，得到第二图像，将两个图像分别还原到rgb模式之后进行图像融合，最终得到输出的边缘增强后的图像。
9.优选的，基于形变程度曲面的图像校正算法进行预处理包括以下步骤：
10.在边缘增强和阴影去除的基础上，利用faster-rcnn目标检测网络将图像中所有的压板roi进行提取，对于各roi区域图像进行单独的图像处理操作；结合canny边缘检测算
法和连通域检测算法，提取各roi图像中面积最大的连通域，并根据其四周距离最近的边缘对其进行填充或部分去除以实现对保护压板的分割。
11.优选的，针对保护压板图像在正常光照条件下拍摄产生的阴影问题，本步骤提出了基于双色彩空间与光照补偿的阴影去除方法应用于图像校正算法之前以提高校正准确率。
12.基于双色彩空间与光照补偿的阴影去除方法共分为阴影检测和阴影区域恢复两部分，其具体步骤如下：
13.a.基于rgb、hsv双色彩空间的阴影检测
14.首先将保护压板图像转换至hsv色彩空间，得到各像素点的色调、饱和度和明度值，并提出类阴影系数ls来综合评估像素点对应的饱和度和明度值，ls计算公式如下：
15.ls＝ev+e-s
16.其中，v，s分别代表图像hsv色彩空间中的明度和饱和度；类阴影系数ls与像素对应的明度正相关，与饱和度负相关，即亮度越低、饱和度越高的区域对应的类阴影系数越高，被认为是阴影区域的概率也最大，这与人眼观察到的阴影特征一致；
17.计算得到保护压板图像中所有像素的ls值，并利用统计方法计算其核密度曲线，取核密度曲线图中最大波峰后的第一个波谷位置对应的ls值大小作为阈值，由该阈值将阴影部分的预选区域r1与其他部分分割开来；
18.将图像转换至rgb色彩空间，由于阴影部分颜色较暗，在r通道中与其他部分的对比度相对其他两个通道更高；提取r通道的灰度图像，并结合最大类间方差法将图像按照灰度大小分为两部分，其中灰度较小的部分为rgb色彩空间提取的阴影预选区域r2；取r1和r2的交集r作为最终检测到的阴影区域；
19.b.基于光照补偿的阴影去除算法
20.由于在真实拍摄场景中，照明产生的阴影存在渐变的情况，采用光照补偿的方法实现对阴影部分的自适应填充，以最大程度地还原原始图像的特征；
21.彩色图像的rgb值满足公式：
22.i
x
＝l
xrx
23.其中i
x
为像素点x的rgb值，l
x
代表像素点x的光照，r
x
为像素点x的表面反射率；除由于遮挡产生的阴影部份外，图像中的像素点光照来自于光源的直接光照ld和环境的反射光照lr,因此，可得到如下公式：
24.l
x
＝ald+lr25.i
x
＝(ald+lr)r
x
26.其中a为直射光在图像对应区域的折减系数，阴影部分对应的a值为0，而全影区域对应的a值为1；将上式改写可得：
[0027][0028]
其中，is表示阴影部分的像素，其对应a值为0，io为除阴影区域外的其他部分。对于阴影区域的某个特定的像素点x，其阴影填充后的rgb值与填充前的rgb值之间的关系满足：
[0029][0030]
根据上式可将阴影区域s的每个像素值根据对应的光照补偿关系进行恢复，实现对阴影的去除；
[0031]
通过光照补偿方法实现对阴影部分的去除后，阴影区域的边缘通常会受检测准确性的影响而产生过渡不自然的情况，为提高图像阴影去除的准确性，最大程度地复原图像的原始信息本项目在阴影去除后对阴影区域的边缘区域进行了平滑操作，并按照与边缘的距离，自适应地赋予对应权值，权值公式如下：
[0032][0033]
其中，d当前像素距离实际边缘的距离，d
max
和d
min
分别是边缘区域中与实际边缘的最大和最小距离。
[0034]
优选的，依次计算各roi图像中分割得到的保护压板面积，以行、列为单位绘制压板面积变化曲线，各曲线按照所在行列的位置进行排列，组成压板形变程度曲面；压板形变程度曲面的形状反映了图片各部分的畸变情况，其最大值点o
max
代表离所拍摄相机最近的位置，从o
max
点出发依次向外，计算各压板面积点与其八邻域点的差值，计算得到第一个差值极小值点停止；计算所得的极小值点对应着受畸变影响程度最小的压板roi，取该roi作为校正的模板。
[0035]
优选的，边缘区域为边缘部分利用5*5的核进行膨胀后得到的区域；
[0036]
图片各部分为压板所在区域；
[0037]
以计算所得的矫正模板中压板的长、宽作为标准对各roi图像进行单独校正。
[0038]
优选的，校正规则为：根据之前的分割结果定位保护压板的四个角点，保持左上角点不动，左上角点与右上、左下角点连线倾斜度不变，角点之间的距离变为对应的模板长和宽大小。优选的，由校正规则可得校正前后的四组角点位置，进而计算求得透视变换矩阵；具体计算过程如下：
[0039][0040][0041][0042][0043]
其中m为透视变换矩阵,mij为透视变换矩阵系数；(x,y)为校正前图像中的任意点(源目标点)；[x,y,z]为透视变换移动到三维空间的点；(x
′
,y
′
)为透视变换到三维空间后再次变换到二维图像上的点，即对应的校正后图像中的点；令m33＝1，则带入四组角点位置，可求得m中各系数的值，从而根据校正前图像计算得到校正后图像。
[0044]
优选的，利用概率霍夫直线检测算法对原图进行直线检测，取其中最长的直线，以
最长的直线为基准，计算其倾斜度来代表图像整体倾斜程度，根据图像倾斜程度对各roi图像进行旋转变化，实现对图像的倾斜校正。
[0045]
优选的，最长的直线为保护压板柜之间的夹缝线。
[0046]
多层次融合边缘增强算法是指从图像的不同色彩层次空间出发，采用不同边缘增强方法对其分别进行边缘增强后再融合的算法。
[0047]
形变程度曲面是指本专利提出的由各压板面积和位置信息所构成的能反映各压板所在区域受图像畸变影响程度的三维曲面，可根据该曲面确定后续图像校正的标准模板。
[0048]
保护压板也叫保护连片,是变电站中保护装置联系外部接线的桥梁和纽带,关系到保护的功能和动作出口能否正常发挥作用。
[0049]
本发明的有益效果：
[0050]
本发明根据图像采集装置所获取的保护压板图像，提出了结合多层次融合边缘增强算法和基于形变程度曲面的图像校正算法的保护压板图像预处理算法，实现了保护压板状态自动检测等批处理之前的图像预处理操作。
[0051]
针对传统方法对于拍摄角度及环境各异的保护压板存在批处理准确率较低等问题，提出了由多层次融合边缘增强算法和基于形变程度曲面的图像校正算法两部分组成的保护压板图像预处理算法，实现在后续批处理之前的图像预处理操作，帮助提高批处理的准确性和可操作性。其中多层次融合边缘增强算法；基于形变程度曲面的图像校正算法提出了能反映图片畸变情况的压板形变程度曲面，能反映由于不同拍摄角度造成的畸变情况，并自适应地实现对畸变的校正，通过将各压板roi图像校正至相同平面及角度，提高后续批处理的可操作性和准确度，此外，该算法可以推广至其他由拍摄角度各异造成的图像畸变情况中，为图像校正提供了一种新的思路。
[0052]
层次融合边缘增强算法和基于形变程度曲面的图像校正算法共同实现了对保护压板图像的预处理操作，消除了由于拍摄产生的图像畸变对压板个体差异的影响，为后续批处理操作奠定了基础。
附图说明
[0053]
图1本发明的流程图；
[0054]
图2多层次融合边缘增强算法流程图；
[0055]
图3保护压板柜夹缝线示意图。
具体实施方式
[0056]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本技术及其应用或使用的任何限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0057]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0058]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0059]
在本技术的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。
[0060]
为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
[0061]
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本技术保护范围的限制。
[0062]
实施例1
[0063]
如图1所示，针对传统方法对于拍摄角度及环境各异的保护压板存在批处理准确率较低等问题，提出了由多层次融合边缘增强算法、基于双色彩空间与光照补偿的阴影去除算法和基于形变程度曲面的图像校正算法两部分组成的保护压板图像预处理算法，实现在后续批处理之前的图像预处理操作，帮助提高批处理的准确性和可操作性。其中多层次融合边缘增强算法，从图像的不同色彩层次空间出发，采用不同边缘增强方法对其分别进行边缘增强后再融合，提高了压板roi区域与背景部分的对比度，有利于实现后续的检测分割操作；基于双色彩空间与光照补偿的阴影去除算法，使用hsv和rgb双色彩空间实现了对阴影的自动检测，并采用光照补偿方法最大程度地还原了图像的原始特征，完成了阴影的去除；基于形变程度曲面的图像校正算法提出了能反映图片畸变情况的压板形变程度曲面，能反映由于不同拍摄角度造成的畸变情况，并自适应地实现对畸变的校正，通过将各压板roi图像校正至相同平面及角度，提高后续批处理的可操作性和准确度，此外，该算法可以推广至其他由拍摄角度各异造成的图像畸变情况中，为图像校正提供了一种新的思路。
[0064]
(1)多层次融合边缘增强算法
[0065]
如图2所示，选择一张图片，分别将其转化为hsv模式图像和灰度图，再在两个层面进行边缘增强处理。在hsv模式中，对其亮度分量进行直方图均衡化增强图像对比度，接着再对均衡化后的亮度图进行高斯-拉普拉斯变换锐化处理，增强边缘，得到处理后的亮度分量再与原本的饱和度以及色调分量叠加得到hsv模式下增强后的第一图像。在灰度图层面，分别进行了canny算子边缘提取，然后叠加到灰度图以及在灰度图中针对灰色开关的对比度拉伸变换，二者叠加到一起，得到第二图像，将两个图像分别还原到rgb模式之后进行图像融合，最终得到输出的边缘增强后的图像。
[0066]
(2)针对保护压板图像在正常光照条件下拍摄产生的阴影问题，本实施例提出了基于双色彩空间与光照补偿的阴影去除方法应用于图像校正算法之前以提高校正准确率。阴影去除方法共分为阴影检测和阴影区域恢复两部分，其具体步骤如下：
[0067]
1.基于rgb、hsv双色彩空间的阴影检测
[0068]
由于hsv格式更加符合人眼对物体色彩观察的直观感受建立的，其三个维度的参数色调h、饱和度s和明度v更能体现出人眼对于阴影亮度低、饱和度高的感受特征。本实施例首先将保护压板图像转换至hsv色彩空间，得到各像素点的色调、饱和度和明度值，并提出类阴影系数ls来综合评估像素点对应的饱和度和明度值，ls计算公式如下：
[0069]
ls＝ev+e-s
[0070]
其中，v，s分别代表图像hsv色彩空间中的明度和饱和度。类阴影系数ls与像素对应的明度正相关，与饱和度负相关，即亮度越低、饱和度越高的区域对应的类阴影系数越高，被认为是阴影区域的概率也最大，这与人眼观察到的阴影特征一致。
[0071]
计算得到保护压板图像中所有像素的ls值，并利用统计方法计算其核密度曲线，取核密度曲线图中最大波峰后的第一个波谷位置对应的ls值大小作为阈值，由该阈值将阴影部分的预选区域r1与其他部分分割开来。
[0072]
将图像转换至rgb色彩空间，由于阴影部分颜色较暗，在r通道中与其他部分的对比度相对其他两个通道更高。提取r通道的灰度图像，并结合最大类间方差法(ostu)将图像按照灰度大小分为两部分，其中灰度较小的部分为rgb色彩空间提取的阴影预选区域r2。取r1和r2的交集r作为最终检测到的阴影区域。
[0073]
2.基于光照补偿的阴影去除算法
[0074]
由于在真实拍摄场景中，照明产生的阴影存在渐变的情况，因此本实施例采用光照补偿的方法实现对阴影部分的自适应填充，以最大程度地还原原始图像的特征。
[0075]
已有研究表明彩色图像的rgb值满足公式：
[0076]ix
＝l
xrx
[0077]
其中i
x
为像素点x的rgb值，l
x
代表像素点x的光照，r
x
为像素点x的表面反射率。除由于遮挡产生的阴影部份外，图像中的像素点光照来自于光源的直接光照ld和环境的反射光照lr,因此，可得到如下公式：
[0078]
l
x
＝ald+lr[0079]ix
＝(ald+lr)r
x
[0080]
其中a为直射光在图像对应区域的折减系数，阴影部分对应的a值为0，而全影区域对应的a值为1。将上式改写可得：
[0081][0082]
其中，is表示阴影部分的像素，其对应a值为0，io为除阴影区域外的其他部分。对于阴影区域的某个特定的像素点x，其阴影填充后的rgb值与填充前的rgb值之间的关系满足：
[0083][0084]
根据上式可将阴影区域s的每个像素值根据对应的光照补偿关系进行恢复，实现对阴影的去除。
[0085]
通过光照补偿方法实现对阴影部分的去除后，阴影区域的边缘通常会受检测准确性的影响而产生过渡不自然的情况，为提高图像阴影去除的准确性，最大程度地复原图像的原始信息本实施例在阴影去除后对阴影区域的边缘区域(边缘部分利用5*5的核进行膨胀后得到的区域)进行了平滑操作，并按照与边缘的距离，自适应地赋予对应权值，权值公式如下：
[0086][0087]
其中，d当前像素距离实际边缘的距离，d
max
和d
min
分别是边缘区域中与实际边缘的最大和最小距离。
[0088]
(3)基于形变程度曲面的图像校正算法
[0089]
在边缘增强和阴影去除的基础上，利用faster-rcnn目标检测网络将图像中所有的压板roi进行提取，对于各roi区域图像进行单独的图像处理操作。结合canny边缘检测算法和连通域检测算法，提取各roi图像中面积最大的连通域，并根据其四周距离最近的边缘对其进行填充或部分去除以实现对保护压板的分割。
[0090]
依次计算各roi图像中分割得到的保护压板面积，以行、列为单位绘制压板面积变化曲线，各曲线按照所在行列的位置进行排列，组成压板形变程度曲面。压板形变程度曲面的形状反映了图片各部分(压板所在区域)的畸变情况，其最大值点o
max
代表离所拍摄相机最近的位置，从o
max
点出发依次向外，计算各压板面积点与其八邻域点的差值，计算得到第一个差值极小值点停止。计算所得的极小值点对应着受畸变影响程度最小的压板roi，取该roi作为校正的模板。
[0091]
以计算所得的矫正模板中压板的长宽作为标准对各roi图像进行单独校正。校正规则如下：根据之前的分割结果定位保护压板的四个角点，保持左上角点不动，左上角点与右上、左下角点连线倾斜度不变，角点之间的距离变为对应的模板长/宽大小。例如，若矫正模板中压板长为5个像素点，宽为3个像素点，当前保护压板roi图像的四个角点校正前原位置分别为(0，4)，(6，4)，(6，0)，(0，0)，则校正过程中保持各点之间连线角度不变(此设定中为水平和竖直方向)，距离随矫正模板的长宽变化，即校正后角点位置为(0，3)，(5，3)，(5，0)，(0，0)。由上述规则可得校正前后的四组角点位置，进而计算求得透视变换矩阵，具体计算过程如下：
[0092][0093][0094][0095][0096]
其中m为透视变换矩阵，(x,y)为校正前图像中的任意点，(x
′
,y
′
)为其对应的校正后图像中的点，令m33＝1，则带入四组角点位置，可求得m中各系数的值，从而根据校正前图像计算得到校正后图像。
[0097]
利用概率霍夫直线检测算法对原图进行直线检测，取其中最长的直线(保护压板柜之间的夹缝线，如图3中矩形线圈出部分所示)，以该直线为基准，计算其倾斜度来代表图像整体倾斜程度，根据图像倾斜程度对各roi图像进行旋转变化，实现对图像的倾斜校正。上述的多层次融合边缘增强算法和基于形变程度曲面的图像校正算法共同实现了对保护压板图像的预处理操作，消除了由于拍摄产生的图像畸变对压板个体差异的影响，为后续批处理操作奠定了基础。