一种用于光伏电站巡检无人机的图像采集调整方法与流程

1.本发明涉及人工智能技术领域，具体涉及一种用于光伏电站巡检无人机的图像采集调整方法。


背景技术：

2.光伏电站经常使用计算机视觉来检测各电池板表面的缺陷、污渍，或运行状态，检测往往需要使用无人机进行图像的采集，但是无人机飞行一圈后采集的大量图像中，有些往往因为过度曝光、欠曝、光线反射，甚至电池板镜面成像等原因，使得采集的图像带有过多噪声，质量较低，难以用于后续的异常识别处理。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于提供一种用于光伏电站巡检无人机的图像采集调整方法，所采用的技术方案具体如下：利用无人机获取每个电池板的正面图像；对所述正面图像进行灰度化处理以得到该正面图像的整体色彩偏差，由所述整体色彩偏差获取所述正面图像的质量指标；根据所述质量指标确认不符合质量要求的目标正面图像，通过分析每个像素点的灰度值与其对应所述目标正面图像中的平均灰度值之间的差异获取所述目标正面图像的整体色彩稳定指标，由所述整体色彩稳定指标获取所述目标正面图像的色彩一致性指标，结合所述质量指标和所述色彩一致性指标分析所述目标正面图像的质量干扰原因；基于所述质量干扰原因采取相对应的重拍策略，直至重拍后的所述正面图像的质量指标符合预设的质量要求。
4.进一步地，所述利用无人机获取每个电池板的正面图像的方法，包括：设置无人机的飞行航线得到每个电池板对应的图像采集点，基于所述图像采集点得到对应的电池板图像；利用dnn网络获取所述电池板图像中每个电池板的包围框；根据每个所述包围框与所述电池板图像之间的中心点距离确认所述图像采集点对应电池板的目标包围框，基于所述目标包围框对所述电池板图像进行裁剪得到对应电池板的所述正面图像。
5.进一步地，所述对所述正面图像进行灰度化处理以得到该正面图像的整体色彩偏差的方法，包括：获取每个像素点的灰度值，则所述灰度值的计算公式为：，其中，表示灰度值，、、分别表示rgb三个通道的分量值，、、分别表示对应三个通道的影响系数；基于灰度范围的中值，分别计算每个像素点与灰度值与所述中值的差值，以得到对应所述正面图像的所述整体色彩偏差，则所述整体色彩偏差的计算公式为：
，其中，为所述整体色彩偏差，为所述正面图像的高度，为所述正面图像的宽度，为所述中值。
6.进一步地，所述质量干扰原因包括过曝、欠曝、反光或镜面成像。
7.进一步地，所述由所述整体色彩偏差获取所述正面图像的质量指标的方法，包括：分别获取多张电池板的正常正面图像，由每张所述正常正面图像的所述整体色彩偏差计算其平均值，将所述平均值作为标准整体色彩偏差；计算所述正面图像对应的所述整体色彩偏差与所述标准整体色彩偏差的第一差值，设置差值容错量，当所述第一差值的绝对值小于所述差值容错量时，说明对应的所述正面图像符合质量要求，将其所述质量指标置为0；当所述第一差值大于所述差值容错量时，说明对应的所述正面图像偏白，将其所述质量指标置为1；当所述第一差值小于所述容错量的负值时，说明对应的所述正面图像偏黑，将其所述质量指标置为-1。
8.进一步地，所述目标正面图像中的平均灰度值的计算公式为：其中，为所述平均灰度值；、、分别表示rgb三个通道的分量值；为所述目标正面图像的高度；为所述目标正面图像的宽度。
9.进一步地，所述整体色彩稳定指标的获取方法，包括：设置像素点的灰度误差值，结合所述差异和所述灰度误差值得到所述目标正面图像的所述整体色彩稳定指标，则其计算公式为：其中，为所述整体色彩稳定指标；为所述目标正面图像的高度；为所述目标正面图像的宽度；为所述平均灰度值；为所述灰度误差值。
10.进一步地，所述由所述整体色彩稳定指标获取所述目标正面图像的色彩一致性指标的方法，包括：根据多张电池板的过曝正面图像或欠曝正面图像所对应的所述整体色彩稳定指标计算其均值，将所述均值作为稳定指标阈值；当所述整体色彩稳定指标的绝对值大于或等于所述稳定指标阈值，则将其对应的所述目标正面图像的所述色彩一致性指标置为1；反之，当所述整体色彩稳定指标的绝对值小于所述稳定指标阈值，则将其对应的所述目标正面图像的所述色彩一致性指标置为0。
11.进一步地，所述结合所述质量指标和所述色彩一致性指标分析所述目标正面图像的质量干扰原因的方法，包括：当所述目标正面图像的所述质量指标为1且所述色彩一致性指标为0时，确认其所述质量干扰原因是过曝；当所述目标正面图像的所述质量指标为-1且所述色彩一致性指标为0时，确认其
所述质量干扰原因是欠曝；当所述目标正面图像的所述质量指标为1或-1且所述色彩一致性指标为1时，确认其所述质量干扰原因是反光或镜面反射。
12.进一步地，所述基于所述质量干扰原因采取相对应的拍摄策略的方法，包括：当所述质量干扰原因是过曝或欠曝时，则相对应的调整相机的光圈进光量和快门时间；当所述质量干扰原因是反光或镜面成像时，则相对应的调整无人机的位置。
13.本发明实施例至少具有如下有益效果：通过分析采集图像的质量和图像的整体色彩一致性来判断该图像的质量干扰原因，由质量干扰原因来采取相对应的重拍策略以确认图像的采集质量，进而通过自主调整完成图像的重新采集，提高了无人机采集图像的质量和效率。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例提供的一种用于光伏电站巡检无人机的图像采集调整方法的步骤流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于光伏电站巡检无人机的图像采集调整方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.下面结合附图具体的说明本发明所提供的一种用于光伏电站巡检无人机的图像采集调整方法的具体方案。
19.请参阅图1，其示出了本发明一个实施例提供的一种用于光伏电站巡检无人机的图像采集调整方法的步骤流程图，该方法包括以下步骤：步骤s001，利用无人机获取每个电池板的正面图像。
20.具体的，设置无人机的飞行航线得到每个电池板对应的图像采集点，基于图像采集点得到对应的电池板图像，具体为：结合光伏电站中电池板的摆放和倾角计算出无人机的正射航线，正射航线是指无人机可以拍摄到电池板的正面影像的航线，根据每个电池板的位置获取正射航线上对应电池板的图像采集点，即无人机在该图像采集点拍摄电池板，能得到对应电池板的正面图像。
21.由于电池板的放置密集程度，无人机采集的正面图像中可能会包括其他电池板，因此为了避免正面图像中其他电池板对目标电池板的影响，利用dnn网络对每个电池板所
对应的正面图像进行进一步优化，使得正面图像中对应单个电池板，则具体过程为：（1）利用dnn网络获取电池板图像中每个电池板的包围框。
22.具体的，使用dnn网络以包围框的形式来标记电池板图像中所包含的每个电池板位置，其dnn网络的训练过程为：dnn网络采样编码器-解码器结构的形式，且dnn网络的输入为电池板图像，输出为包围框中心点和包围框尺寸；将电池板图像通过解码器，对其进行卷积和池化操作的下采样，以提取电池板图像的空域特征，得到提取到的特征向量，将特征向量输出解码器进行上采样得到电池板对应的包围框中心及其包围框尺寸；网络的训练集为无人机采集的电池板图像，且采集时间应集中在早晨、傍晚或正午，此时由于光线问题，容易造成电池板反光或镜面成像等情况，使其采集的电池板图像存在干扰，进而使得dnn网络的训练更加普适；图像的标签为电池板对应包围框的中心点坐标和包围框尺寸；dnn网络使用均方差损失函数。
23.（2）根据每个包围框与电池板图像之间的中心点距离确认图像采集点对应电池板的目标包围框，基于目标包围框对电池板图像进行裁剪得到对应电池板的正面图像。
24.具体的，通过步骤（1）能够得到电池板图像中每个电池板的包围框和包围框中心点，分别计算每个包围框中心点与电池板图像的中心点之间的中心点距离，选择中心点距离最近所对应的包围框为目标包围框，该目标包围框为图像采集点位置所对应的电池板的包围框。进而基于目标包围框对电池板图像进行裁剪得到对应电池板的正面图像，该正面图像包括电池板边缘和内部。
25.步骤s002，对正面图像进行灰度化处理以得到该正面图像的整体色彩偏差，由整体色彩偏差获取正面图像的质量指标；根据质量指标确认不符合质量要求的目标正面图像，通过分析每个像素点的灰度值与其对应目标正面图像中的平均灰度值之间的差异获取目标正面图像的整体色彩稳定指标，由整体色彩稳定指标获取目标正面图像的色彩一致性指标，结合质量指标和色彩一致性指标分析目标正面图像的质量干扰原因。
26.具体的，对每张正面图像进行质量分析，该方法为：获取每个像素点的灰度值，则灰度值的计算公式为：，其中，表示灰度值，、、分别表示rgb三个通道的分量值，、、分别表示对应三个通道的影响系数，，且；基于灰度范围[0，255]的中值，分别计算每个像素点与灰度值与中值的差值，以得到对应正面图像的整体色彩偏差，，则整体色彩偏差的计算公式为：，其中，为整体色彩偏差，为正面图像的高度，为正面图像的宽度，为中值。
[0027]
分别获取多张电池板的正常正面图像，由每张正常正面图像的整体色彩偏差计算其平均值，将平均值作为标准整体色彩偏差；计算正面图像对应的整体色彩偏差与标准整体色彩偏差的第一差值，设置差值容错量，当第一差值的绝对值小于差值容错量时，说明对应的正面图像符合质量要求，将其质量指标置为0；当第一差值大于差值容错量时，说明对应的正面图像偏白，将其质量指标置为1；当第一差值小于容错量的负值时，说明对应的正面图像偏黑，将其质量指标置为-1。
[0028]
作为一个示例，根据正面图像的整体色彩偏差获取对应的质量指标的公式为：其中，l为质量指标；为标准整体色彩偏差；k为差值容错量。
[0029]
优选的，本发明实施例中差值容错量取经验值，令k=10。
[0030]
进一步地，保留不符合质量要求的正面图像，也即是质量指标为1和-1的正面图像，将其称为目标正面图像。由于目标正面图像都是图像偏白或图像偏黑的，因此需要进一步根据像素点的灰度值分析目标正面图像的整体色彩稳定指标，以推断造成目标正面图像的质量不达要求的原因，则整体色彩稳定指标的获取方法为：首先计算目标正面图像中所有像素点的平均灰度值，则平均灰度值的计算公式为，其中，为平均灰度值，、、分别表示rgb三个通道的分量值，为目标正面图像的高度，为目标正面图像的宽度；然后计算每个像素点的灰度值与平均灰度值之间的差异，同时设置像素点的灰度误差值，结合差异和灰度误差值得到目标正面图像的整体色彩稳定指标，则其计算公式为：其中，为整体色彩稳定指标；为目标正面图像的高度；为目标正面图像的宽度；为平均灰度值；为灰度误差值；为差异。
[0031]
优选的，本发明实施例中灰度误差值取经验值，令。
[0032]
由于本发明实施例中认为图像过曝、欠曝、局部反光和镜面成像这四种方式会使得采集的电池板图像质量较低， 其中，过曝体现在图像整体较亮，使得电池板上一些局部细节丢失；欠曝体现在图像整体偏暗，对比度不明显，同样使得电池板上一些局部信息混杂，不易区分；局部反光是由于电池板表面为玻璃光面，有时因为光线问题会使得采集的图像中电池板局部发生反光，该区域高亮，淹没内部的电池板影像；镜面成像是由于电池板表面为玻璃面，容易发生镜面成像，即在电池板上映射出周围的事物，使得采集的图像中存在其他事物的影像，增大了干扰，因此根据多张电池板的过曝正面图像或欠曝正面图像所对应的整体色彩稳定指标计算其均值，将均值作为稳定指标阈值；当整体色彩稳定指标的绝对值大于或等于稳定指标阈值，则将其对应的目标正面图像的色彩一致性指标置为1；反之，当整体色彩稳定指标的绝对值小于稳定指标阈值，则将其对应的目标正面图像的色彩一致性指标置为0。
[0033]
作为一个示例，根据整体色彩稳定指标获取其对应的色彩一致性指标的公式为：
其中，为色彩一致性指标；为稳定指标阈值。
[0034]
进一步地，结合质量指标和色彩一致性指标分析目标正面图像的质量干扰原因，其分析方法为：当目标正面图像的质量指标为1且色彩一致性指标为0时，确认其质量干扰原因是过曝；当目标正面图像的质量指标为-1且色彩一致性指标为0时，确认其质量干扰原因是欠曝；当目标正面图像的质量指标为1或-1且色彩一致性指标为1时，确认其质量干扰原因是反光或镜面反射。
[0035]
作为一个示例，质量指标l为1，即图像偏白，且色彩一致性指标r为0，即整体色彩一致，则判定目标正面图像为过曝；质量指标l为-1，即图像偏黑，且色彩一致性指标r为0，即整体色彩一致，则判定目标正面图像为欠曝；质量指标l为-1，即图像偏黑，且色彩一致性指标r为1，即图像中的局部差异大，则判定目标正面图像中存在黑灰色区域影响判断，若无人机为深色，则可能因为镜面成像造成影响；质量指标l为1，即图像偏白，且色彩一致性指标r为1，即图像中的局部差异大，则判定目标正面图像中存在白色区域影响判断，其是因为电池板所处露天开阔地带，产生白色区域的情况包括白云镜面成像或局部高亮反光，亦或是白色无人机的自身镜面成像影响。
[0036]
步骤s003，基于质量干扰原因采取相对应的重拍策略，直至重拍后的正面图像的质量指标符合预设的质量要求。
[0037]
具体的，由于过曝是因为进光量太大，导致被拍对象的部分色彩称为白色或接近白色，使其失去细节；欠曝是因为进光量不足，导致被拍对象即周围环境整体偏黑灰色调，使其看不清细节，因此当质量干扰原因是过曝或欠曝时，则相对应的调整相机的光圈进光量和快门时间。
[0038]
若质量干扰原因是反光或镜面成像时，则相对应的调整无人机的位置，且转动光轴，暂时改变飞行航线，以重新采集对应电池板的正面图像，则具体的调整过程：（1）使用has颜色空间获取目标正面图像中非蓝色区域，蓝色是指电池板的颜色，非蓝色区域是指无人机产生的阴影区域，根据所述非蓝色区域的位置对应得到无人机所对应的方位，其方位是指相对于电池板中心，无人机所在的左右位置或上下位置。
[0039]
（2）基于无人机的当前方位使其在同等高度进行同向移动，即假使无人机的当前方位在对应电池板的左边时，其应向左移动以使无人机移除该电池板区域内，避免出现电池板上出现无人机的阴影，同时向反方向转动光轴使其倾斜着拍摄，且保证电池板依旧处于图像的中心。
[0040]
需要说明的是，对无人机进行位置调整后，并不能直接拍摄到电池板的正面图像，即电池板图像中的电池板是斜着的，因此需要结合电池板的四个角点，使用透视变化处理该图像得到电池板的正面图像。
[0041]
进一步地，对于目标正面图像不满足质量要求所对应的电池板，记录重拍次数，设定重拍次数阈值，当重拍次数大于重拍次数阈值时，则标记该电池板，当其他电池板的正面图像的质量指标符合质量要求时，再返回对标记的电池板进行采集。
[0042]
综上所述，本发明实施例提供了一种用于光伏电站巡检无人机的图像采集调整方法，该方法利用无人机获取每个电池板的正面图像；分析正面图像的整体色彩偏差得到其质量指标，获取不符合质量要求的目标正面图像，根据像素点的灰度值分析目标正面图像的整体色彩稳定指标以得到其色彩一致性指标，结合目标正面图像的质量指标和色彩一致
性指标确认其质量干扰原因；基于质量干扰原因采取相对应的重拍策略，直至重拍后的正面图像的质量指标符合预设的质量要求。通过分析质量能干扰原因以自主调整完成图像的重新采集，提高了无人机采集图像的质量和效率。
[0043]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0044]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0045]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。