基于无人机的线路检修费计算方法、服务器及存储介质与流程

文档序号:19572264发布日期:2019-12-31 19:04阅读:230来源:国知局
基于无人机的线路检修费计算方法、服务器及存储介质与流程

本发明涉及数据处理领域,尤其涉及一种基于无人机的线路检修费计算方法、服务器及存储介质。



背景技术:

架空的电力线路覆盖广、穿越区域地形复杂并且自然环境恶劣,电力部门每年都要花费巨大的人力和物力资源进行巡线工作,以便掌握线路的运行状况,及时排除线路的潜在隐患,并预算检修费用,但人工定期巡检线路的方式不但劳动强度大、耗时多、而且效率低下。

目前对线路检修费用计算方法大多通过采用手工计算和电子表格计算的方式,并由编制人员套用定额和计算工程造价。

但是,目前的检修费用计算方式存在手工算量耗时耗力,且易出错的问题,同时人工套用定额过程中易出现选取错误或遗漏。因此,如何对线路检修费用进行智能计算,已成为本领域技术人员亟待解决的问题。



技术实现要素:

鉴于以上内容,本发明提供一种基于无人机的线路检修费计算方法、服务器及存储介质,其目的在于如何对线路检修费用进行智能计算,减少误差及人工成本。

为实现上述目的,本发明提供一种基于无人机的线路检修费计算方法,该方法包括:

获取步骤:获取拍摄终端上传的第一线路图像,所述第一线路图像中包括至少一种预设故障类型,为每种所述预设故障类型分配唯一的第一标签,对带有所述第一标签的第一线路图像进行预处理得到第二线路图像,其中,所述预处理方式包括归一化处理,通过将所述第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像;

第一处理步骤:将所述得到的第二线路图像输入预先训练的图像特征提取模型,得到与所述第二线路图像对应的图像特征图;

第二处理步骤:将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,所述目标框基于第三方标记库绘制,每个所述目标框对应一种所述预设故障类型;

第一反馈步骤:分别统计所述第三线路图像上每种所述预设故障类型的数量,并将所述统计的数量及预设故障类型的名称在所述第三线路图像上显示后反馈至客户端;及

计算步骤:在数据库中预先创建所述预设故障类型与检修费用之间的映射关系,获取所述第三线路图像上预设故障类型对应的数量及名称,基于所述映射关系从数据库中找到与所述预设故障类型对应的检修费用,计算得出每张所述第三线路图像中各种预设故障类型的总检修费用反馈至所述客户端。

优选的,所述将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像包括:

基于所述ssd模型对所述图像特征图中每一个像素点分别生成对应的默认框,并获取各所述默认框在图像特征图中的位置坐标,以及对应于不同预设故障类别的概率评分,并将各所述默认框的概率评分最大者作为初级置信度;

对所述初级置信度对应的默认框按照概率评分从大到小进行排序,以所述概率评分最大者对应的默认框为起始点,依次获取预设数量的所述默认框作为目标候选框,基于各所述目标候选框的位置坐标进行包围盒回归分析,得到对应于各目标候选框的区域大小;

对各所述目标候选框的概率评分进行softmax分类,得到各所述目标候选框对应于不同预设故障类型分类的最终置信度;及

基于非极大值抑制算法,获取预设数量重叠度高于预设阈值的目标候选框作为目标框。

优选的,所述ssd模型的训练过程包括:

获取预设数量的图像特征图样本,基于所述ssd模型对所述图像特征图样本中的每个像素点分别生成对应的默认框样本,并获取各默认框样本在该图像特征图样本中的坐标位置,以及对应于不同预设故障类型的概率评分;

基于每个默认框样本的所述位置坐标和概率评分,分别计算各默认框样本的softmax分类损失和包围盒回归损失之和;及

对所述softmax分类损失和包围盒回归损失之和按照从大到小进行排序,以所述softmax分类损失和包围盒回归损失之和最小者对应的默认框样本为起始点,依次获取预设数量的所述默认框样本,计算所述预设数量的默认框样本多任务损失,并将计算出的所述预设数量的默认框样本的多任务损失,在所述ssd模型中反向传播,以对所述ssd模型的各层网络的权重值进行更新,训练得到该ssd模型;

所述多任务损失通过以下公式计算:

其中,为softmax分类损失,为包围盒回归损失,为最大图像特征图的尺寸,为权重值。

优选的,该方法还包括第二反馈步骤:

获取每张所述第三线路图像对应的拍摄位置信息,将属于同一拍摄位置的所述第三线路图像归为一类图像集,分别统计每一类所述图像集上所述预设故障类型的总数量,将每一类所述图像集按照预设故障类型的总数量从大到小进行排序,为每一类所述图像集分配唯一的第二标签,基于所述拍摄位置信息及第二标签建立数据展示图反馈至所述客户端。

优选的,所述图像特征提取模型由mobilenetv2网络模型训练得到,所述mobilenetv2网络模型的网络结构包括依次连接的53层卷积层、1层池化层以及1层全连接层。

为实现上述目的,本发明还提供一种服务器,该服务器包括:存储器及处理器,其特征在于,所述存储器上存储基于无人机的线路检修费计算程序,所述基于无人机的线路检修费计算程序被所述处理器执行,实现如下步骤:

获取步骤:获取拍摄终端上传的第一线路图像,所述第一线路图像中包括至少一种预设故障类型,为每种所述预设故障类型分配唯一的第一标签,对带有所述第一标签的第一线路图像进行预处理得到第二线路图像,其中,所述预处理方式包括归一化处理,通过将所述第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像;

第一处理步骤:将所述得到的第二线路图像输入预先训练的图像特征提取模型,得到与所述第二线路图像对应的图像特征图;

第二处理步骤:将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,所述目标框基于第三方标记库绘制,每个所述目标框对应一种所述预设故障类型;及

第一反馈步骤:分别统计所述第三线路图像上每种所述预设故障类型的数量,并将所述统计的数量及预设故障类型的名称在所述第三线路图像上显示后反馈至客户端;及

计算步骤:在数据库中预先创建所述预设故障类型与检修费用之间的映射关系,获取所述第三线路图像上预设故障类型对应的数量及名称,基于所述映射关系从数据库中找到与所述预设故障类型对应的检修费用,计算得出每张所述第三线路图像中各种预设故障类型的总检修费用反馈至所述客户端。

优选的,所述将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像包括:

基于所述ssd模型对所述图像特征图中每一个像素点分别生成对应的默认框,并获取各所述默认框在图像特征图中的位置坐标,以及对应于不同预设故障类别的概率评分,并将各所述默认框的概率评分最大者作为初级置信度;

对所述初级置信度对应的默认框按照概率评分从大到小进行排序,以所述概率评分最大者对应的默认框为起始点,依次获取预设数量的所述默认框作为目标候选框,基于各所述目标候选框的位置坐标进行包围盒回归分析,得到对应于各目标候选框的区域大小;

对各所述目标候选框的概率评分进行softmax分类,得到各所述目标候选框对应于不同预设故障类型分类的最终置信度;及

基于非极大值抑制算法,获取预设数量重叠度高于预设阈值的目标候选框作为目标框。

优选的,所述ssd模型的训练过程包括:

获取预设数量的图像特征图样本,基于所述ssd模型对所述图像特征图样本中的每个像素点分别生成对应的默认框样本,并获取各默认框样本在该图像特征图样本中的坐标位置,以及对应于不同预设故障类型的概率评分;

基于每个默认框样本的所述位置坐标和概率评分,分别计算各默认框样本的softmax分类损失和包围盒回归损失之和;及

对所述softmax分类损失和包围盒回归损失之和按照从大到小进行排序,以所述softmax分类损失和包围盒回归损失之和最小者对应的默认框样本为起始点,依次获取预设数量的所述默认框样本,计算所述预设数量的默认框样本多任务损失,并将计算出的所述预设数量的默认框样本的多任务损失,在所述ssd模型中反向传播,以对所述ssd模型的各层网络的权重值进行更新,训练得到该ssd模型;

所述多任务损失通过以下公式计算:

其中,为softmax分类损失,为包围盒回归损失,为最大图像特征图的尺寸,为权重值。

优选的,该程序还执行第二反馈步骤:

获取每张所述第三线路图像对应的拍摄位置信息,将属于同一拍摄位置的所述第三线路图像归为一类图像集,分别统计每一类所述图像集上所述预设故障类型的总数量,将每一类所述图像集按照预设故障类型的总数量从大到小进行排序,为每一类所述图像集分配唯一的第二标签,基于所述拍摄位置信息及第二标签建立数据展示图反馈至所述客户端。

为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包括基于无人机的线路检修费计算程序,所述基于无人机的线路检修费计算程序被处理器执行时,实现如上所述基于无人机的线路检修费计算方法中的任意步骤。

本发明提出的基于无人机的线路检修费计算方法、服务器及存储介质,通过获取拍摄终端上传的第一线路图像,对第一线路图像进行预处理得到第二线路图像,将得到的第二线路图像输入图像特征提取模型,得到与第二线路图像对应的图像特征图,将得到的图像特征图输入ssd模型,得到带有目标框的第三线路图像,分别统计第三线路图像上每种预设故障类型的数量,将预设故障类型的数量及名称在第三线路图像上显示后反馈至客户端,基于预设故障类型与检修费用之间的映射关系找到对应的检修费用,计算每张第三线路图像中各种预设故障类型的总检修费用反馈至客户端。利用本发明,可以智能对电力线路的检修费用进行计算。

附图说明

图1为本发明服务器较佳实施例的示意图;

图2为图1中基于无人机的线路检修费计算程序较佳实施例的模块示意图;

图3为本发明基于无人机的线路检修费计算方法较佳实施例的流程图;

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

参照图1所示,为本发明服务器1较佳实施例的示意图。

该服务器1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述服务器1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(globalsystemofmobilecommunication,gsm)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、4g网络、5g网络、蓝牙(bluetooth)、通话网络等无线或有线网络。

其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述服务器1的内部存储单元,例如该服务器1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述服务器1的外部存储设备,例如该服务器1配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。当然,所述存储器11还可以既包括所述服务器1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述服务器1的操作系统和各类应用软件,例如基于无人机的线路检修费计算程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述服务器1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行基于无人机的线路检修费计算程序10的程序代码等。

显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode,oled)触摸器等。显示器13用于显示在服务器1中处理的信息以及用于显示可视化的工作界面。

网络接口14可选地可以包括标准的有线接口、无线接口(如wi-fi接口),该网络接口14通常用于在所述服务器1与其它电子设备之间建立通信连接。

图1仅示出了具有组件11-14以及基于无人机的线路检修费计算程序10的服务器1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。

可选地,所述服务器1还可以包括用户接口,用户接口可以包括显示器(display)、输入单元比如键盘(keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode,oled)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。

该服务器1还可以包括射频(radiofrequency,rf)电路、传感器和音频电路等等,在此不再赘述。

在上述实施例中,处理器12执行存储器11中存储的基于无人机的线路检修费计算程序10时可以实现如下步骤:

获取步骤:获取拍摄终端上传的第一线路图像,所述第一线路图像中包括至少一种预设故障类型,为每种所述预设故障类型分配唯一的第一标签,对带有所述第一标签的第一线路图像进行预处理得到第二线路图像,其中,所述预处理方式包括归一化处理,通过将所述第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像;

第一处理步骤:将所述得到的第二线路图像输入预先训练的图像特征提取模型,得到与所述第二线路图像对应的图像特征图;

第二处理步骤:将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,所述目标框基于第三方标记库绘制,每个所述目标框对应一种所述预设故障类型;及

第一反馈步骤:分别统计所述第三线路图像上每种所述预设故障类型的数量,并将所述统计的数量及预设故障类型的名称在所述第三线路图像上显示后反馈至客户端;及

计算步骤:在数据库中预先创建所述预设故障类型与检修费用之间的映射关系,获取所述第三线路图像上预设故障类型对应的数量及名称,基于所述映射关系从数据库中找到与所述预设故障类型对应的检修费用,计算得出每张所述第三线路图像中各种预设故障类型的总检修费用反馈至所述客户端。

在另一实施例中,该程序还执行第二反馈步骤:

获取每张所述第三线路图像对应的拍摄位置信息,将属于同一拍摄位置的所述第三线路图像归为一类图像集,分别统计每一类所述图像集上所述预设故障类型的总数量,将每一类所述图像集按照预设故障类型的总数量从大到小进行排序,为每一类所述图像集分配唯一的第二标签,基于所述拍摄位置信息及第二标签建立数据展示图反馈至所述客户端。

关于上述步骤的详细介绍,请参照下述图2关于基于无人机的线路检修费计算程序10实施例的程序模块图,以及图3关于基于无人机的线路检修费计算方法实施例的流程图的说明。

在其他实施例中,所述基于无人机的线路检修费计算程序10可以被分割为多个模块,该多个模块被存储于存储器12中,并由处理器13执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

参照图2所示,为图1中基于无人机的线路检修费计算程序10一实施例的程序模块图。在本实施例中,所述基于无人机的线路检修费计算程序10可以被分割为:获取模块110、第一处理模块120、第二处理模块130、第一反馈模块140及计算模块150。

获取模块110,用于获取拍摄终端上传的第一线路图像,所述第一线路图像中包括至少一种预设故障类型,为每种所述预设故障类型分配唯一的第一标签,对带有所述第一标签的第一线路图像进行预处理得到第二线路图像,其中,所述预处理方式包括归一化处理,通过将所述第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像。

在本实施例中,服务器1从数据库中获取由拍摄终端上传的第一线路图像,在本实施例中,拍摄终端采用无人机,无人机具有rtk高精度定位模块,基于无人机位置可以准确获取无人机拍摄的线路的gps位置信息,无人机拍摄的第一线路图像包括该第一线路图像的gps位置信息及拍摄时间。在其他实施例中,还可以采用具有拍摄功能并能够上传服务器1的拍摄设备。其中,第一线路图像中包括至少一种预设故障类型,例如杆塔倾斜、线路断线、绝缘子脱落及树林碰线等。并为每种预设故障类型分配唯一的第一标签,例如用不同形状或不同颜色的标记框作为预设故障类型的第一标签。对带有第一标签的第一线路图像进行预处理得到第二线路图像。所述预处理方式可以为归一化处理,例如,将获取的第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像,将预处理后的图像作为第二线路图像,其中,所述归一化处理的转化公式为:

为转化后的像素值,为转化前的像素值,为像素值中的最小者,为像素值中的最大者。

在其他实施例中,预处理方式还可以对第一线路图像作灰度化处理、去噪处理及图像分割处理。

第一处理模块120,用于将所述得到的第二线路图像输入预先训练的图像特征提取模型,得到与所述第二线路图像对应的图像特征图。

在本实施例中,服务器1利用预先训练的图像特征提取模型从第二线路图像中提取出图像特征图。在本实施例中,图像特征提取模型由mobilenetv2网络模型训练得到,mobilenetv2网络模型是一种轻量级的卷积神经网络结构模型,mobilenetv2网络模型可以高效的对分辨率不高的图像进行快速的识别,并且运算占用带宽较小,可以搭载于移动设备上使用。mobilenetv2网络模型包括依次连接的53层卷积层、1层池化层以及1层全连接层,其中,53层卷积层包括依次连接的1层输入层、17个瓶颈构建块、1层输出层,每个瓶颈构建块分别包括3层卷积层,53层卷积层的卷积核均为3×3。由于只需利用mobilenetv2网络模型提取图像的特征,因此本实施将mobilenetv2网络模型最后用于分类的卷积层移除后输出的特征向量作为训练样本集中各第二线路图像对应的图像特征图。

进一步地,还可以在训练mobilenetv2网络模型时,预先为所述mobilenetv2网络模型设定损失函数,将训练样本输入到mobilenetv2网络模型中,对输入的训练样本进行前向传播得到实际输出,将预设的目标输出和所述实际输出代入损失函数中,计算损失函数的损失值,进行反向传播并利用损失值对所述mobilenetv2网络模型的参数进行优化,得到优化后的mobilenetv2网络模型。然后再选取一个训练样本输入到优化后的mobilenetv2网络模型中,参照前述操作,再次对优化后的mobilenetv2网络模型进行训练,直到达到停止训练的条件为止。

第二处理模块130,用于将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,所述目标框基于第三方标记库绘制,每个所述目标框对应一种所述预设故障类型。

在本实施例中,将得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,目标框基于第三方标记库(例如rectlabel)绘制,每个目标框对应一种预设故障类型,通过将第二线路图像输入该ssd模型便能自动识别出是否存在预设故障类型,并得知属于该预设故障类型的具体位置及所述类型,代替人为识别,减少人工成本。

通过ssd模型对图像特征图中每一个像素点分别生成对应的默认框,并获取各默认框在图像特征图中的位置坐标,以及对应于不同预设故障类别的概率评分,并将各默认框的概率评分最大者作为初级置信度;

对初级置信度对应的默认框按照概率评分从大到小进行排序,以概率评分最大者对应的默认框为起始点,依次获取预设数量的默认框作为目标候选框,基于各目标候选框的位置坐标进行包围盒回归分析,得到对应于各目标候选框的区域大小;

对各目标候选框的概率评分进行softmax分类,得到各目标候选框对应于不同预设故障类型分类的最终置信度;及

基于非极大值抑制算法,获取预设数量重叠度高于预设阈值的目标候选框作为目标框。

所述ssd模型的训练过程包括:

获取预设数量(例如100000)的图像特征图样本,基于ssd模型对图像特征图样本中的每个像素点分别生成对应的默认框样本,并获取各默认框样本在该图像特征图样本中的坐标位置,以及对应于不同预设故障类型的概率评分;

基于每个默认框样本的位置坐标和概率评分,分别计算各默认框样本的softmax分类损失和包围盒回归损失之和;及

对softmax分类损失和包围盒回归损失之和按照从大到小进行排序,以所述softmax分类损失和包围盒回归损失之和最小者对应的默认框样本为起始点,依次获取预设数量的所述默认框样本,计算预设数量的默认框样本多任务损失,并将计算出的所述预设数量的默认框样本的多任务损失,在ssd模型中反向传播,以对ssd模型的各层网络的权重值进行更新,训练得到该ssd模型;

所述多任务损失通过以下公式计算:

其中,为softmax分类损失,为包围盒回归损失,为最大图像特征图的尺寸,为权重值。

第一反馈模块140,用于分别统计所述第三线路图像上每种所述预设故障类型的数量,并将所述统计的数量及预设故障类型的名称在所述第三线路图像上显示后反馈至客户端。

计算模块150,用于在数据库中预先创建所述预设故障类型与检修费用之间的映射关系,获取所述第三线路图像上预设故障类型对应的数量及名称,基于所述映射关系从数据库中找到与所述预设故障类型对应的检修费用,计算得出每张所述第三线路图像中各种预设故障类型的总检修费用反馈至所述客户端。

为了让用户对发生故障的线路有初步的检修费用预算,因此在本实施例中,通过在数据库中预先创建预设故障类型与检修费用之间的映射关系,当服务器1获取到第三线路图像上的预设故障类型对应的数量及名称后,基于映射关系从数据库中找到与预设故障类型对应的检修费用,计算得出每张第三线路图像中各种预设故障类型的总检修费用反馈至客户端。

在另一实施例中,该程序还包括第二反馈模块:

用于获取每张所述第三线路图像对应的拍摄位置信息,将属于同一拍摄位置的所述第三线路图像归为一类图像集,分别统计每一类所述图像集上所述预设故障类型的总数量,将每一类所述图像集按照预设故障类型的总数量从大到小进行排序,为每一类所述图像集分配唯一的第二标签,基于所述拍摄位置信息及第二标签建立数据展示图反馈至所述客户端。

在本实施例中,服务器1从数据库中获取由拍摄终端上传的第三线路图像的拍摄位置信息,并将属于同一拍摄位置的第三线路图像归为一类图像集,分别统计每一类图像集上预设故障类型的总数量,将每一类图像集按照预设故障类型的总数量从大到小进行排序,为每一类图像集分配唯一的第二标签(例如以不同颜色来区分不同类图像集),基于拍摄位置信息及第二标签建立数据展示图反馈至客户端,能够让用户知道哪里的线路故障紧急程度更大,从而优先处理。

参照图3所示,是本发明基于无人机的线路检修费计算方法较佳实施例的流程图。

s110,获取拍摄终端上传的第一线路图像,所述第一线路图像中包括至少一种预设故障类型,为每种所述预设故障类型分配唯一的第一标签,对带有所述第一标签的第一线路图像进行预处理得到第二线路图像,其中,所述预处理方式包括归一化处理,通过将所述第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像。

在本实施例中,服务器1从数据库中获取由拍摄终端上传的第一线路图像,在本实施例中,拍摄终端采用无人机,无人机具有rtk高精度定位模块,基于无人机位置可以准确获取无人机拍摄的线路的gps位置信息,无人机拍摄的第一线路图像包括该第一线路图像的gps位置信息及拍摄时间。在其他实施例中,还可以采用具有拍摄功能并能够上传服务器1的拍摄设备。其中,第一线路图像中包括至少一种预设故障类型,例如杆塔倾斜、线路断线、绝缘子脱落及树林碰线等。并为每种预设故障类型分配唯一的第一标签,例如用不同形状或不同颜色的标记框作为预设故障类型的第一标签。对带有第一标签的第一线路图像进行预处理得到第二线路图像。所述预处理方式可以为归一化处理,例如,将获取的第一线路图像的像素值统一转化到[0,1]区间,以得到消除第一线路图像受光照不均匀影响的第二线路图像,将预处理后的图像作为第二线路图像,其中,所述归一化处理的转化公式为:

为转化后的像素值,为转化前的像素值,为像素值中的最小者,为像素值中的最大者。

在其他实施例中,预处理方式还可以对第一线路图像作灰度化处理、去噪处理及图像分割处理。

s120,将所述得到的第二线路图像输入预先训练的图像特征提取模型,得到与所述第二线路图像对应的图像特征图。

在本实施例中,服务器1利用预先训练的图像特征提取模型从第二线路图像中提取出图像特征图。在本实施例中,图像特征提取模型由mobilenetv2网络模型训练得到,mobilenetv2网络模型是一种轻量级的卷积神经网络结构模型,mobilenetv2网络模型可以高效的对分辨率不高的图像进行快速的识别,并且运算占用带宽较小,可以搭载于移动设备上使用。mobilenetv2网络模型包括依次连接的53层卷积层、1层池化层以及1层全连接层,其中,53层卷积层包括依次连接的1层输入层、17个瓶颈构建块、1层输出层,每个瓶颈构建块分别包括3层卷积层,53层卷积层的卷积核均为3×3。由于只需利用mobilenetv2网络模型提取图像的特征,因此本实施将mobilenetv2网络模型最后用于分类的卷积层移除后输出的特征向量作为训练样本集中各第二线路图像对应的图像特征图。

进一步地,还可以在训练mobilenetv2网络模型时,预先为所述mobilenetv2网络模型设定损失函数,将训练样本输入到mobilenetv2网络模型中,对输入的训练样本进行前向传播得到实际输出,将预设的目标输出和所述实际输出代入损失函数中,计算损失函数的损失值,进行反向传播并利用损失值对所述mobilenetv2网络模型的参数进行优化,得到优化后的mobilenetv2网络模型。然后再选取一个训练样本输入到优化后的mobilenetv2网络模型中,参照前述操作,再次对优化后的mobilenetv2网络模型进行训练,直到达到停止训练的条件为止。

s130,将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,所述目标框基于第三方标记库绘制,每个所述目标框对应一种所述预设故障类型。

在本实施例中,将得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,目标框基于第三方标记库(例如rectlabel)绘制,每个目标框对应一种预设故障类型,通过将第二线路图像输入该ssd模型便能自动识别出是否存在预设故障类型,并得知属于该预设故障类型的具体位置及所述类型,代替人为识别,减少人工成本。

通过ssd模型对图像特征图中每一个像素点分别生成对应的默认框,并获取各默认框在图像特征图中的位置坐标,以及对应于不同预设故障类别的概率评分,并将各默认框的概率评分最大者作为初级置信度;

对初级置信度对应的默认框按照概率评分从大到小进行排序,以概率评分最大者对应的默认框为起始点,依次获取预设数量的默认框作为目标候选框,基于各目标候选框的位置坐标进行包围盒回归分析,得到对应于各目标候选框的区域大小;

对各目标候选框的概率评分进行softmax分类,得到各目标候选框对应于不同预设故障类型分类的最终置信度;及

基于非极大值抑制算法,获取预设数量重叠度高于预设阈值的目标候选框作为目标框。

所述ssd模型的训练过程包括:

获取预设数量(例如100000)的图像特征图样本,基于ssd模型对图像特征图样本中的每个像素点分别生成对应的默认框样本,并获取各默认框样本在该图像特征图样本中的坐标位置,以及对应于不同预设故障类型的概率评分;

基于每个默认框样本的位置坐标和概率评分,分别计算各默认框样本的softmax分类损失和包围盒回归损失之和;及

对softmax分类损失和包围盒回归损失之和按照从大到小进行排序,以所述softmax分类损失和包围盒回归损失之和最小者对应的默认框样本为起始点,依次获取预设数量的所述默认框样本,计算预设数量的默认框样本多任务损失,并将计算出的所述预设数量的默认框样本的多任务损失,在ssd模型中反向传播,以对ssd模型的各层网络的权重值进行更新,训练得到该ssd模型;

所述多任务损失通过以下公式计算:

其中,为softmax分类损失,为包围盒回归损失,为最大图像特征图的尺寸,为权重值。

s140,分别统计所述第三线路图像上每种所述预设故障类型的数量,并将所述统计的数量及预设故障类型的名称在所述第三线路图像上显示后反馈至客户端。

s150,在数据库中预先创建所述预设故障类型与检修费用之间的映射关系,获取所述第三线路图像上预设故障类型对应的数量及名称,基于所述映射关系从数据库中找到与所述预设故障类型对应的检修费用,计算得出每张所述第三线路图像中各种预设故障类型的总检修费用反馈至所述客户端。

为了让用户对发生故障的线路有初步的检修费用预算,因此在本实施例中,通过在数据库中预先创建预设故障类型与检修费用之间的映射关系,当服务器1获取到第三线路图像上的预设故障类型对应的数量及名称后,基于映射关系从数据库中找到与预设故障类型对应的检修费用,计算得出每张第三线路图像中各种预设故障类型的总检修费用反馈至客户端。

在另一实施例中,该方法还包括第二反馈步骤:

获取每张所述第三线路图像对应的拍摄位置信息,将属于同一拍摄位置的所述第三线路图像归为一类图像集,分别统计每一类所述图像集上所述预设故障类型的总数量,将每一类所述图像集按照预设故障类型的总数量从大到小进行排序,为每一类所述图像集分配唯一的第二标签,基于所述拍摄位置信息及第二标签建立数据展示图反馈至所述客户端。

在本实施例中,服务器1从数据库中获取由拍摄终端上传的第三线路图像的拍摄位置信息,并将属于同一拍摄位置的第三线路图像归为一类图像集,分别统计每一类图像集上预设故障类型的总数量,将每一类图像集按照预设故障类型的总数量从大到小进行排序,为每一类图像集分配唯一的第二标签(例如以不同颜色来区分不同类图像集),基于拍摄位置信息及第二标签建立数据展示图反馈至客户端,能够让用户知道哪里的线路故障紧急程度更大,从而优先处理。

此外,本发明实施例还提出一种计算机可读存储介质,该计算机可读存储介质可以是硬盘、多媒体卡、sd卡、闪存卡、smc、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括基于无人机的线路检修费计算程序10,所述基于无人机的线路检修费计算程序10被处理器执行时实现如下操作:

获取步骤:获取拍摄终端上传的第一线路图像,所述第一线路图像中包括至少一种预设故障类型,为每种所述预设故障类型分配唯一的第一标签,对带有所述第一标签的第一线路图像进行预处理得到第二线路图像;

第一处理步骤:将所述得到的第二线路图像输入预先训练的图像特征提取模型,得到与所述第二线路图像对应的图像特征图;

第二处理步骤:将所述得到的图像特征图输入预先训练的ssd模型,得到带有预设数量的目标框的第三线路图像,其中,所述目标框基于第三方标记库绘制,每个所述目标框对应一种所述预设故障类型;

第一反馈步骤:分别统计所述第三线路图像上每种所述预设故障类型的数量,并将所述统计的数量及预设故障类型的名称在所述第三线路图像上显示后反馈至客户端;及

计算步骤:在数据库中预先创建所述预设故障类型与检修费用之间的映射关系,获取所述第三线路图像上预设故障类型对应的数量及名称,基于所述映射关系从数据库中找到与所述预设故障类型对应的检修费用,计算得出每张所述第三线路图像中各种预设故障类型的总检修费用反馈至所述客户端。

本发明之计算机可读存储介质的具体实施方式与上述基于无人机的线路检修费计算方法的具体实施方式大致相同,在此不再赘述。

需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1