全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法与流程

本发明涉及自动化及机器人技术领域，具体涉及变电站巡检机器人技术领域，特别是涉及一种全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法。

背景技术：

变电站巡检机器人是用于变电站设备巡检的无人自主移动检测装置，主要由移动平台、定位导航系统、检测设备、无线通讯系统等组成。随着机器人技术、物联网和图像处理技术的迅猛发展，近年来变电站巡检机器人已在高电压等级变电站普遍应用，极大地减轻了变电站运维人员的工作强度，提高了高危环境下的运维质量和效率，促进了变电站运维智能化水平的提升。

通常，变电站巡检机器人通过二维云台携带可见光相机和红外相机对变电站设备进行检测。二维云台可调整相机姿态，相机也可调节焦距。该方法成像清晰，能捕捉到更多设备细节信息。但与此同时该方法的视场角较小，机器人运动过程中容易丢失设备位置，通常需要机器人停在固定位置进行测量，对机器人重复运动精度有较高要求，停留位置的偏差会严重影响巡检机器人的工作效率和工作精度，难以同时实现大场景下的变电站设备异物或缺陷图像检测。因而传统电站巡检机器人只在固定工作点进行图像获取工作，相机的工作位姿和焦距都已事先确定，难以获取非工作位置图像和新增固定工作点图像。并且，对于大场景下的设备悬挂异物等情况，难以有效获取到图像信息。而全景相机视野大，可捕捉到360°的全景图像，却大多由于传输和存储容量限制，图像清晰度不能设置太高。

因此亟需提供一种新型的变电站巡检机器人图像检测系统及方法来解决上述问题。

技术实现要素：

本发明所要解决的技术问题是提供一种全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法，能够提高巡检机器人对变电站设备的全方位检测识别能力和精准检测识别能力。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种全景相机与云台相机结合的变电站巡检机器人图像检测系统，主要包括相互通信连接的移动机器人平台、无线传输模块、后台主控系统；

所述移动机器人平台上固定设置有全景相机、二维云台高清相机、定位导航系统、图像处理器。

在本发明一个较佳实施例中，所述定位导航系统包括安装在移动机器人平台前部的激光雷达、安装在移动机器人平台后部的rtkgps天线。

在本发明一个较佳实施例中，所述全景相机采用六摄像头相机，二维云台高清相机采用双目1080p高清摄像头。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于全景相机与云台相机结合的变电站巡检机器人图像检测系统的图像检测方法，包括以下步骤：

s1：操作巡检机器人在指定路径上运动，采集标记数据，生成数据集，利用此数据集对深度卷积神经网络进行训练，得到训练好的网络模型，保存到所述图像处理器中；

s2：巡检机器人运行时，所述全景相机不断获取周边设备图像，并将图像实时传入图像处理器中进行预处理；

s3：将预处理后的图像输入步骤s1训练好的深度卷积神经网络，对全景相机图像中标记物进行语义分割，并得到标记物相对于全景相机的位置坐标，初步判断变电站设备的运行情况及异常情况；

s4：通过三维坐标转换方式，将标记物相对于全景相机的位置坐标转换为相对云台的坐标；

s5：对于初步判断为异常的变电站设备优先处理，否则按照相对距离由近到远的顺序依次控制二维云台转动，指向目标观测区域，通过二维云台高清相机获得该区域的高清放大图像，由无线传输模块发送到后台主控系统。

在本发明一个较佳实施例中，步骤s1中生成数据集的具体步骤包括：

首先对变电站环境中目标检测物进行人工标记，然后对采集的全景相机图像中标记物进行语义分割，最后生成包含上千个数据的数据集。

在本发明一个较佳实施例中，步骤s2中预处理的过程包括全景相机图像的拼接、降噪。

在本发明一个较佳实施例中，步骤s3中，所述标记物包括变电站设备、设备表面的异物、油渍、表计。

在本发明一个较佳实施例中，s3的具体方法为：

ccam＝rzryrxc360+tr

其中，ccam为云台相机坐标系下的坐标；c360为全景相机坐标系下的坐标；tr为云台相机坐标系原点在全景相机坐标系下的三维坐标；rz、ry、rx分别为两个坐标系在z、y、x轴上的偏角。

本发明的有益效果是：

(1)本发明提出一种兼具全景视觉探测识别功能与二维云台高清视觉摄像功能的变电站巡检机器人图像检测系统，提高了巡检机器人对变电站设备的全方位检测识别能力和精准检测识别能力，增强变电站全自主巡检效率；

(2)所述图像检测方法通过将全景相机与二维云台相机相结合，利用全景相机获取变电站全景图像信息，识别设备异物和定位重点观测区域位置，从而在线控制二维云台相机的工作位姿和焦距，进行重点观测区域的高清图像拍摄，在进行图像获取工作状态时无需停车，大大提高巡检质量和效率。

附图说明

图1是所述巡检机器人一较佳实施例的立体结构示意图；

图2是本发明全景相机与云台相机结合的变电站巡检机器人图像检测方法的流程图；

图3是全景相机到云台相机的坐标转换示意图；

附图中各部件的标记如下：1、移动机器人平台，2、激光雷达，3、二维云台高清相机，4、全景相机，5、rtkgps天线。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1和图2，本发明实施例包括：

一种全景相机与云台相机结合的变电站巡检机器人图像检测系统，主要包括相互通信连接的移动机器人平台1、无线传输模块、后台主控系统。所述移动机器人平台1上固定设置有全景相机4、二维云台高清相机3、定位导航系统、图像处理器(图中未示出)。所述定位导航系统包括安装在移动机器人平台1前部的激光雷达2、安装在移动机器人平台1后部的rtkgps天线5。

优选的，所述全景相机4采用常用的呈球面布置的六个镜头拼接出360°全景图像，二维云台高清相机3采用双目1080p高清摄像头。

本发明提出一种兼具全景视觉探测识别功能与二维云台高清视觉摄像功能的变电站巡检机器人图像检测系统，提高了巡检机器人对变电站设备的全方位检测识别能力和精准检测识别能力，增强变电站全自主巡检效率。

结合图2，基于全景相机与云台相机结合的变电站巡检机器人图像检测系统的图像检测方法，包括以下步骤：

s1：在系统实际运行之前，首先对变电站环境中目标检测物进行人工标记，操作巡检机器人在指定路径上运动多圈，采集足够的标记数据；其次对采集的全景相机图像中标记物进行语义分割，即对变电站设备、设备表面的异物、油渍、表计等在图像中的像素进行精确标定；最后生成包含上千个数据的数据集；利用此数据集对深度卷积神经网络进行训练，得到训练好的网络模型，保存到所述图像处理器中；

s2：巡检机器人在变电站环境中运行时，沿着给定的路线不断循环运动，所述全景相机不断获取周边设备图像，并将图像实时传入图像处理器中进行预处理，预处理的过程包括全景相机图像的拼接、降噪；

s3：将预处理后的图像输入步骤s1训练好的深度卷积神经网络，对全景相机图像中标记物进行语义分割，即对变电站设备、设备表面的异物、油渍、表计等进行像素级别的分割，并通过目标的位置、大小，在机器人360度全方向上得到需要检测的变电站设备及异物相对于全景相机的位置坐标，即目标图像在全景图像中的像素位置，初步判断变电站设备的运行情况及异常情况(有异物、漏油等现象)；

s4：因全景相机和高清云台相机的相对位置tr不变，通过三维坐标转换方式，将标记物相对于全景相机的位置坐标转换为相对云台的坐标；结合图3，具体方法为：

ccam＝rzryrxc360+tr

其中，ccam为云台相机坐标系下的坐标；c360为全景相机坐标系下的坐标；tr为云台相机坐标系原点在全景相机坐标系下的三维坐标；rz、ry、rx分别为两个坐标系在z、y、x轴上的偏角。

s5：对于初步判断为异常的变电站设备进行优先处理，否则按照相对距离由近到远的顺序依次控制二维云台转动，指向目标观测区域，通过二维云台高清相机的俯仰获得该区域的高清放大图像，对设备运转情况及表计读数做准确评估，若被拍摄的设备运转及表计读数正常，则处理下一个设备，重复步骤s5；若被拍摄的设备运转及表计读数异常，则向系统报警；

整个巡检过程中机器人可以连续运动不停车，并且有效防止二维云台相机对关键设备观测区域的跟踪丢失，同时能检测到360°全场景下的变电站设备异物等异常状态。二维云台相机获取的高清放大图像经无线传输模块发送到后台主控系统，为后续进行表计识别或设备外观缺陷识别提供准确数据。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。