基于弱监督学习的空基视角下的铁轨异物检测方法及系统与流程

本发明属于航空监视领域，具体涉及了一种基于弱监督学习的空基视角下铁轨异物的检测方法及系统。

背景技术：

当前，铁路建设已成为国家发展大战略中举足轻重的一环。便捷的铁路网为国家发展提供了保障，更为人民生活提供了便利。因此，如何高效地确保铁路安全就显得尤为重要。在铁路的日常运营中，可能会有牲畜、行人进入铁轨区域，侵占铁轨。同时，铁路工人工作时的遗留物留在铁轨上，也可能影响火车的正常行驶。因此，在铁路的日常维护中，为了确保列车正常、安全地运行，确保没有异物入侵或遗留到铁轨上是一项重要工作。

传统的巡检方法主要依靠铁路工人开展人工巡检，但是这种方法不仅浪费大量人力，而且巡检速度很慢，效率低。因此，我们迫切的需要一种更高效、智能的自主巡检方法。为此，有人提出，通过无人机，实现基于空基的自主监视，对铁路进行异物巡检。无人机可通过携带的摄像头采集地面的图像数据，并运用计算机视觉的技术进行智能分析与处理，对铁路沿线的情况进行判断，从而实现自主巡检。这样，就有效节省了人力，同时提高了工作效率。

但是，对铁轨进行空基自主巡检也存在一些难点。首先，铁轨上的异物存在不确定性。各种牲畜，工人的遗留物，落石等，都有可能成为影响列车正常运行的异物。因此，很难对他们都进行标注并通过常规检测模型进行训练和测试。此外，空基视角下，由于高度、视角的变化，铁轨异物在图像中可能呈现较大的差异。这也增加了对异物进行直接检测的难度。

现有针对铁路场景下的异物检测存在局限性。如参考文献1(张雪艳.ssd算法及其在铁路场景异常目标检测中的应用研究[d].北方工业大学,2019)，采用ssd(singleshotmultiboxdetector)检测算法对异物进行检测。ssd是经典的检测算法，但是其依赖大量的样本进行训练，而且泛化能力一般，仅能识别训练集中已有的样本。参考文件2(杜兴强.基于深度背景差分的铁路异物检测算法[d].北京交通大学,2019)公开的基于深度背景差分检测算法，要求图像背景具有高度的一致性，如果背景出现变化，其差分算法很难适应。为了保证背景的一致性，对比文件2的算法主要依靠轨旁定点摄像装置进行图像采集，进而进行后续分析。而如果在铁路线周围大量布置这些设施，开销较大。因此，其在使用中具有一定局限性。参考文献3(王亚涛.基于无人机的铁路限界异物检测及预警方法研究[d].北京交通大学,2019)中，作者结合无人机目前在铁路场景下的应用，提出了一种基于无人机的铁路限界异物检测及预警方法，但是，其只针对行人、车辆、列车这三类物体进行分类器建模，对于突发异常无法识别。

技术实现要素：

针对目前解决铁轨异物入侵时，存在由于铁轨上的异物存在不确定性，很难对他们进行标注并通过常规检测模型进行训练和测试的问题，本发明提出了一种基于弱监督学习的空基视角下的铁轨异物检测方法和系统，基于铁轨自身具有较强的结构一致性与稳定性的特点，通过学习提取铁轨正常区域，再反向定位异常区域，实现对铁轨异物的检测。

本发明提供的空基视角下的铁轨异物检测系统，包括：

位于无人机上的空基图像获取模块，用于通过无人机对地面铁轨拍摄图像，并传输给地面服务器；

位于地面服务器上的图像预处理模块、双级分割网络模块、区域定位模块和异常信息输出模块。图像预处理模块用于将空基图像获取模块获取的图像的尺寸和像素值进行归一化处理，输入双级分割网络模块。双级分割网络模块包括共享特征提取部分、铁轨区域粗分割特征编码与解码部分、铁轨像素细分类特征编码与解码部分。共享特征提取部分从输入的图像中提取出背景特征，作为铁轨区域粗分割与像素细分类的共享特征。铁轨区域粗分割特征编码与解码部分基于共享特征，提取图像中的区域的高级语义特征，并输出铁轨区域粗分割预测图。铁轨像素细分类特征编码与解码部分基于共享特征，提取图像中的像素的高级语义特征，输出铁轨像素细分类预测图。预测图为像素用0或1标识的图，其中0标识像素点为背景，1标识像素为铁轨。在铁轨区域粗分割预测图中，像素为1的区域为铁轨的轮廓和覆盖范围。在铁轨像素细分类预测图中，像素为1代表该像素属于铁轨，像素为0代表该像素不属于铁轨，位于铁轨的异物所在像素被标记为0。区域定位模块根据铁轨区域粗分割预测图与像素细分类预测图的差异，获取侵入铁轨异物的异常区域指示图。异常信息输出模块根据异常区域指示图获取各异常区域的坐标位置，并进行报警。

本发明提供的空基视角下的铁轨异物检测方法，包括如下步骤：

步骤1，利用无人机拍摄地面铁轨区域的图像；

步骤2，将拍摄的图像进行尺寸和像素值归一化的预处理；

步骤3，预处理后的图像输入双级分割网络，提取铁轨两级分割预测图；铁轨两级分割预测图分别指铁轨区域粗分割预测图和铁轨像素细分类预测图；铁轨区域粗分割预测图提取出未被异物侵占的铁轨正常区域，铁轨像素细分类预测图提取图中实际属于铁轨的像素。

其中，双级分割网络包括三部分：(一)共享特征提取部分，用于对输入的图像提取包括纹理、颜色在内的共享的底层特征；(二)铁轨区域粗分割特征编码与解码部分，基于共享的底层特征，提取铁轨区域粗分割的高级语义特征，输出区域粗分割的预测图，预测图中属于铁轨的区域标识为1，不属于铁轨的区域标识为0；(三)铁轨像素细分类特征编码与解码部分，基于共享的底层特征，提取铁轨像素细分类的高级语义特征，输出铁轨像素细分类预测图，图中属于铁轨的像素标识为1，不属于铁轨的像素标识为0。

步骤4，对铁轨两级分割预测图进行做差，获取铁轨的异常区域指示图，对异常区域指示图进行滤波优化，输出最终的异常区域指示图。

步骤5，对步骤4输出的异常区域指示图采用4-连通算法，求得每个异常区域的质心坐标，将各质心坐标输出，作为异常区域的位置。

本发明的铁轨异物检测系统及方法与现有技术相比，具有以下优势和积极效果：

(1)本发明的铁轨异物检测方法及系统，提出了一种双级分割网络，只需要学习铁轨区域是什么样的，再通过反向定位，即可定位出异常物体所在位置；双级分割网络采用一种弱监督学习方法，有效避免了繁琐的数据标注。

(2)本发明的铁轨异物检测方法及系统，有效解决了空基视角下物体形态多变、外观不确定的问题，可以有效应对铁轨异物的不确定性与空基视角下物体呈现的多样性，实现对铁轨异物入侵的识别与预警。

(3)本发明的铁轨异物检测方法及系统，利用无人机平台实现铁轨的空基监视，解决传统铁路巡检中存在的费时费力，效率较低的问题，提高了铁轨巡检的效率，降低了铁路管理运维成本，有效保障铁轨运营安全；同时，从空中进行巡检，可以有效扩大视野范围。本发明的铁轨异物检测方法及系统对铁路的日常运营维护、安全预警有重大意义。

附图说明

图1是本发明的空基视角下铁轨异物弱监督学习系统的模块组成示意图；

图2是本发明一种空基视角下铁轨异物弱监督学习方法；

图3是本发明双级分割网络中像素细分类模块中，多向卷积操作的示意图。

图4是本发明中双级分割网络训练中所运用的不同的监督标签；a为拍摄的铁轨图像的灰度图；b为区域粗分割时大致标注出铁轨的轮廓及铁轨覆盖区域的样本图；c为像素细分类时精细标注出铁轨轮廓内每个像素是否属于铁轨正常区域的样本图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于铁轨上可能出现的异物种类较多，对于传统的检测方法，很难对所有异物进行标注、训练，并很难通过常规的神经网络直接进行检测。此外，从空基视角进行图像采集时，受角度、天气等因素影响，异物可能呈现不同的外观。这也为传统检测方法的应用提供了障碍。为此，本发明设计了一种弱监督的反向学习算法来检测铁轨上的异物，其核心思想是利用铁轨自身结构的一致性与规律性，通过一个双级神经网络，从两个层次提取铁轨正常区域，再反向定位铁轨中的异常区域。最终，利用区域定位模块，将铁轨中异常的部分确定并将异常信息输出。这样，通过针对铁轨异物的弱监督学习，无需对异物自身进行标注，就可以有效地检测出铁轨中的异物。

如图1所示，本发明提供的一种基于弱监督学习的空基视角下的铁轨异物检测系统，包括：空基图像获取模块、图像预处理模块、双级分割网络模块、区域定位模块和异常信息输出模块。空基图像获取模块安装在无人机上，其他模块安装在地面服务器上。

空基图像获取模块利用无人机对地面铁轨进行拍摄，得到不同视角下包含铁轨的清晰图像，然后将拍摄的图像通过无线通信传输给地面服务器。

图像预处理模块，将无人机采集得到的图像进行预处理，将各图像的尺寸与像素值统一。

双级分割网络模块，对预处理后的图片进行双级分割，即区域粗分割与像素细分类。双级分割网络模块包括共享特征提取部分、铁轨区域粗分割特征编码与解码部分、铁轨像素细分类特征编码与解码部分。共享特征提取部分从输入的图像中提取出背景特征，作为铁轨区域粗分割与像素细分类的共享特征。铁轨区域粗分割特征编码与解码部分基于共享特征，提取图像中的铁轨区域的高级语义特征，并输出铁轨区域粗分割预测图，图中，像素为1的区域为铁轨的轮廓和覆盖范围，像素为0的区域为背景。铁轨像素细分类特征编码与解码部分基于共享特征，提取图像中的像素的高级语义特征，输出铁轨像素细分类预测图，图中，像素为0标识为背景，代表该像素不属于铁轨，像素为1代表像素属于铁轨。

本发明对双级分割网络模块采用弱监督方式学习，对铁轨区域粗分割特征编码与解码部分和铁轨像素细分类特征编码与解码部分采用不同的标注进行监督，其中对铁轨区域粗分割特征编码与解码部分，标注的图片中铁轨为未被异物侵占时的正常区域状态，对铁轨像素细分类特征编码与解码部分，标注的图片中标识出属于铁轨的每个像素，对异物侵占铁轨的区域作为背景标识。

区域定位模块，根据铁轨区域粗分割与像素细分类的预测结果，从二者中反向提取异常区域。

异常信息输出模块，输出异常区域在图片中的位置及相关报警信息。

如图2所示，本发明的基于弱监督学习的空基视角下铁轨异物检测方法，分为如下五个步骤来说明。

步骤1，无人机采集铁路图像，获取空基图像。

利用装载了高清摄像头的无人机，从空基视角，对地面铁轨区域进行图像采集。空基视角可以获得更广阔的视野，同时采集的铁轨区域图像，不受地形、遮挡的限制。

步骤2，对无人机采集到的图像进行预处理，以得到大小合适、尺寸规整的图片用于模型训练与测试。本步骤主要进行图像尺寸的归一化和像素值的归一化处理。

由于无人机采集的图像一般尺寸较大，本发明实施例在图像尺寸归一化中，统一将所有图像大小缩放到448pixel*448pixel，pixel表示像素。通过缩小图像尺寸，有助于提高计算速度，缓解计算压力。

原始的rgb图片，每个像素点的值在0到255之间，通过像素值归一化，将所有像素值归一化到-1到1之间。对原始图像中的像素值x归一化为xnew，计算公式如下：

其中，是归一化之后的像素值，是初始像素值。

将图像的像素值归一化，更方便神经网络的训练，使得可以更快达到收敛。

步骤3，建立双级分割网络，提取铁轨两级分割预测图。铁轨两级分割预测图分别是指铁轨区域粗分割预测图和铁轨像素细分类预测图。

铁轨区域粗分割预测图大致定位出铁轨覆盖的区域，在这其中，由于目标是定位铁轨覆盖区域，因此异物入侵所侵占的铁轨区域也会被标识为铁轨覆盖区域。铁轨像素细分类预测图则精确地辨识每个像素点是否属于铁轨，在其中，异物入侵所侵占的铁轨区域不会被标识为铁轨。为了使双级分割网络能够达到上述目的，其内部包括三部分，如图2所示，分别为共享特征提取、双级特征编码与双级特征解码三个部分。双级分割网络实现两级分类，在共享特征提取部分之后，双级分割网络分叉成两路网络，一路执行铁轨区域粗分割的特征编码与解码，一路执行铁轨区域像素细分类的特征编码与解码。下面通过步骤3.1～3.3说明利用双级分割网络提取铁轨两级分割预测图的实现。

步骤3.1，将预处理后的图像输入双级分割网络，提取共享特征。

本发明实施例的双级分割网络中的共享特征提取部分共包含6个卷积层，对输出的图像提取共享特征。共享特征是指铁轨区域粗分割与像素细分类都需要的底层特征，比如纹理、颜色信息等。共享特征提取网络将铁轨区域作为前景，主要提取除铁轨外的背景信息。

共享特征提取网络输出的是一个0-1的二值图，每个像素点的值为0或1，表示在图片中像素点是背景(不是铁轨)还是前景(是铁轨)。

步骤3.2，将提取的共享特征输入双级特征编码部分，分别提取铁轨区域粗分割的高级语义特征和铁轨像素细分类的高级语义特征。

本发明实施例的双级分割网络中的两个特征编码部分分别包含14个卷积层；其中，区域粗分割特征编码部分根据共享特征，提取铁轨区域粗分割的高级语义特征；像素细分类特征编码部分根据共享特征，提取铁轨像素细分类的高级语义特征。高级语义特征是用来指示区域块或像素是否属于铁轨。

对于区域粗分割特征编码部分，本发明采用传统的卷积操作。而对于像素细分类特征编码部分，本发明为了更好地获取细粒度的边缘信息，设计了一种多向卷积操作。如图3所示，传统的卷积操作通常在一个正方形区域内，即卷积核是一个四方形的网格结构，例如图3中的传统3*3，5*5卷积；而多向卷积操作则在一个米字型区域内进行卷积计算，如图3中的多向5*5卷积。通过多向卷积操作，可以提取更多边缘信息与边缘特征，有利于获得更好的边界图。多向卷积操作的具体运算过程和传统卷积操作是一样的，只是卷积操作中选择的运算区域不同，其运算区域呈现放射状的线形，因此可以提取更多的线性特征，得到边缘信息，因此可以在分割结果中，将边缘处理的更好，实现更精细的分割。

多向卷积是将滤波器内一部分元素的权重设置为0，其他位置正常训练得到应用的权重，如图3的多向5*5卷积。

本发明实施例中，在铁轨像素细分类的特征编码的卷积层中，同时进行传统卷积操作和多向卷积操作。对一个特征图(featuremap)，先后用传统卷积和多向卷积分别处理，得到两个特征图，设传统卷积操作结果为r1，多向卷积操作结果为r2，那么，再将得到地两个特征图相加，这个卷积层的最终输出结果为r3＝r1+r2。

步骤3.3，将铁轨的区域粗分割的高级语义特征和像素细分类的高级语义特征对应输入特征解码部分，并最终得到双级分割网络的输出图p1和p2，即区域粗分割的预测图和像素细分类的预测图。预测图都是0、1指示图，0和1是指图中每个像素点的标签，0表示该像素点为背景，1表示该像素点为前景。

本发明的铁轨区域粗分割是大概指出铁轨所在的区域，不细致划分内部结构。此处“区域”并没有特别明确的含义，就是指把铁轨区域标记出来。如图4(b)为区域粗分割的结果图，图4(c)是像素细分类的结果图。对比两个图片不难发现，区域粗分割的结果图内，只大概指示出了铁轨区域的轮廓和覆盖范围，而像素细分类的结果图内，明确指示出了铁轨区域内每个像素点是否属于铁轨。如果铁轨上有异物入侵，那么，这些异物对应的像素点在像素细分类的结果中标识为背景；在区域粗分割的结果中则依旧标识为前景，因为其位于铁轨轮廓内。

区域粗分割特征解码部分和像素细分类特征解码部分，都分别包含2个上采样层和6个卷积层。通过区域粗分割特征解码部分获得铁轨区域粗分割预测图，图中定位出铁轨覆盖的区域的像素用1标识，不属于铁轨覆盖区域的像素标识为0。通过像素细分类特征解码部分获得铁轨像素细分类预测图，图中对每个像素点进行标识，若像素点属于铁轨标识为1，若不属于则标识为0，对异物入侵所侵占的铁轨区域则不会被标识为铁轨。

为了使双级分割网络能达到双级分割的效果，即让区域粗分割与像素细分类的特征编码和特征解码分别具备提取和处理不同特征的能力，本发明在训练双级分割网络模型的过程中，采用不同的标注对双级分割网络进行监督。如图4所示，训练区域粗分割的特征编码与解码部分网络时，采用b图作为a图的标签，b图中大致标注出铁轨的轮廓及其覆盖区域，是铁轨未被异物侵占时的正常区域状态；训练像素细分类的特征编码与解码部分时，采用c图作为a图的标签，c图中精细标注出铁轨轮廓内，每个像素是否属于铁轨正常区域，标识出异物侵占铁轨的区域。用这两个双级标注，可以有效监督并训练一个双级分割网络，实现区域粗分割与像素细分类的功能。

本发明中对双级分割网络采用弱监督方式学习，不需要对异物本身进行特别标注，利用铁轨正常区域的信息，反向定位出异常区域。这样，不需要进行大量数据标注，就实现了空基视角下对铁路异物入侵的识别与预警。并经过试验，本发明所使用的双级分割网络能有效识别铁路异物入侵，准确率高。

步骤4，根据双级分割网络输出的铁轨两级分割预测图，进行铁轨异物定位，输出异常区域指示图。

将铁轨两级分割预测图p1和p2做差提取异物入侵铁轨占据的异常区域。设图像中第i行第j列的像素的坐标为(i,j)，将预测图p1和p2做差得到异常区域指示图a，其中a(i,j)计算如下：

其中，p1(i,j)和p2(i,j)分别为预测图p1和p2中在坐标(i,j)的标志值。

在得到异常区域指示图a后，进一步通过一个众数滤波器对a进行优化，得到优化图a′。通过众数滤波器可以将指示图a一些小的误报消除，并留下完整、显著、清晰的异常区域指示图。

步骤5，根据异常区域指示图a′，利用4-连通算法，求解出每个异常区域的质心，最终输出每个异常区域在图像中的位置并报警。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。