一种激光图像红外融合的铁路限界快速准确测量方法

本发明属于铁路限界测量、人工智能领域，涉及基于多种人工智能方法融合的铁路界限测量方法，适用于铁路限界的快速准确测量。

背景技术：

1、为了确保铁路列车在铁路线路上运行安全，防止铁路列车撞击邻近线路的建筑物和设备，而对铁路列车和接近线路的建筑物、设备所规定的不允许超越的轮廓尺寸线，称为限界。

2、当前,行业内限界测量方法为人工测量，测量工具是限界测量尺和数显式的测量仪。这种方式的弊端是测量人员必须下道进行操作，而且需要多个人同时测量，且必须在铁路维修天窗作业的时间完成测量，需要提前一周申报，有限的维修天窗作业时间难以满足作业人员按时完成铁路沿线的建筑限界测量的巨大工作量。而且，建筑限界数据需要及时更新，如果不能定期更新，对铁路列车运输安全造成很大的安全隐患。传统测量方式费事费力，工作效率较低，误差大。

3、国内外目前存在的铁路限界自动测量装置有车载激光雷达点云铁路限界检测装置，基于红外热像仪的铁路限界检测装置，但还没有得到普遍认可的成熟产品。单一传感器在实际测量中有很多弊端，例如出现高反物体、近处障碍物、阳光照射、多雷达对射的极端工况，将会对激光雷达点云成像带来一连串的异常，红外热像仪靠温差成像，且目标温差一般较小，会导致分辨率较差的问题，这些因素会直接导致测量的准确性偏低。

4、因此，为解决人工式测量的时限性、速度慢，单一传感器测量的准确性低的问题，提出一种激光图像红外融合的铁路限界快速准确测量方法。

技术实现思路

1、本发明提出一种激光图像红外融合的铁路限界快速准确测量方法，将激光雷达点云技术、热红外线成像技术、深度相机成像技术和图像处理技术进行结合，用于铁路限界的快速准确测量，提高铁路限界测量的精度、效率，具有测量的快速性、准确性、非时限性以及多场景使用特性，在使用过程中的步骤为：步骤(1)：采用波长为905纳米，帧率为20赫兹的车载16线激光雷达，在时间尺度1的情况下进行采集，获得铁路限界激光雷达点云数据：基于激光雷达点云技术，采用车载激光雷达在采样率f1的时间尺度下进行采样，获得三维激光雷达点云数据，点云数据中包含每个点的xyz坐标信息，用n1×3二维数组来表示,n1是点云数据中点的数量；

2、步骤(2)：采用波长为8-14微米，帧率为50赫兹的车载热像仪，在时间尺度2的情况下进行采集，获得铁路限界热红外线图像信息：不同物体或同一物体的不同部位通常具有不同的热辐射特性，如温差、发射率，因此基于红外热成像原理，通过车载红外热像仪在采样率f2的时间尺度下接收和记录目标发射的热辐射而形成热红外线图像。热红外线图像数据是单通道数据，用n3×n4数组来表示；

3、步骤(3)：采用帧率为30赫兹的深度相机，在时间尺度3的情况下进行采集，获得铁路限界的rgb-d图像信息：深度相机用于检测出拍摄空间的景深距离。通过深度相机获取到所摄图像中每个点距离摄像头的距离，以此来获取rgb-d图像信息。基于该原理，在采样率f3的时间尺度下，用车载深度相机进行连续拍摄，获得铁路限界的rgb-d图像信息。rgb-d图像数据是四通道数据，其中rgb图像和depth图像是配准的，像素点之间具有一对一的对应关系，提取出rgb-d中的rgb图像信息，用n5×n6×3,n5,n6∈n三维数组来表示；

4、步骤(4)：采用深度学习神经网络：pointnet网络、squeezenet网络、alexnet网络分别对激光雷达点云数据、热红外线图像数据、深度相机采集到的rgb-d图像数据进行处理，得到三种数据对应的特征向量：

5、将激光雷达采集到的n1×3二维数组点云数据通过pointnet网络处理后，得到1×1024的特征向量：pointnet网络由输入变换、点云处理、特征变换、特征处理、对称函数处理5个部分组成。其中input transform层对输入的n1×3的点云数据进行t-net仿射变换，将初始点云数据变换到一个更容易识别的空间位置或形状。得到1024×1024特征，然后做最大值池化，维度变为1024。其后，经过全连接层得到9个维度特征，并reshape成3×3的矩阵，加上单位矩阵后，得到所需要的空间变换矩阵。输入3×1024个点与空间变换矩阵相乘得到图中input transform的输出，维度为3×1024。mlp(64,64)层对输入的3×1024特征卷积得到64×1024的特征。feature transform层对输入的64×1024的特征进行卷积，得到1024×1024特征，然后做最大值池化，维度变为1024，其后，经过全连接层得到4096维度特征，并进一步reshape成64×64的矩阵，得到所需要的空间变换矩阵。输入64×1024特征与空间变换矩阵相乘便得到feature transform的输出，维度为64×1024。mlp(64,128,1024)层对输入的64×1024特征卷积得到64×1024的特征，然后做最大值池化，维度变为1024，得到1×1024的特征向量；

6、将红外热成像仪采集到单通道图像数据，复制两次，转化成3通道图像数据，用n3×n4×3三维数组表示，将复制后的三通道数组通过squeezenet网络处理后，得到1×1000的特征向量：squeezenet网络由2个卷积层8个fire层共10层神经网络组成。卷积层1大小224×224×3，卷积核大小为7×7，数量为96，步长为2，经过卷积层1后，输出特征图像大小为111×111×96。经过第一个池化层，输出特征图像大小为55×55×96。经过fire2、fire3、fire4层后，输出特征图像大小为55×55×256。经过第二个池化层，输出特征图像大小为27×27×256。经过fire5、fire6、fire7、fire8层后，输出特征图像大小为27×27×512。经过第三个池化层后，输出特征图像大小为13×12×512。经过fire9后，输出特征图像大小为13×13×512。卷积层10卷积核大小1×1，数量1000，步长为1。经过卷积层10后，输出特征图像大小为13×13×1000。经过一个平均池化层后，输出特征向量大小为1×1000；

7、将深度相机采集到rgb-d四通道图像数据进行提取，得到rgb三通道图像数据，通过alexnet网络处理后，得到1×1000的特征向量：alexnet网络由5个卷积层和3个全连接层共8层神经网络组成。卷积层1大小224×224×3，卷积核大小11×11×3，数量48，步长为4。经过第一次卷积和池化后，输出特征图像大小为27×27×96。卷积层2大小27×27×96，卷积核大小5×5，数量为128，步长为1。经过第二次卷积+池化，输出特征图像大小为13×13×256。卷积层3大小13×13×256，卷积核大小3×3，数量为192，步长为1。经过卷积层3后，特征图像大小为13×13×384。卷积层4大小13×13×384，卷积核大小3×3，数量为192，步长为1。经过卷积层4后，特征图像大小为13×13×384。卷积层5大小13×13×384，卷积核大小5×5，数量为128，步长为1。经过第五次卷积和池化后，特征图像大小为6×6×256。全连接层6大小为6×6×256，共4096个神经元，输出4096×1的向量。全连接层7大小为4096×1，共4096个神经元，输出4096×1的向量。全连接层8大小为4096×1，共4096个神经元，输出特征向量大小为1×1000；

8、步骤(5)：分别用pointnet网络、squeezenet网络、alexnet网络处理激光雷达点云数据、热红外线图像数据、深度相机采集的rgb图像数据，得到三个特征向量后，用全连接层对三个特征向量进行融合，把激光雷达，红外线热成像仪，深度相机提取到的所有特征融合起来，得到铁路限界的精确数值。

9、本发明相对于现有技术具有如下的优点及效果：

10、(1)本发明采用多种传感器进行检测，将激光雷达精度高，分辨率强的优点、红外线热成像仪的穿透力强，能够在各种极端天气下进行检测的优点、深度相机所采集的信息量大的优点进行结合，降低了单一传感器在极端工况下所面临的测量准确性不高，测量时段受限的问题。

11、(2)本发明对采集到的多时间尺度的不同种类的数据，通过多种人工智能方法进行数据处理与融合，将不同种数据类型所提取到的特征信息进行融合，减少因为特征量不足而引起的信息丢失的问题，提高了测量结果的可靠性与准确性。本发明专利最后采用深度全连接层将三个预测结果进行融合，是一种数据融合的方法，也是一种集成学习方法，极大程度的提高了预测的精度。

12、(3)本发明通过车载仪器进行连续测量，通过人工智能方法进行数据处理与融合，快速、高效、便捷地获取铁路限界的信息，减少人工测量所需要的大量人力物力，提高了检测速度、检测效率。