基于深度学习的单目视觉防撞方法

【】本发明涉及图像处理的，特别是一种基于深度学习的单目视觉防撞方法。

背景技术

0、
背景技术：

1、堆垛机即堆垛起重机，是采用货叉或串杆作为取物装置，在仓库、车间等处攫取、搬运和堆垛或从高层货架上取放单元货物的专用起重机。由于堆垛机具有加速和移动速度快，适合运送重型工件；因导轨固定，行走平稳，停车位置比较准确；控制系统简单、可靠性好、成本低、便于推广应用等的优点，逐渐成为立体仓库中最重要的起重运输设备。

2、堆垛机在工作时需要设置防撞控制系统以探测仓库货架中是否有人或者障碍物，为堆垛机和仓库工作人员提供安全保障。现有堆垛机防撞技术中主要采用的方法有光电检测开关、超声波设备和激光雷达。然而，光电检测开关只能检测单点或多个点的位置状态，超声波设备容易受环境干扰而发生误报，激光雷达无法在低温冷库等具有挑战性的环境中完成防撞工作。

技术实现思路

0、
技术实现要素：

1、本发明的目的就是解决现有技术中的问题，提出一种基于深度学习的单目视觉防撞方法，能够提高图像处理精度，准确判断仓库货架中是否有人或者障碍物，提高堆垛机运行的安全性。

2、为实现上述目的，本发明提出了一种基于深度学习的单目视觉防撞方法，包括以下步骤：

3、s1.通过堆垛机上的摄像头自动采集图像数据；

4、s2.通过预训练模型对自动采集的图像进行特征编码提取，保留一张在特征编码之间距离相近的图像作为训练图像；

5、s3.对于自动采集的训练图像使用半监督模型进行训练和标注，形成一个自动增长自动标注的数据集；

6、s4.基于步骤s3得到的数据集经过数据增强后，选用轻量化的神经网络进行改进，并对神经网络嵌入高效的注意力机制，通过深度学习训练获得最优的单目视觉神经网络；

7、s5.将步骤s4得到的单目视觉神经网络的架构部署到堆垛机的端到端控制系统中。

8、作为优选，步骤s1中，通过架设在堆垛机载物台上的监控摄像头，使用图像自动采集程序实时收集堆垛机和货架状态的图像。

9、作为优选，步骤s2中，使用基于公开图像数据集预训练的模型对自动采集的图像提取特征编码，然后基于图像的特征编码，使用欧氏距离对图像数据集进行聚类，聚类距离的选取是基于该预训练模型对于相似图像进行特征距离计算所得的结果，在同一类别中对在特征距离上接近的图像去重，保留一个图像；使用灰度扩展技术和流动网格混合技术对图像数据集进行增强，扩大数据集的容量。

10、作为优选，步骤s2中，通过基于公开图像数据集的预训练模型进行改造，剪去预训练模型的分类层神经网络，只保留到对每个通道的特征图进行池化操作的全局平均池化层，使用全局平均池化的结果作为该图像的特征编码。

11、作为优选，通过计算特征向量之间的距离来推断图像之间的相似程度，通过使用欧氏距离将每张图像的特征向量与它后面的特征向量进行计算，得到了一个距离矩阵，在图像去重时，保留距离相近的矩阵中的一张图像，判断距离接近的阈值为使用预训练模型对相似的样本图像进行特征距离计算的最大值。

12、作为优选，使用经典的线性投影方法：αr+βg+γb(α+β+γ＝1)，将三个通道的二维数组融合生成一个新的二维数组，通过重复堆叠成三通道，生成一个灰度图像。

13、作为优选，步骤s3中，在初期人工对收集的图像进行标注，在后期则通过半监督模型对新增的数据集进行标注，人工只需要对标注错误的图像进行重新标注。

14、作为优选，步骤s4中，选用轻量化的神经网络进行改进的具体方法为：基于卷积神经网络优化卷积操作，使用可分离卷积结构减少卷积所需的参数量和计算量；通过改造预训练模型的分类层结构，使神经网络输出堆垛机视觉防撞所需的类别信息。

15、作为优选，步骤s4中，对神经网络嵌入高效的注意力机制的方法包括以下步骤：

16、s4.1通道注意力机制：针对输入特征图的每个通道分别进行最大池化和平均池化操作获得两个一维向量，将这两个一维向量转置并堆叠后使用一维卷积操作，所获得的向量为通道注意力向量，该通道注意力向量通过与输入特征图逐元素乘积得到经过通道注意力处理的特征图；

17、s4.2空间注意力机制：针对输入特征图的不同通道的相同位置进行最大池化和平均池化操作获得两个二维矩阵，将这两个矩阵堆叠后使用二维卷积操作，所获得的矩阵为空间注意力矩阵，同样经过逐元素乘积得到经过空间注意力处理的特征图；

18、s4.3将通道注意力机制和空间注意力机制进行排列组合，分别获得通道优先、空间优先和平行分支三种注意力机制的结构；

19、s4.4将三种注意力机制的结构分别嵌入到卷积神经网络中，使得卷积神经网络能够同时获得通道和空间的重点关注区域。

20、作为优选，为了防止注意力的盲区扩散效应，在三种注意力机制的结构中增加残差分支，将输入特征图与经过通道注意力、空间注意力处理后的特征图逐元素相加，使得后续神经网络能够获得更全面的特征信息。

21、本发明的有益效果：本发明通过架设在堆垛机上的摄像头进行自动数据采集，通过预训练模型进行特征编码提取，保留一张在特征编码之间距离相近的图像作为训练图像。对于自动采集的训练图像使用半监督模型进行训练和标注，形成一个自动增长自动标注的数据集。经过对该数据集进行数据增强后，选用轻量化的神经网络的改进并嵌入高效的注意力机制，通过深度学习训练获得最优的单目视觉神经网络，其网络架构能够嵌入到堆垛机单目视觉防撞的端到端控制系统中。本发明能够以低成本和高效的方式完成目标货位的状态判断。相较于光电检测开关，能够检测更全面的货位状态。此外，相较于超声波和雷达设备，能够在更大范围的极端环境和干扰的情况下完成防撞工作。本发明更多地依赖训练图像数据集而不是监控摄像头设备，因此能够获得更广泛的设备兼容性。此外，摄像头属被动传感器，相较于主动发射检测信号的设备能实现更低的延迟时间，提高控制系统的反应速度，提高堆垛机的运行安全性。

22、本发明的特征及优点将通过实施例结合附图进行详细说明。

技术特征：

1.一种基于深度学习的单目视觉防撞方法，其特征在于：包括以下步骤：

2.如权利要求1所述的一种基于深度学习的单目视觉防撞方法，其特征在于：步骤s1中，通过架设在堆垛机载物台上的监控摄像头，使用图像自动采集程序实时收集堆垛机和货架状态的图像。

3.如权利要求1所述的一种基于深度学习的单目视觉防撞方法，其特征在于：步骤s2中，使用基于公开图像数据集预训练的模型对自动采集的图像提取特征编码，然后基于图像的特征编码，使用欧氏距离对图像数据集进行聚类，聚类距离的选取是基于该预训练模型对于相似图像进行特征距离计算所得的结果，在同一类别中对在特征距离上接近的图像去重，保留一个图像；使用灰度扩展技术和流动网格混合技术对图像数据集进行增强，扩大数据集的容量。

4.如权利要求1或3所述的一种基于深度学习的单目视觉防撞方法，其特征在于：步骤s2中，通过基于公开图像数据集的预训练模型进行改造，剪去预训练模型的分类层神经网络，只保留到对每个通道的特征图进行池化操作的全局平均池化层，使用全局平均池化的结果作为该图像的特征编码。

5.如权利要求3所述的一种基于深度学习的单目视觉防撞方法，其特征在于：通过计算特征向量之间的距离来推断图像之间的相似程度，通过使用欧氏距离将每张图像的特征向量与它后面的特征向量进行计算，得到了一个距离矩阵，在图像去重时，保留距离相近的矩阵中的一张图像，判断距离接近的阈值为使用预训练模型对相似的样本图像进行特征距离计算的最大值。

6.如权利要求3所述的一种基于深度学习的单目视觉防撞方法，其特征在于：使用经典的线性投影方法：αr+βg+γb(α+β+γ＝1)，将三个通道的二维数组融合生成一个新的二维数组，通过重复堆叠成三通道，生成一个灰度图像。

7.如权利要求1所述的一种基于深度学习的单目视觉防撞方法，其特征在于：步骤s3中，在初期人工对收集的图像进行标注，在后期则通过半监督模型对新增的数据集进行标注，人工只需要对标注错误的图像进行重新标注。

8.如权利要求1所述的一种基于深度学习的单目视觉防撞方法，其特征在于：步骤s4中，选用轻量化的神经网络进行改进的具体方法为：基于卷积神经网络优化卷积操作，使用可分离卷积结构减少卷积所需的参数量和计算量；通过改造预训练模型的分类层结构，使神经网络输出堆垛机视觉防撞所需的类别信息。

9.如权利要求1或8所述的一种基于深度学习的单目视觉防撞方法，其特征在于：步骤s4中，对神经网络嵌入高效的注意力机制的方法包括以下步骤：

10.如权利要求9所述的一种基于深度学习的单目视觉防撞方法，其特征在于：在三种注意力机制的结构中增加残差分支，将输入特征图与经过通道注意力、空间注意力处理后的特征图逐元素相加，使得后续神经网络获得更全面的特征信息。

技术总结
本发明提出了一种基于深度学习的单目视觉防撞方法，包括以下步骤：S1.通过堆垛机上的摄像头自动采集图像数据；S2.通过预训练模型对自动采集的图像进行特征编码提取，保留一张在特征编码之间距离相近的图像作为训练图像；S3.对于自动采集的训练图像使用半监督模型进行训练和标注，形成一个自动增长自动标注的数据集；S4.基于S3得到的数据集经过数据增强后，选用轻量化的神经网络进行改进，并对神经网络嵌入高效的注意力机制，通过深度学习训练获得最优的单目视觉神经网络；S5.将S4得到的单目视觉神经网络的架构部署到堆垛机的端到端控制系统中。该方法可准确判断仓库货架中是否有人或者障碍物，实现了堆垛机的高效、安全、低成本的防撞功能。

技术研发人员：蒋云良,鲁凯琳,杨珍,张浩宇,张雄涛
受保护的技术使用者：湖州师范学院
技术研发日：
技术公布日：2024/8/16