一种基于人眼感知模型的路面抛洒物检测方法与流程

本发明涉及路面抛洒物检测，具体为一种基于人眼感知模型的路面抛洒物检测方法。

背景技术：

1、近年来，随着我国道路交通的日益发达，交通中路面抛洒物的威胁日益严重。特别是在山地路段、隧道等情况下，由于落石、树木等遗留在路面上，可能导致严重的交通安全问题。此外，随着交通运输量的激增，由于装运不严格等因素，货运车辆特别是砂土车、垃圾清运车辆等可能导致装载的货物、垃圾、土石等掉落到路面，从而对路面运行安全造成严重威胁。此外，由于车辆和车辆、车辆和道路基础设施的剐蹭，也可能导致车辆配件、道路设施掉落到路面上。这些路面抛洒物都对交通安全产生了严重的影响。因此，交通管理、路桥等管理部门和公司都对道路抛洒物检测存在巨大需求。同时，道路养护、清洁和管理的智能化也是智慧交通建设的一个重要组成部分，有助于开展路容、路貌建设，提升养护工作效能，也是社会发展的时代需要。有效降低道路、交通管理成本。

2、路面抛洒物检测本质上可以被看作是一种目标识别技术，但是和目前的目标识别技术又存在区别。首先，抛洒物检测的抛洒物的类型、形状、尺寸可能是不规范的，而目前的目标检测算法往往只能检测给定的类型，例如动物、人、车辆等，因为抛洒物没有确定的类型、形状和尺寸，因此无法利用目前被广泛使用的基于正样本训练、学习的人工智能模型。其次，在道路上出现抛洒物的原因很多，例如前文所提到的落石、剐蹭、掉落、人为丢弃等，这些也使得无法使用人工方式加以长时间监控，更由于无法采用正样本训练，因此无法采用目前目标识别常用的有监督的识别方式。更无法在工作中利用人工监督的模式加以处理。第三，在道路上除了抛洒物外，大量的车辆、人员、非机动车甚至道路基础设施是更加常见的物体，在目标识别中反而需要将此类物体剔除掉，以避免误报对方法实用性的干扰。最后，在交通实际环境中，算法还需要能够在摄像机等边缘设备上运行，能够相对简单易用，计算复杂度不能过高。

3、以上的几点要求使得目前以r-cnn或者其它r-cnn改进型以及yolo、ssd为代表的目标识别算法无法在抛洒物检测方面工作。此外，从纯粹方法层面，本发明的方法和目前存在的目标识别算法也存在本质差异。其中r-cnn及其改进型算法先求取目标的大概位置，然后对目标位置进行调整，获取准确目标位置，因此是一种两级方法(two-stage method)。而yolo、ssd等目标识别算法是利用深度学习技术的一级方法(one-stage method)直接找出图像中的给定物体，例如猫、狗、自行车等。本发明采用的方法和以上方法的原理均存在不同。本方法是利用仿真人眼视觉细胞，通过基于深度学习的神经元网络计算出人眼的感兴趣点阵，过滤掉其中的不感兴趣点阵，然后在基于感兴趣点阵的分布计算出目标的位置，之后还需要利用现有的目标识别技术过滤掉那些我们确定不感兴趣的物体，如车辆、行人、非机动车、道路设施等。从而实现出无监督的抛洒物检测算法，从而实现对路面上任意种类、形状、尺寸的抛洒物的识别。此外，前述目标检测方法一般需要检测出目标的种类，例如猫、狗、自行车等，本发明的方法仅仅需要检测出路面上存在抛洒物，以及抛洒物的位置，并不涉及对抛洒物种类本身的识别，这也导致本发明的方法和这些目标检测算法存在本质差异。

技术实现思路

1、鉴于上述和/或现有一种基于人眼感知模型的路面抛洒物检测方法中存在的问题，提出了本发明。

2、因此，本发明的目的是提供一种基于人眼感知模型的路面抛洒物检测方法，能够解决上述提出现有的问题。

3、为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

4、一种基于人眼感知模型的路面抛洒物检测方法，其包括具体步骤如下：

5、步骤一：通过采集模块采集场景图像；

6、步骤二：将获取的场景图像输送至视细胞构造模块中进行处理，将图像中的点阵转换成视锥细胞和视杆细胞所对应的感知输入，以作为整体基于深度学习的感知网络的输入层；

7、步骤三：将转换完成后的感知输入通过深度学习神经网络构成的视细胞感光模块进行处理，形成视细胞的感光值；

8、步骤四：视细胞的内部感光值传递到本步骤的视觉感知确认模块，形成和输入图像点阵对应的逐点阵的感知值，也就是在视觉感知中，整个图像中那些部分的点阵是视觉上更加值得注意的部分，需要注意的是，输出的图像尺寸可以小于输入的图像尺寸，但需要遵循一定缩放比例；

9、步骤五：物体定位模块综合获取步骤四的视觉感知确认模块提供的感知值作为正信息，和独立步骤提供的已知物体的位置区域作为负信息，即此类区域的感知值需要被清除，综合后获得抛洒物的位置。

10、作为本发明所述的一种基于人眼感知模型的路面抛洒物检测方法的一种优选方案，其中：采用一种用于对路面抛洒物进行检测的检测系统，所述检测系统包括：

11、采集模块，用于对场景图像进行采集；

12、视细胞构造模块，用于将图像中的点阵转换成视锥细胞和视杆细胞所对应的感知输入，以作为整体基于深度学习的感知网络的输入层；

13、视细胞感光模块，用于将转换完成后的感知输入通过深度学习的神经元网络形成感光值；

14、视觉感知确认模块，用于形成和输入图像点阵对应的逐点阵的感知值；

15、常见物体识别模块，用于对图像中交通场景下的常见物体进行识别，找出这些物体所对应的位置区域；

16、物体定位模块，综合获取视觉感知确认模块提供的感知值作为正信息和常见物体识别模块提供的已知物体的位置区域作为负信息，综合后获得抛洒物的位置；

17、所述采集模块与所述视细胞构造模块相连接，所述采集模块与所述常见物体识别模块相连接，所述视细胞构造模块与所述视细胞感光模块相连接，所述视细胞感光模块与所述视觉感知确认模块相连接，所述视觉感知确认模块与所述物体定位模块相连接，所述常见物体识别模块与所述物体定位模块相连接。

18、作为本发明所述的一种基于人眼感知模型的路面抛洒物检测方法的一种优选方案，其中：所述视细胞构造模块的工作方式是：将输入图像按点阵构成rgb(红、绿、蓝)三色的三通道卷积层作为仿视锥细胞的输入，将图像点阵做yuv解码后将其中的y分量构成的单通道卷积层作为仿视杆细胞的输入。

19、作为本发明所述的一种基于人眼感知模型的路面抛洒物检测方法的一种优选方案，其中：所述视细胞感光模块的工作方式是：视锥细胞和视杆细胞之后各连接一个多层的卷积神经网络，这两个卷积神经网络均采用多层感知器卷积层结构，这两个卷积神经网络是并行的，分别令视锥细胞后的感知网络为cone网络，称为gcone，令视杆细胞的感知网络为rod网络，称为grod，通过卷积神经网络的计算，可以得到一个k维的输出，即k维的感光度，这个维度可以和输入的图像点阵数相同，也可以按比例缩放，具体每个输出维度i的感光度计算为：

20、

21、其中p是输入的视细胞感知值，也就是输入层的图像，对于视锥细胞就是p＝cone，对于视杆细胞就是p＝rod，g为对应的卷积神经网络，对应视锥细胞所连接的神经网络就是gcone，对于视杆细胞所连接的神经网络就是grod，输出s就是归一化后的感光值，因为这是一个纯数学概念，因此也可以理解其物理意义为注意力的分配值，对于视锥细胞的感光值输出命名为scone，对于视杆细胞的感光值输出命名为srod；

22、为了实现无监督的学习机制，计算损失函数时将综合计算两种感光细胞所对应的感光值的交叉熵，交叉熵的计算公式为：

23、

24、上述交叉熵即为损失函数，整个无监督的学习过程就是使得损失函数最小，对于视锥细胞对应的神经网络就是用后馈方式计算：

25、

26、对于视杆细胞对于的神经网络的计算方法类似，只是交换以上公式中的scone和srod。

27、作为本发明所述的一种基于人眼感知模型的路面抛洒物检测方法的一种优选方案，其中：所述视觉感知确认模块是对以上神经网络产生的感光值进行二元分类，也就是在池化层中用激活函数拉开感知度的差异，从以上计算公式可知，通过视细胞感光模块产生的感光值本质上是一个归一化的注意力分配值，即对于图像空间中的每个点阵都存在一定的注意力，因此需要将其投射到：(注意，不注意)的二元空间中，其中注意的部分就是我们可能关注的物体所在区域，由于整个注意力归一化后都在靠近0的范围内起伏，因此深度学习中常用的relu激活函数和sigmod激活函数在此处无法工作，此处使用的激活函数为：

28、

29、其中t是一个通过学习获得的值，其通常为二元分类的阈值，s就是视细胞感光模块获得的感光值，δ为一个校正用的极小量，在刚使用本方法时可以先使用0，之后可以做微调以获得更好的效果。

30、作为本发明所述的一种基于人眼感知模型的路面抛洒物检测方法的一种优选方案，其中：所述物体定位模块利用所述视觉感知确认模块提供的感知值作为正信息，将所述常见物体识别模块提供的已知物体的位置区域作为负信息，即此类区域的感知值被清除为0，综合后获得抛洒物的位置。

31、与现有技术相比：

32、通过采集模块采集常见图像，将获取的场景图像输送至视细胞构造模块中进行处理，将图像中的点阵转换成视锥细胞和视杆细胞所对应的感知输入，以作为整体基于深度学习的感知网络的输入层，将转换完成后的感知输入通过深度学习神经网络构成的视细胞感光模块进行处理，形成视细胞的感光值，视细胞的内部感光值传递到视觉感知确认模块，形成感知值，也就是在视觉感知中，整个图像中那些部分的点阵是视觉上更加值得注意的部分，同时，常见物体识别模块也从采集模块获取场景图像，利用目前主流的物体识别模块对交通中常见的已知的各种物体进行识别，确定这些物体在图像中的位置区域，物体定位模块综合获取视觉感知确认模块和常见物体识别模块所提供的信息，综合后获得抛洒物的位置。

33、本方法不同于现有的各种目标识别技术，可以识别出未知种类、未知尺寸和未知形状的物体，而且通过无监督学习，无需事先获取物体的种类、尺寸和形状，从而提供了一种能够实用的路面抛洒物检测技术。