一种基于区域速度分布的路口违章停车检测系统的制作方法

1.本发明涉及人工智能领域，具体涉及一种基于区域速度分布的路口违章停车检测系统。


背景技术：

2.当今社会汽车使用量的急剧增加，对应的停车位的增长满足不了日常停车需求，尤其是繁华区域和路段，土地资源紧张，停车位少之又少，在此情况下，不少车主将汽车停在了道路的两侧，造成道路狭窄，影响车辆行驶，尤其高峰时段造成交通严重拥堵，甚至会引起车辆刮蹭和碰撞事故，由于执法人员有限，无法24小时稽查违章停车行为，路边违章停车给交通管理带来了很大的障碍。
3.为了满足交通执法需求，行业内出现了多种违章停车检测方法，现阶段的违章停车检测系统大多基于车辆在视频序列中位置信息是否发生变化来判定车辆是否存在违规停车的行为，然而车辆在堵车状态下或者受前方车辆违停的影响，造成车辆在较长一段时间内不会发生位置变化，就会很大程度上造成误判。
4.因此，需要提供一种基于区域速度分布的路沿违章停车检测系统，予以解决上述问题。


技术实现要素：

5.本发明提供一种基于区域速度分布的路口违章停车检测系统，以解决现有的问题。
6.本发明的一种基于区域速度分布的路口违章停车检测系统采用如下技术方案：该系统包括：图像采集模块，用于获取道路图像中车辆的禁停区域，根据车辆经过禁停区域的速度获取禁停区域的车辆速度热图，并获取车辆分布热图；第一参数计算模块，用于根据不同滑窗尺寸的滑窗分别获取车辆速度热图内每个像素点对应的各个滑窗尺寸的滑窗图像，根据各个滑窗尺寸的滑窗图像与其邻域内的滑窗图像的像素点的热度值获取各个滑窗尺寸的滑窗图像对应的热度梯度值；图像处理模块，用于根据各个滑窗尺寸的滑窗图像的热度熵值及对应滑窗尺寸的滑窗图像的热度梯度值计算每个滑窗尺寸的描述值，将最大描述值对应的滑窗尺寸记为最佳滑窗尺寸，根据最佳滑窗尺寸分别获取车辆分布热图和车辆速度热图对应的最佳滑窗图像；第二参数计算模块，分别获取车辆分布热图中每个像素点的最佳滑窗图像与其他滑窗尺寸的滑窗图像在最佳滑窗图像的周围区域的热度差，根据所有热度差计算车辆分布热图的最佳滑窗图像的热度差熵值；第三参数计算模块，用于根据车辆分布热图的每个像素点对应的最佳滑窗图像的热度差熵值、热度均值、最佳滑窗图像与预设尺寸的滑窗图像中超出最佳滑窗图像的外围
区域的热度差值和车辆速度热图中该像素点的最佳滑窗图像的热度梯度值、该像素点的热度值计算禁停区域内每个像素点对应的最佳滑窗图像内车辆的违停概率；违停判断模块，用于利用违停概率对车辆是否发生违停进行判断。
7.优选的，将所述禁停区域进行分区；获取一段时间内该禁停区域中车辆通过每个分区的速度，根据每个分区内相邻时刻之间特征点的位移量和相邻时刻的时间间隔，获得禁停区域内每个分区在所有时刻间的平均速度；根据禁停区域内每个分区在所有时刻间的平均速度获取禁停区域的车辆速度热图。
8.优选的，根据各个滑窗尺寸的滑窗图像与其邻域内的滑窗图像的像素点的热度值获取各个滑窗尺寸的滑窗图像对应的热度梯度值，包括：获取各个滑窗尺寸的滑窗图像与其邻域内的滑窗图像的像素点的热度差值；将每个滑窗尺寸的滑窗图像内所有热度差值的均值作为对应滑窗尺寸的滑窗图像的热度梯度值。
9.优选的，根据各个滑窗尺寸的滑窗图像的热度熵值及对应滑窗尺寸的滑窗图像的热度梯度值计算每个滑窗尺寸的描述值的表达式：式中，表示第个像素点处的第个滑窗尺寸的描述值；表示第个像素点处的第个滑窗尺寸的滑窗图像对应的热度梯度值；表示第个像素点处的第个滑窗尺寸的滑窗图像的热度熵值；表示第个像素点处的第个滑窗尺寸的滑窗图像中第个热度值出现的概率；表示第个像素点处的第个滑窗尺寸的滑窗图像中热度值的种类数。
10.优选的，分别获取车辆分布热图中每个像素点的最佳滑窗图像与其他滑窗尺寸的滑窗图像在最佳滑窗图像的周围区域的热度差，包括：基于最佳滑窗图像的滑窗尺寸设定其他滑窗图像的滑窗尺寸，且其他滑窗图像的滑窗尺寸大于最佳滑窗图像的滑窗尺寸；将车辆分布热图中每个像素点对应的最佳滑窗图像与该像素点对应的每个其他滑窗尺寸的滑窗图像中的热度值进行作差得到对应的差值图像；将该像素点对应的最佳滑窗图像的热度平均值与每个差值图像的热度平均值的差值作为最佳滑窗图像与每个其他滑窗尺寸的滑窗图像在最佳滑窗图像的周围区域的热度差。
11.优选的，根据所有热度差计算车辆分布热图的最佳滑窗图像的热度差熵值，包括：将每个像素点对应的最佳滑窗图像与该像素点对应的每个其他滑窗尺寸的滑窗图像的热度差获取热度差集合；
获取每个热度差在热度差集合中出现的概率；根据所有热度差在热度差集合中出现的概率获取车辆分布热图的最佳滑窗图像的热度差熵值。
12.优选的，计算禁停区域内每个像素点对应的最佳滑窗图像内车辆的违停概率的表达式：式中，表示第个像素点对应的最佳滑窗图像处的车辆违停概率；表示车辆分布热图中第个像素点的最佳滑窗图像的平均热度值；表示车辆分布热图中第个像素的最佳滑窗图像与预设尺寸的滑窗图像中超出最佳滑窗图像的外围区域的热度差值；表示第个像素点对应的最佳滑窗图像与该像素点对应的第个滑窗尺寸的滑窗图像的热度差；表示第个像素点对应的最佳滑窗图像与该像素点对应的第个滑窗尺寸的滑窗图像的热度差在热度差集合中出现的概率；表示车辆速度热图中第个像素点的最佳滑窗图像对应的热度梯度值；表示车辆分布热图中第个像素点的最佳滑窗图像中像素点的热度值；表示防零系数。
13.优选的，利用违停概率对车辆是否发生违停进行判断，包括：设定概率阈值；当禁停区域内每个像素点对应的最佳滑窗图像内车辆的违停概率大于或者等于概率阈值时，则该最佳滑窗图像内的车辆为违停车辆；当禁停区域内每个像素点对应的最佳滑窗图像内车辆的违停概率小于概率阈值时，则该最佳滑窗图像内的车辆为非违停车辆。
14.优选的，获取车辆分布热图，包括：构建dnn神经网络；将违停区域的每帧视频图像作为dnn神经网络的输入，车辆所在区域的遮罩图作为dnn神经网络的输出，并对dnn神经网络训练得到训练好的dnn神经网络；利用训练好的dnn神经网络对违停区域的每帧视频图像进行检测；将所有帧视频图像的遮罩图对应像素相加得到车辆分布热图。
15.本发明的有益效果是：本发明的一种基于区域速度分布的路口违章停车检测系统，通过对道路图像分割、边缘检测并结合交规信息获取车辆的禁停区域，然后基于禁停区域对应的车辆速度热图及车辆分布热图综合对禁停区域的车辆进行判断，即在满足车辆违停速度的条件下，利用车辆的分布热图判断禁停区域内的车辆是堵车情况下的停车，还是违停情况下的停车，从而能够准确检测出禁停区域的违停车辆，进而实现精准执法。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明的一种基于区域速度分布的路口违章停车检测系统的实施例总体步骤的流程图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明的一种基于区域速度分布的路口违章停车检测系统的实施例，本实施例的应用场景为禁停区域内，车辆可能处于堵车状态下或者受前方车辆违停的影响，造成车辆在较长一段时间内不会发生位置变化，影响违停车辆的判断的场景下，如图1所示，该检测系统包括：图像采集模块、第一参数计算模块、第二参数计算模块、图像处理模块、第三参数计算模块及违停判断模块。
20.图像采集模块选用摄像机，采用摄像机获取道路图像中车辆的禁停区域，根据车辆经过禁停区域的速度获取禁停区域的车辆速度热图，并获取车辆分布热图，其中，获取道路图像中车辆的禁停区域的过程，具体的，先采集道路的视频图像，将视频图像中的每帧道路图像利用图像分割算法分割出每帧道路图像中的道路区域，并利用交规信息获得车辆禁停区域。具体的采用如下方法：基于视频图像中的每帧道路图像道路分割算法分割出道路区域，根据边缘检测出道路中间隔离带或边界线，得到同向的道路区域，根据停车位检测等方法识别出道路区域内车辆可停区域，接着将该区域分割出来并排除，将其他区域标注为车辆的禁停区域。
21.具体的，图像采集模块用于根据车辆经过禁停区域的速度获取禁停区域的车辆速度热图时，需要先将图像采集模块获取的禁停区域进行分区，获取一段时间内该禁停区域中车辆通过每个分区的速度，根据每个分区内相邻时刻之间特征点的位移量和相邻时刻的时间间隔，获得禁停区域内每个分区在所有时刻间的平均速度；根据禁停区域内每个分区在所有时刻间的平均速度获取禁停区域的车辆速度热图，其中，为减少计算量，首先将禁停区域划分成个小方格区域，每个小方格区域内只需计算一个速度值获取第个小方格区域的像素坐标集，提取15min的视频图像，采用光流法处理视频图像，获得包含运动信息的光流场，以c帧为间隔筛选出相应的视频帧序列，利用第个小方格区域的像素坐标筛选出时刻该区域内特征点坐标，利用光流场追踪到下一时刻对应特征点的坐标值(，计算相邻时刻内该特征点的位移量，位移量的计算公式为：
第个小方格区域在相邻时刻之间的速度计算方式为：式中，为第个小方格区域在相邻时刻之间的速度；为第个小方格区域相邻时刻间特征点的位移量；为相邻时刻的时间间隔，因此，禁停区域内第个小方格区域内个相邻时刻的平均速度的计算方式为：式中，为第个小方格在个相邻时刻的速度和；为第个小方格区域内所有的相邻时刻数，类比上述计算过程计算禁停区域内其他小方格区域的平均速度。
22.具体的，图像采集模块用于获取车辆分布热图时，构建dnn神经网络；loss函数为均方差损失函数，将违停区域的每帧视频图像作为dnn神经网络的输入，车辆所在区域的遮罩图作为dnn神经网络的输出，遮罩图中车辆区域的像素标注为1，非车辆区域的像素标注为0，并对dnn神经网络训练得到训练好的dnn神经网络；利用训练好的dnn神经网络对违停区域的每帧视频图像进行检测；将所有帧视频图像的遮罩图对应像素相加得到车辆分布热图。
23.第一参数计算模块，用于根据不同滑窗尺寸的滑窗分别获取车辆速度热图内每个像素点对应的各个滑窗尺寸的滑窗图像，根据各个滑窗尺寸的滑窗图像与其邻域内的滑窗图像的像素点的热度值获取各个滑窗尺寸的滑窗图像对应的热度梯度值。
24.具体的，由于车辆违停可能存在多辆车一起违停，由于不知道连续违停车辆的多少，因而利用不同尺寸的滑窗拟合违停、连续违停车辆的区域，通过不同尺寸的滑窗内的图像来分析违停情况，确定最佳的滑窗尺寸大小，根据最佳尺寸的滑窗来判断该滑窗对应像素处存在违停的概率，因此，先设定不同的滑窗尺寸，具体的，本实施例以车位的尺寸设置不同的滑窗尺寸，其中，车位的尺寸为时，则设定滑窗尺寸依次为：、、
……
，然后，利用各个滑窗尺寸的滑窗遍历速度分布热图的各个像素点，获取各像素点在不同滑窗尺寸下的对应的滑窗图像。
25.其中，根据各个滑窗尺寸的滑窗图像与其邻域内的滑窗图像的像素点的热度值获取各个滑窗尺寸的滑窗图像对应的热度梯度值的步骤：获取各个滑窗尺寸的滑窗图像与其邻域内的滑窗图像的像素点的热度差值；将每个滑窗尺寸的滑窗图像内所有热度差值的均值作为对应滑窗尺寸的滑窗图像的热度梯度值。
26.图像处理模块，用于根据各个滑窗尺寸的滑窗图像的热度熵值及对应滑窗尺寸的
滑窗图像的热度梯度值计算每个滑窗尺寸的描述值，将最大描述值对应的滑窗尺寸记为最佳滑窗尺寸，根据最佳滑窗尺寸分别获取车辆分布热图和车辆速度热图对应的最佳滑窗图像。
27.具体的，本实施例根据各个滑窗尺寸的滑窗图像的热度熵值及对应滑窗尺寸的滑窗图像的热度梯度值计算每个滑窗尺寸的描述值，其中，计算每个滑窗尺寸的描述值的公式：式中，表示第个像素点处的第个滑窗尺寸的描述值；表示第个像素点处的第个滑窗尺寸的滑窗图像对应的热度梯度值；表示第个像素点处的第个滑窗尺寸的滑窗图像的热度熵值；表示第个像素点处的第个滑窗尺寸的滑窗图像中第个热度值出现的概率；表示第个像素点处的第个滑窗尺寸的滑窗图像中热度值的种类数；需要说明的，当某一个滑窗图像内均为违停车辆，且该滑窗图像的外部均为运动车辆时，则该滑窗图像内部的热度一致性较高，并且该滑窗图像与相邻滑窗图像的存在较大的热度变化，则确定该像素点对应的滑窗图像的尺寸为最佳尺寸，基于此，本实施例，利用各个滑窗尺寸的滑窗图像对应的热度梯度值作为判断该滑窗图像与相邻滑窗图像的热度变化，热度熵值越大说明该滑窗图像内出现热度值混乱程度越大，故通过各个滑窗尺寸的滑窗图像的对应的热度熵值作为滑窗图像内部的热度一致性的判断标准，综上，根据将热度梯度值与热度熵值的比值作为每个滑窗尺寸的描述值，将描述值作为描述各个滑窗尺寸的效果，描述值越大，则滑窗尺寸的越适合，故将最大描述值对应的滑窗尺寸作为最佳滑窗尺寸。
28.具体的，以最佳滑窗尺寸分别对车辆分布热图和车辆速度热图中的像素点进行遍历获取车辆分布热图和车辆速度热图对应的最佳滑窗图像。
29.第二参数计算模块，用于分别获取车辆分布热图中每个像素点的最佳滑窗图像与其他滑窗尺寸的滑窗图像在最佳滑窗图像的周围区域的热度差，根据所有热度差计算车辆分布热图的最佳滑窗图像的热度差熵值。
30.具体的，在堵车情况下，由于堵车区域在车辆分布热度图上为高热度分布，同时该堵车区域所在的路段上也可能存在大量车辆，因此，需分析该车辆分布热图的每个像素点对应的最佳滑窗图像的周围的车辆分布热度情况，即分别获取车辆分布热图中每个像素点的最佳滑窗图像与其他滑窗尺寸的滑窗图像在最佳滑窗图像的周围区域的热度差的步骤包括：基于最佳滑窗图像的滑窗尺寸设定其他滑窗图像的滑窗尺寸，且其他滑窗图像的滑
窗尺寸大于最佳滑窗图像的滑窗尺寸，当最佳滑窗尺寸为一个车位的尺寸为时，则设定其他滑窗图像的滑窗尺寸可依次为、、
……
，然后将车辆分布热图中每个像素点对应的最佳滑窗图像与该像素点对应的每个其他滑窗尺寸的滑窗图像中的热度值进行作差得到对应的差值图像；将该像素点对应的最佳滑窗图像的热度平均值与每个差值图像的热度平均值的差值作为最佳滑窗图像与每个其他滑窗尺寸的滑窗图像在最佳滑窗图像的周围区域的热度差，其中，本实施例中，用表示第个像素点对应的最佳滑窗图像与该像素点对应的第个滑窗尺寸的滑窗图像的热度差。
31.其中，根据所有热度差计算车辆分布热图的最佳滑窗图像的热度差熵值的过程包括：将每个像素点对应的最佳滑窗图像与该像素点对应的每个其他滑窗尺寸的滑窗图像的热度差获取热度差集合；获取每个热度差在热度差集合中出现的概率；根据所有热度差在热度差集合中出现的概率获取车辆分布热图的最佳滑窗图像的热度差熵值，本实施例中，用表示第个像素点对应的最佳滑窗图像与该像素点对应的第个滑窗尺寸的滑窗图像的热度差在热度差集合中出现的概率，当基于最佳滑窗图像的滑窗尺寸设定的其他滑窗图像的滑窗尺寸为10个时，用表示该最佳滑窗图像的热度差熵值。
32.第三参数计算模块，用于根据车辆分布热图的每个像素点对应的最佳滑窗图像的热度差熵值、热度均值、最佳滑窗图像与预设尺寸的滑窗图像中超出最佳滑窗图像的外围区域的热度差值和车辆速度热图中该像素点的最佳滑窗图像的热度梯度值、该像素点的热度值计算禁停区域内每个像素点对应的最佳滑窗图像内车辆的违停概率。
33.具体的，计算禁停区域内每个像素点对应的最佳滑窗图像内车辆的违停概率的公式：式中，表示第个像素点对应的最佳滑窗图像处的车辆违停概率；表示车辆分布热图中第个像素点的最佳滑窗图像的平均热度值，平均热度值越大说明该最佳滑窗图像内一直停滞有车辆，因而，该区域存在违停的概率大；表示车辆分布热图中第个像素的最佳滑窗图像与预设尺寸的滑窗图像中超出最佳滑窗图像的外围区域的热度差值，其中，中的1表示1个预设尺寸的滑窗图像，当最佳滑窗图像的尺寸为一个车位的尺寸为时，则预设尺寸取，热度差值越大说明第个像素点对应的最佳滑窗图像内存在车辆热度较高，周围存在车辆的热度较低，因而，该最佳滑窗图像违停的概率大；表示第个像素点对应的最佳滑窗图像与该像素点对应的第个滑窗尺寸的滑窗图像的热度差；
表示第个像素点对应的最佳滑窗图像与该像素点对应的第个滑窗尺寸的滑窗图像的热度差在热度差集合中出现的概率；表示车辆速度热图中第个像素点的最佳滑窗图像对应的热度梯度值，热度梯度值越大，则第个像素点的最佳滑窗图像与周围滑窗图像的表征速度的热度差异越大，因而此处存在违停的概率越大；表示车辆分布热图中第个像素点的最佳滑窗图像中像素点的热度值，热度值越小说明第个像素点的最佳滑窗图像处的车辆的速度低，因而，该图像块区域内存在违停的概率较大；表示防零系数，本实施例取经验值1；式中，用表示当基于最佳滑窗图像的滑窗尺寸设定的其他滑窗图像的滑窗尺寸为10个时的车辆分布热图中的第个像素点对应的最佳滑窗图像的热度差熵值，热度差熵值反映第个像素点对应的最佳滑窗图像的热度变化特征，热度差熵值越小，说明第个像素点对应的最佳滑窗图像的热度值与其周围不同滑窗尺寸的滑窗图像的变化小，即在第个像素点对应的最佳滑窗图像的外围车辆热度大，此时，可能存在堵车现象，因而，第个像素点对应的最佳滑窗图像存在违停的概率较小，反之，当第个像素点对应的最佳滑窗图像的热度差熵值越大，则说明该最佳滑窗图像处存在违停的概率越大；需要说明的是，本实施例从车辆的速度，即根据车辆的速度热图来分析违停区域车辆的速度，只有在禁停区域的车辆速度为0的情况下，该禁停区域的车辆才可能是违停车辆，因此，在基于车辆速度为零的条件下，在根据车辆分布热图中每个像素点对应的最佳滑窗图像的热度差熵值、热度均值、最佳滑窗图像与预设尺寸的滑窗图像中超出最佳滑窗图像的外围区域的热度差值来将拥堵车辆和违停车辆区分开，然后在计算车辆的违停概率，故，计算车辆违停概率是一个条件概率，只有在车辆速度为0的情况下，才满足车辆违停的条件。
34.违停判断模块，用于利用违停概率对车辆是否发生违停进行判断，的：设定概率阈值为0.85，当违停概率，该禁停区域内的第个像素点对应的最佳滑窗图像内的车辆为违停车辆；当违停概率，该禁停区域内的第个像素点对应的最佳滑窗图像内的车辆为非违停车辆。
35.当车辆判定为违停车辆时，返回车辆在视频中的位置，并通过透视变换得到车辆的相对位置，进而利用可追踪相机拍摄该车辆的照片，上传至违规档案。
36.综上所述，本发明提供一种基于区域速度分布的路口违章停车检测系统，通过对道路图像分割、边缘检测并结合交规信息获取车辆的禁停区域，然后基于禁停区域对应的车辆速度热图及车辆分布热图综合对禁停区域的车辆进行判断，即在满足车辆违停速度的
条件下，利用车辆的分布热图判断禁停区域内的车辆是堵车情况下的停车，还是违停情况下的停车，从而能够准确检测出禁停区域的违停车辆，进而实现精准执法。
37.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。