一种车位框检测方法、装置、设备及可读存储介质与流程

本申请涉及物联网领域，特别涉及一种车位框检测方法、装置、设备及可读存储介质。

背景技术：

近年来，我国汽车的人均持有量在逐年上升，而停车位资源有限，随之而来是停车难问题，主要表现为车位难求、停车位资源利用不均衡等问题。因此对车位进行实时监控，对于提高车场管理、路边停车监控、停车诱导、提高停车位利用效率等具有重要意义。

在对车位进行自动管理过程中，停车为检测属于其中的重要步骤。目前常用的停车位检测方法主要分为侵入式检测和非侵入式检测。侵入式检测主要通过感应线圈、微波检测车位状态等，非侵入式检测主要是通过视频图像处理、雷达图像处理、被动红外等。其中基于传感器和埋线方式的侵入式车位检测方法，其施工相对复杂且容易受多种因素干扰，准确度不稳定，缺乏安全性；而基于图像的非侵入式车位检测方法往往受到光线不足、车位地面背景差异、车位遮挡、地面污渍干扰等问题，传统的检测方法很难处理上述问题。

技术实现要素：

本申请的目的是提供一种车位框检测方法，该方法可以实现高精准度的车位框检测，提升了检测的准确率；本申请的另一目的是提供一种车位框检测装置、设备及可读存储介质。

为解决上述技术问题，本申请提供一种车位框检测方法，包括：

获取停车区域图像；

通过语义分割网络对所述停车区域图像进行车位框区域初始检测，得到初始定位图像；

通过多点回归网络对所述初始定位图像进行精确定位，得到精准定位框线，并将所述精准定位框线作为待输出的车位框线。

可选地，在通过多点回归网络对所述初始定位图像进行精确定位之前，还包括：

对所述初始定位图像进行形态学后处理，得到优化图像；

其中，所述形态学后处理包括：去除所述初始定位图像中小区域的斑点，和/或，连接所述初始定位图像中隔断的车位区域，和/或，去除所述初始定位图像中虚检；

则相应地，通过多点回归网络对所述初始定位图像进行精确定位，包括：通过多点回归网络对所述优化图像进行精确定位。

可选地，在通过多点回归网络对所述初始定位图像进行精确定位之前，还包括：

按照预设图像外扩比例对初始定位图像进行区域外扩，得到外扩图像；

则相应地，通过多点回归网络对所述初始定位图像进行精确定位，包括：通过多点回归网络对所述外扩图像进行精确定位。

可选地，所述按照预设图像外扩比例对初始定位图像进行区域外扩，包括：

确定所述初始定位图像中分割的车位框区域的最小包围框；

将所述包围框的上下边界外扩高度的0.05倍，左右边界外扩宽度的0.1倍，得到新包围框；

根据所述新包围框进行图像截取，并将截取得到的图像作为所述外扩图像。

可选地，所述多点回归网络为：以4个顶点为基础，在车位框长边为22个线性点，短边为10个线性点作为回归点的多点回归网络。

可选地，所述获取停车区域图像，包括：

获取停车场监控摄像机拍摄的车位图片；

对所述车位图片进行格式预处理，将预处理后的图像作为所述停车区域图像。

可选地，所述通过多点回归网络对所述初始定位图像进行精确定位，包括：

通过多点回归网络提取图像特征进行回归，得到透视变换系数；

将标准车位框按照所述透视变换系数进行透视变换处理，得到车位框多点位置坐标；

根据所述车位框多点位置坐标生成车位框线。

本申请公开一种车位框检测装置，包括：

图像获取单元，用于获取停车区域图像；

语义分割单元，用于通过语义分割网络对所述停车区域图像进行车位框区域初始检测，得到初始定位图像；

多点回归单元，用于通过多点回归网络对所述初始定位图像进行精确定位，得到精准定位框线，并将所述精准定位框线作为待输出的车位框线。

本申请公开一种车位框检测设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序时实现所述车位框检测方法的步骤。

本申请公开一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述车位框检测方法的步骤。

本申请所提供的车位框检测方法，包括：获取停车区域图像；通过语义分割网络对停车区域图像进行车位框区域初始检测，得到初始定位图像；通过多点回归网络对初始定位图像进行精确定位，得到精准定位框线，并将精准定位框线作为待输出的车位框线。该方法基于深度学习实现车位框检测，避免了侵入式检测带来的设备安装以及维护成本，同时该方法通过语义分割网络预测进行无关背景剔除，提取车位框的大致区域，得到二值化的车位区域，简化回归任务，有效避免光照不足、行人、杂物遮挡等影响，又进一步通过多点回归网络对初始定位图像进行精确定位，通过多点回归网络增加了对车位形状的拟合能力，可以实现高精准度的车位框检测，提升了检测的准确率。

本申请还公开了一种车位框检测装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种车位框检测方法的流程图；

图2为本申请实施例提供的一种停车区域示意图；

图3为本申请实施例提供的另一种停车区域示意图；

图4为本申请实施例提供的一种语义分割网络分割结果示意图；

图5为本申请实施例提供的一种提取的车位框区域示意图；

图6为本申请实施例提供的另一种语义分割网络分割结果示意图；

图7为本申请实施例提供的另一种提取的车位框区域示意图；

图8为本申请实施例提供的一种对称网络结构示意图；

图9为本申请实施例提供的一种标注样本示意图；

图10为本申请实施例提供的另一种标注样本示意图；

图11为本申请实施例提供的一种多点标注示意图；

图12为本申请实施例提供的另一种多点标注示意图；

图13为本申请实施例提供的一种基于多点回归网络进行车位框预测过程示意图；

图14为本申请实施例提供的一种车位框检测装置的结构框图；

图15为本申请实施例提供的一种车位框检测设备的结构框图；

图16为本申请实施例提供的一种车位框检测设备的结构示意图。

具体实施方式

本申请的核心是提供一种车位框检测方法，该方法装置简单，能够有效避免光照不足、行人、杂物遮挡等影响，具有较高准确率；本申请的另一核心是提供一种车位框检测装置、设备及可读存储介质。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提出了一种车位框检测方法，适用于但不限于室内停车场、路边停车应用场景。请参考图1，图1为本实施例提供的车位框检测方法的流程图；该方法主要包括：

步骤s110、获取停车区域图像；

停车区域图像指包含车位框的停车区域图像，本实施例中对图像来源不做限定，可以关联实时采集的摄像头进行图像获取，也可以接收历史图像进行车位框检测。可选地，一种获取停车区域图像的过程具体包括以下步骤：

获取停车场监控摄像机拍摄的车位图片；

对车位图片进行格式预处理，将预处理后的图像作为停车区域图像。

本实施例中提供的上述通车区域图像获取方法，可以直接关联停车场监控摄像机直接进行车位框的实时监测，可以提升实时车位框检测效率。//其中，预处理的过程大体可以包括图像大小以及像素值的调整，图像统一尺寸，比如resize到320*160，方便对于不同大小的图像的统一精准分析；像素值的归一化处理，方便不同像素值的图像的统一精准分析，比如图像像素除以255归一化到0-1之间，本实施例中仅以上述预处理手段为例进行介绍，当然，如果获取的原始图片为统一格式、统一大小、统一像素值、统一拍摄角度等时，也可以直接将获取的车位图像进行车位框的检测，在此不做限定。

步骤s120、通过语义分割网络对停车区域图像进行车位框区域初始检测，得到初始定位图像；

初始定位图像为经过语义分割网络分割的车位框区域。本实施例中通过语义分割网络预测得到二值化的车位区域，剔除背景，提取车位框的大致区域，简化回归任务。

如图2和图3所示为两个停车区域图像，经过语义分割网络模型进行车位框初始检测后，图2对应的语义分割网络分割结果如图4所示，对应提取的车位框区域(即得到的初始定位图像)如图5所示，图3对应的语义分割网络分割结果如图6所示，对应提取的车位框区域(即得到的初始定位图像)如图7所示，可以发现经过语义分割网络可以实现无关背景区域的去除，以及车位框的粗略定位。

需要说明的是，本实施例中调用的语义分割网络结构不做限定，可以参照传统图像分割方法中的结构设置，图8所示为一种对称网络结构示意图，本实施例中仅以上述网络结构为例，其它网络结构在此不再赘述，可以根据实际图像分割需要进行网络结构的相应调整。另外，该语义分割网络基于已标注车位框的停车场车位图像训练得到，本实施例中对网络的训练过程不做限定，可以参照传统网络模型的训练过程。

为加深理解，本实施例中介绍一种网络模型的训练过程，具体如下：根据停车场监控摄像机拍摄的目标图像，搜集2789张不同场景的停车场车位图片(图片个数不做限定)，并标注其中车位框位置。制作标注时，掩模大小能完全包括车位框即可(如图9中两车右侧标注以及图10中两车之间标注所示)，即语义分割网络的职能为实现车位框区域的粗略定位，设置所需的车位框的训练集与测试集，并标注目标区域及标签。使用训练样本及标签优化语义分割网络权重参数，获得最优分割模型。则后续即可调用该最优分割模型进行车位框的初始检测。

经过语义分割网络为车位框区域的检测，可以得到排除大量背景区域图像的车位框初始定位图像，可以将得到的初始定位图像直接输入至多点回归网络进行车位框的精准定位，而由于场景中光线、噪声、地面污迹等干扰，通过语义分割网络预测得到二值化的车位区域容易出现分割不连续，存在空洞等问题，为避免上述情况对多点回归时模糊定位，影响定位精度的情况，优选地，在通过多点回归网络对初始定位图像进行精确定位之前，可以进一步对初始定位图像进行形态学后处理，得到优化图像。

为了消除分割错误的区域，通过形态学的膨胀、腐蚀操作去除小区域的斑点；连接隔断的车位区域；考虑到车位框一般在图像中尺寸较大，可以通过区域最小包围框的尺寸及长宽比限制等方式进一步去除部分虚检。图像优化处理可以包括：去除初始定位图像中小区域的斑点，连接初始定位图像中隔断的车位区域，去除初始定位图像中虚检，可以选取其中的一种或若干种，也可以进一步添加其它的形态学后处理手段，在此不做限定，本实施例中仅以上述形态学后处理手段为例进行介绍。

由于在通过语义分割网络对停车区域图像进行车位框区域初始检测时可能会截掉某些车位框区域，被截掉的车位框区域将无法体现在后续车位检测中，影响车位框检测的精度，因此，优选地，可以对没有检测到的车位框区域进行适当外扩，以提升车位框检测的精度。本实施例中对具体的外扩比例不做限定，具体地，按照预设图像外扩比例对初始定位图像进行区域外扩具体可以包括：确定初始定位图像中分割的车位框区域的最小包围框；将包围框的上下边界外扩高度的0.05倍，左右边界外扩宽度的0.1倍，得到新包围框；根据新包围框进行图像截取，并将截取得到的车位框区域rgb图像，送入多点回归网络中。

需要说明的是，本步骤中介绍的两种图像处理手段(形态学后处理以及图像外扩)可以不执行，可以选择其中的一种执行，也可以均执行，当均执行时，执行先后顺序不做限定。需要说明的是，后端图像处理方式在前端网络训练的过程中也许相应设置，比如在初始检测后进行形态学后处理再进行精准检测时，在多点回归网络的训练过程中也应尽量保持相应的执行顺序，以保证最优的图像检测效果。

步骤s130、通过多点回归网络对初始定位图像进行精确定位，得到精准定位框线，并将精准定位框线作为待输出的车位框线。

多点回归网络可以实现对车位框线的精准检测，为了获得多种安装角度下的车位形状，增加多点回归网络对车位形状的拟合能力。

本实施例中调用的多点回归网络模型的网络结构在此也不做限定，可以根据传统方法中网络结构进行设置，考虑到一般车位框均为四边形，由于拍摄角度问题图像中呈现的车位框线为不规则四边形，而仅考虑四个顶点的回归容易出现较大误差，所以本专利采用多点方式回归车位线。优选地，多点回归网络具体为：以4个顶点为基础，在车位框长边为22个线性点，短边为10个线性点作为回归点的多点回归网络。以四个顶点为基础，在车位框长边线性生成22个点，短边生成10个点，共68个点作为回归点，得到的多点标注示意图如图11及图12所示，该种多点标注可以在保证精准度的同时避免过多计算量。

一般深度学习特征点预测方式为直接进行多点的位置坐标回归，可能会出现个别特征点误差较大的情况，为避免该种情况对检测带来的误差，可选地，通过多点回归网络对初始定位图像进行精确定位的过程具体可以包括以下步骤：

步骤s131、通过多点回归网络提取图像特征进行回归，得到透视变换系数；

步骤s132、将标准车位框按照透视变换系数进行透视变换处理，得到车位框多点位置坐标；

步骤s133、根据车位框多点位置坐标生成车位框线。

以将图像中车位视为由规则的矩形经过透视变换后得到不规则四边形，基于上述分析我们采用通过回归透视变换矩阵与缩放系数的方式进行多点回归，该方式增强了多点之间的关联性。其中，一种依照上述方式进行多点回归定位的cnn网络结构参数如下表所示，需要说明的是，本实施例中仅以上述网络结构参数为例进行介绍，其它基于本申请的结构参数设置均可参照下表，在此不再赘述。

表中filters、kernel、stride分别表示卷积层的卷积核个数、尺寸及卷积核滑动步长，output表示卷积层输出特征图尺寸。

图13显示了一种基于上面的多点回归网络进行车位框预测过程示意图，首先将车位区域图像resize到64*64，通过cnn提取图像特征进行回归得到平移、透视变换系数与缩放系数，然后将标准车位框(尺寸为64*128)通过平移、旋转、缩放等透视变换即可得到最终的车位框多点位置坐标。则相应地，采用上述过程进行多点回归预测前，在多点回归网络训练时，训练样本需要进行预处理，包括图像resize到64*64，统一尺寸，且图像像素除以255归一化到0-1之间，另外还需要在语义分割网络粗定位的车位框区域图像的基础上标注车位线的四个顶点。

使用上述多点回归模型对待处理车位框区域进行预测，即可得到精确的车位框线定位，实现车位框的精准检测。

基于上述介绍，本实施例提供的车位框检测方法，基于深度学习实现车位框检测，避免了侵入式检测带来的设备安装以及维护成本，同时该方法通过语义分割网络预测进行无关背景剔除，提取车位框的大致区域，得到二值化的车位区域，简化回归任务，有效避免光照不足、行人、杂物遮挡等影响，又进一步通过多点回归网络对初始定位图像进行精确定位，通过多点回归网络增加了对车位形状的拟合能力，可以实现高精准度的车位框检测，提升了检测的准确率。

为加深对上述实施例中介绍的车位框检测方法中的具体实现流程的理解，本实施例中介绍一种基于上述实施例中车位框检测流程的介绍，其它基于上述实施例的车位框检测均可参照本实施例的介绍，在此不再赘述。具体包括以下过程：

1、采集现场图像，制作训练集及测试集。

标注方式如上述实施例所示，在此不再赘述。

语义分割网络数据集，主要是标注掩模完全覆盖车位区域，作为将掩模作为label(标签)。

多点回归网络数据集标注，首先标记车位四个顶点，然后在四边均匀产生68个点。考虑到实际场景中由于摄像机安装位置不同，车位框呈现在图像中形状各异。为了获得多种安装角度下的车位形状，增加多点回归网络对车位形状的拟合能力，对训练集每张数据进行透视变换处理，每个图像生成6张不同透视角度的旋转图像，作为增强训练集。

2、基于样本数据进行语义分割网络训练。

将增强训练集送入语义分割网络中，预测得到车位区域，与标注label计算softmaxloss，通过反向传播调整网络卷积层参数。

3、基于样本数据进行多点回归网络训练。

用于多点回归的数据集来自语义分割网络的预测结果。增强训练集通过语义分割网络得到预测车位区域，然后将该区域的上下边界外扩高度0.05倍，左右边界外扩宽度的0.1倍，将得到的结果作为大致的车位框区域图像，然后送入多点回归网络进行训练。多点回归预测出透视变换参数后，将标注车位框经过透视变换得到车位框线点坐标，与标注点坐标计算euclideanloss，通过反向传播调整网络卷积层参数。

4、车位框预测。

将待检测图像通过语义分割网络预测出车位大致区域，然后通过形态学操作，去除小区域的斑点，连接隔断的车位区域。再将该车位区域外扩后，通过多点回归网络预测透视变换参数，最后将标准车位框经过透视变换得到最终的车位框线点的位置。

本实施例介绍的基于深度学习的车位框检测过程中，通过语义分割网络实现车位框区域粗定位，使用多点回归的网络实现精确的车位线定位，多点回归网络中使用预测透视变换参数实现车位框形状回归。该实现过程采用的装置简单，且能够有效避免光照不足、行人、杂物遮挡等影响，具有较高准确率。

请参考图14，图14为本实施例提供的车位框检测装置的结构框图；该装置可以包括：图像获取单元210、语义分割单元220以及多点回归单元230。本实施例提供的车位框检测装置可与上述实施例中介绍的车位框检测方法相互对照。

其中，图像获取单元210主要用于获取停车区域图像；

语义分割单元220主要用于通过语义分割网络对停车区域图像进行车位框区域初始检测，得到初始定位图像；

多点回归单元230主要用于通过多点回归网络对初始定位图像进行精确定位，得到精准定位框线，并将精准定位框线作为待输出的车位框线。

本实施例提供的车位框检测装置结构简单，且能够有效避免光照不足、行人、杂物遮挡等影响，具有较高准确率

请参考图15，图15为本实施例提供的车位框检测设备的结构框图；该设备可以包括：存储器300以及处理器310。车位框检测设备可参照上述车位框检测方法的介绍。

其中，存储器300主要用于存储程序；

处理器310主要用于执行程序时实现上述车位框检测方法的步骤。

请参考图16，为本实施例提供的车位框检测设备的结构示意图，该车位框检测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，cpu)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在车位框检测设备301上执行存储介质330中的一系列指令操作。

车位框检测设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等等。

上面图1所描述的车位框检测方法中的步骤可以由本实施例介绍的车位框检测设备的结构实现。

本实施例公开了一种可读存储介质，可读存储介质上存储有程序，程序被处理器执行时实现车位框检测方法的步骤，其中，车位框检测方法可参照图1对应的实施例，在此不再赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的车位框检测方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。