基于车辆密度感知的城市可行驶区域CIM信息处理方法与流程

本发明涉及人工智能、智慧城市、cim、计算机视觉技术领域，具体涉及一种基于车辆密度感知的城市可行驶区域cim信息处理方法。

背景技术：

目前道路可行驶区域的检测一般是面向单个车辆，从而实现智慧驾驶。然而，在智慧城市建设中，道路可行驶区域信息的实时更新和共享十分重要，因此，需要一种能够面向城市驾驶者与城市监管者的道路可行驶区域信息获取方法。

形成道路不可行驶区域的主要原因是车流量大、路障。路障包括路锥、隔离墩等。一方面，在现有技术中，没有结合两种情况对可行驶区域进行分析的方法。另一方面，在车流量检测中，一些方法通过关键点检测直接统计车辆数目，其缺点在于统计过程中，对于车辆互相遮挡的情况，造成基于关键点生成的热斑重叠，使统计产生较大误差。现有的道路障碍物的检测中，一些方法通过生成目标包围框检测并分类是否为前景，缺点在于，不能准确定位障碍物的位置且基于anchor所生成的包围框并不能很好的契合目标。

技术实现要素：

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于车辆密度感知的城市可行驶区域cim信息处理方法。

一种基于车辆密度感知的城市可行驶区域cim信息处理方法，该方法包括：

结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型；

将摄像头实时采集的道路子区域图像输入车辆检测编码器、车辆检测解码器进行分析，得到车辆关键点热力图；

对车辆关键点热力图进行基于遗忘系数的热图叠加，得到叠加后的热区分布图；

对热区分布图进行阈值化处理，统计热斑像素点的像素比例，基于比例区间得到拥堵等级；

当拥堵等级大于等于设定阈值时，将该区域划定为不可行驶区域，当拥堵等级小于设定阈值时，进行路障检测，将各子区域采集的图像输入路障检测编码器、路障检测解码器，输出路障关键点热力图以及路障类型；

将路障关键点投影到城市信息模型地面坐标系，根据城市信息模型中存储的路障类型以及路障尺寸生成路障包围框，将相邻路障包围框的相邻边距小于阈值的路障关键点连接，得到路障连续摆放线；

结合城市信息模型中相应路段的道路边沿方向信息，分别计算路障连续摆放线两侧端点与两侧道路边沿的距离得到四个距离数值；若仅存在一个距离数值小于设定阈值，该距离数值对应道路边沿记为第一道路边沿，将路障连续摆放线两侧端点分别垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型；

若存在两个距离数值均小于设定阈值，且该两个距离数值均为与同侧道路边沿的距离，则路障连续摆放线与单侧道路边沿线形成封闭的区域，将该单侧道路边沿记为第一道路边沿，将路障连续摆放线两侧端点垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型；

若存在两个距离数值均小于设定阈值，且该两个距离数值为与不同侧道路边沿的距离，则相应路段不可通行并在城市信息模型中标记为不可通行路段，存储至城市信息模型；

将各个摄像头采集的道路子区域图像投影变换至与城市信息模型地面平行的复合全景平面，对投影变换后的图像进行图像拼接操作，得到完整的城市道路图像，存储至城市信息模型；

结合webgis技术对城市信息模型进行可视化，可视化结果包括城市道路图像图层以及不可行驶区域图层，不可行驶区域图层叠加在城市道路图像图层上。

所述车辆检测编码器对道路子区域图像进行特征提取，输出特征图；

所述车辆中心点检测解码器，对特征图进行卷积解码，输出车辆关键点热力图，车辆关键点热力图中热斑表征车辆关键点位置的置信度。

基于遗忘系数的热图叠加的具体方法为：

x＝αx+(1-α)x′,

其中x为当前帧车辆关键点热力图结果，x′为之前帧累加结果，x为累加计算结果，即热区分布图，(1-α)为遗忘系数。

路障检测编码器对道路子区域图像进行特征提取，输出特征图；

所述路障检测解码器对特征图进行卷积解码，输出路障关键点热力图以及路障类型。

将各个摄像头采集的道路子区域图像投影变换至与城市信息模型地面平行的复合全景平面包括：

根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过svd算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上。

对投影变换后的图像进行图像拼接操作，得到完整的城市道路图像包括：

对投影变换后的待拼接道路子区域图像进行图像校正、噪声抑制；提取待拼接道路子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过ransac方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合车辆拥堵情况进行路障检测并划定不可行驶区域，在车辆不拥堵的时候进行路障检测，不仅路障检测结果更准确，而且避免了不间断路障检测带来的大量能源消耗。

2.本发明基于深度学习技术设计了车辆检测神经网络，并对车辆关键点热力图进行基于时序上的遗忘叠加分析，从而得到道路拥堵情况，相比于传统的实时统计车流量，一方面能从时序上反映一段时间内的车辆通行情况，能解决车辆遮挡导致的精度不高的问题，另一方面基于遗忘系数方法，能够有效防止结果出现大范围震荡。

3.本发明基于深度学习技术，设计了路障检测神经网络，路障检测神经网络检测路障关键点，相比于传统的基于包围框的分析方法，能够得到更加准确的路障位置，而且能够减少城市信息模型中数据存储量。

4.本发明结合城市信息模型技术，构建城市信息模型，能够整合各种城市信息，提高了智慧城市模型信息集成能力。

5.本发明结合构建的城市信息模型，对车辆拥堵检测结果以及路障检测结果进行分析，设计了涵盖不同情况路障摆放的情形，并据此划定不可行驶区域、不可通行道路，并存储至城市信息模型，能够实时得到准确的道路不可行驶区域、不可通行道路。

6.本发明结合城市信息模型技术与webgis技术，将道路子区域图像变换到城市信息模型地面坐标系，经过图像拼接实现道路全景实时成像，在城市信息模型中展示实时的道路图像图层以及不可行驶区域图层，两者复合能够得到更丰富的道路情况信息，不仅方便监管人员监控，而且能够为驾驶者提供外部访问接口，实时获得城市道路情况信息。

附图说明

图1为本发明方法框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于车辆密度感知的城市可行驶区域cim信息处理方法。图1为本发明方法框架图。下面通过具体实施例来进行说明。

实施例1：

在路障检测中，需要考虑车辆拥堵情况，如果车辆拥堵，会存在遮挡路障的情况，此时检测路障的结果必然是不准确的。而在车辆十分拥堵的情况下，该区域也为不可行驶区域，因此，综上考虑，本发明结合车辆拥堵情况来进行实时的路障检测，从而识别城市可行驶区域。

cim即城市信息模型，能够整合各种城市信息，实现全方位立体的城市监管。城市信息模型技术信息整合能力强，而且可以结合webgis技术实现良好的可视化效果。本发明结合城市信息模型技术，对城市可行驶区域进行分析。

结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型。

先构建城市信息模型cim及其信息交换模块，即以城市信息数据为基础，建立起三维城市空间模型和城市信息的有机综合体。城市信息模型包括城市建筑的bim信息、城市道路信息等各种用于三维城市空间建模所需信息。

城市信息模型能够通过信息交换模块获取包括相机感知信息、相应的地理位置信息以及当前环境的信息。信息交换模块是一种cim的数据库的访问模块，可以是多种形式，在此举例：可以是restful、mq等多种信息交换形式，实施者具体采用何种实现方式，可以根据实施场景自行选择。

基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在各类检测管理应用方面有着广泛的应用前景。因此采用cim和计算机视觉相结合的形式，能有效的提高监管效率。将结果利用webgis进行可视化处理，将网络输出结果作为信息上传到webgis中，监管人员可在web上进行检索、查询和分析，便于监管人员了解可行驶区域检测信息，并采取相应措施。也可以为城市驾驶者提供接口从而获得可行驶区域信息。

本发明的主要目的为实现城市可行驶区域信息处理。输出的结果包括不可行驶区域实时划定。实施者可根据该结果进行下一步处理，如向用户提供最佳路径、发送绕行提示等。

目标监测道路区域设置多个摄像头。各子区域摄像头之间的基线距离不应过大，拍摄区域可以覆盖整个总目标区域的情况，且各子区域之间应有足够的重合部分，便于后续的图像拼接。

将摄像头实时采集的道路子区域图像输入车辆检测编码器、车辆检测解码器进行分析，得到车辆关键点热力图。车辆检测编码器对道路子区域图像进行特征提取，输出车辆检测特征图；车辆检测解码器，对该特征图进行卷积解码，输出车辆关键点热力图，在本实施例中针对车辆车顶中心点进行检测，因此得到车辆中心点热力图，车辆中心点热力图中热斑表征车辆中心点位置的置信度。

将各子区域采集的图像作为输入，送入车辆检测编码器、车辆检测解码器中得到车辆关键点heatmap1。车辆关键点为一类，即车顶中心点。

车辆关键点heatmap1生成的训练具体内容为：以子区域拍摄到的各种车流量情况下的道路车辆通行图像构建训练数据集。对训练集进行标注，车辆的车顶中心点作为关键点，对以关键点为中心通过高斯核卷积生成的一个热斑标注。采用均方差损失函数，随机梯度下降法进行训练。

现有的一些研究直接对实时的关键点热图进行统计或分类，得到实时车辆计数。由于车辆遮挡，实时计数本身存在一定的精度问题，而且由于网络推理结果影响，实时的统计结果可能存在较大范围震荡。本发明针对一段时间内的关键点热图进行叠加，一方面能从时序上反映一段时间内的车辆通行情况，另一方面基于遗忘系数方法，能够有效防止结果出现大范围震荡。

对heatmap1进行基于遗忘系数的热图叠加，得到叠加后的热区分布图。

基于遗忘系数的热图叠加的具体方法为：x＝αx+(1-α)x′，其中x为当前帧车辆关键点热力图结果，x′为之前帧累加结果，x为累加计算结果，(1-α)为遗忘系数，本实施例中α取0.05。对连续帧进行叠加，记得到叠加后的热区分布图。

对热区分布图进行阈值化处理，将图像像素值分为二值，即0或255。

可以对所叠加的heatmap1进行归一化处理，叠加后得到的热区图也可进行归一化处理。设定一个阈值，例如0.75。像素值大于等于0.75的像素点设为255，小于0.75的像素点设为0。具体阈值的选取实施者可结合实际情况设置。

统计像素值为255的像素点在图像像素点中的占比，并基于此进行拥堵等级分级。实施者可以根据情况分级。本实施例给出一种示例，将拥堵等级分为五级，占比区间在[0,0.2)则为一级，代表道路畅通，基本没有车辆；占比区间在[0.2,0.4)则为二级代表道路车辆较少；占比区间在[0.4,0.6)则为三级代表道路正常，车辆情况与均值相近；占比区间在[0.6,0.8)则为四级代表道路略微拥堵，车辆较多通行不便；占比区间在[0.8,1.0]则为五级代表道路严重拥堵，车辆难以通行。

当拥堵等级大于等于设定阈值时，将该区域划定为不可行驶区域，当拥堵等级小于设定阈值时，进行路障检测，将各子区域采集的图像输入路障检测编码器、路障检测解码器，输出路障关键点热力图以及路障类型。本实施例中设定阈值为四级。

区域拥堵等级大于等于四级时，由于车辆拥堵情况较为严重，所对应区域已经可被划分为不可行驶区域，因此无需进行路障检测。区域拥堵等级小于四级时，此时区域内从车辆数目方向而言可能可以正常通行，但需要检测路障情况进行进一步判断。

将各子区域实时采集的图像作为输入，送入路障检测编码器和路障检测解码器中，输出为路障关键点的heatmap2，路障关键点包括三类，heatmap2按三个通道输出，具体为路锥底面的中心点、路桩底面中心点和隔离墩底面中心点。所述路障检测编码器对道路子区域图像进行特征提取，输出路障检测特征图；所述路障检测解码器对特征图进行卷积解码，输出路障关键点热力图以及路障类型。本实施例中路障关键点为路障底面中心点。

路障关键点的heatmap2生成的训练，具体方法为：在模拟器中，设置好相机的各类位姿，调整三类路障的不同摆放位置，将模拟拍摄的多帧图像作为训练数据集。三类路障分别为道路常见的路锥、路桩和隔离墩。上述模拟器和对于模拟场景下路障的三维建模，实施者可自行选择，在此不作限制。模拟器可选择opengl、unity3d、虚幻等模拟引擎；三维建模的方法可选择3dmax、maya、ug等建模方法。对训练集进行人工标注，对以路障底面中心点为中心进行高斯核卷积生成的一个热斑进行标注。采用均方差损失函数进行训练。

将路障关键点投影到城市信息模型地面坐标系，根据城市信息模型中存储的路障类型以及路障尺寸生成路障包围框。

由于各类路障的尺寸在制造过程中是固定的，将各种路障尺寸存储至城市信息模型中。heatmap2通过后处理得到图像坐标。将底部关键点投影到cim地面坐标系中。根据底面关键点的路障类别，生成其固定尺寸的包围框。可以近似得到在cim地面平面中路障限制通行的范围，可以解决例如路障只限制道路中一条车道行驶的情况。

将相邻路障包围框的相邻边距小于阈值的路障底面中心点连接，得到路障连续摆放线。

结合城市信息模型中相应路段的道路边沿方向信息，分别计算路障连续摆放线两侧端点与两侧道路边沿的距离得到四个距离数值；若仅存在一个距离数值小于设定阈值，该距离数值对应道路边沿记为第一道路边沿，将路障连续摆放线两侧端点分别垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型。

若存在两个距离数值均小于设定阈值，且该两个距离数值均为与同侧道路边沿的距离，则路障连续摆放线与单侧道路边沿线形成封闭的区域，将该单侧道路边沿记为第一道路边沿，将路障连续摆放线两侧端点垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型。

若存在两个距离数值均小于设定阈值，且该两个距离数值为与不同侧道路边沿的距离，则相应路段不可通行并在城市信息模型中标记为不可通行路段，存储至城市信息模型。

各个摄像头对所监控子区域进行图像采集后，经投影变换、图像拼接集成到城市信息模型中实现实时成像。对图像进行投影变换使图像位于同一个平面。根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过svd算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上。

对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，实现实时成像。对投影变换后的待拼接道路子区域图像进行图像校正、噪声抑制；提取待拼接道路子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过ransac方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到完整的道路图像拼接结果，集成到城市信息模型中。

特征点提取的方法有很多，例如harris算法、sift算法、surt算法、orb算法等；特征点匹配的方法有很多，例如knn匹配算法、暴力匹配算法、ransac算法、gms算法等；投影变换通过单应性矩阵实现，单应性矩阵可通过ransac算法估算，也可选择合理可靠的四组以上匹配点对进行计算；图像融合的方法有很多，例如羽化法、金字塔法、梯度法等。图像拼接的方法是公知的。实施者可根据不同的实际情况，选择不同的成像方法，需要说明的是，各步骤选择的实施方法组合后，实现的效果及实现的速度不同，在此建议通过orb算法提取特征点，通过gms算法进行特征点匹配，直接通过匹配点对计算单应性矩阵，图像融合选择羽化法，即加权平均思想。通过结合图像拼接的技术，可对cim中地面平面信息的整合起到优化效果。

结合webgis技术对城市信息模型进行可视化，可视化结果包括完整的城市道路图像图层以及不可行驶区域图层，不可行驶区域图层可以叠加在城市道路图像图层上。不可行驶区域图层包括划定的不可行驶路段以及不可行驶区域。

为了直观的呈现出系统输出的信息，本发明结合大范围区域的cim通过webgis进行可视化处理。通过像平面图像拼接后投影到cim的三维建筑模型中，可获得整个道路视频连续覆盖的信息，达到实时成像的效果。结合路障检测信息和路段拥堵检测信息，可以了解各区域的可行驶区域信息。同时，通过webgis的可视化，监管人员可以在web上进行检索、查询和分析，便于监管人员了解整个监管区域内的实时路况，并将提示信息传输给用户。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。