路面施工的检测与定位的方法、系统、设备和路侧单元与流程

本发明涉及自动驾驶领域，更具体地，特别是指一种路面施工的检测与定位的方法、系统、电子设备和路侧单元。

背景技术：

1、自动驾驶系统需要实时感知道路环境，当道路上需要临时施工时，自动驾驶系统如果无法即时通过交通系统收到路面施工的提示，对施工道路进行绕行，则很可能导致自动驾驶系统依然按照规划路线进入施工道路，导致安全事故的发生。然而如果能够即时检测到道路路面施工的存在，自动驾驶车辆就能够采取相应的规避措施，如避障或变换行驶路线，以确保行驶安全。

2、路面施工检测主要目的是检测路面上的施工目标并确定施工道路范围。目前的方法鲁棒性和精度不高，主要问题是施工行为本身不是一个形态很固定的物体，很难被以目标检测的方式进行检测，而临时的路面施工又往往不会即时更新到自动驾驶系统的高精地图中，所以当前的路面施工更多依赖于司机乘客等进行人工提交报告，审核汇总信息后在终端发布施工预警。因此，迫切需要一种精准即时的路面施工检测方法定位施工现场。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出一种路面施工的检测与定位的方法、系统、电子设备及路侧单元，本发明通过训练好的clip模型对采集到的视频流数据进行分析预测，判断是否为路面施工，能够针对像施工现场等物理形态不统一、但具备一定共性的事物进行检测，在结合了共性物体的检测模型后，能够准确定位事件发生的地点和规模，从而为自动驾驶车辆行驶提供有效的道路交通安全保障。

2、基于上述目的，本发明实施例的一方面提供了一种路面施工的检测与定位的方法，包括如下步骤：构建图像特征和文本特征训练集，并使用所述训练集训练得到分类器模型；使用路端相机采集视频流，根据所述视频流获取图片框架；将所述图片框架输入所述分类器模型得到分类标签，并判断所述分类标签是否为路面施工；以及响应于所述分类标签为路面施工，根据施工标志物确定示警区域。

3、在一些实施方式中，所述构建图像特征和文本特征训练集，并使用所述训练集训练得到分类器模型的步骤包括：将训练图片输入图像编码器得到对应的图像特征向量；根据分类任务的分类标签构建每个类别的描述文本，并将所述描述文本输入文本编码器得到对应的文本特征向量；以及建立图像特征向量与对应文本特征向量之间的关联。

4、在一些实施方式中，所述建立图像特征向量与对应文本特征向量之间的关联的步骤包括：将多个图像特征向量和多个文本特征向量进行不同组合以形成多个特征矩阵，并计算每个特征矩阵中的图像特征向量和文本特征向量之间的余弦相似度；以及根据余弦相似度最优的特征矩阵建立图像特征向量与对应文本特征向量之间的关联。

5、在一些实施方式中，所述计算每个特征矩阵中的图像特征向量和文本特征向量之间的余弦相似度的步骤包括：计算特征矩阵的对角线元素的第一余弦相似度，并计算特征矩阵中除所述对角线元素之外元素的第二余弦相似度。

6、在一些实施方式中，所述根据余弦相似度最优的特征矩阵建立图像特征向量与对应文本特征向量之间的关联的步骤包括：确定所述第一余弦相似度最大且所述第二余弦相似度最小的特征矩阵为最优的特征矩阵，并根据所述最优的特征矩阵建立图像与标签之间的对应关系。

7、在一些实施方式中，所述将所述图片框架输入所述分类器模型得到分类标签的步骤包括：将所述图片框架输入所述分类器模型得到预测的特征向量，根据所述预测的特征向量和归一化指数函数得到每个类别的预测概率，将预测概率最高的类别作为图片对应的分类标签。

8、在一些实施方式中，所述根据施工标志物确定示警区域的步骤包括：将检测到的施工标志物整体的最小外接矩形作为示警区域。

9、在一些实施方式中，所述方法还包括：根据所述示警区域在图片中的位置坐标信息以及相机在物理空间中的高度信息和在地图中的位置坐标信息计算得到所述示警区域在所述地图中的位置坐标信息。

10、本发明实施例的另一方面，提供了一种路面施工的检测与定位的系统，包括：训练模块，配置用于构建图像特征和文本特征训练集，并使用所述训练集训练得到分类器模型；采集模块，配置用于使用路端相机采集视频流，根据所述视频流获取图片框架；标签模块，配置用于将所述图片框架输入所述分类器模型得到分类标签，并判断所述分类标签是否为路面施工；以及示警模块，配置用于响应于所述分类标签为路面施工，根据施工标志物确定示警区域。

11、本发明实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。

12、本发明实施例的再一方面，还提供了一种路侧单元，路侧单元存储有被处理器执行时实现如上方法步骤的计算机程序。

13、本发明具有以下有益技术效果：通过优秀的图像编码器能够提高对于施工现场的特征描述，再结合分类器，能够为图像赋予施工现场的场景分类，针对此类场景在确定其定位核心物体后结合具体的目标检测方法能够准确定位事件发生的地点和规模，从而为自动驾驶车辆行驶提供有效的道路交通安全保障。

技术特征：

1.一种路面施工的检测与定位的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的路面施工的检测与定位的方法，其特征在于，所述构建图像特征和文本特征训练集，并使用所述训练集训练得到分类器模型的步骤包括：

3.根据权利要求2所述的路面施工的检测与定位的方法，其特征在于，所述建立图像特征向量与对应文本特征向量之间的关联的步骤包括：

4.根据权利要求3所述的路面施工的检测与定位的方法，其特征在于，所述计算每个特征矩阵中的图像特征向量和文本特征向量之间的余弦相似度的步骤包括：

5.根据权利要求4所述的路面施工的检测与定位的方法，其特征在于，所述根据余弦相似度最优的特征矩阵建立图像特征向量与对应文本特征向量之间的关联的步骤包括：

6.根据权利要求1所述的路面施工的检测与定位的方法，其特征在于，所述将所述图片框架输入所述分类器模型得到分类标签的步骤包括：

7.根据权利要求1所述的路面施工的检测与定位的方法，其特征在于，所述根据施工标志物确定示警区域的步骤包括：

8.根据权利要求7所述的路面施工的检测与定位的方法，其特征在于，所述方法还包括：

9.一种路面施工的检测与定位的系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

11.一种路侧单元，所述路侧单元存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述方法的步骤。

技术总结
本发明提供一种路面施工的检测与定位的方法、系统、电子设备和路侧单元，方法包括：构建图像特征和文本特征训练集，并使用所述训练集训练得到分类器模型；使用路端相机采集视频流，根据所述视频流获取图片框架；将所述图片框架输入所述分类器模型得到分类标签，并判断所述分类标签是否为路面施工；以及响应于所述分类标签为路面施工，根据施工标志物确定示警区域。本发明能够针对像施工现场等物理形态不统一，但具备一定共性的事物进行检测，在结合了共性物体的检测模型后，能够准确定位事件发生的地点和规模，从而为自动驾驶车辆行驶提供有效的道路交通安全保障。

技术研发人员：康晓,郭振华,曹思奇
受保护的技术使用者：天翼交通科技有限公司
技术研发日：
技术公布日：2024/1/15