技术特征：
1.一种基于单目摄像头和激光雷达的测距方法，其特征在于，包括以下步骤：步骤s1：通过安装在汽车上的单目摄像头收集历史交通场景图像数据并对历史图像数据进行处理；步骤s2：通过安装在汽车上的激光雷达收集历史交通场景点云数据并对历史点云数据进行处理；步骤s3：基于深度卷积神经网络构建初始目标检测模型和初始深度补全模型；步骤s4：用处理后的历史图像数据训练初始目标检测模型，获得训练好的目标检测模型，所述目标检测模型用于获取交通场景中障碍物的信息；步骤s5：用处理后的历史点云数据训练初始深度补全模型，获得训练好的深度补全模型，所述深度补全模型用于获取密集深度图；步骤s6：通过单目摄像头采集实时图像数据，通过激光雷达获取实时稀疏深度图；步骤s7：将实时图像数据作为训练好的目标检测模型的输入，所述目标检测模型输出图像中的障碍物信息；步骤s8：将实时图像数据和实时稀疏深度图作为训练好的深度补全模型的输入，所述深度补全模型输出密集深度图；步骤s9：根据所述目标检测模型和深度补全模型的输出，计算交通场景中障碍物的距离。2.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述步骤s9中计算障碍物的距离具体包括以下步骤：步骤s91：根据目标检测模型的输出，首先判断交通场景中是否存在障碍物；若是，执行步骤s92；若否，返回执行步骤s6；步骤s92：判断标定的障碍物矩形框中是否有前框、侧框或整框，根据应用顺序确定应用的矩形框，所述应用顺序为前框、侧框、整框；步骤s93：将应用的矩形框投影到深度补全模型输出的密集深度图中，得到矩形框内障碍物所有像素点的深度值；步骤s94：生成矩形框分辨率大小的掩码矩阵，扫描矩形框，通过依次比较当前像素点与八邻域值的大小，划分出n个连通域；步骤s95：统计每个连通域的像素点个数，生成直方图a[n]，所述直方图a[n]的组数为连通域的个数，所述直方图a[n]每组的频数为对应连通域的像素点个数；步骤s96：遍历直方图，计算频数最大的组a[b]对应的连通域中所有像素点的平均深度值，所述平均深度值为障碍物的距离。3.根据权利要求2所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，步骤s96中计算障碍物距离的公式为：其中，d表示障碍物的距离，m表示a[b]的频数，d
i
表示第i个像素点的深度值。4.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述目标检测模型的生成过程具体包括以下步骤：
步骤a1：在汽车上安装单目摄像头，收集历史交通场景图像数据；步骤a2：对收集的历史图像数据进行清洗，去除无效数据；步骤a3：利用数据标定工具对历史图像中的障碍物进行标定获得图像训练集；步骤a4：基于端到端的深度卷积神经网络，设计初始目标检测模型的基础网络结构，采用yolo v4作为初始目标检测模型的基础网络，将所有的常规卷积替换成mobilenet的pointwise和depthwise的组合卷积形式；步骤a5：将清洗后的历史图像数据作为初始目标检测模型的输入，用图像训练集作为监督信号训练初始目标检测模型，采用随机梯度下降法进行优化获得训练好的目标检测模型。5.根据权利要求4所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述深度补全模型的生成过程具体包括以下步骤：步骤b1：在汽车上安装激光雷达，收集历史交通场景点云数据；步骤b2：将收集的历史点云数据与步骤a2中清洗后的历史图像数据在时间域和空间域进行对齐，获得点云训练集；步骤b3：将对齐后的历史点云数据的深度值投影至像素坐标系获得与图像对应的历史稀疏深度图；步骤b4：基于端到端的深度卷积神经网络，设计初始深度补全模型的基础网络结构，所述基础网络结构为基于全卷积的psp net结构，将所有的常规卷积替换成mobilenet的pointwise和depthwise的组合卷积形式；步骤b5：将清洗后的历史图像数据和历史稀疏深度图作为初始深度补全模型的输入，用点云训练集作为监督信号训练初始深度补全模型，采用随机梯度下降法进行优化获得训练好的深度补全模型。6.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，对单目摄像头和激光雷达进行标定，得到单目摄像头和激光雷达的内、外参数。7.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述交通场景包括不同道路、不同天气、不同光照的交通场景。8.根据权利要求4所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，步骤a2中对收集的历史图像数据进行清洗是指过滤掉模糊的或被遮挡的无效图像数据。9.根据权利要求5所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述标定是指将图像数据需要测距的对象标定出来，标定方式为伪3d标定，标定得到的矩形框包括前框、侧框和整框。
技术总结
本发明提供了一种基于单目摄像头和激光雷达的测距方法，包括以下步骤：首先收集历史交通场景图像数据和点云数据，并对数据进行处理，将处理后的历史图像数据和历史点云数据分别训练初始目标检测模型和初始深度补全模型，获得训练好的目标检测模型和深度补全模型，所述目标检测模型以实时图像数据作为输入，输出交通场景中障碍物的信息；所述深度补全模型以实时图像数据和实时稀疏深度图作为输入，输出密集深度图，最后根据目标检测模型和深度补全模型的输出，计算交通场景中障碍物的距离。本发明充分结合单目摄像头和激光雷达的优点，融合目标检测模型和深度补全模型的输出结果，实现对象级测距，结果可靠，精度高。精度高。精度高。
技术研发人员：黄刚
受保护的技术使用者：浙江零跑科技股份有限公司
技术研发日：2021.07.23
技术公布日：2021/11/23