一种基于鱼眼摄像头的泊车环境感知方法与流程

本发明属于自动泊车，特别涉及一种泊车环境感知方法。

背景技术：

1、随着泊车技术逐渐成熟，怎么降低硬件成本提高性价比，成为热点问题。

2、常用鱼眼摄像头的环境通常采用摄像头和雷达融合感知，将鱼眼图像进行去畸变后使用深度学习模型进行检测。然而此方法将造成鱼眼摄像头视角范围大的优点被限制，造成自车周围盲区增大。

技术实现思路

1、本发明的目的是：提供一种只依赖于车身四周鱼眼摄像头的低成本方案自车周围环境感知方法。

2、本发明的技术方案是：一种基于鱼眼摄像头的泊车环境感知方法，包括以下步骤：

3、s1.获取同一时刻自车四周的4张鱼眼图像。

4、s2.分别对4张鱼眼图像进行障碍物检测及可行驶区域检测，提取可行驶区域边界，将可行驶区域边界点通过单应矩阵投影到环视俯视图中，对于障碍物检测转入s3。

5、s3.确定障碍物目标特征点集。

6、s4.将目标特征点集投影到环视俯视图中。

7、s5.过滤目标特征点中的噪点。

8、s6.对不同摄像头下同一目标特征点集进行融合。

9、s7.根据不同的目标的特征点集，对目标位置及方向进行估计。

10、s8.将s7中确定的目标坐标及s2确定的可行驶区域边界坐标从环视俯视图坐标系转换到自车坐标系，并输出至下游任务。

11、上述方案中，具体的，s2中，求取可行驶区域边界点集的方法为：

12、s2.1通过canny边缘检测算法对可行驶区域进行边缘检测。

13、s2.2将图形根据像素值转化为二值图。

14、s2.3将边缘位置的像素值置为1，其余位置像素值置为0，获得可行驶区域边界点集。

15、上述方案中，具体的，s3中，根据2d目标检测框和可行驶区域边界，获取障碍物目标特征点集，步骤包括：

16、s3.1遍历可行驶区域边界点，判断边界点是否位于鱼眼图形中某个目标的检测框中。

17、s3.2将位于每个目标检测框中的可行使区域边界点，作为该目标的特征点集。

18、上述方案中，具体的，s4的步骤包括：

19、s4.1通过畸变参数对目标特征点集去畸变。

20、s4.2通过标定好的单应矩阵，将目标特征点集投影到环视俯视图中。

21、上述方案中，具体的，s5的步骤包括：

22、s5.1分别对每个目标特征点集进行dbscan聚类。

23、s5.2去除噪声所在类别，并筛选出类别中点数大于目标总特征点数30％的类别。

24、s5.3对筛选出的类别进行合并，作为目标去噪后的特征点集。

25、上述方案中，具体的，s6的步骤包括：

26、s6.1求取特征点的外接矩形。

27、s6.2计算环视俯视图坐标系下，所有目标外接矩形之间的两两之间最小面积iou。

28、s6.3设置阈值为0.5，合并两两目标之间最小面积iou大于0.5的目标，输出合并后的特征点集。

29、上述方案中，具体的，s7的步骤包括：

30、s7.1对于占地面积较小的目标障碍物，计算环视俯视图坐标系下所有该障碍物特征点到车辆中心点距离，使用最小距离对应的特征点表示该障碍物所在位置。

31、s7.2对于车辆障碍物，通过以下方法确定四个角点。

32、s7.2.1获取环视俯视图坐标系下所有该障碍物特征点x，y方向的最大、最小值x_min_pt，x_max_pt，y_min_pt，y_max_pt。

33、s7.2.2将x_min_pt，x_max_pt，y_min_pt，y_max_pt两两组合连线，构成向量l1、l2、l3、l4、l5、l6。

34、s7.2.3计算l1、l2、l3、l4、l5、l6两两间的余弦相似度cosine，获得最小cosine。

35、s7.2.4若最小cosine小于0.5转入s7.2.5，或最小cosine大于等于0.5转入s7.2.6。

36、s7.2.5获取对应的向量lm、ln，以lm、ln的交点作为该车辆的基准点p；若lm、ln中的最大值小于设定车宽的1.2倍，则以lm、ln中较长一边垂直方向作为该车辆朝向theta，若lm、ln中的最大值大于设定车宽的1.2倍，则以lm、ln中较长一边方向作为该车辆朝向theta。

37、s7.2.6对该车辆的所有特征点进行拟合，获取车辆点集距离最大的点p1、p2；将p1、p2种距离自车较近的点设为基准点p；若p1、p2的距离小于设定车宽的1.2倍，则以p1、p2连线的垂直方向作为该车辆朝向theta，若p1、p2的距离大于设定车宽的1.2倍，则以p1、p2连线的方向作为该车辆朝向theta。

38、s7.2.7在已知车辆基准点p、车辆朝向theta及设定车辆长宽的条件下计算车辆另外3个角点。

39、有益效果：本方法实现了泊车环境下对自车周围环境低成本的感知，通过仅对自车四周鱼眼摄像头拍摄图像进行2d目标检测以及可行驶区域检测，将可行驶区域边界位于目标检测框中的点作为目标特征点集，根据特征点集的具体特征以及障碍物的类别，最终估计出障碍物在自车坐标系中的位置和姿态。

技术特征：

1.一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，s2中，求取可行驶区域边界点集的方法为：

3.如权利要求1或2所述的一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，s3中，根据2d目标检测框和可行驶区域边界，获取障碍物目标特征点集，步骤包括：

4.如权利要求1或2所述的一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，s4的步骤包括：

5.如权利要求1或2所述的一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，s5的步骤包括：

6.如权利要求1或2所述的一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，s6的步骤包括：

7.如权利要求1或2所述的一种基于鱼眼摄像头的泊车环境感知方法，其特征在于，s7的步骤包括：

技术总结
本发明属于自动泊车技术领域，特别涉及一种泊车环境感知方法。一种基于鱼眼摄像头的泊车环境感知方法，步骤如下：S1.获取同一时刻自车四周的4张鱼眼图像；S2.分别对4张鱼眼图像进行障碍物检测及可行驶区域检测，提取可行驶区域边界，将可行驶区域边界点通过单应矩阵投影到环视俯视图中；S3.确定障碍物目标特征点集；S4.将目标特征点集投影到环视俯视图中；S5.过滤目标特征点中的噪点；S6.对不同摄像头下同一目标特征点集进行融合；S7.根据不同的目标的特征点集，对目标位置及方向进行估计；S8.将确定的目标坐标及可行驶区域边界坐标从环视俯视图坐标系转换到自车坐标系，并输出至下游任务。本方法实现了泊车环境下对自车周围环境低成本的感知。

技术研发人员：郑瑞,于宏啸
受保护的技术使用者：北京流马锐驰科技有限公司
技术研发日：
技术公布日：2024/3/24