拖车视图成像方法、装置、设备及存储介质与流程

本发明涉及智能车辆感知技术，尤其涉及一种拖车视图成像方法、装置、设备及存储介质。

背景技术：

1、随着车辆的普及，车辆也不断用于各种用途。而车辆经常用作牵引运送各种类型货物的拖车而因此称为牵引车，这类拖车的示例包括但不限于旅行拖车、雪地车拖车、拖船用拖车、汽车拖车等。在很多情况下，由牵引车拉着的拖车的高度导致当牵引车的驾驶员看牵引车的后视镜时只能看到拖车，这样，在具有拖车的牵引车的操作期间，可能难以观察车辆或拖车周围环境，这对驾驶员以安全且便利的方式牵引拖车有不利的影响。

2、传统的对拖车大小进行感知的方式一般是利用车辆后视侧视图像进行图像拼接或者进行雷达扫描。但是传统的拖车视图成像确认条件过于复杂，存在拼接重叠错位的风险，难以感知拖车整体。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种拖车视图成像方法、装置、设备及存储介质，旨在解决传统的拖车视图成像确认条件过于复杂，存在拼接重叠错位的风险，难以感知拖车整体的技术问题。

2、为实现上述目的，本发明提供了一种拖车视图成像方法，所述方法包括以下步骤：

3、对拖车的多相机图像进行语义分割，获得拖车轮廓及目标图像；

4、对所述拖车轮廓和所述目标图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图；

5、根据测得的距离参数和所述拖车轮廓在模型数据集中进行匹配，获得所述拖车对应的拖车模型；

6、将所述拖车模型和所述全景鸟瞰图进行融合，获得全景拖车视图。

7、可选地，所述根据测得的距离参数和所述拖车轮廓在模型数据集中进行匹配，获得所述拖车对应的拖车模型，包括：

8、获取所述拖车上的靶标对应的靶标图像，其中，靶标设置于所述拖车的前方，所述靶标用于测距；

9、根据所述靶标图像和靶标实际尺寸对所述拖车进行测距，获得所述拖车与牵引车之间的距离参数；

10、根据所述距离参数和所述拖车轮廓在模型数据集中进行匹配，获得所述拖车对应的拖车模型。

11、可选地，所述根据所述靶标图像和靶标实际尺寸对所述拖车进行测距，获得所述拖车与牵引车之间的距离参数，包括：

12、对所述靶标图像进行测量，获得所述靶标图像中靶标的像素尺寸；

13、确定所述靶标图像所对应的相机，并获取所述相机的焦距参数和所述相机中传感器的宽度参数；

14、通过三角形相似原理对所述像素尺寸、靶标实际尺寸、所述焦距参数和所述宽度参数进行计算，获得所述拖车与牵引车之间的距离参数。

15、可选地，所述对拖车的多相机图像进行语义分割，获得拖车轮廓及目标图像，包括：

16、根据拖车的多个车载相机获取所述拖车周围环境对应的多相机图像；

17、对所述多相机图像进行语义分割，获得拖车轮廓和目标图像，所述目标图像包括多相机图像中的车道图像、车辆图像和道路景观图像；

18、所述对所述拖车轮廓和所述目标图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图，包括：

19、对所述拖车轮廓、所述车道图像、所述车辆图像和所述道路景观图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图。

20、可选地，所述对所述拖车轮廓、所述车道图像、所述车辆图像和所述道路景观图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图，包括：

21、将所述拖车轮廓、所述车道图像、所述车辆图像和所述道路景观图像输入至深度学习网络中进行融合，获得初始融合图像；

22、获取所述多相机图像中各图像的视野参数；

23、根据所述视野参数对所述初始融合图像进行透视变换，获得所述拖车对应的全景鸟瞰图。

24、可选地，所述根据所述视野参数对所述初始融合图像进行透视变换，获得所述拖车对应的全景鸟瞰图，包括：

25、对所述拖车轮廓、所述车道图像、所述车辆图像和所述道路景观图像进行投影映射，获得各图像对应的单应性矩阵；

26、根据所述单应性矩阵和所述视野参数对所述初始融合图像进行透视变换，获得所述拖车对应的全景鸟瞰图。

27、可选地，所述根据拖车的多个车载相机获取所述拖车周围环境对应的多相机图像之后，还包括：

28、对所述多相机图像中的拖车图像进行标注，获得所述拖车对应的标注图像；

29、所述对所述多相机图像进行语义分割，获得拖车轮廓和目标图像，所述目标图像包括多相机图像中的车道图像、车辆图像和道路景观图像之后，还包括：

30、将所述标注图像与所述拖车轮廓进行对比，并根据对比结果对所述拖车轮廓进行修正，获得修正后的拖车轮廓。

31、此外，为实现上述目的，本发明还提出一种拖车视图成像装置，所述装置包括：

32、语义分割模块，用于对拖车的多相机图像进行语义分割，获得拖车轮廓及目标图像；

33、图像融合模块，用于对所述拖车轮廓和所述目标图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图；

34、模型匹配模块，用于根据测得的距离参数和所述拖车轮廓在模型数据集中进行匹配，获得所述拖车对应的拖车模型；

35、拖车视图模块，用于将所述拖车模型和所述全景鸟瞰图进行融合，获得全景拖车视图。

36、此外，为实现上述目的，本发明还提出一种拖车视图成像设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的拖车视图成像程序，所述拖车视图成像程序配置为实现如上文所述的拖车视图成像方法的步骤。

37、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有拖车视图成像程序，所述拖车视图成像程序被处理器执行时实现如上文所述的拖车视图成像方法的步骤。

38、本发明通过对拖车的多相机图像进行语义分割，获得拖车轮廓及目标图像；然后对所述拖车轮廓和所述目标图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图；接着根据测得的距离参数和所述拖车轮廓在模型数据集中进行匹配，获得所述拖车对应的拖车模型；最后将所述拖车模型和所述全景鸟瞰图进行融合，获得全景拖车视图。本发明通过获取的多相机图像进行处理获得全景鸟瞰图，在通过对识别到的拖车进行高亮标记以拖车模型替代并和测得的距离参数融合进全景鸟瞰图中获取整体的全景拖车视图，使视图更接近拖车真实形态，鸟瞰视角下驾驶者可以更好地观察车辆或拖车周围环境，不仅降低了驾驶员牵引拖车的操作难度，还提高了驾驶过程的安全性。

技术特征：

1.一种拖车视图成像方法，其特征在于，所述拖车视图成像方法包括：

2.如权利要求1所述的拖车视图成像方法，其特征在于，所述根据测得的距离参数和所述拖车轮廓在模型数据集中进行匹配，获得所述拖车对应的拖车模型，包括：

3.如权利要求2所述的拖车视图成像方法，其特征在于，所述根据所述靶标图像和靶标实际尺寸对所述拖车进行测距，获得所述拖车与牵引车之间的距离参数，包括：

4.如权利要求1所述的拖车视图成像方法，其特征在于，所述对拖车的多相机图像进行语义分割，获得拖车轮廓及目标图像，包括：

5.如权利要求4所述的拖车视图成像方法，其特征在于，所述对所述拖车轮廓、所述车道图像、所述车辆图像和所述道路景观图像进行联合标定融合，获得所述拖车对应的全景鸟瞰图，包括：

6.如权利要求5所述的拖车视图成像方法，其特征在于，所述根据所述视野参数对所述初始融合图像进行透视变换，获得所述拖车对应的全景鸟瞰图，包括：

7.如权利要求4所述的拖车视图成像方法，其特征在于，所述根据拖车的多个车载相机获取所述拖车周围环境对应的多相机图像之后，还包括：

8.一种拖车视图成像装置，其特征在于，所述装置包括：

9.一种拖车视图成像设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的拖车视图成像程序，所述拖车视图成像程序配置为实现如权利要求1至7中任一项所述的拖车视图成像方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有拖车视图成像程序，所述拖车视图成像程序被处理器执行时实现如权利要求1至7任一项所述的拖车视图成像方法的步骤。

技术总结
本发明涉及智能车辆感知技术技术领域，公开了一种拖车视图成像方法、装置、设备及存储介质，该方法包括：对拖车的多相机图像进行语义分割获得拖车轮廓及目标图像；对拖车轮廓和目标图像进行联合标定融合获得全景鸟瞰图；根据测得的距离参数和拖车轮廓在模型数据集中进行匹配，获得拖车模型；将拖车模型和全景鸟瞰图进行融合获得全景拖车视图。本发明通过获取的多相机图像进行处理获得全景鸟瞰图，再通过对识别到的拖车进行高亮标记以拖车模型替代并将距离参数与全景鸟瞰图融合获取全景拖车视图，使视图更接近拖车真实形态，在鸟瞰视角下驾驶者可以更好地观察车辆周围环境，不仅降低了驾驶员牵引拖车的操作难度，还提高了驾驶过程的安全性。

技术研发人员：丁瑾
受保护的技术使用者：雷达新能源汽车（浙江）有限公司
技术研发日：
技术公布日：2024/1/15