一种车辆防撞方法、模型训练方法及装置与流程

1.本申请涉及计算机技术领域，尤其涉及一种车辆防撞方法、模型训练方法及装置。


背景技术：

2.随着社会的进步及生活水平的提高，对车辆的安全性能要求也越来越高。车辆与其他物体的碰撞对车内人员的安全危害极大，因此，为了提高车辆的安全性，现有车辆采用了车辆防撞技术，可以在车辆与其他物体碰撞前预知到碰撞的发生，从而起到提前预警的作用。
3.传统的车辆防撞技术可以采用毫米波雷达对车辆周围的环境进行探测。由于毫米波碰撞到物体后会反射回来，车辆可以通过检测毫米波返回的时间确定车辆与周围的障碍物的距离，从而在距离过近时进行报警。但是，传统的毫米波雷达只能应用于干扰较小的环境中，当环境中的干扰较高时防撞效果较差。


技术实现要素：

4.有鉴于此，本申请实施例提供了一种车辆防撞方法、模型训练方法及装置，旨在提供一种对外界干扰不敏感的车辆防撞方法。
5.第一方面，本申请实施例提供了一种车辆防撞方法，所述方法包括：
6.获取至少一张鱼眼图像，所述鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的图像；
7.将所述至少一张鱼眼图像输入预先训练的图像处理模型，确定所述鱼眼图像中至少一个边界点和所述至少一个边界点中每个边界点与所述车辆的相对位置，所述边界点为所述车辆的第一方向上可行驶区域与不可行驶区域的分界点；
8.根据所述相对位置，判断所述边界点是否位于所述车辆的警戒区域内，若是，发出提醒信息。
9.可选地，所述根据所述相对位置，判断所述边界点是否位于所述车辆的警戒区域内包括：
10.根据所述相对位置，计算所述边界点与车辆中心点连线在第一方向上的投影长度；
11.响应于所述投影长度小于或等于第一阈值，确定所述边界点位于所述车辆的警戒区域内。
12.可选地，所述将所述鱼眼图像输入预先训练的图像处理模型，确定边界点和所述边界点与所述车辆的相对位置包括：
13.将所述鱼眼图像输入所述图像处理模型，得到所述边界点和所述边界点在车身坐标系下的坐标，所述车身坐标系与所述车辆固连；
14.根据所述边界点在车身坐标系下的坐标，确定所述边界点与所述车辆的相对位置。
15.可选地，所述至少一个边界点包括第一边界点，所述将所述鱼眼图像输入所述图像处理模型，得到所述边界点和所述边界点在车身坐标系下的坐标包括：
16.将所述鱼眼图像划分为至少一个窗口图像，所述至少一个窗口图像包括的第一窗口图像；
17.将所述第一窗口图像输入所述图像处理模型，得到所述第一窗口图像内的所述第一边界点，和所述第一边界点在车身坐标系下的坐标。
18.第二方面，本申请实施例提供了一种模型训练方法，所述方法包括：
19.获取训练数据集，所述训练数据集包括至少一张标注后的鱼眼图像，所述标注后的鱼眼图像包括鱼眼图像，和鱼眼图像中边界点在所述车身坐标系下的坐标，所述鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的图像；
20.利用所述训练数据集进行训练，得到图像处理模型，所述图像处理模型的输入为鱼眼图像，输出为边界点和边界点在车身坐标系下的坐标。
21.可选地，所述至少一张标注后的鱼眼图像包括标注后的第一鱼眼图像，所述标注后的鱼眼图像是通过如下方式得到的：
22.获取所述第一鱼眼图像和所述第一鱼眼图像中边界点在第一鱼眼图像上的坐标；
23.根据所述边界点在第一鱼眼图像上的坐标确定所述边界点在车身坐标系下的坐标。
24.第三方面，本申请实施例提供了一种车辆防撞装置，所述装置包括：
25.获取单元，鱼眼获取至少一张鱼眼图像，所述鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的图像；
26.处理单元，用于将所述至少一张鱼眼图像输入预先训练的图像处理模型，确定所述鱼眼图像中至少一个边界点和所述至少一个边界点中每个边界点与所述车辆的相对位置，所述边界点为所述车辆的第一方向上可行驶区域与不可行驶区域的分界点；
27.提醒单元，用于根据所述相对位置，判断所述边界点是否位于所述车辆的警戒区域内，若是，发出提醒信息。
28.可选地，所述提醒单元，用于根据所述相对位置，计算所述边界点与车辆中心点连线在第一方向上的投影长度；响应于所述投影长度小于或等于第一阈值，确定所述边界点位于所述车辆的警戒区域内。
29.可选地，所述处理单元，用于将所述鱼眼图像输入所述图像处理模型，得到所述边界点和所述边界点在车身坐标系下的坐标，所述车身坐标系与所述车辆固连；根据所述边界点在车身坐标系下的坐标，确定所述边界点与所述车辆的相对位置。
30.可选地，所述至少一个边界点包括第一边界点，所述处理单元，用于将所述鱼眼图像划分为至少一个窗口图像，所述至少一个窗口图像包括的第一窗口图像；将所述第一窗口图像输入所述图像处理模型，得到所述第一窗口图像内的所述第一边界点，和所述第一边界点在车身坐标系下的坐标。
31.第四方面，本申请实施例提供了一种模型训练装置，所述装置包括：
32.获取单元，用于获取训练数据集，所述训练数据集包括至少一张标注后的鱼眼图像，所述标注后的鱼眼图像包括鱼眼图像，和鱼眼图像中边界点在所述车身坐标系下的坐标，所述鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的图像；
33.训练单元，用于利用所述训练数据集进行训练，得到图像处理模型，所述图像处理模型的输入为鱼眼图像，输出为边界点和边界点在车身坐标系下的坐标。
34.可选地，所述至少一张标注后的鱼眼图像包括标注后的第一鱼眼图像，所述标注后的鱼眼图像是通过如下方式得到的：
35.获取所述第一鱼眼图像和所述第一鱼眼图像中边界点在第一鱼眼图像上的坐标；
36.根据所述边界点在第一鱼眼图像上的坐标确定所述边界点在车身坐标系下的坐标。
37.第五方面，本申请实施例还提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行前述第一方面所述的车辆防撞方法。
38.第六方面，本申请实施例还提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行前述第二方面所述的模型训练方法。
39.第七方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制计算机执行前述第一方面所述的车辆防撞方法。
40.第八方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制计算机执行前述第一方面所述的模型训练方法。
41.本申请实施例提供了一种车辆防撞方法、模型训练方法及装置。在进行车辆防撞预警时，可以先通过朝向车辆的第一方向的鱼眼镜头拍摄至少一张鱼眼图像。在得到鱼眼图像之后，可以将该至少一张鱼眼图形输入预先训练得到的图像处理模型。通过图像处理模型对鱼眼图像进行处理，可以确定鱼眼图像中至少一个边界点和该至少一个边界点中每个边界点与车辆的相对位置。其中，边界点为所述车辆的第一方向上可行驶区域与不可行驶区域的分界点，表示车辆能够行驶的最大范围。在确定相对位置后，可以根据相对位置判断边界点是否位于车辆的警戒区域内。如果车辆确定边界点位于车辆的警戒区域内，说明车辆距离周围的障碍物较近，可以发出提醒信息。可见，通过采集车辆周围的图像并对图像进行处理，可以及时发现车辆周围的障碍物，从而及时进行防撞预警。与传统技术相比，由于不需要向外界发射电磁波，也就不会受到外界环境的干扰。如此，增加了车辆防撞技术的抗干扰能力，提高了车辆的安全性能。
附图说明
42.为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本申请实施例提供的车辆防撞方法的方法流程图；
44.图2为本申请实施例提供的模型训练方法的方法流程图；
45.图3为本申请实施例提供的车辆防撞装置的一种结构示意图；
46.图4为本申请实施例提供的模型训练装置的一种结构示意图。
具体实施方式
47.为了提高车辆的安全性能，目前部分车辆可以通过车辆防撞系统在碰撞发生前进行预警，从而提醒驾驶员及时做出反应，防止事故发生。传统车辆防撞系统的原理与倒车雷达类似，可以通过天线向外界发射波长为毫米级别的电磁波。电磁波在接触到障碍物时会发生反射。车辆可以通过天线接收反射的电磁波，并根据接收电磁波的时间计算车辆与周围的障碍物的距离，从而在车辆与障碍物发生碰撞前进行预警。
48.但是，由于依赖到毫米波雷达，传统的车辆防撞系统可能受到外界环境的干扰。例如，当外界对电磁波的干扰较大时，车辆防撞系统可能失灵。为了解决这一问题，部分车辆厂商采用超声波雷达的方式进行车辆防撞预警。但是，现有的利用超声波雷达仍然存在抗干扰能力差的确定。另外，超声波雷达、毫米波雷达等设备也存在感知范围有限的缺点。
49.为了给出对外界干扰不敏感的车辆的方法，本申请实施例提供了一种车辆防撞方法、一种模型训练方法以及对应的装置。以下结合说明书附图，从车辆防撞系统角度对本申请实施例提供的车辆防撞方法、模型训练方法以及对应的装置进行说明。需要说明的是，所述车辆防撞系统可以是运行于车载计算机的软件平台，也可以是运行于服务器的软件平台，本申请实施例对此不作限定。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
50.参见图1，图1为本申请实施例提供的车辆防撞方法的方法流程图，包括：
51.s101：获取至少一张鱼眼图像。
52.为了判断车辆与周围障碍物之间的距离，车辆防撞系统可以先获取至少一张鱼眼图像。其中，该至少一张鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的。第一方向可以是车辆的任意一个方向，例如车辆的前方、后方等。在本申请实施例中，车辆防撞系统可以通过安装在车身上且朝向第一方向的鱼眼相机拍摄鱼眼图像，例如可以通过安装在车辆前保险杠上，镜头轴心方向朝向车辆前方的鱼眼相机拍摄至少一张鱼眼图像。
53.可选地，为了提高车辆防撞的效果，车辆防撞系统可以获取车辆各个方向的鱼眼图像，从而判断各个方向上车辆与障碍物之间的距离。
54.s102：将所述至少一张鱼眼图像输入预先训练的图像处理模型，确定所述鱼眼图像中至少一个边界点和所述至少一个边界点中每个边界点与所述车辆的相对位置。
55.在获取到至少一张鱼眼图像之后，车辆防撞系统可以采用预先训练得到的图像处理模型对至少一张鱼眼图像进行处理，得到每张鱼眼图像中至少一个边界点并确定至少一个边界点中每个边界点与车辆的相对位置。其中，图像处理模型可以是预先训练得到的模型，具体训练方法可以参见图2对应实施例的描述，这里不再赘述。边界点为车辆的第一方向上可行驶区域与不可行驶区域的分界点，标识车辆在不与障碍物碰撞的前提下能够到达的最远点位。可选地，边界点可以是第一方向上可行驶区域和不可行驶区域的分界线上距离车辆最近的点。
56.在一些可能的实现中，图像识别技术可以用于识别鱼眼图像中的边界点，即图像处理模型输出的是边界点在鱼眼图像中的坐标。那么，为了确定边界点与车辆的相对位置，
图像处理模型在采用图像识别技术确定边界点在鱼眼图像中的相对位置之后，还可以将边界点在鱼眼图像中的坐标转换为边界点在车身坐标系下的坐标，进而确定边界点与车辆的相对位置。其中，车身坐标系为与车辆固连的坐标系。在一种可能的实现中，车身坐标系的原点为车辆中心点，x轴方向朝向与车辆行驶方向重合，y轴方向垂直与水平面，z轴方向垂直于xy平面向左。
57.在一些可能的实现中，可以将一张鱼眼图像划分为多个窗口图像，并通过图像处理模型从每个窗口图像中确定一个边界点，和该边界点在车身坐标系下的坐标。例如，假设鱼眼图像的分辨率为640
×
480，那么可以将鱼眼图像分割为20个窗口图像，每个窗口图像的分辨率为32
×
480。在得到多个窗口图像后，可以通过图像处理模型分别对每个窗口图像进行处理，从中识别出该窗口内的单个边界点和该边界点在车身坐标系下的坐标。这样，将一张鱼眼图像划分为多个窗口图像，可以识别出一张鱼眼图像中的多个边界点，从而更加细致地收集车辆周边的环境信息，提高车辆防撞性能。
58.s103：根据所述相对位置，判断所述边界点是否位于所述车辆的警戒区域内，若是，发出提醒信息。
59.在确定边界点与车辆的相对位置后，车辆防撞系统可以根据相对位置判断边界点是否位于车辆的警戒区域内。若是，则说明车辆距离边界点较近，即车辆距离不可行驶区域较近，发生碰撞的风险较高。那么车辆防撞系统可以发出提醒信息，已提醒用户接近了不可行驶区域，需要小心驾驶。在一些可能的实现中，车辆防撞系统还可以基于判断结果对方向盘进行校正调整，进一步降低发生碰撞的风险。
60.在一些可能的实现中，车辆防撞系统可以基于投影长度判断边界点是否位于车辆的境界区域内。具体地，车辆防撞系统可以基于边界点与车辆的相对位置计算与车辆中心点连线在第一方向上的投影长度。例如，车辆防撞系统可以计算边界点到车辆中心点的距离，和边界点与车辆中心点连线与第一方向的夹角，再通过三角函数计算得到边界点与车辆中心点连线在第一方向上的投影长度。当然，车辆防撞系统也可以根据边界点在车身坐标系下的坐标确定投影长度。在计算得到投影长度之后，车辆防撞系统可以比较投影长度与第一阈值的大小。如果该投影长度小于或等于第一阈值，说明该边界点在第一方向上与车辆的距离较近，碰撞风险较大，从而发出提醒信息。
61.本申请实施例提供了一种车辆防撞方法。在进行车辆防撞预警时，可以先通过朝向车辆的第一方向的鱼眼镜头拍摄至少一张鱼眼图像。在得到鱼眼图像之后，可以将该至少一张鱼眼图形输入预先训练得到的图像处理模型。通过图像处理模型对鱼眼图像进行处理，可以确定鱼眼图像中至少一个边界点和该至少一个边界点中每个边界点与车辆的相对位置。其中，边界点为所述车辆的第一方向上可行驶区域与不可行驶区域的分界点，表示车辆能够行驶的最大范围。在确定相对位置后，可以根据相对位置判断边界点是否位于车辆的警戒区域内。如果车辆确定边界点位于车辆的警戒区域内，说明车辆距离周围的障碍物较近，可以发出提醒信息。可见，通过采集车辆周围的图像并对图像进行处理，可以及时发现车辆周围的障碍物，从而及时进行防撞预警。与传统技术相比，由于不需要向外界发射电磁波，也就不会受到外界环境的干扰。如此，增加了车辆防撞技术的抗干扰能力，提高了车辆的安全性能。
62.除此以外，本申请实施例还提供了一种模型训练方法。参见图2，所述模型训练方
法包括：
63.s201：获取训练数据集。
64.在本申请实施例中，用于训练模型的训练数据集可以包括至少一张标注后的鱼眼图像。该标注后的鱼眼图像包括鱼眼图像本身，和该鱼眼图像中至少一个边界点在车身坐标系下的坐标。其中，鱼眼图像是通过朝向车辆第一方向的鱼眼镜头拍摄得到的。
65.在一种可能的实现方式中，训练数据集可以由技术人员手动标注。具体地，技术人员可以在车辆周围的预设位置放置障碍物并记录障碍物与车辆的相对位置。该障碍物用于模拟不可行驶区域的边界点。接着，可以通过鱼眼镜头拍摄鱼眼图像，手动标记鱼眼图像上的边界点，并将边界点与障碍物的位置相关联。
66.在一种可能的实现方式中，技术人员可以手动拍摄鱼眼图像，并在鱼眼图像上标注边界点，即标注边界点在鱼眼图像中的坐标。接着，可以对鱼眼相机进行标定，例如可以采用张氏标定法对摄像头进行内参数标定，从而确定鱼眼图像坐标系与相机坐标系之间的变换关系。接着，可以根据相机的安装位置确定相机坐标系与车身坐标系之间的变换关系。再将两个变换关系相结合，确定鱼眼图像的坐标系与车身坐标系之间的变换关系。最后，可以基于鱼眼图像的坐标系与车身坐标系之间的变换关系确定边界点在车身坐标系下的坐标。可选地，所述相机坐标系的原点为鱼眼相机焦点，x轴为鱼眼相机的光轴，y轴和z轴垂直与x轴且构成右手坐标系。变换关系可以为坐标变换矩阵。
67.s202：利用所述训练数据集进行训练，得到图像处理模型。
68.在获取到训练数据集后，可以利用训练数据集训练模型，得到s102中所使用的图像处理模型。其中，图像处理模型可以包括五个连续的卷积层、一个归一化层和一个全连接层。该全连接层用于输出边界点在车身坐标系下的坐标。可选地，图像处理模型还可以包括另一个全连接层，该全连接层用于输出边界点的类型。可选地，边界点的类型可以包括车辆，行人，建筑物，路沿，树木，限位桩。
69.以上为本申请实施例提供车辆防撞方法和模型训练的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。
70.参见图3所示的车辆防撞装置的结构示意图，该装置300包括：
71.获取单元310，鱼眼获取至少一张鱼眼图像，所述鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的图像。
72.处理单元320，用于将所述至少一张鱼眼图像输入预先训练的图像处理模型，确定所述鱼眼图像中至少一个边界点和所述至少一个边界点中每个边界点与所述车辆的相对位置，所述边界点为所述车辆的第一方向上可行驶区域与不可行驶区域的分界点。
73.提醒单元330，用于根据所述相对位置，判断所述边界点是否位于所述车辆的警戒区域内，若是，发出提醒信息。
74.本申请实施例提供了一种车辆防撞装置。在进行车辆防撞预警时，可以先通过朝向车辆的第一方向的鱼眼镜头拍摄至少一张鱼眼图像。在得到鱼眼图像之后，可以将该至少一张鱼眼图形输入预先训练得到的图像处理模型。通过图像处理模型对鱼眼图像进行处理，可以确定鱼眼图像中至少一个边界点和该至少一个边界点中每个边界点与车辆的相对位置。其中，边界点为所述车辆的第一方向上可行驶区域与不可行驶区域的分界点，表示车
辆能够行驶的最大范围。在确定相对位置后，可以根据相对位置判断边界点是否位于车辆的警戒区域内。如果车辆确定边界点位于车辆的警戒区域内，说明车辆距离周围的障碍物较近，可以发出提醒信息。可见，通过采集车辆周围的图像并对图像进行处理，可以及时发现车辆周围的障碍物，从而及时进行防撞预警。与传统技术相比，由于不需要向外界发射电磁波，也就不会受到外界环境的干扰。如此，增加了车辆防撞技术的抗干扰能力，提高了车辆的安全性能。
75.可选地，在一些可能的实现方式中，所述提醒单元330，用于根据所述相对位置，计算所述边界点与车辆中心点连线在第一方向上的投影长度；响应于所述投影长度小于或等于第一阈值，确定所述边界点位于所述车辆的警戒区域内。
76.可选地，在一些可能的实现方式中，所述处理单元320，用于将所述鱼眼图像输入所述图像处理模型，得到所述边界点和所述边界点在车身坐标系下的坐标，所述车身坐标系与所述车辆固连；
77.根据所述边界点在车身坐标系下的坐标，确定所述边界点与所述车辆的相对位置。
78.可选地，在一些可能的实现方式中，所述至少一个边界点包括第一边界点，所述处理单元320，用于将所述鱼眼图像划分为至少一个窗口图像，所述至少一个窗口图像包括的第一窗口图像；将所述第一窗口图像输入所述图像处理模型，得到所述第一窗口图像内的所述第一边界点，和所述第一边界点在车身坐标系下的坐标。
79.参见图4所示的模型训练装置的结构示意图，该装置400包括：
80.获取单元410，用于获取训练数据集，所述训练数据集包括至少一张标注后的鱼眼图像，所述标注后的鱼眼图像包括鱼眼图像，和鱼眼图像中边界点在所述车身坐标系下的坐标，所述鱼眼图像是通过朝向车辆的第一方向的鱼眼镜头拍摄得到的图像。
81.训练单元420，用于利用所述训练数据集进行训练，得到图像处理模型，所述图像处理模型的输入为鱼眼图像，输出为边界点和边界点在车身坐标系下的坐标。
82.可选地，所述至少一张标注后的鱼眼图像包括标注后的第一鱼眼图像，所述标注后的鱼眼图像是通过如下方式得到的：获取所述第一鱼眼图像和所述第一鱼眼图像中边界点在第一鱼眼图像上的坐标；根据所述边界点在第一鱼眼图像上的坐标确定所述边界点在车身坐标系下的坐标。
83.本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
84.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read
‑
only memory，rom)/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
85.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例
的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
86.以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。