一种目标检测方法、系统及相关设备与流程

1.本发明涉及目标检测技术领域，具体涉及一种目标检测方法、系统及相关设备。


背景技术：

2.在汽车安全方面，雷达是汽车感知周围环境的重要器件；由于毫米波雷达具有受天气影响小和抗干扰能力强等优点，目前通常通过毫米波雷达来检测汽车周围环境的目标。但是，由于毫米波雷达的目标分辨能力和目标角度分辨能力较弱，仅依赖毫米波雷达来检测目标已然无法满足当前汽车的目标检测需求，因此，如何准确的检测汽车周围环境的目标，是现如今亟需待解决的问题。


技术实现要素：

3.有鉴于此，本发明实施例提供一种目标检测方法、系统及相关设备，以准确的检测汽车周围环境的目标。
4.为实现上述目的，本发明实施例提供如下技术方案：
5.本发明实施例第一方面公开一种目标检测方法，所述方法包括：
6.调用设置在车辆特定位置的图像采集设备，采集得到待处理图像；
7.将所述待处理图像输入预设的目标检测网络进行目标检测，以检测得到目标对象对应的处于第一坐标系下的第一坐标，其中，所述目标检测网络由基于样本数据训练yolo网络得到；
8.对所述第一坐标进行坐标系变换，得到所述目标对象对应的处于第二坐标系下的第二坐标；
9.将所述第二坐标传输给所述车辆搭载的毫米波雷达阵列，使所述毫米波雷达阵列根据所述第二坐标检测所述目标对象的详情信息。
10.优选的，对所述第一坐标进行坐标系变换，得到所述目标对象对应的处于第二坐标系下的第二坐标，包括：
11.根据预设的旋转矩阵和平移向量，对所述第一坐标进行坐标系变换，得到所述目标对象对应的处于所述车辆的车坐标系下的第二坐标。
12.优选的，基于样本数据训练yolo网络得到目标检测网络的过程，包括：
13.对样本图片进行标注以得到训练数据集；
14.基于所述训练数据集将yolov5网络训练至收敛，得到目标检测网络。
15.优选的，调用设置在车辆特定位置的图像采集设备，采集得到待处理图像，包括：
16.调用设置在车辆顶部的图像采集设备，采集得到所述车辆前方区域的待处理图像。
17.本发明实施例第二方面公开一种目标检测系统，所述系统包括：
18.采集单元，用于调用设置在车辆特定位置的图像采集设备，采集得到待处理图像；
19.检测单元，用于将所述待处理图像输入预设的目标检测网络进行目标检测，以检
测得到目标对象对应的处于第一坐标系下的第一坐标，其中，所述目标检测网络由基于样本数据训练yolo网络得到；
20.变换单元，用于对所述第一坐标进行坐标系变换，得到所述目标对象对应的处于第二坐标系下的第二坐标；
21.传输单元，用于将所述第二坐标传输给所述车辆搭载的毫米波雷达阵列，使所述毫米波雷达阵列根据所述第二坐标检测所述目标对象的详情信息。
22.优选的，所述变换单元具体用于：根据预设的旋转矩阵和平移向量，对所述第一坐标进行坐标系变换，得到所述目标对象对应的处于所述车辆的车坐标系下的第二坐标。
23.优选的，所述检测单元包括：
24.标注模块，用于对样本图片进行标注以得到训练数据集；
25.训练模块，用于基于所述训练数据集将yolov5网络训练至收敛，得到目标检测网络。
26.优选的，所述采集单元具体用于：调用设置在车辆顶部的图像采集设备，采集得到所述车辆前方区域的待处理图像。
27.本发明实施例第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如本发明实施例第一方面公开的目标检测方法。
28.本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行本发明实施例第一方面公开的目标检测方法。
29.基于上述本发明实施例提供的一种目标检测方法、系统及相关设备，该方法为：调用设置在车辆特定位置的图像采集设备，采集得到待处理图像；将待处理图像输入预设的目标检测网络进行目标检测，以检测得到目标对象对应的处于第一坐标系下的第一坐标；对第一坐标进行坐标系变换，得到目标对象对应的处于第二坐标系下的第二坐标；将第二坐标传输给车辆搭载的毫米波雷达阵列，使毫米波雷达阵列根据第二坐标检测目标对象的详情信息。本方案中，通过图像采集设备采集待处理图像，并利用目标检测网络处理待处理图像以得到目标对象的第一坐标。将第一坐标进行坐标系变换以得到第二坐标，将第二坐标传递给毫米波雷达阵列来检测目标对象的详情信息。通过图像采集设备和目标检测网络确定目标对象的坐标，使毫米波雷达阵列基于该坐标来检测目标对象的详情信息，结合图像采集设备和毫米波雷达进行目标检测，提高目标检测的准确性。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
31.图1为本发明实施例提供的一种目标检测方法的流程图；
32.图2为本发明实施例提供的检测得到第一坐标的示例图；
33.图3为本发明实施例提供的检测目标对象的详情信息的示例图；
34.图4为本发明实施例提供的一种目标检测方法的工作流程图；
35.图5为本发明实施例提供的一种目标检测系统的结构框图；
36.图6为本发明实施例提供的一种目标检测系统的另一结构框图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
39.由背景技术可知，目前通常通过毫米波雷达来检测汽车周围环境的目标，但是由于毫米波雷达的目标分辨能力和目标角度分辨能力较弱，仅依赖毫米波雷达来检测目标已然无法满足当前汽车的目标检测需求。
40.因此，本发明实施例提供一种目标检测方法、系统及相关设备，通过图像采集设备采集待处理图像，并利用目标检测网络处理待处理图像以得到目标对象的第一坐标。将第一坐标进行坐标系变换以得到第二坐标，将第二坐标传递给毫米波雷达阵列来检测目标对象的详情信息。通过图像采集设备和目标检测网络确定目标对象的坐标，使毫米波雷达阵列基于该坐标来检测目标对象的详情信息，结合图像采集设备和毫米波雷达进行目标检测，以提高目标检测的准确性。
41.参见图1，示出了本发明实施例提供的一种目标检测方法的流程图，该目标检测方法包括：
42.步骤s101：调用设置在车辆特定位置的图像采集设备，采集得到待处理图像。
43.在具体实现步骤s101的过程中，利用设置在车辆的特定位置上的图像采集设备进行图像采集，采集得到待处理图像；其中，车辆的特定位置可以是车辆的顶部。
44.一些具体实施例中，调用设置在车辆顶部的图像采集设备，采集得到该车辆前方区域的待处理图像。
45.一些具体实施例中，设置在车辆顶部的图像采集设备的数量可以是多个；例如：在车辆的顶部安装有两台相机；另一些具体实施例中，设置在车辆顶部的图像采集设备也可以是双目相机；也就是说，图像采集设备具体为具有图像采集功能的设备，在本发明实施例中对于图像采集设备的具体类型和数量不做限定。
46.步骤s102：将待处理图像输入预设的目标检测网络进行目标检测，以检测得到目标对象对应的处于第一坐标系下的第一坐标。
47.需要说明的是，目标检测网络由基于样本数据训练yolo网络得到，也就是说，预先基于样本数据训练yolo网络以获取得到目标检测网络；该yolo网络可以是yolov5网络，在
本发明实施例中对于yolo网络的具体类型不做限定。以训练yolov5网络为示例，通过以下内容对如何训练得到目标检测网络的过程进行示例说明。
48.训练得到目标检测网络的相关说明：
49.获取样本图片，并对样本图片进行标注以得到训练数据集；具体而言，利用label image软件对样本图片进行标注，从而获取得到训练数据集(如voc数据集)。
50.基于训练数据集将yolov5网络训练至收敛，得到目标检测网络；具体而言，将训练数据集传入yolov5网络中进行训练，通过反向传播后训练结果会逐渐收敛，进而可获取得到相应的网络参数；将获取得到的网络参数导入yolov5网络中即可确定得到目标检测网络，该目标检测网络可以用于进行目标检测。
51.需要说明的是，可根据目标检测网络需要识别的目标对象的类型，来对样本图片进行相应的标注；例如：如果目标检测网络需要识别的目标对象为人，则需标注出(或者说框出)样本图片中的人；如果目标检测网络需要识别的目标对象为人、汽车和自行车等，则需标注出样本图片中的人、汽车和自行车等。
52.以上内容是关于如何训练得到目标检测网络的相关内容。
53.在具体实现步骤s102的过程中，通过设置在车辆顶部的图像采集设备采集得到待处理图像后，将该待处理图像输入目标检测网络进行目标检测，以检测得到目标对象对应的处于第一坐标系下的第一坐标；其中，将待处理图像输入目标检测网络后，由该目标检测网络对该待处理图像中的目标对象进行标定，目标检测网络输出该目标对象的第一坐标(相当于输出目标对象的框图)，该第一坐标为第一坐标系下的坐标。
54.例如图2提供的检测得到第一坐标的示例图，待处理图像中包含了多个目标对象(行人和车辆等)；将待处理图像输入到目标检测网络，由目标检测网络对该待处理图像中的目标对象进行标定并输出目标对象的第一坐标，目标检测网络输出的内容如图2所示，包含了各个目标对象的第一坐标。
55.步骤s103：对第一坐标进行坐标系变换，得到目标对象对应的处于第二坐标系下的第二坐标。
56.需要说明的是，由于图像采集设备在车辆的安装位置是特定的，在获取得到目标对象的第一坐标后，为使该车辆的毫米波雷达阵列能够使用该第一坐标，需要将该第一坐标进行坐标系变换，以将该第一坐标变换到该车辆的车坐标系下，具体而言，可以根据图像采集设备的安装位置和该车辆的车中心坐标，来将第一坐标变换到该车辆的车坐标系下。
57.在具体实现步骤s103的过程中，根据预设的旋转矩阵和平移向量，对第一坐标进行坐标系变换，得到目标对象对应的处于车辆的车坐标系下的第二坐标。也就是说，利用旋转矩阵和平移向量，将第一坐标变换为车坐标系下以得到第二坐标。
58.一些具体实施例中，利用公式(1)对第一坐标进行坐标系变换，得到目标对象对应的处于车辆的车坐标系下的第二坐标。
59.x'＝r3×3x+t3×1ꢀꢀ
(1)
60.在公式(1)中，x'为变换坐标系后的坐标(如第二坐标)，x为原始坐标或者变换坐标系前的坐标(如第一坐标)，r为旋转矩阵，t为平移向量。
61.需要说明的是，结合上述公式(1)可见，旋转矩阵r为三轴旋转，可将该三轴旋转抽象成如公式(2)示出的3个自由度公式。
[0062][0063]
在公式(2)中，α、β和γ为三轴旋转的角度，t
x
为x轴方向的移动距离，ty为y轴方向的移动距离，tz为z轴方向的移动距离。
[0064]
合并公式(2)示出的三个旋转公式即可确定得到旋转矩阵，该旋转矩阵的具体内容如公式(3)。
[0065][0066]
结合上述公式(1)至公式(3)的内容可见，通过旋转矩阵和平移向量可将第一坐标变换到车坐标系下从而得到第二坐标；同理，通过旋转矩阵和平移向量也可以将毫米波雷达阵列的坐标变换到车坐标系下。
[0067]
步骤s104：将第二坐标传输给车辆搭载的毫米波雷达阵列，使毫米波雷达阵列根据第二坐标检测目标对象的详情信息。
[0068]
在具体实现步骤s104的过程中，将第二坐标传输给车辆搭载的毫米波雷达阵列，毫米波雷达阵列根据该第二坐标检测目标对象的详情信息。具体而言，将第二坐标传输给车辆搭载的毫米波雷达阵列之后，毫米波雷达阵列对包含该第二坐标的特定区域进行探测，以探测得到该目标对象的详情信息。
[0069]
通过上述步骤s101至步骤s104示出的内容可见，先通过图像采集设备和目标检测网络确定得到目标对象的第一坐标，将第一坐标变换坐标系以得到第二坐标，再将第二坐标传递给毫米波雷达阵列；毫米波雷达阵列获取得到第二坐标后，毫米波雷达阵列可以集中功率探测第二坐标所对应的特定区域，从而探测得到目标对象的详情信息。需要说明的是，如果没有图像采集设备所提供的第二坐标，毫米波雷达阵列的探测范围是大范围且无规律的；通过前述方式将第二坐标提供给毫米波雷达阵列，可以使毫米波雷达阵列集中功率探测第二坐标所对应的特定区域所以可以缩短检测目标的时间，以及进一步提高毫米波雷达阵列的抗干扰能力。
[0070]
例如图3示出的检测目标对象的详情信息的示例图，先利用图像采集设备确定得到目标对象的第一坐标，对第一坐标进行坐标系变换后，再将第二坐标传输给毫米波雷达阵列，毫米波雷达阵列根据第二坐标可以集中功率探测目标对象的详情信息。
[0071]
在本发明实施例中，通过图像采集设备采集待处理图像，并利用目标检测网络处理待处理图像以得到目标对象的第一坐标。将第一坐标进行坐标系变换以得到第二坐标，将第二坐标传递给毫米波雷达阵列来检测目标对象的详情信息。通过图像采集设备和目标检测网络确定目标对象的坐标，使毫米波雷达阵列基于该坐标来检测目标对象的详情信息，结合图像采集设备和毫米波雷达进行目标检测，提高目标检测的准确性。
[0072]
为更好解释说明上述本发明实施例图1中各步骤的内容，以图像采集设备为设置在车辆顶部的两个相机为示例，结合图4对目标检测方法的工作流程进行举例说明。
[0073]
参见图4，示出了本发明实施例提供的一种目标检测方法的工作流程图，包括以下
步骤：
[0074]
步骤s401：通过两个相机采集得到车辆前方区域的待处理图像。
[0075]
步骤s402：利用目标检测网络(yolov5网络)对待处理图像进行目标检测，得到目标对象对应的处于第一坐标系下的第一坐标。
[0076]
步骤s403：对第一坐标进行坐标系变换，得到目标对象对应的处于第二坐标系下的第二坐标。
[0077]
步骤s404：将第二坐标传输给毫米波雷达阵列。
[0078]
步骤s405：毫米波雷达阵列根据第二坐标探测目标对象的详情信息。
[0079]
与上述本发明实施例提供的一种目标检测方法相对应，参见图5，本发明实施例还提供了一种目标检测系统的结构框图，该目标检测系统包括：采集单元501、检测单元502、变换单元503和传输单元504；
[0080]
采集单元501，用于调用设置在车辆特定位置的图像采集设备，采集得到待处理图像。
[0081]
在具体实现中，采集单元501具体用于：调用设置在车辆顶部的图像采集设备，采集得到车辆前方区域的待处理图像。
[0082]
检测单元502，用于将待处理图像输入预设的目标检测网络进行目标检测，以检测得到目标对象对应的处于第一坐标系下的第一坐标，其中，目标检测网络由基于样本数据训练yolo网络得到。
[0083]
变换单元503，用于对第一坐标进行坐标系变换，得到目标对象对应的处于第二坐标系下的第二坐标。
[0084]
在具体实现中，变换单元503具体用于：根据预设的旋转矩阵和平移向量，对第一坐标进行坐标系变换，得到目标对象对应的处于车辆的车坐标系下的第二坐标。
[0085]
传输单元504，用于将第二坐标传输给车辆搭载的毫米波雷达阵列，使毫米波雷达阵列根据第二坐标检测所述目标对象的详情信息。
[0086]
在本发明实施例中，通过图像采集设备采集待处理图像，并利用目标检测网络处理待处理图像以得到目标对象的第一坐标。将第一坐标进行坐标系变换以得到第二坐标，将第二坐标传递给毫米波雷达阵列来检测目标对象的详情信息。通过图像采集设备和目标检测网络确定目标对象的坐标，使毫米波雷达阵列基于该坐标来检测目标对象的详情信息，结合图像采集设备和毫米波雷达进行目标检测，提高目标检测的准确性。
[0087]
优选的，结合图5，参见图6，示出了本发明实施例提供的一种目标检测系统的另一结构框图，检测单元502包括：标注模块5021和训练模块5022；
[0088]
标注模块5021，用于对样本图片进行标注以得到训练数据集。
[0089]
训练模块5022，用于基于训练数据集将yolov5网络训练至收敛，得到目标检测网络。
[0090]
在本发明实施例中，利用样本数据训练yolov5网络以得到目标检测网络，结合该目标检测网络与毫米波雷达阵列来进行目标检测。先利用目标检测网络从由图像采集设备采集到的图像中确定目标对象的坐标，再使毫米波雷达阵列基于该坐标来检测目标对象的详情信息，提高目标检测的准确性。
[0091]
优选的，本发明实施例还提供了一种电子设备，包括：处理器以及存储器，处理器
以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，程序用于实现如上述方法实施例提供的目标检测方法。
[0092]
优选的，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行上述方法实施例提供的目标检测方法。
[0093]
综上所述，本发明实施例提供一种目标检测方法、系统及相关设备，通过图像采集设备采集待处理图像，并利用目标检测网络处理待处理图像以得到目标对象的第一坐标。将第一坐标进行坐标系变换以得到第二坐标，将第二坐标传递给毫米波雷达阵列来检测目标对象的详情信息。通过图像采集设备和目标检测网络确定目标对象的坐标，使毫米波雷达阵列基于该坐标来检测目标对象的详情信息，结合图像采集设备和毫米波雷达进行目标检测，提高目标检测的准确性。
[0094]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0095]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0096]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。