一种参数标定方法、装置及雷视融合检测设备与流程

1.本发明涉及道路交通技术领域，具体涉及一种参数标定方法、装置及雷视融合检测设备。


背景技术：

2.随着智慧交通技术的发展，车路协同概念的提出与普及，路测感知技术快速发展。常用的路测感知单元以视频检测器和毫米波雷达为主，单一传感器检测效果已经无法满足越来越高的需求。现阶段多种传感器融合，能够提高路测感知的精度，提供更加丰富的感知数据，从而加速车路协同落地、提高交通的安全性。但是感器融合需要对传感器之间进行联合标定，现有的标定方式多为建立棋盘格，人工放置标定物，通过固定标定点进行联合标定，同时在标定过程中需要引入多项参数，过程复杂，标定效率低，容易因操作失误对标定结果产生影响。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种参数标定方法、装置及雷视融合检测设备，以简化标定流程，提高效率。
4.为达到上述目的，本发明提供如下技术方案：
5.本发明实施例提供了一种参数标定方法，应用于雷视检测设备，所述雷视检测设备包括：雷达设备和图像采集设备，所述雷达设备和所述图像采集设备具有重叠检测区域，所述方法包括：
6.获取所述雷达设备和所述图像采集设备分别在所述重叠检测区域中采集的各目标标定对象的雷达数据和图像数据；
7.基于所述雷达数据和所述图像数据确定各所述目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标；
8.基于各所述目标标定对象在雷达坐标系下的雷达坐标和像素坐标间的对应关系，确定所述雷达设备与所述图像采集设备间的坐标转换模型。
9.可选的，所述基于各所述目标标定对象在雷达坐标系下的雷达坐标和像素坐标间的对应关系，确定所述雷达设备与所述图像采集设备间的坐标转换模型，包括：
10.获取若干目标标定对象对应的雷达坐标和像素坐标；
11.将若干目标标定对象对应的雷达坐标和像素坐标输入至预设坐标转换模型，确定所述预设坐标转换模型的各个模型参数；
12.基于所述预设坐标转换模型及其对应的各个模型参数，生成坐标转换模型；
13.分别将各所述目标标定对象对应的像素坐标输入至所述坐标转换模型，得到各所述目标标定对象对应的预测雷达坐标；
14.基于各所述目标标定对象对应的预测雷达坐标与真实雷达坐标间的距离误差，对所述坐标转换模型进行优化，直至满足预设距离误差要求。
15.可选的，在获取若干目标标定对象对应的雷达坐标和像素坐标之后，所述方法还包括：
16.对各所述目标标定对象对应的雷达坐标和像素坐标进行齐次化处理。
17.可选的，所述基于所述雷达数据和所述图像数据确定各所述目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标，包括：
18.通过雷达获取所述重叠检测区域内多个目标标定对象的雷达检测坐标，并将所述雷达检测坐标进行整合的到得到雷达目标的坐标集合；
19.通过图像采集设备获取所述重叠检测区域内多个目标标定对象的像素坐标，并将所述像素坐标进行整合的到得到图像目标的坐标集合。
20.可选的，所述通过雷达获取所述重叠检测区域内多个目标标定对象的雷达检测坐标，包括：
21.通过所述雷达设备对所述目标标定对象进行识别，获取所述目标标定对象的雷达信息；
22.基于所述雷达信息获取所述目标标定对象靠近图像采集设备一侧的轮廓信息；
23.根据预设的目标选取规则从所述轮廓信息内选取雷达目标点，并确定所述雷达目标点在雷达坐标系下的雷达坐标。
24.可选的，所述通过图像采集设备获取所述重叠检测区域内多个目标标定对象的像素坐标，包括：
25.通过图像采集设备对所述目标标定对象进行识别，获取所述目标标定对象的图像信息；
26.基于所述图像信息获取所述目标标定对象的轮廓；
27.根据预设的选取规则从所述轮廓上选取图像目标点，并确定所述图像目标点在图像采集设备坐标系下的像素坐标。
28.可选的，所述目标标定对象通过以下方式获取，包括：
29.通过所述雷达设备对所述重叠检测区域内的场景进行目标检测，获取固定场景信息；
30.通过所述图像采集设备对所述重叠检测区域进行目标识别，获取场景图像信息；
31.基于所述固定场景信息和所述场景图像信息，选取共有的固定场景作为目标标定对象。
32.本发明实施例还提供了一种参数标定装置，包括：
33.数据获取模块：用于获取雷达设备和图像采集设备分别在重叠检测区域中采集的各目标标定对象的雷达数据和图像数据；
34.坐标确定模块：基于雷达数据和图像数据确定各所述目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标；
35.转换模块：基于各所述目标标定对象在雷达坐标系下的雷达坐标和像素坐标间的对应关系，确定所述雷达设备与所述图像采集设备间的坐标转换模型。
36.本发明实施例还提供了一种雷视融合检测设备，其特征在于，包括：雷达设备、图像采集设备及控制器，其中，
37.所述雷达设备和所述图像采集设备具有重叠检测区域，
38.所述控制器包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的参数标定方法。
39.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的参数标定方法。
40.本发明技术方案，具有如下优点：
41.本发明提供了一种参数标定方法、装置及电子设备，应用于雷视检测设备，雷视检测设备包括：雷达设备和图像采集设备，雷达设备和图像采集设备具有重叠检测区域，通过获取雷达设备和图像采集设备分别在重叠检测区域中采集的各目标标定对象的雷达数据和图像数据；基于雷达数据和图像数据确定各目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标；基于各目标标定对象在雷达坐标系下的雷达坐标和像素坐标间的对应关系，确定雷达设备与图像采集设备间的坐标转换模型。本发明无需引入图像采集设备的内参，也无需测量雷达设备和图像采集设备的相对位置关系，通过采用非线性拟合的方式，从同一目标标定对象分别在两个坐标系下的坐标直接拟合出映射关系，实现雷达设备与图像采集设备间的参数标定，极大的简化了标定流程，提高了标定效率。
附图说明
42.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明实施例中的参数标定方法的流程图；
44.图2为根据本发明实施例中确定各目标标定对象的雷达坐标和像素坐标的流程图；
45.图3为根据本发明实施例中得到雷达目标的坐标集合的流程图；
46.图4为根据本发明实施例中得到图像目标的坐标集合的流程图；
47.图5为根据本发明实施例中确定雷达设备与图像采集设备间的坐标转换模型的流程图；
48.图6为根据本发明实施例中确定目标标定对象的流程图；
49.图7为本发明实施例中的参数标定装置的结构示意图；
50.图8为本发明实施例中的电子设备的结构示意图。
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.根据本发明实施例，提供了一种参数标定方法实施例，需要说明的是，在附图的流
程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
53.在本实施例中提供了一种参数标定方法，应用于雷视检测设备，雷视检测设备包括：雷达设备和图像采集设备，雷达设备和图像采集设备具有重叠检测区域，如图1所示，该参数标定方法包括如下步骤：
54.步骤s1：获取雷达设备和图像采集设备分别在重叠检测区域中采集的各目标标定对象的雷达数据和图像数据。具体的，通过在重叠监测区域中选择目标标定对象，然后分别采集该目标标定对象分别通过雷达设备获取的雷达数据和通过图像采集设备获取的图像数据，由于重叠区域均存在于雷达设备的检测区域和图像采集设备的检测区域，因此可直接得到雷达数据和图像数据，过程简单易操作。
55.步骤s2：基于雷达数据和图像数据确定各目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标。具体的，由于雷达设备和图像采集设备分别为两个坐标系，在进行联合标定的时候，需要找到两个坐标系之间最优的转化模型，因此需要通过雷达数据和图像数据确定各目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标。
56.步骤s3：基于各目标标定对象在雷达坐标系下的雷达坐标和像素坐标间的对应关系，确定雷达设备与图像采集设备间的坐标转换模型。具体的，通过求得雷达坐标和像素坐标间的对应关系，并对其进行最优求解，得到最终的坐标转换模型，极大的简化了标定流程。
57.通过上述步骤s1至步骤s3，本发明实施例提供的一种参数标定方法，通过采用非线性拟合的方式，从同一目标标定对象分别在两个坐标系下的坐标直接拟合出映射关系，无需引入图像采集设备的内外参数，也无需获取雷达设备与图像采集设备间的位置关系，极大的简化了标定流程，提高了标定效率。
58.具体地，在一实施例中，上述的步骤s2，如图2所示，具体包括如下步骤：
59.s21：通过雷达获取重叠检测区域内多个目标标定对象的雷达检测坐标，并将雷达检测坐标进行整合的到得到雷达目标的坐标集合。
60.s22：通过图像采集设备获取重叠检测区域内多个目标标定对象的像素坐标，并将像素坐标进行整合的到得到图像目标的坐标集合。
61.具体的，通过上述步骤s21至步骤s22，通过对重叠检测区域内多个目标标定对象进行雷达检测和图像采集，获得多个目标标定对象的雷达检测坐标和像素坐标，由于后续需要通过对同一目标标定对象的雷达检测坐标和像素坐标进行拟合得到映射关系，因此将多个目标标定对象的雷达检测坐标和像素坐标进行整合，得到雷达目标的坐标集合和图像目标的坐标集合，便于对数据进行对应的提取。
62.具体地，在一实施例中，上述的步骤s21，如图3所示，具体包括如下步骤：
63.s211：通过雷达设备对目标标定对象进行识别，获取目标标定对象的雷达信息。具体的，雷达设备是通过接收反射的雷达波进行检测，可以获取检测范围内所有场景的方位、高度等多方面信息，在标定过程中需要从所有的信息中提取与图像采集设备重叠区域目标标定对象的雷达信息，不需要非重叠区域或重叠区域非目标标定对象的数据，此过程可有
效排除无用数据，减少数据存储和处理的数量，加快标定速度，提高效率。
64.s212：基于雷达信息获取目标标定对象靠近图像采集设备一侧的轮廓信息。具体的，由于雷达设备采集的数据较为全面，在选取雷达目标点的时候，需要考虑到图像采集设备仅能采集到的靠近图像采集设备一侧的图像信息，因此通过雷达信息获取目标标定对象靠近图像采集设备一侧的轮廓信息是为了更好的与图像信息进行映射，提高精确度。
65.s213：根据预设的目标选取规则从轮廓信息内选取雷达目标点，并确定雷达目标点在雷达坐标系下的雷达坐标。具体的，通过预设的目标选取规则选取雷达目标点，预设的目标选取规则为通过规定选取轮廓上的边角点或中心点。
66.具体的，通过上述步骤s211至步骤s213，可以选取重叠范围内所有固定的场景，例如：建筑、树木、电线杆等，不再局限于现有技术中通过人为放置标定点或按一定顺序安装固定标定点的方式，减少了工作量，提高了工作效率，同时，此方法在用于路测时，可有效避免了操作人员在道路上设置标定点过程影响交通秩序或因此带来的安全隐患。
67.具体地，在一实施例中，上述的步骤s22，如图4所示，具体包括如下步骤：
68.s221：通过图像采集设备对目标标定对象进行识别，获取目标标定对象的图像信息。具体的，由于图像采集设备采集到的是视频数据或图片，因此在标定过程中，需要对图像进行识别，提取出于雷达设备重叠区域的场景信息，并通过识别，辨别出目标标定对象，由于现阶段的图像识别技术较为成熟，此过程可有效识别出场景中的目标标定对象，速度快、准确率高。
69.s222：基于图像信息获取目标标定对象的轮廓。具体的，通过图像处理技术，可有效提取目标标定对象的轮廓。
70.s223：根据预设的选取规则从轮廓上选取图像目标点，并确定图像目标点在图像采集设备坐标系下的像素坐标。具体的，由于图像目标点和雷达目标点是通过统一预设选取规则从轮廓上选取的，为同一目标标定对象的图像目标点和雷达目标点的位置对应关系提供了有效的保障。
71.具体地，在一实施例中，上述的步骤s3，如图5所示，具体包括如下步骤：
72.步骤s31：获取若干目标标定对象对应的雷达坐标和像素坐标。
73.步骤s32：将若干目标标定对象对应的雷达坐标和像素坐标输入至预设坐标转换模型，确定预设坐标转换模型的各个模型参数。具体的，先预设坐标转换模型，然后从目标标定对象中选取若干目标标定对象对应的雷达坐标和像素坐标输入至预设坐标转换模型，可以确定上述预设坐标转换模型中的模型参数。
74.步骤s33：基于预设坐标转换模型及其对应的各个模型参数，生成坐标转换模型。具体的，根据得到的各个模型参数生成未进行优化的坐标转换模型。
75.步骤s34：分别将各目标标定对象对应的像素坐标输入至坐标转换模型，得到各目标标定对象对应的预测雷达坐标。具体的，通过将剩余未带入预设坐标转换模型的目标标定对象的像素坐标输入至坐标转换模型，通过转换，得到预测的雷达坐标。
76.步骤s35：基于各目标标定对象对应的预测雷达坐标与真实雷达坐标间的距离误差，对坐标转换模型进行优化，直至满足预设距离误差要求。具体的，将预测的雷达坐标与对应的真实的雷达坐标进行比对，得到距离误差，然后根据误差对坐标转换模型进行优化，在最终的优化结果落入预设距离误差范围内时，认为此坐标转换模型达到了使用要求。
77.具体的，通过上述步骤s31至步骤s35，得到符合要求的坐标转换模型，过通过采用非线性拟合的方式，从同一目标标定对象分别在两个坐标系下的坐标直接拟合出映射关系，在保证了准确率的情况下，极大的简化了标定的流程。
78.具体地，在一实施例中，上述的步骤s3，在步骤s31之后，还包括如下步骤：
79.步骤s312：对各目标标定对象对应的雷达坐标和像素坐标进行齐次化处理。具体的，通过齐次化处理，使得求解和优化的过程更加简洁。
80.具体地，在一实施例中，上述的参数标定方法，如图6所示，目标标定对象通过以下方式获取，具体包括如下步骤：
81.步骤s41：通过雷达设备对重叠检测区域内的场景进行目标检测，获取固定场景信息。具体的，在标定过程中，需要以固定的场景信息为标准，由于雷达设备在检测过程中，可能存在移动的物体，为了防止移动的物体成为目标标定对象，需要多次检测进行比对，过滤掉移动的物体，得到固定场景信息；若将移动的物体作为目标标定对象，容易因为时间误差，造成雷达设备获取到的位置与图像设备获取的位置不同，从而影响标定的准确性。
82.步骤s42：通过图像采集设备对重叠检测区域进行目标识别，获取场景图像信息。
83.步骤s43：基于固定场景信息和场景图像信息，选取共有的固定场景作为目标标定对象。具体的，由于在标定过程中，需要通过采用同一目标标定对象分别在两个坐标系下的坐标，因此在选择目标标定对象的时候，采取上述方式能够更加准确的选取，从而保障标定过程的准确性。
84.具体地，在一实施例中，上述的参数标定方法，列举如下过程：
85.首先，对雷达和摄像头检测目标坐标进行齐次化处理：
86.雷达目标坐标齐次化，(x,y,1)；
87.视频目标坐标齐次化，(x’,y’,1)；
88.预设坐标转换模型：
89.o＝hp
90.其中：
[0091][0092]
则：
[0093][0094]
通过求解出h中的参数，经运算变换求得以下关系式：
[0095][0096]
每次分别从雷达目标的坐标集合和图像目标的坐标集合中选出4对坐标对，计算出坐标转换模型h。
[0097]
然后通过计算各目标标定对象对应的图像坐标经转换模型的转换后与真实雷达坐标间的距离误差d，函数如下：
[0098]
d＝||o
‑
hp||
[0099]
直至d满足预设距离误差要求。
[0100]
在本实施例中还提供了一种参数标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0101]
本实施例提供一种参数标定装置，如图7所示，包括：
[0102]
数据获取模块101，用于获取雷达设备和图像采集设备分别在重叠检测区域中采集的各目标标定对象的雷达数据和图像数据。详细内容参见上述方法实施例中步骤s1的相关描述，在此不再进行赘述。
[0103]
坐标确定模块102，用于基于雷达数据和图像数据确定各目标标定对象在雷达设备坐标系下的雷达坐标和图像采集设备坐标系下的像素坐标。详细内容参见上述方法实施例中步骤s2的相关描述，在此不再进行赘述。
[0104]
转换模块103，用于基于各目标标定对象在雷达坐标系下的雷达坐标和像素坐标间的对应关系，确定雷达设备与图像采集设备间的坐标转换模型。详细内容参见上述方法实施例中步骤s3的相关描述，在此不再进行赘述。
[0105]
本实施例中的参数标定装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
[0106]
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
[0107]
根据本发明实施例还提供了一种雷视融合检测设备，如图8所示，该雷视融合检测设备包括：雷达设备、图像采集设备及控制器，其中，雷达设备和图像采集设备具有重叠检测区域，该控制器包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图8中以通过总线连接为例。
[0108]
处理器901可以为中央处理器(central processing unit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0109]
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
[0110]
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0111]
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
[0112]
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0113]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid
‑
state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
[0114]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。