稀疏点云的优化方法、系统、电子设备、存储介质与流程

1.本发明涉及光学检测技术领域，尤其涉及一种稀疏点云的优化方法、系统、电子设备、存储介质。


背景技术：

2.毫米波雷达利用辐射电磁能量来测量在传感器视野中的目标，远距离目标探测能力强。与其他汽车传感器相比，汽车雷达可以提供目标独一无二的速度(多普勒)测量，在恶劣天气和强光照环境下仍有较好的鲁棒性，并且成本相对较低，因此被称为汽车感知技术中最为可靠的传感器。随着雷达技术和芯片技术的发展，毫米波雷达体积越来越小，可以在多目标复杂的环境下发挥很好的性能，更好的对驾驶人起到预警作用，这使得人们对毫米波雷达越来越重视。
3.随着毫米波雷达从adas(advanced driving assistance system，高级驾驶辅助系统)向l2、l3等高级别自动驾驶应用的不断扩展，毫米波雷达感知也要求更高的检测精度、更高的检测率和更低的误检概率，同时还要提供目标更精准的信息。但是，由于毫米波的角度分辨率的限制，导致其点云簇分布相对稀疏，对同一目标在不同帧的检测点点云簇分布较为随机，缺乏清晰的轮廓特征，同时，由于横向检测精度的影响，导致目标位置精度不高，这对毫米波雷达的感知带来了很大的挑战。
4.为了满足高阶自动驾驶对目标属性的精度要求，需要实现稀疏毫米波雷达点云簇下的高精度检测。而现有技术中，基于单帧或单周期的点云簇的目标检测，由于点云簇的稀疏，十分容易造成目标的漏检和误检。
5.因此，需要一种更加可靠的方法来解决稀疏点云簇下的障碍物检测问题。


技术实现要素：

6.针对现有技术存在的问题，本发明提供一种稀疏点云的优化方法、系统、电子设备、存储介质。
7.本发明提供的一种稀疏点云的优化方法，所述方法包括：
8.对第一周期内检测到的第一点云簇进行第一位置估计和速度估计；
9.基于所述速度估计和所述第一周期到第二周期的时间差，获取所述第一点云簇的运动估计；
10.基于所述运动估计和所述第一位置估计，获取所述第一点云簇在第二周期的第二位置估计；
11.基于所述第二位置估计，将所述第一点云簇和所述第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
12.根据本发明提供的一种稀疏点云的优化方法，所述基于所述运动估计和所述第一位置估计，获取所述第一点云簇在第二周期的第二位置估计，包括：
13.基于所述运动估计和所述第一位置估计，生成所述第一点云簇在第二周期的初步
位置估计；
14.基于检测主体在所述时间差内的自身位姿信息和所述初步位置估计，获取所述第一点云簇在第二周期的第二位置估计。
15.根据本发明提供的一种稀疏点云的优化方法，所述自身位姿信息包括所述检测主体自身速度变化导致的平移和旋转。
16.根据本发明提供的一种稀疏点云的优化方法，所述方法还包括：
17.基于所述密集优化的点云簇，进行目标检测。
18.根据本发明提供的一种稀疏点云的优化方法，所述第一点云簇的获取方法，包括：
19.在所述第一周期内，通过毫米雷达波探测周围障碍物目标，获取多帧第一点云信息；
20.将所述多帧第一点云信息转换为车体坐标系下的多帧第二点云信息；
21.基于所述多帧第二点云信息，通过聚类形成若干所述第一点云簇。
22.根据本发明提供的一种稀疏点云的优化方法，所述周期包括自动驾驶的感知处理周期。
23.本发明还提供的一种稀疏点云的优化系统，所述系统包括：
24.第一估计模块，所述第一估计模块对第一周期内检测到的第一点云簇进行第一位置估计和速度估计；
25.第二估计模块，所述第二估计模块基于所述速度估计和所述第一周期到第二周期的时间差，获取所述第一点云簇的运动估计；
26.第三估计模块，所述第三估计模块基于所述运动估计和所述第一位置估计，获取所述第一点云簇在第二周期的第二位置估计；
27.优化模块，所述优化模块基于所述第二位置估计，将所述第一点云簇和所述第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
28.本发明还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述稀疏点云的优化方法的步骤。
29.本发明还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述稀疏点云的优化方法的步骤。
30.本发明还提供的一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述稀疏点云的优化方法的步骤。
31.本发明提供的稀疏点云的优化方法、系统、电子设备、存储介质，通过对历史周期内的第一点云簇进行速度预测，从而估计出第一点云簇在当前周期内的位置，再与当前周期内的第二点云簇结合，使得当前周期的点云簇密度增加，解决传感器获取的点云簇稀疏的问题。
附图说明
32.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附
图获得其他的附图。
33.图1为本发明提供的一种稀疏点云的优化方法流程示意图；
34.图2为现有技术中的前向毫米波雷达单帧检测结果示意图；
35.图3为本发明实施例提供的前向毫米波雷达多帧运动补偿检测结果示意图；
36.图4为本发明还提供的一种稀疏点云的优化系统示意图；
37.图5为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
38.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的稀疏点云的优化方法进行详细地说明。
40.图1为本发明提供的一种稀疏点云的优化方法流程示意图，如图1所示，本发明提供的一种稀疏点云的优化方法，方法包括如下步骤。
41.s100、对第一周期内检测到的第一点云簇进行第一位置估计和速度估计。
42.需要说明的是，检测主体上设置有传感器，能够获取检测主体周边的目标，目标的表现形式为点云簇。
43.可选地，第一位置是指检测到的目标相对于检测主体的位置，
44.优选地，当目标与检测主体处于同一平面，采用极坐标体系来标识目标与检测主体的距离和方位角。
45.可选地，速度估计是指目标相对于检测主体的速度，具体地，速度估计的方法包括：
46.获取第一点云簇内多个点云与检测主体的径向速度距离与方位角；
47.基于多个点云相对于检测主体的径向速度、距离与方位角，通过对这些点云进行最小二乘，估计目标相对于检测主体的速度。
48.可选地，根据得到的第一点云簇，可以得到该第一点云簇所表征的目标的位置、大小和速度信息。具体方法如下：假设该第一点云簇中有k个点云，每个点云的信息有距离r，方位角θ和径向速度vr，由于k个点云表征的目标的属性是唯一的，所以对k个点云进行最小二乘，估计目标真实的速度信息，参考公式如下：
[0049][0050]
同时，根据第一点云簇中心点位置和分布情况，得到目标的位置，长宽信息。
[0051]
进一步地，将计算得到的v
x
，vy(目标在x，y方向上的速度)赋值给该簇中的每个点云。
[0052]
s200、基于速度估计和第一周期到第二周期的时间差，获取第一点云簇的运动估计。
[0053]
需要说明的是，第二周期和第一周期并不一定遵循时间上的先后顺序，也不一定是相临近的两个周期。
[0054]
可选地，第二周期即第一周期之后紧邻的下一个周期，时间差等于一个周期的跨度。
[0055]
可选地，运动估计是指的假定检测主体维持原有的运动状态不变，在此基础上，检测到的目标在之前的速度估计下发生的相对检测主体的相对位移。
[0056]
s300、基于运动估计和第一位置估计，获取第一点云簇在第二周期的第二位置估计。
[0057]
s400、基于第二位置估计，将第一点云簇和第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
[0058]
需要说明的是，第二点云簇和第一点云簇来自于对同一目标的检测。
[0059]
本实施例通过对历史周期内的第一点云簇进行速度预测，从而估计出第一点云簇在当前周期内的位置，再与当前周期内的第二点云簇结合，使得当前周期的点云簇密度增加，解决传感器获取的点云簇稀疏的问题。
[0060]
进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种稀疏点云的优化方法，基于运动估计和第一位置估计，获取第一点云簇在第二周期的第二位置估计，包括：
[0061]
基于运动估计和第一位置估计，生成第一点云簇在第二周期的初步位置估计；
[0062]
基于检测主体在时间差内的自身位姿信息和初步位置估计，获取第一点云簇在第二周期的第二位置估计。
[0063]
需要说明的是，前述实施例仅仅考虑了目标在预测速度下发生了与检测主体的第一相对位移，本实施例则在此基础上，考虑了在时间差的过程中，检测主体自身的速度(矢量)发生变化，导致的检测主体在第二周期中的实际位置，相较于检测主体自身速度不变、在第二周期中的(假定的)虚拟位置产生的第二相对位移，综合第一相对位移和第二相对位移，来确定第一点云簇在第二周期时的相对检测主体的位移，从而进一步基于原第一位置，估计出第二位置。
[0064]
可选地，首先对即第一点云簇进行运动补偿，包括：根据点云到达时间与当前时间的时间差δt，结合前述的点云被计算赋值的速度vx、vy计算得到补偿目标运动的点云的初步位置估计x'、y'，参考公式如下：
[0065]
x'＝x+v
x
·
δt
[0066]
y'＝y+vy·
δt
[0067]
然后，结合自车运动信息，补偿自车运动带来的偏差，得到目标在当前自车运动状态下的第二位置估计x”、y”，参考公式如下：
[0068][0069]
其中，t表示自车的相对运动。
[0070]
本实施例考虑了检测主体的运动变化，使得第一点云簇预测出的第二位置更为精准。
[0071]
进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种稀疏点云的优化方法，自身位姿信息包括检测主体自身速度变化导致的平移和旋转。
[0072]
需要说明的是，平移是指前述的第二相对位移，旋转则是检测主体自身绕自轴的转动，比如检测主体逆时针转动，导致第一点云簇相较于检测主体，方位角围绕所述检测主体顺时针转动。
[0073]
本实施例细化了第一点云簇由于检测主体的运动发生变化导致二者相对距离和方位的变化，使得第一点云簇预测出的第二位置更为精准。
[0074]
进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种稀疏点云的优化方法，方法还包括：
[0075]
基于密集优化的点云簇，通进行目标检测。
[0076]
可选地，检测主体周围每个周期内，通过检测获取多个点云簇，通过聚类方法，基于密集化后的点云簇，确定检测主体具体有多少目标，并进一步确定目标的轮廓形状和大小。
[0077]
本实施例通过聚类方法利用点云簇实现快速的目标检测，由于前述的结合目标预测运动和检测主体自身运动的第一点云簇的迁移方法，使得第一点云簇能移动至第二周期内与第二点云簇精确重合。如果不通过上述的方案，第一点云簇可能移动至第二周期时，已经不在实际与之对应的目标框架内，导致漏检和误检。
[0078]
进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种稀疏点云的优化方法，第一点云簇的获取方法，包括：
[0079]
在第一周期内，通过毫米雷达波探测周围障碍物目标，获取多帧第一点云信息；
[0080]
将多帧第一点云信息转换为车体坐标系下的多帧第二点云信息；
[0081]
基于多帧第二点云信息，通过聚类形成若干第一点云簇。
[0082]
可选地，周期是自动驾驶的感知处理周期。优选地，自动驾驶的感知处理周期为10hz。在该周期下，可以取得较好的目标检测效果。
[0083]
可选地，所述目标包括自动驾驶中的车辆的周边其他车辆。
[0084]
可选地，自动驾驶汽车周围的多个毫米波雷达在一个感知处理周期内，共得到m帧雷达点云。通过毫米波雷达标定信息对每帧点云进行坐标系转换，得到m帧车体坐标系下的点云。
[0085]
可选地，将m帧点云拼接在一起，得到360
°
点云。对这些点云进行dbscan(density-based spatial clustering of applications with noise)聚类。dbscan聚类又称基于密度的聚类，其一般思想是：搜索空间中每一个点，使用适合的距离度量来确定邻域目标个数，如果一个点的邻域范围内目标数超过某一阈值，则形成一个聚类簇，对应的目标点为核心点。若一个核心点位于另一个核心点的聚类簇中，则认为两点直接密度可达。多个点由直接密度可达串联起来，则点与点之间为密度可达。从一个核心点开始，不断向密度可达的区域生长，最终得到一个包括核心点及其邻域目标的最大化区域，形成最终聚类。不满足核心点定义且不包含在聚类簇中的目标点被认为噪声点。通过聚类，可以得到目标在当前感知处理周期的点云簇(cluster)，也就是毫米波雷达在每个物体上的检测点的集合。
[0086]
本实施例公布了点云密集化的具体的应用场景和如何获取、处理点云簇，当用于自动驾驶时，其能够实现更精确的目标检测，从而服务自动驾驶系统。
[0087]
基于本实施例的方法，与现有技术的技术效果对照如下：
[0088]
图2为现有技术中的前向毫米波雷达单帧检测结果示意图，如图2所示，黑框表示的自车发射毫米波探测目标，虚线框表示目标真实位置和大小，圆点表示毫米波雷达检测点，依托圆点的矩形框表示根据单帧点云得到的检测结果。可以看出，单帧检测结果由于点云的稀疏，造成目标中心点位置不准，目标大小不准，最靠右的目标由于只有一个点，无法聚类，造成漏检。
[0089]
图3为本发明实施例提供的前向毫米波雷达多帧运动补偿检测结果示意图，如图3所示，相比图2的现有技术，本实施例检测结果的位置，长宽精度都有了很大提升，同时，由于多帧积累，最右侧目标点云密度提升，能够被雷达检出。减少了由于点云稀疏造成的漏检。
[0090]
本发明实施例创新性地将目标的速度回归方法应用在历史感知处理周期点云中，得到点云簇的真实速度方向，从而根据点云到达的时间差，将过去一段时间内的点云的运动进行预测，精确的补偿了目标运动。然后，利用自身位姿信息，对这些点进行自车平移和旋转的运动补偿，综上两步，得到过去一段时间内点云在当前时刻和位姿下的状态，从而和当前时刻得到的点云积累在一起，共同参与当前时刻目标检测。
[0091]
下面对本发明提供的稀疏点云的优化系统进行描述，下文描述的稀疏点云的优化系统与上文描述的稀疏点云的优化方法可相互对应参照。
[0092]
图4为本发明还提供的一种稀疏点云的优化系统示意图，如图4所示，本发明还提供的一种稀疏点云的优化系统，系统包括：
[0093]
第一估计模块，第一估计模块对第一周期内检测到的第一点云簇进行第一位置估计和速度估计；
[0094]
第二估计模块，第二估计模块基于速度估计和第一周期到第二周期的时间差，获取第一点云簇的运动估计；
[0095]
第三估计模块，第三估计模块基于运动估计和第一位置估计，获取第一点云簇在第二周期的第二位置估计；
[0096]
优化模块，优化模块基于第二位置估计，将第一点云簇和第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
[0097]
本实施例通过对历史周期内的第一点云簇进行速度预测，从而估计出第一点云簇在当前周期内的位置，再与当前周期内的第二点云簇结合，使得当前周期的点云簇密度增加，解决传感器获取的点云簇稀疏的问题。
[0098]
图5为本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行稀疏点云的优化方法，所述方法包括：
[0099]
对第一周期内检测到的第一点云簇进行第一位置估计和速度估计；
[0100]
基于所述速度估计和所述第一周期到第二周期的时间差，获取所述第一点云簇的
运动估计；
[0101]
基于所述运动估计和所述第一位置估计，获取所述第一点云簇在第二周期的第二位置估计；
[0102]
基于所述第二位置估计，将所述第一点云簇和所述第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
[0103]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的稀疏点云的优化方法，所述方法包括：
[0105]
对第一周期内检测到的第一点云簇进行第一位置估计和速度估计；
[0106]
基于所述速度估计和所述第一周期到第二周期的时间差，获取所述第一点云簇的运动估计；
[0107]
基于所述运动估计和所述第一位置估计，获取所述第一点云簇在第二周期的第二位置估计；
[0108]
基于所述第二位置估计，将所述第一点云簇和所述第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
[0109]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的稀疏点云的优化方法，所述方法包括：
[0110]
对第一周期内检测到的第一点云簇进行第一位置估计和速度估计；
[0111]
基于所述速度估计和所述第一周期到第二周期的时间差，获取所述第一点云簇的运动估计；
[0112]
基于所述运动估计和所述第一位置估计，获取所述第一点云簇在第二周期的第二位置估计；
[0113]
基于所述第二位置估计，将所述第一点云簇和所述第二周期内检测到的第二点云簇叠加，形成密集优化的点云簇。
[0114]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0115]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0116]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。