点云数据采样方法、装置及电子设备与流程

[0001]
本申请涉及智能驾驶技术领域，尤其是涉及一种点云数据采样方法、装置及电子设备。


背景技术：

[0002]
随着3d传感器技术（激光雷达，rgb-d摄像头，多目摄像头等）的快速发展和成本降低，越来越多的自动驾驶设备开始把3d传感器作为必备的感知传感器。相比传统的2d传感器（如彩色摄像头），3d传感器能够获取交通环境中丰富的几何位置信息，提升无人驾驶车辆的感知性能，进而使自动驾驶设备的安全性和高效性都得到保证。其中，基于从激光雷达获取的三维点云数据和机器学习（神经网络）的方法，对交通环境进行目标检测，跟踪，分割等，是自动驾驶环境感知的重要组成部分。
[0003]
当前行业内最前沿的感知方案依赖基于点的深度学习方法（如pointnet++，pointsift，kpconv，rs-cnn，randla-net等）提取特征，以保证原始点云信息的完整和提取特征的鲁棒性。此类方法分为三步：1）从原始点云中选取关键点，2）在关键点一定范围内选取一定数量的相邻点，对这些局部区域的点进行特征提取和聚合，3）重复1）和2）多次，形成层级的特征提取和聚合操作，从而将感知范围覆盖到整个点云范围。
[0004]
其中，在步骤1）中，传统点云采样算法，如fps(farthest point sampling)，idis(inverse density importance sampling)，rs(random sampling)等能够保证实时性，但均是基于特定的几何规则的点云采样，往往追求覆盖整个点云范围，由于在自动驾驶场景下点云中背景点占绝大多数，传统的采样方法会大量采样背景点，从而影响整体感知性能。


技术实现要素：

[0005]
本申请的目的在于提供一种点云数据采样方法、装置及电子设备，基于神经网络提取的点特征值，及点的三维坐标值确定的点与点之间的距离，对原始点云数据进行循环点采样，能够增加前景点的采样，在保证实时性的基础上提升感知性能。
[0006]
第一方面，本申请实施例提供一种点云数据采样方法，方法包括：获取目标对象的原始点云数据；原始点云数据为通过激光雷达对目标对象进行扫描得到的点云数据；原始点云数据中每个点对应有三维坐标值；通过预设神经网络对原始点云数据进行特征提取，得到原始点云数据中每个点对应的特征值；基于每个点分别对应的三维坐标值和特征值所确定的点与点之间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集，直到当前点云采样集对应的采样点数量达到预设阈值，将当前点云采样集确定为目标点云采样集。
[0007]
进一步的，上述基于每个点分别对应的三维坐标值和特征值所确定的点与点之间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集的步骤，包括：从原始点云数据中选定初始采样点，将添加有初始采样点的点云采样集作为当前点云采样集，循环执行以下采样步骤：计算原始点云数据中，除当前点云采样集中的点外的其它点分别
与当前点云采样集间的第一距离；将多个第一距离中的最大值对应的点作为目标采样点；利用目标采样点更新当前点云采样集；其中，第一距离为基于三维坐标值和特征值分别计算得到的点与点之间的几何距离和特征距离确定的。
[0008]
进一步的，上述特征距离可以通过以下任一距离计算公式计算得到：欧式距离计算公式、高斯距离计算公式、曼哈顿距离计算公式、余弦距离计算公式。
[0009]
进一步的，上述计算原始点云数据中，除当前点云采样集中的点外的其它点分别与当前点云采样集间的第一距离的步骤，包括：将原始点云数据中，除当前点云采样集中的点外的其它点分别作为当前点，均执行以下步骤：计算当前点与当前点云采样集中点之间的第二距离；基于第二距离确定当前点与当前点云采样集间的第一距离。
[0010]
进一步的，上述计算当前点与当前点云采样集中点之间的第二距离的步骤，包括：获取当前点和当前点云采样集中点分别对应的三维坐标值和特征值；根据当前点和当前点云采样集中点分别对应的三维坐标值，计算点与点之间的几何距离；根据当前点和当前点云采样集中点分别对应的特征值，计算点与点之间的特征距离；计算几何距离和特征距离的加权和，得到当前点与当前点云采样集中点之间的第二距离。
[0011]
进一步的，上述基于第二距离确定当前点与当前点云采样集间的第一距离的步骤，包括：如果第二距离为一个，将第二距离确定为当前点与当前点云采样集间的第一距离；如果第二距离包括多个，将多个第二距离中的最小值确定为当前点与当前点云采样集间的第一距离。
[0012]
进一步的，上述通过预设神经网络对原始点云数据进行特征提取，得到原始点云数据中每个点对应的特征值的步骤，包括：将原始点云数据输入预设神经网络进行预测，得到原始点云数据中每个点对应的特征值。
[0013]
第二方面，本申请实施例还提供一种点云数据采样装置，装置包括：点云获取模块，用于获取目标对象的原始点云数据；原始点云数据为通过激光雷达对目标对象进行扫描得到的点云数据；原始点云数据中每个点对应有三维坐标值；特征提取模块，用于通过预设神经网络对原始点云数据进行特征提取，得到原始点云数据中每个点对应的特征值；采样集确定模块，用于基于每个点分别对应的三维坐标值和特征值所确定的点与点之间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集，直到当前点云采样集对应的采样点数量达到预设阈值，将当前点云采样集确定为目标点云采样集。
[0014]
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
[0015]
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
[0016]
本申请实施例提供的点云数据采样方法、装置及电子设备中，获取目标对象的原始点云数据；原始点云数据为通过激光雷达对目标对象进行扫描得到的点云数据；原始点云数据中每个点对应有三维坐标值；通过预设神经网络对原始点云数据进行特征提取，得到原始点云数据中每个点对应的特征值；基于每个点分别对应的三维坐标值和特征值所确定的两两点间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集，直到
当前点云采样集对应的采样点数量达到预设阈值，将当前点云采样集确定为目标点云采样集。本申请实施例基于神经网络提取的点特征值，及点的三维坐标值确定的点与点之间的距离，对原始点云数据进行循环点采样，能够增加前景点的采样，在保证实时性的基础上提升感知性能。
附图说明
[0017]
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]
图1为本申请实施例提供的一种点云数据采样方法的流程图；图2为本申请实施例提供的一种原始点云数据示意图；图3为本申请实施例提供的一种特征点云数据示意图；图4为本申请实施例提供的一种两点间距离示意图；图5为本申请实施例提供的一种两点间距离公式示意图；图6为本申请实施例提供的一种点与采样集间距离示意图；图7为本申请实施例提供的一种点与采样集间距离公式示意图；图8为本申请实施例提供的一种目标点云采样集中点的示意图；图9为本申请实施例提供的一种点云数据采样装置的结构框图；图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0019]
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]
目前，传统点云采样算法，如fps、idis、rs等能够保证实时性，但均是基于特定的几何规则的点云采样，往往追求覆盖整个点云范围，由于在自动驾驶场景下点云中背景点占绝大多数，传统的采样方法会大量采样背景点，从而影响整体感知性能。
[0021]
基于此，本申请实施例提供一种点云数据采样方法、装置及电子设备，基于神经网络提取的点特征值，及点的三维坐标值确定的点与点之间的距离，对原始点云数据进行点采样，能够增加前景点的采样，在保证实时性的基础上提升感知性能。
[0022]
为便于对本实施例进行理解，首先对本申请实施例所公开的一种点云数据采样方法进行详细介绍。
[0023]
图1为本申请实施例提供的一种点云数据采样方法的流程图，该方法具体包括以下步骤：步骤s102，获取目标对象的原始点云数据；原始点云数据为通过激光雷达对目标对象进行扫描得到的点云数据；原始点云数据中每个点对应有三维坐标值。
[0024]
上述目标对象可以是各种车辆，或者也可以是行人、电线杆之类的目标检测对象。
通过激光雷达对目标对象进行扫描得到的点云数据中会携带有各个点对应的三维坐标值，如（x、y、z）。参见图2所示的原始点云数据示意图，图中大灰点为前景图像，即目标对象对应的点，小灰点为背景图像对应的点。
[0025]
步骤s104，通过预设神经网络对原始点云数据进行特征提取，得到原始点云数据中每个点对应的特征值。
[0026]
在获取到目标对象的原始点云数据后，进一步通过预设神经网络对原始点云数据进行特征提取，这里的特征提取过程可以通过不同的预设神经网络实现，比如pointnet, pointnet++，pointsift，kpconv，rs-cnn，randla-net等。比如，将上述图2中所示的原始点云数据输入预设神经网络进行预测，得到原始点云数据中每个点对应的特征值，进行特征提取后，将每个点得到的特征值叠加于图2对应的点中，得到如图3所示的特征点云示意图，图中显示的为叠加有特征值的点，大灰点和小灰点均变为一半浅灰，一半深灰。如图2和图3中所示，图中包含一个待感知的前景物体（即上述目标对象），一辆车和一些并不关心的背景点，地面点。
[0027]
步骤s106，基于每个点分别对应的三维坐标值和特征值所确定的点与点之间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集，直到当前点云采样集对应的采样点数量达到预设阈值，将当前点云采样集确定为目标点云采样集。
[0028]
通过上述每个点分别对应的三维坐标值和特征值可以确定出两点间的距离，具体的，可以通过两点分别对应的三维坐标值，计算出两点间的几何距离，可以通过两点分别对应的特征值，计算出两点间的特征距离，求取上述几何距离和特征距离的加权和，即可确定出两点间的距离。
[0029]
基于上述原始点云数据中，点与点之间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集，比如，先选取一个初始点加入当前点云采样集中，然后根据其它点与该当前点云采样集间的距离，找到距离该当前点云采样集最远的点，点与该当前点云采样集间的距离的计算过程也依赖于点与点间的距离，可以通过找到的最远点不断地更新当前点云采样集，直到当前点云采样集对应的采样点数量达到预设阈值，将当前点云采样集确定为目标点云采样集。
[0030]
本申请实施例提供的点云数据采样方法中，基于神经网络提取的点特征值，及点的三维坐标值确定的点与点之间的距离，对原始点云数据进行循环点采样，能够增加前景点的采样，在保证实时性的基础上提升感知性能。
[0031]
为了更多地采样到前景中的点，本申请实施例采用以下循环采样方式进行点采样：从原始点云数据中选定初始采样点，将添加有初始采样点的点云采样集作为当前点采样集，循环执行以下采样步骤：（1）计算原始点云数据中，除当前点云采样集中的点外的其它点分别与当前点云采样集间的第一距离；其中，第一距离为基于三维坐标值和特征值分别计算得到的点与点之间的几何距离和特征距离确定的。
[0032]
（2）将多个第一距离中的最大值对应的点作为目标采样点；（3）利用目标采样点更新当前点云采样集；上述初始采样点的选择可以随机从原始点云数据中选择，可以是原始点云数据中的任
意一个点。上述特征距离可以通过以下任一距离计算公式计算得到：欧式距离计算公式、高斯距离计算公式、曼哈顿距离计算公式、余弦距离计算公式。
[0033]
上述步骤（1）计算原始点云数据中，除当前点云采样集中的点外的其它点分别与当前点云采样集间的第一距离的步骤，可以通过以下方式实现：将原始点云数据中，除当前点云采样集中的点外的其它点分别作为当前点，均执行以下步骤：1）计算当前点与当前点云采样集中点之间的第二距离。
[0034]
具体的，获取当前点和当前点云采样集中点分别对应的三维坐标值和特征值；根据当前点和当前点云采样集中点分别对应的三维坐标值，计算两点间的几何距离；根据当前点和当前点云采样集中点分别对应的特征值，计算两点间的特征距离；计算几何距离和特征距离的加权和，得到当前点与当前点云采样集中点之间的第二距离。
[0035]
2）基于第二距离确定当前点与当前点云采样集间的第一距离。
[0036]
如果第二距离为一个，将第二距离确定为当前点与当前点云采样集间的第一距离；如果第二距离包括多个，将多个第二距离中的最小值确定为当前点与当前点云采样集间的第一距离。
[0037]
下面以图3所示的特征点云图为例，对循环点采样过程进行详细的说明：图3中点可表示为：其中，n为原始点云数据中点的数目。为某一个点i的信息，为经过神经网络学习到的m维特征。此时当前点云采样集。
[0038]
后续计算两个点第一点k1和第二点k2间的距离，可通过下式进行计算：其中，表示第一点k1和第二点k2之间的距离；为权重参数，表示第一点k1和第二点k2的特征距离；表示第一点k1和第二点k2之间几何距离；分别表示第一点k1和第二点k2的特征值；表示第一点k1三维坐标值；表示第二点k2的三维坐标值。
[0039]
1.选取起始点（即初始采样点k0）以及第一个最远点k1。
[0040]
如图4所示，方便观看并未画出所有表示距离的线段。从点云数据中随机或者指定一个点加入当前点云采样集中。计算其他所有点到的距离。其中由特征距离和几何距离所决定，如图5所示，特征距离包括但不限于欧式距离，高斯距离，曼哈顿距离，余弦距离等，这里以余弦距离为例：其中，
为权重参数，人为设定。表示偏重使用特征距离或者几何距离作为采样标准。
[0041]
从中选出距离最大的点k1，将加入当前点云采样集中。
[0042]
2.由于此时当前点云采样集中有一个以上的点，从点云数据剩余点中采样时，考虑某一点到采样集的距离为，如图6，图7所示，，如图6，图7所示，，如图6，图7所示，，如图6，图7所示，，如图6，图7所示，，如图6，图7所示，为权重参数，人为设定，表示偏重使用特征距离或者几何距离作为采样标准。
[0043]
计算所有剩余点到当前点云采样集的距离，找到最远点加入采样集中；3.重复步骤2，直至采样点数满足要求，如图8所示。
[0044]
本申请实施例提供的点云数据采样方法，相比传统的点云采样算法，该方法使用神经网络的语义特征作和几何距离同时作为采样依据，使得采样不仅要满足几何意义上足够远，还要保证语义特征上足够远。从而筛除大量语义特征相似的背景点，保留自动驾驶环境下，更重要的代表待测目标的前景点，提升检测性能。相比其他基于学习的采样算法，该方法使用的特征来自于原本的特征提取网络，无需额外增加神经网络结构和学习任务。同时算法总体逻辑和传统fps基本一致，从而相比其他基于学习的采样算法，节省了资源，保证了实时性。
[0045]
第二方面，本申请实施例还提供一种点云数据采样装置，参见图9所示，该装置包括：点云获取模块92，用于获取目标对象的原始点云数据；原始点云数据为通过激光雷达对目标对象进行扫描得到的点云数据；原始点云数据中每个点对应有三维坐标值；特征提取模块94，用于通过预设神经网络对原始点云数据进行特征提取，得到原始点云数据中每个点对应的特征值；采样集确定模块96，用于基于每个点分别对应的三维坐标值和特征值所确定的点与点之间的距离，对原始点云数据进行循环点采样，以不断更新当前点云采样集，直到当前点云采样集对应的采样点数量达到预设阈值，将当前点云采样集确定为目标点云采样集。
[0046]
进一步的，上述采样集确定模块96还用于：从原始点云数据中选定初始采样点，以初始采样点作为当前点采样集，循环执行以下采样步骤：计算原始点云数据中，除当前点云
signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器101读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
[0057]
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
[0058]
本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0059]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
[0060]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0061]
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0062]
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。