目标检测方法、装置、电子设备及可读存储介质与流程

文档序号:21598905发布日期:2020-07-24 16:49阅读:183来源:国知局
目标检测方法、装置、电子设备及可读存储介质与流程

本发明涉及计算机技术领域,具体而言,本发明涉及一种目标检测方法、装置、电子设备及可读存储介质。



背景技术:

基于点云的3d目标检测(pointcloud3dobjectdetection)技术,其可以使用激光雷达收集物体的位置、形状、朝向等信息,使用深度学习技术进行3d(threedimensional,三维)空间中的目标检测,在自动驾驶、机器人等领域内都有非常重要的作用。相比于基于2d(twodimensional二维)图像的检测,使用激光雷达的3d检测具有更高的可靠性、准确性。

目前3d目标检测领域的代表性方法均是针对单个类别进行预测,在多类别同时预测时各类别之间会互相影响,从而导致性能和准确性都有所下降。



技术实现要素:

本发明的目的旨在至少能解决上述的技术缺陷之一,特别是准确性较低的技术缺陷。

第一方面,本发明实施例提供了一种目标检测方法,该方法包括:

获取待检测目标的点云数据;

基于点云数据,提取得到点云数据的数据特征;

基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果;

基于各分类组的初始目标检测结果,确定点云数据对应的最终检测结果。

本申请可选的实施例中,每个分类组对应至少一个分类类别,每个分类组所对应的初始目标检测结果包括点云数据中对应于该分类组所包含的各分类类别的初始目标检测结果。

本申请可选的实施例中,基于点云数据,提取得到点云数据的数据特征,包括:

对点云数据进行特征提取,得到对应于至少两种尺寸的特征图,点云数据的数据特征包括至少两种尺寸的特征图;

基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果,包括:

对于至少两种尺寸的特征图中每一尺寸的特征图,基于该尺寸的特征图,分别通过与该尺寸的特征图所对应的各分类组所对应的目标检测模块进行目标检测,得到对应于该尺寸的特征图的各分类组的初始目标检测结果。

本申请可选的实施例中,对点云数据进行特征提取,得到对应于至少两种尺寸的特征图,包括:

通过依次级联的多个三维卷积模块对点云数据进行特征提取;

对于多个三维卷积模块中至少两个模块所输出的特征图分别进行反卷积处理,将每个模块所对应的反卷积处理后的特征图作为对应于至少两种尺寸的特征图。

本申请可选的实施例中,其特征在于,对于每个分类组,初始目标检测结果包括点云数据对应于该分类组中各分类类别的类别检测结果、目标检测框的位置信息、以及每个目标检测框所对应的目标朝向信息。

本申请可选的实施例中,基于各分类组所包含的各分类类别的初始目标检测结果,确定点云数据对应的最终检测结果,包括:

对于每一分类组,对该分类组所包含的各分类类别的初始目标检测结果进行非极大值抑制处理,得到该分类组的最终检测结果;

基于各分类组的最终检测结果,确定点云数据对应的最终检测结果。

本申请可选的实施例中,目标检测方法是通过目标检测模型实现的,各分类组所对应的分类类别是通过以下方式确定的:

确定目标检测模型的所有分类类别;

基于分类类别中各分类类别之间的相似度,将各分类类别进行划分,得到各分类组。

本申请可选的实施例中,基于分类类别中各分类类别之间的相似度,将各分类类别进行划分,得到各分类组,包括:

基于各分类类别之间的相似度,对各分类类别进行划分,得到各初始分类组;

对于每一个包含至少两个分类类别的初始分类,基于训练目标检测模型时该初始分类组中所包含的各分类类别各自所对应的训练样本的数量,对该初始分类组再次进行划分;

基于再次划分后的结果,得到最终的各分类组。

本申请可选的实施例中,对于每一个包含至少两个分类类别的初始分类组,基于在训练目标检测模型时该初始分类组中所包含的各分类类别所对应的训练样本的数量,对该初始分类组再次进行划分,包括:

对于该初始分类组所包含的任一分类类别,若在训练目标检测模型时该分类类别所对应的训练样本的数量满足预设条件,则将该分类类别单独划分为一个组。

第二方面,本发明实施例提供了一种目标检测装置,该装置包括:

数据获取模块,用于获取待检测目标的点云数据;

特征提取模块,用于基于点云数据,提取得到点云数据的数据特征;

初始检测结果确定模块,用于基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果;

最终检测结果确定模块,用于基于各分类组的初始目标检测结果,确定点云数据对应的最终检测结果。

本申请可选的实施例中,每个分类组对应至少一个分类类别,每个分类组所对应的初始目标检测结果包括点云数据中对应于该分类组所包含的各分类类别的初始目标检测结果。

本申请可选的实施例中,特征提取模块在基于点云数据,提取得到点云数据的数据特征时,具体用于:

对点云数据进行特征提取,得到对应于至少两种尺寸的特征图,点云数据的数据特征包括至少两种尺寸的特征图;

基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果,包括:

对于至少两种尺寸的特征图中每一尺寸的特征图,基于该尺寸的特征图,分别通过与该尺寸的特征图所对应的各分类组所对应的目标检测模块进行目标检测,得到对应于该尺寸的特征图的各分类组的初始目标检测结果。

本申请可选的实施例中,特征提取模块在对点云数据进行特征提取,得到对应于至少两种尺寸的特征图时,具体用于:

通过依次级联的多个三维卷积模块对点云数据进行特征提取;

对于多个三维卷积模块中至少两个模块所输出的特征图分别进行反卷积处理,将每个模块所对应的反卷积处理后的特征图作为对应于至少两种尺寸的特征图。

本申请可选的实施例中,对于每个分类组,初始目标检测结果包括点云数据对应于该分类组中各分类类别的类别检测结果、目标检测框的位置信息、以及每个目标检测框所对应的目标朝向信息。

本申请可选的实施例中,最终检测结果确定模块在基于各分类组所包含的各分类类别的初始目标检测结果,确定点云数据对应的最终检测结果时,具体用于:

对于每一分类组,对该分类组所包含的各分类类别的初始目标检测结果进行非极大值抑制处理,得到该分类组的最终检测结果;

基于各分类组的最终检测结果,确定点云数据对应的最终检测结果。

本申请可选的实施例中,特征提取模块在基于点云数据,提取得到点云数据的数据特征时,具体用于:

将点云数据按照预设大小切分成体素;

对切分后的各体素所包含的点云数据进行预处理,得到预处理后的各体素的点云数据;

基于预处理后的各体素的点云数据,提取得到点云数据的数据特征。

本申请可选的实施例中,目标检测方法是通过目标检测模型实现的,各分类组所对应的分类类别是通过以下方式确定的:

确定目标检测模型的所有分类类别;

基于分类类别中各分类类别之间的相似度,将各分类类别进行划分,得到各分类组。

本申请可选的实施例中,该装置还包括分组模块,具体用于:

基于各分类类别之间的相似度,对各分类类别进行划分,得到各初始分类组;

对于每一个包含至少两个分类类别的初始分类,基于训练目标检测模型时该初始分类组中所包含的各分类类别各自所对应的训练样本的数量,对该初始分类组再次进行划分;

基于再次划分后的结果,得到最终的各分类组。

本申请可选的实施例中,对于每一个包含至少两个分类类别的初始分类组,组模块在基于在训练目标检测模型时该初始分类组中所包含的各分类类别所对应的训练样本的数量,对该初始分类组再次进行划分时,具体用于:

对于该初始分类组所包含的任一分类类别,若在训练目标检测模型时该分类类别所对应的训练样本的数量满足预设条件,则将该分类类别单独划分为一个组。

第三方面,本发明实施例提供了一种电子设备,该电子设备包括:

处理器;以及存储器,该存储器配置用于存储计算机程序,该计算机程序在由该处理器执行时,使得该处理器执行第一方面中的任一项方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,计算机存储介质用于存储计算机程序,当计算机程序在计算机上运行时,使得计算机可以执行上述第一方面中的任一项方法。

本发明实施例提供的技术方案带来的有益效果是:

在本申请实施例中,在确定待检测目标的检测最终检测结果时,可以基于各分类组所对应的目标检测模块先确定对应于各分类组的检测结果,由于每个分类组对应的目标检测模块是针对该分类组的,此时所确定的检测结果可以有效地降低了不同分组对检测结果的影响;进一步的,还会基于对应于各分类组的初始目标检测结果来确定最终的检测结果,此时可以进一步的降低了每个分组之间的影响,即采用了分步式的方式降低不同分类类别之间的相互的影响,进而可以有效地提升检测结果的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种目标检测方法的流程示意图;

图2a为本发明实施例提供的一种目标检测模型的结构示意图;

图2b为本发明实施例提供的一种目标检测模块的结构示意图;

图3为本发明实施例提供的一种目标检测装置的结构示意图;

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

首先对本发明涉及的几个名词进行介绍和解释:

点云:在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,得到的是点的集合,称之为“点云”(pointcloud)。

下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。

图1示出了本发明实施例中所提供的一种目标检测方法的流程示意图。如图1所示,该方法包括:

步骤s101,获取待检测目标的点云数据。

其中,待检测目标可以是一个也可以是多个,待检测目标的点云数据可以为多维度的数据,如可以是(x,y,z,intensity(强度信息)4维的数据;而获取待检测目标的点云数据的实现方式本申请实施例不限定,例如可以通过激光雷达设备来获取。在实际的自动驾驶应用场景中,可以通过安装在车前方(如车窗或其他位置)的激光雷达设备采集车辆运行前方场景中待检测目标的点云数据。

步骤s102,基于点云数据,提取得到点云数据的数据特征。

步骤s103,基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果。

在实际应用中,会存在各种类别的目标,如可以包括轿车、越野车、小猫、小狗等各种类别的待检测目标,此时可以将各种类别的目标进行划分,得到多个分类组,每个分类组对应一种类型的目标,具体的类型划分方式可以根据实际需求配置,如可以根据每个类别所对应的目标之间的相似度将各种类别的目标进行划分,如可以将越野车和轿车划分至目标为汽车的分类中。

在本申请可选的实施例中,每个分类组对应至少一个分类类别,每个分类组所对应的初始目标检测结果包括点云数据中对应于该分类组所包含的各分类类别的初始目标检测结果。

其中,每个分类组可以存在对应的目标检测网络,进一步的,在获取到待检测目标的点云数据后,可以提取该点云数据的数据特征,然后确定该点云数据中输入至各分类组所对应的目标检测模块,得到应于各分类组的初始目标检测结果;相应的,由于每个分类组中包括了对应至少一个分类类别,此时对于一个分类组,点云数据对应于该分类组的初始目标检测结果可以为该点云数据对应于该分类组所包含的各分类类别的初始目标检测结果。

步骤s104,基于各分类组的初始目标检测结果,确定点云数据对应的最终检测结果。

在实际应用中,由于存在多个分类组,此时点云数据也会存在对应于各分类组的初始目标检测结果,此时可以基于各分类组的初始目标检测结果,确定点云数据对应的最终检测结果。

其中,在基于各分类组的初始目标检测结果,确定点云数据对应的最终检测结果时,为了减小每个类型组中各分类类别之间的影响,进一步的提升检测结果的准确性,本申请中在得到各分类组的初始目标检测结果后,可以将各分类组所包含的各分类类别的初始目标检测结果进行筛选,得到点云数据对应的最终检测结果。

在本申请实施例中,在确定待检测目标的检测最终检测结果时,可以基于各分类组所对应的目标检测模块先确定对应于各分类组的检测结果,由于每个分类组对应的目标检测模块是针对该分类组的,此时所确定的检测结果可以有效地降低了不同分组对检测结果的影响。进一步的,还会基于对应于各分类组的初始目标检测结果来确定最终的检测结果,此时可以进一步的降低了各分组之间的影响,即采用了分步式的方式降低不同分类类别之间的相互的影响,进而可以有效地提升检测结果的准确性。

在本申请可选的实施例中,目标检测方法是通过目标检测模型实现的,各分类组所对应的分类类别是通过以下方式确定的:

确定目标检测模型的所有分类类别;

基于分类类别中各分类类别之间的相似度,将各分类类别进行划分,得到各分类组。

在实际应用中,本申请实施例中的目标检测方法可以通过目标检测模型来实现,此时可确定该目标检测模型对应的所有分类类别,然后可以将对应的所有分类类别进行划分,得到各分类组。

其中,在将所有分类类别进行划分,得到各分类组的一种可选的方法为:确定所有分类类别中各分类类别之间的相似度,然后基于确定的相似度将各分类类别进行划分,得到各分类组。其中,确定各分类类别之间的相似度指的是确定各分类类别对应的目标之间的相似度。例如,存在两个分类类别,其对应的目标分别为轿车类别和越野车类别,此时可以确定轿车和越野车之间的相似度,若确定的相似度大于设定值,则可以将轿车类别和越野车类别划分为同一分类组。

在实际应用中,在确定各分类类别之间的相似度时,具体需要确定各分类类别在哪些方面的相似度可以预先配置,本申请实施例对此不限定,例如,可以确定各分类类别在外观上的相似度,如确定各分类类别在形状、大小方面上的相似度等。

在本申请可选的实施例中,基于分类类别中各分类类别之间的相似度,将各分类类别进行划分,得到各分类组,包括:

基于各分类类别之间的相似度,对各分类类别进行划分,得到各初始分类组;

对于每一个包含至少两个分类类别的初始分类,基于训练目标检测模型时该初始分类组中所包含的各分类类别各自所对应的训练样本的数量,对该初始分类组再次进行划分;

基于再次划分后的结果,得到最终的各分类组。

在实际应用中,在确定目标检测模型对应的所有分类类别后,可以基于各分类类别之间的相似度,对各分类类别进行划分,得到各初始分类组,进一步的,为了保证最终得到的分类组中的类别均衡,当初始分类组中包括至少两个分类类别时,可以获取训练该目标检测模型时该初始分类组中所包含的各分类类别各自所对应的训练样本的数量,然后基于各分类类别各自所对应的训练样本的数量对初始分类组再次进行划分,进而得到最终的各分类组。

在本申请可选的实施例中,对于每一个包含至少两个分类类别的初始分类组,基于在训练目标检测模型时该初始分类组中所包含的各分类类别所对应的训练样本的数量,对该初始分类组再次进行划分,包括:

对于该初始分类组所包含的任一分类类别,若在训练目标检测模型时该分类类别所对应的训练样本的数量满足预设条件,则将该分类类别单独划分为一个组。

在实际应用中,为了降低目标检测模型在检测目标时受到其它分类类别的影响而较低准确性,此时若得到的初始分类组中包含了至少两种分类类别,对于该初始分类组所包含的任一分类类别,可以获取训练目标检测模型时该分类类别所对应的训练样本的数量,然后判断该分类类别所对应的训练样本的数量是否满足预设条件,若满足预设条件,则可以将该分类类别从初始分类组中划分出来单独作为一个分类组。

其中,预设条件的具体内容可以预先配置,本申请实施例不限定。例如,该预设条件可以设置为大于第一设定值和/或小于第二设定值等,该第一设定值大于第二设定值,或者是同一分类组所对应的不同类别的样本数量之间的差异满足一定条件,如该分类组中样本数量最多的类别的样本数量超过一个类别的样本数量的设定倍数。对于一个分类组,若该分类组中的某一分类类别所对应的训练样本的数量大于第一设定值,则可以将该分类类别单独作为一个分类组;或者,当预设条件为小于第二设定值,此时若该分类组中某一分类类别所对应的训练样本的数量小于第二设定值,也可以将该分类类别单独作为一个分类组。

在一示例中,假设某一初始分类组中包括两种分类类别,分别为轿车和越野车,预设条件设置为大于第一设定值,第一设定值为2万。进一步的,在训练该目标检测模型时,假设训练样本集中包含轿车这一类别的训练样本的数量,以及包含越野车这一类别的训练样本的数量分别为5万和1万,此时轿车类别所对应的训练样本的数量5万大于第一设定值2万,则可以将轿车类别从该初始分组中划分出来并作为一个单独的分类组。

在本申请实施例中,由于在确定最终的各分类组中所包括的分类类别时,考虑到了目标检测模型在训练时各分类类别的样本数量,因此可以有效的解决目标检测模型样本类别不均衡的问题。

在本申请可选的实施例中,对于每个分类组,初始目标检测结果包括点云数据对应于该分类组中各分类类别的类别检测结果、目标检测框的位置信息、以及每个目标检测框所对应的目标朝向信息。

在实际应用中,由于每个分类组中包括至少一个分类类别,此时得到的分类组的初始目标检测结果中可以包括该点云数据对应于该分类组中每一个分类类别的类别检测结果、目标检测框的位置信息、以及每个目标检测框所对应的目标朝向信息。其中,对应于分类组中各分类类别的类别检测结果可以指的是该点云数据的检测结果包括每一个分类类别的可能性,其可以采用概率值的形式表示,具体的,也就是目标检测框中包含某一类别的目标的置信度;目标检测框的位置信息指的是当点云数据的检测结果为各分类类别时,目标检测框所处于的位置信息;而每个目标检测框所对应的目标朝向信息则可以指的是检测出的目标与设定朝向的关系。

在一示例中,假设某一分类组中包括轿车类别和越野车类别,此时该分类组的初始目标检测结果包括的各分类类别的类别检测结果可以包括点云数据分别为轿车类别和越野车类别的概率,目标检测框的位置信息可以包括当点云数据为轿车类别或越野车类别时,检测到的轿车或越野车的位置信息,目标检测框所对应的目标朝向信息则可以包括检测到的轿车或越野车的车头方向是否为目标朝向(如是否朝前)。

在本申请可选的实施例中,基于各分类组所包含的各分类类别的初始目标检测结果,确定点云数据对应的最终检测结果,包括:

对于每一分类组,对该分类组所包含的各分类类别的初始目标检测结果进行非极大值抑制处理,得到该分类组的最终检测结果;

基于各分类组的最终检测结果,确定点云数据对应的最终检测结果。

在实际应用,为了进一步的提升检测精度,在得到各分类组所包含的各分类类别的初始目标检测结果之后,对于每一个分类组,可以通过非极大值抑制的方式对每该分类组所包含的各分类类别的初始目标检测结果先进行筛选,将可能与最终检测结果差别较大的初始目标检测结果过滤掉,得到每个分类组过滤后的初始目标检测结果,进一步的,可以将各分类组过滤后的初始目标检测结果作为点云数据对应的最终检测结果。

在本申请可选的实施例中,基于点云数据,提取得到点云数据的数据特征,包括:

将点云数据按照预设大小切分成体素;

对切分后的各体素所包含的点云数据进行预处理,得到预处理后的各体素的点云数据;

基于预处理后的各体素的点云数据,提取得到点云数据的数据特征。

在实际应用中,在提取得到点云数据的数据特征时,可以先将点云数据切按照预设大小切分成多个体素。其中,预设的大小可以预先根据实际需求预先配置,本申请实施例不限定。例如,可以将点云数据在x,y,z三个维度分别以0.1m、0.1m、0.1m为单位切分成多个体素。

进一步的,为了可以减少提取点云数据的数据特征的数据量,此时可以对切分后的各体素所包含的点云数据进行预处理,然后对预处理后的各体素的点云数据进行数据特征的提取。其中,预处理的具体实现方式,本申请实施例不限定,例如,对于每个体素,可以将其内部的点云数据在x,y,z和intensity维度上分别做平均处理,得到预处理后的各体素的点云数据。

在本申请可选的实施例中,基于点云数据,提取得到点云数据的数据特征,包括:

对点云数据进行特征提取,得到对应于至少两种尺寸的特征图,点云数据的数据特征包括至少两种尺寸的特征图;

基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果,包括:

对于至少两种尺寸的特征图中每一尺寸的特征图,基于该尺寸的特征图,分别通过与该尺寸的特征图所对应的各分类组所对应的目标检测模块进行目标检测,得到对应于该尺寸的特征图的各分类组的初始目标检测结果。

其中,当点云数据的特征图为不同尺寸时,对应于待检测目标的检测结果的精度是不同的。例如,对于尺寸较大的待检测目标,此时基于尺寸较大的特征图进行目标检测时,所得到的检测结果的准确性较高。

基于此,在实际应用中不同尺寸的特征图所对应的目标检测模块可以是不同的。相应的,在获取到点云数据后可以对点云数据进行两种尺寸的特征提取,此时可以得到至少两种不同尺寸的特征图。进一步的,由于不同的尺寸的特征图对应于不同的目标检测模块,此时对于至少两种尺寸的特征图中每一尺寸的特征图,可以将该尺寸的特征图输入至该尺寸的特征图所对应的各分类组所对应的目标检测模块,得到对应于该尺寸的特征图的各分类组的初始目标检测结果。

在本申请可选的实施例中,对点云数据进行特征提取,得到对应于至少两种尺寸的特征图,包括:

通过依次级联的多个三维卷积模块对点云数据进行特征提取;

对于多个三维卷积模块中至少两个模块所输出的特征图分别进行反卷积处理,将每个模块所对应的反卷积处理后的特征图作为对应于至少两种尺寸的特征图。

在实际应用中,可以配置有多个(具体为至少两个)依次级联的三维卷积模块对点云数据进行特征提取,其中,每个三维卷积所输出的特征图的尺寸是不同的。而对于三维卷积所输出的每种尺寸的特征图,可以对每个特征图进行反卷积处理,并将所对应的反卷积处理后的特征图作为对应于至少两种尺寸的特征图。

为了可以更好地理解本申请实施例所提供的方法,下面结合如图2所示的目标检测模型对本申请实施例所提供的方法进行详细描述。

如图2a所示,该目标检测模包括预处理模块10、特征提取模块11、目标检测网络12以及后处理模块13。其中,特征提取模块包括encoder(编码器)和2个decoder(解码器),每个encoder由依次级联的3个稀疏模块组成,每个稀疏模块可以包括1~3个sparse3dconvolution(稀疏三维卷积)模块;目标检测网络由各分类组对应的目标检测模块(head)组成(图2a中,每个head对应于一个分类组)。

在本示例中,预处理模块在获取待检测目标的点云数据后,可以将点云数据根据一定的单位大小(比如x,y,z三个维度分别以0.1m,0.1m,0.1m为单位)切分成多个体素,对于每个体素,将其所包含的点云数据在x,y,z和intensity维度上分别做取平均预处理,得到预处理后的各体素的点云数据。

进一步的,可以将预处理后的各体素的点云数据输入至特征提取模块11中的encoder,encoder中的第1个稀疏模块,其可以对预处理后的各体素的点云数据进行特征提取得到对应于第1个稀疏模块的特征图,然后将该特征图输入至第2个稀疏模块进行特征提取,得到对应于第2个稀疏模块特征图,并将第2个稀疏模块特征提取得到的特征图输入至第3个稀疏模块进行特征提取,得到对应于第3个稀疏模块特征图。其中,每个稀疏模块所输出的特征图的尺寸是不同的

进一步的,可以将第2个稀疏模块输出的特征图输入至对应的decoder,decoder可以对输入的特征图进行3次(即图中的depth=3)反卷积处理,得到处理后的特征图,并输入至目标检测网络12中各分类组对应的目标检测模块,得到对应于各分类组的初始检测结果。同理,对于第3个稀疏模块输出的特征图,可以将该特征图也输入至对应的decoder,decoder可以对输入的特征图进行2次(即图中的depth=2)反卷积处理,得到处理后的特征图并输入至目标检测网络12中各分类组对应的目标检测模块,得到对应于各分类组的初始检测结果。

进一步的,对于每一分类组,后处理模块13对该分类组所包含的各分类类别的初始目标检测结果进行非极大值抑制处理,得到该分类组的最终检测结果,然后基于各分类组的最终检测结果,确定点云数据对应的最终检测结果并输出。

在本示例中,如图2b所示,每个目标检测网络12可以包括分类网络分支、回归网络分支和方向分类辅助网络分支。其中,分类网络分支和回归网络分支可以仅包括1*1的卷积网络,也可以包括1*1的卷积网络、全连接层以及输出层等隐藏层。相应的,当反卷积处理后的特征图输入至目标检测网络时,可以将该特征图分别输入至分类网络分支、回归网络分支和方向分类辅助网络分支,此时分类网络分支可以输出该点云数据对应于该分类组中各分类类别的类别检测结果,回归网络分支可以输出分类对应于该分类组中每个分类类别的目标检测框的位置信息,方向分类辅助网络分支可以输出每个目标检测框所对应的目标朝向信息。其中,该目标检测框可以采用(x,y,z,h,w,l,rotation)的方式来表示,其中,(x,y,z)表示三维空间内的坐标点,(h,w,l)表示三维检测框的高、宽和长度信息,如以坐标点为中心所延伸的高宽长信息,rotation则表示目标检测框所对应的目标朝向信息,如可以为目标检测框朝x轴正方向还是负方向。

其中,由于不同的稀疏模块对应的特征图的尺寸是不同的,此时目标检测模型对应于不同尺寸的待检测目标所得到的检测结果的精度也是不同的,当增加多个decoder以及目标检测模块时,可以适应于不同尺寸的待检测目标,进而提升检测的准确度。

本发明实施例提供了一种目标检测装置,如图3所示,该目标检测装置60可以包括:数据获取模块601、特征提取模块602、初始检测结果确定模块603以及最终检测结果确定模块604,其中,

数据获取模块601,用于获取待检测目标的点云数据;

特征提取模块602,用于基于点云数据,提取得到点云数据的数据特征;

初始检测结果确定模块603,用于基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果;

最终检测结果确定模块604,用于基于各分类组的初始目标检测结果,确定点云数据对应的最终检测结果。

本申请可选的实施例中,每个分类组对应至少一个分类类别,每个分类组所对应的初始目标检测结果包括点云数据中对应于该分类组所包含的各分类类别的初始目标检测结果。

本申请可选的实施例中,特征提取模块在基于点云数据,提取得到点云数据的数据特征时,具体用于:

对点云数据进行特征提取,得到对应于至少两种尺寸的特征图,点云数据的数据特征包括至少两种尺寸的特征图;

基于数据特征,分别通过各分类组所对应的目标检测模块进行目标检测,得到对应于各分类组的初始目标检测结果,包括:

对于至少两种尺寸的特征图中每一尺寸的特征图,基于该尺寸的特征图,分别通过与该尺寸的特征图所对应的各分类组所对应的目标检测模块进行目标检测,得到对应于该尺寸的特征图的各分类组的初始目标检测结果。

本申请可选的实施例中,特征提取模块在对点云数据进行特征提取,得到对应于至少两种尺寸的特征图时,具体用于:

通过依次级联的多个三维卷积模块对点云数据进行特征提取;

对于多个三维卷积模块中至少两个模块所输出的特征图分别进行反卷积处理,将每个模块所对应的反卷积处理后的特征图作为对应于至少两种尺寸的特征图。

本申请可选的实施例中,对于每个分类组,初始目标检测结果包括点云数据对应于该分类组中各分类类别的类别检测结果、目标检测框的位置信息、以及每个目标检测框所对应的目标朝向信息。

本申请可选的实施例中,最终检测结果确定模块在基于各分类组所包含的各分类类别的初始目标检测结果,确定点云数据对应的最终检测结果时,具体用于:

对于每一分类组,对该分类组所包含的各分类类别的初始目标检测结果进行非极大值抑制处理,得到该分类组的最终检测结果;

基于各分类组的最终检测结果,确定点云数据对应的最终检测结果。

本申请可选的实施例中,特征提取模块在基于点云数据,提取得到点云数据的数据特征时,具体用于:

将点云数据按照预设大小切分成体素;

对切分后的各体素所包含的点云数据进行预处理,得到预处理后的各体素的点云数据;

基于预处理后的各体素的点云数据,提取得到点云数据的数据特征。

本申请可选的实施例中,目标检测方法是通过目标检测模型实现的,各分类组所对应的分类类别是通过以下方式确定的:

确定目标检测模型的所有分类类别;

基于分类类别中各分类类别之间的相似度,将各分类类别进行划分,得到各分类组。

本申请可选的实施例中,该装置还包括分组模块,具体用于:

基于各分类类别之间的相似度,对各分类类别进行划分,得到各初始分类组;

对于每一个包含至少两个分类类别的初始分类,基于训练目标检测模型时该初始分类组中所包含的各分类类别各自所对应的训练样本的数量,对该初始分类组再次进行划分;

基于再次划分后的结果,得到最终的各分类组。

本申请可选的实施例中,对于每一个包含至少两个分类类别的初始分类组,组模块在基于在训练目标检测模型时该初始分类组中所包含的各分类类别所对应的训练样本的数量,对该初始分类组再次进行划分时,具体用于:

对于该初始分类组所包含的任一分类类别,若在训练目标检测模型时该分类类别所对应的训练样本的数量满足预设条件,则将该分类类别单独划分为一个组。

本发明实施例的目标检测装置可执行本发明实施例提供的一种目标检测方法,其实现原理相类似,此处不再赘述。

本发明实施例提供了一种电子设备,如图4所示,图4所示的电子设备2000包括:处理器2001和存储器2003。其中,处理器2001和存储器2003相连,如通过总线2002相连。可选地,电子设备2000还可以包括收发器2004。需要说明的是,实际应用中收发器2004不限于一个,该电子设备2000的结构并不构成对本发明实施例的限定。

其中,处理器2001应用于本发明实施例中,用于实现图3所示的各模块的功能。

处理器2001可以是cpu,通用处理器,dsp,asic,fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。

总线2002可包括一通路,在上述组件之间传送信息。总线2002可以是pci总线或eisa总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是rom或可存储静态信息和计算机程序的其他类型的静态存储设备,ram或者可存储信息和计算机程序的其他类型的动态存储设备,也可以是eeprom、cd-rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储或以数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。

存储器2003用于存储执行本发明方案的应用程序的计算机程序,并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序的计算机程序,以实现图3所示实施例提供的目标检测装置的动作。

本发明实施例提供了一种电子设备,本发明实施例中的电子设备包括:处理器;以及存储器,存储器配置用于存储机器计算机程序,该计算机程序在由该处理器执行时,使得该处理器执行目标检测方法。

本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上用于存储计算机程序,当计算机程序在计算机上运行时,使得计算机可以执行实现目标检测方法。

本发明中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本发明实施例中的一种直播延迟监控装置方法,在此不再赘述。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1