三维目标检测和智能行驶方法、装置、设备与流程

文档序号:20353100发布日期:2020-04-10 23:09阅读:来源:国知局

技术特征:

1.一种三维目标检测方法,其特征在于,所述方法包括:

对三维点云数据进行体素化,获得体素化点云数据;

对所述体素化点云数据进行特征提取,获得体素对应的第一特征信息,以及获得初始三维检测框;

通过对所述三维点云数据进行采样获得多个关键点,根据所述关键点的位置信息以及所述体素对应的第一特征信息,确定所述关键点对应的第二特征信息;

根据所述初始三维检测框所包围的关键点的第二特征信息,从所述初始三维检测框中确定目标三维检测框,所述目标三维检测框中包括待检测的三维目标。

2.根据权利要求1所述的方法,其特征在于,所述对所述体素化点云数据进行特征提取,获得体素对应的第一特征信息,包括:

利用预先训练的三维卷积网络对所述体素化点云数据进行三维卷积运算,其中,所述三维卷积网络包括多个依次连接的卷积块,每个卷积块对输入数据进行三维卷积运算;

获得每个卷积块输出的三维语义特征体,所述三维语义特征体包含各个体素对应的三维语义特征;

根据各个卷积块输出的三维语义特征体,获得体素对应的第一特征信息。

3.根据权利要求2所述的方法,其特征在于,所述获得初始三维检测框,包括:

将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影得到俯视图,获得所述俯视图中每个像素对应的第三特征信息;

以每个像素为三维锚点框的中心设置一个或多个三维锚点框;

根据位于所述三维锚点框的边框上的像素的第三特征信息,确定所述三维锚点框的置信度得分;

根据各个三维锚点框的置信度得分,确定初始三维检测框。

4.根据权利要求1所述的方法,其特征在于,所述通过对所述三维点云数据进行采样获得多个关键点,包括:

利用最远点采样方法,从所述三维点云数据中采样得到多个关键点。

5.根据权利要求2至4任一项所述的方法,其特征在于,所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体;

所述根据所述关键点的位置信息以及所述体素对应的第一特征信息,确定所述关键点对应的第二特征信息,包括:

将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下;

在转换后的坐标系中,针对每个卷积块,根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征,并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量;

将同一个关键点在各个卷积块对应的第一语义特征向量依次连接,获得所述关键点对应的第二语义特征向量;

将所述关键点对应的第二语义特征向量作为所述关键点对应的第二特征信息。

6.根据权利要求2至4任一项所述的方法,其特征在于,所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体;

所述根据所述关键点的位置信息以及所述体素对应的第一特征信息,确定所述关键点对应的第二特征信息,包括:

将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下;

在转换后的坐标系中,针对每个卷积块,根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征,并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量;

将同一个关键点在各个卷积块对应的第一语义特征向量依次连接,获得所述关键点对应的第二语义特征向量;

获取所述关键点在所述三维点云数据中的点云特征向量;

将所述关键点投影到俯视特征图中,获得所述关键点的俯视特征向量,其中,所述俯视特征图是通过将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影获得的;

将所述第二语义特征向量、所述点云特征向量和所述俯视特征向量进行连接,获得所述关键点的目标特征向量;

将所述关键点的目标特征向量作为所述关键点对应的第二特征信息。

7.根据权利要求2至4任一项所述的方法,其特征在于,所述三维卷积网络中的多个卷积块输出不同尺度的三维语义特征体;

所述根据所述关键点的位置信息以及所述体素对应的第一特征信息,确定所述关键点对应的第二特征信息,包括:

将每个卷积块输出的三维语义特征体分别与所述多个关键点转换至同一坐标系下;

在转换后的坐标系中,针对每个卷积块,根据该卷积块输出的三维语义特征体确定每个关键点的第一设定范围内的非空体素对应的三维语义特征,并根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量;

将同一个关键点在各个卷积块对应的第一语义特征向量依次连接,获得所述关键点对应的第二语义特征向量;

获取所述关键点在所述三维点云数据中的点云特征向量;

将所述关键点投影到俯视特征图中,获得所述关键点的俯视特征向量,其中,所述俯视特征图是通过将所述三维卷积网络中最后一个卷积块输出的三维语义特征体沿俯视视角投影获得的;

将所述第二语义特征向量、所述点云特征向量和所述俯视特征向量进行连接,获得所述关键点的目标特征向量;

预测所述关键点为前景点的概率;

将所述关键点为前景点的概率与所述关键点的目标特征向量相乘,获得所述关键点的加权特征向量;

将所述关键点的加权特征向量作为所述关键点对应的第二特征信息。

8.根据权利要求5至7任一项所述的方法,其特征在于,每个关键点的第一设定范围有多个;

针对一个卷积块,根据该卷积块输出的三维语义特征体确定一个关键点的第一设定范围内的非空体素对应的三维语义特征,包括:

根据该卷积块输出的三维语义特征体确定该关键点的各个第一设定范围内的非空体素对应的三维语义特征;

根据所述非空体素对应的三维语义特征确定所述关键点对应的第一语义特征向量,包括:

根据该关键点的一个第一设定范围内的非空体素对应的三维语义特征,确定该关键点对应的一个初始第一语义特征向量;

将该关键点对应的各个初始第一语义特征向量加权平均,得到该关键点对应的第一语义特征向量。

9.根据权利要求1至8任一项所述的方法,其特征在于,所述根据所述初始三维检测框所包围的关键点的第二特征信息,从所述初始三维检测框中确定目标三维检测框,包括:

根据所述初始三维检测框进行网格化所得到的格点,确定多个采样点;

获得每个采样点的第二设定范围内的关键点,并根据所述第二设定范围内的关键点的第二特征信息确定所述采样点的第四特征信息;

根据所述采样点的顺序将所述采样点的第四特征信息依次连接,获得所述初始三维检测框的目标特征向量;

根据所述初始三维检测框的目标特征向量,对所述初始三维检测框进行修正,获得修正后的三维检测框;

根据所述修正后的三维检测框的置信度评分,从所述修正后的三维检测框中确定目标三维检测框。

10.根据权利要求9所述的方法,其特征在于,每个采样点的第二设定范围有多个;

根据一个采样点的第二设定范围内的关键点的第二特征信息确定该采样点的第四特征信息,包括:

根据该采样点的一个第二设定范围内的关键点的第二特征信息确定一个初始第四特征信息;

将该采样点的各个初始第四特征信息加权平均,得到该采样点的第四特征信息。

11.一种智能行驶方法,其特征在于,包括:

获取智能行驶设备所在的场景中三维点云数据;

采用权利要求1-10任一所述的三维目标检测方法,根据所述三维点云数据对所述场景进行三维目标检测;

根据确定的三维目标检测框控制所述智能行驶设备行驶。

12.一种三维目标检测装置,其特征在于,所述装置包括:

第一获得单元,用于对三维点云数据进行体素化,获得体素化点云数据;

第二获得单元,用于对所述体素化点云数据进行特征提取,获得体素对应的第一特征信息,以及获得初始三维检测框;

第一确定单元,用于通过对所述三维点云数据进行采样获得多个关键点,根据所述关键点的位置信息以及所述体素对应的第一特征信息,确定所述关键点对应的第二特征信息;

第二确定单元,用于根据所述初始三维检测框所包围的关键点的第二特征信息,从所述初始三维检测框中确定目标三维检测框,所述目标三维检测框中包括待检测的三维目标。

13.一种智能行驶装置,其特征在于,包括:

获取模块,用于获取智能行驶设备所在的场景中三维点云数据;

检测模块,用于采用权利要求1-10任一所述的三维目标检测方法,根据所述三维点云数据对所述场景进行三维目标检测;

控制模块,用于根据确定的三维目标检测框控制所述智能行驶设备行驶。

14.一种电子设备,其特征在于,所述设备包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至11任一项所述的方法。

15.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至11任一项所述的方法。


技术总结
公开了一种三维目标检测和智能行驶方法、装置、设备,该方法包括:对三维点云数据进行体素化,获得体素化点云数据;对所述体素化点云数据进行特征提取,获得体素对应的第一特征信息,以及获得初始三维检测框;通过对所述三维点云数据进行采样获得多个关键点,根据所述关键点的位置信息以及所述体素对应的第一特征信息,确定所述关键点对应的第二特征信息;根据所述初始三维检测框所包围的关键点的第二特征信息,从所述初始三维检测框中确定目标三维检测框,所述目标三维检测框中包括待检测的三维目标。

技术研发人员:史少帅;郭超旭;王哲;石建萍;李鸿升
受保护的技术使用者:深圳市商汤科技有限公司
技术研发日:2019.12.13
技术公布日:2020.04.10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1