行人检测方法、装置、电子设备和存储介质与流程

文档序号:23091969发布日期:2020-11-27 12:46阅读:来源:国知局

技术特征:

1.一种行人检测方法,其特征在于,包括:

获取检测区域的彩色图像和深度图像;

根据所述深度图像生成点云数据;

根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量;

将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。

2.根据权利要求1所述的行人检测方法,其特征在于,所述根据所述深度图像生成点云数据,包括:

基于预设的前景检测算法对所述深度图像进行前景检测得到前景检测框;

通过预设的最高区域检测算法对所述前景检测框所在区域进行最高区域检测得到最高区域检测框;

采用所述前景检测框和所述最高区域检测框中每个像素点的像素值,以及相机的内参生成所述像素点的点云得到点云数据。

3.根据权利要求2所述的行人检测方法,其特征在于,所述通过预设最高区域检测算法对所述前景检测框所在区域进行最高区域检测得到最高区域检测框,包括:

将所述前景检测框中每个像素点的像素值映射到指定范围像素值;

采用预设最高区域检测算法对像素值映射到所述指定范围像素值后的所述前景检测框区域进行最高区域检测,得到最高区域检测框。

4.根据权利要求2所述的行人检测方法,其特征在于,所述采用所述前景检测框和所述最高区域检测框中每个像素点的像素值以及所述相机的内参生成所述像素点的点云得到点云数据,包括:

针对所述前景检测框中的每个像素点,通过所述像素点在所述深度图像中的像素坐标、所述彩色图像的像素坐标原点以及所述相机的焦距计算所述像素点的初始x坐标和初始y坐标;

采用所述初始x坐标和初始y坐标以及所述相机的畸变系数计算所述像素点在世界坐标系中的x坐标和y坐标;

采用所述像素点的像素值和所述相机的深度值转换因子计算所述像素点在世界坐标系的z坐标;

根据所述像素点的x坐标、y坐标和z坐标生成所述像素点在世界坐标系下的点云;

将所述点云转换为所述相机的视锥空间的点云得到点云数据。

5.根据权利要求1-4任一项所述的行人检测方法,其特征在于,所述根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量,包括:

基于所述点云数据确定点云子集,所述点云子集包括点云中位于最高区域的若干点;

针对所述最高区域以外的每个点,计算所述最高区域以外的每个点与所述点云子集中每个点之间的特征,作为点云特征;

对所述深度图像中的每个像素点的像素值计算一阶梯度和二阶梯度,得到一阶梯度图和二阶梯度图;

采用预设模板遍历所述一阶梯度图和所述二阶梯度图中的至少一个梯度图的每个像素点以生成计分图;

将所述点云特征、所述计分图和所述深度图像拼接到所述彩色图像的通道上得到特征张量。

6.根据权利要求5所述的行人检测方法,其特征在于,针对所述最高区域以外的每个点,计算所述最高区域以外的每个点与所述点云子集中每个点之间的特征,作为点云特征,包括:

针对所述最高区域以外的每个第一点,将所述点云子集中的每个第二点投影到所述第一点的xy平面上得到投影点;

计算所述投影点与所述第一点的第一距离;

分别计算所述第一点与所述第二点的高度差和第二距离;

计算所述投影点与所述第一点所构成的直线与所述xy平面的x轴的第一夹角;

计算所述第二点与所述第一点所构成的直线与所述xy平面的第二夹角;

将所述第一距离、第二距离、高度差、第一夹角、第二夹角归一化处理得到五维的点与点之间的特征,以作为点云特征。

7.根据权利要求5所述的行人检测方法,其特征在于,所述采用预设模板遍历所述一阶梯度图和所述二阶梯度图中的至少一个梯度图的每个像素点以生成计分图,包括:

初始化计分图,所述计分图中每个像素点的初始得分相同;

分别采用多个预设模板遍历所述一阶梯度图和二阶梯度图中的至少一个梯度图的每个像素点;

在每次遍历时,如果所述像素点的一阶梯度值大于所述预设模板中指定像素点的一阶梯度值,或所述像素点的二阶梯度值大于所述预设模板中指定像素点的二阶梯度值,所述计分图中所述像素点的得分累加1以生成计分图。

8.一种行人检测装置,其特征在于,包括:

图像获取模块,用于获取检测区域的彩色图像和深度图像;

点云数据生成模块,用于根据所述深度图像生成点云数据;

特征张量生成模块,用于根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量;

特征张量输入模块,用于将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。

9.一种电子设备,其特征在于,所述电子设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的行人检测方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的行人检测方法。


技术总结
本发明实施例公开了一种行人检测方法、装置、电子设备和存储介质,行人检测方法包括:获取检测区域的彩色图像和深度图像;根据所述深度图像生成点云数据;根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量;将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。本发明实施例由点云数据、深度图像和彩色图像生成检测区域的特征张量来检测行人,实现了通过深度图像和点云数据中包含的三维空间信息来进行行人检测,既能够提高行人检测的准确性,又能够获得诸如行人高度等更为准确的行人检测结果,从而可以根据行人检测结果实现更为精细的设备控制。

技术研发人员:张睿;冯琰一;吴志伟;李德紘
受保护的技术使用者:佳都新太科技股份有限公司;广州新科佳都科技有限公司
技术研发日:2020.08.20
技术公布日:2020.11.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1