1.本技术实施例涉及人工智能技术领域,尤其涉及一种基于神经网络的装载率确定方法、装置。
背景技术:2.如今,物流领域迅速发展,越来越多的货物需要运输,货车运输货物时,在货车不超重的情况下,装载中心平台需要根据货车的装载率来决定是否继续装载货物。装载率一般指实际所载货物体积除以货车最大可载货物体积。
3.现有技术中,传统的货车装载体积和装载率主要依靠装载人员的目测和经验进行估计,如此,无法得到货车车厢的实时装载体积和转载率,且得到的结果存在较大的误差。装载中心平台也无法及时获得货车车厢的装载率,不利于中心的信息处理和指挥。
技术实现要素:4.鉴于此,为解决上述传统的货车装载体积和装载率主要依靠装载人员的目测和经验进行估计,如此,无法得到货车车厢的实时装载体积和转载率,且得到的结果存在较大的误差。装载中心平台也无法及时获得货车车厢的装载率,不利于中心的信息处理和指挥的技术问题,本技术实施例提供一种基于神经网络的装载率确定方法、装置、电子设备及存储介质。
5.第一方面,本技术实施例提供一种基于神经网络的装载率确定方法,应用于边缘计算服务器,所述方法包括:
6.获取初始点云,其中,所述初始点云包括位于车厢尾部外侧的电磁波设备探测所述电磁波设备视野内区域而产生的点云;
7.根据货车停放区域以及目标高度,对所述初始点云进行筛选,得到预处理后点云,其中,所述目标高度大于或等于货车高度与所述电磁波设备距离地面的第一高度之和;
8.利用预设神经网络模型,预测所述预处理后点云中车厢的顶点点云,其中,所述顶点点云包括车厢预设顶点对应的所述预处理后点云;
9.根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,其中,所述目标点云包括货车车厢及货车车厢内部的点云;
10.利用所述目标点云确定货车车厢的货物体积,并根据所述货物体积确定货车车厢的装载率;
11.将至少包括所述装载率的车辆装载信息上传至装载中心平台。
12.在一个可选的实施方式中,所述预设神经网络模型具体通过以下方式得到:
13.获取初始样本点云,其中,所述初始样本点云包括电磁波设备探测所述电磁波设备视野内区域而产生的样本点云;
14.根据货车停放区域以及目标高度,对所述初始样本点云进行筛选,得到预处理后样本点云;
15.标注所述预处理后样本点云中车厢的顶点样本点云,其中,所述顶点样本点云包括车厢预设顶点对应的所述预处理后样本点云;
16.基于标注后的所述预处理后样本点云,对预设神经网络初始模型进行训练,得到预设神经网络模型;
17.其中,所述预设神经网络初始模型包括点云的分类网络,所述点云的分类网络的特征抽取网络为backbone,所述点云的分类网络包括多个全连接层,以及输出层包括多个神经元,对应着顶点样本点云,输出层与全连接层之间均使用relu激活函数。
18.在一个可选的实施方式中,所述根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,包括:
19.根据所述顶点点云,拟合出最小包围长方体盒,从所述预处理后点云中,筛选位于所述最小包围长方体盒内的所述预处理后点云作为目标点云。
20.在一个可选的实施方式中,所述根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,包括:
21.根据所述顶点点云,确定所述预处理后点云对应的角度以及第一距离;
22.将所述预处理后点云绕第二坐标轴往第一坐标轴方向旋转所述角度;
23.将旋转所述角度后的所述预处理后点云沿第三坐标轴负方向平移所述第一距离;
24.确定平移所述第一距离后的所述预处理后点云对应的第二距离;
25.将平移所述第一距离后的所述预处理后点云沿第一坐标轴负方向平移所述第二距离;
26.确定平移所述第二距离后的所述预处理后点云对应的第三距离;
27.将平移所述第二距离后的所述预处理后点云沿第二坐标轴正方向平移所述第三距离,得到目标点云。
28.在一个可选的实施方式中,所述根据所述顶点点云,确定所述预处理后点云对应的角度以及第一距离,包括:
29.将所述顶点点云进行平面投影,得到货车车厢的俯视图;
30.对所述俯视图进行直线拟合,得到货车车厢第一长宽边界各自对应的第一直线方程;
31.根据货车车厢右侧第一长边界对应的所述第一直线方程,确定所述右侧第一长边界与第一坐标轴之间的夹角,确定所述夹角为所述预处理后点云对应的角度;
32.将所述俯视图往第一坐标轴旋转所述角度,得到旋转后的所述俯视图;
33.对所述旋转后的所述俯视图进行直线拟合,得到货车车厢第二长宽边界各自对应的第二直线方程;
34.根据货车车厢右侧第二长边界对应的所述第二直线方程,确定所述右侧第二长边界与第一坐标轴之间的第一距离,确定所述第一距离为所述预处理后点云对应的第一距离。
35.在一个可选的实施方式中,所述确定平移所述第一距离后的所述预处理后点云对应的第二距离,包括:
36.根据货车车厢后侧第二宽边界对应的所述第二直线方程,确定所述后侧第二宽边界与所述电磁波设备之间的第二距离;
37.确定所述第二距离为平移所述第一距离后的所述预处理后点云对应的第二距离。
38.在一个可选的实施方式中,所述确定平移所述第二距离后的所述预处理后点云对应的第三距离,包括:
39.将平移所述第二距离后的所述预处理后点云进行平面投影(yoz平面),得到货车车厢的正视图;
40.对所述正视图进行直线拟合,得到货车车厢高宽边界各自对应的第三直线方程;
41.根据货车车厢下侧宽边界对应的所述第三直线方程,确定所述下侧宽边界与第三坐标轴之间的第二高度;
42.获取电磁波设备距离地面的第一高度与所述第二高度之差,得到第三高度,确定所述第三高度为平移所述第二距离后的所述预处理后点云对应的第三距离。
43.在一个可选的实施方式中,所述利用所述目标点云确定货车车厢的装载体积,包括:
44.对所述目标点云进行体素下采样,得到体素下采样后点云;
45.根据所述体素下采样后点云,获取货车车厢的实际宽度和实际高度;
46.构建m*n的空矩阵,其中,所述m包括所述实际宽度,所述n包括所述实际高度;
47.根据预设的赋值规则,将所述目标点云赋值到所述空矩阵;
48.对赋值后的所述空矩阵求和,得到货车车厢的装载体积。
49.在一个可选的实施方式中,所述根据预设的赋值规则,将所述目标点云赋值到所述空矩阵,包括:
50.以所述实际宽度和所述实际高度对应的平面为基准面,针对所述基准面中任一最小单位对应的所有所述目标点云,筛选距离所述基准面最近的所述目标点云记录到所述最小单位对应的所述空矩阵中相应位置。
51.第二方面,本技术实施例提供一种基于神经网络的装载率确定装置,应用于边缘计算服务器,所述装置包括:
52.初始点云获取模块,用于获取初始点云,其中,所述初始点云包括位于车厢尾部外侧的电磁波设备探测所述电磁波设备视野内区域而产生的点云;
53.初始点云筛选模块,用于根据货车停放区域以及目标高度,对所述初始点云进行筛选,得到预处理后点云,其中,所述目标高度大于或等于货车高度与所述电磁波设备距离地面的第一高度之和;
54.顶点点云预测模块,用于利用预设神经网络模型,预测所述预处理后点云中车厢的顶点点云,其中,所述顶点点云包括车厢预设顶点对应的所述预处理后点云;
55.顶点点云处理模块,用于根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,其中,所述目标点云包括货车车厢及货车车厢内部的点云;
56.装载率确定模块,用于利用所述目标点云确定货车车厢的货物体积,并根据所述货物体积确定货车车厢的装载率;
57.装载信息上传模块,用于将至少包括所述装载率的车辆装载信息上传至装载中心平台。
58.第三方面,本技术实施例提供一种电子设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的基于神经网络的装载率确定程序,以实现第一方面中任一项
基于神经网络的装载率确定方法。
59.第四方面,本技术实施例提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任一项基于神经网络的装载率确定方法。
60.本技术实施例提供的技术方案,获取初始点云,其中,所述初始点云包括位于车厢尾部外侧的电磁波设备探测所述电磁波设备视野内区域而产生的点云;根据货车停放区域以及目标高度,对所述初始点云进行筛选,得到预处理后点云,其中,所述目标高度大于或等于货车高度与所述电磁波设备距离地面的第一高度之和;利用预设神经网络模型,预测所述预处理后点云中车厢的顶点点云,其中,所述顶点点云包括车厢预设顶点对应的所述预处理后点云;根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,其中,所述目标点云包括货车车厢及货车车厢内部的点云;利用所述目标点云确定货车车厢的货物体积,并根据所述货物体积确定货车车厢的装载率;将至少包括所述装载率的车辆装载信息上传至装载中心平台。由此,可实现通过神经网络预测对电磁波设备实时探测的初始点云进行处理,更加准确的确定货车车厢的装载率,并将装载率实时同步至装载中心平台,便于装载中心平台的信息处理和指挥,进行货车的调度,大大提升货车的利用率。
附图说明
61.图1为本技术实施例提供的一种货车停放时的俯视图;
62.图2为本技术实施例提供的一种货车实际停放状态的侧视图;
63.图3为本技术实施例提供的一种货车实际停放状态的前视图;
64.图4为本技术实施例提供的一种基于神经网络的装载率确定方法的实施流程示意图;
65.图5为本技术实施例提供的另一种货车停放时的俯视图;
66.图6为本技术实施例提供的一种目标点云的俯视图;
67.图7为本技术实施例提供的一种目标点云的示意图;
68.图8为本技术实施例提供的一种神经网络模型训练方法的实施流程示意图;
69.图9为本技术实施例提供的另一种基于神经网络的装载率确定方法的实施流程示意图;
70.图10为本技术实施例提供的又一种基于神经网络的装载率确定方法的实施流程示意图;
71.图11为本技术实施例提供的一种第一距离确定方法的实施流程示意图;
72.图12为本技术实施例提供的一种第二距离确定方法的实施流程示意图;
73.图13为本技术实施例提供的一种第三距离确定方法的实施流程示意图;
74.图14为本技术实施例提供的再一种基于神经网络的装载率确定方法的实施流程示意图;
75.图15为本技术实施例提供的一种空矩阵的示意图;
76.图16为本技术实施例提供的一种赋值后矩阵的示意图;
77.图17为本技术实施例提供的还一种基于神经网络的装载率确定方法的实施流程示意图;
78.图18为本技术实施例提供的一种基于神经网络的装载率确定装置的结构示意图;
79.图19为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
80.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
81.在本技术实施例中,预先设定要确定装载率的货车规格:车身长度:4.2-17米、车身宽度:1.9-2.5米、车身高度(车厢顶平面距离地面的高度):1.8-2.7米。预先划定一个矩形区域为货车的停放区域,矩形区域的范围:长:18米、宽:5米。电磁波设备设置在矩形区域宽边的一侧,距离该矩形区域宽边大于或等于1米,电磁波设备距离地面的高度大于或等于2米。如图1所示,图1为本技术实施例提供的一种货车停放时的俯视图,外侧矩形为矩形区域,内侧矩形为停在矩形区域内部的货车,外侧矩形外的圆点为电磁波设备,电磁波设备与外侧矩形的距离l大于或等于1米,电磁波设备与地面的距离大于或等于2米。
82.在本技术实施例中,车厢内的货物堆放顺序为从货车车头方向依次向货车车厢尾部方向堆放。货车停放到矩形区域内时,为了使电磁波设备能够较清楚的检测货车的内部点云,需要将货车的尾部朝向电磁波设备所在的一侧。实际货车的停放和矩形位置可参见图2、图3,图2为本技术实施例提供的一种货车实际停放状态的侧视图,图3为本技术实施例提供的一种货车实际停放状态的前视图。
83.需要说明的是,在本技术实施例中,对于货车车厢左右的描述均为从货车车厢的尾部外侧观测车厢时所观测到的左右,以下不再赘述。
84.图4为本技术实施例提供的一种基于神经网络的装载率确定方法的实施流程示意图,应用于边缘计算服务器,该方法可包括以下步骤:
85.s401:获取初始点云,其中,初始点云包括位于车厢尾部外侧的电磁波设备探测电磁波设备视野内区域而产生的点云。
86.在本技术实施例中,首先获取位于车厢尾部外侧的电磁波设备探测电磁波设备视野内区域而产生的点云,将该点云称为初始点云。电磁波设备首先采集视野内区域的点云数据原始udp(user datagram protocol,用户数据报协议)数据包,然后依据电磁波设备的规格和产品说明书解析计算得到初始点云。电磁波设备可以是面阵激光雷达,本技术对此不做限定。在电磁波设备为面阵激光雷达时,采集面阵激光雷达视野内区域的点云数据的原始udp数据包,然后依据面阵激光雷达的规格和产品说明书解析计算得到初始点云。
87.s402:根据货车停放区域以及目标高度,对初始点云进行筛选,得到预处理后点云,其中,目标高度大于或等于货车高度与电磁波设备距离地面的第一高度之和。
88.在本技术实施例中,对初始点云进行筛选,将上述矩形区域和目标高度范围外的所有点云裁剪去除,得到预处理后点云。其中,目标高度可以设置为大于或等于货车的高度和电磁波设备距离地面的第一高度之和的数值,货车的高度可以设置为货车的实际高度,也可以是货车的最大高度,本技术对此不做限定。例如,货车实际高度为2米,电磁波设备距离地面的第一高度为2米,则目标高度大于或等于4米。
89.s403:利用预设神经网络模型,预测预处理后点云中车厢的顶点点云,其中,顶点点云包括车厢预设顶点对应的预处理后点云。
90.在本技术实施例中,利用预设的神经网络模型,预测预处理后点云中车厢的顶点点云,顶点点云包括车厢预设顶点对应的预处理后点云。具体的,预设的顶点包括:货车车厢的左后下、右后下、右前下和右后上四个顶点。
91.s404:根据顶点点云对预处理后点云进行处理,得到目标点云,其中,目标点云包括货车车厢及货车车厢内部的点云。
92.在本技术实施例中,根据顶点点云对于预处理后点云进行处理,得到目标点云,其中,目标点云包括货车车厢及货车车厢内部的点云。
93.在本技术实施例中,目标点云的三维空间的原点为货车车厢的右下角顶点,货车车厢的下底面是三维空间的xoy平面,货车车厢右平面是三维空间的xoz平面,即沿着车厢的尾部右下角三边作为三维正交基的点云为目标点云,x轴正方向为车尾指向车头的方向,y轴正方向为货车右侧指向左侧的方向,z轴正方向为垂直于水平面向上的方向。
94.在本技术实施例中,将与矩形区域平行的包括电磁波设备的平面作为xoy平面,将平行于矩形区域的右侧长边界,且位于矩形区域的右侧长边界正上方的直线作为x轴,将平行于矩形区域的后侧宽边界的直线,且包含电磁波设备的直线作为y轴,由此,可得到z轴为垂直于矩形区域,且过x轴和y轴交点的直线,如图5所示,图5为本技术实施例提供的另一种货车停放时的俯视图,在图5中标明了x轴和y轴的正方向,由此,可以得到z轴的正方向,且由上述可得到原点的高度为电磁波设备与地面的距离。
95.需要说明的是,本技术实施例仅给出了一种坐标系原点的示例,坐标系原点还可以设定为其他位置,例如,坐标系原点还可设置在电磁波设备的位置,各个坐标轴的方向同上,本技术对此不做限定。由此,采用本技术提供的方法所计算出的中间结果可能会不同,但是最终确定的货车车厢的装载率是相同的。
96.在本技术实时例中,要根据顶点点云对预处理后点云进行处理,使车厢右下角顶点与坐标系原点重合,且车厢及车厢内部点云为上述目标点云的状态。目标点云的俯视图如图6所示,图6为本技术实施例提供的一种目标点云的俯视图,实际的目标点云如图7所示,图7为本技术实施例提供的一种目标点云的示意图,从左到右依次为实际目标点云的主视图(从货车后侧观测的)、俯视图、左视图。
97.s405:利用目标点云确定货车车厢的货物体积,并根据货物体积确定货车车厢的装载率。
98.在本技术实施例中,获得目标点云后,可利用目标点云确定货车车厢的装载体积,然后根据装载体积确定货车车厢的装载率。具体的,计算装载体积与货车车厢的总体积的比值来确定货车车厢的装载率。
99.s406:将至少包括装载率的车辆装载信息上传至装载中心平台。
100.在本技术实施例中,获得货车车厢的装载率后,将至少包括装载率的车辆装载信息上传至转载中心平台,装载中心平台可以对实时收到的货车信息进行处理,根据货车的装载信息对货车进行调度,从而使货车的利用率提升。其中,装载信息包括车辆的装载率,还可以包括货车车厢规格、货车剩余油量等,本技术对此不做限定。
101.通过上述对本技术实施例提供的技术方案的描述,本技术中使用电磁波设备获取
初始点云,对初始点云进行筛选,得到预处理后点云,利用预设神经网络模型,预测预处理后点云中车厢的顶点点云,根据顶点点云对预处理后点云进行处理得到目标点云,并通过目标点云确定货车车厢的货物体积,并根据货物体积确定货车车厢的装载率。首先,通过电磁波设备可以实时获取货车车厢的初始点云,实现了在装卸货物时,对车厢的装载率进行准确的确定,由此,一方面减小了装载率的误差,另一方面可将货车车厢装载率实时同步至装载中心平台,装载中心平台实时获取货车车厢的实时装载率,根据货车车厢的装载率调度货车,以提升货车的利用率。其次,对初始点云进行处理得到目标点云的过程中使用预设神经网络的方式使目标点云的获取更加迅速。
102.具体的,s403中神经网络模型通过图8所示的方法得到,图8为本技术实施例提供的一种神经网络模型训练方法的实施流程示意图,该方法可包括以下步骤:
103.s801:获取初始样本点云,其中,初始样本点云包括电磁波设备探测电磁波设备视野内区域而产生的样本点云。
104.在本技术实施例中,获取预设的数量的样本点云,预设的数量可以是1000、2000等,本技术对此不做限定。初始样本点云的获取方法与上述s401中初始点云的获取方法相同,在此不再赘述。
105.s802:根据货车停放区域以及目标高度,对初始样本点云进行筛选,得到预处理后样本点云。
106.在本技术实施例中,对初始样本点云进行筛选得到预处理后样本点云的方法与s402中对初始点云进行筛选得到预处理后点云的方法相同,在此不再赘述。
107.s803:标注预处理后样本点云中车厢的顶点样本点云,其中,顶点样本点云包括车厢预设顶点对应的预处理后样本点云。
108.在本技术实施例中,对预处理后样本点云中车厢的顶点样本点云进行标注,得到已标注的车厢预设顶点对应的预处理后样本点云,记为顶点样本点云。其中,预设顶点包括:货车车厢的左后下、右后下、右前下和右后上,共4个顶点。因此,一个样本包括预处理后点云、人工标注的4个顶点的坐标。
109.s804:基于标注后的预处理后样本点云,对预设神经网络初始模型进行训练,得到预设神经网络模型,其中,预设神经网络初始模型包括点云的分类网络,点云的分类网络的特征抽取网络为backbone,点云的分类网络包括多个全连接层,以及输出层包括多个神经元,对应着顶点样本点云,输出层与全连接层之间均使用relu激活函数。
110.在本技术实施例中,基于标注后的预处理后样本点云,对预设神经网络初始模型进行训练,得到预设神经网络模型。预设神经网络初始模型包括点云的分类网络,点云的分类网络的特征抽取网络为backbone,点云的分类网络包括多个全连接层,以及输出层包括多个神经元,对应着顶点样本点云,输出层与全连接层之间均使用relu激活函数。
111.例如,点云的分类网络增加3-4层全连接层,最后输出层包含4*3个神经元,分别对应预测的4个顶点坐标,输出层与全连接层之间均使用relu激活函数。使用标注后的预处理后样本点云对预设神经网络初始模型进行训练时,损失函数使用l1+l2的损失,优化器使用adam。
112.通过上述对本技术实施例提供的技术方案的描述,本技术构建的点云的分类网络包括多个连接层,输出层包括多个神经元对应这顶点样本点云,使训练出的预设神经网络
模型更精确的预测顶点点云。本技术中使用标注的样本点云对构建的预设神经网络初始模型进行训练,得到预设神经网络模型,然后在装载率确定时可使用预设的神经网络模型精确的预测出预处理后点云中车厢的顶点点云。
113.图9为本技术实施例提供的另一种基于神经网络的装载率确定方法的实施流程示意图,该方法可包括以下步骤:
114.s901:获取初始点云,其中,初始点云包括位于车厢尾部外侧的电磁波设备探测电磁波设备视野内区域而产生的点云。
115.s902:根据货车停放区域以及目标高度,对初始点云进行筛选,得到预处理后点云,其中,目标高度大于或等于货车高度与电磁波设备距离地面的第一高度之和。
116.s903:利用预设神经网络模型,预测预处理后点云中车厢的顶点点云,其中,顶点点云包括车厢预设顶点对应的预处理后点云。
117.在本技术实施例中,s901至s903在s401至s403中已经做了详细说明,在此不再赘述。
118.s904:根据顶点点云,拟合出最小包围长方体盒,从预处理后点云中,筛选位于最小包围长方体盒内的预处理后点云作为目标点云。
119.在本技术实施例中,拟合出以四个顶点点云为四个顶点的最小包围长方体盒,由于四个顶点分别为车厢的四个顶点,且可根据这四个顶点进行连接补全,得到一个长方体,该长方体即为车厢,将该长方体视为最小包围长方体盒。即最小包围长方体盒为能够包围货车车厢的最小包围长方体盒。
120.s905:利用目标点云确定货车车厢的货物体积,并根据货物体积确定货车车厢的装载率。
121.s906:将至少包括装载率的车辆装载信息上传至装载中心平台。
122.在本技术实施例中,s905和s906在s405和s406中已经做了详细说明,在此不再赘述。
123.通过上述对本技术实施例提供的技术方案的描述,本技术中通过顶点点云拟合出最小包围长方体盒,筛选位于最小包围长方体盒内的预处理后点云作为目标点云。通过顶点点云可以确定最小包围长方体盒,使拟合出的最小包围长方体盒更准确的与车厢重合。
124.图10为本技术实施例提供的又一种基于神经网络的装载率确定方法的实施流程示意图,该方法可包括以下步骤:
125.s1001:获取初始点云,其中,初始点云包括位于车厢尾部外侧的电磁波设备探测电磁波设备视野内区域而产生的点云。
126.s1002:根据货车停放区域以及目标高度,对初始点云进行筛选,得到预处理后点云,其中,目标高度大于或等于货车高度与电磁波设备距离地面的第一高度之和。
127.s1003:利用预设神经网络模型,预测预处理后点云中车厢的顶点点云,其中,顶点点云包括车厢预设顶点对应的预处理后点云。
128.在本技术实施例中,s1001至s1003在s401至s403中已经做了详细说明,在此不再赘述。
129.s1004:根据顶点点云,确定预处理后点云对应的角度以及第一距离。
130.在本技术实施例中,根据顶点点云,确定预处理后点云对应的角度以及第一距离。
具体的,预处理后点云对应的角度以及第一距离的确定方法如图11所示,图11为本技术实施例提供的一种第一距离确定方法的实施流程示意图,该方法可包括以下步骤:
131.s1101:将顶点点云进行平面投影,得到货车车厢的俯视图。
132.在本技术实施例中,根据顶点点云拟合出的长方体表示货车车厢,因此,可将顶点点云拟合出长方体,将该长方体进行平面投影得到的俯视图即为货车车厢的俯视图。例如,将顶点点云投影到xoy平面,得到货车车厢的俯视图。
133.s1102:对俯视图进行直线拟合,得到货车车厢第一长宽边界各自对应的第一直线方程。
134.在本技术实施例中,对俯视图进行直线拟合,可以得到货车车厢各个边界在xoy平面中的直线方程,将得到的直线方程记为货车车厢第一长宽边界各自对应的第一直线方程。
135.s1103:根据货车车厢右侧第一长边界对应的第一直线方程,确定右侧第一长边界与第一坐标轴之间的夹角,确定上述夹角为预处理后点云对应的角度。
136.在本技术实施例中,根据货车车厢右侧第一长边界对应的第一直线方程,确定右侧第一长边界与第一坐标轴之间的夹角的角度,确定夹角的角度为预处理后点云对应的角度。其中,第一坐标轴为x轴。
137.s1104:将俯视图往第一坐标轴旋转上述角度,得到旋转后的俯视图。
138.在本技术实施例中,将俯视图往第一坐标轴旋转上述角度,得到旋转后的俯视图,此时,俯视图的长边界与第一坐标轴平行。例如,上述角度为20
°
,并依据实际情况将俯视图逆时针或顺时针旋转20
°
。需要说明的是,此处将俯视图往第一坐标轴旋转上述角度的操作由边缘计算服务器模拟操作,目的是为了得到俯视图长边界与第一坐标轴之间的第一距离。
139.在一种可能的实施方式中,也可以是执行s1103确定预处理后点云对应的角度后,执行s1005,然后再执行s1105和s1106以确定预处理后点云对应的第一距离,本技术对此不做限定。
140.s1105:对旋转后的俯视图进行直线拟合,得到货车车厢第二长宽边界各自对应的第二直线方程。
141.在本技术实施例中,对旋转后的俯视图进行直线拟合,可以得到旋转后的货车车厢各个边界在xoy平面中的直线方程,将此时得到的直线方程记为货车车厢第二长宽边界各自对应的第二直线方程。
142.s1106:根据货车车厢右侧第二长边界对应的第二直线方程,确定右侧第二长边界与第一坐标轴之间的第一距离,确定第一距离为预处理后点云对应的第一距离。
143.在本技术实施例中,根据货车车厢右侧第二长边界对应的第二直线方程,确定右侧第二长边界与第一坐标轴之间的第一距离,并确定第一距离为预处理后点云对应的第一距离。其中,第一坐标轴为x轴,车厢右侧第二长边界为车厢长边界中与第一坐标轴之间距离较近的边。例如,货车车厢右侧第二长边界对应的第二直线方程与第一坐标轴之间的距离为20厘米,则确定第一距离为20厘米。
144.s1005:将预处理后点云绕第二坐标轴往第一坐标轴方向旋转上述角度。
145.在本技术实施例中,第二坐标轴为z轴,将预处理后点云绕第二坐标轴往第一坐标
轴方向旋转上述角度,上述角度的确定方法在图11中给出了详细介绍,在此不再赘述。
146.s1006:将旋转角度后的预处理后点云沿第三坐标轴负方向平移第一距离。
147.在本技术实施例中,第三坐标轴为y轴,确定第一距离后,将旋转角度后的预处理后点云沿第三坐标轴负方向平移第一距离。例如,第一距离为20厘米,则将离群点剔除点云沿第三坐标轴负方向平移20厘米。
148.s1007:确定平移第一距离后的预处理后点云对应的第二距离。
149.在本技术实施例中,确定平移第一距离后的预处理后点云对应的第二距离,第二距离为平移第一距离后的预处理点云的宽边界与电磁波设备之间的距离。可以理解的是,电磁波设备所在的直线为坐标轴中的第三坐标轴,即y轴。
150.具体的,预处理后点云对应的角度以及第二距离的确定方法如图12所示,图12为本技术实施例提供的一种第二距离确定方法的实施流程示意图,该方法可包括以下步骤:
151.s1201:将顶点点云进行平面投影,得到货车车厢的俯视图。
152.s1202:对俯视图进行直线拟合,得到货车车厢第一长宽边界各自对应的第一直线方程。
153.s1203:根据货车车厢右侧第一长边界对应的第一直线方程,确定右侧第一长边界与第一坐标轴之间的夹角,确定夹角为预处理后点云对应的角度。
154.s1204:将俯视图往第一坐标轴旋转角度,得到旋转后的俯视图。
155.s1205:对旋转后的俯视图进行直线拟合,得到货车车厢第二长宽边界各自对应的第二直线方程。
156.在本技术实施例中,s1201至s1205在s1101至s1105中已经做了详细说明,在此不再赘述。
157.s1206:根据货车车厢后侧第二宽边界对应的第二直线方程,确定后侧第二宽边界与电磁波设备之间的第二距离。
158.s1207:确定第二距离为平移第一距离后的预处理后点云对应的第二距离。
159.在本技术实施例中,根据货车车厢后侧第二宽边界对应的第二直线方程,确定后侧第二宽边界与电磁波设备之间的第二距离,并确定第二距离为平移第一距离后的预处理后点云对应的第二距离。其中,货车车厢后侧第二宽边界对应的第二直线方程与电磁波设备之间的第二距离为2米,则确定第二距离为2米。
160.s1008:将平移第一距离后的预处理后点云沿第一坐标轴负方向平移第二距离。
161.在本技术实施例中,第一坐标轴为x轴,确定第二距离后,将平移第一距离后的预处理后点云沿第一坐标轴负方向平移第二距离。例如,第二距离为2米,则将离群点剔除点云沿第一坐标轴负方向平移2米。
162.s1009:确定平移第二距离后的预处理后点云对应的第三距离。
163.在本技术实施例中,确定平移第二距离后的预处理后点云对应的第三距离。具体的,预处理后点云对应的角度以及第三距离的确定方法如图13所示,图13为本技术实施例提供的一种第三距离确定方法的实施流程示意图,该方法可包括以下步骤:
164.s1301:将平移第二距离后的预处理后点云进行平面投影,得到货车车厢的正视图。
165.在本技术实施例中,将平移第二距离后的预处理后点云进行平面投影,根据顶点
点云,得到货车车厢的正视图。例如,将预处理后点云投影到yoz平面,得到货车车厢的正视图。可以理解的是,平移第二距离后的预处理后点云的车厢后侧是与yoz平面重合的。
166.s1302:对正视图进行直线拟合,得到货车车厢高宽边界各自对应的第三直线方程。
167.在本技术实施例中,对正视图进行直线拟合,得到的直线方程记为货车车厢高宽边界各自对应的第三直线方程。
168.s1303:根据货车车厢下侧宽边界对应的第三直线方程,确定下侧宽边界与第三坐标轴之间的第二高度。
169.在本技术实施例中,根据货车车厢下侧宽边界对应的第三直线方程,确定下侧宽边界与第三坐标轴之间的第二高度。其中,第三坐标轴为y轴。
170.s1304:获取电磁波设备距离地面的第一高度与第二高度之差,得到第三高度,确定第三高度为平移第二距离后的预处理后点云对应的第三距离。
171.在本技术实施例中,获取电磁波设备距离地面的第一高度与第二高度之差,得到第三高度,确定第三高度为平移第二距离后的预处理后点云对应的第三距离。例如,第一高度为2米,第二高度为1米,则第三高度为1米。
172.s1010:将平移第二距离后的预处理后点云沿第二坐标轴正方向平移第三距离,得到目标点云。
173.在本技术实施例中,第二坐标轴为z轴,将平移第二距离后的预处理后点云沿第二坐标轴正方向平移第三距离,此时,电磁波设备位于货车车厢下侧宽边界上,即货车车厢下侧宽边界与第二坐标轴重合,根据顶点点云裁剪掉车厢以外的点云,此时的点云为目标点云。
174.s1011:利用目标点云确定货车车厢的货物体积,并根据货物体积确定货车车厢的装载率。
175.s1012:将至少包括装载率的车辆装载信息上传至装载中心平台。
176.在本技术实施例中,s1011和s1012在s405和s406中已经做了详细说明,在此不再赘述。
177.图14为本技术实施例提供的再一种基于神经网络的装载率确定方法的实施流程示意图,该方法可包括以下步骤:
178.s1401:获取初始点云,其中,初始点云包括位于车厢尾部外侧的电磁波设备探测电磁波设备视野内区域而产生的点云。
179.s1402:根据货车停放区域以及目标高度,对初始点云进行筛选,得到预处理后点云,其中,目标高度大于或等于货车高度与电磁波设备距离地面的第一高度之和。
180.s1403:利用预设神经网络模型,预测预处理后点云中车厢的顶点点云,其中,顶点点云包括车厢预设顶点对应的预处理后点云。
181.s1404:根据顶点点云对预处理后点云进行处理,得到目标点云,其中,目标点云包括货车车厢及货车车厢内部的点云。
182.在本技术实施例中,s1401至s1404在s401至s404中已经做了详细说明,在此不再赘述。
183.s1405:对目标点云进行体素下采样,得到体素下采样后点云。
184.s1406:根据体素下采样后点云,获取货车车厢的实际宽度和实际高度。
185.s1407:构建m*n的空矩阵,其中,m包括实际宽度,n包括实际高度。
186.以下对s1405至s1407进行统一说明:
187.在本技术实施例中,得到目标点云后,对目标点云进行体素下采样得到体素下采样后点云。例如,以1cm为体素下采样是体素盒的尺寸,对目标点云进行下采样,得到体素下采样后点云。
188.在本技术实施例中,根据体素下采样后点云,获取货车车厢的实际宽度和实际高度。具体的,可以确定体素下采样后点云的宽度和高度包括多少个体素盒,根据体素盒的尺寸确定货车车厢的实际宽度m和实际高度n,将m和n作为维度,构建一个维度为m和n的空矩阵,即m*n的空矩阵。如图15所示,图15为本技术实施例提供的一种空矩阵的示意图,图15中横向为车的宽,纵向为车的高。
189.s1408:根据预设的赋值规则,将目标点云赋值到空矩阵。
190.在本技术实施例中,根据预设的赋值规则,将目标点云赋值到上述空矩阵中,赋值后的矩阵如图16所示,图16为本技术实施例提供的一种赋值后矩阵的示意图。
191.s1409:对赋值后的空矩阵求和,得到货车车厢的装载体积。
192.在本技术实施例中,对赋值后的空矩阵求和,得到的结果记为货车车厢的装载体积。
193.s1410:根据装载体积确定货车车厢的装载率。
194.s1411:将至少包括装载率的车辆装载信息上传至装载中心平台。
195.在本技术实施例中,s1410和s1411在s405和s406中已经做了详细说明,在此不再赘述。
196.图17为本技术实施例提供的还一种基于神经网络的装载率确定方法的实施流程示意图,该方法可包括以下步骤:
197.s1701:获取初始点云,其中,初始点云包括位于车厢尾部外侧的电磁波设备探测电磁波设备视野内区域而产生的点云。
198.s1702:根据货车停放区域以及目标高度,对初始点云进行筛选,得到预处理后点云,其中,目标高度大于或等于货车高度与电磁波设备距离地面的第一高度之和。
199.s1703:利用预设神经网络模型,预测预处理后点云中车厢的顶点点云,其中,顶点点云包括车厢预设顶点对应的预处理后点云。
200.s1704:根据顶点点云对预处理后点云进行处理,得到目标点云,其中,目标点云包括货车车厢及货车车厢内部的点云。
201.s1705:对目标点云进行体素下采样,得到体素下采样后点云。
202.s1706:根据体素下采样后点云,获取货车车厢的实际宽度和实际高度
203.s1707:构建m*n的空矩阵,其中,m包括实际宽度,n包括实际高度。
204.在本技术实施例中,s1701至s1707在s1401至s1407中已经做了详细说明,在此不再赘述。
205.s1708:以实际宽度和实际高度对应的平面为基准面,针对基准面中任一最小单位对应的所有目标点云,筛选距离基准面最近的目标点云记录到最小单位对应的空矩阵中相应位置。
206.在本技术实施例中,以实际宽度和实际高度对应的平面为基准面,对基准面中最小单位对应的所有目标点云,筛选出距离基准面最近的目标点云记录到最小单位对应的空矩阵中相应位置。
207.在本技术实施例中,由于货物从货车车头方向依次向货车尾部方向堆放,将基准面设置于车尾方向的车厢边界,基准面中最小单位包括体素盒尺寸为边长的正方形。针对任一最小单位确定最小单位对应的所有目标点云中距离基准面最近的目标点云,将距离基准面最近的目标点云与货车车头方向的车厢边界的距离记录到最小单位对应的空矩阵中的相应位置。其中,可先确定距离基准面最近的目标点云与货车车头方向的车厢边界之间的体素盒个数,将体素盒个数与一个体素盒的体积的乘积作为距离基准面最近的目标点云与货车车头方向的车厢边界的距离,并记录到最小单位对应的空矩阵中的相应位置。
208.s1709:对赋值后的空矩阵求和,得到货车车厢的装载体积。
209.s1710:根据装载体积确定货车车厢的装载率。
210.s1711:将至少包括装载率的车辆装载信息上传至装载中心平台。
211.在本技术实施例中,s1709至s711在s1409至s1411中已经做了详细说明,在此不再赘述。
212.通过本技术实施例的描述,可以实现通过目标点云得到装载体积,然后由装载体积确定装载率,通过这种方式得到的装载率更加准确。
213.图18为本技术实施例提供的一种基于神经网络的装载率确定装置的结构示意图,应用于边缘计算服务器,该装置包括:初始点云获取模块1801、初始点云筛选模块1802、顶点点云预测模块1803、顶点点云处理模块1804、装载率确定模块1805,以及装载信息上传模块1806。
214.初始点云获取模块1801,用于获取初始点云,其中,所述初始点云包括位于车厢尾部外侧的电磁波设备探测所述电磁波设备视野内区域而产生的点云;
215.初始点云筛选模块1802,用于根据货车停放区域以及目标高度,对所述初始点云进行筛选,得到预处理后点云,其中,所述目标高度大于或等于货车高度与所述电磁波设备距离地面的第一高度之和;
216.顶点点云预测模块1803,用于利用预设神经网络模型,预测所述预处理后点云中车厢的顶点点云,其中,所述顶点点云包括车厢预设顶点对应的所述预处理后点云;
217.顶点点云处理模块1804,用于根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,其中,所述目标点云包括货车车厢及货车车厢内部的点云;
218.装载率确定模块1805,用于利用所述目标点云确定货车车厢的货物体积,并根据所述货物体积确定货车车厢的装载率;
219.装载信息上传模块1806,用于将至少包括所述装载率的车辆装载信息上传至装载中心平台。。
220.图19为本技术实施例提供的一种电子设备的结构示意图,图19所示的电子设备1900包括:至少一个处理器1901、存储器1902、至少一个网络接口1904和用户接口1903。电子设备1900中的各个组件通过总线系统1905耦合在一起。可理解,总线系统1905用于实现这些组件之间的连接通信。总线系统1905除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了说明的清楚起见,在图19中将各种总线都标为总线系统1905。
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1902,处理器1901读取存储器1902中的信息,结合其硬件完成上述方法的步骤。
233.可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits,asic)、数字信号处理器(digital signal processing,dsp)、数字信号处理设备(dsp device,dspd)、可编程逻辑设备(programmable logic device,pld)、现场可编程门阵列(field-programmable gate array,fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术功能的其它电子单元或其组合中。
234.对于软件实现,可通过执行本文功能的单元来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
235.本实施例提供的电子设备可以是如图19中所示的电子设备,可执行如图4、8~14、17中基于神经网络的装载率确定方法的所有步骤,进而实现图4、8~14、17中基于神经网络的装载率确定方法的技术效果,具体请参照图4、8~14、17相关描述,为简洁描述,在此不作赘述。
236.本技术实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中,存储介质可以包括易失性存储器,例如随机存取存储器;存储器也可以包括非易失性存储器,例如只读存储器、快闪存储器、硬盘或固态硬盘;存储器还可以包括上述种类的存储器的组合。
237.当存储介质中一个或者多个程序可被一个或者多个处理器执行,以实现上述在电子设备侧执行的基于神经网络的装载率确定方法。
238.处理器用于执行存储器中存储的基于神经网络的装载率确定程序,以实现以下在电子设备侧执行的基于神经网络的装载率确定方法的步骤:
239.获取初始点云,其中,所述初始点云包括位于车厢尾部外侧的电磁波设备探测所述电磁波设备视野内区域而产生的点云;
240.根据货车停放区域以及目标高度,对所述初始点云进行筛选,得到预处理后点云,其中,所述目标高度大于或等于货车高度与所述电磁波设备距离地面的第一高度之和;
241.利用预设神经网络模型,预测所述预处理后点云中车厢的顶点点云,其中,所述顶点点云包括车厢预设顶点对应的所述预处理后点云;
242.根据所述顶点点云对所述预处理后点云进行处理,得到目标点云,其中,所述目标点云包括货车车厢及货车车厢内部的点云;
243.利用所述目标点云确定货车车厢的货物体积,并根据所述货物体积确定货车车厢的装载率;
244.将至少包括所述装载率的车辆装载信息上传至装载中心平台。
245.专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的
单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
246.结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
247.以上所述的具体实施方式,对本技术的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本技术的具体实施方式而已,并不用于限定本技术的保护范围,凡在本技术的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。