连续帧箱体提取方法和电子设备与流程

本发明涉及点云数据处理，具体而言，涉及一种连续帧箱体提取方法和电子设备。

背景技术：

1、箱体尺寸的检测以及有效箱体的提取在物体识别、计算机视觉、自动化仓储以及物流等领域具有重要的背景和意义。例如，在自动化仓储、机器人操作以及智能交通系统中，通过获取箱体的尺寸，系统可以更准确地识别和检测箱体，并采取相应的控制策略。进行有效箱体的检测并获取箱体的尺寸有助于规划机器人或自动驾驶车辆的路径。在仓库、工厂等环境中，获取箱体尺寸可以确保机器人或车辆能够安全、高效地穿越并避开障碍物。在仓库、货运站、交通枢纽等场景中，了解箱子的尺寸可以帮助进行空间规划和布局设计。这有助于优化存储、装载、卸载等物流流程，提高空间利用率和效率。在物流和运输中，了解箱子的尺寸对货物的装载和摆放至关重要。通过优化货物的摆放，可以最大程度地利用运输工具的空间，降低运输成本。可见，有效箱体的检测并获取箱体尺寸是提高物流和自动化系统效率、降低运营成本、确保货物安全运输的重要步骤。通过采用精准的尺寸获取方法，可以更好地适应各种场景的需求，提升物流产业的智能化水平。

2、现有的箱体检测方法主要是采用obb(oriented bounding box)算法予以实现。obb算法用于计算点云或物体的最小定向包围盒。这个盒子是可以沿着物体主轴方向旋转的，以使其体积最小，同时能够紧密地包围整个点云或物体。

3、现有的箱体检测方法通常需要依赖手工设计的特征和规则，如颜色、形状、纹理等特征，以及基于规则的检测算法，并且，通常设计为特定场景和特定箱体形状的检测。这种方式对于场景的适应性和通用性差，需要针对不同的场景和箱体形状设计不同的特征和规则，增加了算法的复杂性和实现难度。

技术实现思路

1、本发明的目的包括，例如，提供了一种连续帧箱体提取方法和电子设备，其能够减少对特定场景和形状的依赖，提高算法的通用性和适用性。

2、本发明的实施例可以这样实现：

3、第一方面，本发明提供一种连续帧箱体提取方法，所述方法包括：

4、获取连续的第一图像帧和第二图像帧，所述第一图像帧和第二图像帧中包含至少一个放置于传送带上的同一箱体，所述第一图像帧和第二图像帧的采集间隔时间内所述传送带移动设定距离；

5、获得所述第一图像帧中所有箱体的箱体尺寸，并获得所述第二图像帧中所有箱体的箱体尺寸；

6、基于所述第一图像帧和所述第二图像帧中所有箱体的箱体尺寸确定所述第一图像帧和第二图像帧中匹配的箱体；

7、从所述第一图像帧和第二图像帧中匹配的箱体中提取出目标箱体。

8、在可选的实施方式中，所述获得所述第一图像帧中所有箱体的箱体尺寸的步骤，包括：

9、获得所述第一图像帧中的点云，并对所述点云进行聚类得到多个点云簇，所述多个点云簇包括地面点云以及与至少一个箱体对应的至少一个箱体点云；

10、将各所述点云簇中的点投影至构建的标准平面得到投影点；

11、根据各所述点云簇对应的投影点以及各所述箱体点云与所述地面点云之间的距离，得到所述箱体点云对应的箱体尺寸。

12、在可选的实施方式中，所述将各所述点云簇中的点投影至构建的标准平面得到投影点的步骤，包括：

13、构建与各所述点云簇对应的标准平面；

14、确定各所述标准平面上的参考点以及法向量；

15、针对各所述点云簇，获得所述点云簇中的各个点与所述参考点之间的差值向量，并获得所述差值向量在所述法向量上的投影距离；

16、根据所述投影距离计算得到各个点在所述标准平面上的投影点的坐标。

17、在可选的实施方式中，所述根据各所述点云簇对应的投影点以及各所述箱体点云与所述地面点云之间的距离，得到所述箱体点云对应的箱体尺寸的步骤，包括：

18、根据各所述点云簇对应的投影点确定对应的箱体的矩形框，根据所述矩形框计算得到所述箱体的顶部平面尺寸；

19、获得各所述箱体点云以及地面点云对应的标准平面的平面方程；

20、根据各所述箱体点云以及地面点云对应的标准平面的平面方程，获得各所述箱体点云与所述地面点云之间的距离；

21、根据各所述箱体的顶部平面尺寸以及所述箱体点云与所述地面点云之间的距离，计算得到箱体尺寸。

22、在可选的实施方式中，所述根据各所述点云簇对应的投影点确定对应的箱体的矩形框的步骤，包括：

23、针对各所述点云簇，根据所述点云簇对应的投影点确定外轮廓点；

24、基于所述外轮廓点进行直线拟合，并将所述外轮廓点中的各个点向拟合得到的直线投影，得到多条投影线段；

25、确定满足预设要求的两条投影线段，并基于所述两条投影线段构建得到两条矩形边；

26、基于所述两条投影线段和两条矩形边构建对应的箱体的矩形框。

27、在可选的实施方式中，所述确定满足预设要求的两条投影线段的步骤，包括：

28、确定各所述投影线段的端点，基于各所述投影线段的端点获得各所述投影线段的方向向量；

29、基于每两条投影线段的方向向量计算得到每两条投影线段之间的夹角；

30、基于每两条投影线段之间的夹角确定满足预设要求的两条投影线段。

31、在可选的实施方式中，所述箱体尺寸包括箱体高度以及箱体的顶部平面的顶点；

32、所述基于所述第一图像帧和所述第二图像帧中所有箱体的箱体尺寸确定所述第一图像帧和第二图像帧中匹配的箱体的步骤，包括：

33、针对所述第一图像帧中的各个第一箱体，检测所述第二图像帧中与所述第一箱体的箱体高度之差在预设差值范围内的目标第二箱体的数量是否为一个；

34、若数量为一个，则确定所述第一箱体与所述目标第二箱体匹配；

35、若数量为多个，则基于所述第一箱体和各个目标第二箱体的顶部平面的顶点确定与所述第一箱体匹配的目标第二箱体。

36、在可选的实施方式中，所述基于所述第一箱体和各个目标第二箱体的顶部平面的顶点确定与所述第一箱体匹配的目标第二箱体的步骤，包括：

37、确定所述第一箱体和各个目标第二箱体的顶部平面的顶点中的关键点；

38、检测基于所述第一箱体的关键点与各所述第二箱体对应的关键点之差，确定与所述第一箱体匹配的目标第二箱体。

39、在可选的实施方式中，所述从所述第一图像帧和第二图像帧中匹配的箱体中提取出目标箱体的步骤，包括：

40、比较所述第一图像帧和第二图像帧中匹配的箱体的箱体尺寸；

41、将所述第一图像帧和第二图像帧中匹配的箱体中箱体尺寸较大的箱体作为目标箱体。

42、第二方面，本发明提供一种电子设备，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行前述实施方式中任意一项所述的方法。

43、本发明实施例的有益效果包括，例如：

44、本发明提供一种连续帧箱体提取方法和电子设备，通过获取连续的第一图像帧和第二图像帧，第一图像帧和第二图像帧包含至少一个放置于传送带上的同一箱体且采集间隔时间内传送带移动设定距离。获得第一图像帧中所有箱体的箱体尺寸，并获得第二图像帧中所有箱体的箱体尺寸，基于第一图像帧和第二图像帧中所有箱体的箱体尺寸确定第一图像帧和第二图像帧中匹配的箱体。从第一图像帧和第二图像帧中匹配的箱体中提取出目标箱体。本方案，通过对连续帧中箱体的几何特性进行检测并确定两帧中匹配的箱体来确定目标箱体，减少了对特定场景和形状的依赖，提高了算法的通用性和适用性。