一种堆叠物品数量的确定方法、装置、电子设备及介质与流程

本技术涉及图像处理，特别是涉及一种堆叠物品数量的确定方法、装置、电子设备及介质。

背景技术：

1、在仓储、货运等场景中，物品通常堆叠放置形成堆叠物品。堆叠物品中每一层物品的数量可能相同，也可能不同。在理货、运输等情况下均需要确定堆叠物品的数量。

2、为了确定堆叠物品的数量，目前需要采用人工计数的方式。由于堆叠物品涉及物品遮挡的问题，工作人员从外部通过肉眼观察往往无法确定出被遮挡的内部物品的数量。因此需要将堆叠物品逐层搬下或者挪动物品，才能确定堆叠物品的数量，计数的效率和准确度都较低。

技术实现思路

1、本技术实施例的目的在于提供一种堆叠物品数量的确定方法、装置、电子设备及介质，以提高堆叠物品计数的效率和准确度。具体技术方案如下：

2、第一方面，本技术实施例提供了一种堆叠物品数量的确定方法，所述方法包括：

3、获取同一俯视视角下对堆叠物品拍摄的可见光图像以及深度图像，其中，所述堆叠物品为多个堆叠放置的同一种类的物品；

4、对所述可见光图像进行实例分割，得到所述可见光图像中每个目标物品的实例分割结果，其中，所述目标物品为处于所述堆叠物品的顶层的物品；

5、针对每个目标物品，基于该目标物品的实例分割结果在所述深度图像中对应的深度值，确定该目标物品在物理世界的目标高度值；

6、基于所述目标高度值以及所述物品的高度，确定所述每个目标物品对应的堆叠层数；

7、计算所述每个目标物品对应的堆叠层数的和值，作为所述堆叠物品的数量。

8、可选的，所述基于所述目标高度值以及所述物品的高度，确定所述每个目标物品对应的堆叠层数的步骤，包括：

9、针对所述每个目标物品，基于该目标物品对应的目标高度值以及预设的高度值范围与层数之间的对应关系，确定该目标高度值所属高度值范围对应的层数，作为该目标物品对应的堆叠层数，其中，所述高度值范围为预先基于所述物品的高度确定的。

10、可选的，所述对应关系包括多种类别物品对应的高度值范围与层数之间的对应关系；

11、在所述针对所述每个目标物品，基于该目标物品对应的目标高度值以及预设的高度值范围与层数之间的对应关系，确定该目标高度值所属高度值范围对应的层数的步骤之前，所述方法还包括：

12、获取所述堆叠物品的目标物品类别；

13、所述针对所述每个目标物品，基于该目标物品对应的目标高度值以及预设的高度值范围与层数之间的对应关系，确定该目标高度值所属高度值范围对应的层数的步骤，包括：

14、从多种类别物品对应的高度值范围与层数之间的对应关系中，确定所述目标物品类别对应的目标对应关系；

15、针对所述每个目标物品，基于该目标物品对应的目标高度值以及所述目标对应关系，确定该目标高度值所属高度值范围对应的层数。

16、可选的，所述基于该目标物品的实例分割结果在所述深度图像中对应的深度值，确定该目标物品在物理世界的目标高度值的步骤，包括：

17、确定该目标物品的实例分割结果中每个预设位置在所述深度图像中的深度值；

18、基于预先标定的用于拍摄所述深度图像的相机的内参与外参，确定每个预设位置的深度值在物理世界对应的高度值；

19、根据每个预设位置对应的高度值，确定该目标物品在物理世界的目标高度值。

20、可选的，所述基于预先标定的用于拍摄所述深度图像的相机的内参与外参，确定每个预设位置的深度值在物理世界对应的高度值的步骤，包括：

21、基于预先标定的用于拍摄所述深度图像的相机的内参与外参，确定每个预设位置在物理世界中与所述相机之间的距离；

22、针对每个预设位置，将预先确定的所述相机与所述堆叠物品的堆叠平面之间的距离与该预设位置在物理世界中与所述相机之间的距离之间的差值，作为该预设位置在物理世界对应的高度值。

23、可选的，所述实例分割结果的形状为矩形，所述预设位置为所述矩形的顶点；

24、所述确定该目标物品的实例分割结果中每个预设位置在所述深度图像中的深度值的步骤，包括：

25、将该目标物品对应的矩形的顶点映射至所述深度图像中，得到映射后的所述矩形的顶点在所述深度图像中的位置；

26、基于映射后的所述矩形的顶点在所述深度图像中的位置，确定该目标物品对应的矩形的顶点对应的深度值；

27、所述根据每个预设位置对应的高度值，确定该目标物品在物理世界的目标高度值的步骤，包括：

28、计算该目标物品对应的矩形的顶点所对应的高度值的平均值，作为该目标物品在物理世界的目标高度值。

29、可选的，所述基于所述目标高度值以及所述物品的高度，确定所述每个目标物品对应的堆叠层数的步骤，包括：

30、遍历每个目标物品，每遍历一个目标物品，针对当前目标物品，基于所述目标高度值以及所述物品的高度，确定所述当前目标物品对应的堆叠层数；

31、如果已遍历的目标物品的数量达到所述目标物品的总数量，执行所述计算每个目标物品对应的堆叠层数的和值，作为所述堆叠物品的数量的步骤；

32、如果已遍历的目标物品的数量未达到所述目标物品的总数量，遍历下一个目标物品，并返回所述针对当前目标物品，基于所述目标高度值以及所述物品的高度，确定所述当前目标物品对应的堆叠层数的步骤。

33、第二方面，本技术实施例提供了一种堆叠物品数量的确定装置，所述装置包括：

34、图像获取模块，用于获取同一俯视视角下对堆叠物品拍摄的可见光图像以及深度图像，其中，所述堆叠物品为多个堆叠放置的同一种类的物品；

35、实例分割模块，用于对所述可见光图像进行实例分割，得到所述可见光图像中每个目标物品的实例分割结果，其中，所述目标物品为处于所述堆叠物品的顶层的物品；

36、高度确定模块，用于针对每个目标物品，基于该目标物品的实例分割结果在所述深度图像中对应的深度值，确定该目标物品在物理世界的目标高度值；

37、层数确定模块，用于基于所述目标高度值以及所述物品的高度，确定所述每个目标物品对应的堆叠层数；

38、数量计算模块，用于计算所述每个目标物品对应的堆叠层数的和值，作为所述堆叠物品的数量。

39、可选的，所述层数确定模块，包括：

40、层数确定子模块，用于针对所述每个目标物品，基于该目标物品对应的目标高度值以及预设的高度值范围与层数之间的对应关系，确定该目标高度值所属高度值范围对应的层数，作为该目标物品对应的堆叠层数，其中，所述高度值范围为预先基于所述物品的高度确定的。

41、可选的，所述对应关系包括多种类别物品对应的高度值范围与层数之间的对应关系；

42、所述装置还包括：

43、类别获取模块，用于获取所述堆叠物品的目标物品类别；

44、所述层数确定子模块，包括：

45、对应关系确定单元，用于从多种类别物品对应的高度值范围与层数之间的对应关系中，确定所述目标物品类别对应的目标对应关系；

46、层数确定单元，用于针对所述每个目标物品，基于该目标物品对应的目标高度值以及所述目标对应关系，确定该目标高度值所属高度值范围对应的层数。

47、可选的，所述高度确定模块，包括：

48、深度确定子模块，用于确定该目标物品的实例分割结果中每个预设位置在所述深度图像中的深度值；

49、高度值确定子模块，用于基于预先标定的用于拍摄所述深度图像的相机的内参与外参，确定每个预设位置的深度值在物理世界对应的高度值；

50、目标高度值确定子模块，用于根据每个预设位置对应的高度值，确定该目标物品在物理世界的目标高度值。

51、可选的，所述高度值确定子模块，包括：

52、距离确定单元，用于基于预先标定的用于拍摄所述深度图像的相机的内参与外参，确定每个预设位置在物理世界中与所述相机之间的距离；

53、高度值确定单元，用于针对每个预设位置，将预先确定的所述相机与所述堆叠物品的堆叠平面之间的距离与该预设位置在物理世界中与所述相机之间的距离之间的差值，作为该预设位置在物理世界对应的高度值。

54、可选的，所述实例分割结果的形状为矩形，所述预设位置为所述矩形的顶点；

55、所述深度确定子模块，包括：

56、位置映射单元，用于将该目标物品对应的矩形的顶点映射至所述深度图像中，得到映射后的所述矩形的顶点在所述深度图像中的位置；

57、深度值确定单元，用于基于映射后的所述矩形的顶点在所述深度图像中的位置，确定该目标物品对应的矩形的顶点对应的深度值；

58、所述目标高度值确定子模块，包括：

59、平均值计算单元，用于计算该目标物品对应的矩形的顶点所对应的高度值的平均值，作为该目标物品在物理世界的目标高度值。

60、可选的，所述层数确定模块，包括：

61、物品遍历子模块，用于遍历每个目标物品，每遍历一个目标物品，针对当前目标物品，基于所述目标高度值以及所述物品的高度，确定所述当前目标物品对应的堆叠层数；

62、数量计算子模块，用于如果已遍历的目标物品的数量达到所述目标物品的总数量，执行所述计算每个目标物品对应的堆叠层数的和值，作为所述堆叠物品的数量的步骤；

63、返回子模块，用于如果已遍历的目标物品的数量未达到所述目标物品的总数量，遍历下一个目标物品，并返回所述针对当前目标物品，基于所述目标高度值以及所述物品的高度，确定所述当前目标物品对应的堆叠层数的步骤。

64、第三方面，本技术实施例提供了一种电子设备，包括：

65、存储器，用于存放计算机程序；

66、处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法。

67、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。

68、本技术实施例有益效果：

69、本技术实施例提供的方案中，电子设备可以获取同一俯视视角下对堆叠物品拍摄的可见光图像以及深度图像，其中，堆叠物品为多个堆叠放置的同一种类的物品；对可见光图像进行实例分割，得到可见光图像中每个目标物品的实例分割结果，其中，目标物品为处于堆叠物品的顶层的物品；针对每个目标物品，基于该目标物品的实例分割结果在深度图像中对应的深度值，确定该目标物品在物理世界的目标高度值；基于目标高度值以及物品的高度，确定每个目标物品对应的堆叠层数；计算每个目标物品对应的堆叠层数的和值，作为堆叠物品的数量。由于可见光图像是在俯视视角下对堆叠物品拍摄的，因此可见光图像中的物品为堆叠物品中的顶层物品，对可见光图像进行实例分割所得到的实例分割结果属于堆叠物品中处于顶层的目标物品。由于深度图像和可见光图像为同一俯视视角下拍摄的，并且深度图像中某位置的深度值可以表征该位置与相机之间的距离，因此可以基于实例分割结果在深度图像中的深度值，确定该实例分割结果所属的目标物品在物理世界的目标高度值。由于目标物品对应的目标高度值为该目标物品及其下方的物品的高度值之和，因此可以基于目标高度值以及物品的高度，确定每个目标物品对应的堆叠层数。进而可以计算每个目标物品对应的堆叠层数的和值，作为堆叠物品的数量。这样，可以通过对可见光图像以及深度图像进行图像处理的方式，统计堆叠物品的数量，而不需要通过人工计数的方式，因此可以提高堆叠物品数量的确定效率和准确度。当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。