用于存放区域的监视设备、具有监视设备的内部物流装置及监视方法与流程

本发明涉及一种用于存放区域的监视设备。此外，本发明还涉及一种具有监视设备的内部物流装置、一种监视方法，尤其是利用所述监视设备和/或所述内部物流装置的监视方法。

背景技术：

1、内部物流描述在运营地区内部发生的物流材料和货物流。内部物流对于精细生产特别重要，因为需要不间断地给生产线供应原材料，并且同时不间断地运走制成的产品。为了不间断地供应原材料，所述原材料必须以足够的量存在。然而，经济方面在这里发挥作用，因为原则上任意大的缓冲库存对于不间断的供应来说将会是值得期望的，但是同时该缓冲库存表示一种死资本并且尤其是在生产线上的产品变换时变得多余。因此，值得期望的是保持缓冲仓库尽可能小。

2、从另一技术领域中公开了出版物de 102016223859 a1，所述出版物涉及用于对监视区域进行监视的摄像机。该摄像机被构造用于从监视区域记录监视图像并且在监视图像中掩蔽人员，以便支持数据保护。此外，该摄像机被构造用于仅仅输出人员得到掩蔽的初始图像。

技术实现思路

1、本发明的主题是一种具有权利要求1的特征的监视设备、一种具有权利要求10的特征的内部物流装置以及一种具有权利要求15的特征的监视方法。本发明的优选或有利的实施方式由从属权利要求、随后的描述以及附图得出。

2、本发明的主题是一种适用于和/或被构造用于监视存放区域的监视设备。存放区域可以是空地区域和/或封闭区域、尤其是大厅区域。存放区域可以被构造为连贯的或者也可以被构造为分布式的。

3、监视设备具有用于记录摄像机图像的至少一个摄像机。还可以规定，监视设备具有多个摄像机，每个摄像机都实施与摄像机相同的功能，但是在存放区域的不同区段中实施。该摄像机可以被构造为低成本灰色或彩色摄像机或彩色深度摄像机(飞行时间，具有图案投影仪、条形投影仪、激光扫描仪等的主动立体摄像机)。尤其是，摄像机被构造用于识别摄像机图像中的深度信息或者记录用于深度识别的信息，使得事后执行深度识别。

4、在摄像机图像上可以对具有多个带有存放空间的轨道的存放区域进行成像。轨道彼此平行地布置，其中存放空间沿着轨道排列成行。轨道平行于存放区域的地板延伸。存放物品可以分别布置在存放空间上。尤其是，具有存放空间和存放物品的轨道构成用于存放物品的缓冲仓库。可以规定，存放区域具有多个这样的缓冲仓库或具有带有存放空间的轨道的其他存放区域。可能的是，不同的存放区域由不同的摄像机监视。

5、优选地，摄像机相对于存放区域取向为使得摄像机的视场从上方或基本上从上方、尤其是从上方垂直地或基本上从上方垂直地对准具有轨道的存放区域。替代于此，摄像机也可以侧向地或从上方倾斜地指向存放区域。尤其是，摄像机的视向与存放区域的地板层面围成75°和90°之间、优选地85°和90°之间的角度。

6、存放物品尤其是被构造为可堆叠的。因此，一个或多个存放物品可以布置在存放空间处，所述存放物品相叠地堆叠和/或构成纵队。

7、监视设备具有用于评估摄像机图像的评估装置。评估装置尤其是被构造为数字数据处理装置，诸如计算机、服务器或云。该评估装置在评估时尤其是基于数字图像处理。评估装置在程序技术上和/或在电路技术上被构造用于确定存放物品相对于存放空间的位置。

8、本发明的优点是，通过存放区域中的监视装置实时地已知：存放区域用存放物品填充得如何以及在哪里必要时可以找到所需要的存放物品。从而由此可以排除在具有空存放空间的轨道处搜索存放物品。以相同的方式支持从存放空间已填充的地方拾取存放物品。因此，监视设备构成用于改善的内部物流解决方案的关键要素。

9、在本发明的一种优选的改进方案的情况下，评估装置具有学习模块，其中学习模块在程序技术上和/或在电路技术上被构造用于基于摄像机的具有已填充的存放空间的学习摄像机图像来学习轨道以及存放空间并且可选地补充地学习其6dof位姿作为存放区域中的存放空间的额定位置数据、额定填充水平和/或额定堆叠高度。尤其是，6dof位姿包括所有六个自由度(6dof：6个自由度，x、y、z中的平移以及围绕x、y、z轴的旋转)。学习模块可以借助于数字图像处理来分析学习摄像机图像，并且从而一方面可以将不同的存放物品彼此分开，使得这可以推断出存放空间和轨道。此外，可以通过学习摄像机图像的3d分析来确定存放空间处堆叠的存放物品的高度，并且将其存储为额定堆叠高度。学习模块可以被构造为软件模块或硬件模块。可以如所示的那样自动化地学习存放区域中的轨道以及存放空间；替代于此，也可以例如由积分器将几何形状作为模型填入到评估装置的模型模块中。

10、在本发明的一种优选的改进方案的情况下，评估装置被构造用于确定存放物品与存放空间的面积重叠度。对于存放物品完全并且正确地位于存放空间上的情况，面积重叠度为100％。对于存放物品位于两个存放空间之间的情况，面积重叠度可以例如分别为50％。与作为存放区域中、尤其是小车网格中的存放空间的相对应的参考单元的百分比重叠面积定义了针对存放空间的填充水平(frtc)。通过评估存放物品的面积重叠度，可以将存放物品分配给存放空间之一。可替代地或补充地，确定存放物品重心和安放位置重心。例如，重心可以被确定为面积重心。此外，确定存放物品重心与安放位置重心之间的重心距离。根据该重心距离，将存放物品分配给其重心距离最小的存放空间。利用这些变型方案可能的是，以定义的方式将存放物品分配给安放位置。

11、在本发明的一种优选的改进方案的情况下，评估装置具有评估模块，所述评估模块在程序技术上和/或在电路技术上被构造用于基于摄像机图像和已知的轨道和存放空间来确定存放物品沿着轨道的位移和/或存放物品尤其是围绕垂直轴的扭转。因此，评估模块可以面向存放区域的经过学习的和/或填入的几何形状，并且可以例如通过数字图像处理来确定对应的位移和/或尤其是围绕存放物品的垂直轴的扭转。

12、在本发明的一种优选的改进方案的情况下，评估装置和/或评估模块被构造用于确定存放物品的倾倒。结合先前的改进方案，尤其是确定6dof位姿实际位置。在了解倾倒和/或6dof位姿实际位置的情况下，下面描述的内部物流装置、尤其是主控制设备可以构成经适配的拾取指令。于是从所识别的6dof位姿可以确定与经过学习的额定位置的相对偏差，所述额定位置可以用作在拾取指令的情况下用于导航的方位校正。

13、特别优选地，评估装置和/或评估模块被构造用于识别存放物品的堆叠高度。通过存放物品的堆叠高度可以估计：相应的存放空间被占用得有多满。在了解堆叠高度的情况下，下面描述的内部物流装置、尤其是主控制设备可以构成经适配的拾取指令。可选地，评估装置被构造用于在摄像机图像中进行深度识别。堆叠高度可以要么仅以彩色图形或以黑白图像得到确定，或者尤其是可以通过深度识别来得到确定，其方式是通过深度识别也识别存放物品的堆叠的高度。如果放弃在深度图像中的评估，例如因为只使用普通的彩色或黑白摄像机，则仍然可以确定x和y中的平移以及围绕z轴的旋转，并且还可以通过借助于摄像机校准缩放所识别的堆叠轮廓来将z中的平移估计为堆叠顶部表面距摄像机的距离。

14、特别优选地可以规定，评估装置和/或评估模块被构造用于识别材料类型和/或存放物品类型，尤其是存放物品中的产品类型。也可以使用这些信息来构成拾取指令。

15、在本发明的一种优选的改进方案的情况下，学习模块和/或评估模块或者学习模块与评估模块的组合被构造为神经网络。通过该神经网络，可以首先利用存放区域的训练图像来训练具有存放空间的轨道的探测以及存放物品的探测，并且在第二阶段中，可以使用经训练的神经网络来评估摄像机图像。

16、在本发明的一种优选的实现的情况下，神经网络被构造为dcnn(深度卷积神经网络(deep convolutional neural network))。神经网络和/或dcnn特别优选地被构造为mask-r-cnn。尤其是，在该构造中，首先进行对象探测并且确定围绕所探测的对象的边界框，并且随后对每个边界框中的所探测的对象进行语义分割。从中得到尤其是构造为堆叠对象的每个所识别的存放物品的外部轮廓。通过该外部轮廓，可以与存放空间的外部轮廓进行比较地确定面积重叠度。神经网络的这些架构或类型可以在这种图像分析方法的情况下特别高效且准确地得到使用。

17、在本发明的一种优选的实现的情况下，存放物品分别被构造为小型装载载体。尤其是，存放物品和/或小型装载载体被构造为箱子，其中箱子的堆叠能够布置在存放区域上。可选地，存放物品和/或小型装载载体可以在存放空间上定位在小车上，以便简化存放物品的手动移动。即使在对存放区域中的存放物品进行手动移动和/或重组之后，也可以通过监视设备再次确定该存放物品在存放区域中的位置。

18、可选补充地，在存放物品上，在至少最上面的存放物品的由摄像机可看到的位置上布置针对存放物品的类型的标识。例如，该标识可以施加在存放物品的盖子上。监视设备被构造用于通过评估装置和/或评估模块来确定存放物品的类型。以这种方式，监视设备的输出不仅包括存放物品在存放区域中的位置，而且包括存放物品的类型。在此存在以下约束：摄像机只能检测存放空间中的堆叠中的可看到的存放物品。

19、具有存放区域的内部物流装置构成本发明的另一主题，其中存放区域具有多个带有存放空间的轨道。内部物流装置具有如先前描述的监视设备，其中监视设备被构造用于确定存放物品相对于存放空间的位置。由此在内部物流装置中存在关于存放空间和/或轨道的位置以及存放物品的位置的了解。

20、在本发明的一种优选改进方案的情况下，监视设备被构造用于监视存放区域中的限制区和/或发货区域。尤其是，监视设备可以被构造用于监视这些限制区和/或发货区域是否也实际上保持空置或者这些限制面和/或发货区域是否违反物流顺序而被占用。由此内部物流装置和/或监视设备得到增值。

21、在可能的改进方案的情况下规定，监视设备被构造用于识别并且匿名化存放区域中的人员。原则上假设，摄像机的摄像机图像原本仅用于针对填充水平探测的分析并且然后被丢弃。然而对于出于归档原因而对摄像机图像进行存档的情况下，通过监视设备可以有利地实施存放区域中人员的匿名化，从而可以以数据保护法允许的方式对摄像机图像进行存档。

22、在本发明的一种优选的设计方案的情况下，内部物流装置具有主控制设备，其中主控制设备被构造用于基于存放物品的位置将拾取指令传送给自动车辆和/或拾取人员。因此，主控制设备负责材料流，其中基于存放物品相对于存放空间的位置以及由此也基于轨道的占用，可以对应地指示自动车辆和/或拾取人员来拾取正确的存放空间处的存放物品。尤其是，通过确定存放物品的位移、扭转和/或倾倒，尤其是通过确定6dof位姿，使得拾取指令可以不涉及存放空间，而是与存放物品的真实方位协调。由此还可以针对不合适的、尤其是已移位的、已扭转和/或已倾倒的存放物品构成拾取指令。

23、在本发明的一种优选的改进方案的情况下，主控制设备被构造用于从生产设施接收存放物品需求，并且补充地基于存放物品需求构成拾取指令。主控制设备因此接收生产设施的存放物品需求，因为这些生产设施例如需要新的存放物品来用于进一步生产。基于已知的存放物品需求和已知的位置并且可选地补充地对位移、扭转、倾倒、存放物品类型和/或堆叠高度的了解，主控制设备可以构成拾取指令。

24、本发明的另一主题涉及一种利用如先前描述的监视设备和/或利用如先前描述的内部物流装置的监视方法，其中在该方法的情况下，记录具有多个带有存放空间的轨道的存放区域的摄像机图像，并且其中评估该摄像机图像以用于确定存放物品的位置。

25、本发明的另一主题涉及一种计算机程序，所述计算机程序被构造用于当所述计算机程序在计算机、设备上、在云中和/或在如先前描述的监视设备和/或内部物流装置上运行时执行先前描述的方法。本发明的另一可选主题涉及一种具有计算机程序的存储介质，尤其是非易失性机器可读存储介质。