基于快速实例分割的分割区域目标计数装置、方法及系统

本发明涉及图像处理，尤其公开了一种基于基于快速实例分割的分割区域目标计数装置、方法及系统。

背景技术：

1、随着无人化的大力推进，在许多场景中需要自动实时对区域物品计数。现有智能计数方法只能对全图图片计数，无法区分不同区域的物品数量。如专利cn114494823发明了一种零售场景下的商品识别检测计数方法，基于深度学习的人群计数方法。专利cn201910609399.6.发明了一种基于路面提取与分割的深度学习车辆计数方法。然而，大多数方法都只能对整张图像进行识别和计数，无法对场景中的指定区域计数。专利cn201910609399.6通过两个分支分别获取公路和车辆的类别预计分割掩膜，降低了计算效率。

2、因此，现有计数方法大多只能对整张图像进行识别和计数，无法对场景中的指定区域进行计数；或者虽能对场景中的指定区域计数，但计算效率低下，是目前亟待解决的技术问题。

技术实现思路

1、本发明提供了一种基于快速实例分割的分割区域目标计数装置、方法及系统，旨在解决现有计数方法大多只能对整张图像进行识别和计数，无法对场景中的指定区域进行计数；或者虽能对场景中的指定区域计数，但计算效率低下的技术问题。

2、本发明的一方面涉及一种基于快速实例分割的分割区域目标计数装置，包括机械臂、雷达盘和控制设备，其中，机械臂包括高速摄像机组件和机械臂组件，高速摄像机组件设于物料输送带和雷达盘的上方，用于利用折叠式的机械传动机构进行活动；机械臂组件的末端设有抓取机构，抓取机构上设有橡胶套或气动硅胶吸盘，用于在抓取过程中减缓抓取时的机械应力；高速摄像机组件安装于抓取机构上方，用于当物料输送带上带有凹槽的固定治具将物料的商品标签向上展示时进行快速拍摄并进行识别后，利用机械臂组件将该物料进行识别和抓取，并在抓取该物料后旋转该物料瓶盖朝上，放入雷达盘中指定位置，完成识别分类整理，并进行计数；雷达盘分布有n个扇形区域，n个扇形区域从中心向外部扩展，每个区域可容纳物料的数量以中心为基数向外增加，并且每个区域设计有重力感应器，通过预设单个物料的重量进行计数；控制设备分别与高速摄像机组件和重力感应器相连接，用于根据高速摄像机组件传送的识别信息和重力感应器采集的计数信息，利用预设的雷达盘映射区域进行标记和展示，每个雷达盘映射区域在机械臂识别并抓取物料后进行计数，当一批次的物料全部识别和分类完成后，在每个扇形区域显示当前物料数量；并当选取雷达盘重力感应复核后，通过各扇形区域的重力感应计数进行二次刷新，如有抓取计数与重力感应计数存疑者，则该扇形区域展示显示黄色；如明确存在错误，则该扇形区域显示红色，并进行闪动提示；如不存在疑问，则该扇形区域显示颜色为绿色。

3、进一步地，控制设备还用于当该批次的雷达盘中的一区域或一型号物料被全部提取使用完成后，在该区域显示标记为灰色；如信息系统中仍记录有该型号物料未被使用完毕，则立即发出弹窗告警，提示形式为全屏展示红色，并提示该型号物料存在错误，提醒工作人员及时复核。

4、本发明的另一方面涉及一种基于快速实例分割的分割区域目标计数方法，应用于上述的基于快速实例分割的分割区域目标计数装置中，基于快速实例分割的分割区域目标计数方法包括以下步骤：

5、训练样本集制作：收集训练图片，标注训练图片，生成实例分割标注；

6、实例分割模型训练：检测药品所在的位置区域，输出药品的分类置信度；输出雷达盘不同区域的区域掩膜和分类置信度；

7、分割结果融合：首先使用实例分割模型获得药品的位置和分类；然后获取药品所在的位置区域的掩膜和分类；最后获取药品所在的位置区域掩膜内的药品数量即为区域药品数量。

8、进一步地，训练样本集制作的步骤包括：

9、检测药品所在的位置区域：使用高速摄像机组件中的高清摄像头全程连续采集药品拍摄区的视频，该视频将药品按照不同的组合、不同的方向和不同的位置，放在不同区域；

10、标注训练图片：在标注过程中标注出训练图片中药品的包围框，对于雷达盘的不同扇形区域也进行标注，采用多边形的方式标注出雷达盘不同扇形区域的掩膜；

11、实例分割数据集制作：首先在标注的训练图片中，根据顶视成像情况下注射类药品绝大多数为圆形的特点，以标注的矩形框的中心为圆心、以矩形框长宽的均值为直径，生成圆形的多边形掩膜；然后将数据集按照3:1的比例分为训练集和验证集。

12、进一步地，分割结果融合的步骤包括：

13、使用预处理模块将待训练图像随机缩放后从中裁剪成固定大小的图像，以方便网络进行处理，并加载相关标注；

14、对裁剪成固定大小的图像进行空间变换、颜色抖动、以及进行grid-mask数据扩充；

15、加载在coco数据集训练的预训练模型以初始化网络参数；

16、在训练集上训练模型直至收敛，通过训练集在验证集上的检测精度获得不同超参数下的检测结果，取在验证集上精度最高的模型为最终推理模型。

17、进一步地，分割结果融合的步骤包括：

18、加载训练好的实例分割模型；

19、加载摄像头获取的图像，并进行预处理；

20、使用推理模型获得图像中药品的区域位置和分类置信度；

21、融合实例分割的结果、以及获得的图像中药品的区域位置和分类置信度，实现最终药品计数。

22、本发明的另一方面还涉及一种基于快速实例分割的分割区域目标计数系统，应用于上述的基于快速实例分割的分割区域目标计数装置中，基于快速实例分割的分割区域目标计数系统包括：

23、数据集制作模块，用于训练样本集制作：收集训练图片，标注训练图片，实例分割数据集制作；

24、实例分割模型训练模块，用于实例分割模型训练：检测药品所在的位置区域，输出药品的分类置信度；输出雷达盘不同扇形区域的区域掩膜；

25、识别计数结果融合模块，用于分割结果融合：首先使用实例分割模型获得药品的位置和分类置信度；然后获取雷达盘不同扇形区域的掩膜和分类置信度；最后获取药品所在的位置区域掩膜内的药品数量即为区域药品数量。

26、进一步地，数据集制作模块包括：

27、第一检测单元，用于检测药品所在的位置区域：使用高速摄像机组件中的高清摄像头全程连续采集药品拍摄区的视频，该视频将药品按照不同的组合、不同的方向和不同的位置，放在不同区域；

28、标注单元，用于标注训练图片：在标注过程中标注出训练图片中药品的包围框，对于雷达盘的不同扇形区域也进行标注，采用多边形的方式标注出雷达盘不同扇形区域的掩膜；

29、制作单元，用于生成实例分割标注：首先在标注的训练图片中，根据顶视成像情况下注射类药品绝大多数为圆形的特点，以标注的矩形框的中心为圆心、以矩形框长宽的均值为直径，生成圆形的多边形掩膜；然后将数据集按照3:1的比例分为训练集和验证集。

30、进一步地，识别计数结果融合模块包括：

31、裁剪单元，用于使用预处理模块将待训练图像随机缩放后从中裁剪成固定大小的图像，以方便网络进行处理，并加载相关标注；

32、处理单元，用于对裁剪成固定大小的图像进行空间变换、颜色抖动、以及进行grid-mask数据扩充；

33、加载单元，用于加载在coco数据集训练的预训练模型，以初始化网络参数；

34、训练单元，用于在训练集上训练模型直至收敛，通过训练集在验证集上的检测精度获得不同超参数下的检测结果，取在验证集上精度最高的模型为最终推理模型。

35、进一步地，识别计数结果融合模块包括：

36、第二检测单元，用于加载训练好实例分割模型；

37、预处理单元，用于加载摄像头获取的图像，并进行预处理；

38、获取单元，用于使用推理模型获得图像中药品的区域位置和分类置信度；

39、融合单元，用于融合实例分割的结果、以及获得的图像中药品的区域位置和分类置信度，实现最终药品计数。

40、本发明所取得的有益效果为：

41、本发明提供一种基于快速实例分割的分割区域目标计数装置、方法及系统，该装置采用机械臂、雷达盘和控制设备，机械臂包括高速摄像机组件和机械臂组件，高速摄像机组件安装于抓取机构上方，用于当物料输送带上带有凹槽的固定治具将物料的商品标签向上展示时进行快速拍摄并进行识别后，利用机械臂组件将该物料进行识别和抓取，并在抓取该物料后旋转该物料瓶盖朝上，放入雷达盘中指定位置，完成识别分类整理，并进行计数；雷达盘通过预设物料的重量进行计数；控制设备用于根据高速摄像机组件传送的识别信息和重力感应器采集的计数信息，利用预设的雷达盘映射区域进行标记和展示，每个雷达盘映射区域在机械臂识别并抓取物料后进行计数，当一批次的物料全部识别和分类完成后，在每个扇形区域显示当前物料数量；并当选取雷达盘重力感应复核后，通过各扇形区域的重力感应计数进行二次刷新，如有抓取计数与重力感应计数存疑者，则该扇形区域展示显示黄色；如明确存在错误，则该扇形区域显示红色，并进行闪动提示；如不存在疑问，则该扇形区域显示颜色为绿色。本发明提供的基于快速实例分割的分割区域目标计数装置、方法及系统，能够识别和计数画面中不同区域物品的数量，实时精确获取指定区域，并且识别区域中的物品种类并给出物品的位置；能对场景中指定区域的物料进行计数，计数精度高；智能化程度高、计算效率高、可以使注射药品识别、计数工作实现无人化，快速化。