一种针对复杂背景下的预制菜异物小目标实时检测方法与流程

本发明涉及图像识别，尤其是一种针对复杂背景下的预制菜异物小目标实时检测方法。

背景技术：

1、预制菜(precooked or prepared meals)是指提前经过烹饪和加工的食品，通常是在工厂或厨房中制作并进行包装。预制菜旨在提供方便快捷的饮食解决方案，使消费者能够在忙碌的生活中轻松获得热食或即食食品。在预制菜的制备过程中有可能混入异物，而对异物的处理却主要依赖于在最后的包装过程中使用原始粗放的方式手工拣选异物，故而无法进行规模化、工业化的生产。

2、目前的一些工业化的异物检测技术主要包括金属探测检测、光学检测、重量检测等。金属探测器是一种常用的异物检测技术，它能够对预制菜中的金属异物进行快速、准确的检测。光学检测技术则是通过对预制菜进行成像，来实现对异物的检测。重量检测技术则是通过对预制菜的重量进行监控，来实现对异物的检测。

3、在现有的一些工业化的异物检测方法中，金属探测器只能检测出金属异物，而对于非金属异物则无法检测；光学检测技术对于异物的颜色、形状等要求较高，且对于异物的大小、位置等也有一定的限制；重量检测技术则只能检测出重量超标的异物，而对于轻微超标或者体积超标的异物则无法检测。针对上述无法检测的情况，只能依赖人工拣选异物，产生大量生产成本，也存在误检漏检的问题。而预制菜中最为常见的异物类型为人工包装时混入的微小头发丝和小昆虫，利用人工拣选容易产生较高的漏检率，人眼持续辨别头发丝和小昆虫也比较容易产生疲劳。为了解决目前的异物检测方法中的不足，本技术提出一种基于对象定位和识别算法的技术对预制菜中的异物进行实时监测筛选的方法来提高异物拣选的效率和质量。

技术实现思路

1、本发明提出一种针对复杂背景下的预制菜异物小目标实时检测方法，能提高异物拣选的效率和质量。

2、本发明采用以下技术方案。

3、一种针对复杂背景下的预制菜异物小目标实时检测方法，包括以下步骤；

4、步骤s1、在预制菜包装过程中实时获取预制菜视频图像。

5、步骤s2、对视频进行自动、实时的预处理，保证图像信息的完整性，提高检测的准确度。

6、步骤s3、利用对象定位和识别算法对预处理后的视频图像自动定位识别，判断当前菜品在包装过程中是否混入异物。

7、步骤s4、将检测到的异物用框定位显示到界面上，并标出异物的类别。

8、步骤s2具体包括以下步骤；

9、步骤s21、基于opencv库对实时预制菜视频数据的关键帧进行截取；

10、步骤s22、利用opencv库中的cv2.fastnlmeansdenoisingcolored函数对截取到的关键帧图像进行降噪处理，同时利用cv2.convertscaleabs函数调整图像的对比度和亮度；

11、步骤s23、将图像裁剪为640×640的大小，以便输入后续算法进行处理。

12、步骤s3中，以对象定位算法和识别算法对实时预制菜视频进行识读分析，具体包括以下步骤；

13、步骤s31、将预处理后的预制菜图像划分为固定大小的网格单元；将异物小目标的检测任务转化为对每个网格单元进行预测的任务，以降低计算复杂度；

14、步骤s32、通过卷积神经网络cnn对输入图像进行特征提取；利用cnn中的卷积层，通过将卷积核滑动到输入图像的每个位置，并将卷积核与输入图像的对应位置进行逐元素相乘，然后对所有乘积结果求和，得到输出特征图的像素值；

15、步骤s33、根据提取出的特征图，每个网格单元预测每个类别的条件概率和一组边界框，每个边界框包含预制菜中异物目标的位置和尺寸信息；

16、步骤s34、设定合理的阈值，若某个边界框的置信度高于阈值，则判定该边界框内存在异物；

17、步骤s35、在重叠的候选边界框中，选择置信度最高的边界框作为最终检测结果，并通过非最大抑制来消除冗余的边界框。

18、当所述异物小目标为头发丝时，通过其细长特征与预制菜内容物进行区别；步骤s31中，将预制菜图像分成网格单元后，并在每个单元格上预测异物小目标的类别和位置，当步骤s34预测含异物小目标的边界框尺寸的置信度高于阈值时，则判定该边界框内存在头发丝异物。

19、步骤s32中，从不同层级的卷积特征图中提取特征，并使用跨层特征连接和融合的方法来提高检测精度；以使检测方法对于不同尺度的目标具有鲁棒性，能在单个网络中处理不同分辨率的输入图像；

20、步骤s32中利用卷积神经网络cnn的层级结构逐层提取图像的语义和特征信息，以使算法理解图像中的异物目标和其他背景。

21、步骤s33中，使用多任务损失函数来同时优化目标类别预测和边界框回归，通过组合分类损失、位置损失和目标置信度损失来平衡不同任务的重要性，以实现目标的准确分类和定位，具体为：

22、通过带log的二值交叉熵损失bcewithlogitsloss计算目标置信度损失和分类损失，使得模型可以更准确地预测异物小目标物体的存在与否，以及更准确地预测异物小目标物体的类别；

23、bcewithlogitsloss的计算公式为：

24、lossbce＝-[y×log(p)+(1-y)×log(1-p)]，

25、其中，y是样本的真实标签(0或1)，p是模型预测的概率值；

26、通过ciou损失计算位置损失，使得模型可以更准确地预测目标物体的位置和大小；ciou损失的计算内容中，包括一项用于惩罚预测边界框与真实边界框之间的距离，以及另一项用于惩罚预测边界框与真实边界框之间的长宽比例差异；

27、ciou损失的惩罚公式如下：

28、其中，α是权重函数，定义如下公式所示：

29、v是用来衡量长宽比一致性的参数，定义如下公式所示：

30、

31、完整的ciou损失函数定义如下公式所示：

32、

33、所述预制菜异物为小体积物，包括头发丝或小昆虫，其外观特征与预制菜的菜品组成内容物之间存在肉眼可识别的区别特征。

34、本发明通过在预制菜包装过程中加入基于深度学习算法的目标检测算法，能够有效的提高预制菜工业化拣选、加工的效率，有效保证食品安全的同时，降低人工成本。通过对目标检测算法中的模型进行针对性的调整和优化，不断训练模型，提升算法识别的准度和精度，使其能够实现复杂背景下的高精准异物识别。通过在不损失检测精度的前提下，提高目标检测算法的检测速度，能够达到预制菜实时检测的目的。通过将算法结合硬件终端数据采集设备，能够完成预制菜图像实时采集、实时图像内容检测、异物提示预警，实现工业级应用的目的。

35、本发明基于深度学习的对象定位和识别算法，以深度神经网络作为研发架构，能够解决多任务深度学习问题，通过生成候选区域、提取特征、目标分类和定位等步骤来实现对图像或视频中目标物体的定位和识别。区别于传统的目标检测算法，避免了人工提取目标特征，有效的提高了检测稳定性和精度，能够更好的达到工业需求的标准。

36、本发明的有益效果在于：

37、1.通过在预制菜检测过程中加入基于深度学习的对象定位和识别算法，能够有效的提高预制菜工业化拣选、加工的效率，有效保证食品安全的同时，降低人工成本。

38、2.对目标检测算法中的模型进行针对性的调整和优化，通过不断的模型训练，提升算法识别的准度和精度，使其能够实现复杂背景下的高精准异物识别。

39、3.通过设计轻量化的混合模型，攻克了算法难以适配移动设备的难题，将目标检测算法部署到更多的移动端。

40、4.通过在不损失检测精度的前提下，提高目标检测算法的检测速度，能够达到预制菜实时检测的目的。

41、5.通过将算法结合硬件终端数据采集设备，能够完成预制菜图像实时采集、实时图像内容检测、异物提示预警，实现工业级应用的目的。