一种人体人脸目标和餐盘目标匹配的餐饮浪费识别方法与流程

本发明涉及图像识别，具体涉及一种人体人脸目标和餐盘目标匹配的餐饮浪费识别方法。

背景技术：

1、随着人民生活水平的提高，在人们就餐时发生食物浪费的现象愈发严重，我们应该养成珍惜粮食，节约粮食的习惯。

2、餐盘残余检测算法通过目标检测网络模型检测出图像中餐盘的具体位置和残余类别。

3、目标匹配算法根据目标框的空间构造信息和目标特征判定餐盘与人体人脸框是否真实匹配，避免因二维空间关系匹配错误带来的误报问题。

4、食堂的就餐环境多变，餐盘各式各样大小不一给反餐饮浪费算法带来了巨大的挑战，为了准确对发生食物浪费的行为准确发出报警，需要对就餐人员进行精准识别和匹配。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种对人体人脸框和检测到的有残余的餐盘自动匹配的餐饮浪费识别方法。

2、本发明克服其技术问题所采用的技术方案是：

3、一种人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，包括如下步骤：

4、a)获取就餐人和餐盘的图像x，识别图像x中的人脸和人体，得到矩形的人脸框和矩形的人体框，人脸框的四个角点的坐标组成人脸坐标信息bf，人体框的四个角点的坐标组成人体坐标信息bp；

5、b)将图像x进行预处理，得到预处理后的图像i1；

6、c)将图像i1输入到由餐盘检测网络中，输出得到矩形的餐盘处的餐盘框，餐盘框的四个角点的坐标组成餐盘坐标信息bd；

7、d)根据盘坐标信息bd所形成的矩形的餐盘框对图像x进行剪裁，得到图像i2；e)将图像i2输入到残余识别模型中，得到残余检测结果results；

8、f)判断残余检测结果results是否识别到残余实务，如果有则执行步骤g)；

9、g)将人脸坐标信息bf、人体坐标信息bp和餐盘坐标信息bd进行目标匹配，得到匹配结果。

10、进一步的，步骤a)中通过设置在反餐饮浪费一体机上的人脸识别摄像头采集得到就餐人和餐盘的图像x。

11、进一步的，步骤a)中通过人脸识别算法和人体识别算法识别图像x中的人脸和人体。

12、进一步的，步骤b)中将图像x缩放到尺寸为640×640，得到预处理后的图像i1。进一步的，步骤c)中的餐盘检测网络由yolov5网络构成。

13、进一步的，步骤e)中残余识别模型为resnet50网络。

14、进一步的，步骤g)包括如下步骤：

15、g-1)获取可以包围人脸坐标信息bf、人体坐标信息bp和餐盘坐标信息bd的最小边框ba；

16、g-2)通过公式xleft＝fxmin(bp,bf,bd)计算得到最小边框ba的左上角横坐标xleft，式中fxmin(·)为对输入坐标信息取横坐标最小值操作，通过公式ytop＝fymin(bp,bf,bd)计算得到最小边框ba的左上角纵坐标ytop，式中fymin(·)为对输入坐标信息取纵坐标最小值操作，通过公式xright＝fxmax(bp,bf,bd)计算得到最小边框ba的右下角横坐标xright，式中fxmax(·)为对输入坐标信息取横坐标最大值操作，通过公式ybottom＝fymax(bp,bf,bd)计算得到最小边框ba的右下角纵坐标ybottom，式中fymax(·)为对输入坐标信息取纵坐标最大值操作；

17、g-3)根据最小边框ba对图像x剪裁，利用resize()函数将剪裁后的图像处理，得到图像x1；

18、g-4)将图像x进行二值化操作，得到二值化后的图像x2；

19、g-5)根据最小边框ba对图像x2剪裁，利用resize()函数将剪裁后的图像处理，得到图像x3；

20、g-6)将图像x1输入到神经网络1中，输出得到人脸框、人体框、餐盘框的特征向量；

21、g-7)将图像x3输入到神经网络2中，输出得到人脸、人体、餐盘的特征向量；g-8)将步骤g-6)中人脸框、人体框、餐盘框的特征向量与步骤g-7)中的人脸、人体、餐盘的特征向量进行特征融合得到匹配结果。

22、进一步的，步骤g-6)中的神经网络1为resnet50网络。

23、进一步的，步骤g-7)中的神经网络2为resnet18网络。

24、进一步的，还包括在步骤g)后将匹配结果输入到softmax函数中，输出得到0-1之间的得分score，将得分score与阈值n进行比较，如果得分score小于等于n则将标记有人体框、人脸框、餐盘框的图像x上传到报警平台，n＝0.5。

25、本发明的有益效果是：通过获取人脸抓图像信息、餐盘残余检测、人体人脸框与餐盘自动匹配、综合判断是否发生浪费、发送报警信息，构建了一种人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，通过目标自动匹配算法解决在发生食物浪费的二维图像中人体人脸框与餐盘框匹配错误带来的误报问题。目标匹配算法将人体人脸框与餐盘框输入到算法模型，直接输出匹配结果，相比与通过计算框与框的iou值的匹配计算方式，精度更高。使用该方法检测到倒餐人员是否存有浪费现象，可以时时刻刻提醒人们珍惜粮食，切勿浪费。

技术特征：

1.一种人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤a)中通过设置在反餐饮浪费一体机上的人脸识别摄像头采集得到就餐人和餐盘的图像x。

3.根据权利要求1所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤a)中通过人脸识别算法和人体识别算法识别图像x中的人脸和人体。

4.根据权利要求1所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤b)中将图像x缩放到尺寸为640×640，得到预处理后的图像i1。

5.根据权利要求1所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤c)中的餐盘检测网络由yolov5网络构成。

6.根据权利要求5所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤e)中残余识别模型为resnet50网络。

7.根据权利要求1所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于，步骤g)包括如下步骤：

8.根据权利要求7所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤g-6)中的神经网络1为resnet50网络。

9.根据权利要求7所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：步骤g-7)中的神经网络2为resnet18网络。

10.根据权利要求1所述的人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，其特征在于：还包括在步骤g)后将匹配结果输入到softmax函数中，输出得到0-1之间的得分score，将得分score与阈值n进行比较，如果得分score小于等于n则将标记有人体框、人脸框、餐盘框的图像x上传到报警平台，n＝0.5。

技术总结
一种人体人脸目标和餐盘目标匹配的餐饮浪费识别方法，包括获取人脸抓图像信息、餐盘残余检测、人体人脸框与餐盘自动匹配、综合判断是否发生浪费，通过目标自动匹配算法解决在发生食物浪费的二维图像中人体人脸框与餐盘框匹配错误带来的误报问题。目标匹配算法将人体人脸框与餐盘框输入到算法模型，直接输出匹配结果，相比与通过计算框与框的IOU值的匹配计算方式，精度更高。使用该方法检测到倒餐人员是否存有浪费现象。

技术研发人员：席道亮,丁鑫,田钿,刘辰飞,陈英鹏,张朝瑞
受保护的技术使用者：神思电子技术股份有限公司
技术研发日：
技术公布日：2024/2/21