基于视频分析食堂厨房着装检测方法、装置、设备及介质与流程

1.本发明属于视频数据分析技术领域，特别涉及基于视频分析食堂厨房着装检测方法、装置、设备及介质。


背景技术：

2.国家食品药品监督管理总局从2014年开始部署开展明厨亮灶工作，旨在使餐饮企业顾客可以直观地看到后厨员工的操作是否规范，卫生是否合格等问题。其中厨师的着装是否规范影响着后厨的食品安全和人员管理效率，是企业施行明厨亮灶工作的重要一环。
3.专利号为201911158800.5公开一种基于深度学习的厨房工作人员穿着规范识别方法，通过对监控视频进行检测来自动识别出厨房工作人员是否穿着规范并反馈给监管者。将食堂监控源视频通过预处理变成待测试数据，然后将待测试数据作为深度学习训练模型的输入并调用训练好的参数，再通过服装规范识别算法识别操作人员的服装规范问题。专利提出的技术仅限提取特征环节和静态目标判定环节，并没有提到时序信息，无法解决同一目标重复告警的问题。
4.专利号为202110555898.9提供了一种厨师帽佩戴检测方法。旨在解决现有技术中的人工在检查后厨人员的厨师帽是否佩戴检查不及时的技术问题。通过将提取视频数据上的人体特征信息输入厨师帽检测模型实时监测厨师帽的佩戴情况，该专利仅检测厨师帽，且利用厨师帽的高度进行去重，没有利用时间序列关系，鲁棒性较差。
5.综上，现有的视频监控方法主要有以下不足：
6.1.视频仅有记录和展示作用，遇到着装不合规的情况仍然依赖于人工去主动发现，人力成本较高。
7.2.部分企业对后厨监控内容实施算法监测可以有效降低人工干预，但多是基于静态图片进行抓拍检测，时间覆盖率较低，有效性较差。
8.3.现有基于视频检测的方法会产生大量的重复报警，加上算法本身无法避免的低概率误报，使得检测系统效率较低，人工干预成本仍然较高。
9.4.现有着装检测系统大多采用单一的是/否着装规范的检测逻辑，鲁棒性较差，准确率较低。
10.因此，研发一种新的基于视频分析的食堂厨房着装规范检测方法就显得尤为必要。


技术实现要素：

11.本发明的目的在于提供一种基于视频分析的食堂厨房着装规范检测方法，引入告警机制，以解决现有技术中的的问题。
12.本技术实施例的第一方面提供了一种基于视频分析食堂厨房着装检测方法，包括：
13.获取视频流数据，基于时间顺序从该视频流数据中采集一帧视频帧；
14.检测该视频帧中的目标厨师，计算每一目标厨师头部区域和身体区域，并记录厨师帽佩戴情况、口罩佩戴情况和厨师服穿着情况；
15.重复上述步骤，循环处理视频流中的后续图像，使用跟踪算法对目标厨师进行跟踪，关联将同一目标厨师在不同时间点里于视频中的位置并获取每个目标的以下参数：
16.maskage：检测为佩戴口罩或者没有佩戴口罩的时间；
17.withmaskage：检测为佩戴口罩的时间；
18.uniformage：检测为身穿厨师服或者没有身穿厨师服的时间；
19.withuniformage：检测为身穿厨师服的时间；
20.hatage：检测为佩戴厨师帽或没有佩戴厨师帽的时间；
21.withhatage：检测为佩戴厨师帽的时间；
22.分别设定口罩、厨师服和厨师帽的持续阀值和报警阀值，当maskage大于“持续阈值”且withmaskage和maskage的比值小于“报警阈值”时，标定目标厨师没有戴口罩；当uniformage大于“持续阈值”且withuniformage和uniformage的比值小于“报警阈值”时，标定目标厨师没有穿厨师服；当hatage大于“持续阈值”且withhatage和hatage的比值小于“报警阈值”时，标定目标厨师没有佩戴厨师帽；若目标厨师满足“没有戴口罩”、“没有戴厨师帽”、“没有穿厨师服”三者任意一个条件，检测算法将该目标厨师视为不规范着装目标并进行算法告警；
23.将视频画面划分成若干区域，如果某算法告警目标出现在该区域内，为该区域添加参数：areaalarm：区域告警解除时限，设定初始值为0，每当该区域出现算法告警目标，该参数添加一个可配置的固定值alarmadd，如果该区域没有出现算法告警目标则areaalarm每秒减1，直至为0；
24.若检测到出现了算法告警厨师目标且算法告警目标所述区域告警解除时限为0，则输出目标厨师着装不规范告警信息。
25.进一步地，检测该视频帧中的目标厨师，计算每一目标厨师头部区域和身体区域，并记录厨师帽佩戴情况、口罩佩戴情况和厨师服穿着情况的具体执行方法包括：
26.检测该视频帧中的目标厨师，获得每一目标厨师的位置；其中，定义画面的左上角为坐标原点，计算目标厨师目标框的左上角坐标和右下角坐标；
27.对每一目标厨师进行头部区域检测和身体区域检测，计算头部区域框的左上角和右下角坐标以及身体区域框的左上角坐标和右下角坐标；
28.对每一头部区域进行分类，分类任务包括是否佩戴厨师帽和是否佩戴口罩；对每一身体区域进行分类，分类任务包括：是否身穿厨师服。
29.进一步地，检测该视频帧中的目标厨师，计算每一目标厨师头部区域和身体区域，并记录厨师帽佩戴情况、口罩佩戴情况和厨师服穿着情况中的每一目标厨师的位置标定采用xy二维坐标轴标定。
30.进一步，获取视频流数据，基于时间顺序从该视频流数据中采集一帧视频帧中根据视频清晰程度设定每一帧视频流数据的播放时长。
31.进一步地，每一帧视频流数据的播放时长与视频清晰度成反比。
32.进一步地，检测该视频帧中的目标厨师具体包括：输入预设厨师体型特征数据，建立厨师体型特征数据库模型；采集该视频帧中的每一人体体型特征数据；比对该视频帧中
的每一人体体型特征数据与厨师体型特征数据库模型，标定落入厨师体型特征数据库模型的人体体型特征数据对应的人为目标厨师。
33.本技术实施例的第二方面提供了一种基于视频分析食堂厨房着装检测装置，包括：
34.采集模块，获取视频流数据，基于时间顺序从该视频流数据中采集一帧视频帧；
35.计算模块，检测所述采集模块中视频帧中的目标厨师，计算每一目标厨师头部区域和身体区域，并记录厨师帽佩戴情况、口罩佩戴情况和厨师服穿着情况；
36.处理模块，循环处理视频流中的后续图像，使用跟踪算法对目标厨师进行跟踪，将同一目标厨师在不同时间点里于视频中的位置关联起来并获取每个目标的以下参数：maskage：检测为佩戴口罩或者没有佩戴口罩的时间；withmaskage：检测为佩戴口罩的时间；uniformage：检测为身穿厨师服或者没有身穿厨师服的时间；withuniformage：检测为身穿厨师服的时间；hatage：检测为佩戴厨师帽或没有佩戴厨师帽的时间；withhatage：检测为佩戴厨师帽的时间；
37.设定模块，分别设定口罩、厨师服和厨师帽的持续阀值和报警阀值，当maskage大于“持续阈值”且withmaskage和maskage的比值小于“报警阈值”时，标定目标厨师没有戴口罩；当uniformage大于“持续阈值”且withuniformage和uniformage的比值小于“报警阈值”时，标定目标厨师没有穿厨师服；当hatage大于“持续阈值”且withhatage和hatage的比值小于“报警阈值”时，标定目标厨师没有佩戴厨师帽；若目标厨师满足“没有戴口罩”、“没有戴厨师帽”、“没有穿厨师服”三者任意一个条件，检测算法将该目标厨师视为不规范着装目标并进行算法告警；
38.分析模块，将视频画面划分成若干区域，如果某算法告警目标出现在该区域内，为该区域添加参数：areaalarm：区域告警解除时限，设定初始值为0，每当该区域出现算法告警目标，该参数添加一个可配置的固定值alarmadd，如果该区域没有出现算法告警目标则areaalarm每秒减1，直至为0；
39.告警模块，若检测到出现了算法告警厨师目标且算法告警目标所述区域告警解除时限为0，则输出目标厨师着装不规范告警信息。
40.本技术实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在计算机设备上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方案提供的基于视频分析食堂厨房着装检测方法的各步骤。
41.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方案提供的基于视频分析食堂厨房着装检测方法的各步骤。
42.实施本技术实施例提供的一种基于视频分析食堂厨房着装检测方法、装置、计算机设备及计算机可读存储介质具有以下有益效果：
43.1、有效利用时序信息进行去重：跟踪目标且实时监控其着装覆盖比例；
44.2、引入告警解除机制，大幅降低误报概率。
附图说明
45.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述
中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明实施例提供的一种基于视频分析食堂厨房着装检测方法的实现流程图；
47.图2为本发明实施例提供的一种基于视频分析食堂厨房着装检测装置的结构框图；
48.图3为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
49.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
50.由于不同企业对着装规范要求不一，为便于说明本方法将自定义一种着装规范并在此基础上阐述流程，本实施例的方法定义着装规范为：目标厨师必须佩戴厨师帽，且身穿厨师服，且佩戴口罩。参照图1所示，图1示出了本技术实施例提供的一种基于视频分析食堂厨房着装检测方法的实现流程图。一种基于视频分析食堂厨房着装检测方法，包括：
51.步骤s1：获取视频流数据，基于时间顺序从该视频流数据中采集一帧视频帧；
52.具体的，步骤s1中获取视频流数据，基于时间顺序从该视频流数据中采集一帧视频帧中根据视频清晰程度设定每一帧视频流数据的播放时长，进一步的，每一帧视频流数据的播放时长与视频清晰度成反比，例如，2k视频流中每一帧视频流播放数据为4秒，4k视频流中每一帧视频流播放数据为2秒,8k视频流中每一帧视频流播放数据为1秒，在尽量提高本方法效率性的基础上以此获得最佳的视频流数据单元，满足后续步骤中对每一帧视频流数据相关标定参数采集的准确性。
53.步骤s2：检测该视频帧中的目标厨师，计算每一目标厨师头部区域和身体区域，并记录厨师帽佩戴情况、口罩佩戴情况和厨师服穿着情况；
54.具体的，步骤s2的具体执行方法为：
55.步骤s21：检测该视频帧中的目标厨师，获得每一目标厨师的位置；其中，定义画面的左上角为坐标原点，计算目标厨师目标框的左上角坐标和右下角坐标；详细说明，如下表格所示，列表中每个元素表示1个目标厨师的位置，位置用该目标厨师在画面中以左上角为坐标原点，目标框的左上角和右下角坐标表示：
56.元素信息表示含义x1厨师目标框左上角x坐标y1厨师目标框左上角y坐标x2厨师目标框右下角x坐标y2厨师目标框右下角y坐标
57.步骤s22：对每一目标厨师进行头部区域检测和身体区域检测，计算头部区域框的左上角和右下角坐标以及身体区域框的左上角坐标和右下角坐标；详细说明，对上述列表中的每个目标厨师进行结构化检测，检测出目标的头部区域和身体区域，将此检测信息扩
时，标定目标厨师没有穿厨师服；当hatage大于“持续阈值”且withhatage和hatage的比值小于“报警阈值”时，标定目标厨师没有佩戴厨师帽；若目标厨师满足“没有戴口罩”、“没有戴厨师帽”、“没有穿厨师服”三者任意一个条件，检测算法将该目标厨师视为不规范着装目标并进行算法告警；
75.步骤s5：将视频画面划分成若干区域，如果某算法告警目标出现在该区域内，为该区域添加参数：areaalarm：区域告警解除时限，设定初始值为0，每当该区域出现算法告警目标，该参数添加一个可配置的固定值alarmadd，如果该区域没有出现算法告警目标则areaalarm每秒减1，直至为0；
76.步骤s6：若检测到出现了算法告警厨师目标且算法告警目标所述区域告警解除时限为0，则输出目标厨师着装不规范告警信息。
77.在本实施例中，步骤s2中的每一目标厨师的位置标定采用xy二维坐标轴标定，在其他实施例中，可以根据实际需要引入更多维度的目标厨师区域位置的标定，在此并不为限。
78.相应于上面的方法实施例，本发明实施例还提供了一种基于视频分析食堂厨房着装检测装置，如图2所示，该装置可以包括以下模块：
79.采集模块，获取视频流数据，基于时间顺序从该视频流数据中采集一帧视频帧；
80.计算模块，检测所述采集模块中视频帧中的目标厨师，计算每一目标厨师头部区域和身体区域，并记录厨师帽佩戴情况、口罩佩戴情况和厨师服穿着情况；
81.处理模块，循环处理视频流中的后续图像，使用跟踪算法对目标厨师进行跟踪，将同一目标厨师在不同时间点里于视频中的位置关联起来并获取每个目标的以下参数：maskage：检测为佩戴口罩或者没有佩戴口罩的时间；withmaskage：检测为佩戴口罩的时间；uniformage：检测为身穿厨师服或者没有身穿厨师服的时间；withuniformage：检测为身穿厨师服的时间；hatage：检测为佩戴厨师帽或没有佩戴厨师帽的时间；withhatage：检测为佩戴厨师帽的时间；
82.设定模块，分别设定口罩、厨师服和厨师帽的持续阀值和报警阀值，当maskage大于“持续阈值”且withmaskage和maskage的比值小于“报警阈值”时，标定目标厨师没有戴口罩；当uniformage大于“持续阈值”且withuniformage和uniformage的比值小于“报警阈值”时，标定目标厨师没有穿厨师服；当hatage大于“持续阈值”且withhatage和hatage的比值小于“报警阈值”时，标定目标厨师没有佩戴厨师帽；若目标厨师满足“没有戴口罩”、“没有戴厨师帽”、“没有穿厨师服”三者任意一个条件，检测算法将该目标厨师视为不规范着装目标并进行算法告警；
83.分析模块，将视频画面划分成若干区域，如果某算法告警目标出现在该区域内，为该区域添加参数：areaalarm：区域告警解除时限，设定初始值为0，每当该区域出现算法告警目标，该参数添加一个可配置的固定值alarmadd，如果该区域没有出现算法告警目标则areaalarm每秒减1，直至为0；
84.告警模块，若检测到出现了算法告警厨师目标且算法告警目标所述区域告警解除时限为0，则输出目标厨师着装不规范告警信息。
85.应当理解的是，图2示出的装置的结构框图中，各模块用于执行图1对应的实施例中的各步骤，而对于图1对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请
参阅图1所对应的实施例中的相关描述，此处不再赘述。
86.图3是本技术一实施例提供的一种计算机设备的结构框图。该实施例的计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如基于视频分析食堂厨房着装检测方法的程序。处理器执行所述计算机程序时实现上述各个基于视频分析食堂厨房着装检测方法各实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述图2对应的实施例中各模块的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。
87.示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本技术。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
88.转台设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图3仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述转台设备还可以包括输入输出设备、网络接入设备、总线等。
89.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-12programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
90.所述存储器可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器还可以既包括所述计算机设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述转台设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
91.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于视频分析食堂厨房着装检测方法。
92.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它计算机可读存储介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
93.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。