一种监控报警方法及系统与流程

1.本发明涉及监控技术领域，尤其涉及一种监控报警方法及系统。


背景技术：

2.随着安全生产的观念不断深化，企业的生产车间和产线都配置安装了作业监控，并配备专人进行监控和异常处理。然而现有的车间监控方法存在诸多问题，主要问题包括：
3.1)与面向流程制造的化工、造纸行业可实现净化、无尘车间不同，在面向离散制造业的大型装备制造厂、桥梁制造厂，尤其涉及钢结构加工的车间很难实现无尘化。大型装备制造厂的加工工艺中常存在需要高温切割、氩弧焊等工序，因此会产生大量废气，而大型装备制造车间因加工制件体积大，原材料和半成品的临时层叠码垛，导致废气不易在短时间内消散，使车间能见度降低，加上车间工作服多以深蓝、灰色、黑色等深色调为主，与设备、钢材等其他环境因素边界不清，从监控图像上更加难以区分、辨别。
4.2)对于物体入侵的预警，一般根据入侵面积与禁入区域(预警面)的面积占比来触发警报，然而这种方式经常误报警。例如：一只飞虫在贴近摄像头的范围进行飞行运动，由于近大远小的透视现象，飞虫面积成倍扩大，占比达到预设值，即会导致误触监控报警，从而给监控人员造成额外的审查工作，另一方面因为误报警的预警留存也会浪费大量的存储空间。
5.3)当监控系统部署完成后，由于监控系统的固化问题，导致设备的升级换代、增减、迁移以及新功能设备的引入都存在困难。
6.因此，现亟需提出一种全新的监控报警方法和/或系统用以避免上述问题的发生。


技术实现要素：

7.为解决上述技术问题，在本发明的一个方面提出了一种监控报警方法，所述方法包括，通过监控节点获取监控现场的图像数据；识别所述图像数据中的人体，并对所述人体的多个关键节点进行捕捉；基于所述人体的多个关键节点构建肢体线，并计算所述肢体线在基于图像数据生成的预警面中的侵入占比；响应于所述肢体线在所述预警面中的侵入占比大于等于预设阈值，控制所述监控节点发出警报并向监控中心上传相关的图像数据。
8.在一个或多个实施例中，所述响应于所述肢体线在所述预警面中的侵入占比大于等于预设阈值，控制所述监控节点发出警报，包括：响应于所述肢体线侵入所述预警面的长度与所述肢体线整体长度的比值大于等于第一预设阈值，控制所述监控节点发出警报；其中，所述预警面为对应所述图像数据的图像画面中的指定区域。
9.在一个或多个实施例中，所述响应于所述肢体线在所述预警面中的侵入占比大于等于预设阈值，控制所述监控节点发出警报，包括：响应于所述肢体线中的侵入所述预警面的关键节点的数量占所述肢体线中的全部关键节点的数量的比值大于等于第二预设阈值，控制所述监控节点发出警报；其中，所述预警面为对应所述图像数据的图像画面中的指定区域。
10.在一个或多个实施例中，所述监控报警方法还包括：识别所述图像数据中的物体；对识别到的物体进行分类，并根据所述分类对所述图像数据对应的图像画面进行区域划分，并基于划分结果生成一个或多个预警面。
11.在一个或多个实施例中，所述监控报警方法还包括：基于所述人体的多个关键节点识别人体动作；根据一个或多个所述人体动作及所述人体所在的区域识别对象行为；响应于所述对象行为是非正常行为，控制所述监控节点发出警报并向监控中心上传相关的图像数据。
12.在一个或多个实施例中，所述图像数据包括：景深图像数据以及热成像数据。
13.在本发明的另一个方面，提出了一种监控报警系统，包括：一个或多个监控节点，每个所述监控节点至少包括一摄像机以及一处理模块，所述一摄像机与一处理模块通信连接；存储模块，所述存储模块存储有可执行的计算机程序，所述计算机程序在被所述处理模块执行时用于实现如前所述的监控报警方法的相应步骤；监控中心，所述监控中心用于接收来自一个或多个所述监控节点上传的相关图像数据并显示。
14.在一个或多个实施例中，监控报警系统还包括：热成像仪或红外夜视仪，所述热成像仪或所述红外夜视仪通过所述多个数据接口之一与所述处理模块通信连接，并用于向所述处理模块发送获取到的热成像数据或夜视成像数据。
15.在一个或多个实施例中，监控报警系统还包括：热成像仪，所述热成像仪通过所述多个数据接口之一与所述处理模块通信连接，并用于向所述处理模块发送获取到的热成像数据。
16.在一个或多个实施例中，监控报警系统还包括：散热装置，所述散热装置设置于所述底座附近，用于为所述底座中的处理模块散热。
17.本发明的有益效果包括：1)提供进行图像识别、人体姿态预测的监控方法和装置，支持在图像清晰度不高的情况下通过推测人体姿态进行辅助监控，并支持离线状况下的推测，减少监控人员投入和降低车间布网成本。2)提供将人体姿态量化，转换成肢体与预警区域的精准判断，提升预警精确度。3)提供支持根据应用场景，对配置进行灵活升降的低成本、高效果的监控设计和装置。4)提供针对业态的模型训练，在同行业内可形成一次训练，多处部署的优势，降低机器训练成本。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
19.图1为本发明的一种监控报警方法的工作流程图；
20.图2为本发明的监控报警系统的结构示意图；
21.图3为现有的监控报警系统的工作流程图；
22.图4为本发明的监控报警系统的工作流程图；
23.图5为本发明的监控报警系统的监控节点侧的实物连接示意图。
具体实施方式
24.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
25.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
26.图1为本发明的一种监控报警方法的工作流程图。如图1所示，本发明的监控报警方法的工作流程包括：步骤s1、通过监控节点获取监控现场的图像数据；步骤s2、识别图像数据中的人体，并对人体的多个关键节点进行捕捉；步骤s3、基于人体的多个关键节点构建肢体线，并计算肢体线在基于图像数据生成的预警面中的侵入占比；以及步骤s4、响应于肢体线在预警面中的侵入占比大于预设阈值，控制监控节点发出警报并向监控中心上传相关的图像数据。其中，预警面为对应图像数据的图像画面中的指定区域。
27.在上述实施例中，本发明提出了采用图像分析算法实现对监控现场的监控，并提出以识别人体关键节点，构建肢体线，进而计算肢体线在生成的预警面中的侵入占比来触发报警；相比于现有技术中通过捕捉移动对象，根据对象侵入预警面的面积占比来触发警报方式大大降低了误报警的发生；例如，背景技术中所提到的飞虫侵入报警，由于飞虫无法被识别为人体，更加无法被识别到关键节点，因此，并不会触发误报警。并且，也进一步由于本发明识别的是关键节点，因此，对图像的画质要求不高，使得在应用本发明方案时的硬件投入远低于现有监控方案的投入。
28.在进一步的实施例中，为了进一步保证侵入报警的准确性，本发明还提出了通过计算肢体线侵入预警面的长度与肢体线整体长度的比值来计算侵入占比，并响应于肢体线侵入预警面的长度与肢体线整体长度的比值大于等于第一预设阈值，控制监控节点发出警报；在本实施例中，由于肢体线构成至少需要具有两个关键节点，因此，基于肢体线的侵入报警能够有效的避免飞虫入侵等误报警的发生。
29.在进一步的实施例中，为了进一步保证侵入报警的准确性，本发明还提出了通过肢体线中的侵入预警面的关键节点的数量占肢体线中的全部关键节点的数量的比值来计算侵入占比，并响应于肢体线中的侵入预警面的关键节点的数量占肢体线中的全部关键节点的数量的比值大于等于第二预设阈值，控制监控节点发出警报。在本实施例中，考虑到人体姿态对侵入占比的影响，例如当人体俯身或蹲坐时，关键节点较为集中，此时再基于肢体线侵入预警面的长度来计算侵入占比显然不够精准，为此，本实施例方案提出了以计算关键节点侵入预警面的比例来计算侵入占比，能够更加精准的实现侵入报警。
30.在一个具体实施例中，将上述两个实施例中的侵入报警方式相结合，在监控过程中，以上述两种侵入报警任意一个条件满足时即触发侵入报警。
31.在进一步的实施例中，本发明还给出了自动确定预警面的方式，步骤包括：识别图像数据中的物体；对识别到的物体进行分类，并根据分类对图像数据对应的图像画面进行区域划分，并基于划分结果生成一个或多个预警面。其中，预警面所对应的是监控现场中禁止人员入内的区域，该区域内可能存在危险。
32.在一个具体实施例中，禁入区域还可能涉及商业机密，为此，本发明的现场监控方法还包括，对人监控画面中的人员进行人脸识别，根据对象身份的级别区别的确定禁入区
域。本实施能够更加智能的实现对现场的监控，并能够有效的辅助车间的管理工作。
33.在本发明的监控预警方法中，不但能够实现对禁入区域的监控，还能够对人员的异常行为进行监控，具体方案如下：
34.在进一步的实施例中，本发明的监控报警方法还包括基于人体的多个关键节点识别人体动作；根据一个或多个人体动作及人体所在的区域识别对象行为；响应于对象行为是非正常行为，控制监控节点发出警报并向监控中心上传相关的图像数据。其中，上述中的人体动作为根据多个关键节点识别到的人体的基本动作，例如，蹲、坐、站、走、弯腰以及抬手等。然而，考虑到同一动作在不同的场景中可能具有不同的意义，因此，本发明在基于前一个实施例中对车间现场物体的识别分类来确定工作场景，以及一个或多个人体动作来识别对象行为，例如，以数控铣床和摇臂钻床为例，工人同样出现了站立低头的行为，然而对应的具体行为分别是数控铣工正在进行数控铣工序的铣平面行为，以及操作员正在进行孔加工工序的钻孔行为。并且，在两种场景中，人员的非正常操作也将有所区别。由此可见，本实施通过结合识别物体进而确定工作环境，进而基于工作环境和人体动作实现的对对象行为的监控更加合理且有效。
35.在进一步的实施例中，对于侵入报警中进入危险区域的情况，本发明区的图像数据可以为景深图像数据以及热成像数据。其中，基于热成像数据实现的侵入报警能够有效的避免因废气、障碍物遮挡等对于现有技术而言无法有效实现现场监控的情况，相反，由于本发明采用的是基于人体关键节点及构建人体线的方式可以有效的实现对上述不利工况下的现场监控。并且，对于夜间监控也具有良好的效果。
36.需说明的是，上述应用场景仅为本发明能够想到的常用应用场景，但并不对本发明的应用场景起到任何限制作用；任何能够在本发明提出的应用场景中获得启示，并可通过本发明方法监控的其它应用场景也均在本发明的保护范围之内。
37.此外，上述对图像数据的分析处理工作主要由神经网络模型实现。在本发明的一个实施例中，可以采用由外部设备训练模型以及对模型进行优化处理，而后将优化后的神经网络模型模型保存为.tflite文件的形式进行软件部署工作。其中，训练后的神经网络模型具有自我学习能力。
38.在上述各实施例提出的监控报警方法的基础上，本发明还提出了一种监控报警系统，具体说明如下：
39.图2为本发明的监控报警系统的结构示意图。如图2所示，本发明的监控报警系统包括：一个或多个监控节点100(图2中仅展示出一个监控节点)，每个监控节点100至少包括一摄像机120以及一处理模块110，该一摄像机120与一处理模块110通信连接；存储模块200，存储模块200存储有可执行的计算机程序，计算机程序在被处理模块110执行时用于实现上述任意一实施例中的监控报警方法的相应步骤；监控中心300，监控中心300用于接收来自一个或多个监控节点100上传的相关图像数据并显示。
40.在本实施例中，本发明对获取到的图像数据采用了现场离线分析的方式，并且仅将与报警相关的图像数据上传给监控中心，大大降低了对系统网络传输的要求，同时也使得本发明的监控报警系统的部署难度大大降低。并且，本发明为监控节点配置了多个数据接口，因此可以灵活的配置监控节点侧的硬件设备组成，从而在一定程度上解决了监控系统的固化问题，相比于现有技术能够更加简单的实现硬件设备的升级换代、增减、迁移以及
新功能设备的引入。
41.由于本发明对系统的网络传输性能要求不高，因此，在一个可选实施例中，本发明的监控节点可以通过有线通信的方式与监控中心进行通信，并上传相关的图像数据；在一个优选的实施例中，本发明的监控节点可以通过无线通信的方式与监控中心进行通信，并上传相关的图像数据。虽然有线通信于无线通信各有利弊，但是，相比于现有车间监控方案一般对网络传输能力要求较高而只能采用有线通信，本发明提供了更多选择，使得可以根据需要选择通信形式。下表中列出了有线与无线的利弊对比。
42.表1有线通信于无线通信的优缺点对比
[0043][0044][0045]
在一个具体实施例中，监控节点与监控中心采用限制通信方式，如一般情况下，只能由监控节点上传视频数据给监控中心，除经过身份验证后的主动拉取外，任何工艺加工影像数据不会离开边缘设备，保证了工艺流程的机密性。
[0046]
在另一个具体实施例中，监控节点上传的相关图像数据为报警发生前后预设时间段内的图像数据。
[0047]
在本实施例中，由于本发明将图像数据的分析放在了现场的监控节点中进行，其不但实现了算力的平均分配，还避免了集中分析图像数据时，一旦分析系统出现故障而导致失去对整个车间现场的监控能力而产生的危险。本发明方案与现有方案的工作流程的对比如图3和图4所示：
[0048]
图3为现有的监控报警系统的工作流程图。在现有方案中，现场的监控节点一般仅具有摄像能力，而对于图像数据的处理则会放在后台中进行，并且监控中心会实时显示车间现场的监控情况，由主要是在监控人员辅助监控的情况下实现对车间现场的监控工作。
[0049]
图4为本发明的监控报警系统的工作流程图。在本发明方案中，图像数据的处理是在现场中完成的，并仅将触发报警的相关视频上传给监控中心，监控人员只需对监控中心中显示的视频进行关注即可，使得本发明的监控工作大大降低了人力需要。
[0050]
在一个可选实施例中，为了保证对重要区域的持续监控，可以配置监控节点实时上传其拍摄到的视频数据，而不必仅上传与报警相关的视频数据。
[0051]
在一个具体实施例中，本法民的处理模块为树莓派4b集成电路板，摄像机为hbv
‑
4k1928 v55摄像机。
[0052]
在进一步的实施例中，本发明的监控报警系统还包括热成像仪，热成像仪通过底座上的多个数据接口之一与处理模块通信连接，并用于向处理模块发送获取到的热成像数据。
[0053]
在进一步的实施例中，本发明的监控报警系统还包括红外夜视仪，红外夜视仪通过底座上的多个数据接口之一与处理模块通信连接，并用于向处理模块发送获取到的夜视成像数据。
[0054]
在本实施例中，针对企业规模不同，车间生产环境差异的问题，本发明实施例中使用的树莓派4b、hbv
‑
4k1928 v55摄像头均可灵活进行配置升降和调整，实现硬件设备的全自主选择。如：环境整洁、生产环境简单的场景，可将摄像头降配为rpi camera v2，树莓派4b降配为3b+；存在黑暗作业的车间，可将摄像头更换为支持红外夜视的rpi camera noir v2摄像头。
[0055]
在进一步的实施例中，本发明的监控报警系统还包括散热装置，散热装置设置于底座附近，用于为底座中的处理模块散热。
[0056]
在进一步的实施例中，本发明的监控报警系统还包括供电模块，供电模块用于为整个监控报警系统供电。
[0057]
在一个具体实施中，供电模块用于提供220v交流电以及5v/3a的直流电。
[0058]
图5为本发明的监控报警系统的监控节点侧的实物连接示意图。如图5所示，其中100为处理模块(树莓派4b集成电路板)，120为摄像机，400为供电模块，500为风扇。在本实施中，存储模块200也集成在树莓派4b集成电路板上。
[0059]
应用本发明的监控报警方法或系统有助于降低硬件投入成本，下表中列举了现有的几种监控系统与本发明提出的监控报警方法或系统所需的硬件投入对比，具体如下所示：
[0060]
表2本发明方案与现有方案的硬件投入对比
[0061][0062]
通过上述对比可知，同样是实现对2
‑
3个工位的监控，本发明的硬件投入要远低于
百度ai方案，并且由于本发明对摄像机的性能要求不高，使得在摄像机方面的投入成本可以有效降低，因此，本发明方案的硬件投入成本还要比大华方案的更低。
[0063]
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
[0064]
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
[0065]
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
[0066]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。