一种跨越围栏行为识别系统及方法与流程

1.本发明属于安全监管系统相关技术领域，具体涉及一种跨越围栏行为识别系统及方法。


背景技术：

2.施工作业现场是一个动态、复杂、多变的环境，是物质、信息和人员动态交汇的场所，是企业安全管理的重点区域；近些年，社会发展飞速，各类生产和施工作业场地在大小城市中随处可见，现场作业繁重，安全形势日益严峻，违章情况日益凸显，安全事故频发，造成了大量人身伤亡和财产损失；在施工作业现场，作业人员为了方便，经常跨越施工区域围栏，为了减少这种类似情况的发生，就迫切需要开发一套人员跨越围栏行为识别系统，对作业人员跨越施工区域围栏行为进行识别，从而保障作业人员的生命安全。


技术实现要素：

3.本发明的目的在于提供一种安全防护监管智能化高、监管效率高以及可及时的发现安全隐患的跨越围栏行为识别系统及方法。
4.为便于对本技术方案的理解，对于涉及的专业名词解释如下：
5.deep sort是指多目标跟踪算法；
6.scene graph是指场景图，其属于一种安排场景内对象的数据结构；
7.faster rcnn是指对象检测模型；
8.region proposal network，简称rpn是指一种区域生成网络；
9.softmax是指归一化指数函数；
10.reshape是将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数、维数；
11.non-maximal suppression(nms)是指非极大值抑制函数；
12.attentional gcn是指一种学习算法图卷积神经网络模型；
13.visual genome(vg)是一种大规模图片语义理解数据集。
14.为实现上述目的，本发明提供如下技术方案：一种跨越围栏行为识别系统及方法，包括前端信息采集抓拍系统、网络传输系统、后端平台系统、违章行为识别模块、违章行为导入模块和违章行为上传模块；所述前端信息采集抓拍系统内的违章行为识别模块包括有摄像机和工控机；所述摄像机对人员进行综合信息的采集，并将采集的信息进行图片信息识别和数据缓存后，再通过网络发送到所述网络传输系统内的所述违章行为导入模块；所述违章行为导入模块包括有传感器、a/d转换器、处理器、信号放大器和信号发射器；所述违章行为导入模块通过所述传感器和摄像机将所采集的信号转化为无线信号，再通过所述a/d转换器将声、光、温度和头像转化为数字信号，最后通过所述处理器、信号放大器和信号发射器将数字信号输入到违章行为上传模块；所述违章行为上传模块通过网络将转化后的所述数字信号发送到后端平台系统。
15.作为本发明的进一步改进，所述摄像机对人员进行综合信息的采集具体包括：人员动作状态特征、过往人像面部特征信息。
16.作为本发明的进一步改进，所述工控机用作数据存储。
17.作为本发明的进一步改进，所述后端平台系统包括有违章行为报警模块和违章行为处理模块；所述违章行为报警模块在后台系统内对所述摄像机采集到的作业人员跨越围栏违章行为进行报警提醒，同时后台工作人员会在系统主界面收到违章行为记录提醒；所述违章行为处理模块是对现场发现的跨越围栏行为提出管控措施，并将违章行为整改措施通过网络下达至相关生产作业现场。
18.作为本发明的进一步改进，所述后端平台系统采用雅安d3060室外云台，由服务器安装平台软件组成，包括：视频存储服务器、数据库服务器、管理服务器、应用服务器、web服务器和时钟服务器；图片通过所述视频存储服务器进行集中存储；所述数据库服务器安装数据库软件保存系统各类数据信息；管理服务器负责系统综合管理；应用服务器负责数据处理、布控、比对和输出报文；web服务器安装web server负责向b/s用户提供访问服务；时钟服务器安装gps和ntp校时软件负责全网设备统一校时。
19.一种跨越围栏行为识别系统及方法，具体包括如下步骤：
20.步骤s1：首先所述违章行为识别模块基于多目标跟踪算法(deep sort)对连续视频帧中的物体进行识别，且对不同的物体分配一个id，选取一段时间内id不变的物体进行场景图生成，将包含工作人员和围栏的图片利用graph r-cnn模型生成场景图(scene graph)，生成后的场景图包括物体区域、物体关系及其标签；为了使图的构造(节点和边)与图的标注分离开，这里将场景图的生成分解成三个部分：
[0021][0022]
目的是为p(s＝(v,e,r,o)|i)建模，object region代表目标区域模型部分、relation ship代表关系网络部分、graph labeling代表样例标签对比部分；其中i代表image，v代表节点(node)集合(一个节点对应一个物体区域)，代表物体间的关系，o、r分别代表物体和物体关系的标签；
[0023]
步骤s2：然后采用对象检测模型(faster rcnn)建立目标区域模型(object region proposal)p(v|i)，以生成候选区域；将视频中包含人和围栏的连续10帧图片送入网络中生成特征图，然后通过区域生成网络(region proposal network，rpn)，在特征图每一个像素点处形成九种不同形状的初始检测框，经过一次3
×
3卷积和一次1
×
1卷积后，计算所有检测框、人和围栏的重叠率，取与人和围栏有最大重叠率的检测框标记为有目标物体，计算每一个检测框与所有目标物体的重叠率，取与目标物体有最大重叠率，且大于设定阈值的检测框标记为有目标物体，利用softmax回归模型对检测框进行二分类，再通过reshape函数将特征图变换成rpn网络需要的形式，同时，经过一次3
×
3卷积和一次1
×
1卷积后，利用边界框回归计算每一个检测框与其重叠率最大的目标物体之间的偏移参数，即检测框的位置偏移，proposal部分将包含目标物体的检测框及其位置偏移整合起来，生成候选区域；
[0024]
步骤s3：再然后引入一个网络(relation proposal network，repn)，去掉不存在关系的物体对，公式表示为：
[0025][0026]
其中，代表关系i的物体；代表关系j的物体；φ(
·
)和ψ(
·
)分别代表主语(subject)和宾语(object)的两个映射函数，将所有候选物体映射为subject空间和object空间中的向量，并进行矩阵乘法得到邻接矩阵，然后经过sigmoid函数得到0和1之间的分数，根据得分高低选出得分最高的k对，最后通过non-maximal suppression(nms)去掉重叠部分多的物体对，得到可能存在关系的e对物体，当我们检测出n个物体节点，它们之间的关系可能存在n*(n-1)种，由于真实物体交互中的规则性，大多数物体之间不可能有关系，因此上述网络能有效地估计物体之间的关联性，对候选场景图进行稀疏，抑制了不太可能关系带来的噪声；
[0027]
步骤s4：利用attentional gcn对每一个节点的位置进行加权求和得到卷积后的模型，整合图中相邻节点的上下文信息，标注人和围栏的关系，图卷积公式表示为：
[0028][0029][0030]
其中，message from other objects是指对象来源；message from neighboring relationship是指相邻关系模型；message from neighboring objects是相邻对象来源；o表示object，r表示relation，s表示subject，表示权重参数矩阵，表示非线性激活函数，权重值生成公式表示为：
[0031][0032]
αi＝softmax(ui)
[0033]
然后，将上述标注好的图片放入visual genome数据集中进行预训练，visual genome数据集包含10万张图片，每张图片平均有35个对象、26个属性和21个对象之间的成对关系，训练过程中，当作业人员的检测框与围栏的检测框边的重合率达到50％及以上时，判定作业人员正在跨栏，否则判定未跨栏，最后，得到训练好的检测模型，可对现场作业人员跨越围栏行为进行实时检测。
[0034]
与现有技术相比，本发明的有益效果是：本技术方案违章行为识别模块通过采用多目标跟踪算法对物体进行识别，同时对不同的物体单独分配一个id，因此可以更加高效、有条理以及针对性更加明确的对人物实施甄别；本技术方案采用对象检测模型实现建模生成候选区域，然后再将候选区域内的检测框、人和围栏上传网络，从而生成特征图，首先在网络上可以实现远程资源的共享，其次通过特征图可以更加直观的了解到作业人员的行为状态；本技术方案还设置有后端平台系统，后端平台系统包含有视频存储服务器、数据库服务器、管理服务器、应用服务器、web服务器和时钟服务器，从而可以实现数据信息的接入、比对、记录、分析与共享，亦可实现查询统计功能，进而使得设备功能更加强大以及完善。
附图说明
[0035]
图1为本发明的整体结构示意图。
[0036]
图中：1、前端信息采集抓拍系统；2、网络传输系统；3、后端平台系统；4、违章行为识别模块；5、违章行为导入模块；6、违章行为上传模块；7、违章行为报警模块；8、违章行为处理模块。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
请参阅图1，本发明提供一种技术方案：一种跨越围栏行为识别系统及方法，包括前端信息采集抓拍系统1、网络传输系统2、后端平台系统3、违章行为识别模块4、违章行为导入模块5和违章行为上传模块6；前端信息采集抓拍系统1内的违章行为识别模块4包括有摄像机和工控机；摄像机对人员进行综合信息的采集，并将采集的信息进行图片信息识别和数据缓存后，再通过网络发送到网络传输系统2内的违章行为导入模块5；违章行为导入模块5包括有传感器、a/d转换器、处理器、信号放大器和信号发射器；违章行为导入模块5通过传感器和摄像机将所采集的信号转化为无线信号，再通过a/d转换器将声、光、温度和头像转化为数字信号，最后通过处理器、信号放大器和信号发射器将数字信号输入到违章行为上传模块6；违章行为上传模块6通过网络将转化后的数字信号发送到后端平台系统3。
[0039]
摄像机对人员进行综合信息的采集具体包括：人员动作状态特征、过往人像面部特征信息；工控机用作数据存储；后端平台系统3包括有违章行为报警模块7和违章行为处理模块8；违章行为报警模块7在后台系统内对摄像机采集到的作业人员跨越围栏违章行为进行报警提醒，同时后台工作人员会在系统主界面收到违章行为记录提醒；违章行为处理模块8是对现场发现的跨越围栏行为提出管控措施，并将违章行为整改措施通过网络下达至相关生产作业现场；后端平台系统3采用雅安d3060室外云台，由服务器安装平台软件组成，包括：视频存储服务器、数据库服务器、管理服务器、应用服务器、web服务器和时钟服务器；图片通过视频存储服务器进行集中存储；数据库服务器安装数据库软件保存系统各类数据信息；管理服务器负责系统综合管理；应用服务器负责数据处理、布控、比对和输出报文；web服务器安装web server负责向b/s用户提供访问服务；时钟服务器安装gps和ntp校时软件负责全网设备统一校时。
[0040]
一种跨越围栏行为识别系统及方法，具体包括如下步骤：
[0041]
步骤s1：首先违章行为识别模块4基于多目标跟踪算法(deep sort)对连续视频帧中的物体进行识别，且对不同的物体分配一个id，选取一段时间内id不变的物体进行场景图生成，将包含工作人员和围栏的图片利用graph r-cnn模型生成场景图(scene graph)，生成后的场景图包括物体区域、物体关系及其标签；为了使图的构造(节点和边)与图的标注分离开，这里将场景图的生成分解成三个部分：
[0042][0043]
目的是为p(s＝(v,e,r,o)|i)建模，其中i代表(image)，v代表节点(node)集合(一个节点对应一个物体区域)，代表物体间的关系，o、r分别代表物体和物体关系的标签；
[0044]
步骤s2：然后采用对象检测模型(faster rcnn)建立目标区域模型(object region proposal)p(v|i)，以生成候选区域；将视频中包含人和围栏的连续10帧图片送入网络中生成特征图，然后通过区域生成网络(region proposal network，rpn)，在特征图每一个像素点处形成九种不同形状的初始检测框，经过一次3
×
3卷积和一次1
×
1卷积后，计算所有检测框、人和围栏的重叠率，取与人和围栏有最大重叠率的检测框标记为有目标物体，计算每一个检测框与所有目标物体的重叠率，取与目标物体有最大重叠率，且大于设定阈值的检测框标记为有目标物体，利用softmax回归模型对检测框进行二分类，再通过reshape函数将特征图变换成rpn网络需要的形式，同时，经过一次3
×
3卷积和一次1
×
1卷积后，利用边界框回归计算每一个检测框与其重叠率最大的目标物体之间的偏移参数，即检测框的位置偏移，proposal部分将包含目标物体的检测框及其位置偏移整合起来，生成候选区域；
[0045]
步骤s3：再然后引入一个网络(relation proposal network，repn)，去掉不存在关系的物体对，公式表示为：
[0046][0047]
其中，φ(
·
)和ψ(
·
)分别代表主语(subject)和宾语(object)的两个映射函数，将所有候选物体映射为subject空间和object空间中的向量，并进行矩阵乘法得到邻接矩阵，然后经过sigmoid函数得到0和1之间的分数，根据得分高低选出得分最高的k对，最后通过non-maximal suppression(nms)去掉重叠部分多的物体对，得到可能存在关系的e对物体，当我们检测出n个物体节点，它们之间的关系可能存在n*(n-1)种，由于真实物体交互中的规则性，大多数物体之间不可能有关系，因此上述网络能有效地估计物体之间的关联性，对候选场景图进行稀疏，抑制了不太可能关系带来的噪声；
[0048]
步骤s4：利用attentional gcn对每一个节点的位置进行加权求和得到卷积后的模型，整合图中相邻节点的上下文信息，标注人和围栏的关系，图卷积公式表示为：
[0049][0050][0051]
其中，o表示object，r表示relation，s表示subject，表示权重参数矩阵，表示非线性激活函数，权重值生成公式表示为：
[0052]
[0053]
αi＝softmax(ui)
[0054]
然后，将上述标注好的图片放入visual genome数据集中进行预训练，visual genome数据集包含10万张图片，每张图片平均有35个对象、26个属性和21个对象之间的成对关系，训练过程中，当作业人员的检测框与围栏的检测框边的重合率达到50％及以上时，判定作业人员正在跨栏，否则判定未跨栏，最后，得到训练好的检测模型，可对现场作业人员跨越围栏行为进行实时检测。
[0055]
以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。