一种融合UWB室内定位与视频目标检测与跟踪技术的溺水行为检测方法与流程

本发明属于计算机视觉技术及视频监控领域，涉及一种泳池溺水行为检测方法，特别涉及一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法。
背景技术：
：游泳池是每个城市的基础建设设施，是人们休闲娱乐的主要场所。但是游泳也存在着发生溺水的危险，根据数据统计，溺水死亡是我国青少年意外死亡的首要原因。许多溺水事件都发生在公共游泳场所，即使有专业的救生人员监管，但是由于没能够及时发现溺水者，导致了死亡事件的发生。国外早在20多年前已经开展了溺水行为自动检测方面的研究。现有技术中,有些技术方案提出通过安装超声波阵列，检测游泳者游泳动作的运动速率，作为可能发现溺水行为的信号；还有一些技术方案提出利用超声波雷达，检测泳池底部是否出现没有运动的物体来判断是否发生了溺水事件；此外法国的poseidontechnology开发出了世界上第一套基于计算机辅助的溺水行为检测系统。该系统通过在水底和水面上方安装摄像头，检测分析泳池中人群的行为，若发现异常行为人，即溺水者，就通过显示器和警报铃发出警报。该系统已经在欧美多个国家和地区的公共游泳场所安装应用多年，并且帮助发现多列溺水者，拯救了多人的生命。但该系统也存在诸多弊端，比如，该系统只能检测发现已经溺水后期阶段的溺水者，此时的溺水者生命已经岌岌可危，同时，该系统的通过安装在水底的摄像头实现监控，这样的方案不仅维护成本高，而且监控的准确率很容易受其他物体的干扰。申请号为201110448257.x的中国专利公开了一种名称为基于视频的早期溺水行为动作检测方法的发明专利，该专利公开了一种采用隐马尔科夫模型的溺水行为检测方法，维护成本较低，但该方法前期训练和建模模型过程复杂，在实际执行过程中实时性并不好，同时检测的准确度不高，误检率高。因此，研发一套能够自动发现检测溺水事件的系统以及时发现溺水者拯救生命具有极大的现实意义。设计研发一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法。技术实现要素：本发明的目的在于克服现有技术上存在的缺点与不足，寻求提供一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法。为了实现上述目的，本发明涉及的一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法，通过如下技术方案来实现：本发明包括有智能手环模块、智能监控信息处理模块、通信模块、和显示报警模块，智能手环模块用以进行室内定位，同时进行水深检测并发出频闪灯信号进行报警，智能手环模块设置有用以进行信息传递与处理的mcu(微控制单元)，还设置有与mcu通信连接的uwb定位标签、压力传感器和频闪灯，mcu通过其引脚还连接有报警模块，即闪频灯，用以进行溺水报警；压力传感器用以测定水压数据变动的频率，并能够将水深压力变化信号转化为可输出的电信号，并将该电信号传输至mcu进行数据处理，再通过uwb定位标签发送给uwb基站；uwb定位标签用以获得手环使用者的位置数据；智能手环模块能够实现精确的室内定位，同时与智能机监控摄像头的视频检测结果匹配，以验证是否有人员没有佩戴手环，同时实现利用uwb一人一标签id的特点，实现人员的跟踪；智能监控信息处理模块为信息综合与智能处理主机，用以处理智能监控摄像头采集的视频数据、智能手环的定位信息和水深信息，并实时检测和跟踪泳池内的游泳人员，根据提取的特征和设定的条件进行溺水判断；智能监控信息处理模块还通信连接有显示器，能够将信息综合与智能处理主机传递过来的智能手环和智能监控摄像头传来的数据进行显示监控与处理，显示器能够显示多个智能监控摄像头的实时监控数据，并显示泳池内人员的检测和跟踪状况；智能监控信息处理模块还包括有信息综合与智能处理主机通信连接的智能机监控摄像头，安装泳池上方，通过网线或者wifi将监控数据实时发送到信息综合与智能处理主机上，信息综合与智能处理主机通过算法软件智能识别和跟踪泳池内的游泳人员，并判断是否有挣扎溺水的动作；报警模块包括有报警装置，并且与信息综合与智能处理主机通信连接，信息综合与智能处理主机在处理并发现危险情况后能够将报警信息发送至报警装置处进行及时报警；通信模块包括有路由交换机、wifi设备和蓝牙设备，用以实现智能手环模块、智能监控信息处理模块和显示报警模块之间的信息传递，其中智能手环模块和智能监控信息处理模块均通过wifi和蓝牙通信的方式与信息综合与智能处理主机通信连接。进一步的，智能监控摄像头的最佳方式如下，安装在泳池的正上方墙壁上往下俯视，摄像头数量取决于泳池的面积大小、长宽比例、墙顶高度、摄像头fov参数，以全面覆盖泳池为最佳，并保证人体在图像中成像不小于500个像素，安装数量最佳为2-3个摄像头，如果不能安装在整上方，则安装到泳池四周墙壁的高处；信息综合与智能处理主机的数量与摄像头数量一样，采用一对一通信，以保证足够的计算能力。本发明的具体检测步骤按照如下方式进行：s1、系统初始化：a、建立智能监控摄像头图像、智能手环模块定位与泳池坐标系的关系，完成硬件环境的配置，智能监控摄像头所需参数如下：焦距、fov、相机高度(与水面垂直距离)、位姿参数，还需获得摄像头的畸变参数(径向切向)用以进行图像畸变矫正；计算方式如下：已知量：摄像机高度h图像坐标中心对应的世界坐标点与摄像头在y轴上的距离o3m镜头中心点的图像坐标o1(ucenter，vcenter)测量像素点的图像坐标p1(u，0)、q1(u，v)实际像素的长度xpix实际像素的宽度ypix摄像头焦距f(y轴方向计算和上一个模型相同，x轴计算是y轴坐标通过比例计算得到)β＝α-γ这样就可以得到垂直方向的坐标y＝o3p由得到这样就可以得到垂直方向的坐标x＝pq通过上述计算完成智能监控摄像头图像的标定，用以矫正畸变和求解摄像头的内参，采用方法为现有的张正友标定法；再进行智能手环模块定位标定，以泳池为坐标系建立定位系统，智能监控摄像头获得的图像坐标到泳池坐标则采用单目三角形相似法测距，游泳人员检测和轮廓提取采用mask-rcnn算法，多目标跟踪采用kalman滤波算法，定位匹配采用匈牙利算法，挣扎动作溺水判断采用图像溺水特征提取+阈值判断，uwb无信号溺水判断采用uwb一定时间无信号+视频检测不到算法，水压溺水判断一定水压超过一定时间+闪灯检测算法，上述算法均通过主机进行判断；表1流程项目采用算法摄像头标定张正友标定法图像坐标到泳池坐标单目三角形相似法测距游泳人员检测和轮廓提取mask-rcnn多目标跟踪kalman滤波定位匹配匈牙利算法挣扎动作溺水判断图像溺水特征提取+阈值判断uwb无信号溺水判断uwb一定时间无信号+视频检测不到水压溺水判断一定水压超过一定时间+闪灯检测s2、溺水条件的的设定：如表2所示，通过智能监控摄像头获取泳池内及周边人员的如下行为和位置信息并记录，具体包括：直立、速度缓慢、面积变化较大、红灯：水深1米以下超过阈值时间、黄灯：水深0.5-1米，超过阈值时间、进入深水区、视频检测不到人；通过智能手环获取并记录如下信息：uwb信号消失超过阈值时间、uwb信号频率在一定阈值范围内，上述信息均传输至主机处，由主机按照如下条件对某个人是否溺水进行判断，分别达到如下几种条件则判定为溺水，主机控制报警装置发出溺水信号，溺水条件1：同时满足直立、速度缓慢、面积变化较大、进入深水区、uwb信号频率在一定阈值范围内；溺水条件2：uwb信号消失超过阈值时间、进入深水区、视频检测不到人；溺水条件3：uwb信号消失超过阈值时间、红灯：水深1米以下超过阈值时间、进入深水区、视频检测不到人；分别达到如下几种条件则主机控制报警装置进行警告，警告条件1：uwb信号消失超过阈值时间、黄灯：水深0.5-1米，超过阈值时间；警告条件2：黄灯：水深0.5-1米，超过阈值时间、视频检测不到人；表1溺水条件智能手环中uwb信号消失则通过mcu进行消失时间阈值的设定，超过时间阈值则是发生溺水危险或需要警告的条件之一；其中，红灯：水深1米以下超过阈值时间和黄灯：水深0.5-1米，超过阈值时间通过如下方式判断，通过mcu设定频闪灯阈值，并根据测得的水深来设定对应并打开频闪灯，在检测到水深超过1米时则红灯闪烁，水深0.5-1.0米时则黄灯闪烁，然后通过智能监控摄像头捕捉确定灯的颜色；在发生溺水后，溺水者通常会有以下特征：一是移动速度慢，二是面积变化大，三是处于直立状态，上述特征通过对智能监控摄像头获取的视频资料中所有人的前后状态的变化进行计算后判定，速度缓慢的判定则是计算每个目标质心前后帧的像素距离；身体垂直则是计算目标前后帧所占像素个数前后帧差值的绝对值，面积变化较大则是计算目标最佳匹配椭圆的长轴和短轴的比值；表3溺水判断方法和条件s3、通过溺水检测算法进行溺水判定：溺水检测算法结合目标检测算法、目标跟踪算法和溺水判断算法为一个整体，一是用于检测并跟踪泳池内的人员，并定位其轮廓；二是自动判断检测和跟踪人员是否有溺水或潜在溺水行为，具体流程如5所示，具体工艺步骤如下：一、通过目标检测和分割算法来有效的提取出游泳人员，并排除水花、灯光、隔离带等干扰，采用运动目标检测的方法能够有效的提取游泳人员，但是同时也会将水花和隔离带的运动错认为是游泳人员，虽然通过颜色和肤色滤波等方法可以减少这种错检测，但是该方法容易受到背景水花颜色的影响，而且提取的轮廓也不够准确，为了有效的解决背景干扰问题，采取逐帧进行人体检测的方法来提取目标，因为后续的溺水行为判断需要提取人体的轮廓，因此目标检测之后需要对目标进行图像分割；综上考虑，采用mask-rcnn算法，该算法将检测卷积神经网络与图像分割的网络结合，实现了端到端的训练，在maskr-cnn算法的基础:改进用fpn进行目标检测，并通过添加额外分支进行语义分割(额外分割分支和原检测分支不共享参数)，即maskr-cnn有三个输出分支(分类、坐标回归、和分割)，具有如下好处：改进了roipooling，通过双线性差值使候选区域和卷积特征的对齐不因量化而损失信息；一是在分割时，maskr-cnn将判断类别和输出模板(mask)这两个任务解耦合；二是用sigmoid配合对率(logistic)损失函数对每个类别的模板单独处理，相比于经典分割方法用softmax让所有类别一起竞争的准确率高；具体步骤如下：(1)整张图片送入cnn，进行特征提取；(2)在最后一层卷积featuremap上，通过rpn生成roi，每张图片大约300个建议窗口；(3)通过roialign层使得每个建议窗口生成固定大小的featuremap(roialign是生成mask预测的关键)(4)得到三个输出向量，第一个是softmax分类，第二个是每一类的boundingbox回归，第三个是每一个roi的二进制掩码mask(fcn生成)，实验结果如图6和图7所示；二、多目标跟踪，在视频图像序列中，可在各帧之间确定相关参数，包括有目标的位置、速度、形状、颜色，通过对前后帧之间进行匹配，得到它们的匹配关系，将目标轨迹信息记录下来，从而实现目标跟踪；跟踪部分，用的是卡尔曼滤波算法，卡尔曼是一个线性估计算法，可以建立帧间bboxs的关系，跟踪分为5种状态：1、新目标出现；2、目标匹配；3、目标遮挡；4、目标分离；5、目标消失；卡尔曼滤波器算法是通过状态方程和观测方程来描述一个动态系统。设线性系统的状态方程和观测方程分别为：状态方程：xk＝a·xk-1+b·uk+wk观测方程：zk＝h·xk+vk这里，xk是tk时刻的n×1维的状态向量，zk是tk时刻的m×1维的观测向量，a是tk-1时刻到tk时刻的状态转移矩阵，为n×n维，b为系统控制矩阵，uk为系统的控制量状态方程：x(k+1)＝a(k+1,k)x(k)+w(k)，其中x(k)＝[x(k),y(k),w(k),h(k),v(k)],x,y,w,h，分别表示bboxs的横纵坐标，长、宽；观测方程：z(k)＝h(k)x(k)+v(k)其中，w(k),v(k)，不相关的高斯白噪声；定义好了观测方程与状态方程之后就可以用卡尔曼滤波器实现运动目标的跟踪，步骤如下：1)计算运动目标的特征信息，包括运动质心和外接矩形)；2)用得到的特征信息初始化卡尔曼滤波器，开始时可以初始为0；3)用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配；4)如果匹配成功，则更新卡尔曼滤波器；匈牙利匹配算法在此处是将新一帧图片中检测到的运动物体匹配到对应的轨迹，匹配过程是通过最小化卡尔曼预测得到的质心与检测到的质心之间的欧氏距离之和实现的；具体可以分为两步：a)计算损失矩阵，大小为[mn]，其中，m是轨迹数目，n是检测到的运动物体数目；b)求解损失矩阵具体的匹配算法如下：1)计算运动目标的特征信息(质心，边界框)；2)记已有轨迹数m，初始值为0；3)对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配；4)如果匹配成功，则更新轨迹，在匹配的过程中，使用的是kuhn-munkres(km)算法，将新一帧图片中检测到的疑似目标匹配到对应的轨迹，匹配过程是通过最小化预测得到的质心与检测到的质心之间的欧氏距离之和实现的，具体可以分为两步：1)计算损失矩阵，大小为[mn]，其中，m是轨迹数目，n是检测到的运动物体数目；2)求解损失矩阵km算法可以概括成以下几个步骤：a)初始化可行标杆；b)用匈牙利算法寻找完备匹配；c)若未找到完备匹配则修改可行标杆；d)重复(b)、(c)直到找到相等子图的完备匹配。本发明与现有技术相比，取得的有益效果如下：1、抗干扰性能强：本发明不受高压线，手机信号，电台等电磁信号干扰，也不会干扰上述信号，适用环境好；2、系统容量大：单区域可以兼容5000个定位标签，最大可以支持1万多个；3、功率非常小：定位标签1hz刷新速率功耗0.6mw，定位基站功耗5w，能源消耗极低；4、定位精度高：定位精度最高可达2厘米，通常精度10-20厘米；5、穿透能力强：木板，玻璃等遮挡不影响定位精度，穿实体墙一睹信号衰减50％左右，定位精度变差。6、其主体结构简单，设计构思巧妙，使用效果好，检测精确度高，维护成本低，应用环境友好，市场前景广阔。说明书附图：图1为本发明涉及的主体结构原理示意图。图2为本发明涉及的布局方案设计示意图。图3为本发明涉及的溺水判断流程图。图4为本发明涉及的网络简要示意图。图5为本发明涉及的视频处理过程原理示意图。图6为本发明对视频进行处理的效果原理示意图。图7为本发明对视频进行处理的效果原理示意图。图8为本发明涉及的匈牙利算法流程图。具体实施方式：下面通过实施例并结合附图对本发明进一步说明。实施例1：本实施例涉及的一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法，通过如下技术方案实现：本实施例包括有智能手环模块、智能监控信息处理模块、通信模块、和显示报警模块，智能手环模块用以进行室内定位，同时进行水深检测并发出频闪灯信号进行报警，智能手环模块设置有用以进行信息传递与处理的mcu(微控制单元)，还设置有与mcu通信连接的uwb定位标签、压力传感器和频闪灯，mcu通过其引脚还连接有报警模块，即闪频灯，用以进行溺水报警；压力传感器用以测定水压数据变动的频率，并能够将水深压力变化信号转化为可输出的电信号，并将该电信号传输至mcu进行数据处理，再通过uwb定位标签发送给uwb基站；uwb定位标签用以获得手环使用者的位置数据；智能手环模块能够实现精确的室内定位，同时与智能机监控摄像头的视频检测结果匹配，以验证是否有人员没有佩戴手环，同时实现利用uwb一人一标签id的特点，实现人员的跟踪；智能监控信息处理模块为信息综合与智能处理主机，用以处理智能监控摄像头采集的视频数据、智能手环的定位信息和水深信息，并实时检测和跟踪泳池内的游泳人员，根据提取的特征和设定的条件进行溺水判断；智能监控信息处理模块还通信连接有显示器，能够将信息综合与智能处理主机传递过来的智能手环和智能监控摄像头传来的数据进行显示监控与处理，显示器能够显示多个智能监控摄像头的实时监控数据，并显示泳池内人员的检测和跟踪状况；智能监控信息处理模块还包括有信息综合与智能处理主机通信连接的智能机监控摄像头，安装泳池上方，通过网线或者wifi将监控数据实时发送到信息综合与智能处理主机上，信息综合与智能处理主机通过算法软件智能识别和跟踪泳池内的游泳人员，并判断是否有挣扎溺水的动作；报警模块包括有报警装置，并且与信息综合与智能处理主机通信连接，信息综合与智能处理主机在处理并发现危险情况后能够将报警信息发送至报警装置处进行及时报警；通信模块包括有路由交换机、wifi设备和蓝牙设备，用以实现智能手环模块、智能监控信息处理模块和显示报警模块之间的信息传递，其中智能手环模块和智能监控信息处理模块均通过wifi和蓝牙通信的方式与信息综合与智能处理主机通信连接。进一步的，智能监控摄像头的最佳方式如下，安装在泳池的正上方墙壁上往下俯视，摄像头数量取决于泳池的面积大小、长宽比例、墙顶高度、摄像头fov参数，以全面覆盖泳池为最佳，并保证人体在图像中成像不小于500个像素，安装数量最佳为2-3个摄像头，如果不能安装在整上方，则安装到泳池四周墙壁的高处；信息综合与智能处理主机的数量与摄像头数量一样，采用一对一通信，以保证足够的计算能力。本实施例的具体检测步骤按照如下方式进行：s1、系统初始化：a、建立智能监控摄像头图像、智能手环模块定位与泳池坐标系的关系，完成硬件环境的配置，所需参数如下：表1参数作用焦距计算泳池坐标fov计算泳池坐标相机高度(与水面垂直距离)计算泳池坐标位姿参数计算泳池坐标畸变参数(径向切向)图像畸变矫正已知重：摄像机高度h图像坐标中心对应的世界坐标点与摄像头在y轴上的距离o3m镜头中心点的图像坐标o1(ucenter，vcenter)测量像素点的图像坐标p1(u，0)、q1(u，v)实际像素的长度xpix实际像素的宽度ypix摄像头焦距f(y轴方向计算和上一个模型相同，x轴计算是y轴坐标通过比例计算得到)β＝α-γ这样就可以得到垂直方向的坐标y＝o3p由得到这样就可以得到垂直方向的坐标x＝pq通过上述计算完成智能监控摄像头图像的标定，用以矫正畸变和求解摄像头的内参，采用方法为现有的张正友标定法；在进行智能手环模块定位标定，以泳池为坐标系建立定位系统，智能监控摄像头获得的图像坐标到泳池坐标则采用单目三角形相似法测距，游泳人员检测和轮廓提取采用mask-rcnn算法，多目标跟踪采用kalman滤波算法，定位匹配采用匈牙利算法，挣扎动作溺水判断采用图像溺水特征提取+阈值判断，uwb无信号溺水判断采用uwb一定时间无信号+视频检测不到算法，水压溺水判断一定水压超过一定时间+闪灯检测算法，上述算法均通过主机进行判断；表2流程项目采用算法摄像头标定张正友标定法图像坐标到泳池坐标单目三角形相似法测距游泳人员检测和轮廓提取mask-rcnn多目标跟踪kalman滤波定位匹配匈牙利算法挣扎动作溺水判断图像溺水特征提取+阈值判断uwb无信号溺水判断uwb一定时间无信号+视频检测不到水压溺水判断一定水压超过一定时间+闪灯检测s2、溺水条件的的设定：如表2所示，通过智能监控摄像头获取泳池内及周边人员的如下行为和位置信息并记录，具体包括：直立、速度缓慢、面积变化较大、红灯：水深1米以下超过阈值时间、黄灯：水深0.5-1米，超过阈值时间、进入深水区、视频检测不到人；通过智能手环获取并记录如下信息：uwb信号消失超过阈值时间、uwb信号频率在一定阈值范围内，上述信息均传输至主机处，由主机按照如下条件对某个人是否溺水进行判断，分别达到如下几种条件则判定为溺水，主机控制报警装置发出溺水信号，溺水条件1：同时满足直立、速度缓慢、面积变化较大、进入深水区、uwb信号频率在一定阈值范围内；溺水条件2：uwb信号消失超过阈值时间、进入深水区、视频检测不到人；溺水条件3：uwb信号消失超过阈值时间、红灯：水深1米以下超过阈值时间、进入深水区、视频检测不到人；分别达到如下几种条件则主机控制报警装置进行警告，警告条件1：uwb信号消失超过阈值时间、黄灯：水深0.5-1米，超过阈值时间；警告条件2：黄灯：水深0.5-1米，超过阈值时间、视频检测不到人；表2溺水条件智能手环中uwb信号消失则通过mcu进行消失时间阈值的设定，超过时间阈值则是发生溺水危险或需要警告的条件之一；其中，红灯：水深1米以下超过阈值时间和黄灯：水深0.5-1米，超过阈值时间通过如下方式判断，通过mcu设定频闪灯阈值，并根据测得的水深来设定对应并打开频闪灯，在检测到水深超过1米时则红灯闪烁，水深0.5-1.0米时则黄灯闪烁，然后通过智能监控摄像头捕捉确定灯的颜色；在发生溺水后，溺水者通常会有以下特征：一是移动速度慢，二是面积变化大，三是处于直立状态，上述特征通过对智能监控摄像头获取的视频资料中所有人的前后状态的变化进行计算后判定，速度缓慢的判定则是计算每个目标质心前后帧的像素距离；身体垂直则是计算目标前后帧所占像素个数前后帧差值的绝对值，面积变化较大则是计算目标最佳匹配椭圆的长轴和短轴的比值；表3溺水判断方法和条件s3、通过溺水检测算法进行溺水判定：溺水检测算法结合目标检测算法、目标跟踪算法和溺水判断算法为一个整体，一是用于检测并跟踪泳池内的人员，并定位其轮廓；二是自动判断检测和跟踪人员是否有溺水或潜在溺水行为，具体流程如5所示，具体工艺步骤如下：一、通过目标检测和分割算法来有效的提取出游泳人员，并排除水花、灯光、隔离带等干扰，采用运动目标检测的方法能够有效的提取游泳人员，但是同时也会将水花和隔离带的运动错认为是游泳人员，虽然通过颜色和肤色滤波等方法可以减少这种错检测，但是该方法容易受到背景水花颜色的影响，而且提取的轮廓也不够准确，为了有效的解决背景干扰问题，采取逐帧进行人体检测的方法来提取目标，因为后续的溺水行为判断需要提取人体的轮廓，因此目标检测之后需要对目标进行图像分割；综上考虑，采用mask-rcnn算法，该算法将检测卷积神经网络与图像分割的网络结合，实现了端到端的训练，如图4所示，在maskr-cnn算法的基础:改进用fpn进行目标检测，并通过添加额外分支进行语义分割(额外分割分支和原检测分支不共享参数)，即maskr-cnn有三个输出分支(分类、坐标回归、和分割)，具有如下好处：改进了roipooling，通过双线性差值使候选区域和卷积特征的对齐不因量化而损失信息；一是在分割时，maskr-cnn将判断类别和输出模板(mask)这两个任务解耦合；二是用sigmoid配合对率(logistic)损失函数对每个类别的模板单独处理，相比于经典分割方法用softmax让所有类别一起竞争的准确率高；具体步骤如下：(1)整张图片送入cnn，进行特征提取；(2)在最后一层卷积featuremap上，通过rpn生成roi，每张图片大约300个建议窗口；(3)通过roialign层使得每个建议窗口生成固定大小的featuremap(roialign是生成mask预测的关键)(4)得到三个输出向量，第一个是softmax分类，第二个是每一类的boundingbox回归，第三个是每一个roi的二进制掩码mask(fcn生成)，实验结果如图6和图7所示；二、多目标跟踪，在视频图像序列中，可在各帧之间确定相关参数，包括有目标的位置、速度、形状、颜色，通过对前后帧之间进行匹配，得到它们的匹配关系，将目标轨迹信息记录下来，从而实现目标跟踪；跟踪部分，用的是卡尔曼滤波算法，卡尔曼是一个线性估计算法，可以建立帧间bboxs的关系，跟踪分为5种状态：1、新目标出现；2、目标匹配；3、目标遮挡；4、目标分离；5、目标消失；卡尔曼滤波器算法是通过状态方程和观测方程来描述一个动态系统。设线性系统的状态方程和观测方程分别为：状态方程：xk＝a·xk-1+b·uk+wk观测方程：zk＝h·xk+vk这里，xk是tk时刻的n×1维的状态向量，zk是tk时刻的m×1维的观测向量，a是tk-1时刻到tk时刻的状态转移矩阵，为n×n维，b为系统控制矩阵，uk为系统的控制量状态方程：x(k+1)＝a(k+1,k)x(k)+w(k)，其中x(k)＝[x(k),y(k),w(k),h(k),v(k)],x,y,w,h，分别表示bboxs的横纵坐标，长、宽；观测方程：z(k)＝h(k)x(k)+v(k)其中，w(k),v(k)，不相关的高斯白噪声；定义好了观测方程与状态方程之后就可以用卡尔曼滤波器实现运动目标的跟踪，步骤如下：1)计算运动目标的特征信息，包括运动质心和外接矩形)；2)用得到的特征信息初始化卡尔曼滤波器，开始时可以初始为0；3)用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配；4)如果匹配成功，则更新卡尔曼滤波器；匈牙利匹配算法在此处是将新一帧图片中检测到的运动物体匹配到对应的轨迹，匹配过程是通过最小化卡尔曼预测得到的质心与检测到的质心之间的欧氏距离之和实现的；具体可以分为两步：a)计算损失矩阵，大小为[mn]，其中，m是轨迹数目，n是检测到的运动物体数目；b)求解损失矩阵具体的匹配算法如下：1)计算运动目标的特征信息(质心，边界框)；2)记已有轨迹数m，初始值为0；3)对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配；4)如果匹配成功，则更新轨迹，在匹配的过程中，使用的是kuhn-munkres(km)算法，将新一帧图片中检测到的疑似目标匹配到对应的轨迹，匹配过程是通过最小化预测得到的质心与检测到的质心之间的欧氏距离之和实现的，具体可以分为两步：1)计算损失矩阵，大小为[mn]，其中，m是轨迹数目，n是检测到的运动物体数目；2)求解损失矩阵km算法可以概括成以下几个步骤：a)初始化可行标杆；b)用匈牙利算法寻找完备匹配；c)若未找到完备匹配则修改可行标杆；d)重复(b)、(c)直到找到相等子图的完备匹配。当前第1页12