一种基于深度学习的区域行人轨迹重构装置及方法

1.本发明属于计算机视觉领域，具体涉及一种基于深度学习的区域行人轨迹重构装置及方法。


背景技术：

2.在信息化高速发展的时代里，智能监控已经成为了智慧城市中最重要的一个组成部分。摄像头作为一个信息载体，每时每刻都在采集大量的信息，为了将这些海量的信息进行有效的利用，越来越多的智能监控算法被提出，例如：行人重识别，异常事件监测，人流监控等。而行人检测已经成为大部分智能监控算法中的必要的模块。行人检测作为一种基础的工具可以嵌入使用在多种任务场景下，因此需要处理的数据量越来越大，对智能监控算法的速度要求也越来越严格，这也在很大程度上影响了整个算法的速度。
3.海量的视频数据为公共安全治理带来便利的同时也增加了很大的困难，在传统的办案流程中，当办案人员锁定目标人物信息之后，需要大量的人力在海量视频监控数据中寻找目标人物的蛛丝马迹，逐步定位目标人物的活动轨迹，推断目标人物的藏身地点，然后实施抓捕，而其中耗时最长的步骤便是审阅视频监控数据。行人重识别技术的出现即试图通过人工智能的方式快速定位到海量视频监控数据中的目标人物位置，从而大幅度的减少人力的投入和时间的消耗。
4.伴随着深度学习的成功，越来越多的学者开始尝试使用深度学习来解决以往难以解决的问题，深度学习已经渗透到各个领域之中，并为每个领域都带来了全新的解决问题的方案。基于深度学习的方案不同于之前的传统方法的方案，基于深度学习的方案往往不需要人工提取大量的特征，其内在的卷积神经网络可以通过反向传播的方式，自动学习提取特征的方式，从而具有更好的泛化性。除此之外，基于深度学习的方案可以移植到gpu计算设备上，往往拥有比传统方法更快的计算速度。


技术实现要素：

5.为解决上述问题，提供一种快速的行人检测装置，可以在高清视频下进行实时的高精度的行人检测，本发明采用了如下技术方案：
6.本发明提供了一种基于深度学习的区域行人轨迹重构装置，用于对视频流进行处理从而获得行人的轨迹信息并示出，其特征在于，包括：摄像头、行人检测模块、数据存储更新模块、行人重识别模块、行人轨迹重构模块以及结果显示模块，其中，摄像头根据不同安装位置采集对应位置的监控视频，行人检测模块对摄像头传输的监控视频 rtsp流数据进行行人检测以获取包含行人的待重构图像，数据存储更新模块存储有行人图像、人脸信息以及与行人图像中的行人对应的当前轨迹数据，行人重识别模块将待重构图像与数据存储模块存储的行人图像进行行人相似度比对，一旦比对成功，就生成该行人的轨迹记录信息，轨迹记录信息包括时间信息、位置信息和身份信息，数据存储更新模块将轨迹记录信息对应存储至当前轨迹数据中生成新的轨迹数据，行人轨迹重构模块根据身份信息对轨迹记录
信息按行人进行分类，根据时间信息对新的轨迹数据进行排列整理，并基于位置信息对排列整理后的新的轨迹数据进行重构从而生成该行人的轨迹图，结果显示模块将该行人的身份信息以及轨迹图进行展示。
7.本发明提供的一种基于深度学习的区域行人轨迹重构装置，还可以具有这样的技术特征，其中，行人检测模块包括数据解码单元、快速下采样单元以及多尺度卷积单元，数据解码单元对接收的监控视频 rtsp流数据进行解码生成对应的视频帧图像，快速下采样单元对视频帧图像进行预定倍数的下采样，以获取视频帧图像的感受野，多尺度卷积单元基于感受野获取不同感受野下的特征图，以生成待重构图像。
8.本发明提供的一种基于深度学习的区域行人轨迹重构装置，还可以具有这样的技术特征，其中，快速下采样单元采用卷积核尺寸为 7x7、5x5的大尺度卷积和两次池化层，在进行下采样时，第一次卷积的步长为4，其他卷积和池化层的步长为2，预定倍数为32。
9.本发明提供的一种基于深度学习的区域行人轨迹重构装置，还可以具有这样的技术特征，其中，多尺度卷积单元采用7层3x3的卷积，多尺度卷积单元分别在第三层卷积层、第五层卷积层和第七层卷积层进行卷积后提取对应的特征图。
10.本发明提供的一种基于深度学习的区域行人轨迹重构装置，还可以具有这样的技术特征，还包括：人脸识别模块，其中，人脸识别模块包括人脸检测单元与人脸识别单元，人脸检测单元对待重构图像进行人脸定位检测，基于检测到的人脸生成人脸图像并将其传输至人脸识别单元，人脸识别单元提取接收到的人脸图像的人脸特征信息，将人脸特征信息与数据存储更新模块存储的行人图像中的行人人脸进行比对，一旦比对成功，就将该行人的人脸特征信息传输至数据存储更新模块，数据存储更新模块根据人脸特征信息对该行人的行人图像进行更新存储。
11.本发明提供的一种基于深度学习的区域行人轨迹重构装置，还可以具有这样的技术特征，还包括：摄像头控制模块，其中，摄像头控制模块通过定时读取并监控摄像头的配置文件来对摄像头实现调配。
12.本发明还提供一种基于深度学习的区域行人轨迹重构方法，其特征在于，采用上述的基于深度学习的区域行人轨迹重构装置对视频流进行处理从而获得行人的轨迹信息并示出。
13.发明作用与效果
14.根据本发明的一种基于深度学习的区域行人轨迹重构装置，该区域行人轨迹重构装置采用深度学习方法从而实现对海量监控视频数据的高效处理以及智能化监测。其中，行人检测模块能够对采集到的监控视频rtsp数据流进行行人检测，由行人重识别模块将检测到的行人与数据存储更新模块存储的行人图像进行相似度比对，并根据比对成功的行人生成轨迹记录信息，然后经行人轨迹重构模块将该轨迹记录信息与存储的轨迹数据进行整理，按时序重构出该行人的轨迹图，最终由结果显示模块显示该轨迹图供分析人员查看。由此，本发明的基于深度学习的区域行人轨迹重构装置，可以实时检测监控视频中的行人、分析行人身份以及获取行人的位置，并通过行人轨迹重构模块生成轨迹供相关人员进行分析。
附图说明
15.图1是本发明实施例中基于深度学习的区域行人轨迹重构装置的结构示意图；
16.图2是本发明实施例中的行人检测模块的结构示意图；
17.图3是本发明实施例中的人脸识别模块的结构示意图；
18.图4是本发明实施例中基于深度学习的区域行人轨迹重构装置的工作过流程图；
19.图5是本发明实施例中的基于深度学习的区域行人轨迹重构方法的流程图。
具体实施方式
20.本实施例基于gpu(例如gtx1080ti)计算平台实现，利用深度学习的优势，设计出的一套区域场景下包含行人重识别技术的行人轨迹重构装置，实现对海量监控视频数据的高效处理以及智能化监测。
21.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于深度学习的区域行人轨迹重构装置及方法作具体阐述。
22.《实施例》
23.本实施例的基于深度学习的区域行人轨迹重构装置的运行平台为linux，该平台至少具有一张图形处理单元gpu卡的支持。
24.图1是本发明实施例中基于深度学习的区域行人轨迹重构装置的结构示意图。
25.如图1所示，基于深度学习的区域行人轨迹重构装置100具有摄像头1、行人检测模块2、数据存储更新模块3、行人重识别模块4、行人轨迹重构模块5、结果显示模块6、人脸识别模块7以及摄像头控制模块8。
26.摄像头1用于根据其不同的安装位置采集与其安装位置对应的监控视频。
27.行人检测模块2接收摄像头1传输的监控视频rtsp视频流数据，对该rtsp视频流数据进行解码，然后逐帧进行行人检测，如果未检测到行人便将这一帧视频丢弃，如果检测到了行人就保留这一帧视频的行人区域得到包含行人的待重构图像。
28.图2是本发明实施例中的行人检测模块的结构示意图。
29.本实施例中，行人检测模块2基于多个深度学习单元来完成实时的行人检测任务。如图2所示，行人检测模块2包括数据解码单元 21、快速下采样单元22以及多尺度卷积单元23。
30.其中，数据解码单元21对接收的监控视频rtsp流数据进行解码生成对应的标准视频帧图像。
31.快速下采样单元22对视频帧图像进行预定倍数的下采样，快速提取视频帧图像中的视觉信息，以获取视频帧图像的感受野。
32.本实施例中，快速下采样单元22采用卷积核尺寸为7x7、5x5的大尺度卷积和两次池化层，在进行下采样时，第一次卷积的步长为4，其他卷积和池化层的步长为2，快速的将图像下采样32倍，从而实现在保持大的感受野的情况下提高网络的推理速度。
33.多尺度卷积单元23基于快速下采样单元22生成的感受野获取不同感受野下的特征图，以生成待重构图像。
34.本实施例中，多尺度卷积单元23采用7层3x3的卷积，并分别在第三层卷积层、第五层卷积层和第七层卷积层进行卷积后提取对应的特征图。
35.数据存储更新模块3存储有行人图像、人脸信息以及与行人图像中的行人对应的当前轨迹数据，并对从行人重识别模块4接收到的行人的轨迹记录信、从人脸识别模块7接收到的人脸特征信息进行更新存储。
36.行人重识别模块4采用特征提取器对从行人检测模块2接收到的待重构图像进行特征采集与数据存储模块3存储的行人图像进行行人相似度比对，当相似度达到一定阈值即比对成功时，行人重识别模块4就生成该行人的轨迹记录信息，该轨迹记录信息包括时间信息、位置信息和身份信息。其中，位置信息基于对多尺度卷积单元23生成的特征图进行位置预测得到。
37.行人轨迹重构模块5从行人重识别模块4接收该行人的轨迹记录信息，根据包含的身份信息对轨迹记录信息按行人进行分类，根据时间信息对新的轨迹数据进行排列整理，并基于位置信息对排列整理后的新的轨迹数据在预制的轨迹平面图上将所有经过的位置点绘制出来并按照时序信息进行连线从而重构生成该行人的轨迹图。
38.结果显示模块6将行人轨迹重构模块5生成的轨迹图与对应的行人的身份信息进行显示。
39.本实施例中，结果显示模块6还可以根据筛选条件调用行人轨迹重构模块3将不同行人在不同时间段的轨迹图进行重构，然后显示出来。
40.人脸识别模块7用于对从行人检测模块2接受到的待重构图像，进一步识别其中的人脸信息，捕获到新的行人特征数据。在高清的摄像头场景下，可以调用人脸识别模块7来补充不足的行人重识别样本数据。
41.图3是本发明实施例中的人脸识别模块的结构示意图。
42.如图3所示，人脸识别模块7包括人脸检测单元71和人脸识别单元72。
43.其中，人脸检测单元71对待重构图像进行人脸定位检测，如果检测到人脸，则基于检测到的人脸生成人脸图像并将其传输至人脸识别单元72来处理，如果未检测到人脸则人脸识别模块7不再进行人脸识别的检测任务。
44.人脸识别单元72提取接收到的人脸图像的人脸特征信息，将人脸特征信息与数据存储更新模块存储的行人图像中的行人人脸进行比对，一旦比对成功，就将该行人的人脸特征信息传输至数据存储更新模块3。
45.摄像头控制模块8通过定时读取并监控摄像头的配置文件来对摄像头实现增加、删除等调配，并在数据库中修改对应的摄像头位置信息。
46.本实施例中，将行人检测模块2、行人重识别模块4、行人轨迹重构模块5和人脸识别模块7进行封装，通过摄像头控制模块8控制摄像头从而修改装置的输入数据。即，当摄像头控制模块8监控到摄像头配置文件发生修改的时候，会将新的摄像头信息传输至行人检测模块2。
47.图4是本发明实施例中基于深度学习的区域行人轨迹重构装置的工作过流程图。
48.如图4所示，基于深度学习的区域行人轨迹重构装置100的工作流程如下：
49.步骤s1，摄像头1根据不同安装位置采集对应位置的监控视频；
50.步骤s2，行人检测模块2对摄像头传输的监控视频rtsp数据流进行行人检测以获取包含行人的待重构图像；
51.步骤s3，行人重识别模块4将待重构图像与数据存储更新模块3 存储的行人图像
进行行人相似度比对，一旦比对成功，就生成该行人的轨迹记录信息，轨迹记录信息包括时间信息、位置信息和身份信息；
52.步骤s4，数据存储更新模块3将轨迹记录信息对应存储至当前轨迹数据中生成新的轨迹数据；
53.步骤s5，行人轨迹重构模块5对新的轨迹数据进行整理，按时序信息重构出该行人的轨迹图；
54.步骤s6，结果显示模块6将该行人的身份信息以及轨迹图进行展示。
55.本实施例中，在每一次上述工作流程中，人脸识别模块7都会对从行人检测模块2接收到的待重构图像进行人脸信息的识别，并将比对成功生成的人脸特征信息传输至数据存储更新模块3。而摄像头控制模块8会读取摄像头的配置文件来判断摄像头的信息是否更新，如果有新的摄像头信息更新，将传输新的摄像头配置数据到行人检测模块2，行人检测模块2会对新的rtsp数据流进行检测。
56.在实际应用中，可将本实施例的基于深度学习的区域行人轨迹重构装置部署在嵌入式设备上，通过与摄像头之间的ip连接获取监控的数据。如，相关安防部门可以将本系统进行实施，用以记录目标人物在相关安防部门内审讯过程的路径。
57.图5是本发明实施例中的基于深度学习的区域行人轨迹重构方法的流程图。
58.如图5所示，基于深度学习的区域行人轨迹重构方法包括以下步骤：
59.步骤a1，获取不同位置的监控视频；
60.步骤a2，对监控视频的rtsp流数据进行行人检测以获取包含行人的待重构图像；
61.步骤a3，将待重构图像与预存储的行人图像进行行人相似度比对，将比对成功的行人生成该行人的轨迹记录信息，轨迹记录信息包括时间信息、位置信息和身份信息；
62.步骤a4，将轨迹记录信息对应添加至预存储的当前轨迹数据中生成新的轨迹数据；
63.步骤a5，根据身份信息对新的轨迹记录信息按行人进行分类，根据时间信息对新的轨迹数据进行排列整理，并基于位置信息按时序整理新的轨迹数据从而重构生成该行人的轨迹图。
64.实施例作用与效果
65.根据本实施例提供的基于深度学习的区域行人轨迹重构装置，首先由行人检测模块对采集到的监控视频rtsp数据流进行行人检测，然后行人重识别模块将检测到的行人与数据存储更新模块存储的行人图像进行相似度比对，并根据比对成功的行人生成轨迹记录信息，其次经行人轨迹重构模块将该轨迹记录信息与存储的轨迹数据进行整理，按时序重构出该行人的轨迹图，最终由结果显示模块显示该轨迹图供分析人员查看。本实施例的基于深度学习的区域行人轨迹重构装置采用深度学习方法能够对海量监控视频数据中的行人信息进行获取、检测分析以及利用视频数据的特征信息重构出行人轨迹，从而实现对海量监控视频数据的高效处理以及智能化监测。同时，该轨迹重构装置还可以将办案人员从传统的审阅视频监控数据来查找目标人物的行走路径中解放出来，让办案人员更专注于推理和分析。
66.实施例中，由于相关模块部署在嵌入式设备上，因此可以应用在学校内、相关安防部门内以及重点实验室内部，可以帮助无感的监控行人的出现频率，出现路径等信息，同时
在实施上也能保证比较低的成本和空间。
67.实施例中，还由于将行人检测模块、行人重识别模块、行人轨迹重构模块和人脸识别模块进行封装，通过摄像头控制模块来修改系统的输入信息，从而减少了本实施例系统在部署中的实施难度。
68.上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。