一种基于深度学习的车辆结构化信息提取方法与流程

本发明属于车辆结构化信息提取技术领域，具体涉及一种基于深度学习的车辆结构化信息提取方法。

背景技术：

长期以来，视频监控系统的使用停留在视频图像预览、回放、控制等视频基础功能，应用比较单一。大规模、大密度的前端视频点位部署所带来的巨大的图像资源潜力未得到充分挖掘利用。视频大数据应用是未来平安城市建设的一个方向。在大数据应用时代，视频因其信息含量最高、数据量最大、运算时间最长，而必然成为大数据时代分析传输存储应用所必不可少的重要组成部分。能否基于智能算法，通过对视频进行分析，提取出视频里出现的诸多车辆的各项属性也即结构化信息，并将该结构化信息储存到知道数据库中，从而为前端检索查询提供前置手段，为本领域近年来所亟待解决的技术难题。

技术实现要素：

本发明的目的是克服上述现有技术的不足，提供一种基于深度学习的车辆结构化信息提取方法，其可实现对视频或卡口中出现的车辆的结构化信息的高准确率和高速度提取，并能够将该结构化信息储存到车辆结构化信息数据库中，以供前端检索查询。

为实现上述目的，本发明采用了以下技术方案：

一种基于深度学习的车辆结构化信息提取方法，其特征在于包括以下步骤：

1)、信息的提取及标记；

前端应用层发布任务，云计算管理平台判断任务类型进行任务发布：若提取源来自视频采集单元，则启动相应实时视频、录像视频docker，进行视频采集及车辆分离，把车辆分离出的车辆图片上传至ftp，同时将车辆图片的详细信息生产到kafka消息队列中；若提取源来自卡口采集单元，则从卡口采集单元的数据源处直接将卡口图片详细信息生产到kafka消息队列中；

2)、信息的消费及特征信息提取；

首先基于深度学习算法生成车辆特征识别模型；车辆特征识别模型首先消费kafka消息队列中的消息，并根据消息字段获取车辆图片；如果消息来自视频采集单元，则通过ftp服务下载车辆图片；如果消息来自卡口采集单元，则从数据源获取卡口图片，并对卡口图片进行车辆分离从而获得车辆图片；之后，调用车辆特征识别模型对车辆图片进行特征信息读取，最后将车辆特征提取模型输出的特征信息送至kafka消息队列中；

3)、信息的存储；

车辆结构化信息数据库从kafka消息队列中获取车辆的特征信息并保存所述特征信息，从而供前端检索查询。

优选的，所述车辆的特征信息包括：车辆品牌、车辆型号、车辆年款、车辆颜色、车辆标志物及驾驶员行为。

优选的，所述车辆标志物至少包括是否有黄标和是否放下遮阳板。

优选的，所述驾驶员行为至少包括是否打电话和是否系安全带。

本发明的有益效果在于：

1)、通过上述方案，每当视频采集单元或卡口采集单元获得车辆图片，即可将车辆图片依靠本发明所述步骤而进行处理，从而自动获得车辆结构化信息并加以存储。本发明可实现对视频或卡口中出现的车辆的结构化信息的高准确率和高速度提取，并能够将该结构化信息储存到车辆结构化信息数据库中，以供前端检索查询。通过上述方案，一方面，整个系统的数据处理能力更为高效；由于采用kafka消息队列实现分布式集群化消息管理，实际操作时利用gpu加速可快速批量处理图片的能力，有效的提高了系统整体的数据吞吐能力。另一方面，由于采用了深度学习算法，该算法能够高准确率和高速度的实现对车辆结构化信息的提取。其中，对车辆结构化信息提取能力尤为突出，进而可实现对车辆的品牌、型号、颜色、车辆标志物等重要信息的准确可靠提取，最终极大的提高了视频侦查的效率性。

附图说明

图1为本发明的工作流程框图；

图2为视频采集单元的工作流程图；

图3为卡口采集单元的工作流程图；

图4为车辆特征识别模型的工作流程图。

具体实施方式

为便于理解，此处结合图1-4，对本发明的具体结构及工作方式作以下进一步描述：

本发明所述的一种基于深度学习的车辆结构化信息提取方法，实际上包含了四大组成部分，利用四大组成部分的彼此联动，进而实现车辆结构化信息的可靠和精确提取目的。如图1所示的，该四大组成部分包括了视频采集单元、卡口采集单元、车辆特征识别模型以及车辆结构化信息数据库。其中：

视频采集单元：前端应用层发布任务，云计算管理平台判断任务类型为卡口任务还是视频任务，从而对卡口采集源或视频采集源进行任务发布，以便启动相应实时视频、录像视频docker，进行视频采集及车辆分离。之后车辆图片上传至ftp，同时车辆图片的详细信息会生产到kafka消息队列中，具体参照图2所示。

卡口采集单元：前端应用层发布任务，云计算管理平台判断任务类型进行任务发布，以便启动相应卡口采集任务。之后，从卡口采集单元的数据源将卡口采集到的车辆图片的详细信息生产到kafka消息队列中，具体参照图3所示。

车辆特征提取模型：车辆特征提取模型是基于深度学习算法而生成。深度学习是机器学习研究中的一个新的领域，是一种基于对数据进行表征学习的方法。深度学习的动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。换言之，通过深度学习算法，利用建立车辆特征提取模块来对车辆图片进行特征信息剥离，同时依靠车辆特征提取模型对车辆图片的处理再反过来不断优化车辆特征提取模型，最终即可形成完善的模型构造。

基于上述，如图4所示的，当车辆特征提取模型建立后，由于kafka消息队列是一个订阅机制，因此车辆特征提取模型会首先获取或者说是消费kafka消息队列中的消息。根据消息字段获取车辆图片，如果消息来自视频采集单元，则通过ftp服务下载车辆图片，并利用所述车辆特征识别模型提取车辆图片内车辆的特征信息。如果消息来自卡口采集单元，则从数据源获取卡口图片，并在对卡口图片进行车辆抠出，也即车辆分离后，形成车辆图片，随后即可利用所述车辆特征识别模型提取车辆图片内车辆的特征信息。当然，卡口采集单元处数据源的提取也分为两类，也即resthttp下载和ftp下载，通过该两种下载方式可适时获取图片流，以便于进行车辆分离和执行后续特征信息提取操作，此处就不再多作赘述。而对于特征信息，包括以下部分：1)车辆品牌；2)车辆型号、年款；3)车辆颜色；4)车辆标志物，包括黄标、是否放下遮阳板；5)驾驶员行为，包括是否打电话，是否系安全带；最后将这些特征信息送至kafka消息队列中。

车辆结构化信息数据库：用于从kafka消息队列中获取车辆特征信息并保存，从而供前端检索查询。

技术特征：

技术总结
本发明属于车辆结构化信息提取技术领域，具体涉及一种基于深度学习的车辆结构化信息提取方法。本方法包括以下步骤：1)、信息的提取及标记；2)、信息的消费及特征信息提取；3)、信息的存储。本发明可实现对视频或卡口中出现的车辆的结构化信息的高准确率和高速度提取，并能够将该结构化信息储存到车辆结构化信息数据库中，以供前端检索查询。

技术研发人员：陈昌健;王卫;李贤军;唐飞;罗艳丽;卫彪;王龙;莫申林;李环寰;周小将;李三菊;王微;何丹娜;杨威;尚兵兵;刘江明;杨良闯;刘礼沁;张凡;高鑫
受保护的技术使用者：安徽四创电子股份有限公司
技术研发日：2018.09.18
技术公布日：2019.03.01