车载终端、分布式车载终端集成管理方法和系统与流程

[0001]
本发明涉及一种车载终端、分布式车载终端集成管理方法和系统，可以应用在物流领域。


背景技术：

[0002]
为了确保交通运输的安全，普遍采用的管控模式是：在石油运输车、公交车、物流车等车辆内安装摄像头、传感器来对运输过程进行监控。随着被监控车辆的不断增加，远程监控系统面临对着海量、高并发、实时数据处理和智能分析的需求，那么如何将海量的交通流数据实时地上传、汇总和存储利用,以及如何对数据可视化复现成为一个较大的难题。


技术实现要素：

[0003]
本发明提供一种车载终端、分布式车载终端集成管理方法和系统，实现对分布式车辆的行驶状态、车内环境环境的实时监控与可视化复现。
[0004]
根据本发明实施例的第一方面，提供一种分布式车载终端集成管理方法，包括：
[0005]
对车载终端进行节点注册并生成验证车载终端的注册节点id，对车载终端上的传感器与摄像头进行注册形成传感器与摄像头的注册信息；
[0006]
通过传感器采集半结构化的车辆行驶状态数据和/或车内环境数据，通过摄像头采集非结构化的视频数据；
[0007]
在采集的半结构化数据和非结构化视频数据中加入注册节点id和时空标签，并对半结构化数据进行封装，对非结构化视频数据进行编码；
[0008]
采用多路并行传输的方式将封装和编码后的半结构化数据和非结构化视频数据传输到服务器。
[0009]
在一些示例中，采用tcp/ip协议传输半结构化数据，采用rtmp流协议传输非结构化视频数据。
[0010]
根据本发明实施例的第二方面，提供一种分布式车载终端集成管理系统，包括：
[0011]
节点注册模块，用于对车载终端进行节点注册并生成验证车载终端的注册节点id，对车载终端上的传感器与摄像头进行注册形成传感器与摄像头注册信息；
[0012]
数据采集模块，用于通过传感器采集半结构化的车辆行驶状态数据和/或车内环境数据，通过摄像头采集非结构化的视频数据；
[0013]
数据处理模块，用于在采集的半结构化数据和非结构化视频数据中加入注册节点id和时空标签，并对半结构化数据进行封装，对非结构化视频数据进行编码；
[0014]
数据传输模块，用于采用多路并行传输的方式将封装和编码后的半结构化数据和非结构化视频数据传输到服务器。
[0015]
根据本发明实施例的第三方面，提供一种车载终端，包括：处理器，在执行存储器中所储存的程序时，执行第一方面所述的分布式车载终端集成管理方法的步骤。
[0016]
根据本发明实施例的第四方面，提供一种分布式车载终端集成管理方法，包括：
[0017]
通过主从多线程模式，以多路并行的方式接入车载终端采集的非结构化的视频数据，以及半结构化的车辆行驶状态数据和/或车内环境数据，其中半结构化数据和非结构化视频数据中带有车载终端注册节点id和时空标签；
[0018]
将接入的非结构化的视频数据，以及车辆行驶状态数据和/或车内环境数据的半结构化，分别进行存储；
[0019]
获取到对注册节点id下的车载终端采集的视频进行播放的指令时，将注册节点id对应的实时视频数据推流到web服务器网页前端进行拉流；
[0020]
在视频拉流过程中提取时空标签，根据注册节点id和时空标签检索与视频流在时间、空间上匹配的车内环境数据和/或车辆行驶状态数据；
[0021]
将检索到的车内环境数据和/或车辆行驶状态数据发送到web服务器网页前端，同步显示在视频显示页面上。
[0022]
根据本发明实施例的第五方面，提供一种分布式车载终端集成管理系统，包括：
[0023]
数据接入模块，用于通过主从多线程模式，以多路并行的方式接入车载终端采集的非结构化的车辆视频数据，以及半结构化的车辆行驶状态数据和/或车内环境数据，其中半结构化数据和非结构化数据中带有车载终端注册节点id和时空标签；
[0024]
数据管理模块，用于将接入的非结构化的视频数据，以及半结构化的车辆行驶状态数据和/或车内环境数据进行存储；
[0025]
车内环境重现模块，用于在获取到对注册节点id下的车载终端采集的视频进行播放的指令时，将注册节点id对应的实时视频数据推流到web服务器网页前端进行拉流，并在视频拉流过程中提取时空标签，根据注册节点id和时空标签检索与视频流在时间、空间上匹配的车内环境数据和/或车辆行驶状态数据，并将检索到的车内环境数据和/或车辆行驶状态数据发送到web服务器网页前端，同步显示在视频显示页面上。
[0026]
根据本发明实施例的第六方面，提供一种服务器，包括：处理器，在执行存储器中所储存的程序时，执行第四方面所述的分布式车载终端集成管理方法的步骤。
附图说明
[0027]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。
[0028]
图1为本发明一实施例提供的一种车载终端结构框图。
[0029]
图2为本发明一实施例提供的一种车载终端功能模块框图。
[0030]
图3为本发明一实施例提供的一种车载终端监控数据关联uml模型。
[0031]
图4为本发明一实施例提供的一种服务器端软件架构。
[0032]
图5为本发明一实施例提供的一种基于netty技术的高并发处理框架。
[0033]
图6为本发明一实施例提供的一种分布式车内环境可视化流程再现示意图。
具体实施方式
[0034]
术语“车载终端”在本发明中指的是安装在车辆上获取车内图像或视频数据，车辆行驶状态数据和/或车内环境数据的电子设备组件。车辆行驶状态数据可以包括但不限于以下一种或多种信息：位置坐标、角度、速度、角速度、前轮相对于车体的转向角、新能源汽
车的电池参数。车内环境数据可以包括但不限于以下一种或多种信息：温湿度、颗粒物浓度、一氧化碳浓度、二氧化碳浓度、挥发性有机物(甲醛、甲苯等)浓度。本发明的车载终端可以用于石油、化工品运输车辆监控、公交车辆监控、物流车辆监控。
[0035]
图1展示了一种车载终端结构框图，该车载终端包括处理设备、传感器、摄像头、通信模块和显示器。根据实际监测需求，配置传感器，采集车辆行驶状态数据和/或车内环境数据。传感器指的是非图像类传感器，可以包括但不限于以下一种或多种监控模块：gnss定位模块；温湿度传感器，红外感应模块，粉尘传感器、甲醛、pm2.5、甲苯、一氧化碳或二氧化碳等气体传感器；空调及发动机等硬件设施运行状态的监控模块；车辆运动信息监控模块(速度、加速度、角加速度、位移)；角度信息监控模块(俯仰角、横滚角、方位角)；新能源汽车电池信息监控模块。摄像头采集图像或视频数据。传感器通过串口与处理设备建立物理连接，可选择串口可以包括：uart、rs232、rs485、i2c、spi、usb。摄像头可通过usb、mipi或dmi接口与处理设备建立物理连接。通信模块负责车载终端与服务器的无线通信连接，可通过串口与处理设备连接。车载终端由于随着车辆移动，具有较强移动性，数据量小传输频率大，同时需要考虑远距离传输。本发明采用蜂窝通信(4g/5g)的传输方式来实现远程传输。
[0036]
摄像头采集视频数据，传感器采集车辆行驶状态数据和/或车内环境数据，并通过显示器实时显示反映车辆行驶状态和/或车内环境动态变化，显示器通过vga、hdmi或usb接口与处理设备连接。
[0037]
可基于linux操作系统，开发车载终端的功能软件。如图2所示，车载终端可以包括四个功能模块：节点注册模块、数据采集模块、数据处理模块和数据传输模块。
[0038]
节点注册模块实现车载终端的注册功能，主要包含应用示范主题、节点类型、节点相关元信息、传感器的数量和每个传感器的元数据信息，注册完成后，随机生成8位的nodeid作为验证车载终端的节点id。
[0039]
车载终端根据不同应用示范场景，对车辆数据的观测感知有不同的需求。因此，终端节点注册模块不仅需要包含节点类型及相关信息，还需要提供对应的应用示范主题，以便于进行数据分析，对车辆状态做出准确判断。应用示范主题主要有，物流场景、载客场景等。其中物流场景针对货物的种类属性，如冷藏、易碎、易燃等，还可以进一步细化划分。
[0040]
传感器具有不同的采样频率，每种数据可以体现采样时间内车辆行驶状态信息或车内环境要素信息。即，车载终端采集的数据具有异构性，同时采集到的数据依据不同的标准具有不同的格式和结构特点，如gnss定位模块、温湿度传感器、气体传感器等采集的数据为半结构化的文本信息数据，而摄像头采集的数据是实时视频流，为非结构化的数据。因此，数据采集模块则分别实现半结构化数据和非结构化数据的采集。
[0041]
数据处理模块针对采集到的半结构化数据，按照元数据信息进行json格式封装，json格式是一种轻量级的封装格式，层次简洁清晰且易于阅读。数据处理模针对非结构化的视频数据，则采用h264视频编码。
[0042]
数据传输模块采用两个进程脚本实现，分为两个通道，分别传输视频数据和传感器数据。因gnss定位数据、非图像传感器数据和时钟数据是半结构化的文本类数据，故采用基于tcp/ip协议的socket通信编程实现汽车行驶状态信息和车内环境数据的传输；视频图像数据是结构化的文件类数据，采用rtmp流协议进行视频流推送。
[0043]
车载终端采集的数据主要特征为多源异构性。考虑各类数据结构来源不同会给后
续存储造成困难，因此通过构建元数据字典对多源数据进行统一描述，把数据的单位或格式进行规范化。在统一描述的基础上，利用注册车载终端节点id来建立数据关联模型，如图3所示。对车载终端进行节点注册，形成车载终端注册信息，保证每辆汽车内部署的车载终端的特有性。在车载终端进行注册的同时，也对其安装的传感器与摄像头进行注册，形成传感器与摄像头注册信息。通过查询车载终端注册节点id，即可查询到与该节点id关联的所有传感器和摄像头信息。传感器与摄像头采集到的传感器数据与视频数据中，也加入注册节点id作为标签，通过注册节点id的属性可查询到相应的非图像类数据和摄像头采集的视频数据，从而通过节点id建立汽车终端、传感器、传感器数据三者之间的关联，以及传感器数据与传感器数据之间的关联。在此基础上，当分布式车载终端采集的多源异构数据被接入到服务器端的数据中心时，能够通过节点id区分不同车载终端的数据，并按照车载终端id数据与终端注册的多类传感器信息进行分类存储，便于后续数据查询与汽车行驶状态、车内环境可视化再现。本发明采用在不同数据源产生数据的中加入节点id和时间标签的方法，将多源异构数据关联起来，能够在保证数据完整性的同时融合数据。
[0044]
车载终端采集到的大量半结构化的传感器数据和非结构化的视频流数据采用了多路并行传输的方式接入服务器端的数据接入管理平台。如图4所示，服务器端系统可以包括四个功能模块：日志监控模块、数据接入模块、数据管理模块和车内环境重现模块。
[0045]
在接入层将车载终端采集到非图像类传感器数据和视频数据采用统一的方式并行接入到数据层，通过在数据层对不同的数据根据客户端的编码规则进行解码来得到相应的数据，并对不同格式的数据进行分类封装，并对传感器数据进行类型注册与规范化描述，再按照数据库的存储规则将数据及其元数据信息存储在数据库相应的集合中，从而实现对数据的统一封装及对数据的持久化管理，通过对持久化的数据进行控制，为用户提供相应服务。本发明针对异构数据结构各异的特点，将数据按照类型或应用场景分类，根据数据特征将数据库与文件系统相结合，以改善单一存储形式存在的弊端，满足对于多源异构数据存储的要求。
[0046]
服务器端的整个操作过程为用户在访问服务器之前，首先向服务器发出接入请求，在服务器收到用户的接入请求后，根据相关信息判断是否接受请求，如果请求被接受，服务器将为每个用户新建一个业务线程，并分配一个专用socket端口。由于车载终端采集的数据是异构的，在对海量的异构数据进行接入系统操作时需要建立大量的业务线程，这就会出现高并发问题。为了解决此问题，如图5所示，本发明在netty框架的基础上采用了主从多线程模式，该模式在接收车载终端采集到的数据时不再仅仅使用单一的线程，而是将单一的线程换为了线程池，线程池主线程仅负责连接请求，副线程负责请求任务的分配，从而能够处理海量并发请求。汽车内部署的诸多传感器将采集到的数据传输到main reactor,main reactor主要负责接收请求，在仅接收客户端请求的情况下，main reactor能够接收百万级的连接请求，能够满足汽车内多路传感器的同时接入，除此之外，还可以弥补reactor线程池在连接并发请求时的不稳定的问题。main reactor仅接收车载终端传感器传输数据接入的连接请求，对连接后相应的请求进行的具体操作都是通过subreactor进行任务的派遣，subreactor将汽车内传感器的数据派发给线程池，将不同类型的传感器数据注入到subreactor线程池中的某一线程，传入到线程池的数据是经过数据格式封装和编码的，线程池对编码后的传感器数据进行计算，对关联的不同数据进行解码，得到相应的汽
车行驶状态数据、车内环境监控数据，通过netty框架进而实现汽车内部署的多种传感器的异构数据并行接入，将汽车行驶状态数据、车内环境监控数据成功接入系统后对其数据进行存储。
[0047]
如图6所示，针对分布式车辆车内视频、行驶状态、车内环境实时再现需求，本发明通过聚合不同传感器采集的数据和车载摄像头传输的实时视频流数据，根据用户的查询需求在web网页平台对汽车行驶状态和车内环境做可视化展示。用户可以通过手机或者电脑登录web网页平台观看汽车行驶状态、车内环境的实时数据和视频。web网页平台搭建在web服务器上，web服务器通过局域网与数据服务器进行交互，实现数据的查询与反馈，并通过互联网反馈给用户的智能终端。车载摄像头采集的实时视频流和传感器测得的数据中都带有时空标签。当用户登录网页选择查看车内视频、车内环境数据、车辆行驶状态数据时，先选择车辆的车载终端对应的注册节点id，点击播放，车载终端搭载的摄像头会将采集到的实时视频推流到web服务器，网页前端进行拉流，就能够实时显示车内画面。视频拉流从视频流中提取时空标签，数据库将按照汽车的车载终端注册的节点id和时空标签检索与视频流在时间、空间上最为接近的传感器数据，如坐标数据、温湿度、气体含量等，实现了实时视频流、环境数据、行驶状态数据的时空匹配。将检索到的数据发送到网页前端，同步显示在视频显示页面上，此时用户能够同时看到车内实时的视频和传感器测得的各种数据。当用户点击停止播放时，摄像头停止推流，网页停止视频拉流，数据库停止数据检索，从而网页停止所有数据显示。这样由用户点击播放和停止来控制视频的推流和拉流，能够减轻服务器的承载压力。本发明通过多源异构数据时空匹配的方法来实现多源异构数据的聚合，可视化聚合数据。上述的传感器数据与实时视频流通过时空标签匹配并同步显示的功能能够很好的满足智慧物流对车内环境再现和实时监控的需求。